Erfolgreiche Maßnahmen zur Teilnehmeraktivierung in F2F-Studien.
Zum Hintergrund:
Der Artikel beschränkt sich auf die eingesetzte Vorkontaktierung, ohne das weitere Studiendesign zu berücksichtigen. Die Vorkontaktierung ist dabei nur der erste Schritt, auf den die Kontaktierung durch die Facte-to- Face-Interviewer folgen muss, um Selektivitäten zu minimieren.
Erhebungen mittels Face-to-Face-Interviews werden in der Literatur als der „Gold-Standard“ bezeichnet. Die hohe Qualität ist jedoch im Vergleich zu anderen Erhebungsmethoden mit hohen Kosten verbunden, da jede Adresse vom Interviewer mehrfach aufgesucht werden muss. Wie aufwendig die Kontaktierung ist, hängt auch von den vorliegenden Kontaktinformationen ab. Während bei Panelerhebungen neben den postalischen Adressen meist auch Telefonnummern oder E-Mail-Adressen vorliegen, sind bei Erstbefragungen meist nur Adressen vorhanden. Der Interviewer kann nur vor Ort kontaktieren und trifft insbesondere mobile oder erwerbstätige Befragungspersonen selten an.
Um die Erreichbarkeitsrate und den selektiven Fehler aufgrund von Nicht-Erreichbarkeit zu reduzieren, hat infas in den vergangenen Jahren bei drei großen Face-to-Face-Studien Vorkontaktierungen durchgeführt: bei einer Auffrischungsstichprobe der IAB-BAMF-SOEP-Befragung von Geflüchteten, bei einer Linkingstudie im Rahmen des Nationalen Bildungspanels (NEPS) sowie bei der ersten Welle von „Daten. Deutschland. Digital“ (DaLi). Die drei Studien unterscheiden sich nicht nur in ihrer Zielgruppe und dem Design der Haupterhebung, sondern auch in der Vorkontaktierung. Es kamen jeweils unterschiedliche Maßnahmen zum Einsatz, um die Rückmeldungen zu maximieren.
Vorkontaktierung in der IAB-BAMF-SOEP-Befragung von Geflüchteten
In der Auffrischungsstichprobe der IAB-BAMF-SOEP-Befragung im Auftrag des SOEP-Teams am Deutschen Institut für Wirtschaftsforschung (DIW), Berlin, dem Institut für Arbeitsmarkt- und Berufsforschung (IAB) und dem Bundesamt für Migration und Flüchtlinge (BAMF) im Jahr 2023 wurden erwachsene Geflüchtete aus der Ukraine (SUARE) und aus dem Rest der Welt (REF) nach ihren Lebensbedingungen in Deutschland befragt. Die Bruttostichprobe umfasste n=29.072 Adressen aus dem Ausländerzentralregister (AZR). Für die Vorkontaktierung erhielten die Zielpersonen zunächst ein Anschreiben mit Informationen zur Studie und der Bitte zur Teilnahme an einer kurzen Online-Befragung. In dieser wurden neben Fragen zur Erreichbarkeit und der Bitte um die Angabe von aktuellen Kontaktdaten auch ein paar erste inhaltliche Fragen gestellt. Alternativ konnten die Zielpersonen die Fragen auch auf dem beiliegenden Papierfragebogen ausfüllen und im portofreien Rückumschlag an infas zurücksenden. In der REF-Teilstichprobe lag diesem Erstanschreiben ein Prepaid-Incentive in Höhe von 5 Euro bei. Zusätzlich wurde allen Zielpersonen ein Postpaid-Incentive in Höhe von 20 Euro nach Teilnahme an der Haupterhebung angekündigt. Zur Erhöhung der Ausschöpfung der Vorkontaktierung wurde drei Wochen nach dem Erstanschreiben eine Erinnerung an alle Zielpersonen versendet, die sich zu diesem Zeitpunkt noch nicht zurückgemeldet hatten. In der SUARE-Teilstichprobe wurde drei Wochen später noch eine zweite Erinnerung versendet.
Vor Versand der Erinnerung nahmen in der REF-Teilstichprobe bereits 14,9 % der Zielpersonen an der Kurzbefragung im Rahmen der Vorkontaktierung teil. Von den Personen, die die Erinnerung erhielten, nahmen dann noch einmal 10,9 % an der Kurzbefragung teil, was insgesamt zu einer Ausschöpfung von 24,2 % führte. In der SUARE-Teilstichprobe lag die Ausschöpfung vor Versand der ersten Erinnerung bei 11,2 %. Von den Zielpersonen, die die erste Erinnerung erhielten, nahmen weitere 7,1 % an der Kurzbefragung teil und von denen, die die zweite Erinnerung erhielten, noch einmal 4,4 %. Die Gesamtausschöpfung lag in der SUARE-Teilstichprobe damit bei 21,1 %.
Beim Vergleich der beiden Teilstichproben lässt sich feststellen, dass der Einsatz des Prepaid-Incentives im Erstanschreiben in der REF-Teilstichprobe zu einer höheren Ausschöpfung im Anschluss führt und auch die Ausschöpfung nach Versand der ersten Erinnerung höher war. Der positive Effekt des Prepaid-Incentives scheint auch nach der ersten Erinnerung noch weiter zu wirken. Zudem führt auch die zweite Erinnerung in der SUARE-Teilstichprobe zu einer substanziellen Steigerung der Ausschöpfung, auch wenn sie erwartungsgemäß mit jeder Versendung abnimmt. So konnte der positive Prepaid-Effekt in der REF-Teilstichprobe zwar nicht komplett kompensiert, aber die Gesamtausschöpfung der SUARE-Teilstichprobe in eine ähnliche Größenordnung gehoben werden.
Vorkontaktierung in der NEPS-Linkingstudie
Die NEPS-Linkingstudie im Auftrag des Leibniz-Instituts für Bildungsverläufe (LIfBi) beinhaltet Kompetenztests in den Bereichen Mathematik und Naturwissenschaften für Kinder im Alter von 6 bis 10 Jahren. Sie basiert auf einer Einwohnermeldamtsstichprobe mit n=26.000 Adressen. Zum Start der Erhebung erhielten die Eltern aller Zielpersonen ein Anschreiben mit Informationen zur Studie und der Bitte zum Ausfüllen des beiliegenden Rückmeldebogens. Alternativ konnten die darin erfragten Eckdaten zum Kind sowie die Kontaktdaten auch in ein Online-Formular eingetragen werden. Diese Vorkontaktierung wurde nicht nur zur Identifizierung teilnahmebereiter Familien und der Aktualisierung der Kontaktdaten genutzt, sondern auch für ein Screening. Denn die Kinder mussten für die Studienteilnahme spezifische Voraussetzungen erfüllen, die nicht alle bei der Stichprobenziehung vorlagen. Im Erstanschreiben wurde den Familien ein Postpaid-Incentive in Höhe von 10 Euro im Anschluss an die Haupterhebung sowie ein Sachgeschenk für das Kind angekündigt. Zur Erhöhung der Ausschöpfung der Vorkontaktierung wurde einige Wochen nach dem Erstanschreiben eine Erinnerung an jene Familien versendet, die sich noch nicht zurückgemeldet hatten. Zusätzlich wurde Anfang August ein zweites Erinnerungsschreiben versendet, in dem eine Erhöhung des Postpaid-Incentives auf 50 Euro angekündigt wurde. Diesem zweiten Erinnerungsschreiben lag für die Hälfte der Fälle ein Prepaid-Incentive in Höhe von 5 Euro bei. Da aufgrund von Überlegungen bezüglich der zu realisierenden Quotenstichprobe weder das erste noch das zweite Erinnerungsschreiben an alle Familien versendet wurde, ergeben sich insgesamt fünf Gruppen, die unterschiedliche Kombinationen von ausschöpfungssteigernden Maßnahmen erhielten.
Vor Versand der ersten Erinnerung erhielten wir von 9,5 % der Familien eine direkte Rückmeldung aus der Vorkontaktierung. Von den Familien, die die erste Erinnerung erhielten, meldeten sich dann noch einmal 4,0 % zurück. Der Anteil an Rückmeldungen nach der zweiten Erinnerung war abhängig vom Prepaid-Incentive und dem vorherigen Erhalt der ersten Erinnerung. In der Gruppe ohne Erhalt der ersten Erinnerung meldeten sich ohne Prepaid-Beilage 11,5 % der Familien zurück und mit Prepaid-Beilage 17,8 %. In der Gruppe, die bereits die erste Erinnerung erhalten hatte, meldeten sich ohne Prepaid-Beilage 7,9 % der Familien zurück und mit Prepaid-Beilage 12,2 %. Die Gesamtausschöpfung lag für die fünf Gruppen zwischen 13,1 % (Gruppe 1: nur Erinnerung 1) und 25,6 % (Gruppe 3: nur Erinnerung 2 mit Prepaid-Beilage).
Beim Vergleich der Gruppen 1 und 2 zeigt sich, dass die Erhöhung des Postpaid-Incentives von 10 auf 50 Euro die Rückmeldungen deutlich erhöht hat. Zudem erhöht auch die Beilage eines Prepaid-Incentives in Erinnerung 2 die Rück meldungen substanziell (ca. 55 % höhere Ausschöpfung beim Vergleich der Gruppen 2 und 3 bzw. 4 und 5). Der Vergleich der Gruppen 2 und 4 zeigt zudem, dass mit der ersten Erinnerung (ohne Postpaid-Erhöhung) in Gruppe 4 bereits die leichter zu überzeugenden Familien erreicht wurden und durch die zweite Erinnerung weniger zusätzliche Familien gewonnen werden konnten. Insgesamt wurde in beiden Gruppen etwa die gleiche Gesamtausschöpfung erzielt. In Gruppe 5 liegt die Gesamtausschöpfung dagegen etwas unter der in Gruppe 3, obwohl hier ähnliche Mechanismen angenommen werden können. Die geringere Ausschöpfung nach Erinnerung 2 könnte damit zusammenhängen, dass einige Familien das zweite Erinnerungsschreiben gar nicht mehr öffneten und damit der positive Prepaid-Effekt weniger stark wirken konnte als in Gruppe 3, bei der Erinnerung 2 das erste Schreiben nach dem Erst anschreiben war und noch kein Ermüdungseffekt eingetreten war.
Vorkontaktierung in der DaLi-Studie
Die Studie „Daten. Deutschland. Digital” (DaLi) im Auftrag des LIfBi beinhaltete Kompetenztests, um herauszufinden, wie die Menschen in Deutschland mit Daten und digitalen Informationen umgehen und sie verstehen. Sie basiert auf einer Einwohnermeldeamtsstichprobe mit n=34.924 Personen zwischen 16 und 69 Jahren (Gruppe 1), n=3.000 zwischen 10 und 15 Jahren (Gruppe 2) und n=25.000 zwischen 11 und 12 Jahren (Gruppe 3).
Zum Start der Erhebung erhielten alle Zielpersonen (Gruppe 1) bzw. deren Eltern (Gruppen 2 und 3) ein Anschreiben mit Informationen zur Studie und der Bitte zum Ausfüllen des beiliegenden Rückmeldebogens. Alternativ konnten darin erfragte Eckdaten sowie die Kontakt daten auch online übermittelt werden. Die Vorkontaktierung wurde nicht nur zur Aktualisierung der Kontaktdaten und Abfrage von gewünschten Kontaktzeiten genutzt, sondern wie bei der NEPS-Studie für ein Screening. Im Erstanschreiben wurde den Zielpersonen bzw. deren Eltern ein Postpaid-Incentive in Höhe von 50 Euro im Anschluss an die Haupterhebung angekündigt.
Die Erinnerungsmaßnahmen wurden je nach Tranche, Feldzeit und Gruppe unterschiedlich gestaltet. Etwa vier bis sechs Wochen nach dem ersten Anschreiben er hielten alle Zielpersonen, die sich bis dahin nicht zurückgemeldet hatten, ein Erinnerungsschreiben zur Vorkontaktierung. Drei Wochen später folgte eine motivierende Neujahrskarte für alle nicht erreichten Zielpersonen aus Gruppe 1 bis 3 (Tranche 1) sowie Gruppe 3 (Tranchen 2 und 3). In Gruppe 3 bekam Tranche 1 zusätzlich ein zweites Erinnerungsschreiben. In Gruppe 1 erhielten die Zielpersonen der Tranchen 1 bis 3 ebenfalls ein zweites Erinnerungsschreiben, und besonders niedrig realisierte Jahrgänge bekamen ein drittes Erinnerungsschreiben (Tranchen 1 bis 4). Zudem wurde in Gruppe 1 ein Prepaid-Experiment durchgeführt: Die Zielpersonen der Tranchen 2 und 4 erhielten im ersten Erinnerungsschreiben ein Prepaid-Incentive, während die Zielpersonen der Tranchen 1 und 3 ihr Incentive erst mit dem zweiten Schreiben bekamen.
Im Folgenden werden die Rückmeldungen der Zielpersonen in den drei DaLi-Gruppen getrennt betrachtet, um die Effekte der verschiedenen Erinnerungsmaßnahmen besser nachvollziehen zu können.
In Gruppe 1 erhielten wir vor dem Versand der ersten Erinnerung von zwischen 4,2 % und 5,8 % der Erwachsenen eine Rückmeldung. Von denjenigen, die die erste Erinnerung erhielten, meldeten sich zusätzlich 3,9 % bis 8,0 % zurück. Ein deutlicher Prepaid-Effekt zeigte sich in Variante 2 mit 8,0 % Rückmeldungen im Vergleich zu 4,7 % (Variante 3) und 3,0 % (Variante 1), während sich bei Variante 4 mit 3,9 % Rückmeldung kein Prepaid-Effekt zeigte. Der Anteil der Rückmeldungen nach dem zweiten Erinnerungsversand hing von der Beilage des Prepaid-Incentives ab. In Variante 2, die das Prepaid-Incentive bereits in der ersten Erinnerung erhielt, meldeten sich 6,4 % der Erwachsenen zurück. Bei denjenigen, die kein Prepaid-Incentive beim ersten, aber eins beim zweiten Erinnerungsversand erhielten, lagen die Rückmeldungen bei 4,5 % (Variante 3) und 2,7 % (Variante 1). Nach dem dritten Erinnerungsversand war der Rücklauf ebenfalls von der Prepaid-Beilage in der ersten Erinnerung und dem Erhalt der zweiten Erinnerung abhängig. Von denjenigen, die mit der ersten Erinnerung ein Prepaid-Incentive und eine zweite Erinnerung erhielten, meldeten sich 4,7 % (Variante 2) zurück, verglichen mit 2,5 % (Varianten 1 und 3). Diejenigen, die mit der ersten Erinnerung ein Prepaid-Incentive erhielten und keine zweite Erinnerung, zeigten eine Rücklaufquote von 6,2 % (Variante 4). Die Gesamtausschöpfung lag zwischen 13,1 % (Variante 1: Erinnerung 2 mit Prepaid- Beilage und drei weiteren Versendungen) und 21,3 % (Variante 2: Erinnerung 1 mit Prepaid-Beilage und zwei weiteren Versendungen).
In Gruppe 2 erhielten wir vor dem Versand der ersten Erinnerung von zwischen 6,8 % und 7,0 % der Familien eine Rückmeldung im Rahmen der Vorkontaktierung. Nach dem Versand der ersten Erinnerung meldeten sich in Variante 2 zusätzliche 11,5 % zurück. In Variante 1 lag der Rücklauf nach der ersten Erinnerung bei nur 2,6 %, jedoch konnten hier durch den Versand einer Neujahrskarte weitere 7,3 % der Zielpersonen erreicht werden. Die Gesamtausschöpfung lag zwischen 16,0 % (Variante 1: 1 Erinnerung und 1 Neujahrskarte) und 17,5 % (Variante 2: nur 1 Erinnerung).
In Gruppe 3 erhielten wir vor dem Versand der ersten Erinnerung zwischen 1,3 % und 6,7 % der Familien eine Rückmeldung im Rahmen der Vorkontaktierung. Von denen, die die erste Erinnerung erhielten, meldeten sich dann noch einmal 4,4 % bis 5,6 % zurück. Von denjenigen, die vor und nach der ersten Erinnerung wenig zurückmeldeten (Variante 2), konnten durch die Neujahrskarte weitere 12,1 % Rückmeldungen verzeichnet werden, in Variante 1 hingegen nur 3,5 %. Von denjenigen, die eine zweite Erinnerung erhielten, meldeten sich 3,2 % zurück. Die Gesamtausschöpfung lag zwischen 17,1 % (Variante 2: 1 Erinnerung und 1 Neujahrskarte) und 17,7 % (Variante 1: 2 Erinnerungen und 1 Neujahrskarte).
Grundsätzlich lässt sich erkennen, dass der Anteil der Rückmeldungen bei den Kindern und Jugendlichen (Gruppe 2 und Gruppe 3) vor und nach der ersten Erinnerung, nach dem Versand der Neujahrskarte sowie auch in der Gesamtausschöpfung tendenziell höher ist als bei den Erwachsenen (Gruppe 1). Feststellbar ist ein deutlicher „Aufholeffekt“ durch den Versand der Neujahrskarte in Gruppe 2 und Gruppe 3 dann, wenn die Rückmeldungen vor und nach der ersten Erinnerung geringer ausgefallen sind. Darüber hinaus ist für Gruppe 1 ein Prepaid-Effekt mit der ersten Erinnerung erkennbar. Dieser Prepaid-Effekt verstärkt sich in den späteren Erinnerungen und zeigt, dass der positive Einfluss des Prepaid-Incentives sich nicht nur auf die sofortige Rückmeldung beschränkt, sondern auch tendenziell auf die nachfolgenden Versendungen wirkt. Hingegen zeigte sich kein Effekt der Prepaid-Beilage mit der zweiten Erinnerung.
Lohnt sich eine Vorkontaktierung? Und wenn ja: Wie?
Generell lässt sich sagen: Ja eine Vorkontaktierung hilft, denn der Aufwand für Interviewer vor Ort wird reduziert und von den teilnehmenden Personen liegen anschließend mehr Kontaktinformationen vor. Hinsichtlich der Frage nach dem „Wie?“ zeigen sich in allen drei Studien ähnliche Mechanismen zur Wirkung einer Vorkontaktierung.
Der Einsatz von Erinnerungsschreiben führt stets zu einer Erhöhung der Rückmeldung. Der Effekt nimmt allerdings mit jeder zusätzlichen Erinnerung ab. Eine positive Ausnahme bildet hier lediglich der Neujahrskartenversand in der DaLi-Studie, was an der gänzlich anderen Ansprache liegen könnte. Durch zusätzliche Erinnerungen zeigt sich in manchen Teil stich proben zudem ein „Aufholeffekt“, der eine geringe Rückmeldungsquote zu Beginn relativieren kann.
Zum Einsatz von Prepaid-Incentives lässt sich ein ähnlich klares Fazit ziehen: Früh eingesetzt haben sie einen deutlichen positiven Effekt auf die Rückmeldungsquote, der Einsatz in späteren Erinnerungsaktionen ist dagegen weniger effektiv. Beim Einsatz eines Prepaid-Incentives im Erstanschreiben oder der ersten Erinnerung ist neben einer Erhöhung der sofortigen Rückmeldung auch ein „Vererbungseffekt“ zu erkennen, das heißt, auch bei weiteren Erinnerungsaktionen gibt es höhere Rückmeldequoten als bei Vergleichsgruppen ohne Prepaid-Incentivierung. Diese positiven Effekte verringern sich allerdings mit jeder weiteren Erinnerungsaktion. Es kann vermuten werden, dass manche Zielpersonen die Schreiben ab einem gewissen Zeitpunkt nicht mehr öffnen und die Prepaid-Beilage keinen Effekt mehr hat. In der NEPS-Studie konnte zudem beobachtet werden, dass auch eine Erhöhung der Postpaid-Incentivierung die Rückmeldequote der Vorkontaktierung merklich erhöht.
Um die Rückmeldequote einer Vorkontaktierung zu maximieren, sollten also mindestens zwei Erinnerungen eingeplant werden, eine davon nach Möglichkeit als Sonderaktion in einem anderen Format. Darüber hinaus sollte, wenn möglich, ein Prepaid-Incentive eingesetzt werden, idealerweise bereits im Erst anschreiben, aber spätestens mit der ersten Erinnerung.
Zum Weiterlesen:
Die Webseiten zu den genannten Studien:
SOEP, NEPS, DaLi
Dieser Beitrag wurde zuerst in Lagemaß 14 „wählen“ veröffentlicht.
