Eine der größten Herausforderungen für Panelbefragungen ist es, die Teilnahme der Befragten über mehrere Wellen aufrechtzuerhalten und damit die Panelmortalität zu reduzieren. Doch wie schafft man das?
Insbesondere wenn es sich nicht um zufällige, sondern selektive Ausfälle handelt, führt Panelmortalität zu Verzerrungen und gefährdet die interne und externe Validität einer Studie. Es gilt also, sicherzustellen, dass auch wirklich das gemessen wird, was gemessen werden soll, und dass sich die Ergebnisse der Studie generalisieren und damit auf die Bevölkerung, bestimmte Gruppen oder Personen übertragen lassen. Selektive Ausfälle können in Panelstudien insbesondere durch Verweigerungen oder Nicht-Erreichbarkeit der Befragten entstehen. Gerade bei hoch mobilen Befragungsgruppen ist es deswegen von entscheidender Bedeutung, dass die Qualität der vorhandenen Kontaktangaben regelmäßig und in kurzen Abständen überprüft und aktualisiert wird.
Befragungen von Flüchtlingen
Aktuelle Studien mit Flüchtlingen zeigen, dass insbesondere die Zielgruppe der Flüchtlinge eine sehr mobile Gruppe ist. Sie wechseln häufiger ihren Wohnort oder ändern ihre Kontaktdaten, wie zum Beispiel die Telefonnummer. Wenn man die Befragten erreicht, ist die Kooperationsrate jedoch sehr hoch.
Demzufolge stellt insbesondere die Erreichbarkeit eine besondere Herausforderung für die Zielgruppe der Flüchtlinge dar. Eine zentrale Methode, die Erreichbarkeit von Zielpersonen zu erhöhen, sind sogenannte Nachverfolgungs- bzw. Trackingmaßnahmen, die vor und während der Feldzeit eingesetzt werden können. Dabei handelt es sich zum Beispiel um verschiedene Adressrecherchen (bspw. bei den Einwohnermeldeämtern), aber auch um postalische, telefonische oder elektronische (per E-Mail) Kontaktierungen, um die Befragten zu motivieren, ihre Kontaktinformationen zu aktualisieren. Anhand der Studie ReGES „Refugees in the German Educational System“, die am Leibniz-Institut für Bildungsverläufe (LIfBi) in Bamberg angesiedelt ist, wurde untersucht, inwieweit verschiedene Trackingmaßnahmen in der Zielgruppe der Flüchtlinge einen Einfluss auf die Reduktion von Panelausfällen haben und damit auch Einfluss auf die Selektivität der Panelstudie.
Die Studie ReGES:
Mit der Studie Refugees in the German Educational System (ReGES) im Auftrag des Leibniz-Instituts für Bildungsverläufe e.V. (LIfBi) werden die individuellen Bildungskarrieren von Personen mit Fluchthintergrund sowie die Faktoren, die Integration fördern oder behindern, untersucht. Dazu wird ein Panel mit zwei Flüchtlingskohorten (einmal mit Kindern ab vier Jahren und einmal mit Jugendlichen ab 14 Jahren) mit insgesamt 4.800 Teilnehmern aufgebaut. Seit 2017 werden jährlich bis zu zwei CAPI- und CASI-Befragungen in acht Sprachen in den Familien durchgeführt. Ergänzend werden Mitarbeiter in Kommunen und Gruppenunterkünften und pädagogische Fachkräfte in Kindergärten und Schulen schriftlich befragt.
Hintergrund der ReGES-Studie
Die Grundgesamtheit der ReGES-Studie bilden Kinder und Jugendliche, die als Geflüchtete im Kontext der aktuellen Flüchtlingszuwanderung zwischen Januar 2014 und Ende 2017 nach Deutschland gekommen sind. Die Kinder und Jugendlichen waren zum Stichtag der Erstbefragung zwischen 4 und 8 Jahre bzw. zwischen 14 und 17 Jahre alt. Befragt wurde in den Bundesländern Bayern, Hamburg, Nordrhein-Westfalen, Rheinland-Pfalz und Sachsen. Da die Kinder im Alter zwischen 4 und 8 Jahren noch zu jung waren, um selbst befragt zu werden, wurden an ihrer Stelle die Eltern befragt. Die Jugendlichen hingegen wurden selbst befragt. Die Erstbefragung wurde in den Sprachen Deutsch, Englisch, Französisch, Arabisch, Kurdisch, Paschtu, Dari und Tigrinja durchgeführt. Die Folgebefragungen in den Sprachen Deutsch, Englisch, Arabisch und Kurdisch.
Die erste Welle war eine persönliche Befragung vor Ort in den Familien durch muttersprachliche Interviewer. Die zweite Welle wurde etwa sechs Monate später telefonisch durchgeführt. Dafür wurden in der ersten Befragung auch die Telefonnummern der Befragten erhoben. Etwa 60 Prozent der Panelfälle haben bei der Erstbefragung eine Telefonnummer angegeben. Für die restlichen Teilnehmer lag keine Telefonnummer vor.
Trackingmaßnahmen zur Reduktion von Panelausfällen
Um auch die Befragten, die keine Telefonnummer angegeben haben, in der zweiten Welle kontaktieren zu können, wurde im Anschreiben der zweiten Welle um Rückmeldung der Telefonnummer gebeten. Begleitend dazu erhielten alle Teilnehmer vor Feldstart eine Push-Nachricht über die my infas-App.
Zusätzlich erhielten die Befragten ohne oder mit ungültiger Telefonnummer noch zwei weitere Schreiben (postalisch, per E-Mail oder per Push-Nachricht) und wurden nochmals gebeten, ihre aktuelle Telefonnummer mitzuteilen. In der Abbildung unten sind die verschiedenen Kommunikationsmaßnahmen und der jeweilige Zeitpunkt der Kontaktierung dargestellt. Nach der Versendung des Erstanschreibens (postalisch und per Push-Nachricht) haben 11,5 Prozent aller Befragten eine Telefonnummer zurückgemeldet. Auch nach dem zweiten Schreiben aktualisierten weitere rund 12 Prozent der Befragten ihre Telefonnummer. Nach der dritten Trackingmaßnahme kamen hingegen nur noch wenige Rückmeldungen zurück. Insgesamt haben sich somit 24,7 Prozent aller Teilnehmer zurückgemeldet und ihre Telefonnummer aktualisiert. Da für etwa 10 Prozent dieser Rückmeldungen bereits eine gültige Telefonnummer vorlag, die entweder aktualisiert oder nochmals bestätigt wurde, konnte mithilfe der Trackingmaßnahmen die Anzahl der tatsächlich telefonisch kontaktierten Befragten von 60,7 Prozent auf 74,6 Prozent gesteigert werden.
Eine zentrale Frage war, ob durch diese Maßnahme diejenigen Teilnehmer aktiviert werden konnten, die in der Erstbefragung keine Telefonnummer angegeben hatten. Von dieser Befragungsgruppe haben 37 Prozent auf die Trackingmaßnahmen reagiert und eine Telefonnummer übermittelt.
Wenngleich dieses erste Ergebnis die Wichtigkeit der verschiedenen Trackingmaßnahmen verdeutlicht, stellt sich hinsichtlich der Selektivität der Panelstichprobe die Frage, ob sich die Gruppe, die ihre Kontaktdaten aktualisiert hat, signifikant von der Gruppe der Personen unterscheidet, die sich nicht zurückgemeldet haben. In Abhängigkeit verschiedener Merkmale der Befragten wurde dies mittels einer logistischen Regression analysiert. Basis für diese Analyse waren alle Befragten, die in der Erstbefragung keine Telefonnummer angegeben hatten.
Insgesamt zeigen sich nur wenige signifikante Unterschiede zwischen den beiden Gruppen, wobei die jugendlichen Befragten sich häufiger zurückgemeldet haben als die Eltern der Kinder. Ebenso sieht man, dass Befragte häufiger auf die Maßnahmen geantwortet haben, wenn mehrere Familienmitglieder befragt wurden. Hinsichtlich des Geschlechts der Befragten, des Aufenthaltsstatus und des Bildungshintergrunds (der Eltern) zeigen sich keine signifikanten Unterschiede.
Die Ergebnisse zeigen, dass Trackingmaßnahmen auch bei der hoch mobilen Gruppe der Flüchtlinge anwendbar sind und eine zentrale Bedeutung für die Stabilität einer Panelstudie haben.
Ebenso zeigen die Ergebnisse, dass sich auch und insbesondere Personen zurückmelden, die die Angabe der Kontaktdaten im Rahmen der Erstbefragung verweigert haben. Diese Gruppe unterscheidet sich darüber hinaus nicht systematisch von den Personen, die sich nicht zurückmelden. Auch wenn die Rücklaufquote der Trackingmaßnahmen hoch ist, gibt es weiterhin einen Teil der Befragten, die aufgrund fehlender Telefonnummern nicht befragt werden konnten. Insbesondere für diese Befragten ist es interessant, ob und mit welchen Mitteln sie in den Folgewellen befragt werden können.
Zum Weiterlesen
Jesske, B. (2018): Surveying Migrants in the Context of the Low income Panel PASS, In: D. Behr (Ed.), Surveying the Migrant Population: Consideration of Linguistic and Cultural Issues, 85-94.
Köln: GESIS – Leibniz-Institut für Sozialwissenschaften.
Schnell, R. (2019): Survey-Interviews: Methoden stan-dardisierter Befragungen. 2. Auflage. Wiesbaden: VS Verlag.
Watson, N. und Wooden, M. (2009): Identifying fac-tors affecting longitudinal survey response.
In: P. Lynn (Ed.), Methodology of longitudinal surveys (pp. 157–181). Chichester: Wiley.
Will, G., Balaban, E., Dröscher, A., Homuth, C. & Welker, J. (2018): Integration von Flüchtlingen: Erste Ergebnisse der ReGES-Studie (LIfBi Working Paper No. 76). Bamberg: Leibniz-Institut für Bildungsverläufe.
