Die Perspektive der Interviewenden
Eine sinkende Teilnahmebereitschaft kann in den vergangenen Jahren für den gesamten Markt der Umfrageforschung beobachtet werden. Das Phänomen betrifft alle Modes, alle Zielgruppen und auch alle Themen. Die Situation führt zu intensiven Diskussionen über mögliche Effekte und Auswirkungen auf die Messung und deren Ergebnisse. Bestimmte Zielgruppen werden nur mehr sehr schwer erreicht. Die Selektivität erhöht sich. Immer größere Stichproben müssen eingesetzt werden, um angestrebte Fallzahlen zu erreichen. Der Aufwand zur Bearbeitung von Adressen in den Stichproben steigt und führt zu mehr Kontaktversuchen sowie zu längeren Bearbeitungszeiträumen. Nicht zuletzt steigen dadurch die Erhebungskosten und sprengen häufig die Budgets der Forschungsvorhaben.
Mit unterschiedlichen Maßnahmen und zum Teil neuen Strategien versuchen Forschende diesem Phänomen zu begegnen. Studien wurden im Mixed-Mode-Design angelegt, um den Bedürfnissen aller Teilnehmenden gerecht zu werden. Mit vielfältigen Kommunikationsstrategien versuchen Studien auf sich aufmerksam zu machen und für eine Teilnahme zu werben. Nicht zuletzt gehören monetäre Incentivestrategien zu den bewährten Motivationsmitteln.
Interviewereffekte auf Response-Raten
Durch den allgemeinen Kostendruck zeichnet sich aktuell ein Trend zu selbst administrierten Erhebungsmethoden ab, unter anderem auch, weil dadurch der kostenintensive Einsatz von Interviewenden entfallen kann. Nicht selten wurden Effekte sinkender Response-Raten bei den eingesetzten Interviewenden gesucht und gefunden. Grundsätzlich sind Interviewende unterschiedlich erfolgreich bei der Bearbeitung ihrer Einsatzadressen. Die Erfolge sind aber nicht selten ein Resultat der Einsatzstrategie. Im Face-to-Face-Feld werden sie aus Kostengründen möglichst wohnortnah eingesetzt und sind dabei möglicherweise mit regionalen Effekten der Teilnahmebereitschaft konfrontiert. In Panelstudien bemühen sich die Verantwortlichen, Interviewerwechsel zu vermeiden, weil die Interviewerkontinuität einen positiven Effekt auf die Panelstabilität hat. Einzelne, mitunter gerade erfahrene Interviewende haben höhere Response-Raten, weil sie möglicherweise über einen breiteren Erfahrungsschatz an Überzeugungsstrategien oder besonders guten Kontaktierungsstrategien verfügen.
Für eine Session auf der Konferenz der European Survey Research Association (ESRA) 2025 in Utrecht wurde von infas das Phänomen sinkender Response-Raten aus der Interviewerperspektive näher unter die Lupe genommen. Dabei standen für uns folgende Fragen im Fokus: Wie sieht die aktuelle Entwicklung bei den Response-Raten der Interviewenden aus? Sinken die Response-Raten über alle Interviewenden in gleichem Ausmaß? Welche Erklärungen lassen sich für die Effekte und Unterschiede bei den Interviewenden finden?
Zur Beantwortung der Fragestellungen standen uns zwei große Datensätze bei infas zur Verfügung, mit denen sich auch Veränderungen über die letzten zehn Jahre analysieren lassen.
Grundsätzlich können sinkende Response-Raten über die letzten zehn Jahre auch auf der Ebene der Interviewenden im infas Face-to-Face-Feld beobachtet werden. Lag der Median der mittleren Response-Rate im Jahr 2014 noch bei 0,6, so ist er 2024 auf 0,3 gesunken. Mit jedem Jahr an Interviewerfahrung scheint sich dieser Effekt jedoch geringer auszuwirken oder nahezu umzukehren. Bei Neueinsteigern liegt der Median bei 0,2. Bei Interviewenden, die über zehn Jahre in dem Zeitraum von 2014 bis 2024 tätig waren, wird ein Median von 0,5 erreicht. Zugleich nimmt die Spannbreite der mittleren Response-Rate mit den Erfahrungsjahren ab. Sie reicht im ersten Jahr der Interviewertätigkeit von 0,1 bis 0,5 und liegt nach zehn Jahren zwischen 0,4 und 0,7. Es bleibt allerdings bei erheblichen Streuungen über den infas-Gesamtstab, nicht zuletzt auch, weil in diese Betrachtung alle Studien mit ihren unterschiedlichen Designs und Stichproben einbezogen wurden.
Interviewer-Response-Raten anhand der PASS-Studie
Mit den Daten aus dem Panel Arbeitsmarkt und soziale Sicherung, kurz PASS, das infas seit vielen Jahren für das Institut für Arbeitsmarkt- und Berufsforschung erhebt, können die Einflüsse des Studiendesigns und der Stichprobe kontrolliert werden. Sie bieten so die Möglichkeit einer vertiefenden Analyse. Auch wenn es sich im PASS um die Befragung im Niedrigeinkommenssektor und damit um eine schwierigere Zielpopulation handelt, so lassen sich die nachfolgenden Trends durchaus auch in anderen Panelstudien beobachten.
Grundsätzlich zeigen auch die Response-Raten im PASS einen sinkenden Trend. Dieser lässt sich sowohl bei den erfahrenen als auch bei den unerfahrenen Interviewenden beobachten. Allerdings ist dabei nicht unerheblich, ob Interviewende Paneladressen bearbeiten sollen oder Erstbefragte rekrutieren müssen. Erfahrene Interviewende waren bereits vor zehn Jahren erfolgreicher bei den Paneladressen als unerfahrene. Mittlere Response-Raten von über 0,8 konnten erreicht werden und sind aktuell auf das Niveau von 0,7 gesunken. Weniger erfolgreich sind alle Interviewenden bei der Bearbeitung von Auffrischungsadressen. Erfahrene Interviewende konnten anfangs aber immerhin noch Response-Raten um 0,4 erreichen, während die Response-Raten unerfahrener Interviewender unter 0,3 lagen. Der Unterschied zwischen den beiden Gruppen verschwindet allerdings über die Jahre und ist im Jahr 2024 für alle Interviewenden im Mittel auf das Niveau von 0,15 gesunken.
Erfahrung macht den Unterschied
Fasst man die Beobachtungen aus dem infas-Gesamtstab und dem PASS-Interviewerstab zusammen, dann zeigen sich große Varianzen zwischen den Interviewenden. Interviewerfahrung scheint für die erfolgreiche Bearbeitung im Feld eine Rolle zu spielen, aber auch, ob Panel- oder Auffrischungsadressen bearbeitet werden können. Weiterführende multivariate Analysen sollten Hinweise auf mögliche Erklärungen für die beobachteten Effekte sinkender Response-Raten geben, indem die Unterschiede zwischen den Interviewenden und den Einsatzstrategien kontrolliert werden (regression model with fixed effects). Die Modelle wurden zudem getrennt für Panel- und Auffrischungsstichproben gerechnet.
Positiv auf die Response-Rate der Interviewenden wirkt sich aus, wenn der Anteil der zu bearbeitenden Paneladressen hoch ist bzw. Panelisten aus der Vorwelle bearbeitet werden können und wenn insgesamt weniger Verweigerungen vorliegen. Erstaunlich ist jedoch ein negativer Effekt bei der Erfahrung der Interviewenden, der so gar nicht zu den bisherigen Beobachtungen passt. Und dieser Effekt kann sowohl in den Panel- als auch in den Auffrischungsstichproben beobachtet werden. Er geht zudem einher mit einem höheren Einsatzumfang der Interviewenden (mehr Kontaktversuche, mehr Feldwochen im Einsatz, mehr Studien bearbeitet). Gar nicht mehr so erstaunlich ist der Effekt aber, wenn man die Einsatzstrategien der Einsatzleitung beziehungsweise der Supervision kennt. Es sind gerade die erfahrenen Interviewenden, die die schwierigen Fälle bearbeiten. Sie sind diejenigen, die Fälle wenig erfolgreicher Interviewender übernehmen und nachbearbeiten. Sie werden gerade am Ende eines Feldes beim Ausschöpfen der allerletzten Adressen eingesetzt. Interviewende mit eigentlich hohen Response-Raten können dadurch am Ende schlechter abschneiden. Weitere Analysen sind geplant, um diesen zeitlichen Effekt auf die Response-Rate im Feldverlauf zu kontrollieren und mögliche weitere Erklärungsansätze zu finden.
Interview-Erfolg: ein Resultat der Einsatzstrategie!
Sinkende Response-Raten sind auch aus Sicht der Interviewenden evident und haben sich in den vergangenen zehn Jahren deutlich verschärft. Sie betreffen die Interviewenden jedoch durchaus in unterschiedlichem Ausmaß und sind nicht zuletzt durch die vorgegebenen Adressen oder die Einsatzstrategien bedingt. Interviewende, die sich nur auf ihre Paneladressen der Vorwelle konzentrieren können, erreichen höhere Response-Raten als solche, die schwer erreichbaren Fällen nachgehen müssen oder Adressen anderer Interviewenden nachbearbeiten. Aber selbst erfahrene Interviewende sind nicht per se erfolgreicher als unerfahrene. Bei der Rekrutierung neuer Befragungspersonen tun sich alle schwer und erreichen nur noch niedrige Response-Raten. Für die Besetzungs- und Einsatzstrategie in den Feldern bedarf es einer differenzierten Betrachtung der Interviewerperformanz, die sich nicht nur an den Response-Raten orientieren kann. Gerade die intensive Bearbeitung der vorgegebenen Adressen erfordert auf der Seite der Interviewenden eine hohe Einsatzbereitschaft und eine hohe Frustrationstoleranz bei schwer motivierbaren Befragungspersonen. Ein kontinuierliches Monitoring im Feldverlauf ist notwendig, um die Bearbeitungsperformanz der Interviewenden zu verfolgen und gegebenenfalls individuell nachzusteuern. Das Monitoring bei infas berücksichtigt dabei verschiedene Kennzahlen wie zum Beispiel Kooperationsrate, Kontaktanzahl, Verweigerungsrate, Einsatzkontinuität, Kontaktstrategie, aber auch den Einsatzaufwand (Honorare und Spesen). Auf dieser Basis treffen Einsatzleitungen wöchentlich Entscheidungen über Weiterbearbeitungen, Umverteilungen oder Nachbearbeitungen, mit dem Ziel, alle Adressen der Bruttostichprobe intensiv zu bearbeiten, Selektivitäten zu vermeiden und Ausfälle so gering wie möglich zu halten.
Zum Weiterlesen:
Calderwood L., Haselden L., Agalioti-Sgompou V., Cleary A., Rose N., Bhaumik C. & Thom J. (2020) Developments in fieldwork procedures and monitoring in longitudinal surveys: case prioritisation and electronic contact sheets on the UK Millennium Cohort Study in Survey Methods: Insights from the Field, Special issue: ‘Fieldwork Monitoring Strategies for Interviewer-Administered Surveys’. DOI:10.13094/SMIF-2020-00002
Jabkowski P. & Cichocki P. (2024) Survey response rates in European comparative surveys: a 20 year decline irrespective of sampling frames or survey modes. Qual Quant 59 (Suppl 1), 635-655. DOI:10.1007/s11135-024-01993-9
Meitinger K., Stadmüller S., Silber H. et al. (2020). Fieldwork Monitoring in Practice. Insights from 17 Large-scale Social Science Surveys in Germany. Survey Methods: Insights from the Field. DOI:10.13094/SMIF-2020-00006
Dieser Beitrag wurde zuerst in Lagemaß 15 „Wandel“ veröffentlicht.