Survey-Innovationen

Stetige Entwicklungen in der sozialwissenschaftlichen Forschung auf verschiedenen Ebenen verlangen nach zeitgemäßen, immer komplexeren computerbasierten Erhebungsmethoden sowie damit einhergehenden Messinstrumenten. Um dieser Anforderung nach Innovationen auch strukturell und organisatorisch Rechnung zu tragen, haben wir den Fachbereich „Survey-Innovationen“ eingerichtet. In Abgrenzung zur Survey-Methodologie ist die Aufgabenstellung des neuen Fachbereichs übergreifender und weiter gefasst. So liegt der Fokus nicht auf der Untersuchung von Fehlerquellen oder deren Vermeidung, Minimierung oder Korrektur, sondern vielmehr in der Konzeption neuer Verfahren und/oder der Kombination bereits bestehender Verfahren. Diese müssen dann selbstredend entsprechend surveymethodologisch evaluiert werden. Dabei folgen wir im Grundsatz dem vom Ökonom und Politiker Joseph Schumpeter in Bezug auf Innovation formulierten Prinzip„the doing of new things or the doing of things that are already done, in a new way“.
Doch worin begründen sich die „neuen“ Anforderungen?

Insgesamt kann seit Ende der 1970er Jahre von einer Heterogenisierung der Befragungsmethoden gesprochen werden. Dabei werden die klassischen Erhebungsformen des papierbasierten Interviews (Paper and Pencil Interview, PAPI) und des papierbasierten Selbstausfüllers (Paper and Pencil Self Interview, PAPSI) zunehmend durch computergestützte Methoden, wie der telefonischen Befragung (Computer Assisted Telephone Interview, CATI), dem computergestützten Interview (Computer Assisted Personal Interview, CAPI) oder der Online-Befragung (Computer Assisted Web Interview, CAWI), verdrängt (Petersen 2000; Pfleiderer 2000). Dies zeigen auch die Zahlen des Arbeitskreises Deutscher Markt und Sozialforschungsinstitute e. V. (ADM 2022). Diese zunehmende Bedeutung computergestützter Verfahren zeigt sich auch im internationalen Vergleich (ESOMAR 2012). Am deutlichsten ist dieser Trend in Bezug auf die Erhebungsmethode CAWI festzustellen. Die Zahlen des ADM dokumentieren, dass CAWI als Befragungsmethode seit 1998 zunehmend eingesetzt wird. Wurden noch Anfang der 1990er Jahre bei keinem der Mitgliedsinstitute des ADM Online-Befragungen realisiert und lag deren Anteil gemessen an allen Befragungen 1998 bei lediglich einem Prozent, liegt der Anteil 2021 bei 57 Prozent. Surveys im Internet sind demnach die häufigste Befragungsmethode der ADM-Mitgliedsinstitute im Jahr 2021. Der Grund für diese Entwicklung liegt auf der Hand. CAWI ist häufig sehr viel günstiger zu realisieren als andere Modi.

Mit den preiswerten Online-Interviews geht allerdings ein weiterer Aspekt einher, der für die Validität der Daten von großer Bedeutung ist: die Generierung der Stichproben. So sind die stichprobentheoretischen Voraussetzungen bei vielen Erhebungen ungeklärt und in der Regel nicht dokumentiert. Generell kann gesagt werden, dass die meisten Online-Erhebungen auf „NonProbability-Samples“ basieren, also auf Stichproben ohne Zufallsauswahl. So wurden im Jahr 2021 annähernd 90 Prozent der CAWI-Interviews der ADM-Mitgliedsinstitute aus Access-Panels rekrutiert. Begonnen hat dieser Trend ebenfalls in den 1990er Jahren, vor allem in der Markt- und Meinungsforschung.

Mittlerweile zeigen sich diese Trends aber auch in der (sozial-)wissenschaftlichen Forschung. Kaum eine der von infas durchgeführten Studien kommt ohne computerbasierte Erhebungsinstrumente aus, wobei diese auch zunehmend in einem Mixed-Mode-Design eingesetzt werden. Die Anforderungen seitens der Auftraggeber in diesem Bereich nehmen stetig zu. Irritierend ist dabei zu
sehen, dass oftmals auch in der akademischen Forschung auf Quotenstichproben innerhalb von Online-AccessPanels zugegriffen werden soll, die dann unreflektiert als „repräsentativ“ deklariert werden. Dies ist insbesondere während der Pandemie deutlich geworden. Auch wenn „Non-Probability-Samples“ für bestimmte Fragestellungen ihre Berechtigung haben, führt kein Weg an einer Zufallsstichprobe vorbei, wenn ein genaues Abbild der Meinungen oder Einstellungen der Bevölkerung erhoben werden sollen, was für die meisten durch infas durchgeführten Studien zutrifft.

Eng mit der Problematik computerbasierter Erhebungsinstrumente verknüpft ist auch die Frage nach den Stichproben, die der jeweiligen Erhebungsmethode zugrunde liegen. Eine Lösung der Zusammenführung von unterschiedlichen Stichproben in Analogie zum Dual-Frame-Ansatz bei Telefonstichproben als „Triple Frame“ ist noch nicht gefunden und bedarf einer wissenschaftlich fundierten Antwort, weil die Verbreitung von „Non-Probability-Samples“ zunimmt.

Zusätzlich verändert sich vor diesem Hintergrund und anderer, neuerer Entwicklungen in der Technik das Verständnis von Messung. Vieles kann automatisch, ohne Zutun von Befragten, gemessen (Passiv-Messung) und auch verarbeitet werden, sodass sich ein neues Verhältnis von mittels Devices aufgezeichneten Messungen einerseits und über Befragungen erhobene Messungen andererseits ergibt. Daraus folgen neue Herausforderungen für das Gütekriterium der Konstruktvalidität (Reliabilität und Validität).

Wie kann den Anforderungen begegnet werden und welche Herausforderungen sehen wir dabei?

Einleitend wurde bereits auf die zunehmende Bedeutung von CAWI-Erhebungen hingewiesen. Diese stellen auch hinsichtlich der Befragungsinstrumente eine besondere Herausforderung dar, da diese nicht mehr nur – wie noch in den 1990er Jahren – ausschließlich auf Desktop-PCs stattfinden. Das Internet ist mittlerweile ständig und überall verfügbar. Der Zugriff auf Webinhalte findet inzwischen über die verschiedensten Gerätetypen statt, weshalb bei CAWI-Erhebungen von Mixed-Device-Surveys gesprochen werden muss. Die Entwicklung und Umsetzung von Erhebungsinstrumenten für verschiedene Endgeräte ist eine besondere Herausforderung, denn auch hier muss dem Gütekriterium der Konstruktvalidität (Reliabilität und Validität) Rechnung getragen werden.

Darüber hinaus sollen in CAWI-Erhebungen aber auch immer mehr Inhalte erhoben werden, die bislang klassisch nur intervieweradministriert erhoben wurden. Dies liegt häufig an der Komplexität der dafür verwendeten Instrumente. Ein weiterer und mehr und mehr an Bedeutung gewinnender Modus im Rahmen von CAPI-Erhebungen stellt hier auch CASI (Computer Assisted Self Interview, CASI) dar. Ein gutes Beispiel ist dabei die Erfassung von episodischen Daten im Rahmen der Lebensverlaufsforschung. Zunächst stellt sich die Frage, wie die Instrumente zu gestalten sind, damit diese selbstadministriert auf allen möglichen Geräten bearbeitet werden können. Inhaltlich kommen hierbei wieder zwei konkurrierende und nicht neue Ansätze zum Tragen:
Werden die verschiedenen Episoden chronologisch oder thematisch abgearbeitet oder verwendet man beide Ansätze und überlässt die Entscheidung bei selbstadministrierten Instrumenten der Befragungsperson selbst? Dann müsste das Instrument allerdings beide Ansätze berücksichtigen. Eine weitere Herausforderung stellt die Visualisierung der erhobenen Daten dar, die zumeist auf
Lücken und Überschneidungen geprüft werden sollen. Gerade vor dem Hintergrund von CAWI als Multi-Device-Survey stellt dies besondere Herausforderungen an die Responsivität des Erhebungsinstruments.

Ein weiteres Beispiel in diesem Kontext stellen Befragungen dar, bei denen verschiedene Personen eines Haushaltes befragt werden. Hierfür muss zunächst die Haushaltszusammensetzung erfasst werden, aus welcher sich dann ableitet, wie viele und ggf. welche Personen befragt werden sollen. Wie können hier mehrere Personen auf einen Fragebogen zugreifen oder wie
werden adaptiv verschiedene Fragebögen für die Personen angelegt? Wie wird der Zugang (Link und Passwort) zum Fragebogen an die verschiedenen Personen verteilt? Ein ähnliches Problem haben wir bereits im Rahmen von Betriebsbefragungen gelöst. Bei diesen kommt es häufiger vor, dass verschiedene Personen Angaben zum Betrieb tätigen, da nicht eine einzelne Person über alle Informationen verfügt. Hier können mittels eines Delegationsprinzips (siehe auch Beitrag auf Seite 36) einzelne Fragebogenteile von der Ankerperson im Betrieb selbstständig an eine andere Person im Betrieb delegiert werden. Der Fragebogen ist dabei nicht linear, was neue Herausforderungen für die Filterführung und Darstellung gefilterter Fragen mit sich bringt. Zugleich eröffnet ein nicht linearer Fragebogen aber auch neue Möglichkeiten bei der Aufteilung und Darstellung einzelner thematischer Kapitel. Eine weitere Herausforderung im Rahmen von CAWI-Erhebungen stellt die Rekrutierung oder Ermittlung weiterer Befragungspersonen mittels eines Schneeballverfahrens dar. Aktuell werden hier vor allem auch Ansätze im Rahmen von Respondent-driven Sampling (RDS) diskutiert, beispielsweise für die Analyse von sozialen Netzwerken. Hier gilt es neben einer anwenderfreundlichen Lösung, die vor allem hohe Anforderungen an die Usability stellt, auch datenschutzrechtliche Anforderungen zu berücksichtigen.

Ein weiteres Themenfeld stellen (sozial-)wissenschaftliche Apps dar. infas verfügt selbst über die Panel-App „my infas“, welche für das Tracking und die Panelpflege im Rahmen von Panelstudien entwickelt wurde. Jedoch wissen wir noch recht wenig darüber, wer die Nutzer solcher Apps sind, wie man solche Apps möglichst effizient einsetzt und welche Inhalte über eine solche App in welchen Intervallen dargeboten werden müssen. Hier gilt es also, künftig verschiedene Konzepte und Ansätze mit unterschiedlichen Populationen zu erproben und eine empirische Basis für weitere Entwicklungen zu schaffen. Darüber hinaus stellt sich hierbei auch die Frage, welche weiteren Apps beispielsweise für passive Messungen zum Einsatz kommen können und welche Daten sich damit wie valide erheben lassen. Auch das Thema der Akzeptanz solcher Apps seitens der Teilnehmenden ist ein noch nicht ausreichend beleuchteter Aspekt, der ggf. zu Selektivitäten bei der Messung führen kann.

Ein weiteres Zukunftsszenario sehen wir in fremdadministrierten Interviews ohne (menschliche) Interviewer. So schreiten die Entwicklungen von Sprachassistenten und damit verbunden künstlicher Intelligenz immer weiter und schneller voran. Lassen sich derartige Systeme auch für die Interaktion „Interview“ nutzen? Würden derartige Ansätze von potenziellen Befragten überhaupt akzeptiert? Aber auch mit Blick auf selbstadministrierte Erhebungsmethoden wäre vorstellbar, in Form von Avataren eine Assistenz während der Befragung anzubieten. Wie müssten derartige Avatare gestaltet werden? Welche Aufgabe könnten solche Avatare überhaupt übernehmen? Hier schließen an die enormen technischen Herausforderungen eine Reihe methodischer Fragen an, die es dann systematisch zu untersuchen gilt.

Bei all diesen Fragen muss ein weiteres und immer präsenter werdendes Thema berücksichtigt werden: die Barrierefreiheit. Viele Lösungen – vor allem im Bereich der Online-Erhebungen – berücksichtigen diesen Aspekt nicht oder nur unzureichend. Dies liegt vor allem darin begründet, dass es für die Umsetzung keinen einheitlichen technischen Standard gibt. Auch die inhaltliche
Ausgestaltung oder die inhaltlichen Anforderungen sind in vielen Aspekten nur vage definiert. Ebenso bedeutet Barrierefreiheit aktuell auch technisch noch einen „Verzicht“. Viele technische Lösungen sind an sich schon nicht barrierefrei. Diese technischen Lösungen stellen für nicht beeinträchtigte Menschen jedoch häufig einen Gewinn an Usability dar. Hier stellt sich vor allem die Frage, wie dieses Problem technisch so gelöst werden kann, dass jedes Instrument barrierefrei ist, ohne die Kosten für die Instrumentenerstellung deutlich zu erhöhen.

Mit Blick auf die bereits angesprochene Problematik der „Non-Probability-Samples“ hat infas einen Vorstoß mit dem Gewichtungsverfahren „Blended Calibration“ gewagt. Aber auch hier sind weitere Studien notwendig, um die Ergebnisse bisheriger Pilotstudien weiter zu validieren. Auch hat infas sich entschieden, ein eigenes Panel für Online-Erhebungen auf Basis eines Probability-Samples aufzubauen.

Der beispielhafte Anriss macht deutlich, wieso wir den Fachbereich „Survey-Innovationen“ etabliert haben. Ich selbst freue mich, diesen Bereich in meiner Funktion als Fachbereichsleiter mit Leben füllen zu dürfen, und bin bereits heute gespannt, welche Herausforderungen wir wie lösen und welchen neuen Herausforderungen wir uns künftig noch stellen werden.

Dieser Beitrag wurde zuerst in Lagemaß 12 veröffentlicht.

Zum Weiterlesen:
Petersen, T. (2000): Keine Alternativen: Telefon- und
Face-to-Face-Umfragen.
Pfleiderer, R. (2000): Methodeneffekte beim
Umstieg auf CAPI-Techniken. Beide in: Statistisches
Bundesamt (Hrsg.): Neue Erhebungsinstrumente und
Methodeneffekte. Stuttgart: Metzler-Poeschel.
ESOMAR (2012): Global Prices Study 2012.
Amsterdam: ESOMAR.
ADM (2022): Jahresbericht 2021. Berlin: ADM,
www.adm-ev.de