Blended Calibration

Bisher standen Forschende bei Erhebungen vor der Entscheidung zwischen einer qualitativ hochwertigen, aber in der Umsetzung teureren Zufallsstichprobe und einem meist online realisierten günstigen Non-Probability-Sample mit analytischen Einschränkungen. Mit „Blended-Calibration“ gelingt es infas, beide Varianten zu vereinen und die jeweiligen Vorteile zur Geltung zu bringen.

infas hat mit „Blended-Calibration“ ein Verfahren aufgegriffen und weiterentwickelt, das festgefahrene Fronten aufbrechen soll. Der Lösungsvorschlag basiert auf der Zusammenführung von einer Erhebung mit einer eher kleinen Zufallsstichprobe (Probability Sample) und einem deutlich größeren Non-Probability Sample (z.B. Quotenstichprobe). In beiden Erhebungen werden die identischen Fragen gestellt, um sie anschließend zu einem Datensatz zusammenzufassen. Neben der üblichen Gewichtung ist dafür der Einsatz zusätzlicher Kalibrierungsmerkmale erforderlich. Diese sollten sich in ihren Ausprägungen in beiden Datensätzen erheblich unterscheiden und einen Bezug zu den Samples haben. Je stärker die Korrelation der Zielvariablen mit den für die Kalibrierung genutzten Merkmalen ist, desto stärker wird der gewünschte Effekt der Maßnahme auf die Verteilungen.

Die Vorteile von "Blended-Calibration"

Bei Non-Probability-Samples ist die Zusammensetzung der Stichprobe nicht bekannt, weshalb keine Inklusionswahrscheinlichkeit für ihre Mitglieder ermittelt werden kann. Deshalb kann keine Aussagen zum Standardfehler getroffen werden und er kann – anders als bei einer Zufallsstichprobe – nicht durch eine Erhöhung der Fallzahl reduziert werden. Tests zeigen, dass die Ergebnisse von Non-Probability-Samples stärker vom wahren Wert abweichen als die von Probability Samples.

„Blended Calibration“ ermöglicht es, mit vertretbarem Aufwand eine Genauigkeit zu erreichen, die ansonsten nur mit einer umfangreichen Zufallsstichprobe möglich wäre. Dazu werden beide Varianten kombiniert: Ein kleineres Probability-Sample trägt die Genauigkeit bei und ein Non-Probability-Samples – oft in Form einer Online-Erhebungen im Access-Panel – ermöglichen kostengünstig, hohe Fallzahlen zu ergänzen.

Insbesondere bei Online-Erhebungen als Non-Probability-Samples bietet es sich an, Unterschiede im Kommunikationsverhalten, insbesondere im digitalen Bereich, als zusätzliche Kalibrierungsmerkmale zu verwenden. Hierzu eignen sich Angaben der Befragten zur Mobilfunk-, Festnetz- und Internetnutzung und zu Aktivitäten in Social-Media. Diese Merkmale variieren in der Regel zwischen Teilnehmern von Online-Access-Panels und per Zufallsstichprobe ausgewählten Personen.

 

Einzuplanen sind zwei Erhebungen mit identischen Fragen. Als Probability-Sample eignet sich beispielsweise eine telefonische Befragung mit ADM-Stichprobe und 1.000 Fällen. Für das Non-Probability-Sample kann ein Online-Access-Panel genutzt werden, beispielsweise von unserer Unternehmensschwester infas quo GmbH. Die Fallzahl ist flexibel und ergibt sich aus studienspezifischen Überlegungen. In beiden Erhebungen werden etwa sechs zusätzliche Fragen gestellt, die für die Kalibrierung erforderlich sind.

Grundsätzlich eignet sich das Verfahren auch für eine Panelstichprobe. Das genaue Design hängt von zahlreichen Parametern ab (Turnus, Fallzahlen, Thema) und muss für den Einzelfall geklärt werden. Insbesondere für die Auftaktwelle bietet „Blended Calibration“ die Chance, vergleichsweise günstig ein großen Panelbestand aufzubauen, der wiederholt online befragt werden kann.

Eine Erhebung mit „Blended Calibration“ nutzt die positiven Eigenschaften eines Probability Samples, reicht aber nicht vollständig an sie heran. Für zahlreiche Studienthemen ist das Verfahren geeignet, es gibt jedoch Themenfelder, für ein reines Probability Sample unverzichtbar ist. „Blended Calibration“ funktioniert nur dann zufriedenstellend, wenn das Non-Probability-Sample hochwertig ist, also alle Maßnahmen zur Qualitätssicherung umgesetzt werden.

„Blended Calibration“ ist immer dann eine Option, wenn hohe Fallzahlen erforderlich sind. Etwa, bei geringen Prävalenzen, die ein Screening mittels Probability Sample sehr aufwändig machen. Zudem kann „Blended Calibration“ dann eine Option sein, wenn schnelle Feldzeiten erforderlich sind: Hohe Fallzahlen benötigen bei einem Probability Sample deutlich mehr Zeit als bei einem Non-Probablity Sample.

Die praktische Anwendung

infas setzt „Blended Calibration“ gemeinsam mit der Unternehmensschwester infas 360 bereits regelmäßig ein. Als kleinere Erhebung mit Zufallsstichprobe wird dabei das infas-Panel genutzt. Es umfasst monatlich etwa n=1.000 Befragte. Basis ist eine Dual-Frame-Telefonstichprobe entsprechend ADM-Design mit einem Mischungsverhältnis von 70 Prozent Festnetz und 30 Prozent Mobilfunk. Das erheblich größere Non-Probability Sample ist eine Online-Erhebung mit einer Nettostichprobe von n=10.000 Fällen. Basis ist ein klassisches Online-Access-Panel.

Zudem hat infas „Blended Calibration“ bei den Erhebungen zu den Themenreports „Homeoffice im Verlauf der Corona-Pandemie“ und „Impfquote und Impfbereitschaft“ sowie zum Mobilitätsreport „Alles wie vorher? Die Verkehrswende zwischen 9-Euro-Ticket und alten Herausforderungen“ angewendet.

Der Öffentliche Nahverkehr spielt für das Erreichen von Klimazielen oder die künftige Sicherstellung der Mobilität in Ballungsräumen und ländlichen Gebieten gleichermaßen eine bedeutende Rolle. Zugleich steht der ÖPNV in starkem Wettbewerb mit dem Individualverkehr und mit den neuen Mobilitätsdienstleistungen.

Die bisherige Praxiserfahrung zeigt, dass eine hochwertige Zufallsstichprobe für den Referenzdatensatz Voraussetzung für eine erfolgreiche Anwendung von „Blended Calibration“ ist. Auch das Non-Probability-Sample sollte sorgfältig erstellt und hochwertig sein. Die Kalibrierungsmerkmale, die infas in verschiedenen Projekten und Eigenstudien angewendet und getestet hat, erzielen zuverlässig eine Optimierung. Denkbar sind hier weitere Merkmale für zusätzliche Verbesserungen. Idealerweise entwickelt man diese im Rahmen von Erhebungen, zu denen es nicht-empirische Referenzwerte gibt, beispielsweise im Rahmen der Wahlforschung oder etwa im Immobiliensektor, wo es Katasterdaten gibt. „Blended Calibration“ eignet sich nicht für jede Herausforderung, die sich der Markt- und Sozialforschung stellt, ist aber wohl ein vielversprechender Baustein, der das Beste aus zwei unterschiedlichen Welten verbindet.

Ergänzende Informationen:

News: infas führt ein Verfahren zur Kalibrierung von Non-Probability-Erhebungen mit Hilfe von Probility-Samples ein