Ein kritischer Blick: Repräsentativität in Meinungsumfragen
4. September 2023
Weiterlesen Zunächst eine relativ neue Entwicklung bei Erhebungen per Telefon, welche als Zufallsauswahl durchgeführt werden. Diese werden inzwischen sehr häufig als Dual-Frame Stichprobe erhoben, es werden also Personen per Festnetz- und Mobiltelefon kontaktiert. Dies ist eine Reaktion auf die Kritik, dass immer größere Personengruppen nur noch mobil erreichbar sind - und dadurch aus Festnetzerhebungen komplett herausfielen. Dieses Beispiel zeigt: Schon die Erhebung selbst kann die Ergebnisse stark beeinflussen, Personengruppen können - trotz beworbener Repräsentativität - ausgeschlossen sein. Auch für eine Befragung per Mobiltelefon benötigen die Befragten Zeit. Es benötigt wenig Fantasie, um Personengruppen zu nennen, die über wenig Zeit frei verfügen können. Für beispielsweise Alleinerziehende; Beschäftigte in Vollzeitberufen oder Schichtarbeit; Menschen, die Angehörige pflegen ist die Ressource Zeit wertvoll. Ein Anruf eines Umfrageinstitutes wird wahrscheinlich eher weggedrückt. Letztlich kann auch der Zeitpunkt der Erhebung Fragen aufwerfen. So werden die Telefonbefragungen häufig nur über einen oder wenige Tage durchgeführt. Wird das Wochenende ausgespart, wird wahrscheinlich ein Teil der Arbeitnehmer*innen nicht teilnehmen können. Auch wird über die tatsächliche Uhrzeit der Anruf(versuche) oft keine Auskunft gegeben. Bei jeder Befragung sollten die konkreten Fragestellungen und die möglichen Antworten kritisch betrachtet werden. Gerade bei politischen Fragestellungen sind geschlossene Antworten problematisch. Wird nach der befürworteten politischen Reaktion auf ein gesellschaftliches Problem gefragt, bilden die Antwortmöglichkeiten den repräsentierten politischen Rahmen ab. Fehlt dann auch noch die Antwortmöglichkeit "Keine der Genannten", machen die Meinungsforschungsinstitute Politik, indem sie politische Lösungen ausklammern. Ein Beispiel aus 2015: In einer Forsa-Umfrage gab es zwei Antwortoptionen zu der Griechenlandpolitik der Bundeskanzlerin: 1. ob sie sich mit ihrer strikten Haltung "Drittes Hilfsprogramm nur gegen strenge Auflagen" alles in allem richtig verhalten habe oder ob sie 2. Griechenland zu einem Ausstieg aus dem Euro hätte zwingen sollen. Diese zwei Antwortoptionen lassen eine Menge politische Optionen aus, führten aber zu aufsehenerregenden Schlagzeilen wie "Grünen-Wähler begrüßen Merkels Krisenkurs" (im Spiegel) oder "Deutsche zufrieden mit Krisenmanagerin Merkel" (im Stern). Besonders brisant: Auftraggeber der Befragung war der Stern. Auch die Auswahl der Fragen kann schon Politik sein: Bei einer Befragung zur Altersvorsorge wird durch die Reduktion auf Fragen zur privaten Altersvorsorge die Relevanz der gesetzlichen Rente komplett ausgeklammert werden. Als Ergebnis kann dann verkündet werden: "90% wünschen sich eine Stärkung der privaten Rentenversicherung". In der Auswertung werden die Ergebnisse nach verschiedenen Merkmalen differenziert ausgewertet und auch mit dem tatsächlichen Anteil an der Gesamtbevölkerung gewichtet. Das mag zunächst interessant und transparent klingen, wirft aber zwei neue zentrale Probleme auf. Zunächst das Problem der Auslassung: Welche Kategorien werden in der Auswertung nicht unterschieden? Fehlen diese soziodemografischen Daten, kann auch nicht garantiert werden, dass die Erhebung in Hinblick auf diese Kategorie repräsentativ für die gesamte Bevölkerung ist. Es werden unterschiedliche Kategorien aufgeführt und damit unterstellt, dass Personengruppen mit dieser Zugehörigkeit unterschiedlich sein müssten. Wir befassen uns hier nur beispielhaft mit dem Aspekt „Region“. Eine grobe und unbegründete Unterscheidung kann suggerieren, dass z.B. die Unterschiede zwischen Lübeck und Rostock schwerer wiegen als zwischen Hamburg und Isny im Allgäu. Klingt abwegig? Ist jedoch die scheinbar beliebteste Perspektive: So sollen die Unterscheidung in "Ost" und "West" Erkenntnisse generieren. Aber ist das nach über drei Jahrzehnten wirklich immer noch das wichtigste regionale Merkmal? Es klingt vielleicht zunächst schlüssig. Das kann auch daran liegen, dass Meinungsforschungsinstitute uns seit Jahrzehnten immer wieder diese Unterscheidungskategorien präsentieren. Aus Meinungsforschung wird dann auch Meinungsbildung, ganz ohne Daten. Der Wohnort ließe sich nämlich auch ganz anders unterscheiden, z.B. nach der Einwohnerzahl des Ortes, orientiert am Statistikamt Nord: Auch regionale Unterschiede ließen sich andere finden, gerne plakativ in zwei Kategorien: Oder wie wäre es mit einer ganz neuen politischen Aufteilung des Bundesgebietes, z.B. in Nord, Ost, West und Süd? Oder nach aktuelleren politischen Faktoren, wie der Aufteilung nach Regionen des EU-Förderprogrammes Interreg B? Hier wäre die Bundesrepublik in die Förderregionen Alpen, Donau, Mitteleuropa, Nordsee, Ostsee und Nordwesteuropa unterscheidbar. Diese überschneiden sich zwar, könnten aber die Grundlage für eine differenziertere regionale Auswertung liefern. Diese regionalen Unterscheidungen würden zu recht neue Fragen aufwerfen, der Zuschnitt der Regionen kann je nach politischem Thema hinterfragt werden. Aber warum sollte die politische Aufteilung der Jahre 1949 bis 1989 das einzige regionale Kriterium bleiben, welches erhoben wird? Warum werden solche Umfragen in Auftrag gegeben, warum wenden Meinungsforschungsinstitute diese ungenauen, mitunter fragwürdigen, Methoden an? Je grober die Kategorie, desto größer ist die Anzahl der Personen, die diese Kategorie repräsentieren sollen. Das führt zu gut kommunizierbaren Kategorienbildungen und erlaubt größere Gruppenbildungen. Denn die Zufallsstichprobe - welche ca. 84.359.000 Menschen abbilden soll - umfasst meist nur etwa 1.000 Personen. Die jeweiligen Auftraggeber*innen der Befragungen haben zudem ein Interesse an zitierbaren Aussagen, je genauer die Ergebnisdarstellung, desto uninteressanter wäre das Zitat. Als Beispiel aus den Wahlumfragen: Würde man den Fehlerquotienten von meist 3 % berücksichtigen, dürfte man nicht schlussfolgern "7 % für diese Partei", sondern: "4 bis 10 % für diese Partei". Auch sind die bekannten Meinungsforschungsinstitute gewinnorientiert und haben damit - genauso wie ihre Auftraggeber*innen - ein Interesse an kurzen Schlagzeilen, die für Aufmerksamkeit sorgen. Denn die gewonnene Aufmerksamkeit bedeutet zusätzliche Werbung und damit mögliche neue Aufträge. Wir haben in diesem Beitrag auf mögliche Probleme bei Befragungen per Telefoninterview hingewiesen. Auf vielen Nachrichtenseiten werden jedoch auch Onlinebefragungen geschaltet. Mit diesem Thema hat sich schon vor längerer Zeit der Deutschlandfunk beschäftigt.Erhebung: Auswahl
Erhebung: Fragestellung
Auswertung
Problem der Kategorienbildung
Fazit
Schlimmer geht immer
