Das Stichprobenproblem in der empirischen Sozialforschung: Schwachstellen und Lösungsvorschläge bei allgemeinen Bevölkerungsumfragen

Transkript

1 Das Stichprobenproblem in der empirischen Sozialforschung: Schwachstellen und Lösungsvorschläge bei allgemeinen Bevölkerungsumfragen Bearbeitet von Sebastian Wiesnet Erstauflage Taschenbuch. 124 S. Paperback ISBN Format (B x L): 15,5 x 22 cm Weitere Fachgebiete > Ethnologie, Volkskunde, Soziologie > Soziologie > Empirische Sozialforschung, Statistik schnell und portofrei erhältlich bei Die Online-Fachbuchhandlung beck-shop.de ist spezialisiert auf Fachbücher, insbesondere Recht, Steuern und Wirtschaft. Im Sortiment finden Sie alle Medien (Bücher, Zeitschriften, CDs, ebooks, etc.) aller Verlage. Ergänzt wird das Programm durch Services wie Neuerscheinungsdienst oder Zusammenstellungen von Büchern zu Sonderpreisen. Der Shop führt mehr als 8 Millionen Produkte.

2 Leseprobe Textprobe Kapitel 5.2 Befunde für Deutschland Auch in Deutschland wird ein allgemeiner Rückgang der Ausschöpfungsquoten beklagt. So vertritt z. B. ein Großteil der Erhebungsinstitute die Meinung, dass Interviews heute schwieriger zu realisieren sind als früher (Porst 1996: 17). Allerdings existieren hierfür kaum empirische Belege. Es gibt nur wenige Studien, die die Entwicklung der Ausschöpfungsquoten in Deutschland systematisch untersuchen Hierzulande konzentrieren sich Nonresponse-Studien zumeist auf einzelne Umfragen (z. B. Erbslöh et al. 1988, Porst 1991) oder auf den Vergleich von Ausschöpfungsquoten nach Datenerhebungsverfahren. Hinsichtlich letzterer ist zu konstatieren, dass die Befunde nicht immer eindeutig sind. Kunz und Lüschen (1984, zit. in Reuband et al. 1996: 298) verzeichneten bei einer regional durchgeführten Studie die höchsten Ausschöpfungsquoten in der telefonischen Befragung (67 Prozent), gefolgt von der persönlich-mündlichen und der postalischen Befragung (50 bzw. 40 Prozent) wurde bei einer Studie im Rahmen des Mikrozensus die höchste Ausschöpfung (von 65,7 Prozent) bei Face-to-Face-Interviews registriert, während sich bei telefonischen und postalischen Interviews diesbezüglich kaum Unterschiede nachweisen ließen (48,8 Prozent bzw. 47,9 Prozent) (ebd.). Reuband und Blasius (1995) hingegen erreichten bei einer Umfrage in Köln Ausschöpfungsquoten von 90 Prozent bei einer telefonischen Umfrage und von je 71 Prozent bei einer Face-to-Face- bzw. postalischen Befragung Hierbei ist allerdings darauf hinzuweisen, dass die 90 Prozent-Marke durch eine für Telefonumfragen mehr als untypische Feldphase von neun Monaten mit mindestens fünf Kontaktversuchen pro Zielperson erkauft wurden. Ein solches Vorgehen zeigt zwar, dass eine hohe Ausschöpfung prinzipiell möglich ist, wenn entsprechende Anstrengungen unternommen werden. Jedoch werden durch allzu große Bemühungen die Vorteile der telefonischen Befragung (kostengünstige und aktuelle Ergebnisse) wieder zunichte gemacht. Kehrt man zu der Ausgangsfrage nach der Entwicklung von Nonresponse im Zeitverlauf zurück, so findet man erste Hinweise bei Bretschneider und Schumacher (1996), die auf Basis der DEMOS-Datenbank die Ausschöpfungsquoten von kommunalen Umfragen im Zeitverlauf analysierten. Sie geben zu bedenken, dass von den ca Umfragebeschreibungen, die 1996 in der Datenbank gespeichert waren, (n)ur für 676 Befragungen ( ) eine wenigstens annähernde quantitative Aussage zum erreichten Rücklauf möglich ist (Bretschneider et al. 1996: 68, Hervorhebung nicht im Original). Anhand dieser 676 Studien lässt sich für den Zeitraum zwischen 1965 und 1995 ein Rückgang der Ausschöpfungsquoten von durchschnittlich über 75 Prozent auf knapp 55 Prozent nachweisen. Dabei ist festzustellen, dass die Teilnahmebereitschaft an den freiwilligen

3 Befragungen in allen befragten Gruppen Personen, Haushalte, Betriebe/Unternehmen, Verwaltungen zurückgegangen ist (Bretschneider et al. 1996: 72). Allerdings sind nicht alle Befragungsarten gleichermaßen vom Anstieg des Nonresponse betroffen. Zwar sind mit persönlich-mündlich durchgeführten Befragungen nach wie vor die höchsten Ausschöpfungen zu erreichen, aber sie sind dennoch rückläufig und nähern sich sukzessive den Ausschöpfungsquoten postalischer Befragungen an. Letztere sind weitestgehend stabil geblieben, während die stärkste Zunahme an Nonresponse bei telefonischen Befragungen zu beobachten ist. Die Ausschöpfungsquoten bei telefonischen Befragungen auf kommunaler Ebene liegen mittlerweile sogar deutlich unter denjenigen der postalischen Befragung (Bretschneider et al. 1996: 73) Die Befunde von Bretschneider et al. bringen jedoch zwei Nachteile mit sich. Zum einen erlauben sie keine Differenzierung nach den Ausfallursachen und zum anderen lassen sie sich nicht auf nationale Studien übertragen. Nonresponse-Analysen auf nationaler Ebene wiederum konzentrieren sich in der Regel auf die Betrachtung von Face-to-Face-Befragungen. Erkenntnisse über die längerfristige Entwicklung der Ausschöpfungsquoten bei repräsentativen postalischen und telefonischen allgemeinen Bevölkerungsumfragen in Deutschland sucht man vergebens. Dies liegt daran, dass die besagten Studien in den 80er Jahren des letzten Jahrhunderts noch zu selten waren, als dass sich Zeitreihen hätten bilden lassen (Reuband et al. 1996: 298). Sofern postalische oder telefonische Umfragen durchgeführt wurden, sind die für eine Analyse notwendigen Informationen oft nicht zugänglich: (E)ntsprechende Angaben finden sich, wenn überhaupt nur zu Ausschöpfungsquoten, aber selten zum Ausmaß und so gut wie kaum zur Art der Nonresponse (Neller 2005: 11, Hervorhebungen im Original). Es liegt lediglich eine Studie jüngeren Datums vor, die Aufschluss über die Entwicklung von Nonresponse bei Telefonumfragen geben kann. Baur (2006) vergleicht die Ausfallgründe zweier von der Universität Eichstätt- Ingolstadt durchgeführten CATI-Studien aus dem Jahr 2005 mit früheren Studien und stellt fest, dass die Ausschöpfungsquoten bei Telefonumfragen mit dem Gabler-Häder-Design von rund 36 bis 47 Prozent um die Jahrtausendwende auf 23 bis 26 Prozent im Jahr 2005 gesunken sind. Die wichtigste Ausfallursache war hierbei mangelndes Interesse an einer Befragung, wobei die Häufigkeit der Nennung dieses Verweigerungsgrundes im Zeitverlauf (seit Mitte der 1990er) konstant geblieben ist. Der Rückgang der Ausschöpfung ist somit zurückzuführen auf den Anstieg der Verweigerungen und hierbei wiederum auf zunehmende Zeitknappheit und insbesondere auf ein gestiegenes Misstrauen gegenüber Befragungen. Baur (2006: 179f) sieht die Erklärung für letzteres in der starken Zunahme des Telefonmarketings mit Autodialern in den letzten Jahren. Allerdings lassen sich diese Ergebnisse ebenfalls nicht generalisieren, weil die Grundgesamtheiten der miteinander verglichenen Studien nicht identisch sind. Neben bundesweiten Studien sind auch regionale Umfragen in die Untersuchung eingeflossen Die Entwicklung der Ausschöpfungsquoten bei allgemeinen und bundesweiten Bevölkerungsumfragen kann also nur anhand der Betrachtung von persönlich-mündlichen Befragungen nachvollzogen werden. Auch hier sind die Befunde uneinheitlich: Hansen (1988, zit.

4 In Schnell 1997: 46) konstatiert für die ersten drei Wohlfahrtssurveys trotz verlängerter Feldzeiten einen Rückgang der Ausschöpfung um 8,1 Prozent innerhalb von 6 Jahren. Porst hingegen vertritt die Meinung, dass von einer generellen Zunahme von Nonresponse nicht gesprochen werden kann. Gerade bei Wohlfahrtssurveys ist über die Zeit ( der letzten 15 Jahre ) kein Rückgang der Ausschöpfungsquoten festzustellen (Porst 1993: 17). Beim ALLBUS wiederum ist der vermeintliche Rückgang der Ausschöpfung nicht in abnehmender Befragungsbereitschaft, sondern in Institutseffekten zu suchen. Während die von GFM-Getas durchgeführten ALLBUS- Erhebungen weitgehend stabile Werte aufweisen, lässt sich bei Infratest ein Sinken der Ausschöpfungsquoten feststellen. Drei Jahre später bekräftigt Porst seine Befunde: Bei ZUMA ist kein Rückgang der Ausschöpfung nachzuweisen. Die Erhebungsinstitute können die 60 Prozent- Schwelle überwinden oder sie zumindest erreichen. Eine Ausschöpfung von 60 bis 65 Prozent ist normal und eine Ausschöpfung von 70 Prozent ist möglich (Porst 1996: 10). Die bislang umfassendste systematische Untersuchung auf bundesdeutscher Ebene stammt von Schnell (1997). Er analysierte die Feldberichte von 300 unabhängigen und zufallsbasierten Face-to-Face- Befragungen, die im Zeitraum von 1953 bis 1994 durchgeführt worden sind Knapp die Hälfte der Befragungen stellten Media-Analysen. Die restlichen Studien entstammten dem Bereich der akademischen und kommerziellen Sozialforschung. Schnell (1997: 130ff) gelangt zu dem Schluss, dass die Ausschöpfungsquoten von 1970 bis 1990 nur um zirka 5 Prozent abgenommen haben. Vor Beginn der 70er Jahre ist jedoch ein weit stärkerer Rückgang der Ausschöpfung festzustellen. Danach sind die Quoten jährlich um lediglich 0,3 Prozent abgesunken. Der Anstieg des Nonresponse erscheint somit weit weniger dramatisch als es allgemein angenommen wird ( ). Selbst zu Beginn der 90er Jahre scheinen die Ausschöpfungsquoten im Mittel noch über 70% zu liegen. (ebd.). Hinsichtlich der Ausfallursachen kann Schnell bei der Nichterreichbarkeit keinen linearen zeitlichen Trend ausmachen, wohingegen der Anteil der Verweigerungen im Zeitverlauf bei allen Surveys gestiegen ist (Schnell 1997: 91; 130ff). Hierbei lassen sich aber zum Teil große Unterschiede zwischen den erhebenden Instituten ausmachen. Die identifizierten, unterschiedlich hohen Ausschöpfungsquoten und die große Streuung des Ausmaßes fast aller Ausfallursachen, selbst zwischen zeitgleichen Erhebungen und sogar innerhalb eines Instituts, sind laut Schnell zurückzuführen auf methodische Unzulänglichkeiten (z. B. bei der Auswahl der Zielpersonen) sowie auf mangelnde Feldarbeit bzw. unzureichende Berichterstattung über selbige. Damit ist empirisch demonstriert, dass das Ausmaß der Ausfälle zu einem beträchtlichen Teil von den in der Regel undokumentierten Details der Feldarbeit abhängt. (Schnell 1997: 131). Neben Schnell bestätigen auch Koch (1993: 85) und Porst (2000) den Zusammenhang zwischen der Höhe der Ausschöpfung einerseits und dem beauftragten Befragungsinstitut andererseits. Doch mit der Identifizierung der Institutseffekte beginnt sich die Frage nach der Entwicklung der Ausschöpfung zu verkomplizieren. Die ALLBUS- Erhebungen werden seit knapp drei Jahrzehnten alle zwei Jahre durchgeführt und sie gelten als die bestdokumentierten Studien, die verfügbar sind Wenn schon die ALLBUS-Ergebnisse zwar einen Hinweis auf den Einfluss des Umfrageinstitutes,

5 nicht aber darüber (liefern: SW), wie der Trend bei den Ausschöpfungsraten tatsächlich ist (Porst 2000, zit. in Engel et al. 2004a: 48), dann steht man vor dem Problem, dass andere Studien noch weniger Aufschluss über die Entwicklung der Ausschöpfungsquoten liefern können. Neben dem ALLBUS existieren so gut wie keine Umfragen, die über einen solch langen Zeitraum regelmäßig durchgeführt und detailliert dokumentiert wurden. Eine Ausnahme hiervon stellen zwar manche Panel-Befragungen (z. B. das Sozio-oekonomische Panel, kurz SOEP) dar, doch folgen diese hinsichtlich der Ausfallproblematik einer eigenen Logik: Personen, die sich zur Teilnahme am Panel bereit erklärt haben, wissen um die Folgebefragungen, so dass es weit weniger häufig zu Ausfällen aufgrund von Verweigerung oder Nichterreichbarkeit kommt als bei ad hoc-umfragen: Wer bereits einmal an einer Befragung teilgenommen hat, nimmt ( ) auch sehr wahrscheinlich ein zweites oder drittes Mal teil. Schwierig ist allein ( ), die Erstbefragung zu realisieren. (Porst et al. 1988: 17). Möchte man also zu Aussagen über die Entwicklung von Nonresponse gelangen, so muss man sich auf eine Vielzahl verschiedenster ad hoc-studien stützen. Hierbei sieht man sich mit einem Problem konfrontiert, von dem Institutseffekte sozusagen nur die Spitze des Eisbergs ausmachen Die zentrale Schwierigkeit, durch die sich sowohl die geringe Zahl an systematischen Studien als auch die Unterschiedlichkeit bzw. Widersprüchlichkeit einzelner Befunde erklären lässt, liegt nämlich in der mangelnden Vergleichbarkeit von Ausschöpfungsquoten.