XIV. fragebogen Wirtschaftsstatistik Datenproduktion und -analyse in der amtlichen Statistik
Gliederung 1) Fragebogen allgemein 2) Planung und Konzeption 3) Was ist eine Messung 4) Fragebogenerstellung 5) Pretest und Testmethoden 6) Datenerhebung 2
Gestaltung und Entwicklung von Fragebogen 2 Kernaufgaben eines Fragebogens: Datenerfassung Weiterverarbeitung der Antworten gewährleisten Ziel einer Befragung: korrekte und glaubwürdige Angaben Zahlreiche Daten zu einem Thema (sowie persönliche Angaben) werden gebündelt abgefragt Fragebogen müssen sehr gut strukturiert und durchdacht aufgebaut und erstellt werden 3
Woher stammen die Daten? a) Primärerhebung (die Daten, die ich erfrage, werden zum ersten mal erfasst) Notwendigkeit eines Fragebogens oder b) Sekundärerhebung (die Daten, mit denen ich weiterarbeiten möchte, sind bereits bei einer anderen Erhebung erfasst worden) kein Einfluss auf die Fragebogenerstellung 4
Ablauf der Datenerhebung Überarbeitung J a Planung und Konzeption Pretest Datenerhebung Änderungsbedarf? Nein Fragebogenerstellung 5
Ablauf der Datenerhebung Überarbeitung J a Planung und Konzeption Pretest Datenerhebung Änderungsbedarf? Nein Fragebogenerstellung 6
Planung und Konzeption einer Erhebung Klärung des Erhebungsgegenstandes (was will ich messen/erheben?) Auswahl der empirischen Indikatoren (Fragen, Items, Antwortkategorien) Auswahl der Erhebungsmethode (persönliches/telefonisches Interview/schriftliche Befragung) Planung der Aufbereitung, Auswertung und (Vgl.: Faulbaum, Analyse Prüfer, Rexroth, 2009: S. 49 sowie Statistische Ämter des Bundes und der Länder, 2006: S. 17/18) 7
Was ist eine Messung?... Die Zuordnung von Symbolen (i.d.r. reelle Zahlen) zu Personen (oder Gegenständen) des empirischen Relativs, und zwar so, dass die Relationen unter den Personen (hinsichtlich eines bestimmten Merkmals) den Relationen unter den Zahlen entsprechen. Anders ausgedrückt: Das empirische Relativ wird strukturtreu in ein numerisches Relativ abgebildet. (Vgl.: Schumann, 2006: S. 20) 8
Stichprobenfehler Methodologie Fehlertyp Erkenntnisgewi nn Stichprobenbedingte Fehler Statistische Analyse Stichprobenfehler Ausmaß stichprobenbedingter Fehler Nicht-stichprobenbedingte Fehler Qualitative & quantitative Testmethoden Messfehler durch Fragebogen, Interviewer & Befragte Validität und Reliabilität der Daten, Gründe für Unstimmigkeiten 9
Messfehler Systematischer Fehler: eine Fehlerursache ist vorhanden (und ggf. bekannt) Zufälliger Fehler: normale Abweichungen während des Messens Klassische Testtheorie: x i = τ i + ε i x i beobachteter Messwert τ i wahrer Wert ε i statistisch unabhängiger zufälliger Fehler 10
Reliabilität und Validität Alle Frageformulierungen, die Antwortkategorien und die Art der Frage müssen geeignet sein, die angezielten Informationen reliabel (d.h. zuverlässig) und valide (d.h. gültig) zu erfassen. Reliabilität Wie zuverlässig sind meine Messergebnisse? Validität Misst mein Testinstrument tatsächlich das, was es messen soll? Frage nach Intersubjektivität von Messungen (Vgl.: Porst, 2009: 15) Bezug auf die Angemessenheit der Operationalisierung eines theoretischen Begriffs 11
Reliabilität und Validität 12
Ablauf der Datenerhebung Überarbeitung J a Planung und Konzeption Pretest Datenerhebung Änderungsbedarf? Nein Fragebogenerstellung 13
10 Gebote der Frageformulierung 1. Du sollst einfache, unzweideutige Begriffe verwenden, die von werden! allen Befragten in gleicher Weise verstanden 2. Du sollst lange und komplexe Fragen vermeiden! 3. Du sollst hypothetische Fragen vermeiden! 4. Du sollst doppelte Stimuli und Verneinungen vermeiden! 14
10 Gebote der Frageformulierung 5. Du sollst Unterstellungen und suggestive Fragen vermeiden! 6. Du sollst Fragen vermeiden, die auf Informationen abzielen, verfügen! über die viele Befragte mutmaßlich nicht 7. Du sollst Fragen mit eindeutigem zeitlichen Bezug verwenden! 8. Du sollst Antwortkategorien verwenden, die erschöpfend 15
10 Gebote der Frageformulierung 9. Du sollst sicherstellen, dass der Kontext einer Frage sich nicht auf deren Beantwortung auswirkt! 10. Du sollst unklare Begriffe definieren! (Vgl.: Porst, 2009: 95-96) 16
Die Fragebogenerstellung Beeinflussung der Befragten durch z. B. folgende Faktoren: Einleitung in den Fragebogen/Eingangsfrage Zitate Layout (Quer-/Hochformat; eine Tabelle/zwei Tabellen ) Geschlecht/Kleidung/Aussehen/ des Interviewers 17
Geschlossene Frage Bildquelle: https://www.datenschutzzentrum.de/mikrozensus/mikrozensus-2010-fragebogen.pdf 18
Halboffene Frage Bildquelle: https://www.datenschutzzentrum.de/mikrozensus/mikrozensus-2010-fragebogen.pdf 19
Offene Frage Bildquelle: https://www.datenschutzzentrum.de/mikrozensus/mikrozensus-2010-fragebogen.pdf 20
Offene Frage (gegliedert) Bildquelle: https://www.datenschutzzentrum.de/ mikrozensus/mikrozensus-2010- fragebogen.pdf 21
Ablauf der Datenerhebung Überarbeitung J a Planung und Konzeption Pretest Datenerhebung Änderungsbedarf? Nein Fragebogenerstellung 22
Pretest Was sind Pretests? Pretests sind Überprüfungen von z.b. Fragebogen auf Verständlichkeit und Handhabung Diese Tests werden vor (qualitativer Test) oder während (quantitativer Test) der eigentlichen Datenerhebung bei einer kleinen Auswahl der Personen der Grundgesamtheit durchgeführt d.h., von der Grundgesamtheit G füllen z.b. die Personen A, B, C, D, E, K, L, M, N, O und P den Fragebogen aus 23
Pretest Wann und warum werden sie durchgeführt? Wann? 1. Gesetzliche Änderungen verlangen eine neue Erhebung 2. Neue Fragen, die noch nicht getestet wurden, werden in einen bestehenden Fragebogen aufgenommen 3. Das Erhebungsinstrument wurde geändert oder zusätzliche Erhebungsmodi wurden eingeführt 4. Mangelhafte Datenqualität wurde festgestellt (Vgl.: Brancato, G., Macchia, S., Murgia, M., Signore, M., Simeoni, G., Blanke, K., Körner, T., Nimmergut, A., Lima, P., Paulino, R., Hoffmeyer-Zlotnik, J.H.P., 2004, S. II) 24
Pretest Wann und warum werden sie durchgeführt? Warum? Aufdeckung von Schwierigkeiten bei der Beantwortung (z.b. auf Grund des Frageinhalts oder der Fragereihenfolge) Verbesserung der Fragebogen Entlastung der Befragten Erhöhung der Datenqualität der Erhebung 25
Eye-Tracking Blickverlaufsaufzeichnu ng Heat-Map 26
Quantitative Testmethoden Split-ballot ballot-experiment: verschiedene Varianten von Fragebogen bzw. Erhebungsmodi für mehrere Subgruppen von Befragten Methodische Auswertungen: Methodische Auswertungen: Analyse von (item-)non-response, Antwortverteilungen, Aufbereitungs- und Imputationsraten 27
Qualitative Testmethoden Experten- oder Fokusgruppen/Gruppendiskussionen: strukturierte Gruppendiskussion mit internen/externen Experten oder potentiellen Befragten Kognitives Interview: Kognitives Interview: vielfältige Techniken zur Analyse des Verstehens, Denkens und Antwortens von potentiellen Befragten 28
Qualitative Testmethoden Beobachtung: Ausfüllen eines Fragebogen durch potentielle Befragte Nachgestellte Szene 29
Qualitative Testmethoden Fragetechniken in einem kognitiven Interview: Probing Confidence Rating Paraphrasing Sorting Think Aloud Das Interview wird mittels eines Gesprächsleitfadens geführt. Nachgestellte Szene 30
Ablauf der Datenerhebung Überarbeitung J a Planung und Konzeption Pretest Datenerhebung Änderungsbedarf? Nein Fragebogenerstellung 31
Verfahren der Befragung Persönlich-mündlich Telefonisch-fernmündlich Schriftliche Befragung Online-Befragung 32
Quellen zum Thema I Blanke, K., Gauckler, B., Sattelberger, S.: Fragebogen auf dem Prüfstand: Testmethoden und deren Einsatz in der amtlichen Statistik, Wirtschaft und Statistik, Statistisches Bundesamt, Wiesbaden, August 2008 Brancato, G., Macchia, S., Murgia, M., Signore, M., Simeoni, G., Blanke, K., Körner, T., Nimmergut, A., Lima, P., Paulino, R., Hoffmeyer-Zlotnik, J.H.P.: Handbook of Recommended Practices for Questionnaire Development and Testing in the European Statistical System, European Commission, 2004 Faulbaum, F., Prüfer, P., Rexroth, M.: Was ist eine gute Frage? Die systematische Evaluation der Fragenqualität, 1. Auflage, VS Verlag für Sozialwissenschaften, Wiesbaden 2009 33
Quellen zum Thema II Porst, R.: Fragebogen: Ein Arbeitsbuch, VS Verlag für Sozialwissenschaften, 1. und 2. Auflage, Wiesbaden 2008 und 2009 Schumann, S.: Repräsentative Umfrage: Praxisorientierte Einführung in empirische Methoden und statistische Analyseverfahren, 4. Auflage, Verlag Oldenbourg, München 2006 Statistische Ämter des Bundes und der Länder: Die Qualitätsstandards der amtlichen Statistik, Statistisches Bundesamt, Wiesbaden 2006 Statistisches Bundesamt: Demographische Standards. Statistik und Wissenschaft Bd. 17, Wiesbaden 2010 34