Qualitätskriterien der quantitativen Umfrageforschung

Transkript

1 Qualitätskriterien der quantitativen Umfrageforschung Technische Universität Dresden Institut für Soziologie Seminar: Projektmanagement Dozent: Prof. Häder Referentin: Sophia Bönisch

2 Qualitätskriterien der quantitativen Umfrageforschung Gliederung I. quantitative Umfragen II. Kriterien (nach AAPOR) III. Fazit

3 I. quantitative Umfragen Beschreibung/ Analyse von Merkmalsverteilungen, komplexen Mustern, sozialen Regelmäßigkeiten + reduzierbar, intersubjektiv überprüfbar, generalisierbar - vereinheitlichtes Messkonzept, vorgegebene Fragen, Abstraktion von Einzelpersonen

4 1. Ziele: spezifisch klar eindeutig 2. Alternativen zur Umfrage: Primärdaten Sekundärdaten

5 3. Stichprobe die Grundgesamtheit repräsentiert: richtige Grundgesamtheit aussuchen Mitglieder der Grundgesamtheit lokalisieren geeignete Stichprobe Zufallsstichprobe: Zufalls-, Wahrscheinlichkeitsauswahl = zuverlässige, effiziente Schätzung Ziel: Kombinationsprofil vieler Individuen

6 4. Design: Kosten und Fehler ausbalancieren: unterschiedliche Designs unterschiedliche Fehlertypen mit verfügbaren Ressourcen Fehler minimieren 5. Passung von Frageformulierung zu messendes Konzept Grundgesamtheit: Fragebogenkonstruktion: Entwicklung & Gestaltung Inhalte, Themen und Begriffe definieren Fragen nach Ziele richten

7 Frageformulierung, Frageanordnung Fragebogenlänge, Fragebogenformat > Vollständigkeit, Angemessenheit der Fragen Multiple Indikatoren vorziehen Techniken die Befragte und Interviewer in sensiblen Themenbereichen unterstützten Befragtenfehler und Verzerrungen minimieren, messen (kogn. Forschung)

8 6. Pretest Verständnisprobleme für Befragten und Interviewer, sowie beeinflussende Effekte aufdecken Unentschiedenheit bezüglich des Design, Komponenten etc. > Split-Ballott Experimente 7. Interviewerschulung Interviewertechnik: telefonische Ausbildung, F2F Ausbildung, Selbststudium erste Kontakte, zögernde Befragte, Interviews leiten, Einflüsse verhindern, verschiedene Situationen kennen lernen Umfragegegenstand: Begriffe, Definitionen, Verfahren, Fragen durchgehen

9 8. Qualitätssicherung Beobachten, Überwachen, Prüfen Forschungsprozess prüfen und kontrollieren ob Stichprobe entsprechend den Vorgaben ausgewählt wurde sorgfältige Informationssammlung Interviewerkontrolle Wiederholen von Interviews Datenbearbeitung, -codierung Computerprogramme für Datenanalyse

10 9. Maximierung der Responseraten innerhalb ethnischer Grenzen Nonresponse: Befragter kann/ will nicht an Umfrage teilnehmen hohe Responsrate: sorgfältige Stichprobenverwaltung, -kontrolle >Voraussetzung: großer Stichprobenanteil bietet benötigte Information potentielle Probleme beachten Ressourcen für schwer Erreichbare parat halten wiederholte Kontakte bei schwer Erreichbaren Interviewertraining im Umgang mit widerwilligen Befragten Designs die Umfragekooperationen stimulieren Planung: Beste Anrufszeit, Besuchszeit

11 Verweigerer überzeugen Merkmale der Nichterreichten notieren Problem: Nonrespons-Gruppe lässt sich kaum charakterisieren 10. statistische Analysen & Berichterstattungstechniken kompetente, kritische, klare Datenanalyse und -Interpretation Ergebnisse/ Befunde vollständig, verständlich, übersichtlich, objektiv präsentieren Unterscheidung von Schlussfolgerungen und Befunden Zuverlässigkeitsverfahren durchführen Grund für fehlende Daten angeben Datenbereinigung

12 statistische Tabellen und deren Grundlagen Stichprobenfehler und andere Fehler (Erfassungs-, Messungs-, Auswertungs-, Bereinigungs-, Verfahrensfehler, Responsevarianz, Interviewerund Befragteneinfluss, Nonresponserate) darstellen 11. Vertrauensversprechen Privatsphäre der Befragten, Vertraulichkeit der Information Identität der Befragten > Anonymität, Zusammenfassungen Forscherpersonal in Vertrauenswürdigkeit schulen Techniken verwenden um statistische Offenlegungen der Befragtendaten zu kontrollieren

13 12. Verfahren aufzeigen Wieder- und Weiternutzung, Prüfung durch andere Forscher Forschungsverfahren detailliert beschreiben Daten vollständig dokumentieren Aufzeigen von: Zielen, Umfragemethoden, Fragebogen + Verbalisierungshilfen + Anweisungen, Codebuch, Forschungsgebiet & -zeitraum, Definition der Grundgesamtheit, Stichprobenbeschreibung (Design, Größe, Anordnung, mögl. Verzerrungen, Nonresponse, Auswahl- und Datenzusammenfassungsverfahren etc.), Antworten dokumentieren, Datenbereinigung, Stichprobenfehler, Prozentrechungen für Schlussfolgerungen, Interviewermerkmale, Gültigkeitsprüfung

14 III. Fazit Qualität durch Einhalten bestimmter Standards und ordentliches Arbeiten erreichbar Was bringt Qualität? korrekte Ergebnisse Wiederholbarkeit Weiternutzung Seriosität der Umfrageforschung (Befragtenkooperation)

15 Quellen Jacob, Rüdiger/ Eirmbter, Willy H. (2000): Allgemeine Bevölkerungsumfragen. Einführung in die Methoden der Umfrageforschung. München. Schöneck, Nadine M./ Voß, Werner (2005): Das Forschungsprojekt. Palung, Durchführung uns Auswertung einer quantitativen Studie. Wiesbaden. [ ]