Übung Methodenlehre I, SeKo

Transkript

1 Datenerhebung: Übung Methodenlehre I, SeKo Vivien Röder Professur für Forschungsmethodik & Evaluation Heute Wiederholung Messen & Testen Gütekriterien Befragung Beobachtung 2 Wiederholung Gütekriterien für Fragebögen und Tests Empirisches & numerisches Relativ Homomorphe Abbildung UV, AV, KV Verschiedene Skalenniveaus Nominal, Ordinal, Intervall, Verhältnis, Absolut Lebensalter? Staatsangehörigkeit? t it? Wie oft in der Schule sitzen geblieben? Intelligenzquotient? Reihenfolge beim Kugelstoßen? Validität Genauigkeit mit der der Test das misst, was er messen soll (inhaltlich plausibel) Reliabilität Maß für die Verlässlichkeit wissenschaftlicher Messungen/ Genauigkeit mit der der Test misst, was er misst Objektivität die Unabhängigkeit der Beurteilung oder Beschreibung einer Sache, eines Ereignisses oder eines Sachverhalts vom Beobachter 3 4 1

2 Gütekriterien für Fragebögen und Tests Validität Inhalts Reliabilität Kit Kriteriums i Retest Konstrukt Paralleltest Testhalbierungsmethode/ Split Half Objektivität Durchführungs Auswertungs Interpretations Fragebögen id i.d.r. Slb Selbstauskunft Inhalte: Eindrücke, Einstellungen, Meinungen, Gefühle, Gedankeninhalte, demografische Daten verwendete Formate: Ratingskalen, Mehrfachantworten, ja/nein Fragen, offene Fragen kein Zeitdruck, keine richtigen oder falschen Antworten Fokus auf Gruppenebene: Daten werden gemittelt Thema festlegen, theoretische Vorarbeit 2. Fragebogenform festlegen 3. Items finden & auswählen 4. Itemanalyse Schwierigkeitsanalyse Trennschärfenanalyse 5. Reliabilitätsbestimmung 6. Validitätsbestimmung 7. Normierung 7 8 2

3 Test Beobachtung Befragung Messen Experiment Dokumente Wann Beobachtung, wann Befragung? Beurteilung des Mensa Essens Altruistisches Verhalten in der Fußgängerzone Reaktion eines Menschen, wenn er einen Diebstahl beobachtet Unaufmerksamkeit im Seminar Wie witzig ist ein bestimmter Witz Einstellung zu Rechtsradikalismus Sexueller Missbrauch Verhalten eines Kindes bei verschiedenem Spielzeug 9 10 Befragungsarten Wie die Frage die Antwort formt Skala: unipolar vs. bipolar Scheu vor Extremwerten Ankereffekte bei Vorgaben Anordnung von Antwortalternativen Antwortoptionen werden im Kontext interpretiert Primacy & Recency Effekte Offene vs. Geschlossene Antwortoption Verfügbarkeit

4 Alles klar? Unterscheidungen Welche Fragen zu dem Thema sind noch offen? Offen vs. verdeckt Die Informationen zu Befragung sind klar, oder? o ja o nein Gibt es noch Verständnisschwierigkeiten? Teilnehmend vs. nicht teilnehmend Apparativ Nonreaktiv Introspektion Wie gut kennen Sie sich nun mit Befragungen aus? o o o o o Interraterreliabilität Interraterreliabilität Bsp. Was ist Reliabilität? Was ist Interraterreliabilität? Wozu brauche ich das? Bsp: P_Beobachter2 P_Beobachter1 Gesamt κ = 90,3% W_Beobachter2 W_Beobachter1 Gesamt κ = 89,7%

5 Mögliche Probleme bei der Beobachtung Fazit Verzerrte Wahrnehmung Halo Effekt Erwartungseffekt (Rosenthal /Pygmalion Effekt), Observer drift (Veränderung des Standards ) Unzulässige Interpretation Gedächtnistäuschungen Hindsight Misinformation effect Implizite Theorien Falsche Wiedergabe (Bsp. Ash Experiment) Test Gütekriterien Objektivität, i Reliabilität, Validität = aufwändig Befragung Arten Einflussfaktoren & Gegenmaßnahmen Beobachtung Arten Probleme