Gliederung. Ursachen von Ergebnisverfälschung. Antworttendenzen/Urteilsfehler. Empirische Forschungsmethoden

Transkript

1 SoSe Sitzung 23. Mai 2017 Gliederung Datenerhebung quantitative Forschung (Planungs- und Erhebungsphase): Urteilsverfälschung/Messfehler Maße der zentralen Tendenz 1 2 6) Quantitative empirische Forschung Messung der Beobachtungsrealität => Quantifizierung der Beobachtungsrealität standardisierte Verfahren, z.b. Ratingskalen große Anzahl von Versuchspersonen (Vpn) möglich zahlreiche Vergleiche möglich teilweise sehr viele Details alle potenziellen Auswerter kommen zum gleichen Ergebnis Zentrale quantitative Forschungsinstrumente Papier-und-Bleistift-Tests hochstrukturierte Interviews (Leitfadeninterviews) strukturierte Beobachtungen (norm- und lernzielorienierte) Testverfahren (Diagnoseinstrument) Befragungen (schriftlich od. mündlich) mit Ratingskalen SoSe Ursachen von Ergebnisverfälschung Leistungstests: Erraten richtiger Antworten Persönlichkeitstests und Fragebogen: Soziale Erwünschtheit Selbstdarstellung Antworttendenzen/Urteilsfehler Antworttendenzen/Urteilsfehler Halo-Effekt: Urteiler/innen differenzieren bei ihrem Urteil nicht zwischen verschiedenen Merkmalen des Gegenstandes. Milde-Härtefehler: Eine zu beurteilende Person wird systematisch entweder zu positiv oder zu negativ eingestuft. Effekt der zentralen Tendenz: Tendenz, Extremurteile zu vermeiden. Primacy-Recency Effekt: Urteilsverzerrung, die auftritt, wenn zunächst Objekte mit extremer Merkmalsausprägung beurteilt werden; Beurteilung der folgenden Objekte kann von der Beurteilung der ersten Objekte abhängen

2 Kontrolltechniken zur Reduktion sozial erwünschter Antworten Ausbalancierte Antwortvorgaben Kontrollskalen Aufforderung zu korrektem Antwortverhalten Übung Fassen Sie für sich zusammen, was Sie bei der Gestaltung von Fragebögen auf jeden Fall berücksichtigen sollten. 7 8 Minimalanforderungen Testentwicklung 1) Jedes Item sollte möglichst eindeutig Personen mit starker Merkmalsausprägung von Personen mit schwacher Merkmalsausprägung trennen (Trennschärfe). 2) Die Vorschriften für die Auswertung der Itemantworten sollten möglichst eindeutig formuliert sein (Objektivität). Minimalanforderungen Testentwicklung 3) Anzahl und Formulierung der Items sollte eine möglichst verlässliche Merkmalsmessung gewährleisten (Reliabilität). 4) Es sollte theoretisch begründet und empirisch belegt sein, dass die Items tatsächlich das Zielkonstrukt erfassen (Validität) Formen der Objektivität Durchführungsobjektivität Auswertungsobjektivität Interpretationsobjektivität Methoden zur Bestimmung der Validität Konstruktvalidität Inhalts-Validität (auch Augenscheinvalidität, face validity) = Teilaspekt der Konstruktvalidität Kriteriums-Validität: Übereinstimmungsvalidität Prognostische Validität

3 Methoden zur Bestimmung der Reliabilität Retest-Reliabilität Paralleltest-Reliabilität Testhalbierungsreliabilität Interne Konsistenz Interrater-Reliabilität (bei qualitativen Daten) Wiederholung: Antwortformate (Skalenarten) Dichotomes Antwortformat Mehrkategorielles Antwortformat Ratingskalen geben (gleich große) markierte Abschnitte eines Merkmalskontinuums vor. Ratingskala kann unipolar oder bipolar sein Skalenniveau Nominal Ordinal Intervall Rational (Verhältnisskala) der Messwerte Mögliche Aussagen über Merkmalsträger Klassifikation (gleich oder verschieden) Rangordnung (größer, kleiner oder gleich) Abstandsbestimmung Vergleichbarkeit von Differenzen Proportionen und prozentuale Vergleiche, Vergleichbarkeit von Verhältnissen Eigenschaften a = a b c > b > a Gleich große Intervalle Gleich große Intervalle plus natürlicher Nullpunkt Beispiele Geschlecht, Arten von Freizeitaktivitäten Studienfach Präferenzdaten Schulabschlüsse Intelligenzquotient Temperatur in Celsius Kalenderzeit Alter Gewichtsmessung Einkommen Nominalskala = niedrigstes Skalenniveau; es geht nur darum zu entscheiden, ob zwei Merkmalsausprägungen gleich oder ungleich sind (Bsp. Haarfarbe). Berechnungsmöglichkeit: Häufigkeiten auszählen. Ordinalskala = gibt für die Unterschiede zwischen Merkmalsausprägungen eine bestimmte Beziehung an, z.b. größer oder kleiner als, besser als. Über die Abstände zwischen zwei Ausprägungen kann keine Aussage getroffen werden (Bsp. Schulnote). Berechnungsmöglichkeit: Häufigkeiten auszählen, Rangordnungen erstellen Intervallskala = die Reihenfolge der Werte für die Merkmalsausprägungen ist festgelegt, die Abstände zwischen zwei Werten lassen sich sachlich begründen, sind aber willkürlich gewählt. Aussagen über den Betrag der Unterschiede zwischen zwei Gruppen sind möglich (Bsp. Studienzufriedenheit). Berechnungsmöglichkeit: Maße der zentralen Tendenz wie z.b. Mittelwerte und Streuungsmaße. => Diese Skala wird für psychometrische Tests und Fragebögen häufig verwendet, obwohl man nicht sicher sein kann, dass der Abstand zwischen zwei Werten wirklich gleich ist. 17 Ratioskala = auch Verhältnisskala genannt. Höchstes Skalenniveau, das es erlaubt, Verhältnisse zwischen den Merkmalsausprägungen abzubilden. Im Unterschied zur Intervallskala sind die Abstände zwischen den Skalenwerten hier metrisch und es existiert ein klar definierter Nullpunkt (Bsp. Alter, Größe, Länge). Berechnungsmöglichkeit: Maße der zentralen Tendenz wie z.b. Mittelwerte und Streuungsmaße sowie mathematische Berechnungen wie z.b. Multiplikation und Division. 18 3

4 Übung Wiederholen Sie bitte gemeinsam die vier mit ihren besonderen Merkmalen. Auswertung quantitativer Daten: beschreibende Statistik Darstellung von Häufigkeiten - heute Maße der zentralen Tendenz - später Maße der Streuung - später Ziel = Beschreibung und Zusammenfassung der Verteilung von Messwerten innerhalb einer Stichprobe Darstellung von Häufigkeiten Studienzufriedenheit bei LA-Studierenden im 1. Semester Absolute Zahlen sagen wenig, wenn sie nicht in Relation zu anderen Zahlen dargestellt werden. Beispiele: Tortendiagramm, Säulendiagramm, Balkendiagramm Ausgewählte Aspekte der Studienzufriedenheit Lehrer-Schüler-Interaktion Befragung bei 3502 Schülern und schülerinnen aus ganz BaWü hier: ausgewählte Klassen einer Schule im ländlichen Raum Südbadens Realschule: Beziehung zum Klassenlehrer (N = 151) 4,00 3,80 3,60 3,40 3,20 3,00 2,80 2,60 6a 6b 6c 9a 9b 9c 2,40 2,20 2,00 Lehrer interessiert sich für mich Interesse Lehrer kann gut erklären erklären hilft uns bei Streitigkeiten Hilfe b. Streit ist gerecht beim Notengeben gerecht nimmt sich für unsere Probleme Zeit Zeit für Probleme kann auch Kritik vertragen Kritik vertragen hat klare Regeln für alle und setzt sie durch Regeln

5 Beispiel einer Häufigkeitsdarstellung Tab. 5: Vergleich der einzelnen Arbeitsbereiche bezogen auf das Item Nr. 5 Gibt es Probleme mit Ihren Gruppenleitern?, Angaben in Prozent, N = 243 Arbeitsbereich Ja (in Prozent) Nein (in Prozent Landschaftsgestaltung/Garten Montage I 8,7 91,3 23 Montage II Montage III 13,3 86,7 17 Montage IV 17,2 82,8 31 Industriemontage 45,5 54,5 11 Berufsbildungsbereich 13,3 86,7 15 Elektroabteilung 10,3 89,7 29 Metall/Schlosserei Lager 37,5 62,5 8 Textil/Näherei Küche/Service Ankerhaus 8,3 91,7 12 Holz Gesamtzahl Befragten pro Gruppe der Ausblick: Maße der zentralen Tendenz Modalwert einer Häufigkeitsverteilung: Der Modalwert (Mo) einer Verteilung ist derjenige Wert, der am häufigsten besetzt ist bzw. in der graphischen Darstellung einer Verteilung der Wert, bei dem die Verteilung ihr Maximum hat (Nominalskala). Medianwert einer Häufigkeitsverteilung: Liegen über einem Wert genauso viele Fälle wie unter einem Wert, so wird dieser Wert als Median (Md) bezeichnet (Ordinalskala). Arithmetischer Mittelwert (AM): Summer aller Werte geteilt durch die Anzahl der Werte. Die Berechnung des AM ist bei Intervallskalenniveau und stetiger Verteilung (alle Werte müssen möglich sein) erlaubt (Intervallskala) Literaturbasis heute Bortz/Döring (2015). Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Kap. 8.4 und 10.4 Raab-Steiner, E. & Benesch, M. (2008). Der Fragebogen. Von der Forschungsidee zur SPSS- Auswertung. Stuttgart: UTB Vertiefende Literatur: Markus Bühner ( ). Einführung in die Test- und Fragebogenkonstruktion. Pearson Studium Klaus Konrad ( ). Mündliche und schriftliche Befragung. Landau: Verlag empirische Pädagogik So könnte eine Klausurfrage aussehen Die Verwendung welcher Skala erlaubt die Berechnung eines Mittelwertes? (2 richtige Antworten) A) Ordinalskala B) Nominalskala C) Intervallskala D) Ratioskala