Prof. Dr. Carolin Strobl

Transkript

1 Lehrstuhl für Psychologische Methodenlehre, Evaluation und Statistik

2 Informationen abfragen z.b. Alter, Geschlecht, Einkommen Verständlichkeit? alle Möglichkeiten erfasst? latente Eigenschaften messen z.b. IQ, Einstellung, Angst, Kontaktfreudigkeit psychometrische Eigenschaften +

3 Informationen abfragen z.b. Alter, Geschlecht, Einkommen Verständlichkeit? alle Möglichkeiten erfasst? latente Eigenschaften messen z.b. IQ, Einstellung, Angst, Kontaktfreudigkeit psychometrische Eigenschaften + Artefakte durch soziale Erwünschtheit/Peinlichkeit größtmögliche Anonymität/andere Erhebungstechnik? Stichwort: Randomized Response Technik, Implizite Verfahren

4 recherche/theoriebildung/interviews/begehungen Formulierung/Zusammenstellung/Übersetzung von Items Umformulierung/Änderung/Ergänzung von Items Umformulierung/Änderung/Ausschluss von Items ggf. Bestimmung von Subskalen Fragebogen fertig Personen beurteilen und vergleichen

6 recherche/theoriebildung/interviews/begehungen Formulierung/Zusammenstellung/Übersetzung von Items Umformulierung/Änderung/Ergänzung von Items Umformulierung/Änderung/Ausschluss von Items ggf. Bestimmung von Subskalen Fragebogen fertig Personen beurteilen und vergleichen Interpretation, Relevanz?

7 recherche/theoriebildung/interviews/begehungen Formulierung/Zusammenstellung/Übersetzung von Items TeilnehmerInnen, Zeit Umformulierung/Änderung/Ergänzung von Items Umformulierung/Änderung/Ausschluss von Items ggf. Bestimmung von Subskalen Fragebogen fertig Personen beurteilen und vergleichen Interpretation, Relevanz?

8 recherche/theoriebildung/interviews/begehungen Formulierung/Zusammenstellung/Übersetzung von Items TeilnehmerInnen, Zeit Umformulierung/Änderung/Ergänzung von Items TeilnehmerInnen, Zeit, Expertise Umformulierung/Änderung/Ausschluss von Items ggf. Bestimmung von Subskalen Fragebogen fertig Personen beurteilen und vergleichen Interpretation, Relevanz?

11 Formulierung von Items Items sollten... präzise sein (was ist genau gemeint?) konkret bzw. verhaltensnah ist besser als abstrakt Beispiel: Ich bin hilfsbereit. ist wenig konkret und dadurch schwer zu beantworten In den letzten zwei Wochen habe ich mindestens einmal jemandem meine Hilfe angeboten. ist konkreter und dadurch leichter zu beantworten

12 Items sollten... keine Suggestivfragen enthalten Beispiel: Finden Sie auch, dass... pro Item nur eine Aussage enthalten Beispiel: Ich mache gerne und regelmäßig Sport. kann sein, dass man Teilen zustimmt aber nicht der gesamten Aussage Aussagen auf mehrere Items aufteilen

13 Items sollten... einfach lesbar und verständlich sein, d.h. z.b. keine doppelte Verneinung (auch in Antworten) Beispiel: Ich mache nicht gerne Sport. trifft nicht zu... trifft zu Fremdwörter vermeiden lange, verschachtelte Sätze vermeiden der Zielgruppe entsprechend formuliert sein (z.b. verständlich für Kinder oder Personen mit anderem sprachlichem/kulturellen Hintergrund ) weitere Beispiele: Bühner, Kap. 3; Kallus, Kap. 3; Porst, Kap. 7

14 offene Antworten (freies Feld) + flexibel, passt für jeden müssen für Auswertung zusammengefasst/ in Kategorien eingeteilt werden Stichwort: qualitative Inhaltsanalyse geschlossene Antworten (ankreuzen) Übersicht: Bühner, Kap. 3; Kallus, Kap. 3; Porst, Kap. 6

15 Rating-Skalen Quelle: mars.wiwi.hu-berlin.de/mediawiki/mmstat_de kritisch zu hinterfragen: ist die Bedeutung von (Zeit-)Aussagen klar und für alle Personen gleich? z.b. statt selten evtl. lieber ca. einmal pro Woche Anzahl Kategorien können die Personen die Kategorien überhaupt sinnvoll unterscheiden? mehr Kategorien garantieren keine genaueren Antworten (üblich 5 - max. 7, einfachere ja/nein Fragen möglich?)

16 Mittelkategorie kann mittlere Ausprägung bedeuten kann aber auch sein, dass Person nicht (eindeutig) antworten kann/will Mittelkategorie weglassen + zwingt Personen, sich für eine der beiden Richtungen zu entscheiden kann aber auch zu Antwortverweigerung/Abbruch des Fragebogens führen (evtl. neutrale Antwort wie weiß nicht daneben)

17 Gleichabständigkeit der Kategorien (innerhalb eines Items und über Items hinweg) kann nicht einfach angenommen werden (egal ob Wörter, Zahlen oder Smileys als Labels verwendet werden) umgekehrt formulierte Items wurden früher empfohlen, um Antworttendenzen zu vermeiden/erkennen werden heute bzgl. Kosten/Nutzen kritischer gesehen müssen vor der Auswertung umkodiert werden verhalten sich aber auch dann meist nicht genauso wie die anderen Items Stichwort: Methoden-Faktor

18 Übersetzung bestehender Items für wissenschaftliche Zwecke Verwendung üblicherweise unentgeltlich das Originalinstrument muss zitiert werden für Übersetzungen sollten die Autoren um Erlaubnis gebeten werden Übersetzung von Items und Antworten (!) vorab durch Rückübersetzung und von Native Speakern prüfen lassen und bei und statistischer Validierung besonders beachten

19 Zusammenstellung bestehender Items für wissenschaftliche Zwecke Verwendung üblicherweise unentgeltlich das Originalinstrument muss zitiert werden aber sobald nicht alle Items übernommen werden, Instruktion, Item-Formulierungen oder verändert werden, oder es sich um eine andere Zielgruppe handelt ist eine erneute nötig

22 typischer Ablauf eines informellen : Fragebogen wird vorab von möglichst vielen (mind. 5-10, besser 20-50) möglichst unterschiedlichen (bzgl. Antworten) Personen aus der Zielgruppe des Fragebogens ernsthaft ausgefüllt und kommentiert diese Personen sollten idealerweise nicht mehr an der eigentlichen Befragung teilnehmen (wenn Anzahl beschränkt evtl. erster mit Personen aus einer anderen Gruppe, um allgemeine Verständlichkeit zu prüfen, dann kleinerer mit Personen aus der Zielgruppe)

23 Personen im werden ermutigt, alles anstreichen, was ihnen in irgendeiner Form am Fragebogen auffällt, z.b. unverständliche Items (dazuschreiben und/oder hinterher erzählen lassen, was unklar war) fehlende/unpassene Antworten... ggf. Tippfehler und Optik des Fragebogens wie lange hat das Ausfüllen gedauert? die Wichtigkeit von s wird oft unterschätzt! viele spätere Probleme könnten durch s einfach und schnell verhindert werden! zu formellen -Techniken: Porst, Kap. 15

26 eine Wissenschaft für sich

27 Validität messen die Items inhaltlich das, was sie messen sollen? klare Definition des zu messenden Konstrukts erleichtert Formulierung von passenden Items Korrelation z.b. mit Aussenkriterien (d.h. z.b. man braucht auch von allen Personen die Ergebnisse der Abschlussprüfung 2 Jahre später) Stichwort: Kriteriumsvalidität hohe Korrelation z.b. zu anderen Fragebogen, die dasselbe messen sollen, niedrige zu anderen, die etwas anderes messen sollen (d.h. z.b. Personen müssen noch andere Fragebogen ausfüllen) Stichwort: Konstruktvalidität

28 Itemanalyse und Kennzahlen zu Schwierigkeit, Varianz, Schiefe und Trennschärfe der Items zentraler Begriff: Reliabilität (Kennzahlen z.b. Cronbach s α) Stichwörter: Split-Half-, Retest-Reliabilität, Interne Konsistenz zur Überprüfung/Bestimmung der Dimensionalität Einführung: z.b. Bühner, Kap. 3-6

29

30 auch genannt: probabilistische Testtheorie Modelle für zwei und mehr Antwortkategorien Stichwörter: Rasch-Modell, Birnbaum- (2-parametriges logistisches/2pl) Modell, Partial-Credit-Modell, Rating-Scale-Modell, Graded-Response-Modell ein- und mehrdimensionale Modelle Annahmen empirisch testbar Überprüfbarkeit von (Ein)dimensionalität und metrischem Skalenniveau Einführung: z.b. Strobl

31 Information Item Information Curves Aufg. 8 Aufg. 5 Aufg. 7 Aufg. 3 Aufg. 1 Aufg. 10 Aufg Ability

32 Test Information Function Information Ability

33 Probability δ 2 δ 2 δ 1 Category Characteristic Curves δ 1 δ 2 Want Curse Do Curse Want Scold δ 1δ 2 Do Scold Want Shout δ 1 δ 1 δ 2 Do Shout δ Latent Trait Cat. 0 Cat. 1 Cat. 2 δ gleiches Format (nein vielleicht ja) aber Daten zeigen: unterschiedliche Nutzung auch bei umgekehrt formulierte Items oft: umkodiert andere Items

34 (DIF) Beispiel: Studenten-PISA (Online-Quiz der Zeitschrift SPIEGEL) überraschendes Ergebnis: Abiturienten aus Rheinland-Pfalz haben eine signifikant bessere Allgemeinbildung zwei mögliche Ursachen: die sind wirklich besser die hatten einen unfairen Vorteil (weil einzelne Items für sie leichter waren als für andere Personen)

35 Strobl et al. (2014). Psychometrika. Bundesland andere {Hessen, Rheinl. Pfalz} Bundesland 4.03 n = Hessen n = 721 Rheinl. Pfalz n =

36 Strobl et al. (2014). Psychometrika. Bundesland andere {Hessen, Rheinl. Pfalz} Bundesland 4.03 n = Hessen n = 721 Rheinl. Pfalz n = Item 4: Wo ist Hessen? (Lage auf einer Landkarte zeigen)

37 Strobl et al. (2014). Psychometrika. Bundesland andere {Hessen, Rheinl. Pfalz} Bundesland 4.03 n = Hessen n = 721 Rheinl. Pfalz n = Item 4: Wo ist Hessen? (Lage auf einer Landkarte zeigen) Item 5: Was ist die Hauptstadt von Rheinland-Pfalz?

38 werden diese beiden Items aus dem Fragebogen entfernt, verschwinden die Unterschiede! bleiben methodische Mängel des Fragebogens unbemerkt, können sie zu schweren Fehlinterpretationen führen!

39 gute Fragebogen zu erstellen ist aufwändig, aber lohnend schlechte Fragebogen können zu schweren Fehlinterpretationen führen Fragebogen mit hoher Relevanz müssen an einer großen, repräsentativen Stichprobe validiert werden erst dann können für dieselben oder neue Personen zuverlässige Aussagen gemacht werden nötige psychometrische Expertise aus mehrsemestrigen Vorlesungen und Seminaren bzw. Büchern zu Testtheorie und Testkonstruktion (+ Statistik-Grundlagen) durch Rekrutierung von geeigneten Personen

40 zum Weiterlesen Bühner M (2011). Einführung in die Test- und Fragebogenkonstruktion. Pearson Studium. Kallus K (2010). Erstellung. UTB. Porst R (2014). Fragebogen: Ein Arbeitsbuch. Springer. Strobl C (2012). Das Rasch-Modell Eine verständliche Einführung für Studium und Praxis (2. erweiterte Auflage). Rainer Hampp Verlag.