Auswahl von Testaufgaben

Transkript

1 Auswahl von Testaufgaben

2 Auswahl von Testaufgaben Itemformat Formulierung Probleme/Verfälschungen Itemanalyse Skalen

3 Itemformat Nach Bortz Offene Beantwortung Nach Bühning Freies Itemformat Halboffene Beantwortung Antwortvorgaben Gebundenes Itemformat

4 Itemformat Offen freie Gestaltung, freie Deutung, freie Assoziation Kaum geregelte Auswertung Keine Testitems Für Erkundungsstudien Materialbasis

5 Itemformat Halboffen Einfachantwort, Mehrfachantwort, Reihenantwort, Sammelantwort Präzise Fragestellung Formulierungsnuancen Objektivität Materialbasis

6 Itemformat Zusammenfassung Halboffene Beantwortung Kaum Zufallslösungen Qualitative Auswertung Komplexe Aufgaben Ketteneffekt Zeitaufwand Auswertungsobjektivität Offene Beantwortung Freie Reproduktion Keine Zufallslösungen Auswertungsobjektivität Inhaltsanalyse Keine Testitems

7 Itemformat Gebunden/Vorgaben Auswahlantwort Alternativantwort Zuordnungsaufgabe Umordnungs aufgabe Ergänzungsantwort Unter Anamnese versteht man die Vorgeschichte einer Erkrankung Ein Grundstück ist 48m breit, 1,49m lang und kostet 7940 Euro. Was 2 kostet ein m Ordne mit dem kleinsten beginnend, die folgenden Brüche nach ihrer Größe. Welches Verb gehört zu welchem Substantiv? Blitz verhält sich zu Hören, wie Donner zu Konstruktion Zeitaufwand Durchführung Auswertung Reproduktion Durchführung Reproduktion Antwortalternative Stellungnahme Antwortfomat Auswertung Auswertung

8 Itemformat Gebunden/Vorgaben Ratingskalen: Quantitative Beurteilung eines Merkmals Uni vs. Bipolar Ausdruck: verbal, symbolisch, numerisch, grafisch Kategorienanzahl Nachteile: Antworttendenzen

9 Formulierung Itempolung Doppelte Verneinung Mehrdeutige Begriffe Sachlicher Inhalt Verallgemeinerungen Abkürzungen/Endloslängen Hervorhebungen Zeitspannen Definitionen

10 Probleme/Verfälschungen Raten Simulation Dissimulation Soziale Erwünschtheit

11 Probleme/Verfälschungen 5 mögliche Strategien: Ausbalancierte Antwortvorgaben Kontrollskalen Objektive Tests Aufforderung zu korrektem Testverhalten RandomResponseTechnik

12 Itemanalyse Qualitätssteigerung Grundlage Eichstichprobe Gekennzeichnet durch: Rohwertverteilung Itemschwierigkeit Trennschärfe Homogenität Dimensionalität

13 Itemanalyse Rohwertverteilung Häufigkeitsverteilung aus Stichprobe Normalverteilung versus Abweichung

14 Itemanalyse Itemschwierigkeit Für jedes Item einzeln zu berechnen Ri Dichotomes Item P i = N i Polytomes Item P i = n i= 1 k i x i * n Besonderheit Ratingskalen

15 Itemanalyse Trennschärfe Korrelation einzelnes Item Gesamtergebnis Für jedes Item einzeln zu berechnen Für intervallskalierte Daten: r = ( i, t) cov( i, t) s i * s t

16 Itemanalyse Homogenität Iteminterkorrelation bei eindimensionalen Tests Item 1 Item 2 Item 3 Item 4 Item 1 1,0 0,05 0,17 0,12 0,11 Item 2 0,05 1,0 0,42 0,37 0,28 Item 3 0,17 0,42 1,0 0,54 0,38 Item4 0,12 0,37 0,54 1,0 0,34 0,11 0,28 0,38 0,34 0,27

17 Itemanalyse Dimensionalität Gibt an, ob der Test nur ein Merkmal/Konstrukt oder mehrere Merkmale/Konstrukte erfasst Bestimmung durch Faktorenanalyse

18 Skalen Testskala = Satz von Items, die spezifischen, mit der jeweiligen Testskala verbundenen Skalierungseigenschaften genügen Bedingungen: Homogenität Hohe Streuung Schwierigkeitsindizes Hohe Trennschärfe Hohe Testobjektivität Hohe Testreliabilität Hohe Validität Einzelitems und Gesamttest

19 Thurstone Skala Sammlung Items Expertengruppe zur Beurteilung Merkmalsausprägung 11PunkteRatingskala Testwert = Summe der Skalenwerte

20 Likert Skala Sammlung Behauptungen Eichstichprobe Ermittlung Trennschärfen Ermittlung Dimensionalität Testwert = Summe angekreuzte kategorienspezifische Skalenwerte

21 Guttmann Skala g f e d c b a Wer schwere Items beantwortet, beantwortet auch leichte

22 Guttmann Skala g f e d c b a Wer schwere Items beantwortet, beantwortet auch leichte N P N I F REP * =1