VU Testtheorie und Testkonstruktion WS 08/09; Lengenfelder, Fritz, Moser, Kogler

Transkript

1 VU Testtheorie und Testkonstruktion WS 08/09; Lengenfelder, Fritz, Moser, Kogler Hausübung In der Übung Übungsblatt Gegeben: Skala zur Messung der Gesundheitssorge mit 20 Items (dichotomes Antwortformat). Person A hat 15 Items beantwortet und den Wert 13 erhalten. Person B hat bei 19 beantworteten Items den Wert 16 erhalten. Person C hingegen hat 12 Items beantwortet und den Wert 11 erreicht. Welche Person hat unter Berücksichtigung der Missing Data den höheren Wert? Bei dichotom kann man sagen: 13 von 15 richtig. Bei einem Persönlichkeitsfragebogen entspricht der Wert der Ausprägung dieses Persönlichkeitsmerkmales. Bevor man in der Praxis in die Formel einsetzt muss man sich fragen, wieso Person nicht alle Items beantwortet hat. Hat die Person Items nicht beantwortet, weil Items nicht vorgelegt worden (z.b. Abbruch des Tests)? War die Person nicht in der Lage, das Item zu beantworten. Wenn die Person die Items nicht gelöst hat, weil sie nicht in der Lage war (zu schwer), ist es nicht sinnvoll, in die Formel einzusetzten! Ab wie vielen Missing Data ist es sinnlos, die Formel / Korrektur zu verwenden? In der Literatur: sind mehr als 10% der Items nicht beantwortet, soll man das Ergebnis nicht korrigieren! Anzahl Items Rohwert X beantwortet Person A ,3 Person B ,8 Person C ,3 Überlegung vor Rechnen: Person C hat die meisten Items im Sinne der Skala gelöst. (11 von 12) Vorsicht: Formel rechnet nur das Verhältnis hoch! A: x A = 13* = 17,3 B: x B = 16* = 16,8 C: x C = 11* = 18,3 Antwort: Unter Berücksichtigung der Missing Data erreicht Person C mit 18,3 den höheren Wert! 2.a) Berechnen Sie die Schwierigkeit für folgende Items einer Neurotizismusskala: a)- Ich habe öfters Kopfweh: ja= 80 nein= 50 b)- Bei Stress bin ich ruhig: ja= 70 nein= 100 N + Anzahl der korrekt im Skalensinn beantworteten Items bzw. der richtigen Antworten p i = N Anzahl der Gesamtpersonen, die das Item bearbeitet haben a) Neurotizismus + Kopfweh p i = 80/(80+50)= 0,6154 0,62 mittlere Schwierigkeit (nach Fisseni) b) Neurotizismus + Unruhe p i =100(100+70)= 0,5882 0,59 mittlere Schwierigkeit (nach Fisseni)

2 b). Welche Items würden Sie warum streichen, sofern 4 Items zu streichen wären (Intelligenzskala mit 12 Items (i1-i12) für die Allgemeinbevölkerung; Angabe der Schwierigkeit p i ): i1 i2 i3 i4 i5 i6 i7 i8 i9 i10 i11 i Für die Allgemeinbevölkerung: Optimal ist der Bereich zwischen.20 und.80 (zw. 20% und 80%): Zu leicht: i6:.96 (96% aller Personen können dieses Item lösen/richtig beantworten) i11:.85 (85% aller Personen können dieses Item lösen) Zu schwer: i3:.14 (14% aller Personen können dieses Item lösen) i7:.09 (9% aller Personen können dieses Item lösen) Es gibt hier mehrere Möglichkeiten. Andere Überlegung: dass man ein höheres und ein eres drinnen lässt und dafür 2 aus der Mitte streicht. I6 und I7 streichen. 3. Berechnen Sie bei folgendem Item die Schwierigkeit als Mittelwert in absoluter Form und in normierter Form (0-1), Medianklasse und exakten Median (N=100) für die zwei angegebenen Gewichtungen: Stimme zu Stimme eher zu Stimmt eher nicht zu Stimme nicht zu AM abs AM norm Median Kl Median ex Gewichtung ,77 0,59 2 1,85 Gewichtung ,31 0,59 9 8,56 Antworthäufigkeiten pro Kategorie Sinn der Aufgabe: Es kommt bei gleicher Verteilung und verschiedenen Kategorien bei manchen Größen zu verschiedenen Werten. Gewichtung 1: Mittelwert: AM abs = (24 + 2*51 + 3*17)/100 = 1,77 Normierter Mittelwert: AM norm = (1,77 0)/ (3-0)= 0,59 Medianklasse Bestimmung der mittleren Position: (N+1)/2: (100+1)/2= 50,5 Schauen, so 50 und 51 liegt. In unserem Fall liegen beide in der Medianklasse 2. Achtung: Liegen die 2 Positionen in verschiedenen Kategorien, dann wird der Median gemittelt. (Liegen die 2 Positionen z.b. in der Kategorie 1 und 2, so ist die Medianklasse = 1,5!) 50,5 liegt in der Stimmt eher nicht zu Kategorie Medianklasse Median kl = 2 Exakter Median Med ex = 1,5 + 1 *( 100 / 2 )-(8+24) 51 Med ex = 1, / 51 = 1, x_2 3

3 Gewichtung 2: Mittelwert: AM abs = (3*8 + 6* *9 + 12*17)/100 = 8,31 Normierter Mittelwert: AM norm = (8,31 3)/ (12-3)= 0,59 Medianklasse Mittlere Position: (N+1)/2: (100+1)/2= 50,5 50,5 liegt in der Stimmt eher nicht zu Kategorie Medianklasse = 9 Klasse, um die es geht: 9 (untere Klasse nehmen 6 und zusammenzählen. Dann durch 2 untere grenze!) Untere Grenze= 7,5 Obere Grenze= 10,5 Exakter Median Med ex = 7,5 + 3 *( 100 / 2 )-(32) 51 Med ex = 8, x_9 12 Exakter Median liegt bei den beiden Gewichtungen an der selben Stelle: 0 1 x_ x_ In einer Itemanalyse (N=50) haben Sie für einen Test die part-whole-korrigierten Trennschärfen berechnet und folgende Kennwerte r (it) erhalten: I1 I2 I3 I4 I5 I6 I7 I a) Welche Konsequenzen ziehen Sie aus den Ergebnissen? Bewertung der Trennschärfe Signifikanz (ja/nein) Richtung (pos. Od. neg) Höhe (Fisseni) Trennschärfe sagt uns, wie gut Item zu dem passt, was Skala messen soll. Bei einer negativen Trennschärfe: Formulierung des Items ist genau so gestaltet, dass sie gegen den Skalensinn laufen. Umpolen und danach noch mal die Trennschärfe berechnen I1 I2 I3 I4 I5 I6 I7 I8 Trennschärfe Signifikanz < r krit nicht < r krit nicht < r krit nicht Höhe.30<r it<.50 mittel r it>.50 hoch.30<r it<.50 mittel r it>.50 hoch Richtung negativ positiv positiv positiv positiv positiv negativ positiv Berechnung von r krit N= 50 df=48 (Tabelle nachschauen) Df (40) = 0,304 Df (50) = 0,273

4 Diff= 0,031 0,031/10= 0,0031*8= 0,0248 r krit (df= 48, α=0,05, zweiseitig) = 0,304-0,0248= 0,2792 0,279 Alle Werte, die 0,279 überscheiten weisen auf eine Signifikanz hin! Die die negativ sind und die Items, die nicht sind, würden rausfallen. Höhe Item.29 ist zu. b) Wie groß ist die durchschnittliche Trennschärfe der Items 5 bis 8? Berechnen Sie den Mittelwert der Trennschärfen normal und zusätzlich mittels der beigefügten Gebrauchsanleitung über die Fisher-z transformierten Koeffizienten (nicht zu verwechseln mit den bisher bekannten z-werten!!) GEBRAUCHSANLEITUNG / How To / Manual 1. Zuerst alle vorhandenen Korrelationen in Fisher-z Werte (nach Tabelle) umwandeln: r in Tabelle suchen und entsprechenden Fisher-z ablesen (ist unabhängig von den Freiheitsgraden). 2. Den Mittelwert der Fisher-z Werte (Absolutwerte) berechnen. 3. Diesen Wert wieder rück-transformieren in einen normalen Korrelationskoeffizienten: Fisher-z in Tabelle suchen und entsprechenden Korrelationskoeffizienten ablesen) 4. PS: Negative Werte sind im Sinn von r zu verstehen (Betrag; Vorzeichen nicht relevant) 5. PSS: Versuchen Sie Ihre Ergebnisse in Excel zu kontrollieren: =Fisher() für die Transformation r nach Fisher-z und =Fisherinv() für die Transformation von Fisher-z r 6. PSSS: Falls Sie daran interessiert sind zu erfahren, warum man dieses Prozedere vornehmen muss, finden Sie gute Hinweise in: Bortz, J. (2005). Statistik Beispiel ia ib ic id Mittelwert Fisher-z Mittelwert (als r) r (1) Fisher-z (2) (1) Mittelwert normal berechnet (2) Mittelwert mit Fisher-z transformierten Werten berechnet Hier geht es darum: für 4 Items soll der Mittelwert berechnet werden. Mittelwert= Summe(X i ) Anzahl i Mittelwert = (0,12 + 0, ,19 + 0,64)/ 4 = 0,2925 I5 I6 I7 I8 r it Fisher-z 0, , , ,75817 Warum sollte man die Werte mit Fisher-z rechnen? Verteilung bei einer Korrelation ist keine Normalverteilung. Verteilung ist stark abhängig von von Ausreissern etc... Fisher z ist ab N =30 annähernd eine Normalverteilung. Vorteil: Mittelwert passt besser zu der Stichprobe. Tabelle im oberen Bereich: Fisher-z wert rückumwandeln Mittelwert= (0, , , ,75817) / 4= 0, (in Tabelle schauen) z= 0,324 (in Tabelle bei 0,34, weil gerundet) r= 0, Sie haben einen Test (Items mit 4-stufige Antwortkategorien) konstruiert und folgende Ergebnisse erhalten (Ausschnitt aus der Itemanalyse; N=160)? Diskutieren Sie jedes Item unter

5 Berücksichtigung des normierten Mittelwerts (Schwierigkeit), der Trennschärfe und der Verteilungsform (jeweils unabhängig von den Ergebnissen der anderen Items) heißt: Sie bewerten pro Item den jeweiligen Itemkennwert und kommen pro Item zu einer Entscheidung bezüglich Verbleib oder Eliminierung des Items. ACHTUNG: Diese Übungsaufgabe ist nicht abzugeben Sie kann aber in der Übung besprochen werden, sofern Zeit ist (auf jeden Fall werden die richtigen Lösungen zur Verfügung gestellt). Antwortkategorie r(it) AM Item nie selten öfters immer korr norm Itembewertung i ,5 Siehe unten i ,4 Siehe unten i ,475 Siehe unten N= 160 Mittelwert M i1 = 23*0 + 40*1 + 91*2 + 6*3 160 = 1,5 M i2 = 83*0 + 17*1 + 5*2 + 55*3 160 = 1,2 M i3 = 41*0 + 38*1 + 53*2 + 28*3 160 = 1,425 AM norm i1 = 1, = 0,5 Wert liegt zwischen.20 und.80 mittlere Schwierigkeit nach Fisseni AM norm i2 = 1, = 0,4 Wert liegt zwischen.20 und.80 mittlere Schwierigkeit nach Fisseni AM norm i3 = 1, = 0,475 Wert liegt zwischen.20 und.80 mittlere Schwierigkeit nach Fisseni Trennschärfe Berechnung von r krit N= 160 df=158 (Tabelle nachschauen) Df (150) = 0,159 Df (200) = 0,138 Diff= 0,021 0,021/50= 0,00042*8= 0,00336 r krit (df= 158, α=0,05, zweiseitig) = 0,159-0,00336= 0,1554 0,16 Alle Werte, die 0,16 überscheiten weisen auf eine Signifikanz hin! r it1 =.33 ; r it1 >.30 mittel r it2 =.17 ; r it1 <.30 schmeissen wir raus r it3 =.62 ; r it1 >.50 hoch Verteilungsform

6 rechtssteil, unimodal, unregelmässig verteilt; auch nicht optimalverteilt, aber Trennschärfe und Schwierigkeit sind gut. Item bleibt U-Verteilung in den Extrempunkten mehr Personen als in der Mitte regelmässig verteilt, keine optimale Verteilung Schwierigkeit Trennschärfe Verteilungsform Beurteilung I1 Mittel r it1 >.30 mittel Unregelmässig verteilt, rechtssteil I2 Mittel r it1 <.30 u-verteilung Item streichen I3 mittel r it1 >.50 hoch Gleichmässig verteilt