4.2 Grundlagen der Testtheorie. Wintersemester 2008 / 2009 Hochschule Magdeburg-Stendal (FH) Frau Prof. Dr. Gabriele Helga Franke

Transkript

1 4.2 Grundlagen der Testtheorie Wintersemester 2008 / 2009 Hochschule Magdeburg-Stendal (FH) Frau Prof. Dr. Gabriele Helga Franke

2 PERSÖNLICHE VORBEMERKUNGEN Die Testtheorie hat sich zu einer nur noch für wenige Spezialisten verständlichen Wissenschaft mit hohem Mathematisierungsgrad entwickelt. Testtheorie hat zu tun mit MESSEN, STATISTIK und MATHEMATIK So kann man die Frage stellen: Warum brauchen wir überhaupt Testtheorie? 2

3 PERSÖNLICHE VORBEMERKUNGEN Wenn man allerdings fordert, dass ein Test gültige und faire Entscheidungen hinsichtlich seiner Ergebnisse ermöglichen muss stimmen alle zu!!! 3

4 PERSÖNLICHE VORBEMERKUNGEN Rehabilitationspsychologinnen und -psychologen benötigen Kenntnisse der Testtheorie, um Testverfahren hinsichtlich ihrer Konstruktion, Gültigkeit und Fairness sachlich-fachlich fundiert bewerten zu können ihre eigene Arbeit professionell leisten zu können d.h. zusammengefasst, um in der Praxis des Faches handlungsfähig zu sein. 4

5 GHF im WiSe 2008 / 2009 an der HS MD-SDL(FH) im Studiengang Rehabilitationspsychologie, B.Sc., 3. Semester Modul: 4.2 Einführung in die Testtheorie KAPITEL 1 - EINLEITUNG 5

6 Qualifikationsziele Die Studierenden erwerben grundlegende Kenntnisse der Hauptund Nebengütekriterien, der Skalierung, Normierung und Veränderungsmessung. Sie werden dazu befähigt, die Möglichkeiten und Grenzen der unterschiedlichen diagnostischen Verfahren anhand dieser Kriterien einzuschätzen und kritisch zu würdigen. Exemplarisch sollen ausgewählte Tests unter Anleitung bearbeitet werden 6

7 Inhalte Haupt- und Nebengütekriterien Skalierung Normierung und Veränderungsmessung exemplarische Anwendung der testtheoretischen Grundlagen anhand ausgewählter Tests sowie deren computergestützte Auswertung 7

8 Kriterien für die Scheinvergabe Regelmäßige Teilnahme (Anwesenheitsliste) Eine der beiden Klausuren muss bestanden werden: Klausur am um 12h im Audimax Klausur am um 12h im Audimax Wenn beide Klausuren bestanden wurden, gilt die bessere Note 8

9 Praxisbezogene Studienanteile 4.2 Grundlagen der Testtheorie Am Beispiel des FPI-R werden zentrale Bestimmungsstücke der Testtheorie verdeutlicht Dazu ist die Nutzung der Testothek notwendig Benutzungsordnung, Rechte und Pflichten Ausweis und Ausleihe, Rückgabe 9

10 Definition Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer, empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung. (Lienert & Raatz, 1998, S. 1). 10

11 DEFINITION Die Wissenschaftlichkeit steht im Vordergrund! Sie erfordert, dass möglichst genaue Vorstellungen über die messenden Merkmale vorliegen müssen und dass testtheoretische Qualitätsansprüche an die Testprozeduren und Testwerte gerichtet werden. 11

12 Ein psychologischer Test ist ein Prüfverfahren, das Individuen unter kontrollierten Bedingungen zu bestimmten Handlungs- und Verhaltensweisen veranlasst Soll Rückschlüsse ermöglichen auf zugrunde liegende Merkmale oder Fertigkeiten der Person (Konstrukte) wie z.b. das Merkmal: Lebenszufriedenheit 12

13 Ein psychologischer Test Dieses Merkmal der Person soll in Bezug auf einen Maßstab erfasst werden, z.b. Lebenszufriedenheit in der Allgemeinbevölkerung Lebenszufriedenheit in einer Patientinnengruppe mit der gleichen Grunderkrankung (z.b. Brustkrebs) 13

14 Item Frage - Probe Ein psychologischer Test besteht aus einem oder mehreren Items (Aufgabe) jedes Item soll eine bestimmte Reaktion beim Probanden (zu testende Person) hervorrufen jedes Item wird als ein zur Lösung vorgelegtes Problem (Einzelprobe) verstanden, z.b. FPI-R-Item Nr. 23: Ich lebe mit mir selbst in Frieden und ohne innere Konflikte stimmt stimmt nicht 14

15 Skala (Konstrukt) Diese Items werden nach vorhandenen Rechenvorschriften zusammengefasst (aggregiert), es resultiert eine Skala, die das Konstrukt abbilden soll Z.B. FPI-R Skala Lebenszufriedenheit umfasst 12 Items, die nach festgelegten Vorschriften zur Skala zusammengefasst werden 15

16 FRAGEBOGEN Englisch: Questionnaire oder Scale, ohne deutlichen Unterschied Deutsch: Fragebogen Sammelausdruck für schriftliche Befragung in verschiedenen Bereichen Biographische, wirtschaftliche, schulische, medizinische, demoskopische Daten, etc. 16

17 FRAGEBOGEN Bei einfachen Fragebogen kann nicht immer auf ein testtheoretisches Konzept zurückgegriffen werden. Dennoch sollten auch hier die Qualitätsansprüche der Testgütekriterien Anwendung finden 17

18 1. Einleitung 1.1 Organisatorisches 1.2 Überblick 18

19 2. Testgütekriterien 2.1 Objektivität 2.2 Reliabilität 2.3 Validität 2.4 Skalierung 2.5 Normierung (Eichung) 2.6 Testökonomie 2.7 Nützlichkeit 2.8 Zumutbarkeit 2.9 Unverfälschbarkeit 2.10 Fairness 19

20 2. TESTGÜTEKRITERIEN Welche Gütekriterien muss ein Test erfüllen, um wissenschaftlichen Ansprüchen zu genügen? Wir lernen die Begriffe Objektivität, Reliabilität, Validität, Skalierung, Normierung (Eichung), Testökonomie, Nützlichkeit, Zumutbarkeit, Unverfälschbarkeit und Fairness kennen. 20

21 3. Planung und Entwicklung 3.1 Testplanung 3.2 Konstruktionsstrategien 3.3 Aufgabentypen und Antwortformate 3.4 Fehlerquellen 3.5 Itemformulierung 3.6 Vorläufige Testversion erstellen 3.7 Vorläufige Testversion erproben 21

22 3. PLANUNG UND ENTWICKLUNG Welche handlungsleitenden Basisüberlegungen machen wir bei der Konstruktion eines Tests? Inhaltlicher Schwerpunkt sind verschiedene Formen von Merkmals- und Testarten, von Itemtypen und Antwortformaten sowie den typischen Konstruktionsstrategien für Testitems. 22

23 4. Deskriptive Statistik 4.1 Einleitung 4.2 Schwierigkeitsanalyse 4.3 Itemvarianz 4.4 Trennschärfeanalyse 4.5 Itemselektion und Testrevision 4.6 Testwertermittlung 4.7 Testwertverteilung und Normalisierung 4.8 Zusammenfassung und weiteres Vorgehen 23

24 4. DESKRIPTIVE STATISTIK Deskriptive Evaluation eines Tests auf Itemebene: Itemschwierigkeit, Itemvarianzen, Trennschärfe Auf Basis dieser deskriptiven Ergebnisse können diejenigen Aufgaben ausgewählt werden, die für eine differenzierte Informationsbeschaffung am geeignetsten erscheinen. 24

25 5. Klassische Testtheorie (KTT) 5.1 Einleitung 5.2 Axiome 5.3 Wahrer Testwert 5.4 Wahre Varianz und Fehlervarianz 5.5 Reliabilität 5.6 Standardmessfehler und Konfidenzintervall 5.7 Grenzen und Schwächen der KTT 25

26 5. KLASSISCHE TESTTHEORIE (KTT) Grundlegende, theoretische Annahmen, die notwendig sind, um von einem beobachteten, aber nicht messfehlerfreien Testergebnis auf den dahinterliegenen wahren Wert (true score) schließen zu können 26

27 6. Methoden der Reliabilitätsbestimmung 6.1 Reliabilität 6.2 Retest-Reliabilität 6.3 Paralleltest-Reliabilität 6.4 Splithalf-(Testhalbierungs-) Reliabilität 6.5 Interne Konsistenz 6.6 Zusammenfassung 27

28 6. METHODEN DER RELIABILITÄTS- BESTIMMUNG Auf der Basis der KTT wird das Konzpet der Messgenauigkeit (Reliabilität) behandelt Dies ist eines der wichtigsten Gütekriterien von Testverfahren Verschiedene Methoden zur Ermittlung der Reliabilität werden vorgestellt 28

29 7. Validität 7.1 Validität 7.2 Operationale, theoretische Merkmalsdefinition 7.3 Inhaltsvalidität 7.4 Validität, theoriebasiert 7.5 Validität diagnostischer Entscheidungen 7.6 Wahl geeigneter Validierungsmethoden 7.7 Zusammenfassung 29

30 7. VALIDITÄT Gültigkeit eines Testverfahrens Bewertung, in welchem Ausmaß Schlussfolgerungen und Maßnahmen, die auf Basis der Testergebnisse getroffen werden, durch empirische Belege und theoretische Argumente gestützt sind 30

31 8. Interpretation von Testresultaten und Testeichung 8.1 Testwertbildung und -interpretation 8.2 Normorientierte Testwertinterpretation 8.3 Kriteriumsorientierte Testwertinterpretation 8.4 Integration 8.5 Normdifferenzierung 8.6 Testeichung 31

32 8. INTERPRETATION VON TESTRESULTATEN UND TESTEICHUNG Normorientierte Interpretation ein Testresultat kann nach erfolgreicher Testeichung im Vergleich mit den Testwerten anderer Personen (Bezugsgruppe) interpretiert werden. Kriteriumsorientierte Interpretation Vergleich des Testresultates mit einem theoriebasiert festgelegten Kriterium 32

33 9. Standards für psychologisches Testen 9.1 Entwicklung und Evaluation 9.2 Übersetzung und Anpassung 9.3 Anwendung 9.4 Qualitätsbeurteilung 9.5 Zusammenfassung 33

34 9. STANDARDS FÜR PSYCHOLOGISCHES TESTEN Nationale Qualitätsstandards DIN Anforderungen zu Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen Internationale Qualitätsstandards SEPT Standards for Educational and Psychological Testing 34

35 Literatur zur Testtheorie Bühner, M. (2007). Einführung in die Test- und Fragebogenkonstruktion (2., aktualisierte Auflage). München: Pearson Studium. Kranz, H.T. (2001). Einführung in die klassische Testtheorie. Eschborn: Klotz. Kubinger, K.D. (2006). Psychologische Diagnostik Theorie und Praxis psychologischen Diagnostizierens. Göttingen: Hogrefe. Kubinger, K.D. & Jäger, R.S. (Hrsg.) (2003). Schlüsselbegriffe der Psychologischen Diagnostik. Weinheim: PVU. 35

36 Literatur zur Testtheorie Lienert, G.A. & Raatz, U. (1998). Testaufbau und Testanalyse (6. Auflage). Weinheim: Beltz. Moosbrugger, H. & Kelava, A. (2007). Testtheorie und Fragebogenkonstruktion. Berlin: Springer. Mummendey, H.D. & Grau, I. (2007). Die Fragebogen-Methode (5., überarbeitete und erweiterte Auflage). Göttingen: Hogrefe. Rost, J. (2004). Lehrbuch Testtheorie / Testkonstruktion (2., überarbeitete und erweiterte Auflage). Bern: Huber. 36

37 MOOSBRUGGER, H. & KELAVA, A. (2007). TESTTHEORIE UND FRAGEBOGENKONSTRUK TION. BERLIN: SPRINGER. ragebogenkonstruktion 37

38 Literatur zur Statistik Bortz, J. (2005). Statistik: Für Humanund Sozialwissenschaftler (6. Auflage). Berlin: Springer. Bortz, J. (1999). Statistik: Für Sozialwissenschaftler (5., vollständig überarbeitete und aktualisierte Auflage). Berlin: Springer. Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation: für Human- und Sozialwissenschaftler (4., überarbeitete Auflage). Berlin: Springer. 38

39 Literatur zur Statistik Bortz, J. & Lienert, G.A. (2008). Kurzgefasste Statistik für die klinische Forschung: Leitfaden für die verteilungsfreie Analyse kleiner Stichproben (3., aktualisierte und bearbeitete Auflage). Berlin: Springer. Rasch, D. & Kubinger, K.D. (2005). Statistik für das Psychologiestudium. Frankfurt a.m.: Spektrum Akademischer Verlag. 39

40 Literatur zu SPSS Bühl, A. (2008). SPSS Version 16: Einführung in die moderne Datenanalyse (11., aktualisierte Auflage). Frankfurt a.m.: Pearson Studium. Diehl, J.M. & Staufenbiel (2007). Statistik mit SPSS Version 15. Eschborn: Klotz. Janssen, J. & Laatz, W. (2007). Statistische Datenanalyse mit SPSS für Windows: Eine anwendungsorientierte Einführung in das Basissystem und das Modul Exakte Tests (6., neu bearbeitete und erweiterte Auflage). Berlin: Springer. 40