3.2 Grundlagen der Testtheorie Einleitung

Transkript

1 3.2 Grundlagen der Testtheorie Einleitung Hochschule Magdeburg-Stendal Rehabilitationspsychologie B.Sc. Prof. Dr. Gabriele Helga Franke Oktober 2010 Schlaglichter Definition eines Tests nach Lienert und Raatz (1998) Item Skala Konstrukt Vollständige Gliederung

2 Das schönste Beispiel für einen Test gefunden in Seehausen (Altmark) im September 2009 GHF Grundlagen TT - Einleitung 2

3 Brainstorming Ist die Frage durchdacht, gut formuliert und gut dargestellt? Passt das dichotome Antwortformat oder eignen sich andere Formate besser? Was würde ein Kreuz bei Ja bedeuten? Wer ist Alex? WELCHE FRAGEN HABEN SIE? GHF Grundlagen TT - Einleitung 3

4 PERSÖNLICHE VORBEMERKUNGEN Die Testtheorie hat sich zu einer nur noch für wenige Spezialisten verständlichen Wissenschaft mit hohem Mathematisierungsgrad entwickelt. Testtheorie hat zu tun mit MESSEN, STATISTIK und MATHEMATIK So kann man die Frage stellen: Warum brauchen wir überhaupt Testtheorie? Wenn man allerdings fordert, dass ein Test gültige und faire Entscheidungen hinsichtlich seiner Ergebnisse ermöglichen muss stimmen alle zu!!! GHF Grundlagen TT - Einleitung 4

5 PERSÖNLICHE VORBEMERKUNGEN Die sachlich-fachlich fundierte Anwendung psychologisch-diagnostischer Verfahren ist die Grundlage der (rehabilitations-) psychologischen Tätigkeit Rehabilitationspsychologie = Anwendung psychologischer Kenntnisse im Bereich der Rehabilitation, d.h. bei chronisch Kranken und/ oder Behinderten GHF Grundlagen TT - Einleitung 5

6 PERSÖNLICHE VORBEMERKUNGEN RehabilitationspsychologInnen benötigen Kenntnisse der Testtheorie, um Testverfahren hinsichtlich ihrer Konstruktion, Gültigkeit und Fairness sachlich-fachlich fundiert bewerten zu können professionell arbeiten zu können d.h. zusammengefasst, um in der Praxis des Faches handlungsfähig zu sein GHF Grundlagen TT - Einleitung 6

7 Qualifikationsziele Die Studierenden kennen verschiedene diagnostische Verfahren und sind in der Lage, deren Möglichkeiten und Grenzen einzuschätzen und kritisch zu würdigen Sie verfügen über grundlegende Kenntnisse der Haupt- und Nebengütekriterien, der Skalierung, Normierung und Veränderungsmessung GHF Grundlagen TT - Einleitung 7

8 Inhalte Haupt- und Nebengütekriterien Skalierung, Normierung und Veränderungsmessung Exemplarische Anwendung der testtheoretischen Grundlagen anhand ausgewählter Tests sowie deren computergestützte Auswertung GHF Grundlagen TT - Einleitung 8

9 Kriterien für die Scheinvergabe Klausur Klausur am um 10:15-11:45h Im Audi-Max Alle Drittsemester sind automatisch angemeldet Abmeldungen bitte direkt im Prüfungsamt Diese Klausur ist auch die Wiederholungsklausur für Fünftsemester GHF Grundlagen TT - Einleitung 9

10 RECHNEN-RECHNEN- RECHNEN am Beispiel des Freiburger Persönlichkeitsinventars detail&id=247 Sowie RECHERCHIEREN Franke, G.H. (1997). Über die Möglichkeiten der computerunterstützten Darbietung beim revidierten Freiburger Persönlichkeitsinventar. Zwei experimentelle Studien. Zeitschrift für Experimentelle Psychologie, 44, Praxisbezogene Studienanteile 4.1 Grundlagen der Testtheorie GHF Grundlagen TT - Einleitung 10

11 Definition Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer, empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung. (Lienert & Raatz, 1998, S. 1). GHF Grundlagen TT - Einleitung 11

12 DEFINITION Die Wissenschaftlichkeit steht im Vordergrund! Sie erfordert, dass möglichst genaue Vorstellungen über die zu messenden Merkmale vorliegen müssen und dass testtheoretische Qualitätsansprüche an die Testprozeduren und Testwerte gerichtet werden. GHF Grundlagen TT - Einleitung 12

13 Ein psychologischer Test ist ein Prüfverfahren, das Individuen unter kontrollierten Bedingungen zu bestimmten Handlungs- und Verhaltensweisen veranlasst Soll Rückschlüsse ermöglichen auf zugrunde liegende Merkmale oder Fertigkeiten der Person (Konstrukte) wie z.b. das Merkmal: Lebenszufriedenheit GHF Grundlagen TT - Einleitung 13

14 Ein psychologischer Test Dieses Merkmal der Person soll in Bezug auf einen Maßstab erfasst werden, z.b. Lebenszufriedenheit in der Allgemeinbevölkerung Lebenszufriedenheit in einer Patientinnengruppe mit der gleichen Grunderkrankung (z.b. Brustkrebs) GHF Grundlagen TT - Einleitung 14

15 Item Frage - Probe Ein psychologischer Test besteht aus einem oder mehreren Items (Aufgabe) jedes Item soll eine bestimmte Reaktion beim Probanden (zu testende Person) hervorrufen jedes Item wird als ein zur Lösung vorgelegtes Problem (Einzelprobe) verstanden, z.b. FPI-R- Item Nr. 23: Ich lebe mit mir selbst in Frieden und ohne innere Konflikte stimmt stimmt nicht GHF Grundlagen TT - Einleitung 15

16 Skala (Konstrukt) Diese Items werden nach vorhandenen Rechenvorschriften zusammengefasst (aggregiert), es resultiert eine Skala, die das Konstrukt abbilden soll Z.B. FPI-R Skala Lebenszufriedenheit umfasst 12 Items, die nach festgelegten Vorschriften zur Skala zusammengefasst werden GHF Grundlagen TT - Einleitung 16

17 FRAGEBOGEN Englisch: Questionnaire oder Scale, ohne deutlichen Unterschied Deutsch: Fragebogen Sammelausdruck für schriftliche Befragung in verschiedenen Bereichen Biographische, wirtschaftliche, schulische, medizinische, demoskopische Daten, etc. Bei einfachen Fragebogen kann nicht immer auf ein testtheoretisches Konzept zurückgegriffen werden Dennoch sollten auch hier die Qualitätsansprüche der Testgütekriterien Anwendung finden GHF Grundlagen TT - Einleitung 17

18 Gliederung 1. Einleitung 2. Testgütekriterien 3. Planung und Entwicklung 4. Deskriptive Statistik 5. Klassische Testtheorie 6. Methoden der Reliabilitätsbestimmung 7. Validität 8. Interpretation von Testresultaten und Testeichung 9. Standards für psychologisches Testen GHF Grundlagen TT - Einleitung 18

19 2. Testgütekriterien 2.1 Objektivität 2.2 Reliabilität 2.3 Validität 2.4 Skalierung 2.5 Normierung (Eichung) 2.6 Testökonomie 2.7 Nützlichkeit 2.8 Zumutbarkeit 2.9 Unverfälschbarkeit 2.10 Fairness GHF Grundlagen TT - Einleitung 19

20 2. TESTGÜTEKRITERIEN Welche Gütekriterien muss ein Test erfüllen, um wissenschaftlichen Ansprüchen zu genügen? Wir lernen die Begriffe Objektivität, Reliabilität, Validität, Skalierung, Normierung (Eichung), Testökonomie, Nützlichkeit, Zumutbarkeit, Unverfälschbarkeit und Fairness kennen. GHF Grundlagen TT - Einleitung 20

21 3. Planung und Entwicklung 3.1 Testplanung 3.2 Konstruktionsstrategien 3.3 Aufgabentypen und Antwortformate 3.4 Fehlerquellen 3.5 Itemformulierung 3.6 Vorläufige Testversion erstellen 3.7 Vorläufige Testversion erproben GHF Grundlagen TT - Einleitung 21

22 3. PLANUNG UND ENTWICKLUNG Welche handlungsleitenden Basisüberlegungen machen wir bei der Konstruktion eines Tests? Inhaltlicher Schwerpunkt sind verschiedene Formen von Merkmals- und Testarten, von Itemtypen und Antwortformaten sowie den typischen Konstruktionsstrategien für Testitems. GHF Grundlagen TT - Einleitung 22

23 4. Deskriptive Statistik 4.1 Einleitung 4.2 Schwierigkeitsanalyse 4.3 Itemvarianz 4.4 Trennschärfeanalyse 4.5 Itemselektion und Testrevision 4.6 Testwertermittlung 4.7 Testwertverteilung und Normalisierung 4.8 Zusammenfassung und weiteres Vorgehen GHF Grundlagen TT - Einleitung 23

24 4. DESKRIPTIVE STATISTIK Deskriptive Evaluation eines Tests auf Itemebene: Itemschwierigkeit, Itemvarianzen, Trennschärfe Auf Basis dieser deskriptiven Ergebnisse können diejenigen Aufgaben ausgewählt werden, die für eine differenzierte Informationsbeschaffung am geeignetsten erscheinen. GHF Grundlagen TT - Einleitung 24

25 5. Klassische Testtheorie (KTT) 5.1 Einleitung 5.2 Axiome 5.3 Wahrer Testwert 5.4 Wahre Varianz und Fehlervarianz 5.5 Reliabilität 5.6 Standardmessfehler und Konfidenzintervall 5.7 Grenzen und Schwächen der KTT GHF Grundlagen TT - Einleitung 25

26 5. KLASSISCHE TESTTHEORIE (KTT) Grundlegende, theoretische Annahmen, die notwendig sind, um von einem beobachteten, aber nicht messfehlerfreien Testergebnis auf den dahinterliegenen wahren Wert (true score) schließen zu können GHF Grundlagen TT - Einleitung 26

27 6. Methoden der Reliabilitätsbestimmung 6.1 Reliabilität 6.2 Retest-Reliabilität 6.3 Paralleltest-Reliabilität 6.4 Splithalf-(Testhalbierungs-) Reliabilität 6.5 Interne Konsistenz 6.6 Zusammenfassung GHF Grundlagen TT - Einleitung 27

28 6. METHODEN DER RELIABILITÄTS- BESTIMMUNG Auf der Basis der KTT wird das Konzpet der Messgenauigkeit (Reliabilität) behandelt Dies ist eines der wichtigsten Gütekriterien von Testverfahren Verschiedene Methoden zur Ermittlung der Reliabilität werden vorgestellt GHF Grundlagen TT - Einleitung 28

29 7. Validität 7.1 Validität 7.2 Operationale, theoretische Merkmalsdefinition 7.3 Inhaltsvalidität 7.4 Validität, theoriebasiert 7.5 Validität diagnostischer Entscheidungen 7.6 Wahl geeigneter Validierungsmethoden 7.7 Zusammenfassung GHF Grundlagen TT - Einleitung 29

30 7. VALIDITÄT Gültigkeit eines Testverfahrens Bewertung, in welchem Ausmaß Schlussfolgerungen und Maßnahmen, die auf Basis der Testergebnisse getroffen werden, durch empirische Belege und theoretische Argumente gestützt sind GHF Grundlagen TT - Einleitung 30

31 8. Interpretation von Testresultaten und Testeichung 8.1 Testwertbildung und -interpretation 8.2 Normorientierte Testwertinterpretation 8.3 Kriteriumsorientierte Testwertinterpretation 8.4 Integration 8.5 Normdifferenzierung 8.6 Testeichung GHF Grundlagen TT - Einleitung 31

32 8. INTERPRETATION VON TESTRESULTATEN UND TESTEICHUNG Normorientierte Interpretation ein Testresultat kann nach erfolgreicher Testeichung im Vergleich mit den Testwerten anderer Personen (Bezugsgruppe) interpretiert werden. Kriteriumsorientierte Interpretation Vergleich des Testresultates mit einem theoriebasiert festgelegten Kriterium GHF Grundlagen TT - Einleitung 32

33 9. Standards für psychologisches Testen 9.1 Entwicklung und Evaluation 9.2 Übersetzung und Anpassung 9.3 Anwendung 9.4 Qualitätsbeurteilung 9.5 Zusammenfassung GHF Grundlagen TT - Einleitung 33

34 9. STANDARDS FÜR PSYCHOLOGISCHES TESTEN Nationale Qualitätsstandards DIN Anforderungen zu Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen Internationale Qualitätsstandards SEPT Standards for Educational and Psychological Testing GHF Grundlagen TT - Einleitung 34

35 Literatur zur Testtheorie B-K Bühner, M. (2007). Einführung in die Test- und Fragebogenkonstruktion (2., aktualisierte Auflage). München: Pearson Studium. Kranz, H.T. (2001). Einführung in die klassische Testtheorie. Eschborn: Klotz. Kubinger, K.D. (2006). Psychologische Diagnostik Theorie und Praxis psychologischen Diagnostizierens. Göttingen: Hogrefe. Kubinger, K.D. & Jäger, R.S. (Hrsg.) (2003). Schlüsselbegriffe der Psychologischen Diagnostik. Weinheim: PVU. GHF Grundlagen TT - Einleitung 35

36 Literatur zur Testtheorie L-R Lienert, G.A. & Raatz, U. (1998). Testaufbau und Testanalyse (6. Auflage). Weinheim: Beltz. Moosbrugger, H. & Kelava, A. (2007). Testtheorie und Fragebogenkonstruktion. Berlin: Springer. Mummendey, H.D. & Grau, I. (2007). Die Fragebogen-Methode (5., überarbeitete und erweiterte Auflage). Göttingen: Hogrefe. Rost, J. (2004). Lehrbuch Testtheorie / Testkonstruktion (2., überarbeitete und erweiterte Auflage). Bern: Huber. GHF Grundlagen TT - Einleitung 36

37 Literatur zur Statistik B-R Bortz, J. (2005). Statistik: Für Human- und Sozialwissenschaftler (6. Auflage). Berlin: Springer. Bortz, J. (1999). Statistik: Für Sozialwissenschaftler (5., vollständig überarbeitete und aktualisierte Auflage). Berlin: Springer. Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation: für Human- und Sozialwissenschaftler (4., überarbeitete Auflage). Berlin: Springer. Bortz, J. & Lienert, G.A. (2008). Kurzgefasste Statistik für die klinische Forschung: Leitfaden für die verteilungsfreie Analyse kleiner Stichproben (3., aktualisierte und bearbeitete Auflage). Berlin: Springer. Rasch, D. & Kubinger, K.D. (2005). Statistik für das Psychologiestudium. Frankfurt a.m.: Spektrum Akademischer Verlag. GHF Grundlagen TT - Einleitung 37

38 Literatur zu SPSS Bühl, A. (2008). SPSS Version 16: Einführung in die moderne Datenanalyse (11., aktualisierte Auflage). Frankfurt a.m.: Pearson Studium. Diehl, J.M. & Staufenbiel (2007). Statistik mit SPSS Version 15. Eschborn: Klotz. Janssen, J. & Laatz, W. (2007). Statistische Datenanalyse mit SPSS für Windows: Eine anwendungsorientierte Einführung in das Basissystem und das Modul Exakte Tests (6., neu bearbeitete und erweiterte Auflage). Berlin: Springer. GHF Grundlagen TT - Einleitung 38