3.2 Grundlagen der Testtheorie 3.2.1 Einleitung Hochschule Magdeburg-Stendal Rehabilitationspsychologie B.Sc. Prof. Dr. Gabriele Helga Franke Oktober 2010 Schlaglichter Definition eines Tests nach Lienert und Raatz (1998) Item Skala Konstrukt Vollständige Gliederung
Das schönste Beispiel für einen Test gefunden in Seehausen (Altmark) im September 2009 GHF 3.2.1 Grundlagen TT - Einleitung 2
Brainstorming Ist die Frage durchdacht, gut formuliert und gut dargestellt? Passt das dichotome Antwortformat oder eignen sich andere Formate besser? Was würde ein Kreuz bei Ja bedeuten? Wer ist Alex? WELCHE FRAGEN HABEN SIE? GHF 3.2.1 Grundlagen TT - Einleitung 3
PERSÖNLICHE VORBEMERKUNGEN Die Testtheorie hat sich zu einer nur noch für wenige Spezialisten verständlichen Wissenschaft mit hohem Mathematisierungsgrad entwickelt. Testtheorie hat zu tun mit MESSEN, STATISTIK und MATHEMATIK So kann man die Frage stellen: Warum brauchen wir überhaupt Testtheorie? Wenn man allerdings fordert, dass ein Test gültige und faire Entscheidungen hinsichtlich seiner Ergebnisse ermöglichen muss stimmen alle zu!!! GHF 3.2.1 Grundlagen TT - Einleitung 4
PERSÖNLICHE VORBEMERKUNGEN Die sachlich-fachlich fundierte Anwendung psychologisch-diagnostischer Verfahren ist die Grundlage der (rehabilitations-) psychologischen Tätigkeit Rehabilitationspsychologie = Anwendung psychologischer Kenntnisse im Bereich der Rehabilitation, d.h. bei chronisch Kranken und/ oder Behinderten GHF 3.2.1 Grundlagen TT - Einleitung 5
PERSÖNLICHE VORBEMERKUNGEN RehabilitationspsychologInnen benötigen Kenntnisse der Testtheorie, um Testverfahren hinsichtlich ihrer Konstruktion, Gültigkeit und Fairness sachlich-fachlich fundiert bewerten zu können professionell arbeiten zu können d.h. zusammengefasst, um in der Praxis des Faches handlungsfähig zu sein GHF 3.2.1 Grundlagen TT - Einleitung 6
Qualifikationsziele Die Studierenden kennen verschiedene diagnostische Verfahren und sind in der Lage, deren Möglichkeiten und Grenzen einzuschätzen und kritisch zu würdigen Sie verfügen über grundlegende Kenntnisse der Haupt- und Nebengütekriterien, der Skalierung, Normierung und Veränderungsmessung GHF 3.2.1 Grundlagen TT - Einleitung 7
Inhalte Haupt- und Nebengütekriterien Skalierung, Normierung und Veränderungsmessung Exemplarische Anwendung der testtheoretischen Grundlagen anhand ausgewählter Tests sowie deren computergestützte Auswertung GHF 3.2.1 Grundlagen TT - Einleitung 8
Kriterien für die Scheinvergabe Klausur Klausur am 10.02.2011 um 10:15-11:45h Im Audi-Max Alle Drittsemester sind automatisch angemeldet Abmeldungen bitte direkt im Prüfungsamt Diese Klausur ist auch die Wiederholungsklausur für Fünftsemester GHF 3.2.1 Grundlagen TT - Einleitung 9
RECHNEN-RECHNEN- RECHNEN am Beispiel des Freiburger Persönlichkeitsinventars http://www.testzentrale.de/?mod= detail&id=247 Sowie RECHERCHIEREN Franke, G.H. (1997). Über die Möglichkeiten der computerunterstützten Darbietung beim revidierten Freiburger Persönlichkeitsinventar. Zwei experimentelle Studien. Zeitschrift für Experimentelle Psychologie, 44, 332-356. Praxisbezogene Studienanteile 4.1 Grundlagen der Testtheorie GHF 3.2.1 Grundlagen TT - Einleitung 10
Definition Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer, empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung. (Lienert & Raatz, 1998, S. 1). GHF 3.2.1 Grundlagen TT - Einleitung 11
DEFINITION Die Wissenschaftlichkeit steht im Vordergrund! Sie erfordert, dass möglichst genaue Vorstellungen über die zu messenden Merkmale vorliegen müssen und dass testtheoretische Qualitätsansprüche an die Testprozeduren und Testwerte gerichtet werden. GHF 3.2.1 Grundlagen TT - Einleitung 12
Ein psychologischer Test ist ein Prüfverfahren, das Individuen unter kontrollierten Bedingungen zu bestimmten Handlungs- und Verhaltensweisen veranlasst Soll Rückschlüsse ermöglichen auf zugrunde liegende Merkmale oder Fertigkeiten der Person (Konstrukte) wie z.b. das Merkmal: Lebenszufriedenheit GHF 3.2.1 Grundlagen TT - Einleitung 13
Ein psychologischer Test Dieses Merkmal der Person soll in Bezug auf einen Maßstab erfasst werden, z.b. Lebenszufriedenheit in der Allgemeinbevölkerung Lebenszufriedenheit in einer Patientinnengruppe mit der gleichen Grunderkrankung (z.b. Brustkrebs) GHF 3.2.1 Grundlagen TT - Einleitung 14
Item Frage - Probe Ein psychologischer Test besteht aus einem oder mehreren Items (Aufgabe) jedes Item soll eine bestimmte Reaktion beim Probanden (zu testende Person) hervorrufen jedes Item wird als ein zur Lösung vorgelegtes Problem (Einzelprobe) verstanden, z.b. FPI-R- Item Nr. 23: Ich lebe mit mir selbst in Frieden und ohne innere Konflikte stimmt stimmt nicht GHF 3.2.1 Grundlagen TT - Einleitung 15
Skala (Konstrukt) Diese Items werden nach vorhandenen Rechenvorschriften zusammengefasst (aggregiert), es resultiert eine Skala, die das Konstrukt abbilden soll Z.B. FPI-R Skala Lebenszufriedenheit umfasst 12 Items, die nach festgelegten Vorschriften zur Skala zusammengefasst werden GHF 3.2.1 Grundlagen TT - Einleitung 16
FRAGEBOGEN Englisch: Questionnaire oder Scale, ohne deutlichen Unterschied Deutsch: Fragebogen Sammelausdruck für schriftliche Befragung in verschiedenen Bereichen Biographische, wirtschaftliche, schulische, medizinische, demoskopische Daten, etc. Bei einfachen Fragebogen kann nicht immer auf ein testtheoretisches Konzept zurückgegriffen werden Dennoch sollten auch hier die Qualitätsansprüche der Testgütekriterien Anwendung finden GHF 3.2.1 Grundlagen TT - Einleitung 17
Gliederung 1. Einleitung 2. Testgütekriterien 3. Planung und Entwicklung 4. Deskriptive Statistik 5. Klassische Testtheorie 6. Methoden der Reliabilitätsbestimmung 7. Validität 8. Interpretation von Testresultaten und Testeichung 9. Standards für psychologisches Testen GHF 3.2.1 Grundlagen TT - Einleitung 18
2. Testgütekriterien 2.1 Objektivität 2.2 Reliabilität 2.3 Validität 2.4 Skalierung 2.5 Normierung (Eichung) 2.6 Testökonomie 2.7 Nützlichkeit 2.8 Zumutbarkeit 2.9 Unverfälschbarkeit 2.10 Fairness GHF 3.2.1 Grundlagen TT - Einleitung 19
2. TESTGÜTEKRITERIEN Welche Gütekriterien muss ein Test erfüllen, um wissenschaftlichen Ansprüchen zu genügen? Wir lernen die Begriffe Objektivität, Reliabilität, Validität, Skalierung, Normierung (Eichung), Testökonomie, Nützlichkeit, Zumutbarkeit, Unverfälschbarkeit und Fairness kennen. GHF 3.2.1 Grundlagen TT - Einleitung 20
3. Planung und Entwicklung 3.1 Testplanung 3.2 Konstruktionsstrategien 3.3 Aufgabentypen und Antwortformate 3.4 Fehlerquellen 3.5 Itemformulierung 3.6 Vorläufige Testversion erstellen 3.7 Vorläufige Testversion erproben GHF 3.2.1 Grundlagen TT - Einleitung 21
3. PLANUNG UND ENTWICKLUNG Welche handlungsleitenden Basisüberlegungen machen wir bei der Konstruktion eines Tests? Inhaltlicher Schwerpunkt sind verschiedene Formen von Merkmals- und Testarten, von Itemtypen und Antwortformaten sowie den typischen Konstruktionsstrategien für Testitems. GHF 3.2.1 Grundlagen TT - Einleitung 22
4. Deskriptive Statistik 4.1 Einleitung 4.2 Schwierigkeitsanalyse 4.3 Itemvarianz 4.4 Trennschärfeanalyse 4.5 Itemselektion und Testrevision 4.6 Testwertermittlung 4.7 Testwertverteilung und Normalisierung 4.8 Zusammenfassung und weiteres Vorgehen GHF 3.2.1 Grundlagen TT - Einleitung 23
4. DESKRIPTIVE STATISTIK Deskriptive Evaluation eines Tests auf Itemebene: Itemschwierigkeit, Itemvarianzen, Trennschärfe Auf Basis dieser deskriptiven Ergebnisse können diejenigen Aufgaben ausgewählt werden, die für eine differenzierte Informationsbeschaffung am geeignetsten erscheinen. GHF 3.2.1 Grundlagen TT - Einleitung 24
5. Klassische Testtheorie (KTT) 5.1 Einleitung 5.2 Axiome 5.3 Wahrer Testwert 5.4 Wahre Varianz und Fehlervarianz 5.5 Reliabilität 5.6 Standardmessfehler und Konfidenzintervall 5.7 Grenzen und Schwächen der KTT GHF 3.2.1 Grundlagen TT - Einleitung 25
5. KLASSISCHE TESTTHEORIE (KTT) Grundlegende, theoretische Annahmen, die notwendig sind, um von einem beobachteten, aber nicht messfehlerfreien Testergebnis auf den dahinterliegenen wahren Wert (true score) schließen zu können GHF 3.2.1 Grundlagen TT - Einleitung 26
6. Methoden der Reliabilitätsbestimmung 6.1 Reliabilität 6.2 Retest-Reliabilität 6.3 Paralleltest-Reliabilität 6.4 Splithalf-(Testhalbierungs-) Reliabilität 6.5 Interne Konsistenz 6.6 Zusammenfassung GHF 3.2.1 Grundlagen TT - Einleitung 27
6. METHODEN DER RELIABILITÄTS- BESTIMMUNG Auf der Basis der KTT wird das Konzpet der Messgenauigkeit (Reliabilität) behandelt Dies ist eines der wichtigsten Gütekriterien von Testverfahren Verschiedene Methoden zur Ermittlung der Reliabilität werden vorgestellt GHF 3.2.1 Grundlagen TT - Einleitung 28
7. Validität 7.1 Validität 7.2 Operationale, theoretische Merkmalsdefinition 7.3 Inhaltsvalidität 7.4 Validität, theoriebasiert 7.5 Validität diagnostischer Entscheidungen 7.6 Wahl geeigneter Validierungsmethoden 7.7 Zusammenfassung GHF 3.2.1 Grundlagen TT - Einleitung 29
7. VALIDITÄT Gültigkeit eines Testverfahrens Bewertung, in welchem Ausmaß Schlussfolgerungen und Maßnahmen, die auf Basis der Testergebnisse getroffen werden, durch empirische Belege und theoretische Argumente gestützt sind GHF 3.2.1 Grundlagen TT - Einleitung 30
8. Interpretation von Testresultaten und Testeichung 8.1 Testwertbildung und -interpretation 8.2 Normorientierte Testwertinterpretation 8.3 Kriteriumsorientierte Testwertinterpretation 8.4 Integration 8.5 Normdifferenzierung 8.6 Testeichung GHF 3.2.1 Grundlagen TT - Einleitung 31
8. INTERPRETATION VON TESTRESULTATEN UND TESTEICHUNG Normorientierte Interpretation ein Testresultat kann nach erfolgreicher Testeichung im Vergleich mit den Testwerten anderer Personen (Bezugsgruppe) interpretiert werden. Kriteriumsorientierte Interpretation Vergleich des Testresultates mit einem theoriebasiert festgelegten Kriterium GHF 3.2.1 Grundlagen TT - Einleitung 32
9. Standards für psychologisches Testen 9.1 Entwicklung und Evaluation 9.2 Übersetzung und Anpassung 9.3 Anwendung 9.4 Qualitätsbeurteilung 9.5 Zusammenfassung GHF 3.2.1 Grundlagen TT - Einleitung 33
9. STANDARDS FÜR PSYCHOLOGISCHES TESTEN Nationale Qualitätsstandards DIN 33430 Anforderungen zu Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen Internationale Qualitätsstandards SEPT Standards for Educational and Psychological Testing GHF 3.2.1 Grundlagen TT - Einleitung 34
Literatur zur Testtheorie B-K Bühner, M. (2007). Einführung in die Test- und Fragebogenkonstruktion (2., aktualisierte Auflage). München: Pearson Studium. Kranz, H.T. (2001). Einführung in die klassische Testtheorie. Eschborn: Klotz. Kubinger, K.D. (2006). Psychologische Diagnostik Theorie und Praxis psychologischen Diagnostizierens. Göttingen: Hogrefe. Kubinger, K.D. & Jäger, R.S. (Hrsg.) (2003). Schlüsselbegriffe der Psychologischen Diagnostik. Weinheim: PVU. GHF 3.2.1 Grundlagen TT - Einleitung 35
Literatur zur Testtheorie L-R Lienert, G.A. & Raatz, U. (1998). Testaufbau und Testanalyse (6. Auflage). Weinheim: Beltz. Moosbrugger, H. & Kelava, A. (2007). Testtheorie und Fragebogenkonstruktion. Berlin: Springer. Mummendey, H.D. & Grau, I. (2007). Die Fragebogen-Methode (5., überarbeitete und erweiterte Auflage). Göttingen: Hogrefe. Rost, J. (2004). Lehrbuch Testtheorie / Testkonstruktion (2., überarbeitete und erweiterte Auflage). Bern: Huber. GHF 3.2.1 Grundlagen TT - Einleitung 36
Literatur zur Statistik B-R Bortz, J. (2005). Statistik: Für Human- und Sozialwissenschaftler (6. Auflage). Berlin: Springer. Bortz, J. (1999). Statistik: Für Sozialwissenschaftler (5., vollständig überarbeitete und aktualisierte Auflage). Berlin: Springer. Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation: für Human- und Sozialwissenschaftler (4., überarbeitete Auflage). Berlin: Springer. Bortz, J. & Lienert, G.A. (2008). Kurzgefasste Statistik für die klinische Forschung: Leitfaden für die verteilungsfreie Analyse kleiner Stichproben (3., aktualisierte und bearbeitete Auflage). Berlin: Springer. Rasch, D. & Kubinger, K.D. (2005). Statistik für das Psychologiestudium. Frankfurt a.m.: Spektrum Akademischer Verlag. GHF 3.2.1 Grundlagen TT - Einleitung 37
Literatur zu SPSS Bühl, A. (2008). SPSS Version 16: Einführung in die moderne Datenanalyse (11., aktualisierte Auflage). Frankfurt a.m.: Pearson Studium. Diehl, J.M. & Staufenbiel (2007). Statistik mit SPSS Version 15. Eschborn: Klotz. Janssen, J. & Laatz, W. (2007). Statistische Datenanalyse mit SPSS für Windows: Eine anwendungsorientierte Einführung in das Basissystem und das Modul Exakte Tests (6., neu bearbeitete und erweiterte Auflage). Berlin: Springer. GHF 3.2.1 Grundlagen TT - Einleitung 38