Modul 6. Zusammenfassung der PV-Folien. Sommersemester 2010

Transkript

1 Modul 6 Zusammenfassung der PV-Folien Sommersemester 2010 Die Kapitel 3.2, 4.1, 4.2, 5.2 wurden bei der Veranstaltung nicht wiederholt, weil es dazu separate Vorlesungen gibt Beabea-Blog 2010

2 Modul 6 F1 Kapitel 1: Einführung in die Testkonstruktion Kapitel 1: Arten von Testverfahren Definition psychologischer Test: Wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung Unterscheidung nach Inhalt, Testungsstrategie und formalen Kriterien Inhalt: Leistungstests Psychometrische Persönlichkeitstests Persönlichkeitsentfaltungsverfahren Testungsstrategie: Konstruktorientierte Tests Kriterienorientierte Tests Formale Kriterien: Speed vs. Power (betrifft Leistungstests) Ein- vs. mehrdimensional Sonstiges: Gruppe vs. Einzel, PP vs. PC-gestützt etc. Kapitel 1: Klassische Testtheorie Axiome der KTT: X = T + E Der beobachtete Wert X setzt sich zusammen aus dem wahren Wert T und einem Messfehler E M (E) = 0 Der Mittelwert M des Messfehlers E ist 0 r (E, T) = 0 Es besteht kein Zusammenhang zwischen dem Messfehler und dem wahren Wert r (E, E ) = 0 Die Messfehler verschiedener Tests sind unkorreliert r (E, T ) = 0 Die Messfehler eines Tests A weisen keinen Zusammenhang mit dem wahren Wert eines Tests B auf

3 Modul 6 F2 Kapitel 1: Klassische Testtheorie Gütekriterien und KTT: Kapitel 1: Klassische Testtheorie Kapitel 2: Von der Planung zum Entwurf Kapitel 2: Merkmals- und Geltungsbereich Validität ist nicht explizit Bestandteil der KTT! Grenzen der KTT: Stimmen die Axiome? Starre Annahmen: zeitliche Stabilität von T und E; Reliabilität über den ganzen Messbereich gleich Bias von wahrem Wert nicht getrennt Eindimensionalität, Intervallskalenniveau ungeprüft vorausgesetzt (vgl. PTT) Stichprobenabhängigkeit der Kennwerte Konstruktionsschritte bis zum Erstentwurf: Abgrenzung Merkmals -und Geltungsbereich Festlegung Konstruktionsprinzip Itemgenerierung Genaue Formulierung Itemstamm Antwortformat Merkmalsbereich: Was? = Konstrukt Geltungsbereich: Wo? = Kontext Bei wem? = Population Wofür? = Zweck

4 Modul 6 F3 Kapitel 2: Konstruktionsprinzipien Rational (deduktiv) Konstruktdefinition: Ziel: Theoretische Ableitung von Items konstruktvalide, gut interpretierbare Messung External (empirisch) Kriteriumsdefinition: Ziel: Empirische Selektion von Items Kriteriumsvalidität Internal (induktiv) Grober Merkmalsbereich: Empirische Zuordnung von Items Ziel: interpretierbare Binnenstruktur, homogene Subskalen Typologisierend (nicht Prototypen) Mehrere Merkmale: Zuordnung von Personen Ziel: Klassifikation von Personen Kapitel 2: Itemgenerierung Hilfsmittel zur Itemgenerierung (auch Merkmalsbereich) Eigene Intuition, ergänzend Rational: Arbeitsdefinition, Facettentheorie als Basis External: Literaturrecherche als Basis Regelsystem Act Frequency Approach (AFA) Critical Incident Technique (CIT) und andere mehr

5 Modul 6 F4 Kapitel 2: Formulierung des Itemstamms Formulierungsregeln Meide (auch versteckte) doppelte Verneinungen. Meide Ausdrücke, die nicht von allen Teilnehmern verstanden werden. Drücke den Sachverhalt so kurz wie möglich und so lang wie nötig aus. Lege jedem Item nur einen sachlichen Gedanken zugrunde. Vermeide starke Verallgemeinerungen. Verwende nur eindeutige zeitliche und situative Bezüge. Meide (unnötig) suggestive und wertende Formulierungen. Meide Gemeinplätze. Angleitner et al. (1986) berichten eine Studie, in der knapp 1000 Items aus verbreiteten Persönlichkeitsinventaren von einer Gruppe von Studierenden der Psychologie eingeschätzt wurde. Die Mehrheit der Beurteiler befand über die Hälfte der Items als nicht unmittelbar verständlich und mehr als ein Viertel als mehrdeutig. (Zitat Studienbrief, wurde in der Klausur im WS 09/10 abgefragt!!!) Kapitel 2: Formulierung des Antwortformats Aufgaben mit freiem Antwortformat Kurzaufsatzaufgaben Ergänzungsaufgaben Aufgaben mit gebundenem Antwortformat Ordnungsaufgaben: Zuordnungsaufgaben, Umordnungsaufgaben Auswahlaufgaben: Dichotome Aufgaben, Mehrfachwahlaufgaben Beurteilungsaufgaben: Analogskala-Aufgaben, Ratingskala-Aufgaben frei vs. geschlossen freies Format bei explorativem Vorgehen, aber: schlecht eingrenzbare Lösungen Probleme des freien Formats: keine Standardisierung daher unreliabel, außerdem: unökonomisch auszuwerten

6 Modul 6 F5 Kapitel 2: Aufgaben mit gebundenem Antwortformat Ratingskalen: Gestaltungselemente von Ratingskalen: Zahl der Abstufungen (gerade / ungerade, Anzahl) Verankerung (Art, Polarität, jede Stufe oder nur die Pole?) Probleme: Anfälligkeit für Antworttendenzen (gilt auch für andere Formate) Metrisches Skalenniveau bestenfalls angenähert (bei anderen Formaten aber tw. noch geringeres Skalenniveau) Auswahlaufgaben: Dichotomes Format: Hohe Ratewahrscheinlichkeit, geringe Differenzierung Multiple Choice in Leistungstests: Zahl und Qualität der Distraktoren ist entscheidend Forced Choice in Persönlichkeitstests: Vor allem zur Verminderung der Erwünschtheitstendenz Erfolg kontrovers diskutiert; psychometrische Probleme bei ipsativer Messung

7 Modul 6 F6 Itemanalyse Schritte einer Itemanalyse nach der KTT 1. Rekodierung 2. Deskriptive Itemanalyse: Itemschwierigkeiten 3. Analyse der Itemzusammenhänge: Trennschärfe, MIC (mittlere Inter-Item-Korrelation), interne Konsistenz Deskriptive Itemanalyse Analyse der Itemschwierigkeit Beschreibung der univariaten Verteilungseigenschaften zentrale Tendenz, Streuung, Ausreißer, Form der Verteilung In SPSS unter: ANALYSIEREN DESKRIPTIVE STATISTIKEN sind die Daten univariat normalverteilt? Histogramme mit Normalverteilungskurve oder Kolmogorov-Smirnov-Test Itemschwierigkeit P = (NR / N) * 100 NR= Anzahl Probanden, mit richtiger Antwort N = Anzahl aller Probanden je höher der Schwierigkeitsindex ausfällt, desto leichter ist das Item. bei Leistungstests: gibt an, wie viele Personen das Item in der Stichprobe richtig gelöst haben. bei Persönlichkeitsfragebogen: gibt an, wie viele Personen einer Aussage im Sinne des Kriteriums zugestimmt haben. Bedeutung der Itemschwierigkeit Man möchte mit einem Test grundsätzlich Personen mit hoher Ausprägung eines Merkmals von solchen mit geringer Ausprägung unterscheiden Ein Item, das entweder niemand oder alle Probanden richtig lösen, enthält keinerlei empirische Information und ist damit wertlos! Der Zusammenhang zwischen Itemschwierigkeit und Informationshaltigkeit eines Items ist umgekehrt u-förmig mit dem Maximum in der Mitte

8 Modul 6 F7 Analyse der Itemschwierigkeit Schwierigkeitsindex bei Leistungstests Zufallskorrektur bei Mehrfachwahlformat Berücksichtigt die Ratewahrscheinlichkeit NF = Anzahl der Personen mit falscher Lösung m = Anzahl der Wahlmöglichkeiten Inangriffnahmekorrektur bei Zeitbegrenzung Statt N (Anzahl aller Personen der Stichprobe) steht im Nenner NB (Anzahl der Personen, die das Item wirklich bearbeitet haben) Trennschärfeanalyse Schwierigkeitsindex bei Ratingskalen Voraussetzung für die sinnvolle Berechnung: Das theoretische Minimum muss Null sein. Transformation nötig? (bezieht sich auf Skalen, die z.b. von -2 bis +2 formatiert sind) Zur Berechnung wird hier nun der (transformierte) Mittelwert eines Items herangezogen. Er ersetzt NR. Der Mittelwert wird dann zum theoretisch erreichbaren Maximalwert des Items (statt N) in Bezug gesetzt. Definition: Die Trennschärfe stellt die korrigierte Korrelation eines Items mit dem Gesamtwert der Skala dar, zu der es gehört. (Eigentrennschärfe) Sie gibt damit an, wie gut ein einzelnes Item die Differenzierung von Personen durch die Gesamtskala widerspiegelt oder anders gesagt, wie prototypisch das Item für die Skala ist. Die Trennschärfeanalyse ersetzt keine Validitätsprüfung!

9 Modul 6 F8 Trennschärfeanalyse Part-whole-Korrektur Die Korrelation eines Items mit dem Skalenwert seiner Skala wird nach oben verzerrt, wenn in die Berechnung des Skalenwerts auch das fragliche Item mit eingeht. Diese partielle Eigenkorrelation wirkt sich um so stärker aus, je kürzer eine Skala ist. Der Item-Score wird darum jeweils von seinem Test-Score abgezogen. Der so korrigierte Test- Score wird anschließend mit dem Item korreliert. Trennschärfeanalyse Trennschärfeanalyse SPSS erkennt, welche Korrelation je nach Antwortformat zur Anwendung kommen muss Produkt-Moment-Korrelation bei Ratingskalen Punktbiseriale Korrelation bei dichotomen Items MIC und interne Konsistenz (Cornbach s Alpha) MIC steht für die mittlere Inter-Item-Korrelation Sie ist ein grobes Maß für die Homogenität einer Skala. Je höher die Korrelation ausfällt und je dichter die minimale und die maximale Korrelation zwischen 2 Items beieinander liegen, desto homogener ist die Skala. Cronbach s Alpha ist die eigentliche Angabe zur Reliabilität. Hier zeigt sich, dass homogene Skalen auch zu einer höheren internen Konsistenz befähigen, aber sie nicht zwingend begründen. Fremdtrennschärfe = Die Korrelation von Items mit den Summenwerten fremder Skalen, zu denen das Item nicht gehört In diesem Fall ist keine Part-whole-Korrektur nötig Kann Hinweise darauf geben, ob ein Item überhaupt genuin zur Skala gehört, in die es inhaltlich eingeordnet wurde. Zentraler Indikator für externale Skalenkonstruktion

10 Modul 6 F9 Trennschärfeanalyse Schwierigkeitsindex und Trennschärfe Ein Item mit einer Schwierigkeit um 50 ermöglicht hohe Trennschärfen, verbürgt sie aber nicht. Itemschwierigkeit und Trennschärfe stehen also in einem umgekehrt U-förmigen Zusammenhang. Um auch in extremen Merkmalsbereichen zwischen Personen differenzieren zu können, wählt man aber in der Regel auch leichtere und schwerere Items aus (auf Kosten der Homogenität der Skala) Weitere Zusammenhänge zwischen Kennwerten Itemselektion Mittelschwere Items weisen in der Regel die größte Varianz auf. Bei mehrstufigen Skalen kann die Varianz auch bei gleichem P zwischen Items variieren. Je größer die Itemvarianz ist, desto eindeutiger differenziert ein Item zwischen Personen. Ein schweres (leichtes) Item besitzt häufig auch eine linksschiefe (rechtsschiefe) Verteilung und eine eingeschränkte Varianz. In einer Skala mit vielen Items sehr unterschiedlicher Schwierigkeit können Trennschärfe, Homogenität, Reliabilität und Validität eingeschränkt sein. Entscheidung darüber, welche Items in eine Skala aufgenommen werden Indikatoren müssen simultan betrachtet werden Korrelative Indizes sind relativ bedeutsamer als univariate Die ermittelten Kennwerte sind stichprobenabhängig! Je nach Zielsetzung gibt es unterschiedliche Strategien für die Itemselektion z.b. bei homogenen vs. heterogenen Außenkriterien; externaler vs. internaler Konstruktion

11 Modul 6 F10 Kapitel 5.1: Richtlinien und Beurteilungssysteme für Tests Beurteilungssysteme = Grundlage der Bewertung einzelner Tests (insbes. Rezensionen, z.b. COTAN) Richtlinien = Standards für Entwickler und Anwender Ethische Verhaltensrichtlinien: z.b. BDP-Berufsordnung) Qualitätsrichtlinien z.b. DIN Qualifikation der Anwender (Auftragnehmerlizenzierung) Beurteilungskriterien für Tests (Gütekriterien): **Grundlage des Beurteilungssystems TBS-TK **KEINE Testzertifizierung möglich Kapitel 5.3: Nichtpsychometrische Gütekriterien Kosten-Nutzen-Relation Kosten = Ökonomie: Zeit, Geld, Qualifikation der Anwender Nutzen = Entscheidungstheoretisch (Taylor & Russell, 1939) Monetär: Finanzieller Nutzen abzgl. Kosten Erfordert Umrechnung psychologischer Größen (z.b. Berufsleistung) in Geldeinheiten hat sich in der Praxis nicht durchgesetzt Kapitel 5.3: Nichtpsychometrische Gütekriterien Rechte der Teilnehmer Rechtliche Grundlagen: u.a. GG, BetrVG, AGG, Richterrecht Fairness: Meidung der Benachteiligung aufgrund irrelevanter Kriterien AGG: Liste irrelevanter Kriterien (Rasse, ethnische Herkunft, Geschlecht, Religion, Weltanschauung, Behinderung, Alter, sexuelle Identität) Berufsethischer Grundsatz: informed consent

12 Modul 6 F11 Kapitel 5.3: Nichtpsychometrische Gütekriterien Zumutbarkeit Meidung der zeitlichen, psychischen oder körperlichen Überbeanspruchung (DIN 33430) Akzeptanz ( = weitergefasst als Zumutbarkeit = alle subjektiven TN-Bewertungen) Regeln prozeduraler Gerechtigkeit Praktisch bedeutsam: Augenscheinvalidität, Information, Interaktion, auch Gewöhnung Tests in der Regel relativ neutral bewertet Unverfälschbarkeit Ausmaß, in dem ein Test gegen Selbstdarstellung der TN immun ist Bewusste (Faking) und unbewusste Verfälschung Kontrolle durch Undurchschaubarkeit, Einflussnahme oder Messung und nachträgliche Korrektur Kaum eine Methode verbessert nachweislich die Validität Kaum ein wirklich immunes Verfahren (z.b. faking bad auch bei Leistungstests möglich) Effekte der Selbstdarstellung sind möglicherweise nicht nur negativ Kapitel 5.4: Gütekriterien der Einzelfalldiagnostik Normierung: gängige Normen

13 Modul 6 F12 Kapitel 5.4: Gütekriterien der Einzelfalldiagnostik Normierung: Anforderungen Stichprobengröße (abhängig vom Einsatzzweck) Repräsentativität für die Population Kontext der Erhebung (sollte Einsatzzweck entsprechen) Aktualität (nach DIN alle 8 Jahre zu prüfen) Kapitel 5.4: Gütekriterien der Einzelfalldiagnostik Messgenauigkeit beruht auf der Reliabilität im Sinne der KTT Beispiele für Fragestellungen: Unterscheidet sich der von einer allgemeinen Norm (z.b. dem Mittelwert der Population)? Unterscheiden sich die Werte zweier Personen (z.b. konkurrierender Bewerber) im selben Test voneinander? Unterscheiden sich die Werte derselben Person in zwei Tests voneinander (z.b. IQc von IQf)? Äquivalenzhypothese ( Standardmessfehler) Regressionshypothese ( Schätzung des wahren Werts und Standardschätzfehler) weniger extremer Testwert schmaleres Konfidenzintervall

14 Modul 6 F13 Kapitel 5.4: Gütekriterien der Einzelfalldiagnostik Messgenauigkeit Kritische Differenzen