Insbesondere Selektionsdiagnostik/Eignungsdiagnostik gerät immer wieder gesellschaftspolitisch in Verruf Modifikationsdiagnostik gewinnt an Bedeutung:

Transkript

1 1.6 Modell-Diskussion Auflösung der Dialektik Insbesondere Selektionsdiagnostik/Eignungsdiagnostik gerät immer wieder gesellschaftspolitisch in Verruf Modifikationsdiagnostik gewinnt an Bedeutung: Wirtschaftspsychologie: im Rahmen der Personalentwicklung, Weiterbildung Pädagogische Psychologie: Förderungsorientierte Diagnostik : mit der Diagnose werden unmittelbar auch mögliche Fördermaßnahmen aufgezeigt Klinische Psychologie: therapiegeleitete Diagnostik Pädagogische Psychologie: Vorgehensweise erfolgen zeitlich aufeinander (z.b. Diagnostik von Sprachentwicklungsverzögerungen Förderung Evaluation ) Fazit: Statt konträre eher komplementäre Möglichkeiten der Diagnostik! # 1

2 1.6 Modelldiskussion Verschränkung IQ-Testung zu 1 MZP: nur statischer Aspekt der Intelligenz wird erfasst Lerntestkonzept von Guthke, z.b. LTS (Lerntest Schlussfolgerndes Denken von Guthke, Jäger und Schmidt 1983) Vorgehen: Test Pädagogisierungsphase Test => Lernpotenzial # 2

3 1.6 Modelldiskussion Verschränkung MFT, Mengenfolge-Test Guthke, 1983 o Beispiel für einen Kurzzeitlerntest (mit integrierter Pädagogisierungsphase, alles in 1 Sitzung) # 3

4 1.6 Modelldiskussion Verschränkung IQ-Testung zu 1 MZP: nur statischer Aspekt der Intelligenz wird erfasst Lerntestkonzept von Guthke, z.b. LTS (Lerntest Schlussfolgerndes Denken von Guthke, Jäger und Schmidt 1983) Vorgehen: Test Pädagogisierungsphase Test => Lernpotenzial Ergebnis: Lernfähigkeitstest nach dem Lerntraining (Postwert) korreliert höher mit dem prognostischen Kriterium (z.b. Schulleistung) als Statustest zu MZP 1 (=> höhere prognostische Validität) Ergebnisse weniger milieuabhängig (=> Fairness!) => Gleichzeitig Beleg für die Trainierbarkeit von Intelligenzleistungen Problem: zeitaufwendig # 4

5 Vorlesung Psychologische Diagnostik Gütekriterien # 5

6 Gütekriterien Hauptgütekriterien Lienert & Raatz 1998 Hauptgütekriterien stellen technische Testeigenschaften dar, die jeder Test erfüllen muss, um als wissenschaftliches Messinstrument dienen zu können Nebengütekriterien Nebengütekriterien stellen hingegen stärker praktisch relevante Eigenschaften dar # 6

7 Gütekriterien Hauptgütekriterien Objektivität -> Standardisierung Reliabilität -> Messpräzision Validität -> Merkmalssättigung Nebengütekriterien Normiertheit / Eichung Ökonomie Nützlichkeit # 7

8 Gütekriterien Übersicht # 8

9 Gütekriterien Weitere Gütekriterien nach dem Testkuratorium der Förderation Deutscher Psychologenvereinigungen (1986) Zumutbarkeit Unverfälschbarkeit Fairness # 9

10 Gütekriterien: Objektivität Objektivität Durchführungsobjektivität (Testleiterunabhängigkeit) Auswertungsobjektivität (Verrechnungssicherheit) Interpretationsobjektivität (Interpretationseindeutigkeit) => Grad, in dem (1) Durchführung, (2) Auswertung und (3) Interpretation eines Tests unabhängig vom Untersucher sind # 10

11 Gütekriterien: Objektivität Durchführungsobjektivität Unabhängigkeit der Testergebnisse von zufälligen/systematischen Verhaltensvariationen des Testleiters während der Testdurchführung Geringe Durchführungsobjektivität, wenn Testleiter A Testinstruktion vorliest, während Testleiter B individuelle Erklärungshilfen leistet Gewährleistung der DO: Testinstruktion (schriftlich) festlegen Standardisiertes Testmaterial, Zeit- und Durchführungsvorgaben standardisierte Untersuchungssituation, d.h. meist: die soziale Interaktion zwischen Untersucher und Proband auf ein unumgängliches Minimum reduzieren vergleichbare ergonomische Bedingungen (Raum, Zeit ) # 11

12 Durchführungsobjektivität Gütekriterien: Objektivität Drastische Versuchsleitereffekte: Halo-Effekt: sich bei der Beurteilung vom Gesamteindruck oder einer hervorstechenden Eigenschaft leiten lassen Rosenthal-Effekt: durch die manipulierte Einstellung der Lehrer gelangten zwei grundsätzlich gleiche Schülergruppen zu unterschiedlichen Leistungen Anweisung im AID: Eine Testsituation schaffen, die im Gegensatz zur Schule dem Kind Zeit, Zuwendung und optimale Entfaltungsmöglichkeiten bietet. Zu Leistung motivieren ohne Prüfungsdruck zu provozieren => Problem: Bestimmte TL werden systematisch motivierender wirken als andere! Nachteil von Individualverfahren => Computerdiagnostik, um jede Interaktion zwischen Proband und TL auszuschalten. Doch auch hier mangelnde Objektivität: Z.B. mit welchen Worten und welchem Verhalten die einweisende Hilfskraft die TP an den Computer führt # 12

13 Gütekriterien: Objektivität Auswertungsobjektivität Jeder Auswerter muss bei den selben Probanden die gleichen Punkt- oder Leistungswerte ermitteln Wie einzelne Testreaktionen auf Items zu Testwerten zu verrechnen sind, ist exakt festgelegt Geringe Auswertungsobjektivität bei Schulaufsätzen oder Projektiven Tests, z.b. Familie in Tieren (Infos werden verschieden beobachtet und ausgewertet) Gewährleistung der AO: Gebundenes Antwortformat (multiple choice Format, richtig/falsch bei Leistungstests, Ratingskalen bei Persönlichkeitstests) vorgeben, Schlüsselrichtung der Aufgabenbeantwortung festlegen, Schablonen, genaue Auswertungsinstruktion, bei offenen Items Auswertungsschlüssel # 13

14 Auswertungsobjektivität Gütekriterien: Objektivität Studie zu Auswertungsfehlern (Hebenstreit 2000): z.b. beim d2-test (Aufmerksamkeits- Belastungstest, Brickenkamp) misst Tempo und Sorgfalt des Arbeitsverhaltens bei der Unterscheidung ähnlicher visueller Reize, durchzustreichen sind alle d mit zwei Strichen) wurden nur 30 % der Tests fehlerfrei ausgewertet. Ein Großteil der Fehler passierte beim Auflegen der Schablone und dem Auszählen der Markierungen => Konsequenz für die Praxis: der computerisierten Auswertung sofern möglich, den Vorzug geben! # 14

15 Gütekriterien: Objektivität Interpretationsobjektivität Jeder Auswerter sollte zur gleichen Beurteilung oder Interpretation der individuellen Testergebnisse kommen (Eindeutige Zuordnung Testscore Merkmalsausprägung) Geringe Interpretationsobjektivität z.b. bei Projektiven Tests Gewährleistung der DO: => Normierung (Normtabellen, Bezug zur Population) vorgeben, auf der Testleitung eingeordnet werden kann z.b. PR 95 bedeutet: nur 5 % der Referenzpopulation erzielen bessere Leistungen ICD 10: leichte Intelligenzminderung bei IQ von Interpretationsbeispiele und Skalendefinitionen # 15

16 Gütekriterien: Reliabilität Reliabilität: Messgenauigkeit Reliabilität als Grad der Genauigkeit, mit der Test etwas misst, unabhängig davon, ob er dieses Merkmal auch wirklich misst D.h.: Präzision / Zuverlässigkeit der Messung Analogie: Reliabilität ist wie die Engmaschigkeit eines Fischernetzes: Je enger, desto mehr Fische werden gefangen. Ob der Fischer allerdings mit dem Netz die richtigen Fische fängt (Validität!), hat nichts mit der Engmaschigkeit zu tun: Es hängt davon ab, ob er im richtigen Gebiet fischt Unterschiedliche Zugangsweisen zur Bestimmung der Reliabilität. Die Reliabilität gibt es nicht! # 16

17 Gütekriterien: Reliabilität Reliabilitäts-Arten Retest-Reliabilität: Testwiederholung Paralleltest Test-Halbierung Interne Konsistenz / Cronbach s Alpha # 17

18 Gütekriterien: Reliabilität Testwiederholungs-Reliabilität (Stabilitätskonzept) r tt den gleichen Test noch einmal an die gleiche Stichprobe geben und Testwerte korrelieren Problem: Erinnerungs- / Übungseffekte führen zu einer Überschätzung der Reliabilität wahre Merkmalsveränderungen führen zu einer Unterschätzung der Reliabilität geeignet für speed-tests mit wenig Übungsgewinn, z.b. d2 Brickenkamp (Aufmerksamkeits-Belastungstest) # 18

19 Paralleltest-Reliabilität Gütekriterien: Reliabilität (Item-Sampling-Konzept) Vorgabe zweier Tests mit parallelen Items an die gleiche Stichprobe und Korrelation der Testscores Vorteil: keine Erinnerungseffekte, bei kurzem Zeitintervall wenig wahre Merkmalsveränderung Problem: Paralleltests sind schwer zu konstruieren (Einmaligkeitscharakter der Items) # 19

20 Gütekriterien: Reliabilität Testhalbierung Split-half-Reliabilität : Ein Test ist zu sich selbst parallel Unterschiedliche Methoden der Halbierung z.b. nach Zufall oder nach der odd-even -Methode: Je eine Testhälfte besteht aus geradzahlig und ungeradzahlig nummerierten Items 1. Hälfte (odd): Hälfte (even): Korreliert man lediglich die Hälften eines Test, dann bekommt man auch nur eine Schätzung für die Reliabilität einer Testhälfte => Die Korrelation muss daher aufgewertet werden (Spearman & Brown Formel, Testlänge als Korrekturfaktor) # 20

21 Interne Konsistenz: Gütekriterien: Reliabilität Prinzip: Test in so viele Testteile zerlegen wie er Items hat. Jedes Item ist wie eigener Test => mittlere Interkorrelation der Items als Maß für den Zusammenhalt der Items (allgemeiner Fall der split-half-reliabilität) Cronbach s Alpha (bei Ratingskalen) bzw. Kuder-Richardson-Formel (bei dichotomen Items) Nicht geeignet bei Speed-Tests (Bsp. d2 ), da Aufgaben dort immer sehr ähnlich (=homogen) => wäre Überschätzung Geeignet, wenn ein homogener Merkmalsbereich vorliegt, der mit verschiedenen Items gemessen wird (bsp. Extraversion) Alpha ist umso höher, je mehr Items enthalten sind, auch dann, wenn diese nur schwach positiv miteinander korrelieren. # 21

22 Validität Gütekriterien: Validität Misst der Test das, was er zu messen beansprucht? Grad der Genauigkeit, mit dem der Test das misst, was er messen soll Analogie: fange ich die richtigen Fische? 3 Arten: Inhaltsvalidität Kriteriumsvalidität Konstruktvalidität Validitätskonzepte werden nach Art der Schlussfolgerung aus dem Testergebnis unterschieden # 22

23 Gütekriterien: Validität Inhaltsvalidität Der Test erfasst das zu messende Merkmal nach Expertenmeinung tatsächlich Repräsentationsschluss: Man schließt auf ein Verhalten, das dem Testverhalten ähnlich ist (erfordert Inhaltsvalidität, z.b. Assessment Center) Kein Kennwert, sondern logische und fachliche Überlegungen # 23

24 Kriteriumsvalidität Gütekriterien: Validität Zusammenhang (Korrelation) der Testleistung mit einem oder mehreren Außenkriterien Korrelationsschluss: Man schließt auf ein Verhalten, das dem Testverhalten zwar nicht ähnlich ist, jedoch mit diesem korreliert (z.b. Vorhersage von Berufserfolg durch IQ-Test und Konzentrationstest) Vorhersagevalidität (prognostische/prädiktive Validität) Übereinstimmungsvalidität (konkurrente Validität) Probleme: Korrelation abhängig von Reliabilität des Tests, von Reliabilität des Kriteriums und vom Grad dessen, was Test und Kriterium konzeptionell gemeinsam haben (Berufserfolg setzt sich aus mehr Varianzquellen zusammen als nur aus psychometrischer Intelligenz) # 24

25 Konstruktvalidität Gütekriterien: Validität Schluss auf ein latentes, d.h. nicht direkt beobachtbares Merkmal Grad der Genauigkeit, mit dem ein Test ein latentes Merkmal misst, zu dessen Erfassung er konstruiert wurde Misst der Untertest Würfelaufgaben des IST tatsächlich das (Konstrukt!) räumliche Vorstellungsvermögen? # 25

26 Gütekriterien Konstruktvalidität A priori Formulierung konkreter Erwartungen über Zusammenhang des vorliegenden Tests mit konstruktverwandten (konvergenten) und konstruktfremden (diskriminanten) Tests Konkurrente/konvergente Validität (unterschiedliche Maße desselben Traits müssen hoch korrelieren) Diskriminante/divergente Validität (Maße für verschiedene Traits müssen niedrig korrelieren) Unterschiedliche Methoden: Berechnung von Korrelationen mit konstruktnahen bzw. -fremden Verfahren Berechnung der Zusammenhänge mittels Faktorenanalysen, faktorielle Validität # 26

27 Gütekriterien: Wechselbeziehungen Ohne Objektivität keine Reliabilität Ohne eine gewisse Reliabilität auch keine Validität Tests mit geringer Reliabilität und geringer Validität sind praktisch wertlos # 27

28 Gütekriterien: Wechselbeziehungen In der Praxis zeigt sich aber nun häufig das Problem, dass hochkonsistente Tests wenig valide gegenüber komplexen Außenkriterien sind Wie löst man das Problem angestrebter hoher interner Konsistenz und hoher Validität? Testbatterien!: Subtests (verbale vs. numerische Intelligenz) jwls. in sich homogen, Gesamttestbatterie ist valide, da sie verschiedene Aspekte des Kriteriums (z.b. Schulerfolg) abdeckt # 28

29 Familie in Tieren Brem-Gräser, 1995 (entwickelt in den 50er Jahren) Projektives Verfahren Instruktion: Du kennst doch Märchen, da werden oft Menschen in Tiere verwandelt und umgekehrt. Stelle Dir einmal vor, Deine Familie wäre eine Tierfamilie und zeichne Euch alle, natürlich auch Dich selbst, als Tiere. Nummeriere bitte die Reihenfolge, nach der Du zeichnest und schreibe unter jedes Tier, wen es darstellen und was für ein Tier es sein soll. Es kommt nicht darauf an, dass Du besonders schön zeichnest, sondern nur darauf, was Du darstellen willst." Gütekriterien: Null-Objektivität, Null-Reliabilität und Null-Validität geeignet, um mit dem Kind in einen guten Kontakt und in ein Gespräch über seine Familiensituation zu kommen # 29

30 Andreas Familie in Tieren # 30

31 Gütekriterien Nebengütekriterien: Normiertheit Ökonomie Nützlichkeit Vergleichbarkeit Weitere Gütekriterien Zumutbarkeit Unverfälschbarkeit Fairness # 31

32 Gütekriterien Qualitätsstandards (DIN 33430) Kriterienkatalog zur Beurteilung psychologischer Tests Anforderungen an Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen Was unter den Gütekriterien zu verstehen ist Welche Anforderungen an Verfahren zu stellen sind z.b.: Testnormen sollen nicht älter als acht Jahre sein # 32

33 Gütekriterien Eichung: Bezugssystem, um ein individuelles Testergebnis einordnen und inhaltlich interpretieren zu können Der geeichte Testwert für eine TP ist mit Hilfe entsprechender Eichtabellen im Manual nachzuschlagen: Jedem möglichen Testwert (Rohwert) ist dort der geeichte Wert zugeordnet Eichtabellen dürfen nicht veraltet sein (z.b. steigt der IQ- Durchschnittswert beim gleichen Test innerhalb von 20 Jahren um 25 Punkte!) => DIN 33430: Die Angemessenheit der Eichtabellen ist spätestens alle 8 Jahre zu prüfen Die Population, für die die Eichtabellen gelten, ist definiert Die für die Erstellung der Eichtabellen herangezogene STP ist repräsentativ (Ziehung einer Zufallsstichprobe organisatorisch aufwendig!) # 33

34 Gütekriterien Eichung: Gesamtnormen (Normenbildung über alle Untergruppen wie Alter, Geschlecht etc. hinweg) Gruppennormen (Normbildung getrennt für Geschlecht, Altersgruppe, Schultyp etc.) # 34

35 Normwerte-Verteilung Sten-Werte: 5,5 / 2) # 35

36 Gütekriterien Nebengütekriterien: Ökonomie Kurze Durchführungszeit, wenig Material, einfach zu handhaben, als Gruppentest durchführbar, schnell und bequem auszuwerten (d.h. die Kosten der Untersuchung relativ zum Informationsgewinn) # 36

37 Gütekriterien Ökonomie: Unökonomisch: einer TP für sie wesentlich zu leichte bzw. zu schwierige Aufgaben vorzugeben! HAWIK: die weitere Vorgabe eines Untertests wird abgebrochen, wenn eine bestimmte Anzahl unmittelbar aufeinander folgender Aufgaben nicht gelöst wurde => Adaptives Testen: nur die Aufgaben vorgeben, die der individuellen Fähigkeit angemessen sind, d.h. die Aufgabenauswahl muss dem individuellen Leistungsvermögen angepasst sein => bei gleicher Testlänge ist eine wesentlich größere Messgenauigkeit zu erreichen: ein halb so langer adaptiver Test reicht aus, um ebenso genau wie mit einem konventionellen Test zu messen Adaptive Tests messen nicht nur im mittleren Fähigkeitsbereich genau, sondern auch in den extremen Fähigkeitsbereichen # 37

38 Gütekriterien Beispiel für adaptives Testen ( branched testing ): AID 2, Adaptives Intelligenz Diagnostikum, Kubinger Alterstufe gibt Startgruppe vor; in Abhängigkeit von Anzahl gelöster Aufgaben Verzweigung zu einfacherer, schwieriger oder gleich schwerer Aufgabengruppe # 38