Grundlagen empirischer Forschung 3. LV. Gütekriterien von Erhebungsverfahren, Tests. Studieren für die berufliche Praxis.

Transkript

1 Grundlagen empirischer Forschung 3. LV Gütekriterien von Erhebungsverfahren, Tests Schultz-Zehden Folie 1

2 Auswahl von Erhebungsverfahren Nach welchen Kriterien gehe ich vor, wenn ich mich für ein oder mehrere Untersuchungsverfahren entscheiden muss? Schultz-Zehden Folie 2

3 Welches Verfahren wählen Sie bspw. für die Blutdruckmessung? und warum? Schultz-Zehden Folie 3

4 Welches Verfahren wählen Sie? bbw Hochschule... ist genauer... habe ich mehr Einfluss darauf... ist billiger... ist viel genauer... habe ich weniger Einfluss darauf... kann ich selber anwenden Schultz-Zehden Folie 4

5 Untersuchungskriterien Mit Untersuchungskriterien sind Gütekriterien gemeint, die jede Messung erfüllen muss. Die Gütekriterien müssen dabei prinzipiell für jedes Datenerhebungsverfahren (z.b. Fragebogen, Testverfahren, Interview) gefordert werden. Zu den Hauptgütekriterien zählen: - Objektivität - Reliabilität - Validität Schultz-Zehden Folie 5

6 Objektivität bbw Hochschule Ein Messverfahren ist dann objektiv, wenn die Messwerte unabhängig vom Untersucher und Auswerter sind. Es wird unterschieden zwischen Durchführungsobjektivität oder Erhebungsobjektivität Auswertungsobjektivität Interpretationsobjektivität Schultz-Zehden Folie 6

7 Durchführungsobjektivität Ein Messverfahren ist umso objektiver, je weniger der Durchführende das Ergebnis durch Instruktion, Interaktion, Erwartungen, Stellungnahmen usw. beeinflussen kann, d.h., je unabhängiger das Ergebnis vom Durchführenden ist. Einheitliche Testanweisung (Instruktion)? Schultz-Zehden Folie 7

8 Auswertungsobjektivität Ein Messverfahren ist umso objektiver, je weniger Spielraum/Freiheitsgrade der Auswerter bei der Auszählung bzw. Bestimmung der Testergebnisse hat. genaue Auswertungsanweisungen, Auswertungsschablonen, Auswertungssoftware Schultz-Zehden Folie 8

9 Interpretationsobjektivität bbw Hochschule Ein Messverfahren ist umso objektiver, je weniger Spielraum der Interpretierende hat, aus den gleichen Auswertungsergebnissen unterschiedliche Schlüsse zu ziehen. Wenn wissenschaftlich abgesicherte Hinweise zur Interpretation der Ergebnisse vorliegen! Schultz-Zehden Folie 9

10 Übung: Einheitliche Testanweisung (Instruktion) Zeichen-Übung Benton Test 3 VL, Sensibilisierung für die Durchführungsobjektivität! Schultz-Zehden Folie 10

11 Beispiel: Rorschach Test Projektives Testverfahren bbw Hochschule Was sehen Sie? Schultz-Zehden Folie 11

12 Beispiel: Rorschach Test Projektives Testverfahren bbw Hochschule Was sehen Sie? Schultz-Zehden Folie 12

13 Beispiel: Rorschach Test Projektives Testverfahren bbw Hochschule Was sehen Sie? Schultz-Zehden Folie 13

14 Die zehn Tafeln Schultz-Zehden Folie 14

15 Der Rorschach-Test Die Deutung von Klecksographien (Faltbilder) war schon im 19. Jahrhundert üblich. Der Rorschachtest wurde 1921 veröffentlicht, nachdem zuvor andere Versuche, aus Faltbildern Schlüsse auf die Persönlichkeit zu ziehen, gescheitert waren. Rorschach kam nach Entwicklung seines Formdeuteverfahrens in Kontakt mit der Psychoanalyse Sigmund Freuds, der die Rolle des Unbewussten erforschte. In den 1930er und 1940er Jahren fand der Test in Europa und in den USA weite Verbreitung Schultz-Zehden Folie 15

16 Methodik Der Test besteht aus zehn Tafeln mit speziell aufbereiteten Tintenklecksmustern. Es gibt weltweit fast ein Dutzend Parallelserien, von denen die meisten nicht frei im Handel erhältlich sind. Die sie anwendenden Psychologen legen Wert darauf, dass die Bilder nicht öffentlich gezeigt werden, damit eine Beeinflussung des Tests durch Vorwegnahmen vermieden wird. Die Tafeln werden in einer festgelegten Reihenfolge gezeigt, mit dem Hinweis, dass die Tafeln beliebig gedreht werden können, und die Testperson wird gefragt: Was könnte das sein? Dabei weist der Psychologe darauf hin, dass es keine richtigen oder falschen Antworten gebe. Während die Testperson die Tafeln betrachtet, notiert er Äußerungen, die Handhabung (Drehungen) der Karte sowie Reaktionszeiten Schultz-Zehden Folie 16

17 Auswertung Die Auswertung bezieht sich auf fünf Hauptaspekte: die Lokalisierung, welche Teile der Tafeln die Person deutet, die Determinanten, auf welche Aspekte (Form, Farbe, Schattierung, Bewegung, Zwischenfiguren) der Tafel sich die Antwort bezieht. die Inhalte, also was auf den Tafeln wahrgenommen wird. die Häufigkeit, mit der Antworten bei vielen Testpersonen vorkommen (Originalität, Banalität) die besonderen Phänomene, also die über die reinen Deutungen hinaus beobachtbaren Phänomene wie Verzögerungen, Antwort- und Reaktionszeiten etc Schultz-Zehden Folie 17

18 Auswertung - Beispiele bbw Hochschule Bei der Lokalisierung G (Ganzantwort), D (Detailantwort), Dd (besonders kleines oder ungewöhnlich abgegrenztes Detail), DZw (Zwischenfigur), usw. Bei den Determinanten F+ ( gute, erkennbare, nachvollziehbare Form eine Vase mit zwei Henkeln ), F- ( schlechte, d. h. unbestimmte, diffuse, nicht nachvollziehbare Deutung irgendein Tier ), B+ (Bewegungsdeutung zwei kämpfende Samurai ), Fb (reine Farbdeutung Blut, Wasser ), usw. Bei den Inhalten Tiere, Tierdetails (z. B. Köpfe, Pfoten), Menschen, Menschdetails, Szenen, Gegenstände, Landkarten, Gebäude, Pflanzen, usw. Bei den Häufigkeiten Vulgärantworten (naheliegende Deutungen, die oft gegeben werden), Originalantworten (seltene Antworten, die nur etwa einer von hundert deutet). Bereits die Signierung setzt viel Fachwissen und eine präzise, objektive Arbeitsweise voraus Schultz-Zehden Folie 18

19 bbw Auswertungsblatt Hochschule Rorschach Test Der Versuch, Auswertungsobjektivität herzustellen Schultz-Zehden Folie 19

20 Auswertungsblatt Rorschach Test Schultz-Zehden Folie 20

21 Objektivität, Reliabilität, Validität? Ein vergleichbares Verfahren ist die Holtzman-Inkblot-Technik (HIT), die mit einer größeren Anzahl an Tafeln arbeitet (eine deutschsprachige Einführung von Hartmann & von Rosenstiel 1977) und auch ein im Sinne der Auswertungsobjektivität standardisierteres Signierungssystem als der erfahrungsgebundene Rorschach-Test verwendet. Der Rorschach-Test ist aus verschiedenen Gründen umstritten, denn die Interpretationsmethoden sind subjektiv und liefern im besten Fall Hinweise auf Apekte der Persönlichkeit. Kritik: Reliabilität und Validität sind weitgehend ungeklärt! Schultz-Zehden Folie 21

22 Reliabilität (Zuverlässigkeit) Die Reliabilität gibt den Grad der Genauigkeit an, mit dem ein Messverfahren Unterschiede zwischen verschiedenen Objekten oder Personen abbildet. Ein Test ist z.b. dann reliabel, wenn eine wiederholte Messung unter denselben Bedingungen zum gleichen Testergebnis führt. Zuverlässiges, stabiles Messen, Maß der Reproduzierbarkeit Schultz-Zehden Folie 22

23 Überprüfung der Reliabilität 1. Split-Half-Methode - die Testhalbierungsmethode: Die sogenannte Split-Half-Reliabilität lässt sich prüfen, indem man einen Test (oder Fragebogen) einer Stichprobe darbietet, und ihn anschließend in zwei Testhälften teilt, eine Korrelation der beiden Hälften vornimmt und die Frage prüft: messen alle Indikatoren das gleiche? 2. Test-Retest-Verfahren Wiederholungsmessung (Problem bei reaktiven Verfahren, Erinnerungseffekten, Zeitänderungseffekten, Trainingseffekten) Schultz-Zehden Folie 23

24 Überprüfung der Reliabilität bbw Hochschule Sowohl beim Retest als auch bei der Testhalbierungs-methode liegen zwei Messwertreihen vor. Die Reliabilität kann nun über einen Korrelationskoeffizienten, also ein Zusammenhangsmaß zwischen zwei Testzeitpunkten (Retest-Reliabilität) oder zwei Testhälften (Split-Half- Reliabilität) geschätzt werden. 3. Konsistenz-Homogenitätstest: Korrelation zwischen allen Indikatoren 4. Parallel-Test-Methode: mit zwei Meßinstrumenten (testet, ob beide Meßinstrumente das gleiche messen) Schultz-Zehden Folie 24

25 Zusammenfassung Die Reliabilität zeigt an, wie genau ein Messverfahren das misst, was es misst, unabhängig davon, ob es das misst, was es messen soll!! Zuverlässiges, stabiles Messen, Maß der Reproduzierbarkeit Schultz-Zehden Folie 25

26 Validität Ein Messverfahren ist valide (gültig), wenn die damit erhobenen Messwerte einen unmittelbaren und fehlerfreien Rückschluss auf den Ausprägungsgrad des zu erfassenden Merkmals zulassen, d.h. wenn es das Merkmal, das es messen soll, auch tatsächlich misst. Es wird unterschieden zwischen Inhaltsvalidität / Augenschein-Validität (face validity) Vorhersagevalidität Kriteriumsvalidität Konstruktvalidität Schultz-Zehden Folie 26

27 Inhaltsvalidität / Augenschein-Validität bbw Hochschule Ein Test ist dann augenschein- oder inhaltsvalide, wenn die Items, aus denen er besteht, den erfassten Merkmalsbereich inhaltlich repräsentieren. Inhaltsvalide Tests erscheinen auch dem Laien valide. Man bezeichnet dies als face validity, als offensichtliche Validität. Das heißt nicht, dass der Test tatsächlich valide ist. Durch Experteneinschätzung prüfbar Schultz-Zehden Folie 27

28 Kriterienbezogene Validität bbw Hochschule Ein Test ist dann empirisch valide, wenn der Testwert mit einem Außenkriterium (das ist ein Indikator für das Merkmal, für das der Test valide sein soll) zusammenhängt. Das Problem besteht darin, ein relevantes, geeignetes Außenkriterium zu finden. Beispiel: Berufserfolg soll vorhergesagt werden. Außenkriterium = Einschätzung von Vorgesetzten Wenn ich ANGST messen wollte, was könnte ein Außenkriterium sein, an dem ich die Validität meines Tests überprüfe? Schultz-Zehden Folie 28

29 Konstruktvalidität bbw Hochschule Ein Konstrukt war definiert als ein nicht unmittelbar fassbarer Begriff, der sich auf nicht direkt Beobachtbares (wie z.b. latente Merkmale) bezieht. Bsp. Angst Schwer zu überprüfen! Schultz-Zehden Folie 29

30 Relation der Gütekriterien Schultz-Zehden Folie 30

31 Nebengütekriterien Normierung: Hierunter versteht man, dass über einen Test Angaben vorliegen sollen, die für die Einordnung des individuellen Testergebnisses als Bezugssystem dienen können. Ökonomie: Kurze Durchführungszeit, wenig Material, einfach zu handhaben, als Gruppentest durchführbar und schnell sowie bequem auswertbar Nützlichkeit (Utilität): Wenn ein Merkmal gemessen wird, für dessen Untersuchung ein praktisches Bedürfnis besteht und wenn er in seiner Funktion durch keinen oder nur wenige andere Tests vertreten werden kann Schultz-Zehden Folie 31

32 Normierung Ein Verfahren gilt dann als normiert, wenn es an einer repräsentativen Bevölkerungsstichprobe geeicht ist und für verschiedene Untergruppen Referenzdaten ermittelt sind, wie etwa Alters- und Geschlechtsnormen Schultz-Zehden Folie 32

33 Prinzip der Normierung Bei einer Standardisierung (=Eichung) wird ein Testverfahren auf alle Personen einer ausgewählten, genau beschriebenen Stichprobe in der gleichen Weise und unter vergleichbaren Bedingungen angewendet. Diese Erhebung an einer repräsentativen Stichprobe unter konstant gehaltenen Bedingungen ermöglicht die Aufstellung von Normen. Das sind statistische Vergleichsdaten, die es ermöglichen, den spezifischen individuellen Wert einer Person mit Resultaten anderer Personen einer definierten Gruppe zu vergleichen. Ein konkretes Testergebnis ist nicht aus sich heraus interpretierbar, sondern jedes Testergebnis muss in ein Bezugssystem eingeordnet werden Schultz-Zehden Folie 33

34 Beispiel für Normierung: Intelligenztest bbw Hochschule Ein IQ-Test mit 140 Fragen wird entwickelt (dichotome Antworten: richtig/falsch) Eine repräsentative Stichprobe der Bevölkerung füllt den Test aus Für die Untergruppe der jährigen Männer wird eine Häufigkeitsverteilung der richtigen Antworten erstellt Schultz-Zehden Folie 34

35 Normalverteilung Schultz-Zehden Folie 35

36 Gebräuchliche normierte Skalen Schultz-Zehden Folie 36

37 Psychologische Testverfahren Definition (*) ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung Nach Rost, J. (2004). Lehrbuch Testtheorie Testkonstruktion. Bern: Huber Schultz-Zehden Folie 37

38 Das Freiburger Persönlichkeitsinventar Das Freiburger Persönlichkeitsinventar ist ein im deutschsprachigen Raum verbreiteter standardisierter, psychologischer Persönlichkeitstest. Der Persönlichkeitsfragebogen erfasst (inventarisiert) mehrere Eigenschaften. Das FPI wird vor allem in Klinik und Forschung eingesetzt. Die erste Version erschien 1970, bestehend aus vier Bögen: FPI-G (Langfassung), FPI-A und FPI-B (parallele Halbfassungen), und FPI-K. Sie beruhten auf einer Probandenstichprobe von ca Personen erschienen die aufgrund einer bevölkerungsrepräsentativen Erhebung normierte und revidierte Fassung FPI-R. 2001, nach einer erneuten Normierung, wurden die aktuell gültigen Fassungen veröffentlicht: FPI-R (revidierte Langfassung, jetzt 138 Items) und FPI-A1 (revidierte Halbfassung A, 114 Items) Schultz-Zehden Folie 38

39 Das Freiburger Persönlichkeitsinventar Die Stichprobe umfasst 3740 Personen in den alten und den neuen Bundesländern. Die Normen sind nach Geschlechtszugehörigkeit und sieben Altersgruppen gegliedert. Die Testantworten werden entweder durch Schablonen oder computer-unterstützt (nach Dateneingabe am PC) ausgewertet. Die Skalen repräsentieren psychologische Konstrukte, die in den psychologischen Selbstbeschreibungen der Durchschnittsbevölkerung herausragen und entsprechend auch für die Beurteilung anderer Menschen wichtig sind. Quelle: Jochen Fahrenberg, Rainer Hampel, Herbert Selg: FPI-R Freiburger Persönlichkeitsinventar. 8. erweiterte Aufl. Hogrefe, Göttingen Schultz-Zehden Folie 39

40 Aufgabe: Wer zuhause Würfel hat, bringt diese für ein kleines Experiment für die nächste Veranstaltung bitte mit! Schultz-Zehden Folie 40