Grundlagen empirischer Forschung 3. LV Gütekriterien von Erhebungsverfahren, Tests 13.07.2015 Schultz-Zehden Folie 1
Auswahl von Erhebungsverfahren Nach welchen Kriterien gehe ich vor, wenn ich mich für ein oder mehrere Untersuchungsverfahren entscheiden muss? 13.07.2015 Schultz-Zehden Folie 2
Welches Verfahren wählen Sie bspw. für die Blutdruckmessung? und warum? 13.07.2015 Schultz-Zehden Folie 3
Welches Verfahren wählen Sie? bbw Hochschule... ist genauer... habe ich mehr Einfluss darauf... ist billiger... ist viel genauer... habe ich weniger Einfluss darauf... kann ich selber anwenden 13.07.2015 Schultz-Zehden Folie 4
Untersuchungskriterien Mit Untersuchungskriterien sind Gütekriterien gemeint, die jede Messung erfüllen muss. Die Gütekriterien müssen dabei prinzipiell für jedes Datenerhebungsverfahren (z.b. Fragebogen, Testverfahren, Interview) gefordert werden. Zu den Hauptgütekriterien zählen: - Objektivität - Reliabilität - Validität 13.07.2015 Schultz-Zehden Folie 5
Objektivität bbw Hochschule Ein Messverfahren ist dann objektiv, wenn die Messwerte unabhängig vom Untersucher und Auswerter sind. Es wird unterschieden zwischen Durchführungsobjektivität oder Erhebungsobjektivität Auswertungsobjektivität Interpretationsobjektivität 13.07.2015 Schultz-Zehden Folie 6
Durchführungsobjektivität Ein Messverfahren ist umso objektiver, je weniger der Durchführende das Ergebnis durch Instruktion, Interaktion, Erwartungen, Stellungnahmen usw. beeinflussen kann, d.h., je unabhängiger das Ergebnis vom Durchführenden ist. Einheitliche Testanweisung (Instruktion)? 13.07.2015 Schultz-Zehden Folie 7
Auswertungsobjektivität Ein Messverfahren ist umso objektiver, je weniger Spielraum/Freiheitsgrade der Auswerter bei der Auszählung bzw. Bestimmung der Testergebnisse hat. genaue Auswertungsanweisungen, Auswertungsschablonen, Auswertungssoftware 13.07.2015 Schultz-Zehden Folie 8
Interpretationsobjektivität bbw Hochschule Ein Messverfahren ist umso objektiver, je weniger Spielraum der Interpretierende hat, aus den gleichen Auswertungsergebnissen unterschiedliche Schlüsse zu ziehen. Wenn wissenschaftlich abgesicherte Hinweise zur Interpretation der Ergebnisse vorliegen! 13.07.2015 Schultz-Zehden Folie 9
Übung: Einheitliche Testanweisung (Instruktion) Zeichen-Übung Benton Test 3 VL, Sensibilisierung für die Durchführungsobjektivität! 13.07.2015 Schultz-Zehden Folie 10
Beispiel: Rorschach Test Projektives Testverfahren bbw Hochschule Was sehen Sie? 13.07.2015 Schultz-Zehden Folie 11
Beispiel: Rorschach Test Projektives Testverfahren bbw Hochschule Was sehen Sie? 13.07.2015 Schultz-Zehden Folie 12
Beispiel: Rorschach Test Projektives Testverfahren bbw Hochschule Was sehen Sie? 13.07.2015 Schultz-Zehden Folie 13
Die zehn Tafeln 13.07.2015 Schultz-Zehden Folie 14
Der Rorschach-Test Die Deutung von Klecksographien (Faltbilder) war schon im 19. Jahrhundert üblich. Der Rorschachtest wurde 1921 veröffentlicht, nachdem zuvor andere Versuche, aus Faltbildern Schlüsse auf die Persönlichkeit zu ziehen, gescheitert waren. Rorschach kam nach Entwicklung seines Formdeuteverfahrens in Kontakt mit der Psychoanalyse Sigmund Freuds, der die Rolle des Unbewussten erforschte. In den 1930er und 1940er Jahren fand der Test in Europa und in den USA weite Verbreitung. 13.07.2015 Schultz-Zehden Folie 15
Methodik Der Test besteht aus zehn Tafeln mit speziell aufbereiteten Tintenklecksmustern. Es gibt weltweit fast ein Dutzend Parallelserien, von denen die meisten nicht frei im Handel erhältlich sind. Die sie anwendenden Psychologen legen Wert darauf, dass die Bilder nicht öffentlich gezeigt werden, damit eine Beeinflussung des Tests durch Vorwegnahmen vermieden wird. Die Tafeln werden in einer festgelegten Reihenfolge gezeigt, mit dem Hinweis, dass die Tafeln beliebig gedreht werden können, und die Testperson wird gefragt: Was könnte das sein? Dabei weist der Psychologe darauf hin, dass es keine richtigen oder falschen Antworten gebe. Während die Testperson die Tafeln betrachtet, notiert er Äußerungen, die Handhabung (Drehungen) der Karte sowie Reaktionszeiten. 13.07.2015 Schultz-Zehden Folie 16
Auswertung Die Auswertung bezieht sich auf fünf Hauptaspekte: die Lokalisierung, welche Teile der Tafeln die Person deutet, die Determinanten, auf welche Aspekte (Form, Farbe, Schattierung, Bewegung, Zwischenfiguren) der Tafel sich die Antwort bezieht. die Inhalte, also was auf den Tafeln wahrgenommen wird. die Häufigkeit, mit der Antworten bei vielen Testpersonen vorkommen (Originalität, Banalität) die besonderen Phänomene, also die über die reinen Deutungen hinaus beobachtbaren Phänomene wie Verzögerungen, Antwort- und Reaktionszeiten etc. 13.07.2015 Schultz-Zehden Folie 17
Auswertung - Beispiele bbw Hochschule Bei der Lokalisierung G (Ganzantwort), D (Detailantwort), Dd (besonders kleines oder ungewöhnlich abgegrenztes Detail), DZw (Zwischenfigur), usw. Bei den Determinanten F+ ( gute, erkennbare, nachvollziehbare Form eine Vase mit zwei Henkeln ), F- ( schlechte, d. h. unbestimmte, diffuse, nicht nachvollziehbare Deutung irgendein Tier ), B+ (Bewegungsdeutung zwei kämpfende Samurai ), Fb (reine Farbdeutung Blut, Wasser ), usw. Bei den Inhalten Tiere, Tierdetails (z. B. Köpfe, Pfoten), Menschen, Menschdetails, Szenen, Gegenstände, Landkarten, Gebäude, Pflanzen, usw. Bei den Häufigkeiten Vulgärantworten (naheliegende Deutungen, die oft gegeben werden), Originalantworten (seltene Antworten, die nur etwa einer von hundert deutet). Bereits die Signierung setzt viel Fachwissen und eine präzise, objektive Arbeitsweise voraus. 13.07.2015 Schultz-Zehden Folie 18
bbw Auswertungsblatt Hochschule Rorschach Test Der Versuch, Auswertungsobjektivität herzustellen 13.07.2015 Schultz-Zehden Folie 19
Auswertungsblatt Rorschach Test 13.07.2015 Schultz-Zehden Folie 20
Objektivität, Reliabilität, Validität? Ein vergleichbares Verfahren ist die Holtzman-Inkblot-Technik (HIT), die mit einer größeren Anzahl an Tafeln arbeitet (eine deutschsprachige Einführung von Hartmann & von Rosenstiel 1977) und auch ein im Sinne der Auswertungsobjektivität standardisierteres Signierungssystem als der erfahrungsgebundene Rorschach-Test verwendet. Der Rorschach-Test ist aus verschiedenen Gründen umstritten, denn die Interpretationsmethoden sind subjektiv und liefern im besten Fall Hinweise auf Apekte der Persönlichkeit. Kritik: Reliabilität und Validität sind weitgehend ungeklärt! 13.07.2015 Schultz-Zehden Folie 21
Reliabilität (Zuverlässigkeit) Die Reliabilität gibt den Grad der Genauigkeit an, mit dem ein Messverfahren Unterschiede zwischen verschiedenen Objekten oder Personen abbildet. Ein Test ist z.b. dann reliabel, wenn eine wiederholte Messung unter denselben Bedingungen zum gleichen Testergebnis führt. Zuverlässiges, stabiles Messen, Maß der Reproduzierbarkeit 13.07.2015 Schultz-Zehden Folie 22
Überprüfung der Reliabilität 1. Split-Half-Methode - die Testhalbierungsmethode: Die sogenannte Split-Half-Reliabilität lässt sich prüfen, indem man einen Test (oder Fragebogen) einer Stichprobe darbietet, und ihn anschließend in zwei Testhälften teilt, eine Korrelation der beiden Hälften vornimmt und die Frage prüft: messen alle Indikatoren das gleiche? 2. Test-Retest-Verfahren Wiederholungsmessung (Problem bei reaktiven Verfahren, Erinnerungseffekten, Zeitänderungseffekten, Trainingseffekten) 13.07.2015 Schultz-Zehden Folie 23
Überprüfung der Reliabilität bbw Hochschule Sowohl beim Retest als auch bei der Testhalbierungs-methode liegen zwei Messwertreihen vor. Die Reliabilität kann nun über einen Korrelationskoeffizienten, also ein Zusammenhangsmaß zwischen zwei Testzeitpunkten (Retest-Reliabilität) oder zwei Testhälften (Split-Half- Reliabilität) geschätzt werden. 3. Konsistenz-Homogenitätstest: Korrelation zwischen allen Indikatoren 4. Parallel-Test-Methode: mit zwei Meßinstrumenten (testet, ob beide Meßinstrumente das gleiche messen) 13.07.2015 Schultz-Zehden Folie 24
Zusammenfassung Die Reliabilität zeigt an, wie genau ein Messverfahren das misst, was es misst, unabhängig davon, ob es das misst, was es messen soll!! Zuverlässiges, stabiles Messen, Maß der Reproduzierbarkeit 13.07.2015 Schultz-Zehden Folie 25
Validität Ein Messverfahren ist valide (gültig), wenn die damit erhobenen Messwerte einen unmittelbaren und fehlerfreien Rückschluss auf den Ausprägungsgrad des zu erfassenden Merkmals zulassen, d.h. wenn es das Merkmal, das es messen soll, auch tatsächlich misst. Es wird unterschieden zwischen Inhaltsvalidität / Augenschein-Validität (face validity) Vorhersagevalidität Kriteriumsvalidität Konstruktvalidität 13.07.2015 Schultz-Zehden Folie 26
Inhaltsvalidität / Augenschein-Validität bbw Hochschule Ein Test ist dann augenschein- oder inhaltsvalide, wenn die Items, aus denen er besteht, den erfassten Merkmalsbereich inhaltlich repräsentieren. Inhaltsvalide Tests erscheinen auch dem Laien valide. Man bezeichnet dies als face validity, als offensichtliche Validität. Das heißt nicht, dass der Test tatsächlich valide ist. Durch Experteneinschätzung prüfbar 13.07.2015 Schultz-Zehden Folie 27
Kriterienbezogene Validität bbw Hochschule Ein Test ist dann empirisch valide, wenn der Testwert mit einem Außenkriterium (das ist ein Indikator für das Merkmal, für das der Test valide sein soll) zusammenhängt. Das Problem besteht darin, ein relevantes, geeignetes Außenkriterium zu finden. Beispiel: Berufserfolg soll vorhergesagt werden. Außenkriterium = Einschätzung von Vorgesetzten Wenn ich ANGST messen wollte, was könnte ein Außenkriterium sein, an dem ich die Validität meines Tests überprüfe? 13.07.2015 Schultz-Zehden Folie 28
Konstruktvalidität bbw Hochschule Ein Konstrukt war definiert als ein nicht unmittelbar fassbarer Begriff, der sich auf nicht direkt Beobachtbares (wie z.b. latente Merkmale) bezieht. Bsp. Angst Schwer zu überprüfen! 13.07.2015 Schultz-Zehden Folie 29
Relation der Gütekriterien 13.07.2015 Schultz-Zehden Folie 30
Nebengütekriterien Normierung: Hierunter versteht man, dass über einen Test Angaben vorliegen sollen, die für die Einordnung des individuellen Testergebnisses als Bezugssystem dienen können. Ökonomie: Kurze Durchführungszeit, wenig Material, einfach zu handhaben, als Gruppentest durchführbar und schnell sowie bequem auswertbar Nützlichkeit (Utilität): Wenn ein Merkmal gemessen wird, für dessen Untersuchung ein praktisches Bedürfnis besteht und wenn er in seiner Funktion durch keinen oder nur wenige andere Tests vertreten werden kann 13.07.2015 Schultz-Zehden Folie 31
Normierung Ein Verfahren gilt dann als normiert, wenn es an einer repräsentativen Bevölkerungsstichprobe geeicht ist und für verschiedene Untergruppen Referenzdaten ermittelt sind, wie etwa Alters- und Geschlechtsnormen. 13.07.2015 Schultz-Zehden Folie 32
Prinzip der Normierung Bei einer Standardisierung (=Eichung) wird ein Testverfahren auf alle Personen einer ausgewählten, genau beschriebenen Stichprobe in der gleichen Weise und unter vergleichbaren Bedingungen angewendet. Diese Erhebung an einer repräsentativen Stichprobe unter konstant gehaltenen Bedingungen ermöglicht die Aufstellung von Normen. Das sind statistische Vergleichsdaten, die es ermöglichen, den spezifischen individuellen Wert einer Person mit Resultaten anderer Personen einer definierten Gruppe zu vergleichen. Ein konkretes Testergebnis ist nicht aus sich heraus interpretierbar, sondern jedes Testergebnis muss in ein Bezugssystem eingeordnet werden. 13.07.2015 Schultz-Zehden Folie 33
Beispiel für Normierung: Intelligenztest bbw Hochschule Ein IQ-Test mit 140 Fragen wird entwickelt (dichotome Antworten: richtig/falsch) Eine repräsentative Stichprobe der Bevölkerung füllt den Test aus Für die Untergruppe der 18-40 jährigen Männer wird eine Häufigkeitsverteilung der richtigen Antworten erstellt 13.07.2015 Schultz-Zehden Folie 34
Normalverteilung 13.07.2015 Schultz-Zehden Folie 35
Gebräuchliche normierte Skalen 13.07.2015 Schultz-Zehden Folie 36
Psychologische Testverfahren Definition (*) ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsausprägung Nach Rost, J. (2004). Lehrbuch Testtheorie Testkonstruktion. Bern: Huber 13.07.2015 Schultz-Zehden Folie 37
Das Freiburger Persönlichkeitsinventar Das Freiburger Persönlichkeitsinventar ist ein im deutschsprachigen Raum verbreiteter standardisierter, psychologischer Persönlichkeitstest. Der Persönlichkeitsfragebogen erfasst (inventarisiert) mehrere Eigenschaften. Das FPI wird vor allem in Klinik und Forschung eingesetzt. Die erste Version erschien 1970, bestehend aus vier Bögen: FPI-G (Langfassung), FPI-A und FPI-B (parallele Halbfassungen), und FPI-K. Sie beruhten auf einer Probandenstichprobe von ca. 2300 Personen. 1983 erschienen die aufgrund einer bevölkerungsrepräsentativen Erhebung normierte und revidierte Fassung FPI-R. 2001, nach einer erneuten Normierung, wurden die aktuell gültigen Fassungen veröffentlicht: FPI-R (revidierte Langfassung, jetzt 138 Items) und FPI-A1 (revidierte Halbfassung A, 114 Items). 13.07.2015 Schultz-Zehden Folie 38
Das Freiburger Persönlichkeitsinventar Die Stichprobe umfasst 3740 Personen in den alten und den neuen Bundesländern. Die Normen sind nach Geschlechtszugehörigkeit und sieben Altersgruppen gegliedert. Die Testantworten werden entweder durch Schablonen oder computer-unterstützt (nach Dateneingabe am PC) ausgewertet. Die Skalen repräsentieren psychologische Konstrukte, die in den psychologischen Selbstbeschreibungen der Durchschnittsbevölkerung herausragen und entsprechend auch für die Beurteilung anderer Menschen wichtig sind. Quelle: Jochen Fahrenberg, Rainer Hampel, Herbert Selg: FPI-R Freiburger Persönlichkeitsinventar. 8. erweiterte Aufl. Hogrefe, Göttingen 2010. 13.07.2015 Schultz-Zehden Folie 39
Aufgabe: Wer zuhause Würfel hat, bringt diese für ein kleines Experiment für die nächste Veranstaltung bitte mit! 13.07.2015 Schultz-Zehden Folie 40