3.1 Grundlagen psychologischer Diagnostik Beobachten und Beurteilen

Transkript

1 3.1 Grundlagen psychologischer Diagnostik Beobachten und Beurteilen Gabriele Helga Franke Prof. Dr. habil. Hochschule Magdeburg-Stendal Rehabilitationspsychologie B. Sc. November Verhaltensbeobachtung Einteilungsgesichtspunkte Stichprobenplan und Beobachtungssystem Segmentierung des Verhaltensstroms Klassifikation des Verhaltens Ratingverfahren Sequenzielle Analysen Verhaltensbeurteilung Beobachtung und Beurteilung Formen systematischer Verhaltensbeurteilung Gütekriterien Fehlerquellen Objektivität Reliabilität Validität Beitrag zu praktisch-diagnostischen Fragen

2 3.1.4 Verhaltensbeobachtung Beobachtung = ausgewählte Ereignisse für einen bestimmten Zeitraum wahrnehmen und in ihrem Ablauf verfolgen Generell wird im Rahmen diagnostischer Untersuchungen fast kontinuierlich beobachtet Betrachtet werden soll jedoch die Beobachtung als eigenständige Zugangsweise 2

3 Einteilungsgesichtspunkte Klassifikationsgesichtspunkte: (1) freie vs. systematische Beobachtung (2) Ausmaß der Kontrolle, Strukturierung & Standardisierung (3) Beobachtung in vivo vs. Beobachtung auf der Basis von Aufzeichnungen (4) Grad der Teilnahme des Beobachters am aufzuzeichnenden Geschehen 3

4 Einteilungsgesichtspunkte (1) freie vs. systematische Beobachtung: Freie Beobachtung: gleicht der Alltagsbeobachtung, unterscheidet sich im Ziel des wissenschaftlichen Erkenntnisgewinns Einsatz zur ersten Erkundung noch unbekannter Handlungsfelder & zur Vorbereitung systematischer Formen der Datenerhebung Systematische Beobachtung: nicht mit der Alltagsbeobachtung vergleichbar; Aufzeichnung und Auswertung erfolgen nach einem genauen Plan; Festlegung wo, wann, was beobachtet wird; Kontrolle der Güte der Datenerhebung (v.a. Objektivität) 4

5 Einteilungsgesichtspunkte (2) Ausmaß der Kontrolle, Strukturierung & Standardisierung: Naturalistische Beobachtung (Feldbeobachtung): Ausübung keinerlei Kontrolle, um ein möglichst realistisches, ökologisches, valides Bild des Verhaltens und seines situativen Kontextes zu gewinnen z.b. unangekündigter Hausbesuch vom Erziehungshelfer, um einen Eindruck der familialen Interaktion zu gewinnen keine Einschränkung oder Beeinflussung der Umweltereignisse & Verhaltensmöglichkeiten 5

6 Einteilungsgesichtspunkte (2) Ausmaß der Kontrolle, Strukturierung & Standardisierung: Kontrollierte Verhaltensbeobachtung: Einsatz beim Experimentieren und Testen Kontrolle der situativen Rahmenbedingungen Kontrolle der Art und Abfolge der Ereignisse (Reize, Items), mit denen die Personen konfrontiert werden Kontrolle von Verhaltens- oder Antwortoptionen Bei Einsatz der Verhaltensbeobachtung als eigenständiger Methode ist das Ausmaß realisierter Kontrolle sehr viel geringer als im Experiment oder Test. 6

7 Einteilungsgesichtspunkte (2) Ausmaß der Kontrolle, Strukturierung & Standardisierung: Laborbeobachtung: Herstellung eines situativen Rahmens, konkrete Ausgestaltung bleibt den zu beobachteten Personen überlassen (z.b. Angstexposition: schwierigen Vortrag vor Publikum halten) Vorteil standardisierter Beobachtungssituationen: bessere Vergleichbarkeit des Verhaltens vers. Personen, Analyse interindividueller Differenzen (hohe interne Validität) Nachteil standardisierter Beobachtungssituationen: Einbußen an Realitätsnähe (geringe externe Validität) 7

8 Einteilungsgesichtspunkte (3) Beobachtung in vivo vs. Beobachtung auf der Basis von Aufzeichnungen: Beobachtung und Registrierung in vivo: während des Ablaufs der interessierenden Ereignisse erhebliche Anforderung an den Beobachter, da B. & R. simultan erfolgen müssen, wichtige Ereignisse bleiben ggf. unbemerkt, Abhilfe schaffen mehrere Beobachter, die sich auf unterschiedliche, eng umgrenzte Aspekte konzentrieren Videoaufzeichnungen: Beobachtung und Registrierung können zeitlich getrennt erfolgen, wiederholtes Abspielen wichtiger Szenen möglich ideal im Rahmen des Beobachtertrainings 8

9 Einteilungsgesichtspunkte (4) Grad der Teilnahme des Beobachters am aufzuzeichnenden Geschehen: Aktiv-teilnehmende Beobachtung: Beobachter mischt sich direkt in das Geschehen ein, ist also Teil des Geschehens; Vorteil: Beobachter können sich direkt dem interessierenden Verhaltensbereich widmen Passiv-teilnehmende Beobachtung: Beobachter ist anwesend, greift aber nicht aktiv in das Geschehen ein Nichtteilnehmende, verdeckte Beobachtung: Beobachtung wird ohne Wissen der beobachteten Personen vorgenommen Kollision mit rechtlichen und forschungsethischen Normen!!! 9

10 Stichprobenplan und Beobachtungssystem Informationsgewinn über Art, Häufigkeit und zeitliche Erstreckung des Verhaltens von Personen oder Gruppen; Muster von Verhaltensabfolgen und situative Bedingungen durch systematische Beobachtung möglich Voraussetzung: Festlegung äußerer Rahmenbedingungen Aufstellung eines Stichprobenplans (Wann werden Verhaltensstichproben gezogen?) Unterscheidung zw. Zeitstichproben und Ereignisstichproben 10

11 Stichprobenplan und Beobachtungssystem Zeitstichprobenplan: Spezifizierung der Protokolltermine (Wann, wie lange und in welchen Zeitabständen wird beobachtet und registriert?) Es wird vorab festgelegt zu welcher Zeit beobachtet wird Einsatz v.a. wenn ein Verhalten relativ umfassend aufgezeichnet werden soll (grundlagenwissenschaftl. Fragestellungen) Ereignisstichprobenplan: Variabilität der Zeitpunkte der Beobachtung Protokollierung bei Eintritt des zuvor definierten Ereignisses (z.b. Streit in KITA-Gruppe) Voraussetzung: Dauerbeobachtung während des gesamten Beobachtungszeitraumes (Fragestellungen der klinischen Psychologie) 11

12 Stichprobenplan und Beobachtungssystem Festlegung der Art der Beobachtungsdurchführung: Isomorphe Beschreibung: Versuch, das zu beobachtende Verhalten möglichst vollständig wiederzugeben (z.b. Verlaufsprotokoll) keine systematische Verhaltensbeobachtung im engeren Sinne Reduktive Beschreibung: Reduktion der Registrierung auf bestimmt interessierende Aspekte bzw. Zusammenfassung einzelner Verhaltensweisen in größere Verhaltensklassen Durchführung erfolgt mit Hilfe eines Beobachtungssystems bzw. Kodierschemas (Angabe, was wie registriert werden soll) = Messinstrumente der Verhaltensbeobachtung [Liste von Kennzeichnungen (Kodes) explizit definierter Verhaltensklassen] Aufgabe: Erstellung eines Protokolls des Verhaltens unter Anwendung der entsprechenden Kodes 12

13 Stichprobenplan und Beobachtungssystem Beispiel: Erfassung des Blickaustausches in Dyaden Kode Definition 0 Keiner blickt in die Richtung der Augen des anderen 1 A blickt B an, B aber nicht A 2 B blickt A an, A aber nicht B 3 Blickkontakt, A und B blicken sich gegenseitig an Bei komplexeren Systemen werden die Regeln im Kodiermanual festgehalten und beispielhaft erläutert. Bei der Erstellung eines Beobachtungssystems ergeben sich immer 2 Aufgaben: Segmentierung des Verhaltensstroms und Klassifikation der hieraus resultierenden Einheiten. 13

14 Segmentierung des Verhaltensstroms Segmentierung betrifft die Aufteilung der Beobachtungsperiode in einzelne Beobachtungseinheiten (= zeitlich o. inhaltlich definierte Abschnitte des Verhaltensstroms, für die Kodierungen vorzunehmen sind) Strichliste = einfachste Form der Protokollierung Vorteile: leichte Handhabung, keine techn. Hilfsmittel notwendig Code Häufigkeit 0 III 1 II 14

15 Segmentierung des Verhaltensstroms Nachteile: Informationen über die zeitl. Erstreckung und Abfolge von Verhaltensweisen gehen verloren, Auszählung lediglich der Häufigkeiten Methode gut, wenn die zeitl. Erstreckung kurz oder irrelevant ist Echte Segmentierungen sollen die Zeitinformation bewahren Intervallkodierung bzw. Zeit-Teil-Methode: Jedem gleichlangem Intervall wird der Kode zugeordnet, der das in diesem Intervall auftretende Verhalten beschreibt (Äußerungen der Mutter: z.b. Loben, Trösten) werden in einem 5-Sekunden-Intervall festgehalten. Länge des Intervalls angemessen festlegen! Ereigniskodierung bzw. Ereignis-Teil-Methode: Registrieren vorher festgelegter Ereignisse (Beobachtungssystem) Veranlassung zur Registrierung durch Verhaltensänderung 15

16 Klassifikation des Verhaltens Klassifikation beinhaltet die Zuordnung von Codes zu den Beobachtungseinheiten nach dem im Beobachtungssystem niedergelegten Regeln. Unterscheidung zw. Kategoriensystemen & Zeichensystemen: Kategoriensysteme: interessierende Verhaltensbereiche werden erschöpfend in einander ausschließende Klassen unterteilt (Möglichkeit der eineindeutigen Zuordnung vollständiges Protokoll des Geschehens) Reduktion: Abstrahierung von konkreten Inhalten ( macht Vorschlag ) vers. Äußerungen werden zusammengefasst problematisch, da man den konkreten Inhalt nicht erfasst, daher: wichtige konzeptuelle Differenzierungen nicht verwischen Besondere Eignung zur Beschreibung von Verhaltensabfolgen 16

17 Klassifikation des Verhaltens Zeichensysteme: keine Ansprüche auf Vollständigkeit und Geschlossenheit; einfache Listen von Codes und zugehörigen Definitionen, deren Beziehungen untereinander mehr oder weniger unbestimmt bleiben Zuordnung mehrerer Codes o. keiner Codes pro Einheit möglich; offene Codierungen möglich für spezifische Merkmale Vorteil: einfaches Erlernen, Erstellen und Handhaben Einsatzmöglichkeiten: bei Interesse ausgewählten Verhaltens einzelner Personen oder Gruppen im Bereich der Verhaltensmodifikation, da veränderte Auftretenswahrscheinlichkeiten eines Verhaltens etwas über den Behandlungserfolg aussagen 17

18 Klassifikation des Verhaltens Entwicklung eines Beobachtungssystems: Erstellung einer vorläufigen Liste relevanter Verhaltensweisen (auf Basis von Literaturrecherchen, theoretischen Konzepten, aufgestellter Hypothesen, durch Sichtung vorhandenen Materials) Elaboration des resultierenden Zeichensystems zu mehreren Kategorien Möglichkeit der wiederholten Kodierung (z.b. bei Videoaufnahme) mehrere strukturierte Kategoriensysteme werden in mehreren Durchgängen angewandt: a) Blickverhalten, b) verbale und c) nonverbale Verhaltensweisen Reduktion der Belastung der Beobachter zuverlässigere Daten 18

19 Ratingverfahren Neben der Bestimmung der Häufigkeit und Dauer von Verhaltensweisen über Zeichen- oder Kategoriensysteme kann für diagnostische Fragestellung auch die Quantifizierung der Intensität eines Merkmals wichtig sein (z.b. bei affektiven Äußerungen). Einschätzung der Intensität auf einer 4-9-stufigen Ratingskala Seltener Einsatz im Rahmen der systematischen Verhaltensbeobachtung (Objektivierung schwierig) Häufiger Einsatz im Rahmen der Verhaltensbeurteilung 19

20 Sequenzielle Analysen Aufzeichnung und Analyse von Verhaltenssequenzen: Sequenzen = Abfolgen diskreter Ereignisse/ Zustände über die Zeit Bei quantitativen Variablen spricht man von Zeitreihen (z.b. Verlauf der Herzfrequenz einer Person) Möglichkeit der Untersuchung der Dynamiken von Systemen (z.b. Analyse aversiver Kommunikation in Familien; Bezug des Verhaltens einer Person auf früheres Verhalten oder relevante situative Bedingungen, ) Erheblicher technischer und analytischer Aufwand Möglichkeit der sequenziellen Analyse wird heutzutage noch nicht im wünschenswerten Umfang genutzt 20

21 Verhaltensbeurteilung Die Grenzen zw. Verhaltensbeobachtung und -beurteilung sind fließend! Die Ratingverfahren zur Registrierung beobachteter Intensitäten markieren ihren Übergang. 21

22 Beobachtung und Beurteilung 22 Beobachtung Betrachtung relativ elementarer und eng umgrenzter Sachverhalte Beinhaltet nur ein geringes Maß an Bewertung und Interpretation Der Klient hat während des 20min. Gesprächs den Therapeuten 2x für eine halbe Sekunde angeblickt. Beispiel: Anwendungsmöglichkeiten: Beurteilung Betrachtung komplexerer und abstrakterer Eigenschaften Starker Gebrauch der menschlichen Fähigkeit des Ziehens von Schlussfolgerungen aus Wahrnehmungen Der Klient zeigt eine starke Blickaversion gegenüber dem Therapeuten. Einstellungsinterview, Assessment Center, klinisches Interview, Befragung von Schülern bezüglich des Schulklimas,

23 Formen systematischer Verhaltensbeurteilung (1) Ratingskalen: Ökonomische Erfassung einer Vielzahl von Verhaltensaspekten (z.b. durchschnittl. Lautstärke der Stimme, Variabilität der Mimik, spontane Aggressivität, Selbstsicherheit, ) Aber: geringe Objektivität der resultierenden Daten Betrachtung der Verhaltensbeurteilung oft mit Vorbehalt Steigerung der Objektivität: unabhängige Einschätzung der interessierenden Eigenschaft durch viele Beurteiler Mittelung der Einschätzungen teilweise Unterdrückung individueller Beurteilungsfehler möglich Nutzung dieses Prinzips bei Peer-Ratings 23

24 Formen systematischer Verhaltensbeurteilung (2) Peer-Ratings: Einschätzung des Verhaltens einer Person bezüglich verschiedener Kategorien durch Bekannte (z.b. Kollegen, Freunde, ) Peer-Nominations: gleichzeitige Beurteilung des Verhaltens mehrerer Zielpersonen Anzahl der Nominierungen pro Feststellung = Itemwerte Sie/Er Anna Hans Peter spielt gern allein. fängt schnell an zu weinen. hat schauspielerisches Talent. 24

25 Formen systematischer Verhaltensbeurteilung Peer-Ratings ermöglichen es, Einsicht in Verhaltensbereiche zu gewinnen, die der systematischen Verhaltensbeobachtung entweder nur mit sehr hohem Aufwand oder überhaupt nicht zugänglich sind. Abhängigkeit der Datenqualität von den herangezogenen Beurteilern und deren Kenntnissen über die Zielpersonen Auswertung nach den gleichen psychometrischen Gesichtspunkten wie Fragebogen und Tests 25

26 Formen systematischer Verhaltensbeurteilung (3) Q-Sort-Verfahren (Weiterentwicklung der Verhaltensbeurteilung): Testmaterial: Karten, beschriftet mit beschreibenden Feststellungen/ Adjektiven (sog. Q-Set ) Zielobjekte der Beurteilung: z.b. der Beurteiler selbst (Selbstbeurteilung), eine andere Person oder ein Sachverhalt (z.b. Qualität der Lehre) Einsatz als Selbstbeurteilung Q-Daten ansonsten L-Daten 26

27 Formen systematischer Verhaltensbeurteilung (3) Q-Sort-Verfahren (Weiterentwicklung der Verhaltensbeurteilung): Aufgabe: Sortieren der Feststellungen (im Hinblick auf das jeweilige Zutreffen auf ein/e Zielobjekt/ Zielperson) in eine festgelegte Anzahl von Kategorien Kategorie 1: für das Beurteilungsobjekt sehr untypische Feststellungen Höchste Kategorie: für das Beurteilungsobjekt sehr typische Feststellungen Restkategorien: Zwischenstufen Anzahl der Karten, die jeder Kategorie zugeordnet werden dürfen ist meist festgelegt (v.a. Normalverteilung; z.b. bei 100 Karten und 9 Kategorien: 1,4,11,21,26,21,11,4,1) 27

28 Formen systematischer Verhaltensbeurteilung (3) Q-Sort-Verfahren (Weiterentwicklung der Verhaltensbeurteilung): Vorteile: Tendenz zur Mitte kann verhindert werden; individuumszentrierte Vergleichsperspektive; Profil des beurteilten Objektes, an dem man typische/ untypische Merkmale aus dem erfassten Bereich ablesen kann Nachteile: Vorgabe fixierter Verteilungen entspricht ggf. nicht dem Eindruck des Beurteilers, sodass dieser die Feststellungen anders sortieren muss, als er es vielleicht ohne diese Vorgabe gemacht hätte 28

29 Formen systematischer Verhaltensbeurteilung (3) Q-Sort-Verfahren (Weiterentwicklung der Verhaltensbeurteilung): Anwendungsmöglichkeiten: Fremdbeurteilung: z.b. Klassifikation von Persönlichkeitsprofilen Selektionsfragen im Einstellungsverfahren Selbstbeurteilung: Registrierung der Veränderung des Selbstbildes eines Klienten im Verlauf einer Psychotherapie durch Vergleich von Selbst- und Idealbild eines Klienten Abnahme der Diskrepanz zw. Ideal- und Selbstbild als Indikator des Therapieerfolgs: Klient stellt zu Beginn und Ende der Therapie mittels Q-Sortierung sein Selbst- und Idealbild dar die 4 resultierenden Profile werden miteinander korreliert Idealfall: Angleichung von Selbst- und Idealbild im Verlauf der Therapie; Idealbild bleibt relativ konstant, Selbstbild verändert sich deutlich 29

30 Gütekriterien Wie andere diagnostische Datenerhebungsmethoden müssen Verhaltensbeobachtungen und -beurteilungen psychometrischen Gütekriterien genügen. Einige Gesichtspunkte lassen sich dabei aus den für Fragebogen und Tests geltenden Prinzipien übertragen, andere nicht. 30

31 Fehlerquellen Die Verhaltensbeurteilung ist von bestimmten Fehlerquellen in stärkerem Maße betroffen als die Verhaltensbeobachtung: Erwartungs-, Strenge-, Milde-Effekte Logische Fehler, Kontrastfehler, Projektion Vermeidung extremer Kategorien (Tendenz zur Mitte) Halo-Effekt, Möglichkeiten, diese in den Griff zu bekommen: direkte, zeitgleiche Registrierung des Verhaltens Verwendung möglichst einfacher, klar definierter und verhaltensnaher Kategorien Minimierung der für die Kodierung erforderlichen Interpretationsleistungen 31

32 Fehlerquellen Der Beobachterdrift : Veränderungen in der Beobachtungsgenauigkeit durch Nachlassen an Sorgfalt oder Konzentration Reaktivitätseffekte: Wenn der Beobachtete bemerkt, dass er beobachtet wird, verändert er sein Verhalten die Beobachtung selbst verändert ihren Gegenstand d.h. Häufigkeit negativ bewerteter (sozial unerwünschter) Verhaltensweisen nimmt wahrscheinlich ab, positiv bewertete (sozial erwünschte) Verhaltensweisen nehmen wahrscheinlich zu Daher wenn möglich Vergleich von Verhalten unter informierten Bedingungen (offene Beobachtung) und unter uninformierten Bedingungen (verdeckte Beobachtung) Beachte: Reaktivitätseffekte sind interindividuell unterschiedlich 32

33 Objektivität Verschiedene Beobachter müssen zu Verhaltensprotokollen gelangen, die im Wesentlichen übereinstimmen! Replizierbarkeit kann z.b. gewährleistet werden durch: Entwicklung eines Beobachtungssystems mit genau spezifizierten Anwendungsregeln Ausführliches Beobachter- und Beurteilertraining, in dem die Beobachter/ Beurteiler mit der Anwendung des Systems vertraut gemacht werden Bestimmung der Objektivität durch Vergleich und Überprüfung mehrerer Protokolle, die von unabhängigen Beobachtern erstellt wurden bzw. Überprüfung mit einem Normprotokoll, dessen hohe Qualität bereits gesichert ist (Einsatz v.a. beim Beobachtungstraining) 33

34 Reliabilität Die Methoden der Bewertung der Reliabilität für psych. Testverfahren können NICHT auf die Verhaltensbeobachtung übertragen werden, da Situationen, in denen Personen handeln einmalig sind! Reliabilität im Sinne der Messpräzision wird am besten durch die Beobachterübereinstimmung oder durch Vergleich eines Beobachtungsprotokolls mit einem Normprotokoll geschätzt. Aufgabe der Differenzierung zw. Objektivität und Reliabilität für Beobachtungsverfahren beide Begriffe werden hier synonym benutzt (auch: inter-rater/ observer reliability) 34

35 Validität Daten aus Beobachtungen und Fremdbeurteilungen korrelieren häufig nicht sehr hoch mit Daten aus anderen Quellen (Selbstberichte/ physiologische Messungen), auch wenn sich diese jeweils auf das gleiche Konstrukt beziehen. Verschiedene Datenquellen können jedoch etwa unterschiedliche, für diagnostische Zwecke bedeutsame Aspekte eines komplexen Systems erst zugänglich machen. Schwierige Bestimmung der Konstruktvalidität durch individualspezifische Reaktionsmuster (z.b. bei Angstzuständen) 35

36 Validität Beobachtungsverfahren sollten eigentl. einen direkteren Weg zum Verhalten gewährleisten als Befragungsinstrumente. Beobachtungsdaten liefern jedoch auch keinen unmittelbaren und unverstellten Zugriff auf die Verhaltenswirklichkeit. Verhaltensbeobachtung = selektiv und abstrahierend Bestimmte Ausschnitte des Verhaltens werden mit einer begrenzten Zahl von Begriffen (Kategorien, Zeichen) festgehalten. Reichhaltigkeit und Beziehungsvielfalt des konkreten Verhaltens geht dabei weitestgehend verloren. Aber: Möglichkeit der Systematisierung und des Vergleichs von Verhalten. Schwierigkeit der Generalisierbarkeit des in einem kurzen Zeitraum erfassten Verhaltens Möglichkeit der Beantwortung von Fragen der Konstruktvalidierung durch Vergleich mit Daten aus anderen Quellen (z.b. Testverfahren) 36

37 Beitrag zu praktisch-diagnostischen Fragen Der hohe technische Aufwand systematischer Formen der Verhaltensbeobachtung und -analyse macht den Einsatz der Beobachtungsverfahren in der diagn. Praxis oft nicht realisierbar. Beobachtung wird eher informell und als begleitendes Verfahren verwendet. Sie hat wertvolle Funktionen: Erleichterung der Formulierung und Überprüfung diagn. Hypothesen Beobachtungen liefern Kontextinformationen leichtere Einordung der Daten aus anderen Erhebungsverfahren (z.b. starke Angst der Klientin bei einem Fähigkeitstest) Erfassung von Interventionseffekten (z.b. zunächst bestand eine starke soziale Phobie, die sich im Laufe der Therapie gemindert hat und die Klientin in entsprechenden Situationen weniger Angstzustände erlebt) 37