Diagnostik und Evaluation

Transkript

1 Diagnostik und Evaluation Seminar Nr.: 3134 L 305 Raum FR 4061 Dozentin: Rebecca Lazarides Adresse: Franklinstraße 28/29 Tel.: 030/ Raum FR 4060 Sprechzeiten: Di Uhr (oder nach Vereinbarung) Mail: rebecca.lazarides@tu-berlin.de Pädagogische Psychologie SE Pädagogische Diagnostik und Evaluation Rebecca Lazarides

2 Thema 2: Methodenfragen pädagogischer Diagnostik Wie kann man Wissen und Können von Schülern angemessen untersuchen? Wie kann man dabei zu einem einigermaßen objektiven Urteil kommen? Woher nimmt man den Maßstab für Bestanden oder Durchgefallen? Welche Orientierungshilfe bietet ein Notenmittelwert?

3 Aspekte diagnostischen Handelns Vergleich - dient der Beschreibung eines Verhaltens - zu Grunde liegen Informationen zu Art, Häufigkeit, Dauer, Intensität, Latenz oder Distanz des zu beurteilenden Verhaltens - in der pädagogischen Diagnostik wird v.a. verglichen: mit früherem Verhalten des gleichen Menschen mit dem Verhalten anderer Menschen mit Verhaltensbeschreibungen & Standards - als Vergleichsmaßstäbe dienen in der pädagogischen Diagnostik individuelle, soziale und sachliche Bezugsnormen Analyse - geht über die vergleichende Einordnung neuer Beobachtungen hinaus & fragt, warum ein Verhalten vom Standard abweicht - betrachtet dabei nicht nur die Gesamtleistung, sondern vor allem auch Stärken und Schwächen der Leistung Prognose - Lehrer ist im Bereich der Pädagogischen Diagnostik ständig gezwungen, auf Verhalten in anderen Situationen oder in der Zukunft zu extrapolieren

4 Bsp. Prognose: Ein Schüler hat im Förderunterricht die Multiplikation mit einstelligen Zahlen gelernt, der Lehrer muss nun anhand des beobachteten Verhaltens folgern, ob der Lernerfolg in der Klassensituation wiederholt werden kann, ob der Schüler auch sicher genug für die Multiplikation mit zweistelligen Ziffern ist. Interpretation - gesammelte Informationen werden geordnet, kritisch beurteilt, gewichtet & zu einer wertenden Stellungnahme bzw. zu einem Gesamtbild zusammengefasst = Interpretation Mitteilung & - Verhaltensbeurteilung wird anderen (Lernende, Wirkungskontrolle Erziehungsberechtigte) mitgeteilt-wirkung der Mitteilung sollte kontrolliert werden, um zu wissen, ob der gewünschte Erfolg erreicht wird

5 Zusammenfassend-Schritte des Diagnostizierens 1. Informationen sammeln 2. Informationen in geeigneter Weise gewichten und kombinieren, so dass eine möglichst objektive, zuverlässige & letztendlich gültige Prognose über das zukünftige Verhalten und Erleben der Person unter den zur Diskussion stehenden Entscheidungsoptionen möglich wird 3. Empfehlung Diagnostizieren ist ein Urteilsprozess, der unter Einsatz wissenschaftlicher Methoden erfolgen sollte, die gewährleisten, dass andere Personen beim Einsatz derselben Methoden zu denselben Empfehlungen hinsichtlich der Auswahl der geeigneten pädagogischen Intervention kommen (Leutner 2001 in Rost) Liegen für die Erhebung und Kombination diagnostischer Daten detaillierte und überprüfte Verfahrensregeln vor, die einem methodischen Rechenverfahren folgen, spricht man von statistischer Urteilsbildung

6 Wozu nutzt das Wissen um sozialwissenschaftliche Methoden und standardisierte Forschungsinstrumente in der pädagogischen Diagnostik bzw. im Lehrerberuf? - Aktuelle Forschungen (Spinath 2005) zur diagnostischen Kompetenz von Lehrern zeigen, dass allgemeine Lehrereinschätzungen von Schüllerleistungen unterschiedlich akkurat sind-> diagnostische Kompetenz von Lehrern ist eher gering, sofern Lehrer dafür nicht die geeigneten objektiven Messinstrumente nutzen (z.b. standardisierte Tests) - Geringe Akkuratheit von Lehrerurteilen rührt davon, dass Lehrer ohne direkte Aufforderung kaum von validen Verfahren zur Messung von Schülermerkmalen Gebrauch machen Notwendigkeit Lehrer bei der Auswahl und fachgerechten Anwendung geeigneter Testverfahren zu schulen

7 Grundfragen des Messens und Skalierens in den Sozialwissenschaften Welche Messinstrumente werden im pädagogisch diagnostizierenden Handeln unterschieden? Wie konstruiert man pädagogisch-diagnostische Messinstrumente? Welche Qualitätskriterien sollten solche Messinstrumente erfüllen?

8 Messen ist die Bestimmung der Ausprägung einer Eigenschaft eines (Mess-) Objektes (Gegenstand, Ereignis, Person, Situation, Beurteilungssachverhalt) und erfolgt durch eine Zuordnung von Zahlen zu Messobjekten. Orth 1995 Messwerte sind immer eine Vergröberung und Vereinfachung einer differenzierten Beobachtung, die eine Vergleichbarkeit von Beobachtungen erst ermöglicht Methoden des Messens: - Tests - Verhaltensbeobachtung - Gespräch und Interview

9 Pädagogische Tests diagnostische Informationen werden häufig über den Einsatz von Tests und Fragebögen erhoben dabei handelt es sich um eine besonders standardisierte Form der Informationsgewinnung, bei der der Proband Fragen oder Aufgaben schriftlich bearbeitet Standardisierung: Erhöhung der Objektivität eines Leistungstests & Minimierung der Fehleranfälligkeit beim Feststellen eines individuellen Leistungsstandes

10 Ein Test ist ein systematisches und routinemäßig einsetzbares Verfahren zur Messung definierter Ausschnitte menschlichen Verhaltens. Die Messung wird verwendet, um den Grad der Ausprägung einer sogenannten Eigenschaft, Fähigkeit oder Fertigkeit festzustellen oder/und um zukünftiges Verhalten vorherzusagen. (Hasselhorn & Gold 2006) Eine gute Übersicht standardisierter pädagogischer Tests findet man im Brickenkamp Handbuch psychologischer und pädagogischer Tests (Brähler,Holling,Leutner & Petermann 2002) sowie in der Reihe Tests und Trends der pädagogisch-psychologischen Diagnostik

11 Was bedeutet Standardisierung? v bei Entwicklung & Anwendung der Tests werden spezielle Standards eingehalten, um die Gefahr eines Messfehlers möglichst gering zu halten v minimale Voraussetzung, um von Standardisierung sprechen zu können, besteht in der formellen Festlegung der Art der Testdurchführung v Festlegung von Bewertungsnormen, auf deren Basis die individuellen Leistungen eingeordnet werden können (Hasselhorn & Gold 2006) Was sind Bezugs-/Bewertungsnormen v Unter Bezugsnorm ( engl. reference norm) versteht man einen Standard, mit dem ein Resultat verglichen wird, wenn man es als Leistung wahrnehmen und bewerten will (Heckhausen 1974) v Soziale Bezugsnorm, Individuelle bezugsnorm, kriteriale Bezugsnorm

12 Gütekriterien von Tests Objektivität - Durchführung, Auswertung & Interpretation sind unabhängig vom Testanwender - unter Einsatz desselben Tests kommen andere Personen zu derselben Aussage - Bsp.: alle Schüler haben bei ähnlichem Leistungsniveau ähnliche Testergebnisse, unabhängig von der Einstellung des Lehrers zu den einzelnen Schülern - Durchführungsobjektivität, Auswertungsobjektivität, Interpretationsobjektivität

13 Reliabilität- Zuverlässigkeit Validität-Gültigkeit -Im Idealfall führt dasselbe Instrument zur - Test misst das, was er soll selben Zeit wiederholt angewendet auf -Testitems stellen eine Zufallsstichdieselbe Person zu identischen Aussagen probe von Fragen dar, die in ihrer - Messinstrumente sind messfehlerfrei Grundgesamtheit die zu -Messfehler sind z.b. Ungenauigkeiten messende Eigenschaft repräsentieren des Messinstrumentes (Kontentvalidität) (uneindeutige Formulierungen im Test) - Test korreliert hoch mit anderen -Bsp.: der Schüler schreibt zweimal die selbe Instrumenten, die dieselbe Eigen- Mathematikklausur & kommt jedes Mal zum schaft messen (Kriteriumsvalidität) selben Punktestand & niedrig mit Instrumenten, die -Test-Retest-Reliabilität; Paralleltest- andere Eigenschaften messen Reliabilität; Split-Half-Reliabilität (diskriminante Validierung)

14 Wie konstruiert man einen standardisierten pädagogischen Test? 1. Lehrzielanalyse: Was soll durch den Test geprüft werden? Im schulischen Lernen: Prüfung von Kenntnis, Verständnis und Anwendung spezifischer Lehrinhalte 2. Generieren von Testitems: Welche Aufgaben stellen eine repräsentative Auswahl des im Unterricht behandelten Inhalts dar?

15 Um Standardisierung im engeren Sinne zu gewährleisten: LUKESCH 1998: 5 Schritte der Testkonstruktion Vorerprobung Ist der Test durchführbar? Sind die Aufgaben verständlich & eindeutig formuliert? Testdurchführung an einer kleinen Stichprobe Sind die Aufgaben angemessen? Ist der Schwierigkeitsgrad realistisch? Aufgaben- und Testanalyse Wie streuen sich die Aufgabenschwierigkeiten? (-> empfehlenswert sind Tests, bei denen die Aufgabenschwierigkeit zwischen 0,20 jeder 5. kennt die richtige Lösung- und 0,8-4 von 5 Personen kennen die richtige Lösung- liegt)

16 Wie gut stimmt die Lösung eines einzelnen Items mit dem Abschneiden eines Probanden im Gesamttest überein-> wie trennscharf ist eine einzelne Aufgabe? (Trennschärfe-Korrelationskoeffizient) Testvalidierung Misst der Test, was er messen soll? (Validität) =>Stimmt das Testergebnis mit der sonstigen Leistung des Schülers im getesteten Fach überein? Bsp.: DEMAT 3+ ergab einen statistischen Zusammenhang von r= -0,61 zwischen Testleistung in Punkten und Mathematiknote = Schüler, die hohen Punktwert im Test erreichen (gut abschneiden), haben numerisch kleinere Noten in Mathematik Testeichung/ Normierung Wie ist die erreichte Einzelleistung in einer vergleichbaren Gruppe einzuordnen? -Testdurchführung an großer & repräsentativer Stichprobe, um Vergleichsmaßstab zu generieren, der Grundlage für spätere Bewertung von Einzelleistungen bildet (Bsp.: IQ-Normierung: mittlere Leistung = Punktwert 100)

17 Und wie konstruiere ich als Lehrer ein formelles Testverfahren? 1. Definition des Curriculums - Curriculum ist ein Entwurf, das Aussagen über die angestrebten Ziele, Inhalte sowie über die Lernbedingungen, Medien, Methoden & Evaluationsverfahren macht - Evaluationsverfahren beziehen sich dabei auf die Verfahren, mit deren Hilfe Lehr-Lern-Prozesse überprüft werden - Curricula sind zumeist von Ministerien vorgegeben 2. Operationalisierung - Wie kann eine Erfassung der Lehr-Lern-Ziele erreicht werden? - Ausdruck-> mdl. Ausdruck; schriftl. Ausdruck; Zeichnung; Mimik; Gestik -Spiel, Gespräch, Fragebogen, Test, Beobachtung - Soll ein Testverfahren für den gesamten Inhalt des Curriculums entwickelt werden oder sollen für Teilaspekte spezifische Verfahren entwickelt werden? Global- vs. Skalenebene - Bsp.: ermittelt man mit nur einem Verfahren die Ausprägung eines Merkmals (Rechtschreibfähigkeit) & nicht mit einzelnen Skalen, kann man keine Rückschlüsse auf Stärken & Schwächen des Schülers ziehen

18 3. Ableitung einer geeigneten Aufgabenform Welches ist die geeigneteste Form der Überprüfung? -> Möglichkeiten: Lückentest, Multiple-Choice-Test, Ergänzungsaufgaben 4. Ableitung von Items Welche Regeln & Konstruktionsschritte werden angewendet, um aus allgemeinen Überlegungen heraus, Items abzuleiten? Operationale Definition: bezieht sich auf den Vorgang, dass eine Sache dadurch definiert werden kann, dass eine Prozedur angegeben wird, mit deren Hilfe die Sache erfasst werden kann (Jäger 2000) - Bsp.: mit Hilfe eines Intelligenztests wird Intelligenz operationalisiert Tyler-Matrix (Tyler 1973): Methode, um Lehrstoffanalyse durchzuführen - Finden übergeordneter Kategorien zur Grobklassifizierung der Lehrinhalte - aus Grobkategorien kann abgeleitet werden, wie ein Item konstruiert sein muss, dass Lehrinhalte erfasst

19 Bsp.: Rechtschreibfähigkeit-Konjugation von Verben Wissen Verstehen Konjugieren Verben (Wortschatz) Grammatikalische Regeln Item: Suche für den folgenden Lückentext passende Verben und setze die richtig konjugierte Form ein. Erkläre zuletzt in 3 Sätzen den Unterschied zwischen regelmäßigen & unregelmäßigen Verben! Generative Regeln: Explizite Regeln, aus denen einzelne Aufgaben (Items) unter Hinzuziehen des Lehrinhaltes abgeleitet werden. Bsp.: Lehrziel: Subtrahieren & Addieren im Zahlenraum von 1 bis 10 - d.h. alle Operationen der Art + und - sind möglich, sofern die Rechengrößen den Zahlenraum von 1 überschreiten und den von 10 unterschreiten Item: =? Oder? 3 = 7

20 5. Empirische Überprüfung an Analysestichprobe 6. Itemrevision (wenn Items zu schwer) 7. Erhebung von Vergleichsdaten (Wie viele Schüler haben eine vergleichbare Leistung erreicht?) 8. Gewinnung von Daten zur Objektivität, Reliabilität & Validität Bsp.: Inhalts-Validität: Wenn z.b. bei Schüler und Schülerinnen der 7. Klassenstufe mit Hilfe eines Geometrietests die Fähigkeit erfasst werden soll, Spiegelungen zu erfassen, muss gefragt werden, ob Spiegelungen Teil des Curriculums dieser Klassenstufe sind.

21 Verschiedene Arten pädagogischer Tests werden unterschieden nach zu erfassender Eigenschaft Leistungs- & Fähigkeitstests : Erfassung von Lernvoraussetzungen und Lernergebnissen, z.b. Konzentration Persönlichkeits- & Einstellungsfragebogen : Erfassung nicht leistungs- bzw. fähigkeitsbezogener Eigenschaften, z.b. Interesse an einzelnen Fächern

22 Ausmaß der Standardisierung Formelle Tests - basieren auf spezifischer Testtheorie - hohes Maß an Standardisierung bei Testdurchführung, Testauswertung & Interpretation - an umfangreichen Stichproben geeicht (normiert), um Vergleichbarkeit der Position eines Individuums zu sichern Informelle Tests - für aktuelle Testzwecke zusammengestellte Instrumente - nicht geeicht, können aber dennoch auf einer Testtheorie basieren - Sonderform: Lernzielorientierte Tests (Klauer 1987) Bezug beim Vergleich von Testergebnissen Normorientierte Tests - verwenden eine soziale Bezugsnorm - dienen dem Vergleich einer getesteten Person mit einer Gruppe vergleichbarer Personen - z.b. klassische Intelligenztests

23 Vorteile: - mit Hilfe der sozialen Bezugsnorm lassen sich zeitlich stabile Leistungsunterschiede von Lernenden identifizieren, die als Hinweise für überdauernde Kompetenzunterschiede gelten - ist sinnvoll, wenn es darum geht, den/die dauerhaft Beste(n) oder Schlechte(n) in einer Klasse zu ermitteln Nachteile: - soziale Bezugsnormorientierung bezieht sich auf enges Bezugssystem - dies kann zur Folge haben, dass Kinder mit objektiv gleichen Leistungen je nach der Leistungsstärke ihrer Bezugsgruppe einmal als gut und ein anderes Mal als schwach eingestuft werden - kann zu Stagnationen bzw. Rückentwicklungen der gesamten Klasse im Hinblick auf objektive Zielvorgaben führen - verdeckt interindividuelle Unterschiede Einzelner in Bezug auf ihren Lernfortschritt -> werden erst dann als besser wahrgenommen, wenn sie andere überholen

24 Kriteriumsorientierte Tests -verwenden kriteriale Bezugsnorm - dienen dem Vergleich einer getesteten Person mit einem zuvor & unabhängig von anderen Personen festgelegten Kriterium - zu testende Personen sollen möglichst gut in der Umgebung des Kriteriums (z.b. Lernziel) voneinander unterscheidbar sein Lerntests - verwenden individuelle Bezugsnorm - dienen dem Vergleich einer getesteten Person mit einem Testergebnis derselben Person zu einem früheren Zeitpunkt - bergen die Gefahr, dass stabile Leistungsunterschiede zwischen Schülern ausgeblendet werden Art der zugrunde liegenden Testtheorie Klassisch konstruierte Tests -basieren auf klassischer Testtheorie-> Antwort des Probanden spiegelt wahren Wert (tatsächliche Ausprägung der zu erfassenden Eigenschaft) & Messfehler wider -Ziel der Testkonstruktion ist hohe Trennschärfe/Reduzierung des Messfehlers

25 Probalistisch konstruierte Tests -basieren auf Testmodell der probalistischen Testtheorie (Bsp.: Rasch Modell) - Wahrscheinlichkeit einer richtigen Itemlösung ergibt sich aus Funktion zweier Modellparameter Personenfähigkeit & Itemschwierigkeit - p~ 0,5 wenn Fähigkeit = Schwierigkeit; - p~ 0 wenn Fähigkeit < Schwierigkeit; - p~1 wenn Fähigkeit > Schwierigkeit - wenn Modell gilt, dann hat der Test die Eigenschaft der sog. Spezifischen Objektivität = geschätzte Fähigkeitswerte sind unabhängig von den Schwierigkeitswerten der verwendeten Items -> den Personen können dann Items vorgelegt werden, die möglichst gut auf ihre individuell unterschiedlichen Fähigkeiten abgestimmt sind =adaptiver Test - VORTEIL: Adaptive Tests benötigen um eine vorher festgelegte Messgenauigkeit zu erreichen weniger Items als ein Test auf Basis der klassischen Testtheorie

26 Wie interpretiere ich erhaltene Testwerte? Grundbegriffe: Rohwert = Anzahl richtig gelöster Aufgaben im Test Normwert - Rohwerte allein geben das Leistungsvermögen einer Person nicht wirklich wider - Normwerte stehen bei standardisierten Tests durch die Eichung des Tests zur Verfügung: auf Grund der mittleren Leistung & der Verteilung einer Eichstichprobe lässt sich jedem Rohwert ein Normwert zuordnen Bestimmung der Position einer getesteten Person im Hinblick auf den Maßstab der Eichstichprobe wird möglich Normwerte = T-Werte, Z-Werte und IQ-Werte diesen Testnormwerten liegt die Annahme einer Normalverteilung zugrunde

27 Prozentrangnormen: - um zu Prozentrangnormen zu gelangen, fasst man die Rohwerte zu Rohwertklassen zusammen, die jeweils gleiche Prozentanteile in der Gesamtverteilung der Rohwerte ausmachen - Jedem Rohwert im Test ist dann ein bestimmter Prozentrang zuordenbar - der Prozentrang gibt an, wie viel Prozent der Eichstichprobe genau so viele oder noch weniger Testitems richtig gelöst haben - Bsp.: PR=60 60 % der Personen der Eichstichprobe haben genau so viele oder weniger Testitems richtig gelöst - Normalverteilungsannahme fehlt, Prozentrangnormierung ist aber beliebt in der diagnostischen Praxis, da sie eine rasche Bestimmung der relativen Position einer getesteten Person zulassen (gehört sie zu den Besten oder Schlechtesten?)

28 Beispielaufgabe: Wenn von 300 Schülern die Ergebnisse eines Rechentests mit 80 Aufgaben vorliegen, dann kann man auf einer Skala von 0-80 eintragen, wie oft jeder Rohwertpunkt von wie vielen Schülern erreicht wurde. Rohwert Häufigkeit dieses Rohwertes Kumulierte Häufigkeit Rohwert Cum f% , , , , ,0 3 PR

29 Dabei gilt: Cum f%= 100 * cum f N Ergebnisse: - Rohwert 3 (3 Aufgaben richtig) kann Prozentrangplatz 18 zugeordnet werden die Rechenleistung eines Schülers mit 3 Rohwertpunkten entspricht der von 18% aller Schüler der Stichprobe oder 18% der anderen Schüler haben gleich gut oder schlechter abgeschnitten - Für algebraische Operationen müssen die Prozentränge in T-Werte umgerechnet werden - dafür liegen in den meisten Statistikbüchern Tabellen vor - sorgfältig entwickelte Schultests beziehen mittlerweile auch Messfehler in die Normenskala mit ein Prozentrangband oder T-Wert Band

30 Bsp.: Ausschnitt aus der Normentabelle des Allgemeinen Schulleistungstests für 2. Klassen (AST 2+) Rohwert Prozentrangband Mittlerer T-Wert T-Wert-Band Rohwert Pädagogische Psychologie HS Diagnostik und Evaluation SoSe 2009

31 Ein Lehrer kann daran sehen, dass ein Schüler bzw. eine Schülerin mit einem Testrohwert von 75 Punkten im Prozentrangband liegt. Das heißt, die Testleistung ist mindestens gleich gut oder besser als die von 73% der Gruppe der Zweitklässler und höchstens gleich gut oder schlechter als die von 89%. In diesem Bereich liegt der wahre Wert des Schülers

32 Wie komme ich von validierten Testwerten zu Noten? 1. Es liegen Daten vor: Haufigkeitsverteilung Bsp. Testergebnisse eines standardisierten Mathematiktests Ordinate (senkrecht): absolute Häufigkeiten Abszisse (waagerecht): alle möglichen Ausprägungen der Testwerte

33 2. Es ist bekannt, wie diese Daten zustande gekommen sind & wie sie hinsichtlich ihrer Gütekriterien zu beurteilen sind. 3. Die Verteilung der Daten ist bekannt. - Wie viele Personen von einer Anzahl N haben insgesamt einen bestimmten Punktwert erreicht? 4. Es wird eine Normorientierung gewählt - soziale Bezugsnorm, individuelle Bezugsnorm, kriteriale Bezugsnorm - dabei geht man von einer Normalverteilung aus (Glockenkurve- Gaussche Normalverteilung) - bei schulischen Leistungstests geht man zumeist von Prozentrangnormierungen aus

34 5. Die bestehenden Daten werden bestimmten Voraussetzungen angepasst - wenn Verteilung der Daten nicht einer Normalverteilung entspricht, wird eine Anpassung der Daten vorgenommen - d.h. Rohwerte werden in Normwerte umgerechnet Übergang zwischen Prozentwerten und Noten in einer Normalverteilung: Prozentwert ,72-84,11-49,99-15,86-0,12 < 0,12 97,73 84,11 50,00 15,87 Note Mit diesem Vorgehen wird eine Transformation der ursprünglichen Daten (Punkte, Rohwerte), welche nicht normalverteilt sind, in eine Normalverteilung erreicht.

35 Verhaltensbeobachtungen Beobachtung ist das grundlegende Verfahren der empirisch forschenden Sozialwissenschaften und der Erziehungswissenschaften. (Roth 2001) - umfasst jegliche Form der Beobachtung einer Person in realen und simulierten Situationen (Bsp. Reale Situation- Unterricht; Bsp. Simulierte Situation- Rollenspiel) Bsp.: Ein Lehrer geht über den Schulhof. Er schaut eher zu, als das er beobachtet. Das heißt, würde man ihn nach seinem Spaziergang nach Häufigkeit & Schwere aggressiver Handlungen, Gesprächskontakten zwischen Mädchen & Jungen der 5. & 6. Klassenstufe o.ä. fragen, wäre er überfragt.

36 Die Qualität einer Verhaltensbeobachtung ist abhängig vom Kategoriensystem zur Protokollierung des beobachteten Verhaltens & vom Training des Beobachters, damit grundlegende Beobachtungsfehler vermieden werden können Naive Beobachtung systematische/wissenschaftliche Beobachtung Die Lehrkraft sollte in Beobachtungsbögen, Gutachten usw. nicht nur zum Verhalten des Schülers Stellung nehmen, sondern auch Rückschlüsse auf Charaktermerkmale ziehen & Prognosen über die künftige Entwicklung stellen Dabei hat sie folgende Möglichkeiten der wissenschaftlichen Beobachtung: unsystematische & systematische Beobachtung nicht-teilnehmende & teilnehmende Beobachtung Beobachtung von Ereignis- & Zeitstichproben Beobachtung nach Art der Ergebnisfixierung

37 Gefahr von Beobachtungsfehlern - Beobachtungsfehler = Fehler, die mit begrenztem Vermögen bzw. fehlendem Willen des Beobachters zu tun haben (geringe Sorgfalt, Langeweile, Müdigkeit, Unvertrautheit mit der Situation der Leistungsbeurteilung) -Nicht alle für das Urteil relevanten Verhaltensweisen werden wahrgenommen Gefahr von Beurteilungsfehlern Typische Beurteilungsfehler (Hasselhorn & Gold 2006): Mildeeffekt: Voreingenommenheit führt zu positiverer Beurteilung einer Person Großzügigkeitsfehler: Alle Personen werden günstiger beurteilt als angemessen-bezug zur sachlichen Norm (kriteriale Norm) ist verlorengegangen

38 Halo- oder Hofeffekte: Urteil wird von einer markanten Eigenschaft der zu beurteilenden Person (Aussehen, Mundart) beeinflusst. Verzerrung des Urteils kann sich zu Gunsten als auch zu Ungunsten der zu beurteilenden Person auswirken. Logischer Fehler: Fälschliche Annahme über Zusammenhang zweier Merkmale beeinflusst das Urteil Lehrer glaubt, dass viele Rechtschreibfehler die Folge geringer Intelligenz seien & kommt daher gar nicht erst auf die Idee, dass eine Lese-Rechtschreib-Störung vorliegt Tendenz zur Mitte: Manche Urteiler meiden extreme Urteile, was zur Folge hat, dass sie nur mittlere Bewertungen (z.b. nur Zensuren zwischen 2 und 4) abgeben. Tendenz zu extremen Urteilen Andere überhöhen gern in ihrer Bewertung Unterschiede zwischen Personen. Sie sind von einer Leistung entweder begeistert oder enttäuscht. Die Folge ist eine Tendenz zu extremen Urteilen & die Vermeidung mittlerer Bewertungen.