Diagnostik und Evaluation

Transkript

1 Diagnostik und Evaluation Seminar Nr.: 3134 L 305 Raum FR 1063 Dozentin: Rebecca Lazarides Adresse: Franklinstraße 28/29 Tel.: 030/ Pädagogische Psychologie FR 4-3 Sprechzeiten: Di Uhr (oder nach Vereinbarung) Mail: rebecca.lazarides@tu-berlin.de

2 Thema 2: Methodenfragen pädagogischer Diagnostik Wie kann man Wissen und Können von Schülerinnen und Schülern angemessen untersuchen? Wie kann man dabei zu einem einigermaßen objektiven Urteil kommen? Woher nimmt man den Maßstab für Bestanden oder Durchgefallen?

3 Grundlage der heutigen Sitzung KMK-Standards zur Lehrerbildung: Kompetenzbereich: Beurteilen Lehrerinnen und Lehrer üben ihre Beurteilungsaufgabe gerecht und verantwortungsbewusst aus. Kompetenzbereich: Lehrerinnen und Lehrer diagnostizieren Lernvoraussetzungen und Lernprozesse von Schülerinnen und Schülern; sie fördern Schülerinnen und Schüler gezielt und beraten Lernende und deren Eltern

4 Aspekte diagnostischen Handelns Vergleich - dient Verhaltensbeschreibung - Basis: Informationen zu Art, Häufigkeit, Dauer, Intensität zu beurteilenden Verhaltens - in päd. Diagnostik wird verglichen: mit früherem Verhalten des gleichen Menschen mit dem Verhalten anderer Menschen mit Verhaltens standards - als Vergleichsmaßstäbe dienen in der pädagogischen Diagnostik individuelle, soziale und sachliche Bezugsnormen Analyse - fragt, warum Verhalten vom Standard abweicht - nicht Gesamtleistung, sondern Stärken und Schwächen der Leistung im Fokus

5 . Prognose - Pädagogische Diagnostik: Lehrer muss Schülerverhalten in andere Situationen oder in Zukunft extrapolieren Interpretation - Sammlung, Ordnung, Beurteilung & Gewichtung von Informationen - Zusammenfassung zu wertender Stellungnahme Mitteilung & - Mitteilung der Verhaltensbeurteilung an Lernende, Wirkungskontrolle Erziehungsberechtigte - Kontrolle der Wirkung der Mitteilung

6 Zusammenfassung - Schritte des Diagnostizierens 1. Informationen sammeln 2. Gewichten und Kombinieren -> Ziel: objektive, zuverlässige & gültige Prognose über zukünftiges Verhalten 3. Empfehlung Diagnostizieren ist ein Urteilsprozess, der unter Einsatz wissenschaftlicher Methoden erfolgen sollte, die gewährleisten, dass andere Personen beim Einsatz derselben Methoden zu denselben Empfehlungen hinsichtlich der Auswahl der geeigneten pädagogischen Interventionen kommen. (Leutner 2001 in Rost)

7 Standardisierte Forschungsinstrumente im Lehrerberuf? Aktuelle Studien (Spinath 2005) zu diagnostischer Kompetenz von Lehrern: Lehrereinschätzungen von Schüllerleistungen sind unterschiedlich akkurat Diagnostische Kompetenz von Lehrern: gering, sofern Lehrer dafür nicht entsprechende Messinstrumente nutzen (z.b. standardisierte Tests) -> Notwendigkeit Lehrer bei der Auswahl und fachgerechten Anwendung geeigneter Testverfahren zu schulen

8 GRUNDFRAGEN DES MESSENS UND SKALIERENS IN DEN SOZIALWISSENSCHAFTEN Welche Messinstrumente werden im pädagogisch - diagnostizierenden Handeln unterschieden? Wie konstruiert man pädagogisch-diagnostische Messinstrumente? Welche Qualitätskriterien sollten solche Messinstrumente erfüllen?

9 Messen ist die Bestimmung der Ausprägung einer Eigenschaft eines (Mess-) Objektes (Gegenstand, Ereignis, Person, Situation, Beurteilungssachverhalt) und erfolgt durch eine Zuordnung von Zahlen zu Messobjekten. Orth 1995 Messwerte sind immer eine Vergröberung und Vereinfachung einer differenzierten Beobachtung, die eine Vergleichbarkeit von Beobachtungen erst ermöglicht Methoden des Messens: - Tests - Verhaltensbeobachtung - Gespräch und Interview

10 Pädagogische Tests Erhebung diagnostischer Informationen über den Einsatz von Tests und Fragebögen besonders standardisierte Form der Informationsgewinnung, bei der der Proband Fragen oder Aufgaben schriftlich bearbeitet Standardisierung: Erhöhung der Objektivität eines Leistungstests & Minimierung der Fehleranfälligkeit beim Feststellen eines individuellen Leistungsstandes

11 Ein Test ist ein systematisches und routinemäßig einsetzbares Verfahren zur Messung definierter Ausschnitte menschlichen Verhaltens. Die Messung wird verwendet, um den Grad der Ausprägung einer sogenannten Eigenschaft, Fähigkeit oder Fertigkeit festzustellen oder/und um zukünftiges Verhalten vorherzusagen. (Hasselhorn & Gold 2006) Übersicht standardisierter pädagogischer Tests: u.a. Brickenkamp Handbuch psychologischer und pädagogischer Tests (Brähler,Holling,Leutner & Petermann 2002) sowie in der Reihe Tests und Trends der pädagogisch-psychologischen Diagnostik

12 Was bedeutet Standardisierung? Einhaltung spezieller Standards bei Entwicklung & Anwendung der Tests, um Gefahr eines Messfehlers möglichst gering zu halten minimalste Voraussetzung von Standardisierung: formelle Festlegung der Art der Testdurchführung Festlegung von Bewertungsnormen, auf deren Basis die individuellen Leistungen eingeordnet werden können (Hasselhorn & Gold 2006) Was sind Bezugs-/Bewertungsnormen? Bezugsnorm ( engl. reference norm): Standard, mit dem Resultat verglichen wird, wenn man es als Leistung wahrnehmen und bewerten will (Heckhausen 1974) Soziale Bezugsnorm, Individuelle Bezugsnorm, kriteriale Bezugsnorm

13 Um Standardisierung im engeren Sinne zu gewährleisten: LUKESCH 1998: 5 Schritte der Testkonstruktion Vorerprobung Ist der Test durchführbar? Sind die Aufgaben verständlich & eindeutig formuliert? Testdurchführung an einer kleinen Stichprobe Sind die Aufgaben angemessen? Ist der Schwierigkeitsgrad realistisch? Aufgaben- und Testanalyse Wie streuen sich die Aufgabenschwierigkeiten? (-> empfehlenswert sind Tests, bei denen die Aufgabenschwierigkeit zwischen 0,2 jeder 5. kennt die richtige Lösung- und 0,8-4 von 5 Personen kennen die richtige Lösung- liegt)

14 Testvalidierung Misst der Test, was er messen soll? (Validität) => Stimmt das Testergebnis mit der sonstigen Leistung des Schülers im getesteten Fach überein? Bsp.: DEMAT 3+ ergab einen statistischen Zusammenhang von r= zwischen Testleistung in Punkten und Mathematiknote = Schüler, die hohen Punktwert im Test erreichen (gut abschneiden), haben numerisch kleinere Noten in Mathematik Testeichung/ Normierung Wie ist die erreichte Einzelleistung in einer vergleichbaren Gruppe einzuordnen? Testdurchführung an großer & repräsentativer Stichprobe, um Vergleichsmaßstab zu generieren, der Grundlage für spätere Bewertung von Einzelleistungen bildet (Bsp.: IQ-Normierung: mittlere Leistung = Punktwert 100)

15 Und wie konstruiere ich als Lehrer ein formelles Testverfahren? 1. Definition des Curriculums - Curriculum ist ein Entwurf, das Aussagen über die angestrebten Ziele, Inhalte sowie über die Lernbedingungen, Medien, Methoden & Evaluationsverfahren macht - Evaluationsverfahren beziehen sich dabei auf die Verfahren, mit deren Hilfe Lehr-Lern-Prozesse überprüft werden - Curricula sind zumeist von Ministerien vorgegeben

16 2. Operationalisierung - Wie kann eine Erfassung der Lehr-Lern-Ziele erreicht werden? - Ausdruck-> mdl. Ausdruck; schriftl. Ausdruck; Zeichnung; Mimik; Gestik - Spiel, Gespräch, Fragebogen, Test, Beobachtung - Soll ein Testverfahren für den gesamten Inhalt des Curriculums entwickelt werden oder sollen für Teilaspekte spezifische Verfahren entwickelt werden? Global- vs. Skalenebene - Bsp.: Ermittelt man mit nur einem Verfahren die Ausprägung eines Merkmals (Rechtschreibfähigkeit) & nicht mit einzelnen Skalen, kann man keine Rückschlüsse auf Stärken & Schwächen des Schülers ziehen

17 3. Ableitung einer geeigneten Aufgabenform Welches ist die geeigneteste Form der Überprüfung? -> Möglichkeiten: Multiple-Choice-Test, Ergänzungsaufgaben 4. Ableitung von Items Welche Regeln & Konstruktionsschritte werden angewendet, um aus allgemeinen Überlegungen heraus, Items abzuleiten? Operationale Definition: bezieht sich auf den Vorgang, dass eine Sache dadurch definiert werden kann, dass eine Prozedur angegeben wird, mit deren Hilfe die Sache erfasst werden kann (Jäger 2000) - Bsp.: mit Hilfe eines Intelligenztests wird Intelligenz operationalisiert

18 5. Empirische Überprüfung an Analysestichprobe 6. Itemrevision (wenn Items zu schwer) 7. Erhebung von Vergleichsdaten (Wie viele Schüler haben eine vergleichbare Leistung erreicht?) 8. Gewinnung von Daten zur Objektivität, Reliabilität & Validität Bsp.: Inhalts-Validität: Wenn z.b. bei Schüler und Schülerinnen der 7. Klassenstufe mit Hilfe eines Geometrietests die Fähigkeit erfasst werden soll, Spiegelungen zu erfassen, muss gefragt werden, ob Spiegelungen Teil des Curriculums dieser Klassenstufe sind.

19 Ausmaß der Standardisierung Formelle Tests - basieren auf spezifischer Testtheorie - hohes Maß an Standardisierung bei Testdurchführung, Testauswertung & Interpretation - an umfangreichen Stichproben geeicht (normiert), um Vergleichbarkeit der Position eines Individuums zu sichern Informelle Tests - für aktuelle Testzwecke zusammengestellte Instrumente - nicht geeicht, können aber dennoch auf einer Testtheorie basieren - Sonderform: Lernzielorientierte Tests (Klauer 1987)

20 Bezug beim Vergleich von Testergebnissen Normorientierte Tests - verwenden eine soziale Bezugsnorm - verwenden eine soziale Bezugsnorm - dienen dem Vergleich einer getesteten Person mit einer Gruppe vergleichbarer Personen - z.b. klassische Intelligenztests

21 Kriteriumsorientierte Tests -verwenden kriteriale Bezugsnorm - dienen dem Vergleich einer getesteten Person mit einem zuvor & unabhängig von anderen Personen festgelegten Kriterium - zu testende Personen sollen möglichst gut in der Umgebung des Kriteriums (z.b. Lernziel) voneinander unterscheidbar sein Lerntests - verwenden individuelle Bezugsnorm - dienen dem Vergleich einer getesteten Person mit einem Testergebnis derselben Person zu einem früheren Zeitpunkt - bergen die Gefahr, dass stabile Leistungsunterschiede zwischen Schülern ausgeblendet werden

22 Art der zugrunde liegenden Testtheorie Klassisch konstruierte Tests - basieren auf klassischer Testtheorie -> Antwort des Probanden spiegelt wahren Wert (tatsächliche Ausprägung der zu erfassenden Eigenschaft) & Messfehler wider - Ziel der Testkonstruktion ist hohe Trennschärfe/Reduzierung des Messfehlers

23 Wie interpretiere ich erhaltene Testwerte? Grundbegriffe: Rohwert = Anzahl richtig gelöster Aufgaben im Test - Rohwerte allein geben das Leistungsvermögen einer Person nicht wirklich wider

24 Prozentrangnormen - um zu Prozentrangnormen zu gelangen, fasst man die Rohwerte zu Rohwertklassen zusammen, die jeweils gleiche Prozentanteile in der Gesamtverteilung der Rohwerte ausmachen - der Prozentrang gibt an, wie viel Prozent der Eichstichprobe genau so viele oder noch weniger Testitems richtig gelöst haben - Bsp.: PR=60 60 % der Personen der Eichstichprobe haben genau so viele oder weniger Testitems richtig gelöst - Normalverteilungsannahme fehlt hier aber!

25 Ein Lehrer kann daran sehen, dass ein Schüler bzw. eine Schülerin mit einem Testrohwert von 75 Punkten im Prozentrangband liegt. Das heißt, die Testleistung ist mindestens gleich gut oder besser als die von 73% der Gruppe der Zweitklässler und höchstens gleich gut oder schlechter als die von 89%. In diesem Bereich liegt der wahre Wert des Schülers

26 Vorteil Prozentränge: Anschaulichkeit Nachteil Prozentränge: im Gegensatz zu Standardnormen sind Prozentränge nur ordinal-, nicht aber intervallskaliert -> Man kann also nicht sagen, dass der "Abstand zwischen den Prozenträngen 50 und 70 genauso groß ist wie der zwischen den Prozenträngen 70 und 90

27 Warum nicht normalverteilt? -> weil in Stichproben fast immer Verzerrungen auftreten daher Umwandlung der Prozentränge in T-Werte (Standardisierung) Bei der Interpretation der Normwerte ist darauf zu achten, dass der ermittelte Bei der Interpretation der Normwerte ist darauf zu achten, dass der ermittelte Normwert eine Schätzung des wahren Wertes darstellt, für die das entsprechende Vertrauensintervall berücksichtigt werden muss. Dieses Vertrauensintervall gibt an, in welchem Bereich (Intervall) der wahre Wert mit einer bestimmten Wahrscheinlichkeit liegt.

28 Normwert = Position einer getesteten Person im Maßstab der Eichstichprobe (T-Werte, Z-Werte und IQ-Werte) - Normwerte durch die Eichung des Tests zur Verfügung: auf Grund der mittleren Leistung & der Verteilung einer Eichstichprobe lässt sich jedem Rohwert ein Normwert zuordnen

29 WS 09/10:Diagnostik und Evaluation

30 WS 09/10:Diagnostik und Evaluation

31 Verhaltensbeobachtungen Beobachtung ist das grundlegende Verfahren der empirisch forschenden Sozialwissenschaften und der Erziehungswissenschaften. (Roth 2001) - umfasst jegliche Form der Beobachtung einer Person in realen und simulierten Situationen (Bsp. Reale Situation- Unterricht; Bsp. Simulierte Situation- Rollenspiel) Bsp.: Ein Lehrer geht über den Schulhof. Er schaut eher zu, als das er beobachtet. Das heißt, würde man ihn nach seinem Spaziergang nach Häufigkeit & Schwere aggressiver Handlungen, Gesprächskontakten zwischen Mädchen & Jungen der 5. & 6. Klassenstufe o.ä. fragen, wäre er überfragt.

32 Qualität einer Verhaltensbeobachtung ist abhängig vom Kategoriensystem zur Protokollierung des beobachteten Verhaltens & vom Training des Beobachters, damit grundlegende Beobachtungsfehler vermieden werden können Naive Beobachtung systematische/wissenschaftliche Beobachtung Die Lehrkraft sollte in Beobachtungsbögen, Gutachten usw. nicht nur zum Verhalten des Schülers Stellung nehmen, sondern auch Rückschlüsse auf Charaktermerkmale ziehen & Prognosen über die künftige Entwicklung stellen

33 Dabei hat sie folgende Möglichkeiten der wissenschaftlichen Beobachtung: unsystematische & systematische Beobachtung nicht-teilnehmende & teilnehmende Beobachtung Beobachtung von Ereignis- & Zeitstichproben

34 Gefahr von Beobachtungsfehlern - Beobachtungsfehler = Fehler, die mit begrenztem Vermögen bzw. fehlendem Willen des Beobachters zu tun haben (geringe Sorgfalt, Langeweile, Müdigkeit, Unvertrautheit mit der Situation der Leistungsbeurteilung) - Nicht alle für das Urteil relevanten Verhaltensweisen werden wahrgenommen

35 Gefahr von Beurteilungsfehlern Typische Beurteilungsfehler (Hasselhorn & Gold 2006): Mildeeffekt: Voreingenommenheit führt zu positiverer Beurteilung einer Person Großzügigkeitsfehler: Alle Personen werden günstiger beurteilt als angemessen-bezug zur sachlichen Norm (kriteriale Norm) ist verlorengegangen Halo- oder Hofeffekte: Urteil wird von einer markanten Eigenschaft der zu beurteilenden Person (Aussehen, Mundart) beeinflusst. Verzerrung des Urteils kann sich zu Gunsten als auch zu Ungunsten der zu beurteilenden Person auswirken

36 Logischer Fehler: Fälschliche Annahme über Zusammenhang zweier Merkmale beeinflusst das Urteil Lehrer glaubt, dass viele Rechtschreibfehler die Folge geringer Intelligenz seien Tendenz zur Mitte: Manche Urteiler meiden extreme Urteile, was zur Folge hat, dass sie nur mittlere Bewertungen (z.b. nur Zensuren zwischen 2 und 4) abgeben. Tendenz zu extremen Urteilen

37 VIELEN DANK FÜR IHRE AUFMERKSAMKEIT!! Das nächste Mal: hören wir REFERAT 1