Diagnostizieren und Evaluieren

Transkript

1 Christian-Albrechts-Universität zu Kiel Arbeitseinheit Psychologie für Pädagogen Diagnostizieren und Evaluieren Prof. Dr. Jens Möller 1

2 Christian-Albrechts-Universität zu Kiel Arbeitseinheit Psychologie für Pädagogen Diagnostizieren und Evaluieren Lesekompetenz und Lesemotivation Vom Wiegen und Füttern! 2

3 Befunde aus PISA-E 2000 (Lesen) Ausgewählte OECD-Staaten Mittelwert Länder der Bundesrepublik Finnland (546/2,6) OECD-Durchschnitt (500/0,6) Australien (528/3,5) Vereinigtes Königreich (523/2,6) Japan (522/5,2) Schweden (516/2,2) Österreich (507/2,4) Vereinigte Staaten (504/7,0) Bayern (510/4,0) Baden-Württemberg (500/5,5) Deutschland gesamt (484/2,5) Schweiz (494/4,2) Italien (487/2,9) Portugal (470/4,5) Sachsen (491/5,0) Rheinland-Pfalz (485/6,6) Saarland (484/2,4) Nordrhein-Westfalen (482/2,6) / Thüringen (482/7,0) Schleswig-Holstein (478/4,2) Hessen (476/6,6) Niedersachsen (474/4,9) Mecklenburg-Vorpommern (467/5,9) Brandenburg (459/6,3) 450 Sachsen-Anhalt (455/5,9) Brem en (448/4,1) Luxemburg (441/1,6) 3

4 Vom vielen Wiegen wird die Sau nicht fetter 4

5 Christian-Albrechts-Universität zu Kiel Diagnostizieren und Evaluieren Lesekompetenz und Lesemotivation 1. Diagnostische Expertise von Lehrkräften 2. Eine diagnostische Übung 3. Diagnostizieren in LISA 4. Evaluieren in NZL 5. Evaluation in Schulen 5

6 1. Diagnostische Expertise von Lehrkräften Diagnose der Lehrkraft Unter Kompetenzstufe I Leistung im PISA-Test Kompetenzstufe I Über Kompetenzstufe I Schwacher Leser 11,4 3,7 2,8 Nicht schwacher Leser 88,6 96,3 97,2 6

7 1. Diagnostische Expertise von Lehrkräften Objektivität Ein Test gilt als objektiv, wenn er hinsichtlich der Durchführung, der Auswertung und der Interpretation unabhängig vom jeweiligen Anwender ist, d.h. wenn andere Personen auf der Basis des eingesetzten Tests zu denselben Aussagen kommen würden. 7

8 1. Diagnostische Expertise von Lehrkräften Objektivität von Noten: Die gleiche Klassenarbeit wird von verschiedenen Lehrkräften unterschiedlich benotet. Aber: hohe Übereinstimmung im Ranking der Arbeiten. Schwäche von Noten: mangelnde Vergleichbarkeit zwischen Klassen, da Lehrkräfte einen klasseninternen Maßstab verwenden. 8

9 1. Diagnostische Expertise von Lehrkräften Schulleistung Big Fish in a little Pond -Effekt Einfluss der Klassenleistung auf Noten und Selbstvertrauen M Klasse1 Gleiche Leistung zweier Schüler M Klasse2 Klasse 1 Klasse 2 9

10 1. Diagnostische Expertise von Lehrkräften Reliabilität Ein Test gilt als reliabel, wenn er das, was er misst, möglichst fehlerfrei misst. Dies ist dann gegeben, wenn im Idealfall dasselbe Instrument, zur selben Zeit wiederholt angewendet auf dieselben Personen, zu identischen Aussagen führt. 10

11 1. Diagnostische Expertise von Lehrkräften Reliabilität von Noten Lehrerurteile können verzerrt werden u. a. durch Beobachtungsmängel Erinnerungsfehler (Vergessen, Hinzufügen) Urteilstendenzen (Milde, Strenge) Erwartungseffekte Sympathie/Antipathie 11

12 1. Diagnostische Expertise von Lehrkräften Validität Ein Test gilt als valide, wenn er das, was er messen soll, auch tatsächlich misst (Noten in ähnlichen Schulfächern sollten positiv korreliert sein, Noten sollten gute Prognosen erlauben). 12

13 1. Diagnostische Expertise von Lehrkräften Validität von Noten Noten unterschiedlicher Fächer hängen relativ eng zusammen! Gesamtnoten sind die besten Prädiktoren für den Ausbildungs- und Studienerfolg! Keine Einzelnote aus einem der Kernfächer hat eine so hohe Prognosekraft wie die Gesamtnote. Die höchste Prognosekraft ergab sich für die Mathematiknote und für fachaffine Noten. 13

14 1. Diagnostische Expertise von Lehrkräften Fazit Noten (Lehrerurteile) sind nicht so schlecht wie ihr Ruf! Noten sind multikriterial. Lehrerurteile dürfen Schülerleistungen leicht überschätzen! Diagnostische Expertise fördert den Unterricht, wenn strukturiert Wissenslücken geschlossen werden. 14

15 Christian-Albrechts-Universität zu Kiel Diagnostizieren und Evaluieren Lesekompetenz und Lesemotivation 1. Diagnostische Expertise von Lehrkräften 2. Eine diagnostische Übung 3. Diagnostizieren in LISA 4. Evaluieren in NZL 15

16 2. Eine diagnostische Übung Betrachten Sie sorgfältig die in Kürze erscheinende Wortfolge! 16

17 2. Eine diagnostische Übung Bonbon, sauer, Zucker, bitter, gut, Geschmack, Zahn, schön, Honig, Soda, Schokolade, Herz, Kuchen, essen, Torte 17

18 2. Eine diagnostische Übung Sie haben nun eine Minute Zeit, um alle Wörter aufzuschreiben, an die Sie sich erinnern können. 18

19 2. Eine diagnostische Übung Wie viele Wörter haben Sie erinnert? Wer hat aufgeschrieben? Geschmack Punkt Süß 19

20 2. Eine diagnostische Übung Zahn Bonbon Drops Zucker süß Schokolade ungesund sauer essen Geschmack 20

21 2. Eine diagnostische Übung Junge witzig Klassenkasper unkonzentriert ablenkend Schlechte Noten unbeliebt beim Lehrer beliebt in der Klasse Lautstärke 21

22 2. Eine diagnostische Übung Aufwand Leistung Noten Diagnostizieren Kontrolle Evaluieren sinnvoll Unruhe Konsequenzen Förderung 22

23 Christian-Albrechts-Universität zu Kiel Diagnostizieren und Evaluieren Lesekompetenz und Lesemotivation 1. Eine diagnostische Übung 2. Diagnostische Expertise von Lehrkräften 3. Diagnostizieren in LISA 4. Evaluieren in NZL 5. Evaluieren in Schulen 23

24 3. Diagnostizieren in LISA Lesen in der Sekundarstufe: 24

25 Entwicklung von Lesekompetenz Entwicklung von Lesefertigkeiten bzw. Vorläuferfähigkeiten im Vor- und Grundschulalter (Oerter, 1999; Schneider, 2004) Früh erworbene Lesefertigkeit beeinflusst die spätere Leseleistung (Cunningham & Stanovich, 1997) Selektion kann mit differenziellen Leistungszuwächsen einhergehen (Schereneffekte) Förderung auch in der Sekundarstufe als wichtige Aufgabe der Schule (Artelt et al., 2001) 25

26 3. Diagnostizieren in LISA Wen untersucht LISA? Ursprüngliche Stichprobe (1. Messzeitpunkt, 2004): N = 1455 SchülerInnen aus 60 Schulklassen, davon: 13 Hauptschulen 22 Realschulen 21 Gymnasien 4 Gesamtschulen 26

27 3. Diagnostizieren in LISA Teilnehmende Schulen 27

28 28

29 29

30 3. Diagnostizieren in LISA Lesetests LISA Materialien Beispiel für eine offene Frage: 30

31 3. Diagnostizieren in LISA Lesetests Beispiel für eine Multiple-Choice-Frage: 31

32 3. Diagnostizieren in LISA Veranschaulichung der Leseskala Erklären durch Integration der Information Warum muss es Tag sein, wenn die Kinder die jungen Papageientaucher freilassen? Benutze Informationen aus dem Text, um das zu erklären Wo verbringen die Papageientaucher den Winter? A in den Klippen B am Strand C auf hoher See D auf dem Eis 300 Einfache Informationsentnahme Weshalb kommen die Papageientaucher zur Insel? A um gerettet zu werden B um nach Nahrung zu suchen C um Eier zu legen D um fliegen zu lernen 32

33 3. Diagnostizieren in LISA Dekodiergeschwindigkeit Textausschnitt: Vor langer, langer Zeit lebten elf Zwerge im Wald hinter den drei großen Bergen zwischen zwei Flüssen. Um ihr Haus herum hatten sie fünfzig Tannen gepflanzt, so dass niemand von außen ihr Haus sehen konnte. Sie standen immer morgens früh um sechs Uhr auf und machten sich auf den Weg zu den drei Bergen, in denen sie Gold, Silber und Diamanten abbauten. In der Gold- und Silbermine arbeiteten immer vier Zwerge zusammen, in der für die Diamanten aber nur drei, da die Mine so klein war, dass mehr als drei Zwerge keinen Platz gefunden hätten 33

34 3. Diagnostizieren in LISA Dekodiergeschwindigkeit Textausschnitt: Vor langer, langer Zeit lebten elf Zwerge im Wald hinter den drei großen Bergen zwischen zwei Flüssen. Um ihr Haus herum hatten sie fünfzig Tannen gepflanzt, so dass niemand von außen ihr Haus sehen konnte. Sie standen immer morgens früh um sechs Uhr auf und machten sich auf den Weg zu den drei Bergen, in denen sie Gold, Silber und Diamanten abbauten. In der Gold- und Silbermine arbeiteten immer vier Zwerge zusammen, in der für die Diamanten aber nur drei, da die Mine so klein war, dass mehr als drei Zwerge keinen Platz gefunden hätten 34

35 3. Diagnostizieren in LISA Lesekompetenz getrennt nach Schulform 700,00 600,00 500,00 400,00 300,00 200,00 HS GES RS GYM 100,00 0,00 5. Klasse 6. Klasse 8. Klasse 35

36 3. Diagnostizieren in LISA Lesekompetenz getrennt nach Schulform 1,5 1 0,5 0 0,5 1 hs ges rs gym 1,5 5. Klasse 6. Klasse 8. Klasse 36

37 3. Diagnostizieren in LISA Dekodierfähigkeit 600,00 500,00 400,00 300,00 200,00 100,00 HS GES RS GYM 0,00 5. Klasse 6. Klasse 8. Klasse 37

38 L E S E M O T I V A T I O N Leselust Lesen gehört nicht gerade zu meinen Lieblingsbeschäftigungen. (u) Wenn ich genügend Zeit hätte, würde ich noch mehr lesen. Es macht mir Spaß, Bücher zu lesen. Ich finde Lesen interessant. Ich lese gerne zu Hause. Leseinteresse Wenn der Lehrer im Unterricht etwas Interessantes bespricht, kann es gut sein, dass ich mehr darüber lese. Ich lese, um Neues über Themen zu erfahren, die mich interessieren. Ich lese gerne etwas über neue Dinge. Es ist mir sehr wichtig, gut lesen zu können. Ich bin überzeugt, dass ich beim Lesen eine Menge lernen kann. Lesen ist wichtig, um Dinge richtig zu verstehen. Wettbewerb Wenn wir im Unterricht lesen, versu-che ich, besser zu sein als die anderen. Ich bin gerne vor den anderen fertig, wenn wir einen Text im Unterricht lesen. Ich strenge mich an, um besser zu lesen als die anderen. Ich bin gern der Beste im Lesen. Leseselbstkonzept Ich habe manchmal Schwierigkeiten, einen Text wirklich gut zu verstehen. Ich kenne oft nicht alle Wörter, wenn ich einen Text lese. Ich kann Texte sehr gut und schnell verstehen. Ich muss vieles erst mehrmals lesen, bevor ich es richtig verstanden habe. 38

39 3. Diagnostizieren in LISA Leselust ( Lesen gehört zu meinen liebsten Hobbies ; von 1 = trifft gar nicht zu bis 4 = trifft sehr zu) 4,00 3,50 3,00 2,50 2,00 1,50 HS GES RS GYM 1,00 5. Klasse 6. Klasse 8. Klasse 39

40 3. Diagnostizieren in LISA Leselust getrennt nach Schulform 4 3,5 3 2,5 2 1,5 hs ges rs gym 1 5. Klasse 6.Klasse 8. Klasse 40

41 3. Diagnostizieren in LISA Lesezeit: Klasse Hauptschule Wie viel Zeit verbringst Du normalerweise jeden Tag damit, zu deinem Vergnügen zu lesen? Antwort Ich lese nicht zum Vergnügen (in Prozent) Klasse 6. Klasse 8. Klasse gesamt Jungen Hauptschule Mädchen Hauptschule 41

42 3. Diagnostizieren in LISA Fazit Deutliche Schulformunterschiede im Ausgangsund Endniveau von Lesekompetenz und Leselust Kaum Schulformunterschiede in der Entwicklung der Lesekompetenz Stärkerer Rückgang der Leselust auf der Hauptschule als auf dem Gymnasium Aber: Vom Wiegen allein.. 42

43 Christian-Albrechts-Universität zu Kiel Diagnostizieren und Evaluieren Lesekompetenz und Lesemotivation 1. Diagnostische Expertise von Lehrkräften 2. Eine diagnostische Übung 3. Diagnostizieren in LISA 4. Evaluieren in NZL 5. Evaluation in Schulen 43

44 Vom vielen Wiegen wird die Sau nicht fetter 44

45 Vom vielen Wiegen wird die Sau nicht fetter Name: Maisbauer antwortet um :01 auf diesen Beitrag Tagebuch Mobile Waage für Schweine Ich hab seit zwei Jahren eine mobile Waage. Von Meier-Brakenberg. Am Anfang hab ich sie oft benutzt. Mittlerweile hab ich schon ein Gespür für das Gewicht meiner Schweine. Ich bin der Meinung, dass etwas Erfahrung die Investition in eine solche Waage aufhebt. Hab sie sicher schon ein halbes Jahr nicht mehr verwendet. Ist auch etwas umständlich. Grüße, Alois 45

46 Förderung von Lesekompetenz und Lesemotivation Ergebnisse der wissenschaftlichen Begleitung 2008 Gesa Ramm, IQSH Olaf Köller, IQB Berlin Jens Möller, Universität Kiel 46

47 4. Evaluieren im Projekt Niemanden zurück lassen (NZL) Projektskizze 1. Jährliche Einschätzung der Lesekompetenz und Lesemotivation an Hauptschulen (Tests und Fragebögen) 2. Bereitstellung zusätzlicher Unterrichtsstunden zur Leseförderung 3. Materialordner mit einer Vielfalt von Aufgabenmaterial 4. Persönliche Lesemappe für Schülerinnen und Schüler 5. Externe Beraterinnen und Berater unterstützen die Schulleitungen 6. Weiterbildung der Lehrkräfte in Qualitätsforen 47

48 4. Evaluieren in Niemanden zurück lassen Wirkungsweise des Beraterkonzeptes (vereinfachte Darstellung) Umgang mit Schüler/innen Berater/in Lesekompetenz Schulleiter/in & Lehrkräfte Gestaltung von Unterricht Portfolio, Lesematerialien Gestaltung von Schule, z.b. Büchereien Selbstkonzept Leseaktivität Lesemotivation 48

49 Arbeit mit den Lesemappen Leise lesen über Gelesenes kommunizieren 49

50 Lesepaten ermöglichen Anschlusskommunikation sind Vorbild helfen bei der Textsuche begleiten das leise Lesen lesen vor.. Ein Lesepate braucht Anleitung! 50

51 Erlaubt ist was gefällt - aber leise! 51

52 52

53 Lesequantität und Lesequalität: Lesestrategien - Lesetipps - Aufgabenstellungen mit Lesestrategien 53

54 4. Evaluieren in Niemanden zurück lassen Der Schülerfragebogen N = 2224 Schülerinnen und Schüler aus NZL-Projektschulen (Hauptschulen) 54% Jungen 20.3% mit Migrationshintergrund N = 194 aus Vergleichsklassen 54

55 4. Evaluieren in Niemanden zurück lassen Evaluationskriterien (Auswahl) Lesekompetenz (Vergleich NZL- vs. Vergleichsgruppen) über die Jahre Lesemotivation Lesezeit Bewertung der NZL-Materialien 55

56 4. Evaluieren in Niemanden zurück lassen Die Fragebogenuntersuchung Adressatenspezifische Fragebögen für Schülerinnen und Schüler Lehrerinnen und Lehrer Schulleiterinnen und Schulleiter Schulrätinnen und Schulräte Beraterinnen und Berater 56

57 4. Evaluieren in Niemanden zurück lassen Einstellung zu den Materialien Schüler vs. Lehrkräfte negativ Lehrer Schüler positiv 1 Mappe Tipps Texte Aufg. Woche 57

58 4. Evaluieren in Niemanden zurück lassen Gesamtbewertung durch die Lehrkräfte Lehrkräfte in % Ablehnung (Skalenwerte < 3) Mittlere Zustimmung (3-5) Volle Zustimmung (> 5) Zustimmung 58

59 4. Evaluieren in Niemanden zurück lassen Längsschnittbefunde Veränderungen von der 5. zur 6. Jahrgangsstufe Vergleichsgruppe: LISA-Studie Komplexes Testdesign 59

60 4. Evaluieren in Niemanden zurück lassen Längsschnittbefunde -Testdesign LISA NZL Text 5. Jg. 6. Jg. 5. Jg. 5. Jg. 6. Jg. Mäuse Papageientaucher Juan Ich bin doch nicht blind Mücken Zauberer Anzeigen 60

61 4. Evaluieren in Niemanden zurück lassen Lesekompetenz NZL Projektschulen LISA 5. Klasse 6. Klasse 61

62 4. Evaluieren in Niemanden zurück lassen Kompetenzzuwächse in den Schulen 200 Zuwachs von der 5. zur 6. Jg

63 4. Evaluieren in Niemanden zurück lassen Kompetenzzuwächse & Migrationsstatus 650 Migrationshintergrund kein Migrationshintergrund Lesekompetenz Jg. 6. Jg Jahrgangsstufe 63

64 4. Evaluieren in Niemanden zurück lassen Kompetenzzuwächse & Geschlecht 650 Mädchen Jungen Lesekompetenzen Jg. 6. Jg Jahrgangsstufe 64

65 4. Evaluieren in Niemanden zurück lassen Zusammenfassung Vom Beginn der 5. bis zur Mitte der 6. Jahrgangsstufe haben die Lesekompetenzen in den NZL-Schulen deutlich zugenommen. Der Kompetenzzuwachs ist dabei erheblich höher als in der Vergleichsstichprobe aus der LISA-Studie. Besonders profitiert haben Schülerinnen und Schüler mit Migrationshintergrund, deren Leistungsrückstände sich von der 5. zur 6. Jahrgangsstufe reduziert haben. Der Anteil besonders schwacher Leser in den NZL-Schulen liegt in der 6. Jahrgangsstufe bei rund einem Drittel der Schülerinnen und Schüler. Mit ganz wenigen Ausnahmen zeigt sich, dass auch auf Einzelschulebene die Kompetenzen im Untersuchungszeitraum substanziell zugenommen haben. 65

66 4. Evaluieren in Niemanden zurück lassen Zusammenfassung Mit ganz wenigen Ausnahmen zeigt sich, dass auch auf Einzelschulebene die Kompetenzen im Untersuchungszeitraum substanziell zugenommen haben. Die Lesetests werden von weit mehr als der Hälfte der Lehrkräfte für nützlich bei der Leseförderung gehalten. Die einzelnen Materialien werden von den Schülern akzeptiert, von den Lehrern noch positiver bewertet. Auch das Programm insgesamt stößt auf Zustimmung! Entscheidend wird sein, wie sich die Lesekompetenz längerfristig entwickelt. 66

67 Christian-Albrechts-Universität zu Kiel Diagnostizieren und Evaluieren Lesekompetenz und Lesemotivation 1. Diagnostische Expertise von Lehrkräften 2. Eine diagnostische Übung 3. Diagnostizieren in LISA 4. Evaluieren in NZL 5. Evaluieren in Schulen 67

68 5. Evaluieren in Schulen Arbeitsauftrag Welche Maßnahme an Ihrer Schule sollte evaluiert werden? Denken Sie gemeinsam mit Ihrem Sitznachbarn darüber nach, wie vorzugehen wäre! Beachten sie folgende Aspekte: 1. Fragestellung 2. Stichprobe 3. Messung (Fragebogen? Beobachtung? Tests?) 4. Auswertung 68

69 5. Evaluieren in Schulen Aspekte einer Evaluation 1. Entwicklung der Fragestellung (Bsp. NZL: Gelingt die Förderung der Lesekompetenz?) 2. Stichprobe (Bsp. NZL: repräsentative Stichprobe von Fünftklässlern) 3. Messung der relevanten Phänomene (Bsp. NZL: Lesetests, Fragebogen usw.) 4. Auswertung (Bsp. NZL: Prozentzahlen; Mittelwertsvergleiche, Inferenzstatistik) 69

70 5. Evaluieren in Schulen Aspekte einer Evaluation 1. Entwicklung der Fragestellung 2. Stichprobe 3. Messung der relevanten Phänomene 4. Auswertung 70

71 71