Der Beitrag der Lehr-Selbstevaluation für das tertiäre Lehren und Lernen. Überblick. Historie der Forschungsbasis zur Lehreffektivität 2

Transkript

1 Überblick Der Beitrag der Lehr-Selbstevaluation für das tertiäre Lehren und Lernen Wolfgang Beywl FHNW PH Forschungsbasis zur Lehreffektivität Rückmeldungen und formative Evaluation - ihr Beitrag zur Qualität der Lehre Vorstellung von Methoden und Beispielen Prinzipien der Evaluation der tertiären Lehre 1 2 Historie der Forschungsbasis zur Lehreffektivität 1 Historie der Forschungsbasis zur Lehreffektivität 2 an Hochschulen Herbert J. Walberg 1987 (mit Hattie) Robert J. Marzano Hatties 250+ Liste 2017/18 Michael Schneider Francis Preckel 2017 Variables associated with achievement in higher education: A systematic review of meta analyses. In: Psychological Bulletin, Jg. 143, 6, S Faktoren Karl Frey ab ca posthum John Hattie 2009/13 Zwei Jahreszahlen: en und de Veröffentlichung 63 Faktoren 3 4

2 Arbeitsdefinition tertiäre Lernleistung Sichtbares Lehren und Lernen Hebel zur Lehreffektivität «Leistungsergebnisse, die auf das Ausmaß hinweisen, in dem eine Person bestimmte Ziele erreicht hat, die im Mittelpunkt der Aktivitäten in hochschulischen Lehrumgebungen stehen.» Schneider & Preckel, 2017, S. 1 «wenn Lernen das explizite Ziel ist, wenn es ausreichend anspruchsvoll ist, wenn sowohl die Lehrperson als auch die Lernenden (jeweils auf ihre Weise) überprüfen, ob und in welchem Ausmaß das anspruchsvolle Ziel erreicht ist, wenn es absichtsvolles Lernen gibt, um die Beherrschung des Ziels zu erreichen, wenn Feedback gegeben und eingefordert wird. Es geht darum, dass Lehrpersonen das Lernen mit den Augen der Lernenden betrachten und Lernende das Lehren als Schlüssel zu ihrem fortdauernden Lernprozess erkennen.» Hattie 2013; engl. Original 2009, S Grundlage der Meta-Synthese Schneider/Preckel Datenbasis von 124 identifizierten Meta-Analysen (23 nach 2004 veröffentlicht) nach strenger Qualitätskontrolle 38 weiterverarbeitet einbezogene Primärstudien mit ca. 2 Mio. Studierenden 105 meist unabhängige «Variablen» (nachfolgend «Faktoren») werden den beiden Domänen «Lehre» und «Studierende» mit insgesamt 11 Subdomänen zugewiesen Nachfolgende Darstellung beschränkt sich auf fünf der sechs Subdomänen der Domäne Lehre (instruction). [weg gelassen: Subdomäne 6«Extracurriculare Veranstaltungsformen»] Desiderat : Es fehlt im Unterschied zu Hattie/Helmke ein explizites Modell des Lehr-/Lernprozesses. 7 1 Interaktion Effektive Kommunikation in intellektuell und emotional anregendem Lernklima Ermutigen zum Fragenstellen und zur Diskussion d=0.77 Ansprechbarkeit und Unterstützungsbereitschaft der Hochschullehrperson Stellen offener Fragen Studieren in Kleingruppen-Settings (bei klarer Rollenzuweisung/passenden Aufgaben) Zugewandtheit und Respekt für Studierende (Augenhöhe) d=0.47 8

3 2 Anregen bedeutungsvollen Lehrens Veranstaltung konzeptionell-methodisch auf passendem Niveau Vorbereitetsein und Organisiertheit der Hochschullehrperson d= 1.39 Klarheit von Zielen und Anforderungen der Veranstaltung Relationierung des Lehrkontexts an Erfahrungskontext Studierende Intellektuelle Herausforderung / Ermutigung zu unabhängigem Denken Konzeptionell ausgerichtete Aufgaben Problembasiertes Lernen für Fähigkeitserwerb Concept Maps Advance Organizer (d=0.26) Problembasiertes Lernen für Wissenserwerb (d = -0.22) 3 (Formatives) Assessment Erfassung Lernstand/-fortschritt der Studierenden; Einleitung nächster Schritte Studentisches Peer-Vorab-Assessment (d= 1.91) Studentisches Vorab-Selbst-Assessment Lehrenden-Kompetenz, Lernstand- und fortschritt wahrzunehmen (d=0.63) Qualität und Fairness summativer Prüfungen Mastery Learning Qualität und Häufigkeit des Lernfeedbacks Testhilfen (z. B. «open book»; Notizen) Häufiges Testen (d = 0.24) Auftritt Hochschullehrperson, Informationsdarbietung und verarbeitung Überzeugende, klare, fokussierte, komplementäre Präsentation der Hochschullehrperson Klarheit der Hochschullehrperson (d=1.35) Lehr-Anregungsniveau für Veranstaltungsinhalte Verbale Artikulationskompetenz der Hochschullehrperson Leidenschaft der Hochschullehrperson für Fach und Inhalt Verbale Erläuterungen zu visuellen Darstellungen Animierte Visualisierungen Verbale (vs. geschriebene) Erläuterungen Studentisches Notizenmachen (d=0.14) Ausschmückende Informationen (d =-0.30) 5 Digitalisierung und Technologie Digitale Tools zur Lernunterstützung, auch in Kombination mit Präsenzformaten Games mit virtueller Realität (d=0.5) Simulationen mit virtueller Realität Intelligente digitale Tutoring-Systeme Blended Online-Learning Technologieunterstützes Gruppenlernen Online-Lernen (d=0.05) 11 12

4 Angebots-Nutzungsmodell nach Helmke (+Hattie) + Formative Evaluation der Lehre durch die lernende Lehrperson Lernvoraussetzungen Leistungsniveau- Schätzung durch Lehrende Selbsteinschätzung Leistungsniveau durch Studierende Unterrichten Plenumsdiskussionen Reziprokes Lehren Feedback Lernhandeln Text lesen Frage stellen Aufgabe bearbeiten Text schreiben Vortrag halten. Lehrende LP-Stud.-Beziehung Glaubwürdigkeit Klarheit Micro-Teaching Studienleistungen Legende Domäne b.hattie Faktor(sehr stark) Richtungen von Rückmeldungen Lehrende an SuS als Einzelne / als Gruppe =Lernfeedback SuS an Lehrende =Unterrichtsfeedback lehrende Peers lernende Peers 13 SuS= Studentinnen und Studenten 14 Formative Rückmeldeverfahren zur Förderung von Studieren und Lehren Lob LP SuS Lern Formatives Feedback Assessment LP SuS des Studierens = formatives Bewerten Selbst Lern Feedback SuS Peer Lern Feedback Peers SuS Formative Evaluation des Lehrens LP = Lehrende Person SuS = Studentinnen und Studenten 13 Unterrichtsintegrierte formative Assessment-Methoden systematisch informell i.d.r. extern begleitet l lebendiger Fragebogen k Klebepunkt-Abfrage (Skala/Matrix/Koord.-System) j kollegiale Beobachtung i Berggipfel mit Haftnotizen h Klicker-Systeme g Plakate mit offenen Fragen f Digitalfotos von c, d e Mini-Whiteboards/-Screenboards d Signalkarten c Austritts-Tickets/-Pässe b Blitzlicht/ a Pausengespräch Aufwand: gering mittel hoch p Lesson-/Learning Study o Luuise-Projekt n kollegiales Unterrichtscoaching m Beobachtung nach Luuise-Prinzip + mit Material vorbereitet + Plan & Bericht + Kriterien + dokumentiert Methode ist geeignet für - Lehr-Assessment - Lehr-Assessment und Studier-Assessment sichtbar 16

5 Dylan Wiliam: 50 Methoden Beispiel aus der Praxis von Monika Wyss, Zentrum für Lernen und Lehren (HSLU) «Der unklarste Punkt bis jetzt» (Muddiest Point) Vor der Pause abgefragt «Skalenfrage» Text sehr einfach - sehr komplex Lehr-Lernhandlungen ableiten sehr leicht - sehr schwer Evidenzbasierte Unterrichtsentwicklung mit Luuise 19

6 Quellen für Knacknüsse etwas in meiner Lehrveranstaltung, was mich stört oder ärgert (aber nicht so stark, dass es mich geradezu lähmt) wobei es mir wichtig ist, dass sich diese Situation verbessert; es würde mich entlasten, es ginge mir besser, ich würde mich noch professioneller und wirksamer erleben; meine Studierenden kämen weiter der Weg zur Lösung kann durch mein eigenes Handeln gebahnt werden, mit dem ich die Situation verändere/das Handeln der Studierenden beeinflusse wobei ich Zuversicht habe, dass ich es lösen kann, wenn ich mich darauf konzentriere, also gezielt Maßnahmen einleite Knacknüsse können auch sehr Erfahrenen im Weg liegen Dozierende stossen immer wieder auf Herausforderungen; mit methodischem Repertoire und Erfahrung passen sie ihre Lehre an... Die meisten stossen gelegentlich auf grosse Herausforderungen. Oft liegen diese nicht zum ersten Mal im Weg. hier können Evaluations- und Feedbackmethoden helfen Beispiele für»knacknüsse«ungleiche Präsenz der Studierenden (z. B. Verspätungen, bzw. vorzeitiges Verlassen des Saales/mentale Abwesenheit während Veranstaltung) Unruhe/generelle Abgelenktheit während der Veranstaltung Geringes fachliches «Eindenken» in Inhalte vor Veranstaltungsbeginn Geringe Reaktion im Plenum, z.b. auf Kurzaufträge, Kontrollfragen Studierende bearbeiten Lektüreaufträge nicht/falsch/nachlässig kaum Bereitschaft v. Studierenden, effektiv/selbständig in Gruppen zu arbeiten Wenig (nachhaltiges) Wissen und Können im Fach; wenig aufbauendes Lernen Erwartete Wissensbasis wird kaum aktiviert; gerade auch quer über Fachbereiche Zweifel an Transferieren Können auf neue Aufgaben Startbedingungen bei Studierenden (Gruppe) nachteilig Lernhandeln/aktive Lernzeit wenig oder sehr ungleich verteilt Lernresultate fehlerhaft/unvollständig/oberflächlich 23 Fallbeispiel BWL: Begriffsnetze erarbeiten mit der «Insel» Ausgangslage: Grundlagen BWL mit 15 berufsbegleitend Lernenden (2. Bildungsweg) am Abend (18.00 bis 21.00) Knacknuss: wegen der Tageszeit und der Stofffülle wenig aktive Beteiligung Ziele: bisher Inaktive beteiligen sich in Unterrichtssequenzen durch Wortmeldungen und Fragen // am Ende jeder Sequenz können Lernende als Gruppe min. 80% der behandelten BWL-Begriffe mit eigenen Worten zutreffend erläutern // alle Lernende bestehen eidgenössische Prüfung zu riskant! Intervention und Erhebung: Sequenz-Sets mit Schlüsselbegriffen auf C-6 Karten Erarbeiten stehend um Tisch mit «Insel»-Plakat Anlegen in «Zonen» // Anwenden auf Fallstudie // Gegen Schluss erneutes Erläutern und Legen der Karten; Smartphone-Foto am Anfang und am Ende Schlussfolgern: Gemeinsam mit der Klasse; Vereinbarungen treffen Institut Weiterbildung und Beratung

7 Ausgangslage (Incomes) Resultate (Outcomes) Beispiel für eine Schlussabfrage das ist Inselland das ist Inselland Quelle: Beywl, Wolfgang/Bestvater, Hanne/Friedrich, Verena (2011): Selbstevaluation in der Lehre. Ein Wegweiser für sichtbares Lernen und besseres Lehren. Münster: Waxmann, S , nach einer Idee von Christoph Aerni. Praxislehrpersonen Qualifizierung Sequenz 3B «Praxissituationen systematisch untersuchen Schwerpunkt Beobachtung» Wolfgang Beywl/Helena Follmer, Basel, Institut Weiterbildung und Beratung 26 Prinzipien der Evaluation der Hochschullehre Literatur Das heute Vorgestellte ist ein wichtiges Element eines umfassenden Evaluationssystems zur Verbesserung der tertiären Lehre Alle Ebenen von der Leitung bis zu den einzelnen Lehrenden sind darin mit Zuständigkeiten einbezogen. Formative Evaluation auf der Ebene der Lehrveranstaltung wird dann gelingen, wenn alle Ebenen Evaluationskultur aktiv tragen. Die 14 formulierten Prinzipien sollen dazu anregen. Balzer, Lars/Beywl, Wolfgang (2018): evaluiert - erweitertes Planungsbuch für Evaluationen im Bildungsbereich. 2. überarb. Aufl. Bern: h.e.p. Beywl, Wolfgang/Bestvater, Hanne/Friedrich, Verena (2011): Selbstevaluation in der Lehre. Ein Wegweiser für sichtbares Lernen und besseres Lehren. Münster: Waxmann IRF Beywl, Wolfgang/Zierer, Klaus (2018): "10 Jahre»Visible Learning«10 Jahre»Lernen sichtbar machen«". In: Pädagogik, Jg. 70, Nr. 9, S Feldman, Kenneth A. (1989): "The association between student ratings of specific instructional dimensions and student achievement: Refining and extending the synthesis of data from multisection validity studies". In: Research in Higher Education, Jg. 30, 6, S Hattie, John A. C. (2013): Lernen sichtbar machen. Überarbeitete deutschsprachige Ausgabe von "Visible Learning", besorgt von Wolfgang Beywl und Klaus Zierer. Baltmannsweiler: Schneider Hohengehren (englische Originalausgabe 2009). Helmke, Andreas (2015): Unterrichtsqualität und Lehrerprofessionalität : Diagnose, Evaluation und Verbesserung des Unterrichts. 6. Seelze-Velber: Kallmeyer. Schneider, Michael/Preckel, Franzis (2017): "Variables associated with achievement in higher education: A systematic review of meta-analyses". In: Psychological Bulletin, Jg. 143, 6, S Tribelhorn, Thomas (2010): Knacknüsse der Hochschullehre. Ein Skript für situiertes Lernen in hochschdidaktischen Workshops. V 6.1. Bern: Zentrum für universitäre Weiterbildung. Universität Bern