Entwicklungstrends von KI: Chancen und Herausforderungen aus der bildungswissenschaftlichen Perspektive Prof. Dr. Olaf Köller IPN Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik, Kiel Berlin, 30.11.2018 Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik
Überblick Bevor wir zu KI kommen: - Was ist verständnisvolles Lernen? - Was wissen wir über Basisdimensionen erfolgreichen Lernens? Was kann Digitalisierung in der Schule leisten? Intelligente tutorielle Systeme Effekte des Computereinsatzes auf Lernerfolge Ausführlich ein KI-Beispiel: Maschinenkodierung von Aufsätzen Und zum Schluss 10 Fragen 2
Verständnisvolles Lernen: Baumert et al. (2004) aktiver individueller Konstruktionsprozess, in dem Wissensstrukturen verändert, erweitert, vernetzt, hierarchisch geordnet oder neu generiert werden. entscheidend ist die aktive mentale Verarbeitung, die sich in der handelnden Auseinandersetzung mit der sozialen oder natürlichen Umwelt oder im Umgang mit Symbolsystemen vollzieht. sinnstiftend, indem neue Zusammenhänge erschlossen werden, die Wissen organisieren und ordnen. Dazu gehört, dass der Gegenstand für die Lernenden ein Mindestmaß an intellektueller und/oder praktischer Bedeutung besitzt. abhängig von den individuellen kognitiven Voraussetzungen, vor allem vom bereichsspezifischen Vorwissen. Umfang und Organisation der verfügbaren Wissensbasis entscheiden über Qualität und Leichtigkeit des Weiterlernens. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 3
Verständnisvolles Lernen: Baumert et al. (2004) verständnisvolles Lernen erfolgt trotz aller Systematik stets situiert und kontextuiert. Die Situiertheit begrenzt oft die Anwendbarkeit erworbenen Wissens. Um den Anwendungsbereich zu erweitern, ist eine Variation der Erwerbs- und Anwendungskontexte notwendig. verständnisvolles Lernen wird durch Motivation und metakognitive Prozesse (z.b. Planung, Kontrolle, Bewertung) reguliert. verständnisvolles Lernen wird durch kognitive Entlastungsmechanismen unterstützt. Dazu gehören die durch multiple Repräsentation förderbare Herausbildung informationsreicher Wissenseinheiten, die als Ganzes erinnert und abgerufen werden können (Chunks), sowie die Automatisierung von Handlungsabläufen und Denkvorgängen. Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 4
Kerndimensionen gelingenden Fachunterrichts Effizienz der Klassenführung (Classroom Management) Kognitive Aktivierung Konstruktive Unterstützung - Instruktionale Unterstützung - Emotionale Unterstützung Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 5
Kerndimensionen gelingenden Fachunterrichts Kogn. Aktivierung Kogn. Unterstützung Emot. Unterstützung Klassenführung Lernen erfordert aktive Erweiterung oder Veränderung kognitiver Strukturen Entwicklung fachlicher und überfachlicher Kompetenzen bedarf der Unterstützung Offene und vertrauensvolle Lehrkraft- SuS-Beziehung, Humor, Wahlmöglichkeiten Koordination u. Steuerung des Unterrichtsgeschehens Ziel: Zu dieser aktiven Erweiterung/ Veränderung bestehender Wissensstrukturen anregen Ziel: SuS helfen die Anforderungen der Aufgaben bewältigen zu können und strukturiertes Wissen entwickeln zu können. Ziel: Vertrauensvolles offenes Klima schaffen, in dem Fehler und Initiative der SuS erwünscht ist. Ziel: Lernzeit optimal für Lernaktivitäten zu nutzen; wenig Zeit für Unterbrechungen, Störungen etc. Beispielmaßnahmen: - Herausfordernde Aufgabenstellungen, - Anregende Gesprächsführung Beispielmaßnahmen: - Anpassung des Anforderungsniveaus (Zone der nächsten Entwicklung) - Inhaltliche Strukturierung - Feedback geben Beispielmaßnahmen: - Wertschätzender Umgang miteinander - konstruktiver Umgang mit Fehlern - Fürsorglichkeit Maßnahmen: präventive Steuerung Reaktion auf Störungen Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 6
Basisdimensionen qualitätsvollen Unterrichts COACTIV - erweitertes Mediationsmodell Kunter et al.,2007; Kunter, 2013 Knowledge for teaching mathematics (PCK) Enthusiasm for teaching mathematics.29.25.48 Cognitive activation Classroom management.29.24.31 Student progress in mathematics Emotional engagement in mathematics.46 Adaptive support.48 Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 7
Basisdimensionen qualitätsvollen Unterrichts Modifiziertes Mediationsmodell Konstruktive Unterstützung domänenspezifisch Knowledge for teaching mathematics (PCK).59.30 Supportive response to mistakes.35.24 Student progress in mathematics Enthusiasm for teaching mathematics.43 Classroom management.37 Emotional engagement in mathematics Baumert et al., 2016 Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik
Basisdimensionen qualitätsvollen Unterrichts Modifiziertes Mediationsmodell: Konstruktive Unterstützung generisch Knowledge for teaching mathematics (PCK) Enthusiasm for teaching mathematics.40.45 Classroom management Caring.30.46.33 Student progress in mathematics Emotional engagement in mathematics Baumert et al., 2016 Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik
Was kann Digitalisierung leisten? Digitale, interaktive Schulbücher OER-Plattformen Intelligente Tutorielle Systeme (vgl. Beitrag von Meurers) Blickbewegungsmessungen zum besseren Verständnis von Informationsverarbeitungsprozessen Face Recognition zur Feststellung von Aufmerksamkeit der SuS Adaptive Testsysteme zur ökonomischen, individualisierten Feststellung von Kompetenzständen Automatisches Kodieren von offenen Antworten und Essays Übersetzungen von Texten in beliebige Fremdsprachen plus Sprachmittlung Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 10
Intelligente tutorielle Systeme Intelligente tutorielle Systeme (ITS) sind adaptive Mediensysteme, die sich ähnlich einem menschlichen Tutor an die kognitiven Prozesse des Lernenden anpassen sollen, indem sie die Lernfortschritte und -defizite analysieren und dementsprechend das Lernangebot generativ modifizieren sollen. Issing & Klimsa (1995) Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 11
Kernmerkmale von ITS Adaptivität selbstständige Anpassung des Systems an die jeweilige Benutzerin/den jeweiligen Benutzer Flexibilität Fähigkeit zur Variation der Darstellung der Lerninhalte Diagnosefähigkeit Feststellung der Kompetenzen der Lernerin/des Lerners Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 12
Aufbau eines ITS Schülerin/Schüler Benutzerschnittstelle neue Infos, Rückmeldungen, Aufgaben, Probleme Schülerlösung Tutorenmodell wahrgenommener Wissensstand, Verhaltenssequenzen der SuS Lernermodell Aufgaben, Probleme Lehrstoffwissen Musterlösung Wissensmodell Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 13
Untersuchung von Lenhard et al. (2011) context als ITS zur Leserverständnisförderung, vor allem bei schwachen SuS Prä-Postdesign mit drei Gruppen context Wir werden Lesedetektive Kontrollgruppe Positive Effekte beider Maßnahmen auf das Lesestrategiewissen gegenüber der Kontrollgruppe Allein positive Werte von context auf das Leseverständnis Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 14
Befunde aus Metaanalysen (Hattie, 2012; Means, 2010) Feedback L-S-Beziehung Computer-unterstützter Unterricht Blended learning Online-Settings 0 0,2 0,4 0,6 0,8 1 Effektstärke d Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 15
Maschinen-Kodierung von Aufsätzen Measuring English Writing at Secondary Level Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 16
Forschungsdesign Schweiz Deutschland Feldphasen: September 2016 (T 1 ) Juli 2017 (T 2 ) SuS der Oberstufe in Gymnasien (Klasse 11) 2 writing prompts a 30 Minuten pro Messzeitpunkt N 1800 N = 990 (838) 7 Kantone (BS, BL, AG, ZH, SG, LU, SC) Ein Bundesland (SH) N= 20 Schulen N = 37 Schulen N 108 Klassen Gelegenheitsstichprobe N = 57 Testgruppen Zufallsstichprobe Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 17
Aufgabentypen in MEWS Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 18
Independent Writing Prompt Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 19
Integrated Writing Prompt Reading text, 5 time for reading Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 20
Integrated Writing Prompt Listening text, 5 time for listening Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 21
Testdesign 4 Textstimuli, 2 zu T1, die anderen beiden zu T2 Kein Stimulus wurde zweimal vorgegeben Sechskategorielle holistische Urteile für alle Texte, 2 Human Raters (0 5), ein Maschinenscore (kontinuierlich zwischen 0.5 und 5.5) Lese- und Hörverstehen auch zu T1 und T2 Multi-Matrix-Designs zu beiden Zeitpunkten; kein Item wurde zweimal bearbeitet Multidimensionale IRT-Analysen der Daten zur Feststellung der Itemparameter 2PL für dichotome Items Graded Response Model für holistische Schreibratings (2 Human Raters) Kontinuierliche Modellierung für den Maschinenscore Schätzung von PVs (15) im jeweils längsschnittlichen zweidimensionalen Modell für die drei Skills (M = 500 zu T1) Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 22
Human Ratings Erfahrene Raters von TOEFL Schreibaufgaben T1: 36 Raters (18 independent, 18 integrated); T2: 37 Raters (19 independent, 18 integrated; 18 Raters zu T1 und T2) Alle Raters wurden morgens kalibriert, d.h. mussten 7 von 10 Übungstexten richtig kodieren; wer in zwei Durchgängen durchfiel, durfte nicht kodieren Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 23
Human Ratings: Rater-Übereinstimmung 80 75 70 65 60 % Exact Agreement % Adjacent Agreement 100 99,5 99 98,5 55 T1 T2 98 T1 T2 Chevalier Teacher Voting Machines TV Advertising Chevalier Teachers Voting Machines TV Advertising Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 24
Automated Essay Evaluation (AEE) - Analysiert messbaren Texteigenschaften im Natural Language Processing (NLP) - In USA seit 1990er Jahren bei Large-Scale Tests eingesetzt - In MEWS verwendete Software: E-rater TOEFL Modell (Educational Testing Service ETS, 16.1 ) - Erfasst: Grammatik, Sprachgebrauch, Sprachmechanik, Stil, Organisation, Pronomiagebrauch, Wortkollokationen, lexikalische Komplexität. Text Features sollen das gemittelte Human Rating optimal vorhersagen Regressionsansätze vs. Maschinenlernenmodelle Prompt-spezifische vs. generische Modelle Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 25
E-rater Features Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 26
Modelle und deren Evaluation Satistische Verfahren: - Multiple linear regression (non-negative least squares) - Ridge regression - Lasso regression - Elastic net - Support vector regression - Linear support vector regression Data splitting für die Modellbildung und Evaluation: 50/50 Outcome Variable = Durchschnitt der beiden Human Ratings: Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 27
Befunde: T2 (T1 ähnlich) Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 28
Machine Learning Übereinstimmung: T1 & T2 Combined, QWKs Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 29
Interkorrelationen T1 Schr. T1 Hören T1 Lesen T2 Schr. T2 Hören T2 Lesen T1 Schr. 1.00.57.55.70.49.50 T1 Hören 1.00.54.55.51.48 T1 Lesen 1.00.52.50.56 T2 Schr. 1.00.52.52 T2 Hören 1.00.49 T2 Lesen 1.00 Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 30
Korrelationen mit Noten (T1) Englisch Deutsch Mathe Schreiben.47/.47.28/.21.19/.09 Lesen.23/.27.18/.10.10/.06 Hören.31/.34.23/.13.11/.08 Anmerkung. Erster Koeffizient aus D, zweiter aus CH Prof. Dr. Olaf Köller, Leibniz Institute for Science and Mathematics Education 31
Schlussfolgerungen Human Ratings mit hoher Übereinstimmung, so dass valide Automated Scoring-Modelle entwickelt warden konnten Prompt-spezifische Modelle waren generischen Modellen überlegen Support vector regression bester Ansatz Dieser Ansatz kann zur Kodierung von zukünftigen Texten von SuS aus der selben Population verwendet werden Auswertung ohne Human Raters nur im Falle von low-stakes Testungen Automated scoring kann langfristig Geld einsparen, erzeugt aber bei der Entwicklung erhebliche Kosten Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 32
Und zum Schluss: 10 Fragen Wie verbessern wir die Infrastruktur in Schulen? Wie sorgen wir für Nachhaltigkeit in der Infrastruktur? Wie erreichen wir ein Mindestmaß an Standardisierung der Hardund Software (wider den Unsinn von BYOD) Wie gelingt die weitere Professionalisierung der Lehrkräfte? Wie gelingt die weitere Professionalisierung der Lehrkraftaus- und fortbildung? Wie gelingt es Kollegien in Schulen, Akzeptanz für Konzepte digitaler Bildung zu erreichen und diese zu implementieren? Wie können digitale Medien im Fachunterricht gewinnbringend eingesetzt werden? Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 33
Und zum Schluss: 10 Fragen Wie können sie als ergänzende didaktische Medien im Unterricht den Erwerb fachspezifischer Kompetenzen und fachspezifischen Wissens erleichtern bzw. gar erst möglich machen, wenn analoge Medien dieses nicht leisten können. Wie können digitale Medien genutzt werden, um Wissen auszulagern? Gemeint ist damit, dass Wissen, das traditionell im Langzeitspeicher der SuS abgespeichert wurde, zukünftig in digitalen Medien ausgelagert wird, der Zugriff auf dieses Wissen aber durch kognitive Schnittstellen gesichert wird. Wie überzeugen wir Politik, dass Schulen damit nicht allein gelassen werden können (sie sind überfordert!)? Prof. Dr. Olaf Köller, Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik 34
There are no limits, only horizons! Vielen Dank für Ihre Aufmerksamkeit! Kontakt: koeller@ipn.uni-kiel.de Prof. Dr. Olaf Köller, Leiniz Institute for Science and Mathematics Education 35