Educational Data Mining und Learning Analytics datengetriebene Ansätze für technologiegestütztes Lernen

Transkript

1 Educational Data Mining und Learning Analytics datengetriebene Ansätze für technologiegestütztes Lernen Prof. Dr. Niels Pinkwart, HU Berlin Berliner Bibliothekswissenschaftliches Kolloquium 16. Dezember

2 Ursprünge des elearning 16. Jhd. Leserad von Ramelli Ab 1811: Patente für Lernmaschinen (z.b. Rechtschreibtrainer f. Schreibmaschinen) 1939: Skinner/Holland: Lineare Lernprogramme mit Frames, z.b. für Lückentexte 1959: Verzweigte Lernprogramme (Crowder) mit Möglichkeit für Rückmeldungen und Individualisierung Seit 19070er Jahre intensive Erforschung und Entwicklung (heute jährliches Marktvolumen >$90 Mrd) 2

3 Aus dem Horizon Report

4 Die (kurze) Geschichte des Learning Analytics Seit 1983: Konferenzen und Workshops zu Intelligent Tutoring Systems und Artificial Intelligence in Education 2008: erste Konferenz zum Thema Educational Data Mining (vorher: Satellitenworkshops) 2009: Journal EDM 2011: erste Konferenz zum Thema Learning Analytics and Knowledge 2013: GI-Arbeitskreis und Workshops Learning Analytics 2014: Journal LA 4

5 Was ist Learning Analytics? (1) Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs (G. Siemens / SoLAR 2012) 5

6 Was ist Learning Analytics? (1) Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs (G. Siemens / SoLAR 2012) Education is a sector far behind the curve in taking advantage of the advances being made in data science in adjacent sectors of the economy (R. Pea / LAW 2014) 6

7 Was ist Learning Analytics? (2) Erhebung von Daten und damit verbundene Ziele für Lernende und Lehrende ( Datenformate) Analysewerkzeuge und Methoden Formen der Informationspräsentation (z.b. Visualisierung) Daraus gewonnene wissenschaftliche Erkenntnisse Handlungsmöglichkeiten für Lernende und/oder Lehrende Organisatorisch/ Gesellschaftlicher Kontext (insbes. Datenschutz) AK LA der GI (Workshop DeLFI 2014) 7

8 Ziel: Skalierbare Personalisierung Universal Design im elearning (National Education Technology Plan, US Dept. Ed. 2010): Individualisierung: Gleiche Ziele, aber unterschiedliche Bedürfnisse Lernwege oder -geschwindigkeiten Differenzierung: Gleiche Ziele, aber unterschiedliche Präferenzen Methoden Personalisierung: Individualisierung, Personalisierung & unterschiedliche Ziele 8

9 Ziel: Skalierbare Personalisierung Universal Design im elearning (National Education Technology Plan, US Dept. Ed. 2010): Individualisierung: Gleiche Ziele, aber unterschiedliche Bedürfnisse Lernwege oder -geschwindigkeiten Differenzierung: Gleiche Ziele, aber unterschiedliche Präferenzen Methoden Personalisierung: Individualisierung, Personalisierung & unterschiedliche Ziele The endgame is personalized cyberlearning at scale for everyone on the planet for any knowledge domain (Pea 2014) 9

10 Aktuelle Arbeitsgebiete des Learning Analytics: Häufigste Begriffe 2013 Quelle: Ochoa et al (2014). (2014). Analysis and Reflections on the Third Learning Analytics and Knowledge Conference (LAK 2013). Journal of Learning Analytics, 1(2),

11 Aktuelle Arbeitsgebiete des Learning Analytics: Häufigste Begriffe 2013 Quelle: Ochoa et al (2014). (2014). Analysis and Reflections on the Third Learning Analytics and Knowledge Conference (LAK 2013). Journal of Learning Analytics, 1(2),

12 Aktuelle Arbeitsgebiete des Learning Analytics Themengebiete aktueller LAK-Forschung: Visualisierung Dashboards Einfluss von Visualisierungen auf Lernprozesse Verhaltensanalyse Inferenzen auf Basis von Low-Level-Daten Vorhersage von potenziellen Problemfällen Social Learning Analytics Bewusstmachung des sozialen Kontexts Kollaborationsanalyse Anwendungen MOOCs Lehrendenunterstützung, insbes. Beurteilungsunterstützung Herausforderungen Definitionen 12

13 Aktuelle Arbeitsgebiete des Learning Analytics: Visualisierungen Projekt Mobile2Learn im Rahmen des Niedersächsischen Instituts für frühkindliche Bildung und Erziehung Projektziele: Eltern dazu motivieren und befähigen, ihre Kleinkinder altersgemäß zu bilden und zu fördern. Großes Potenzial, aber in vergleichbaren früheren Projekten erhebliche Probleme bei der Umsetzung ( Erreichbarkeit) Ansatz: Kombination und wechselseitige Verstärkung von niedrigschwelligen Präsenz- und Onlineangeboten (Strickroth, Pinkwart & Müller 2011; Strickroth & Pinkwart 2014) Jeder dieser Ansätze für sich scheitert typischerweise Herausforderung aus Sicht der Informatik: Unterstützungsverfahren für kleine Communities Interaktionsdesign für gekoppelte reale und virtuelle Szenarien Erreichung der Zielgruppe 13

14 Aktuelle Arbeitsgebiete des Learning Analytics: Visualisierungen Information Dokumentation Vernetzung Zeitliche Überbrückung 14

15 Aktuelle Arbeitsgebiete des Learning Analytics: Visualisierungen Digitale Unterstützungsfunktionen: Kampagnen per und SMS (Themen, Veranstaltungen, Communityfunktionen) Personalisierte Empfehlungen über hybriden Algorithmus (Strickroth & Pinkwart 2012) 15

16 Aktuelle Arbeitsgebiete des Learning Analytics: Visualisierungen 16

17 Aktuelle Arbeitsgebiete des Learning Analytics: Visualisierungen Erhebliche Syergieeffekte: Webnutzung als Nachbereitung der F2F-Events, Webangebot als Werbung für Workshops, Aber: auch Nutzer F2F only bzw. Online only Kooperation in der Blended Learning Community?! Schwierig zu messen 17

18 Aktuelle Arbeitsgebiete des Learning Analytics: Visualisierungen Beispiel aus der Hochschullehre: Live Interest Meter (Rivera-Pelayo et al, 2013) 18

19 Aktuelle Arbeitsgebiete des Learning Analytics: Visualisierungen 19

20 Aktuelle Arbeitsgebiete des Learning Analytics: Visualisierungen 20

21 Aktuelle Arbeitsgebiete des Learning Analytics: Verhaltensanalyse Datensatz eines Beispiel-MOOCs (Psychologie, Coursera 2013) Vorhersage von Drop-Out durch Learning Analytics? 21

22 Aktuelle Arbeitsgebiete des Learning Analytics: Verhaltensanalyse Vorhersage durch Foren und Chats mittlerweile recht gut lösbar (z.b. Yang et al 2013) Vorhersage bei ausschließlicher Nutzung von Kursmaterialien? schwieriger (z.b. Kloft et al 2014) 22

23 Aktuelle Arbeitsgebiete des Learning Analytics: Verhaltensanalyse Vorhersage durch Foren und Chats mittlerweile recht gut lösbar (z.b. Yang et al 2013) Vorhersage bei ausschließlicher Nutzung von Kursmaterialien? schwieriger (z.b. Kloft et al 2014) 23

24 Aktuelle Arbeitsgebiete des Learning Analytics: Verhaltensanalyse 24

25 Aktuelle Arbeitsgebiete des Learning Analytics: Social Learning Analytics Ansatz: Nutzung von Lernerlösungen für Community- Basierte Lerndesigns Nutzergenerierte Daten + Ähnlichkeitsmetrik + Didaktische Strategien = Learning Space egenüberstellen von repräsentativer und studentischer Lösung Hervorheben von Abweichungen in der studentischen Lösung Erste empirische Studien (Labor/Feld) belegen Sinn der Automatisierung und Effektivität des Ansatzes (DFG- Projekte FIT/DynaFit, Gross et al 2014) 25

26 Aktuelle Arbeitsgebiete des Learning Analytics: Social Learning Analytics Dynamische Lernergruppen(re)formierung (Zheng & Pinkwart 2014): Erkenntnisse zur Gruppenformierung: Random vs. Self-Select vs andere Strategien Regruppierung in MOOCs essentiell Ansatz: Kombination von Persönlichkeitsdaten, organisatorischen Daten und Interaktionsdaten Bio-inspirierte Algorithmen (Swarms, Ant Colony) zur effektiven Gruppenermittlung 26

27 Herausforderungen 1. Tools und Standards 2. Lernermodelle und Adaptivitätsmechanismen 3. Standardisierte Messverfahren 4. Unterstützung für Lernergruppen 5. Multimodalität 6. Datenschutz Quellen: AK LA und Pea (2014): THE LEARNING ANALYTICS WORKGROUP. A Report on Building the Field of Learning Analytics for Personalized Learning at Scale. 27

28 Herausforderungen 1: Tools und Standards 28

29 Herausforderungen 2: Lernermodelle und Adaptivitätsmechanismen Notwendigerweise anders als klassische ITS-Modelle insbesondere bei komplexeren Aufgaben konstruktionsorientiert mehrere vorstellbare Lösungswege Diskussionsmöglichkeit für Lösungsvorschläge 29

30 Herausforderungen 3: Standardisierte Messverfahren Abbildung von Learning Analytics auf Ausbildungsziele, insbesondere in der formalen Bildung (Rahmenlehrpläne, Kompetenzmodelle, Common Core) Reliabilität, auch bei verrauschten Daten Validität, insbesondere bei Übertragung auf andere Lernkontexte Objektivität, vor allem bei interaktiven Visualisierungsansätzen Datengrundlage für Messverfahren: potenziell mehr als nur Abschlussprüfungen 30

31 Herausforderungen 4: Unterstützung für Lernergruppen Nutzung von Diskussionsforen in MOOCs: <10% Peer Review als (bislang einzige!?!) effektive Gruppenlernform in MOOCs Analyse von online stattfindender sozialer Interaktion und Kooperation schwierig Problem der Erfassung der Daten Problem der Synthese und Aggregation der Daten Problem der Interpretation der Daten 31

32 Herausforderungen 5: Multimodalität Interaktion mit modernen elearning-systemen: reichhaltigere Daten als nur Antworten zu Prüfungsfragen: Lerner-Lerner-Interaktion Nutzung von Lernressourcen Nutzungskontext (Ort, Zeit) Gesten, Sprache, Blicke, Affective Computing: bessere Berücksichtigung von Faktoren wie Emotion, Motivation erscheint möglich und partiell sinnvoll ( z.b. Educational Games, Affective Tutors) Aber: tatsächlicher Mehrwert (bezogen auf Granularität) noch offen, praktische Umsetzbarkeit und Akzeptanz fraglich 32

33 Herausforderungen 6: Datenschutz Mehrwert der Analysen für Lernende aber Datensammlungen können Risiken darstellen Schulischer Bildungsauftrag, Vorteile für Lehrende und Notwendigkeit der Bewertung vs. Informationelle Selbstbestimmung der Lernenden Was im Moodle passiert geht nur den Dozent und die Kursteilnehmer etwas an! Wie hilft mir das System bei der Schülerbewertung? Technische und nichttechnische Lösungen erforderlich, z.b. LeMo (Fortenbacher et al 2013) 33

34 Zusammenfassung und Ausblick Learning Analytics: einer aktuellen Trends im elearning Für Lernende und Lehrende Education Data Science Aktuell: Entwicklung einer Roadmap Learning Analytics für Deutschland durch den GI-Arbeitskreis 34