Kann ein Tool wie LeMo Learning Analytics an die Hochschulen bringen?

Transkript

1 Kann ein Tool wie LeMo Learning Analytics an die Hochschulen bringen? Albrecht Fortenbacher Potsdam, 27. Januar 2014

2 Agenda Das Projekt Lernprozessmonitoring Die Anwendung LeMo Case Study: Nachbereitung und Vergleich zweier Kurse Einführung in die BWL durch LeMo LeMo an Hochschulen 2

3 Lernprozessmonitoring Monitoring von Lernprozessen in personalisierenden und nicht personalisierenden Lernplattformen LeMo an Hochschulen 3

4 Lernprozessmonitoring Margarita Elkina Albrecht Fortenbacher Agathe Merceron LeMo an Hochschulen 4

5 Lernprozessmonitoring imc information multimedia communication AG eledia e-learning im Dialog GmbH Fachinformationszentrum Chemie GmbH bbw Hochschule LeMo an Hochschulen 5

6 Lernprozessmonitoring Fragenkatalog... zu Nutzern und Nutzergruppen wie lange lernt der Nutzer pro Session, an welchen Wochentagen? zur Nutzung des Lernangebots welche Lernmaterialien werden häufig, welche fast nie angeklickt? zu Lernpfaden was sind die typischen ersten 5 Klicks? zu Performance welchen Zusammenhang gibt es zwischen der Nutzung von Ressourcen und den Testergebnissen? LeMo an Hochschulen 6

7 Lernprozessmonitoring Indikatoren Indikator Kategorie Fragen Aktivität / Zeit Benutzung des Lernangebotes 16 Aktivität / Lernobjekt Benutzung des Lernangebotes 9 Häufige Pfade Lernpfade 9 Activity Graph Lernpfade LeMo an Hochschulen 7

8 Lernprozessmonitoring Die Anwendung LeMo wurde 2013 unter der GPL-Lizenz als Open Source veröffentlicht LeMo an Hochschulen 8

9 LeMo Systemarchitektur LeMo an Hochschulen 9

10 LeMo Connectoren Über Connectoren können Lernerdaten von verschiedenen Plattformen übernommen werden: Moodle Clix Chemgapedia LeMo an Hochschulen 10

11 LeMo Data Management Server Die Aktivitätsdaten der Lernenden werden aus der jeweiligen Plattform in den Server übernommen: keine personenbezogene Daten einheitliches Datenmodell für Lernerdaten aus verschiedenen Plattformen LeMo an Hochschulen 11

12 LeMo Anwendungsserver Die Analyseanwendung ermöglicht einen intuitiven Zugang zu Analysen: 14 verschiedene Analysen Filtermöglichkeiten Überblicks- und Detail- Visualisierungen Jede Analyseanforderung wird durch eine Webservice- Schnittstelle an den Data Management Server übertragen und dort berechnet LeMo an Hochschulen 12

13 LeMo Anwender Zielgruppen Dozentinnen und Dozenten Plattformbetreiber (Forscher) ((Studierende)) LeMo an Hochschulen 13

14 LeMo Data Mining Frequent Pattern Mining gibt Hinweise auf das Navigationsverhalten der Lernenden häufige Zugriffspfade (dargestellt als Sequenzen von Lernobjekten) BIDE Algorithmus Fournier-Viger Algorithmus LeMo an Hochschulen 14

15 LeMo Datenschutz Verzicht auf personenbezogene Daten!!!! Ausnahmen: Gender-Daten ID für Dozentinnen und Dozenten (Hash) Die ID wird benötigt, um angemeldeten Usern Zugriff auf die eigenen Kurse zu ermöglichen. k-anonymity: keine Analyseergebnisse, wenn Stichprobe zu klein erschwert die Identifikation von Studierenden LeMo an Hochschulen 15

16 LeMo Ausblick mögliche Weiterentwicklungen ETL-Prozess: Anbindung weiterer Plattformen (einschließlich MOOCs), Framework für ETL (Talend) Erweiterung des Datenmodells weitere Aktivitäten und Lernressourcen, Standard für Austausch von Learning-Analytics-Daten (?) Einbindung von Analysen in sozialen Netzen Forenanalyse, SNA, Textklassifikation Einbeziehung von Studierenden Analyse des eigenen Lernverhaltens, Recommender (?) LeMo an Hochschulen 16

17 Case Study Einführung in die BWL Lehrveranstaltung für 1. Semester BWL an der HTW Berlin semesterweise angeboten, 4-zügig Blended-Learning-Konzept (G. Frank) Vermittlung Basiswissen über WBTs (Basiswissen BWL, Zeitmanagement), Diskussion der Themen in der Präsenzveranstaltung Konzept mehrfach evaluiert, auf Online Educa Berlin vorgestellt Learning Analytics mit LeMo Untersuchung zweier Kurse der Wintersemester 11/12 und 12/13 (Dozent: Kurs 11/12 war besser) vorgegebene Fragestellung, z.b. Einsatz der WBTs LeMo an Hochschulen 17

18 Case Study 1 Aktivität über die Zeit An welchen Tagen haben wie viele Lernende wie oft auf die Lernobjekte zugegriffen? LeMo an Hochschulen 18

19 Case Study 1 Wintersemester 11/ LeMo an Hochschulen 19

20 Case Study 1 Wintersemester 12/ LeMo an Hochschulen 20

21 Case Study 1 Erkenntnisse Muster ist erkennbar entspricht im Wesentlichen dem Lehrkonzept 11/12 wurde das Online-Angebot besser angenommen vermutlich gelang es besser, die Studierenden für das Online-Lernen zu motivieren LeMo an Hochschulen 21

22 Case Study 2 Aktivität pro Lernobjekt wie oft haben wie viele Lernende auf ein Lernobjekt (Lehrmaterialien, WBTs, Tests, ) zugegriffen? konkrete Fragestellung: wie oft wurde das (vorgeschriebene) WBT: Basiswissen BWL genutzt? wie oft wurde das WBT: Zeitmanagement genutzt, das ein zusätzliches Lernangebot war? LeMo an Hochschulen 22

23 Case Study 2 Wintersemester 11/ LeMo an Hochschulen 23

24 Case Study 2 Wintersemester 12/ LeMo an Hochschulen 24

25 Case Study 2 Erkenntnisse die WBTs werden gut angenommen im Schnitt 5-10 Aufrufe pro Student/in auch das freiwillige WBT: Zeitmanagement wird stark genutzt trotz hohen Workloads und außercurricularer Verpflichtungen Eigenmotivation der Studierenden unerwartet hohe Zugriffsrate auf WBT Basiswissen BWL Verständnisprobleme? LeMo an Hochschulen 25

26 Case Study 3 Häufige Lernpfade welche Sequenzen beim Zugriff auf Lernobjekte treffen häufig auf? Beispiel: welche Sequenzen werden von mindestens 50% aller Studierenden (Support) ausgeführt? LeMo an Hochschulen 26

27 Case Study 3 Wintersemester 11/ LeMo an Hochschulen 27

28 Case Study 3 Wintersemester 12/ LeMo an Hochschulen 28

29 Case Study 3 Erkenntnisse relativ kurze Pfade (Fournier-Viger) unterschiedliches, auch unerwartetes Lernverhalten im Kurs 12/13 wurde ein schwer nachvollziehbarer Pfad entdeckt Zugriff auf Semesterplan am Ende des Pfades im Kurs 12/13 sieht man die intensive Beschäftigung mit dem WBT Basiswissen BWL auch an den Pfaden LeMo an Hochschulen 29

30 Case Study 4 Aktivitäten an Wochentagen an welchen Wochentagen (zu welchen Zeiten) fanden wie viele Online-Aktivitäten statt? LeMo an Hochschulen 30

31 Case Study 4 Wintersemester 11/ LeMo an Hochschulen 31

32 Case Study 4 Wintersemester 12/ LeMo an Hochschulen 32

33 Case Study 4 Erkenntnisse Hinweise, wie didaktisches Konzept (Lernen der Basics über WBT, danach Reflektion in der Präsenzveranstaltung) bei Kurs 11/12 gibt es einen Peak am Tag vor der Lehrveranstaltung (Peak am Sonntag!) kann daraus auf Erfolg des Konzepts geschlossen werden? bei Kurs 12/13 gibt es keine ausgeprägten Peaks LeMo an Hochschulen 33

34 Case Study 5 Boxplots für die Darstellung der Ergebnisse von Selbsttests wie verteilen sich die Noten, wie können verschiedene Tests verglichen werden? LeMo an Hochschulen 34

35 Case Study 5 Wintersemester 11/ LeMo an Hochschulen 35

36 Case Study 5 Wintersemester 12/ LeMo an Hochschulen 36

37 Case Study 5 Erkenntnisse verschiedene Verteilungen der Testergebnisse bei Kurs 12/13 liegt der Median bei 40% (!) wenn die Ergebnisse der Abschlussklausuren (nicht in LeMo) bekannt sind, können diese mit den Testergebnissen korreliert und weitere Schlüsse gezogen werden LeMo an Hochschulen 37