Learning Analytics und das LeMo-Tool

Transkript

1 Learning Analytics und das LeMo-Tool Prof. Dr. Margarita Elkina HWR Berlin Forum elearning Technische Hochschule Wildau 13. Januar

2 Agenda Learning Analytics LeMo-Tool Anwendungsfälle Evaluation vom Einsatz des LeMo-Tools Demo Diskussion Margarita Elkina. Learning Analytics und das LeMo-Tool 2

3 Learning Analytics Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs. Als Learning Analytics wird die Interpretation verschiedenster Daten bezeichnet, die von Studierenden produziert oder für sie erhoben werden, um Lernfortschritte zu messen, zukünftige Leistungen vorauszuberechnen und potenzielle Problembereiche aufzudecken (Horizon Report 2012). Learning Analytics Anwendung von Big Data auf den Bildungsbereich. Margarita Elkina. Learning Analytics und das LeMo-Tool 3

4 Learning Analytics George Siemens - President of the Society of Learning Analytics Research (SoLAR) Margarita Elkina. Learning Analytics und das LeMo-Tool 4

5 Learning Analytics Big Data Erhebung Auswertung Visualisierung Beobachtung Identifikation von Trends Sofortiges Feedback Durchführung von Selbstevaluation Verbesserung des Bildungsangebots Datenschutz? Margarita Elkina. Learning Analytics und das LeMo-Tool 5

6 Datenschutz Nutzungsbedingungen für E-Learning an der HWR Berlin auf der Lernplattform Moodle:... Art der gespeicherten Daten Bei der Nutzung von Moodle werden Ihre Beiträge und Aktivitäten in Protokolldateien des Webservers sowie der Moodle-Software gespeichert, soweit das für die individualisierten Funktionalitäten in Moodle erforderlich ist. Weder Kursverantwortliche (z.b. in der Rolle Lehrende ), noch andere Kursteilnehmende (z.b. in der Rolle Studierende ) haben Zugriff auf diese Nutzungsdaten. Kursverantwortliche (in der Rolle Lehrende ) haben Zugriff auf sogenannte Aktivitätsübersichten zu Zwecken der Lehrvermittlung, der Lehrorganisation und der Lehrerfolgskontrolle im betreffenden Kurs. Dargestellt werden hier persönliche Beiträge zu Aktivitäten wie Foren, Wikis, Blogs oder Aufgaben.... Margarita Elkina. Learning Analytics und das LeMo-Tool 6

7 Datenschutz Moodle an der HWR Berlin: Kurs Administration -> Berichte -> Kursaktivität Keine Zeitangaben Keine Visualisierung Keine Informationen über die Anzahl von Studierenden Alle Daten sind nur zwei Monate sichtbar Margarita Elkina. Learning Analytics und das LeMo-Tool 7

8 Datenschutz Moodle : Kurs Administration -> Berichte -> Logdaten Margarita Elkina. Learning Analytics und das LeMo-Tool 8

9 Learning Analytics Unter Learning Analytics versteht man die Erhebung und Auswertung von automatisch generierten Daten. Möglichkeiten zur Auswertung: Export nach Excel (Pivot Table) Visualisierung (z.b. HTML 5) Statistische Datenanalyse (z.b. R - Tool) Data Mining Methoden - systematische Anwendung statistischer Methoden auf einen Datenbestand, um neue Muster zu erkennen, z. B. Lernpfade Margarita Elkina. Learning Analytics und das LeMo-Tool 9

10 LeMo-Tool Vision Entwicklung einer Web-Anwendung für Lehrende, Bildungsanbieter und Wissenschaftler, die diese - unabhängig von ihrem statistischen Vorwissen - gerne benutzen, um wertvolle Erkenntnisse zum Lernverhalten ihrer Anwender und Optimierungsmöglichkeiten ihres Lernangebots zu gewinnen. Sie können damit typische Fragestellungen beantworten und entsprechende Hypothesen überprüfen. Margarita Elkina. Learning Analytics und das LeMo-Tool 10

11 Agenda Learning Analytics LeMo-Tool Anwendungsfälle Evaluation vom Einsatz des LeMo-Tools Demo Diskussion Margarita Elkina. Learning Analytics und das LeMo-Tool 11

12 LeMo - Projekt Lernprozessmonitoring auf personalisierenden und nicht personalisierenden Lernplattformen Ziel: Entwicklung einer Web-Anwendung für Lehrende, Bildungsanbieter und Wissenschaftler, die diese - unabhängig von ihrem statistischen Vorwissen - gerne benutzen, um wertvolle Erkenntnisse zum Lernverhalten ihrer Anwender und Optimierungsmöglichkeiten ihres Lernangebots zu gewinnen. Sie können damit typische Fragestellungen beantworten und entsprechende Hypothesen überprüfen. 3 Berliner Hochschulen 4 Partnerunternehmen Beuth-Hochschule für Technik Berlin Hochschule für Wirtschaft und Recht Hochschule für Technik und Wirtschaft FIZ Chemie IMC AG eledia bbw Hochschule Margarita Elkina. Learning Analytics und das LeMo-Tool 12

13 Kategorien von Fragen Über 80 Fragen im Fragenkatalog: zu Nutzern und Nutzergruppen Wie lange lernt der Nutzer pro Session, an welchen Wochentagen? zur Nutzung des Lernangebots Welche Lernmaterialien werden häufig, welche fast nie angeklickt? zu Lernpfaden Was sind die typischen ersten 5 Klicks? zur Performance Fragen zu den Ergebnissen von Bewertungen, Tests usw. Daten: Klicks Zeit Lernobjekte Margarita Elkina. Learning Analytics und das LeMo-Tool 13

14 Indikatoren und Visualisierungen 4 von 27 Indikatoren Indikator Kategorie Fragen Aktivität / Zeit Nutzung des Lernangebotes 16 Aktivität / Lernobjekt Nutzung des Lernangebotes 9 Häufige Pfade Lernpfade 9 Aktivität - Graph Lernpfade 9 14 Analysen / Visualisierungen Nutzung des Lernangebots Navigation Performance (Leistung) Margarita Elkina. Learning Analytics und das LeMo-Tool 14

15 Nutzung des Lernangebots Aktivität/Zeit Aktivität/Lernobjekt Aktivität/Lernobjekt (Treemap) Aktivität/Zeit (Heatmap) Aktivität/Zeit Kumulativ Alle Visualisierungen charakterisieren auf verschiedene Weise das quantitative Verhalten der Studierenden, d.h. als Maßeinheit für die Auswertung wird die Anzahl von Zugriffen auf die Lernobjekte genommen. Margarita Elkina. Learning Analytics und das LeMo-Tool 15

16 Lernpfade Navigationsverhalten (Navigation patterns) Aktivitätsgraph Häufige Lernpfade Diese Visualisierungen zeigen zwischen welchen Lernobjekten besonders häufig navigiert wurde und in welcher Reihenfolge oder in welcher Richtung Objekte nacheinander aufgerufen wurden und in welcher oft vorkommenden Reihenfolge sich die Studierenden die Lernobjekte in Ihrem Kurs angesehen haben. Circle Graph Margarita Elkina. Learning Analytics und das LeMo-Tool 16

17 Leistung Leistung Leistung Durschnitt Leistung kumulativ Visualisierungen zeigen, wie viele Studierende welche Leistung in den einzelnen Tests, Aufgaben und Scorm-Materialien erreicht haben. Margarita Elkina. Learning Analytics und das LeMo-Tool 17

18 LeMo: Hauptseite Intuitive Nutzung Explorative Visualisierung (Overview first, zoom and filter, details on demand) Margarita Elkina. Learning Analytics und das LeMo-Tool 18

19 LeMo: Explorative Visualisierung Filter Margarita Elkina. Learning Analytics und das LeMo-Tool 19

20 LeMo: Explorative Visualisierung Filter Margarita Elkina. Learning Analytics und das LeMo-Tool 20

21 LeMo: Software - Architektur Margarita Elkina. Learning Analytics und das LeMo-Tool 21

22 LeMo: Software - Architektur für Endbenutzer Margarita Elkina. Learning Analytics und das LeMo-Tool 22

23 LeMo: Datenschutz und Anonymisierung Datenschutzkonzept: Der Großteil der personenbezogenen Daten wird nicht übertragen. Übertragene personenbezogene Daten werden anonymisiert. Margarita Elkina. Learning Analytics und das LeMo-Tool 23

24 LeMo: Datenschutz und Anonymisierung Rollenkonzept Admin - Modus Dozent Username Margarita Elkina. Learning Analytics und das LeMo-Tool 24

25 LeMo-Tool: Installation Open Source Software Margarita Elkina. Learning Analytics und das LeMo-Tool 25

26 Agenda Learning Analytics LeMo-Tool Anwendungsfälle Präsenz - Studiengang Online - Studiengang Evaluation vom Einsatz des LeMo-Tools Demo Diskussion Margarita Elkina. Learning Analytics und das LeMo-Tool 26

27 Präsenz - Studiengang Kurs: Programmierung und Softwareentwicklung WS 2012 Vorlesung: 2 SWS Übung: 2 SWS Präsenz-Studiengang LMS Moodle Vorlesungsfolien als PDF - Dateien Übungsaufgaben Lösungen für die Aufgaben (nach 1-2 Wochen) Folien für die Vorlesung Feedback Bewertungen Forum Umfrage Margarita Elkina. Learning Analytics und das LeMo-Tool 27

28 Präsenz - Studiengang Moodle: Berichte/Kursaktivität Erstellt: Keine Informationen über die Anzahl von Studierenden Wiki Keine Zeitangaben Keine Visualisierung Alle Daten sind nur zwei Monate sichtbar Studierende: 20 (aktiv) Margarita Elkina. Learning Analytics und das LeMo-Tool 28

29 Präsenz - Studiengang Aktivität / Zeit Margarita Elkina. Learning Analytics und das LeMo-Tool 29

30 Präsenz - Studiengang Aktivität / Zeit Lernobjekt: Wiki Abgabetermin Margarita Elkina. Learning Analytics und das LeMo-Tool 30

31 Präsenz - Studiengang Aktivität / Zeit Lernobjekt: Test Margarita Elkina. Learning Analytics und das LeMo-Tool 31

32 Präsenz - Studiengang Aktivität / Zeit Lernobjekt: Test Margarita Elkina. Learning Analytics und das LeMo-Tool 32

33 Präsenz - Studiengang Aktivität / Lernobjekt Margarita Elkina. Learning Analytics und das LeMo-Tool 33

34 Präsenz - Studiengang Aktivität / Lernobjekt Lernobjekt: Datei Margarita Elkina. Learning Analytics und das LeMo-Tool 34

35 Präsenz - Studiengang Lernpfade: Navigationsverhalten Übung_ Datum: Zeitabschnitt: 1 Woche? Margarita Elkina. Learning Analytics und das LeMo-Tool 35

36 Präsenz - Studiengang Lernpfade: Häufige Pfade 0,3 0,5 Support Margarita Elkina. Learning Analytics und das LeMo-Tool 36

37 Präsenz - Studiengang Akkumulierte Aktivitätszeiten (Box-Plots) Vorlesungstag Margarita Elkina. Learning Analytics und das LeMo-Tool 37

38 Online - Studiengang Kurs: Einführung in die Informatik Vorlesung : - Übung : - Präsenzveranstaltung: 1 Mal/Monat 3 Einsendeaufgaben Schriftliche Klausur am Ende des Semesters LMS Moodle: Dateien Aufgaben Bewertungen Forum etc Margarita Elkina. Learning Analytics und das LeMo-Tool 38

39 Online - Studiengang 1. Abgabetermin 2. Abgabetermin 3. Abgabetermin Weniger Aktivitäten Margarita Elkina. Learning Analytics und das LeMo-Tool 39

40 Online - Studiengang Aktivität / Zeit (mehrere Kurse) 1. Kurs 2. Kurs 3. Kurs 4. Kurs Margarita Elkina. Learning Analytics und das LeMo-Tool 40

41 Online - Studiengang Aktivität / Lernobjekt Margarita Elkina. Learning Analytics und das LeMo-Tool 41

42 Online - Studiengang Aktivität / Lernobjekt Zwei Wochen vor der Klausur Margarita Elkina. Learning Analytics und das LeMo-Tool 42

43 Online - Studiengang Akkumulierte Aktivitätszeiten (Box-Plots) Margarita Elkina. Learning Analytics und das LeMo-Tool 43

44 Online - Studiengang Navigationsverhalten: Circle graph Margarita Elkina. Learning Analytics und das LeMo-Tool 44

45 Online - Studiengang Navigationsverhalten: Circle graph Margarita Elkina. Learning Analytics und das LeMo-Tool 45

46 Online - Studiengang Lernpfade: Häufige Pfade Margarita Elkina. Learning Analytics und das LeMo-Tool 46

47 Präsenz-Studiengang / Online-Studiengang Aktivität / Zeit Präsenz Online Aktivitäten Aktivitäten Margarita Elkina. Learning Analytics und das LeMo-Tool 47

48 Präsenz-Studiengang / Online-Studiengang Aktivität / Zeit Präsenz Online Margarita Elkina. Learning Analytics und das LeMo-Tool 48

49 Selbstevaluation Wissenschaftliche Evaluationen dienen ausschließlich der Verbesserung von Programmen, Maßnahmen oder Methoden und nicht dazu, Personen oder Personengruppen zu belobigen und zu belohnen oder zu bestrafen. Ihr Zweck in der Lehre ist die Qualitätsverbesserung. Sanders, J. R. (1994). The program evaluation standards. How to assess evaluations of educational program. 2nd Edition. Thousand Oaks, USA: Sage Publications Selbstevaluation ist ein Evaluationsverfahren, mit dem das eigene professionelle Handeln mit seinen Ergebnissen systematisch beobachtet, analysiert und bewertet wird, um es zu stabilisieren oder zu verbessern. Margarita Elkina. Learning Analytics und das LeMo-Tool 49

50 Agenda Learning Analytics LeMo-Tool Anwendungsfälle Evaluation vom Einsatz des LeMo-Tools Demo Diskussion Margarita Elkina. Learning Analytics und das LeMo-Tool 50

51 Evaluation vom Einsatz des LeMo-Tools Pilot-Projekt im WS 2013 Kurse: Präsenzstudiengänge Fernstudieninstitut Virtuelle Hochschule Online-Befragung Andere Dozent elearning Provider Wie viele Kurse haben Sie bisher unterrichtet? mehr als 5: 1 2-5: Margarita Elkina. Learning Analytics und das LeMo-Tool 51

52 Evaluation vom Einsatz des LeMo-Tools Wie haben Sie LeMo benutzt? Wie würden Sie Ihr Interesse an Learning Analytics einschätzen? Margarita Elkina. Learning Analytics und das LeMo-Tool 52

53 Evaluation vom Einsatz des LeMo-Tools Welche der folgenden Diagramme waren interessant für Sie? Welche Diagramme waren für Sie einfach zu interpretieren? Margarita Elkina. Learning Analytics und das LeMo-Tool 53

54 Evaluation vom Einsatz des LeMo-Tools Welche Diagramme waren für Sie schwierig zu interpretieren? Margarita Elkina. Learning Analytics und das LeMo-Tool 54

55 Evaluation vom Einsatz des LeMo-Tools Konnten Sie für sich die Ergebnisse der Analysen erklären? Hat LeMo Ihnen geholfen, die Weise, wie die Studierende lernen, besser zu verstehen? Hat LeMo Ihr Bewusstsein über Ihre eigene Lehre beeinflusst? Margarita Elkina. Learning Analytics und das LeMo-Tool 55

56 Zusammenfassung Durch Einsetzen von Learning Analytics Methoden gewinnen Dozenten neue Erkenntnisse über das Lernverhalten der Studierenden. Das LeMo-Tool kann die Dozenten bei der Analyse des Verhaltens der Studierenden in elearning- Plattformen unterstützen, insbesondere bei Fernstudiengängen oder MOOC Kursen. Die Analyse kann helfen die Schwächen und Stärken des Lernangebots zu identifizieren und darauf aufbauend Verbesserungsvorschläge auszuarbeiten. Lehrende sind bereit Learning Analytics Methoden für die Analyse der eigenen Lernangebote und zur Reflektion der eigenen Lehre (Selbstevaluation) zu benutzen. Margarita Elkina. Learning Analytics und das LeMo-Tool 56

57 Agenda Learning Analytics LeMo-Tool Anwendungsfälle Evaluation vom Einsatz des LeMo-Tools Demo Diskussion Margarita Elkina. Learning Analytics und das LeMo-Tool 57

58 Agenda Learning Analytics LeMo-Tool Anwendungsfälle Evaluation vom Einsatz des LeMo-Tools Demo Diskussion Margarita Elkina. Learning Analytics und das LeMo-Tool 58