Analyse von Student-Studentund Student-Tutor-Interaktionen Nils Montenegro Humboldt-Universität zu Berlin 1 / 25
Einleitung Wozu Interaktionen analysieren? Wie kann ein System eingreifen? Wie kann man Interaktionen analysieren? 2 / 25
Wozu Interaktionen analysieren? Interaktionen beim Lernen und Lösen von Aufgaben verstehen und verbessern Hinweise, Feedback, Unterstützung Lerneffekt der Aufgabe vergrößern Studenten Feedback generieren Interaktionen mitlesen Plattform Interface zu den Studenten Situation erkennen Analysetool 3 / 25
Rahmenbedingungen Digitale Lernplattformen für Studenten oder Schüler Distance Environment for GRoup ExperiencEs DEGREE - Gruppenaufgaben gemeinsam lösen - Kommunikation und Austausch von Ergebnissen - Hinweise an Schüler um Gruppenarbeit zu verbessern AutoTutor - digitaler Lehrer - Chat mit Studenten: - Fragen stellen - Aussagen bestätigen oder korrigieren - Zusammenfassungen - Reaktion auf Emotionen 4 / 25
DEGREE Konfiguration Ausführung Analyse Organisation 5 / 25
Konfigurations-Ebene Konfiguration Ausführung Aktivität der Lehrer: - Aufgaben definieren - Werkzeuge und Ressourcen hochladen - Gruppenbildung Analyse Organisation 6 / 25
Ausführungs-Ebene Konfiguration Ausführung Aktivität der Schüler: - Beiträge zum Lösen - konversationsbasiert Analyse Organisation 7 / 25
Analyse-Ebene Konfiguration Ausführung Analyse Organisation Aktivität des Systems: - Konversationen analysieren - qualtitative und quantitative Analyse - Ratschläge an Schüler zur Verbesserung der Interaktionen - Analyse, ob Ratschlag Wirkung zeigt 8 / 25
Organisations-Ebene Konfiguration Ausführung Analyse Organisation Aktivität des Systems: - Ergebnisse sammeln und speichern - Fallstudien erzeugen Aktivität der Lehrer: - Beurteilungen hinzufügen 9 / 25
Analyse der Konversation + Quantitativ effizient für große Datenmengen numerische Vergleiche möglich eigentliche Konversation nicht einsehbar Analyse nur in vorgefertigten Kategorien Qualitativ Konversation bleibt erhalten, Zitate nutzbar kein a-priori-schema, Analyse ergänzbar Zeitaufwändig, nicht für viele Daten Betrachten von Einzelfällen Generalisieren nicht einfach 10 / 25
Quantitative Analyse Statistiken generiert und durch Webinterface visualisiert Daten aus Einträgen in Ausführungs-Ebene - Anzahl der Zugriffe und Beiträge der Gruppenmitglieder - Häufigkeit der verscheidenen Beitrags-Arten - Diskussionsentwicklung für Teilaufgaben Question Proposal Comment Agreement Contraproposal Aclaration 11 / 25 [1]
Qualtitative Analyse Ziele: Gruppenverhalten analysieren Vergleich Verhalten einer Gruppe mit anderen Gruppen Vergleich Verhalten eines Schülers mit anderen in selber Gruppe Für alle Ziele ähnliche Daten erhoben Datenquellen: Ausführungs- und Konfigurations-Ebene (weiß) Per Fuzzy-Logik aus anderen Daten berechnet (grau) Datenabhängigkeiten für die Analyse eines Schülers [1] 12 / 25
Qualtitative Analyse Attribute mit Wert und Label 13 / 25
Feedback-Analyse Entwicklung der Werte in Abhängigkeit der gesendeten Nachrichten Versuche, eigene Ideen einzubringen 14 / 25
DEGREE-Interaktion Interaktion der Schüler miteinander analysiert Hinweise zur Verbesserung an die Schüler geschickt Schüler DEGREE Feedback- Generator Qualitative Analyse 15 / 25
AutoTutor Besseres Lernen durch Vorhandensein von Mitlernern AutoTutor simuliert Lehrer in den Fächern Physik, Informatik, Kritisches Denken Reaktion auf Wissenstand und Gefühle der Studenten NLP: Natural Language Processing 16 / 25
Interaktion mit Studenten Basisversion (nicht empathisch) gibt Feedback stellt Fragen gibt Hinweise/ Berichtigungen beantwortet Fragen des Studenten Verbesserung soll auf Emotionen reagieren Emotionen beim Lernen: Neutral Langeweile Verwirrung Frust Freude Erstaunen Fluss (Arbeitslust) Wie kann man diese automatisch erkennen? Daten über Gefühlszustände sammeln statistische Analyse maschinelles Lernen der Features 17 / 25
Datensammlung 28 Studenten lernen mit AutoTutor Video und Chat aufgezeichnet Gesehen von selbst, Peer (Kommilitone), zwei professionelle Beobachter Alle 20 Sekunden festgestellte Emotion angeben Vier Datenreihen: t = 0 s t = 20 s t = 40 s... selbst Frust Neutral Erstaunen... Peer Neutral Neutral Freude... Beobachter 1 Freude Freude Erstaunen Beobachter 2 Erstaunen Frust Neutral... Welche Reihe entspricht der Wahrheit? 18 / 25
Übereinstimmung Cohens Kappa- Funktion: Übereinstimmung zweier Einschätzungen > 0: besser als zufällig, Maximum = 1 = 0: nur zufällig < 0: schlechter als zufällig selbst 0,15 0,08 0,15 Peer 0,15 0,15 Beobachter 1 Beobachter 2 0,36 Unterschiedliche Werte für verschiedene Emotionen: Übereinstimmung der Beobachter von 0,71 (Freude) bis 0.21 (Frust) 19 / 25
Statistische Analyse Häufigkeit der Emotionen 32% 24% 17% 16% 11% Neutral Fluss Verwirrung Langeweile alle anderen Multiple Regressions-Analyse Für jede Datenreihe und jede Emotion ein multiples Regressions-Modell Output-Variable: Zustand 1 Emotion vorhanden 0 Emotion nicht vorhanden Input-Variablen: Dialog-Merkmale 20 / 25
Multiple Regressions-Analyse Aussagekräftige Input-Variablen für die multiplen Regressions-Modelle [3] 21 / 25
Genauigkeit der Erkennung Höchste Genauigkeiten durch Unterscheidung einzelner Emotionen von neutral Nicht möglich, positive Emotionen genauer zu unterscheiden hierarchischer Ansatz empfohlen, erst positiv/ negativ unterscheiden, dann genauer [3] 22 / 25
AutoTutor-Interaktion Interaktion der Studenten mit dem System analysiert Reaktion auf erkannte Gefühle (z.b. durch Motivation, positives Feedback,...) Student AutoTutor Klassifikation von Gefühlen fachlicher Dialog 23 / 25
Diskusionsfragen Wie kann ein Computersystem in menschliche Interaktionen eingreifen? Wie stark darf es eingreifen? 24 / 25
Quellen [1] B. Barros and M. F. Verdejo. Analysing student interaction processes in order to improve collaboration. the degree approach. International Journal of Artificial Intelligence in Education, 11(3):221-241, 2000. [2] N. Mercer, K. Littleton, and R.Wegerif. Methods for studying the processes of interaction and collaborative activity in computer-based educational activities. Technology, Pedagogy and Education, 13(2):195-212, 2004. [3] S. K. D'Mello, S. D. Craig, A. Witherspoon, B. Mcdaniel, and A. Graesser. Automatic detection of learner's affect from conversational cues. User Modeling and User-Adapted Interaction, 18(1-2):45-80, 2008. 25 / 25