LearningAnalyticsundVisualisierungmitdemLeMo-Tool

Transkript

1 LearningAnalyticsundVisualisierungmitdemLeMo-Tool LianeBeuster 1,MargaritaElkina 2,AlbrechtFortenbacher 1,LeonardKappe 1, AgatheMerceron 3,AndreasPursian 2,SebastianSchwarzrock 3,BorisWenzlaff 1 1 HochschulefürTechnikundWirtschaft Treskowallee810318Berlin liane.beuster@htw-berlin.de/albrecht.fortenbacher@htw-berlin.de kappe@htw-berlin.de/boris.wenzlaff@htw-berlin.de 2 HochschulefürWirtschaftundRecht Alt Friedrichsfelde Berlin margarita.elkina@hwr-berlin.de/ andreas.pursian@hwr-berlin.de 3 BeuthHochschulefürTechnik Amrumer Straße Berlin merceron@beuth-hochschule.de/ sschwarzrock@beuth-hochschule.de Abstract:DieEntwicklungdesLernprozessMonitoringWerkzeugs(LeMo)zielt daraufhin,lehrende,forschendeundanbietervone-learningbeideranalyse von Nutzungsdaten ihreronline- und Blended-Learning Lernszenarienzu unterstützen.lemoermöglichstesverkehrsdatensowohlvonpersonalisierenden Lernplattformen,wieClixoderMoodle,alsauchvonnicht-personalisierenden PlattformenmitfreizugänglichenInhalten,auszuwerten.DasToolermöglicht verschiedeneanalysen,wiezumbeispieldenverlaufderintensitätder AktivitätenüberdieZeit,diedurchschnittlicheNutzungdesAngebotszu bestimmtenzeiteninderwoche,daserkennenhäufigerpfade,einengraphen überdienavigationzwischendenverschiedenenlernobjekteneineskursesund einenüberblicküberdiedurchschnittlichentestergebnisse.filtereinstellungenzur WahldesZeitraums,derLernobjekte,desLernobjekt-Typs,derNutzergruppeund visuelleeinstellungenerlaubenspezifischereanalysen.einhauptaugenmerkbei derentwicklungdeslemo-toolsliegtaufdernutzerfreundlichkeitundder dynamischenvisualisierungderanalyseergebnisse. 1 Gründe für das Learning Analytics Tool LeMo ImHorizonReport2013HigherEducationwird LearningAnalytics imdrittenjahrin FolgealseinedersechsinteressantestenSchlüsseltechnologienbenanntundkurz definiertals BigDataappliedoneducation [Jo13].MethodenderDatenanalyse,diein derkonsumforschungfürdenwirtschaftsbereichzugewinnbringendenerkenntnissen führten,werdenhierimbildungsbereicherprobtundaufdiegroßendatenmengen bezogen,diedurchdienutzungdigitalerlernmedienentstehen. BisheristLearningAnalyticsjedochehereinExpertenthema.WelcheMöglichkeiten gibtesaktuellfürdozenten,lerndatenauszuwerten? 245

2 ZumeinenexistierendieLernplattform-immanentenAuswertungsmöglichkeiten,z.B. beimoodle.hierwerdenjedochkaumvisualisierungenangebotenoderweitergehende FiltermöglichkeitenzurVerfügunggestellt.DozentensindmeistvonderFreischaltung dieserfeaturesdurchadministratorenabhängigundkönnendiedatennurzeitlich begrenzteinsehen,dasieinplattformenpersonenbezogenvorliegenundausgründen desdatenschutzesnachzumeistkurzenzeiträumengelöschtwerden.zumanderengibt esdatenanalyse-tools,wiebusiness-intelligencetooloderdasfürlearninganalytics- ForschungofteingesetzteWeka[Ga10],welchefürAnalyse-Expertenentworfen wurden,nichtfürdozenten.webanalyse-toolssindweitverbreitetundleichtzu bedienen,jedochbietensiekeinenbezugauflernspezifischethemen.anderetools, wie Gismo [MB07]beziehensichnuraufeinePlattform,hierMoodle,oderwerden, wiedasanderrwthaachenentwickelte elat [DY11],bishernichtöffentlichzur Verfügunggestellt.. ZielderAnwendung LeMo istes,möglichstvielelehrende,forschendeund Programm-Managerdarin zu unterstützen, Analysen vonaktivitätsdaten auf LernplattformendurchzuführenundvondenVorteilenvon LearningAnalytics zu profitieren.derschwerpunktvon LeMo liegtaufderadaptivenvisualisierungder DatenunddernutzerfreundlichenGestaltungderAnalysen[Be12].LeMoanalysiert sowohldatenvonverschiedenenlernplattformen,dieeinenloginerfordern,alsauch vonfreizugänglichenlernangeboten.diedatenwerdendurchkonnektorenzuden Datenbankenbzw.Serverlogfiles der Lernsysteme, aktuell Clix, Moodleund Chemgapedia, in diewebbasierte Anwendung LeMo importiert und in ein einheitliches Datenmodellüberführt. Es können auchkonnektoren zu anderen Lernsystemenhinzugefügtwerden.DiekomponentenbasiertenSoftware-Architektur kanndemgenanntenartikelentnommenwerden[fo13].derdatenschutz-konforme Einsatzwirdhierdadurchgewährleistet,dasspersonenbezogeneDatennurimfürdie AnalysenzwingendnotwendigenUmfanggenutztundzudemimZugedesImports grundsätzlichanonymisiertwerden.desweiterenkönnenanwendernurdiedaten einsehen,fürdiesiedurchloginundrollenkonzeptberechtigtsind.das LeMo -Tool wirdimjuni2013alsopensource Projektveröffentlich. 2 Implementierte Analysen UmdieAnforderungenandieAnwendungzuspezifizieren,wurdeeineBefragungunter Dozentenunde-LearningAnbieterndurchgeführt.AusdemresultierendenKatalogvon mehrals80fragestellungenwurdendurchgeneralisierunganalysenabgeleitet,die IndikatorenfürderenBeantwortungliefernkönnen.AlsStartpunktwurdendanndie AnalysenfürdieUmsetzungausgewählt,zudenendiemeistenFragestellungengezählt wurden.inderfolgendentabellesindbeispielefürsolchefragestellungenaufgeführt sowiedieimplementiertenanalysenunddieartderzugehörigenvisualisierung. Fragen Analyse Visualisierung ZuwelchenZeitpunktenwurdeaufLerninhalte AktivitätenproZeit LineChart zugegriffen? WieoftwurdeaufeinzelneLerninhalte Aktivitätenpro BarChart 246

3 Fragen Analyse Visualisierung zugegriffen? Lernobjekt WiesiehtdieNutzungbestimmterTypenvon Aktivitätenpro TreeMap RessourcenimVergleichaus? Lernobjekt&Typ LassensichausgetretenePfadeerkennen? Aktivitäts-Graph Netzwerk Vis. WurdendieMaterialienineinersinnvollen HäufigePfademit Pfad Vis. Reihenfolgebearbeitet? erlaubtenlücken WassinddietypischenerstenfünfKlicks? HäufigeabsolutePfade Pfad Vis. AnwelchenWochentagenundzuwelcher Akkumulierte Box-Plots UhrzeitfindendiemeistenAktivitätenstatt? Aktivitätszeiten WieunterscheidensichdieLeistungender PerformanceproStudent Box-Plots StudentenineinemKurs? DurchschnittlicheNotenineinemTestermitteln PerformanceVerteilung Box-Plots protest WirdvomvorgegebenenPfadabgewichen? Navigationspfad Circle-Graph Tabelle1:TabelleüberimplementierteAnalyseninLeMo GestaltungdesUser-InterfacefolgtderMaxime Overviewfirst,zoomandfilter,details ondemand [SH96,HR07]undunterstütztdieexplorativeAnalysederLerndaten.Die Analysen können je nachbedarf durchdie Nutzer ausgewähltund mittels FiltereinstellungenfürdieindividuelleFragestellungspezifiziertwerden.JeAnalyse stehenfilterfürdieauswahleinerbestimmtenzeitspanne,einesbestimmten Lernobjekt-Typs(Datei,Forum,Test,Frage,Wiki,SCORM-Modul)undanonymisierter Nutzer(-gruppen)zurVerfügung.DieVisualisierungenselbstbietenverschiedene Interaktionsmöglichkeiten,diedasExploriereneinerAnalysefürdenBetrachter vereinfachensollen,wiez.b.zoom,mouse-overundklick-sensitivevisualisierungselemente.dieangezeigtenundgefiltertendatenkönnenzudemalscsv-dateiexportiert undsoauchinanderenprogrammenverwendetwerden. 3 Das Fallbeispiel BeidemFallbeispielhandeltessichumeinUnterrichtsmodulausVorlesungundÜbung iminformatikstudium,dasimoktober2012begannundüberzweisemesterläuft.die VorlesungfandjeweilsamDienstagzwischen10Uhrund12Uhrstatt,gefolgtvonder sichdirektanschließendenübung(12bis16uhr).zurvorbereitungdervorlesung wurdedenstudierendenjeweilsamvortagdervorlesung(montagvormittags)die VorlesungsfolienüberdieLernplattformMoodlezurVerfügunggestellt.Unmittelbar voreinerübungwurdenpdf-dateienmitaufgabenfreigeschaltetundvierzehntage späterdiedazukorrespondierendenlösungenveröffentlicht.imnovemberwurdeein TestzurSelbstevaluationbereitgestellt.AufdiesenTestwurdedanachkeindirekter Bezugmehrgenommen.FürdenMoodle-KursisteinForumfreigeschaltet,welches jedochnichtaktiverbestandteildeslehrkonzeptesist,daessichindiesemfallbeispiel umkeinenonline-studienganghandelt.andersverhältessichmitdemebenfallsbereit gestelltenwiki:einlernszenariobestanddarin,dassdiestudierendenselbstaufgaben zugelerntenthemenerstellenundsieihrenkommilitonenimwikivorden 247

4 WeihnachtsferienzurVerfügungstellen.Analysiertwerdensoll,obStudierendedie AufgabenimWikiunddenTestnutzenundsichsoz.B.aufdiePrüfungenvorbereiten. 3.1 AktivitätenproZeit(Line-Chart) DieseAnalyseistmiteinemLine-Chartumgesetzt(Abb.1).DieblaueLiniestehtfürdie ZahlderAktivitäten,dieorangeLiniefürdieZahlderNutzer,diedieseAktivitäten verursachten.fährtdercursordermausüberdieliniezeigteintooltipdieexaktezahl deraktivitätenundnutzersowiedenzeitpunktan.umsowohleinenüberblicküberdie gewähltezeitspannealsauchdiefokussierungaufdetailszuermöglichen,kannder NutzereinenbestimmtenZeitraumausdemunterenDiagrammdurchKlickenund ziehenmitgedrücktermaustasteauswählenundsichsoeinevergrößerteansichtdavon indemoberendiagrammanzeigenlassen.dernutzerkanndieliniendesdiagramms einzelndeaktivieren,umeinenbesserenüberblickzuerhalten.dieskalierungder AchsenpasstsichandenjeweiligenWertebereichan. Abbildung1:AktivitätenproZeitohneFilter ZoomaufdenAusschnittumdieWeihnachtstage Abbildung2:AktivitätenproZeitmit gesetztemfilterauftests. Fallanalyse:IndieserAbbildungistkeinFiltergesetzt.DasuntereDiagrammin Abbildung1zeigtdieAktivitätenvom14.Dezemberbiszum11.Februar.Eswurdeder AusschnittumdieWeihnachtsfeiertagegewähltundinderVergrößerungzeigtsicheine hoheaktivitätzurveranstaltungvordenweihnachtsfeiertagenundzumerstentermin imjanuar.amtagderabgabebeschreibtdiekurveeinendoppelgipfel,deranzeigt, dassvielestudierendenmehrheitlichkurzvorderlehrveranstaltungbzw.inder Vorlesungaktivwaren,umdieAufgabenfürdieanschließendeÜbungbereitzustellen. Abbildung3:AktivitätenproZeitmit gesetztemfilteraufwiki. Abbildung4:AkkumulierteAktivitätszeiten 248

5 Fallanalyse:DieAnalyse,gefiltertnachTests(Abb.2),zeigtmehrereAktivitätender StudierendenamSemesterende.DadieVeranstaltungzweisemestrigist,gabeszu diesemzeitpunktnochkeineklausur.diestudierendenführenjedochauseigener Motivationden Test aufder Plattform durch, wasauf einbedürfnis nach Selbstevaluationhindeutet. Fallanalyse:DieAktivitätskurvefür Wiki (Abb.3)zeigtauchnachderEinreichungder studentischenaufgabenkontinuierlicheausschläge.dieaufgabenwerdenweiterhin durchdiestudierendengenutzt,dasszenariowirdalsoangenommen. 3.2 AkkumulierteAktivitätszeiten(Box-Plots) FürdieDarstellungderZeiträumemitdenmeistenzuerwartendenAktivitäten,wurden vierzeitfensterásechsstundenprowochentaggebildet,dieaktivitätenakkumuliert undmittelsbox-plotsvisualisiert(abb.4).diebox-plotsgebendiespanneder AktivitätenfürdiesentypischenZeitrauminderWocheansowieQuartileundMedian derverteilung.fallanalyse:dieaktivitätenderstudierendenbeginnenamsonntag, habenihrenhöhepunktammontagundsindebenfallsamdienstagzuden Veranstaltungen sehr hoch. Am Samstaggibtesdie geringste Aktivität. Die SonntagsaktivitätenderStudierendensindunerwartet,obwohldieErklärunglogisch nachvollziehbarist:ammontaggibtesfürsieauchandereveranstaltungen.diefolien fürdienächstevorlesungwurdenjedochimmerammontagvormittagfreigeschaltet,d.h. didaktischgesehen,wäreessinnvollerdiefolienschonamsamstagfreizuschalten. 3.3 AktivitätenproLernobjektund Typ(Treemap) IndieserDarstellung(Abb.5)wirddieZahl der Aktivitäten pro einzelnes Lernobjekt analysiert.zusätzlichzurabsolutenanzahl wirdderrelativeanteilandengesamten Aktivitäten durch die Flächengröße dargestellt.dertypderaktivitätwirdfarbig gekennzeichnet,sodassauchderprozentuale AnteileinesjedenAktivitäts-TypsinRelation zurgesamtaktivitätschnellzuerkennenist. DieUnterteilungen der farbigen Flächen zeigenaktivitätenfüreinzelnelernobjektean, zudenenweitereinformationenpermouse- Overaufgerufenwerdenkönnen. Abbildung 5Analyse der Zahl der AktivitätenproLernobjektund-Typ Fallanalyse:DieFelderzudenLernobjekt-TypenWiki(blau)undTest(rot)sindähnlich großwiedasfeldzudenstatischendateien(orange)undzeigeneinenhohenanteilvon interaktivemlernenandengesamtaktivitäten.daskooperativelernenimforum(grün) spieltdagegensogutwiekeinerolleundkönntez.b.durchbezügeausder Veranstaltungherausmotiviertwerden. 249

6 4 Schlussfolgerungen und Ausblick DiehiervorgestelltenAnalysenkonntenfürdenzuuntersuchendenKursadaptiert werden,sodassdieerwartetenergebnissedeslernszenariosüberprüftwerdenkonnten. EswurdeninteressanteAspektedesLernverhaltensderStudierendenentdecktunddamit konntenhinweisefürdiedurchführungdeskursesgewonnenwerden.diese Erkenntnisse konnten mehrheitlich aufgrundder visuellenanalyseder Daten vorgenommenwerden.umweitereerkenntnisseüberdienützlichkeitderanalysenund MöglichkeitenfunktionellerErweiterungenzuuntersuchen,istimWintersemester 2013/14derEinsatzvonLeMobeiinteressiertenDozentenineinerPilotphase vorgesehen,dereineentsprechendeevaluationfolgt. DasProjektwurdedurchdasInstitutfürangewandteForschunginBerlinIFAFunddie MitteldesEFRE-FondsderEuropäischenUnionfinanziert. Literaturverzeichnis [Be12]Beuster,L.;Elkina,M.;Fortenbacher,A.;Kappe,L.;Merceron,A.,Pursian,A.; Schwarzrock,S.;Wenzlaff,B.:PrototypeinerplattformunabhängigenApplication fokussiertaufnutzungsanalyseundpfadanalyse.in:(hrsg.lucke,u.)e-learning Symposium2012:AktuelleAnwendungen,innovativeProzesseundneuesteErgebnisse ausdere-learningpraxis.urn:urn:nbn:de:kobv:517-opus-62661,potsdam,2012. [DY11]DyckhoffA.,ZielkeD.,ChattiM.A.undSchroederU.:eLAT:AnExploratoryLearning AnalyticsToolforReflectionandIterativeImprovementofTechnologyEnhanced Learning,InPechenizkiy,M.,Calders,T.,Conati,C.,Ventura,S.,Romero,C.,and Stamper,J.(Eds.)Proceedingsofthe4thInternationalConferenceonEducationalData Mining.Pp [Fo13] Fortenbacher,A.;Beuster,L.;Elkina,M.;Kappe,L.;Merceron,A.;Pursian,A.; Schwarzrock,S.;Wenzlaff,B.:LeMo:aLearningAnalyticsApplicationFocussingon UserPathAnalysisandInteractiveVisualization.In:TagungsbandderIDAACS2013, Berlin,inDruck. [Ga10]Garcia,E.;Romero,C.;Ventura,S.;deCastro,C.;Calders,T.:AssociationRuleMining inlearningmanagementsystems.in:handbookofeducationaldatamining.crcpr. Inc.,BocaRaton,Fl,USA,2010,pp [HR07] Heer J,RobertsonG.:AnimatedTransitionsinStatisticalDataGraphicsinIEEE TransactionsonVisualizationandComputerGraphics,Vol.13Issue6,NJ,USA,pp [Jo13] Johnson,L.;AdamsBecker,S.;Cummins,M.;Estrada,V.;Freeman,A.;andLudgate, H.:NMCHorizonReport:2013HigherEducationEdition.Austin,Texas:TheNew MediaConsortium,2013. [MB07]Mazza,R.;Botturi,L.:MonitoringanOnlineCoursewiththeGISMOTool:ACase Study.In:JournalofInteractiveLearningResearch,Vol.18N.2(2007).AACE, Chesapeake,VA,2007;pp [SH96] Shneiderman,B.:Theeyeshaveit:Ataskbydatatypetaxonomyforinformation visualizations.in:proc.oftheieeesymposiumonvisuallanguages,pp.336.ieee,