elearning im physikalischen Anfängerpraktikum Defensio Mag. Clemens Nagel

Beschreibung der Arbeit Planung, Entwicklung, Implementation und Evaluation von elearning-maßnahmen Verbesserung der Lehre im physikalischen Anfängerpraktikum der Universität Wien Aktionsforschungsstudie Auftragsforschungs-Charakter

Inhalt der Präsentation Entwicklung einer neuen Lernumgebung Theoretische Grundlagen zu Entwicklung & Design der Lernumgebung Kurze Vorstellung der Lernumgebung Deskriptive Analyse (qualitative Studie) Vorstellung der Methoden Ergebnisse Kriterienbasierte Evaluation (quantitative Studie) Vorstellung der Methoden Ergebnisse Zusammenfassung und Ausblick

Entwicklung einer neuen Lernumgebung Theoretische Grundlagen zu Entwicklung & Design der Lernumgebung Cognitive Theory of Multimedia Learning Multimediaeffekt und Kohärenzbildung nach Mayer (2004)

Entwicklung einer neuen Lernumgebung Theoretische Grundlagen zu Entwicklung & Design der Lernumgebung Zum didaktischen Design multimedialer Lernumgebungen Grafiken nach Schulmeister (2004)

Entwicklung einer neuen Lernumgebung Theoretische Grundlagen zu Entwicklung & Design der Lernumgebung Entscheidung für Blended Learning

Entwicklung einer neuen Lernumgebung Theoretische Grundlagen zu Entwicklung & Design der Lernumgebung Motivation: Selbstbestimmungstheorie (Ryan & Deci) Design der Lernobjekte: Learner-Centered Instructional Design (Meyer) Cognitive Load Theory (Sweller, van Merrienboer & Paas) Blick über den Tellerrand: Vorbereitung & Praktikum ohne elearning Vorbereitung & Praktikum in hypermedialer Lernumgebung (HL) (Theyßen, 2000) Vorbereitung in HL, Praktikum in Präsenzphase (Zastrow, 2001) Vorbereitung & Praktikum in Blended Learning Setup (Borawski 2005) Vorbereitung & Extra-Tools mit Linux-Live-CD (Imbrock & Bersch, 2007)

Entwicklung einer neuen Lernumgebung Kurze Vorstellung der Lernumgebung E-Skripten mit Hyperref-Funktion Internetseite und Webtools Bsp. Denkaufgabe Bsp. Video Bsp. Applet http://www.univie.ac.at/anfpra

Entwicklung einer neuen Lernumgebung

Deskriptive Analyse (qualitative Studie) Methoden Fragebogen PRE narrative Interviews Aktionsforschungs- Logbücher Gruppendiskussion mit kritischem Freund User-Statistik der Website Fragebogen POST

Deskriptive Analyse (qualitative Studie) Randdaten: N LA = 25, N B = 6 Auswertemethoden Geschlossene Fragen: deskriptive Statistik Offene Fragen oder Methoden: mehrstufiges axiales Reduktions-, Explikations- und Codierverfahren. Je nach Frageinstrument deduktive oder induktive Kategoriendefinition Qualitätssicherung

Deskriptive Analyse (qualitative Studie) Zusammenfassung der Ergebnisse: Große Heterogenität bei Vorbildung und Vorwissen Positive Selbsteinschätzung des Lernerfolges durch die Studierenden 2 Nutzungstypen: Individualnutzer Intensivnutzer Gute Vorbereitung der Studierenden 2 Lerntypen: aufwandsökonomisch lernzielorientiert

Deskriptive Analyse (qualitative Studie)

Deskriptive Analyse (qualitative Studie) Zusammenfassung der Ergebnisse: 2 Nutzungstypen: Individualnutzer Anleitungstexte downgeloadet und ausgedruckt; manchmal Applets verwendet, um mich auf das Praktikum vorzubereiten (Zitat aus Fragebogen POST) S: Mhm. // Also, ich muss zugeben, ich hab mir nicht jedes Mal die Videos angeschaut oder die Zusatztexte, weil der eine Text reicht mir, da muss ich nicht noch die zusätzlichen Texte lesen. Aber die Physlets sind einerseits ganz witzig, es macht Spaß damit herumzuspielen, am Anfang bei der Schublehre und Mikrometerschraube fand ichs auch sehr nützlich, weil ich mir doch zuhaus noch mal angeschaut hab wie das funktioniert. Mmh, bei den Schwingungen bin ich gar nicht dazugekommen mir das anzuschauen, da haben wir beim vorigen Mal noch kurz auf der Internetseite geschaut wie man das machen kann, wurscht. Aber heute beim Luftkissentisch hab ich mas angschaut, [...] (Interview 1, Z. 111-118)

Deskriptive Analyse (qualitative Studie) Zusammenfassung der Ergebnisse: 2 Nutzungstypen:

Deskriptive Analyse (qualitative Studie) Zusammenfassung der Ergebnisse: 2 Nutzungstypen: Monatlicher Zugriffsdurchschnitt pro abgehaltenem Kurstag

Deskriptive Analyse (qualitative Studie) Zusammenfassung der Ergebnisse: 2 Lerntypen: aufwandsökonomisch S: [...] Weil sich ja jeder nur durchliest: Was muss ich machen. Weils vorhereinfach keinen interessiert wies funktioniert, es is halt ganz einfach so. Ich bin im 3. Semester, wir haben 4 Stunden Praktikum vor uns und es interessiert vorher einfach keinen, weil alle wollen das Praktikum hinter sich bringen, ahm, in der Zeit und richtige Ergebnisse bekommen, und dann müssen alle s Protokoll schreiben. Dann is wichtig, was das für physikalische Hintergründe hat und da is die elearning Seite wieder wichtig [...] (Interview 1, Z. 615-619)

Kriterienbasierte Evaluation (quantitative Studie) 1. Leistungssteigerung Die kognitiven und prozessorientierten Fertigkeiten der Studierenden sollen sich verbessern 2. Passendes Angebot Das Angebot der elearning-umgebung soll von den Studierenden als hilfreich erachtet werden, mangelndes oder fehlendes Vorwissen auszugleichen 3. Ausreichende Nutzung Die Studierenden sollen das Angebot der elearning- Umgebung in angemessener Intensität nutzen 4. Selbstorganisiertes Lernen Die Studierenden sollen die Vorbereitung (elearning- Phase) als Phase selbstorganisierten Lernens erleben

Kriterienbasierte Evaluation (quantitative Studie) Methoden 13 offene und 13 geschlossene Items aus TIMSS (1995) und aus Kauertz (2008)

Kriterienbasierte Evaluation (quantitative Studie) Auswertemethoden LEISTUNG: Summenscore PRE & POST bei 1/0-Codierung Prüfung auf Reliabilität, Normalverteilung T-Test (für verbundene Stichproben) Faktoranalyse (Suche nach Unterteilung Wissen / Fertigkeiten) Analyse auf Item-Ebene bei signifikanten Änderungen ANGEBOT, NUTZUNG, LERNEN: Kurzfragebögen Codierung in Ordinalskala Deskriptive Statistik Frequenzanalyse Qualitätssicherung

Kriterienbasierte Evaluation (quantitative Studie) Zusammenfassung der Ergebnisse: Leistungssteigerung Passendes Angebot Ausreichende Nutzung Selbstorganisiertes Lernen

Kriterienbasierte Evaluation (quantitative Studie) Zusammenfassung der Ergebnisse: Leistungssteigerung Cronbach-Alpha = 0,70 bei Pre & Posttest T-Test bei n = 27 und 24 Items MW Pre = 11,74 ± 0,71 MW Post = 12,74 ± 0,72 T = -2,306 f=26 --> Signifikanz von H 0 = 0,029 Prüfung der elearning-nutzer auf höheren Leistungszuwachs: nicht signifikant aber Tendenz deutlich (5/38 vs. 12/38)

Kriterienbasierte Evaluation (quantitative Studie) Zusammenfassung der Ergebnisse: Leistungssteigerung Prüfung auf latente Zusammenhänge: INDUKTIV: Faktoranalyse: Stichprobe ungeeignet, keine verwertbaren Ergebnisse DEDUKTIV: Itemunterteilung in Gruppen a. naturwissenschaftliche Arbeitsweisen / kognitives Wissen b. Praktikumsnahes / praktikumsfernes Wissen und Können Reliabilitäten (Cronbach-Alpha) schlechter T-Tests für Items: Pre/Post nicht signifikant unterschiedlich

Kriterienbasierte Evaluation (quantitative Studie) Zusammenfassung der Ergebnisse: Leistungssteigerung Untersuchung auf Item-Ebene: Ermittlung signifikanter Unterschiede in der Beantwortung einzelner Items mit McNemar-Test 17/25 Items haben mehr richtige Antworten (3 signifikant) 8/25 Items haben weniger richtige Antworten (0 signifikant)

Kriterienbasierte Evaluation (quantitative Studie) Zusammenfassung der Ergebnisse: Leistungssteigerung Problem-Item stärkster Rückgang richtiger Lösungen (-22%) TIMSS (1995)

Kriterienbasierte Evaluation (quantitative Studie) Zusammenfassung der Ergebnisse: Passendes Angebot

Kriterienbasierte Evaluation (quantitative Studie) Zusammenfassung der Ergebnisse: Ausreichende Nutzung Rückschlüsse auf die Lerntypen

Kriterienbasierte Evaluation (quantitative Studie) Zusammenfassung der Ergebnisse: Selbstorganisiertes Lernen (elearning Phase) Inhalte und Ziele vorgegeben: 100% Ja Freie Wahl der Lernzeiten: < 100% Ja Freie Wahl des Lernortes: 100% Ja Freie Wahl der Hilfsmittel: 100% Ja

Resümee Erfolgreiche theoriegeleitete didaktische Innovation (>90 Experimente, 42 Kurstage, 4 LVen, 16 Betreuer) Evaluation qualitativ: Lerntypen Nutzungstypen Kriterienbasierte Evaluation: Angebot, Nutzung, selbstorganisiertes Lernen Leistungssteigerung? Ergebnis zu Konzeptverständnis und Transferleistungen kann nicht zufriedenstellen!

Ausblick Testinstrument mit Kontrollgruppendesign entwickeln, auf Bachelor-Praktikum erweitern? Ziele des Praktikums überdenken, abstimmen Interventionen auf Konzeptverständnisebene einarbeiten oder Konzeption des Praktikums in Frage stellen? Integriertes 4-Säulen-Modell der Lehramtsausbildung: Wie viel CAT im späteren Unterricht?

Herzlichen Dank für die Aufmerksamkeit! Sowie ein großes Dankeschön an Dr. Irmgard Gorgas ( ), Dr. Helmut Kühnelt, Dr. Wilhelm Markowitsch, Ing. Marion Malleck, Dr. Clemens Mangler, Dr. Agnes Turner, Dr. Knut Neumann, Dr. Alexander Kauertz, Dr. Alfred Korner, Dr. Viktor Gröger, Dr. Helga Stadler, Dr. Horst Schecker, Mag. Christian Primetshofer und Dr. Franz Embacher, Dr. Dieter Schumacher, Dr. Martin Hopf, Dr. Heike Theyßen, Andrea Kasza, Eveline & Peter Nagel, Manuela Rödleithner und allen, die mir Stütze und Hilfe waren!