Evaluation und Feedback zum Online Lernen

Transkript

1 Evaluation und Feedback zum Online Lernen Unterlagen und Hinweise Wien, November 2006 DI Barbara Buchegger

2 Inhaltsverzeichnis 1. Einleitung Leistungsbeurteilung Evaluation der Unterrichtssequenz Online Methoden der Evaluation Fragebögen Abstimmungen Stimmungsbarometer im Wiki Selbstbeurteilung und Selbstreflexion Methoden der Evaluation im Klassenzimmer Stimmungsbarometer Zielscheibe Distanz-Übung Meinungs-Kreis World Café elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 2/16

3 1. Einleitung Die im folgenden Bericht dargestellten Aspekte beruhen auf Aktivitäten, die Barbara Buchegger für das elsa Team entwickelt und zusammengetragen hat. Weiters sind Fragebögen aus verschiedenen Befragungen (danke an Franz Riegler, Erika Hummer und das Tevalo-Team für Inputs) aufgenommen. Die Fragen im Bereich des Fragebogens sind so zusammengestellt, dass bei bedarf entsprechende Fragen herauskopiert und in eigenen Befragungen genutzt werden können. Bei allen Ideen und Anregungen wird davon ausgegangen, dass kooperatives elearning, im Normalfall im Sinne des blended Learnings umgesetzt wird. Die Online Fragebögen sind im Ansatz her auch für den Rückblick auf IKT unterstützten Unterricht nutzbar. elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 3/16

4 2. Leistungsbeurteilung elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 4/16

5 elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 5/16

6 elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 6/16

7 3. Evaluation der Unterrichtssequenz Evaluation der eigenen Unterrichtssequenz kann mit folgenden Zielen durchgeführt werden: Lernprozess: Einschätzung des eigenen Lernerfolges, die eigene Motivation, Entsprechung der eigenen Lernbedürfnisse Inhalte: Brauchbarkeit und Interesse Begleitung durch den/die Lehrenden: Ausmaß der Unterstützung, Lehrende als Coach, didaktische Aufbereitung Rahmenbedingungen: Technik und Organisation 3.1. Online Methoden der Evaluation In der Anfangsphase, din der neue Unterrichtsformen eingesetzt werden, ist es hilfreich, sich selbst ein Bild amchen zu können, wie die teilnehmerinnen mit der neuen Unterrichtsform umgehen können und welcher Output für sie gegeben ist. Daher sind Evaluationsformen für die lehrkraft selbst besonders hilfreich und helfen, die neue Methode weiterzuentwickeln und damit die SchülerInnen als EntwicklungspartnerInnen anzusehen. Hat sich das gefühl für die Akzeptanz dann in weiterer Folge eingestellt, können auf mache Fragen und Methoden verzichtet werden. Lehrende, die solche Methoden aber schon lange nutzen, machen die Erfahrung, dass es aber weiterhin hilfreich bleibt, auch wenn sich die Einschätzung der Lehrenden mit den Aussagen der SchülerInnen in etwa decken. Um einen Einblick zu bekommen, wie die gewählte Unterrichtssequenz bei den SchülerInnen ankommt, können einfache Tools angewendet werden. Das schnellste und simpelste sind kurze Abstimmungen, etwas aufwendiger sind Wikis, die Fragebögen sind schnell einsetzbar, wenn sie bereits einmal entwickelt wurden. elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 7/16

8 Darüber hinaus können genutzt werden: Beobachtung der Beteiligung bei den Online Aktivitäten Berichte von Verantwortlichen in Unterricht als eine Art Rückblick auf die Online Phase Forendiskussionen oder plenare Diskussionen im Klassenraum Fragebögen Für die Evaluation eignen sich besonders geschlossene Fragestellungen, da sie schnell durchführbar sind und einen guten Überblick für die lehrenden bieten. In Moodle wird dazu das Test-Modul verwendet. Bei online Befragungstools sind eigene Eingabemasken gegeben. Die Auswertung sollte wenn möglich in anonymisierter Form erfolgen. Fragenkomplexe Im Folgenden eine Zusammenstellung von Fragen, die bei online Fragebögen genutzt werden könnten. Diese beruhen auf Fragebögen, die von unterschiedlichen Anbietern genutzt werden und sind entsprechend abgewandelt. Die Fragen beziehen sich in der Regel auf die Durchführung von blended Learning und kooperativen elearningsequnezen. Die Fragen sind eine Sammlung und noch nicht von einer/m psychologichen Expert/in überprüft: Rahmenbedingungen Ich arbeite im Unterricht gerne mit dem Computer bzw. dem Internet! trifft völlig zu trifft eher zu trifft eher nicht zu trifft nicht zu Ich kenne mich gut mit dem Computer aus! trifft völlig zu trifft eher zu trifft eher nicht zu trifft nicht zu Verwendest Du zu Hause den Computer und das Internet beim Lernen? Vergib dabei Punkte von 1 bis 10, wobei 1 für immer und 10 für gar nicht steht. Hast du den Eindruck, dass die Nutzung von Computer und Internet zu Hause für dich hilfreich sind? Vergib dabei Punkte von 1 bis 10, wobei 1 für sehr hilfreich und 10 für gar nicht hilfreich steht. Dein Eindruck benötigst Du mit Hilfe des Computers und des Internets mehr Zeit oder weniger Zeit? Vergib dabei Punkte von 1 bis 10, wobei 1 für sehr viel mehr Zeit und 10 für sehr viel weniger Zeit steht. Wie stark wird bei Dir IKT im unterricht eingesetzt? Vergib dabei Punkte von 1 bis 10, wobei 1 für sehr stark und 10 für nie steht. Hast du den Eindruck, dassdeine Lehrenden weil du und deine KollegInnen den Computer und das Internet gerne verwendet das im Unterricht auch öfter berücksichtigen und daher einsetzen? Vergib dabei Punkte von 1 bis 10, wobei 1 für stimmt sicher und 10 für stimmt sicher nicht steht. Motivation Online zu lernen hat mir sehr gut gefallen war akzeptabel hat mir gut gefallen hat mir nicht gefallen Ich habe mich während (der Unterrichtssequenz) gefühlt: elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 8/16

9 voll Energie und Spaß ganz ok interessiert dabei ein bisschen gelangweilt Ich möchte wieder auf diese Art und Weise lernen ja, und zwar bald ja, aber noch nicht so bald nein Wie wirkt sich die Nutzung von Computer und Internet im Unterricht auf deine Motivation aus? Vergib dabei Punkte von 1 bis 10, wobei 1 für sher viel mehr motiviert und 10 für sehr viel weniger motiviert steht. Technik Die Lernplattform (Moodle, LMS, ILIAS,...) ist meiner Meinung nach einfach zu bedienen mit Einschulung zu bedienen ziemlich kompliziert mir unverständlich Ich bin mit der Lernplattform (Moodle, LMS, ILIAS,...) sehr gut zurechtgekommen gut zurechtgekommen nicht besonders zurechtgekommen gar nicht zurechtgekommen Ich brauche bezüglich der Plattform eigentlich noch mehr Erklärung keine Erklärungen mehr Lerntyp Mich haben besonders angesprochen: die Texte und das Lesen die Einzelarbeiten die Bilder und grafischen Aufbereitungen die Audiofiles zum Anhören der Austausch mit den anderen, die Gruppenarbeiten Am besten lerne ich wenn ich etwas lese wenn ich laut vorlese bzw. jemandem zuhöre wenn ich etwas als Bild anschaue etwas selbst ausprobiere Hat sich durch den Einsatz von Computer (IKT) dein Lernstil verändert? Vergib dabei Punkte von 1 bis 10, wobei 1 für total verändert und 10 für gar nicht verändert steht. Zeitaufwand Ich habe für die Aufgaben der vergangenen Zeit so lange gebraucht wie erwartet länger gebraucht als erwartet Ich habe für die Aufgaben (der vergangenen Woche) O 10 min gebraucht O min gebraucht O min gebraucht O mehr als 60 min gebraucht Die Online Phasen haben gedauert O länger als sonst Hausübungen O ungefähr so lange, wie sonst Hausübungen O kürzer, als sonst Hausübungen elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 9/16

10 Unterlagen Die Unterlagen in der Lernplattform waren für mich sehr brauchbar brauchbar ein bisschen brauchbar gar nicht brauchbar Fachspezifische Fragen spezielle Fragestellungen, die mit den Zielsetzungen des jeweiligen Faches im Zusammenhang stehen (z.b. in den modernen Fremdsprachen Fragen zur Kommunikation, in Latein z.b. Fragen zur Übersetzungsstrategie und in Informatik beispielsweise Fragen zu Problemlösungsstrategien). Das Thema der heutigen Unterrichtsstunde hat mich sehr interessiert. trifft zu o o o o o trifft nicht zu Ich habe viel Neues zum Thema erfahren. trifft zu o o o o o trifft nicht zu Den Arbeitsauftrag konnte ich mit der Hilfe der erhaltenen Arbeitsunterlagen gut durchführen. trifft zu o o o o o trifft nicht zu Ich habe das Gefühl, dass wir in diesem Gegenstand online und im Klassenzimmer auf ein Ziel hinarbeiten. Die Lehrkraft Mein/e Lehrer/in war immer da, wenn ich ihn/sie gebraucht habe nicht da, wenn ich ihn/sie gebraucht habe Die Arbeitsaufträge waren so klar, dass ich meinen/meine Lehrer/in während der Online-Phase eigentlich nicht gebraucht habe während der Online-Phase manchmal gebraucht habe während der Online-Phase oft gebraucht habe Mein/e Lehrer/in war in der online Phase O sehr unterstützend O unterstützend O ich hab sie nicht bemerkt Didaktischer Aubau Die E-Learning-Sequenz war echt abwechslungsreich ein bisschen abwechslungsreich immer dasselbe Die Länge der online Phasen war im vergleich zum Unterricht O angemessen O nicht angemessen, weil zu lang O nicht angemessen, weil zu kurz Aus der elearning Sequenz hat mir besonders gut gefallen: elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 10/16

11 ... Nenne eine Aufgabe, ein Spiel, aus der E-Learning Sequenz, das dir besonders gut gefallen hat:... Bei einem nächsten Mal möchte ich gerne, dass Folgendes unbedingt wieder vorkommen soll:... Verzichten könnte ich bei einem nächsten Mal auf:... In der Zukunft könnten wir besser machen:... Diese Art des Lernens ist O ganz anders, als sonst O ähnlich als sonst, nur mehr Computernutzung Kommunikation und Gruppenarbeiten In meiner Klasse haben wir unsere Rollen... O sehr gut ausgefüllt O gut ausgefüllt O Einigermaßen ausgefüllt O nicht ausgefüllt Die Arbeit in der Gruppe hat mir Freude gemacht trifft zu o o o o o trifft nicht zu Output Hast du den Eindruck, dass die IKT, also der Computer, dass Internet etc für ich beim Lernen hilfreich war? Vergib bitte Punkte zwischen 1 und 10, wobei 1 extrem hilfreich und 10 gar nicht hilfreich ist. Ich habe das Gefühl, dass ich etwas dazulerne. Ich werde besser. trifft zu o o o o o trifft nicht zu Mir ist klar, wie sich die Note in dem Gegenstand zusammensetzt. trifft zu o o o o o trifft nicht zu Das für mich wichtigste, das ich in dieser Sequenz gelernt habe, war:... Aus der Unterrichtssequenz nehme ich mit (formuliere dazu genau drei Sätze):... Wie zufrieden bist du mit der E-Learning Sequenz insgesamt? sehr zufrieden sehr unzufrieden elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 11/16

12 Abstimmungen Die Fragen aus dem Fragepool können auch für Abstimmungen genutzt werden. Abstimmungen lassen sich jedoch auch nutzen, um die weitere Zukunft mitzugestalten. Zum Beispiel können Fragen zur Verständlichkeit eines gelernten Inhalten gestellt werden: Nach diesem Teil O habe ich das Gefühl, ich kenne mich mit dem Stoff aus O habe ich noch nicht das Gefühl, ich kenne mich mit dem Stoff aus Mir hat die vergangene Woche mit dem online Lernen O echt Spaß gemacht O nicht besonders viel Spaß gemacht Stimmungsbarometer im Wiki Ähnliche dem Stimmungbarometer kann auch das Wiki genutzt werden, um ein schnelles Feedback zu zeichnen. Dabei wird statt mit Linien mit Kreuzerl gearbeitet. :-)) X X o :-) X X o :-I X X o :-( X X X o :-(( X X xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx Selbstbeurteilung und Selbstreflexion Im Sinne der Selbstbeurteilung und als Vorbereitung für den Einsatz von eportfolios können verschiedene Methoden eingesetzt werden. 1. SchülerInnen erstellen ein Powerpoint - Dokument, in der sie ihre eigenen Leistungen, das Erlernte und die Bewerbung um eine Note zusammenstellen. 2. SchülerInnen erstellen an Hand von Leitfragen ein eportfolio, beispielsweise in einem Wiki. Folgende Leitfragen können Ausgangspunkt für die Darstellungen der SchülerInnen sein: Die eigene Rolle 1. Welche Rolle, welche Verantwortung habe ich bisher eingenommen und wie habe ich sie erfüllt? Meine Beiträge elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 12/16

13 2. Allgemeine Foren (Hallo, Freunde ): Wo und wie habe ich einen Beitrag geleistet? Welche Themen waren mir am Wichtigsten? 3. Wortsammlungen, Vokabel, Glossar: In welchem Umfang habe ich dort Beiträge geleistet? Zu den einzelnen Sequenzen: (jede Phase extra aufführen) 4. Sequenz 1: 4.1. Mein Beitrag zu dieser Sequenz und der Lösung 4.2. Was habe ich dabei gelernt? 4.3. Mein Beitrag in der Gruppe! 4.4. Was habe ich dort gelernt? 4.5. Mein Beitrag zum gemeinsamen Texterstellen Sonstiges Allgemeines 5. Allgemeines Feedback: 5.1. Was habe ich im Umgang mit der Plattform an neuen Techniken gelernt? 5.2. Wie ergeht es mir mit der Online Kommunikation mit meinen MitschülerInnen meiner/m Lehrer/in 5.3. Was gefällt mir an der Arbeit auf der Plattform? 5.4. Warum motiviert mich diese Arbeit, den Gegenstand zu lernen oder warum motiviert sie mich nicht? 5.5. Was gefällt mir bisher am Besten? 5.6. Was gefällt mir gar nicht? 5.7. Was würde ich anders machen? 5.8. Technische Probleme. Notenvorschlag Meine Leistungen auf der Internationalen Plattform beurteile ich mit:. weil (ausführliche Begründung) ich würde mir folgende Note geben, weil... elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 13/16

14 4. Methoden der Evaluation im Klassenzimmer Folgende Methoden können einfach und ohne viel Aufwand in der Vorbereitung im Klassenzimmer eingesetzt werden. Sie dienen dazu, einen schnellen Eindruck zu bekommen, wie die Unterrichtssequenz bei den SchülerInnen ankommen Stimmungsbarometer Im Stimmungsbarometer werden durch die Lehrkaft bzw. SchülerInnen ein Rahmen erstellt, der einerseits einen bestimmten Zeitrahmen (besonders eignen sich Onlinephasen dafür) umfassen (x-achse), anderseits die Stimmung in dieser Zeit mittels Smileys darstellen (y-achse). Dann tragen alle Beteiligten ihre Stimmung über den gesamten Zeitraum ein und notieren zu markanten Punkte die Gründe dafür, was passiert ist. Nun wird das Bild gemeinsam interpretiert und die Schlüsse im optimalen Fall von einer Person aus der Klasse für künftige Anwendungen notiert. elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 14/16

15 Vorbereitungszeit: 5 Minuten Material: Große Papierrollen, Tafel, ausreichend Stifte Zeit: Minuten Zielscheibe Mit einer Zielscheibe wird angefragt, inwieweit Personen bestimmten Aussagen zustimmen bzw. diese ablehnen. Dabei wird ein Kreis in mehrere Segmente geteilt, jedes Segment entspricht einer Aussage. Nun werden die TeilnehmerInnen gebeten, mittels Punkten ihre Zustimmung (Punkt wird ganz ins Zentrum platziert) bzw die Ablehnung (Punkt wird ganz außen platziert) zu zeigen. Jede Person muss für jede Frage einen Punkt bekommen. Anschließend werden die Aussagen gemeinsam interpretiert und die Ergebnisse dieser Diskussion dokumentiert. Vorbereitungszeit: 5 min 2 Stunden (je nach Vorhandensein der Fragen) Material: Papier (z.b. Flipchart Papier oder Plakat), Punkte in ausreichender Anzahl, Stift zum Aufmalen der Zielscheibe Zeit: 5-20 Minuten Distanz-Übung An zwei gegenüberliegenden Polen im Raum (z.b. zwei gegenüberliegenden Wänden) werden einander widersprüchliche Meinungen platziert. Die TeilnehmerInnen haben nun die Aufgabe, sich zwischen den beiden Polen aufzustellen. Der/die ModeratorIn befragt nun exemplarisch einige Personen, warum sie an genau dieser Stelle stehen. 3-5 Meinungspaare in Folge eignen sich besonders gut. Vorbereitungszeit: 5min 1 Stunde (je nach Vorhandensein der Meinungspaare Material: Plakate für die Meinungen, Befestigung (z.b. zwei Flipcharts oder Pinwände, Wände) Zeit: Minuten Meinungs-Kreis Alle Personen sitzen im Kreis und jede/r hat einen besonderen Gegenstand in der Hand. Das Zentrum des Kreises wird am Boden markiert. Nun liest der/die ModeratorIn eine Behauptung vor, die TeilnehmerInnen überlegen, inwieweit sie zustimmen (Gegenstand wird ganz ins Zentrum platziert) oder nicht zustimmen (Gegenstand wird ganz bei der Person am Boden deponiert). 5-7 Behauptungen sind optimal. Vorbereitungszeit: Sesselkreis aufstellen, bzw Behauptungen überlegen (5-10 min) Material: jede Person braucht einen Gegenstand (besonders nett ist es, wenn der/die Moderation verschiedene Gegenstände zum aussuchen mitbringt) Zeit: Minuten World Café Das World Cafe eignet sich gut dazu, einen Rückblick und auch Ausblick zu einem breiten Thema zu strukturieren. Dabei werden mehrere Tisch im Raum aufgestellt, diese mit Papier beklebt und GastegeberInnen an die Tische platziert. Diese haben die Aufgabe, dafür zu sorgen, dass die Ergebnisse der vorherigen Diskussionen an nächste Gruppen weitergegeben werden. Nun teilen sich die TeilnehmerInnen an die Tische auf und diskutieren das am Tisch gestellte Subthema. Die wichtigsten Ergebnisse werden am Tisch-Blatt notiert. Der/die GastgeberIn sorgt dafür, dass nichts vergessen wird. elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 15/16

16 Jede gruppe arbeitet 20 min an einem Tisch, dann wird gewechselt. Nu die GastegerbInnen bleiben am Tisch bestehen. Manche Moderatoren von World cafes empfehlen, dass pro Tisch nur 4 Personen auf einmal diskutieren sollen, entsprechend viele tische müssen dann aufgesteltl werden. Vorbereitungszeit: ca 20 min, je nach Tischstellung Material: Papier für die Tische, Naschereien auf den Tischen Zeit: 40min- 2 Stunden elsa Evaluation und Leistungsbeurteilung Ideen und Unterlagen 16/16