BMS Schulentwicklung: IT Pilotprojekt Online Assessments. Inhalte

Transkript

1 BMS Schulentwicklung IT Pilotprojekt Online Assessments Diskussionsdokument: Konzept / Informationsquellen / Anleitungen Inhalte 1 Zum Nachdenken Begriffsklärungen: Summative / Formative / Diagnostische Assessments Konzeptionelle Gedanken Technik: Situationsanalyse von educanet2 und Questionmark Perception Organisation: Bewertete E-Tests erstellen und im BMS Unterricht durchführen E-Tests mit den eigenen Klasse durchführen E-Aufgaben und E-Tests erstellen und für die eigene Fachgruppe freigeben BMS Questionmark Perception Accounts Mensch: Überdenken der Funktionen und Teamarbeit in den BMS Fachgruppen Technische und Methodisch-Didaktische Informationsquellen Questionmark Community e-teaching.org Praktische Umsetzung E-Tests mit eigenen Klassen durchführen/administrieren Empfohlene Browser Version: Internet Explorer Version Enterprise Manager über sichere Verbindung starten / Zertifikat akzeptieren Passwort des gibb-etesting.ch Administratoren Account anpassen E-Test mit Terminplan für die eigene Klasse freigeben Bestehenden Terminplan für eine andere eigene Klasse anpassen E-Test mit der eigenen Klasse durchführen und bewerten E-Test Einsprachen bearbeiten E-Testaufgaben und E-Tests für sich und andere BMS-Lehrkäfte erstellen Installation des Windows Authoring Managers Windows Authoring Manager Starten/Registrieren Verbinden mit dem 'Shared repository' / BMS Ordnerstruktur im 'Shared repository' E-Aufgaben erstellen E-Test aus der BMS-Vorlage erstellen E-Tests für die eigene Klasse freigeben E-Aufgaben und E-Tests für andere Lehrkräfte freigeben cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 1 von 17

2 1 Zum Nachdenken cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 2 von 17

3 2 Begriffsklärungen: Summative / Formative / Diagnostische Assessments 1 Der Begriff Assessment bezeichnet allgemein den systematischen Prozess für die Einschätzung und Beurteilung über das Wissen, das Können, die Kompetenzen, die Einstellungen und bestimmte Eigenschaften von Menschen (Ableitung aus dem engl. Wort: to assess = einschätzen, beurteilen). Dabei wird zwischen verschiedenen Formen von Assessments unterschieden: Summative Assessments sind üblicherweise quantitative Assessment, die in erster Linie dazu dienen, die Leistung des Teilnehmers abschliessend zu bewerten. Examen am Ende einer Ausbildung sind Beispiele von summativen Assessments. Dabei werden das Wissen und Können von Lernenden mit Leistungsbewertungen dokumentiert. Neben diesen Leistungsbewertungen werden den Teilnehmern in der Regel keine detaillierten Rückmeldungen zu den einzelnen Aufgaben gegeben. Formative Assessment informieren die Lernenden mit Rückmeldungen über ihren aktuellen Wissensstand oder Fähigkeitsgrad und dienen der Lernunterstützung. Formative Assessments können auch Bewertungen enthalten. Beispiele von formativen Assessments sind: - mit Noten bewertete und mit Rückmeldungen korrigierte Tests im Laufe eines Semesters - interaktive Übungen (Quizzes) mit automatisierten Rückmeldungen - jedoch ohne Notengebung - während des Unterrichtes oder als Hausaufgaben - bewertete und mit den Erstellern besprochene E-Portfolios (z.b. Wiki/Blog mit verlinktem Online-Dateien) Diagnostische Assessments dienen der (Selbst-)Einstufung für den bevorstehenden Lehr- / Lernprozess. E-Assessments (Synonym Online-Assessment) sind Assessments, welche über das Internet ausgeführt werden. 1 / cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 3 von 17

4 3 Konzeptionelle Gedanken Gemäss HERMES 2 ist eine der wichtigsten Voraussetzung für die erfolgreiche Umsetzung von IT-Projekten, möglichst frühzeitig neben dem technischen Aspekt auch die personellen und organisatorischen Faktoren in die Projektgedanken einzubeziehen. Deshalb sind in diesem Dokument gemäss dem MTO-Modell 3 neben der 'Technik' auch die Bereiche 'Mensch' und 'Organisation' aufgeführt. Insbesondere gilt es durch die technische Komplexität von IT Online AssessmentSystemen und Lernplattformen sowie den hohen Arbeitsaufwand zur Erstellung von Online Assessments gut durchdachte 'Organisationsformen' mit eventuell neuen oder angepassten - auf der bewährten AVEL 4 Struktur aufbauende - personellen Rollenverteilungen und Aus-/Weiterbildungsmöglichkeiten zu überdenken. 3.1 Technik: Situationsanalyse von educanet2 und Questionmark Perception Die Situationsanalyse und die bisherigen Erfahrungen im BMS Unterricht haben aufgezeigt, dass die aktuellen educanet2 Werkzeuge für die Einbettung von einfachen formativen Assessments gut geeignet sind. So können beispielsweise mit den educanet2 Courselets für selbständige Lernübungen und Lernkontrollen multimediale Quizzes mit fünf interaktiven Aufgabentypen und integriertem Feeback erstellt werden. Auch können die Lernenden mit den educanet2 Werkzeugen während des Lernprozesses multimediale digitale Dokumente in E-Portfolios zusammen stellen, dokumentieren und als formatives Assessment für die Korrektur/Rückmeldung der betreffenden Lehrkraft übermitteln oder freigeben. In der aktuellen educanet2 Version fehlen jedoch Sicherheitsmechanismen, Archivierungs-, Reporting- und Evaluationsfunktionen, welche für rekursfeste Bewertungen bei Semestertests und Examen notwendig sind. Die Situationsanalyse hat aufgezeigt, dass diese in educanet2 fehlenden Funktionen im Online Assessment System Questionmark Perception in hochentwickelter Form vorhanden sind. Zudem bietet Questionmark Perception im Vergleich zu educanet2 zusätzlich über 20 interaktive Aufgabentypen und umfangreiche Möglichkeiten, die Struktur und den Ablauf von Tests und Examen zu variieren (z.b. zufällige Aufgabenreihenfolge, Aufteilung in Testblöcke, Zeitbeschränkung für Blöcke, Adaptives Testverhalten für die Differenzierung, differenziertes Feedback usw.). Die Grafik zeigt im Überblick, wie das Questionmark Online Assessment System Questionmark Perception an der BMS als Ergänzung zur Lernplattform educanet2 eingesetzt werden kann: 2 HERMES ist die von den Schweizerischen Bundesbetrieben standardmässig verwendete Methode zum Führen und Abwickeln von Projekten im Bereich Informations- und Kommunikationstechnik ( 3 MTO ist die Abkürzung für das Modell Mensch-Technik-Organisation ( 4 AVEL: Abkürzung für die Abteilungsverantwortlichen E-Learning Personen an der gibb cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 4 von 17

5 3.2 Organisation: Bewertete E Tests erstellen und im BMS Unterricht durchführen Die organisatorischen Gedanken und Anleitungen in diesem Dokument beschränken sich auf die Erstellung und Durchführung von E-Tests/E-Aufgaben mit Questionmark Perception. Für die Erstellung und Durchführung von diagnostischen und formativen Quizzes und E-Portfolios mit educanet2 sei auf die modulare E-Education des gibb E-Learning Ressort verwiesen. Die Erstellung und Durchführung von Examen/Prüfungen mit Questionmark Perception sollen bei Bedarf in einer späteren Phase dieses Pilotprojektes konzipiert werden E Tests mit den eigenen Klasse durchführen In der Tabelle sind die organisatorischen Arbeitsprozesse mit den dazu passenden technischen Werkzeugen für die Durchführung von E-Tests aufgeführt. Der verwendete E-Test kann vorgängig selber erstellt oder von der Fachgruppe übernommen werden (siehe 3.2.2). Als praktisches Hilfsmittel für die Umsetzung dieser Arbeitsschritte, sind in Kapitel 5 rezeptartige Anleitungen aufgeführt. Hinweis: Für die Ausführung dieser Arbeitsprozesse ist ein persönlicher Questionmark Perception BMS Admin Account notwendig. Dieser kann bei giuseppina.renna@gibb.ch oder claude.jacob@gibb.ch beantragt werden. (Der BMS Administratoren Account ist automatisch im Autoren Account enthalten / siehe 5) Arbeitsprozess PC Raum reservieren Temporäre E-Testsystem Accounts den eigenen Schülern zuordnen Die zugeordneten, temporären E-Testsystem Accounts für eine bestimmte Zeitdauer freigeben Den eigenen Schülern die obige Zuteilung mitteilen und den E-Test durchführen Die automatische Bewertungen des E-Tests auswerten und den Schülern die Note mitteilen Bei Bedarf (Einsprachen) die automatische E- Test Bewertung mit den Schülern besprechen und anpassen Technik educanet2 Ressourcen in BMS Institution EXCEL- oder Google-Tabelle (google Apps for Education / gibbels.ch) Terminplan im Questionmark Perception Enterprise Manager BMS E-Test Begleitdokument (siehe educanet2 BMS Startseite) Feeback Funktion von Questionmark Perception mit manuellem Übertrag in das BMS E-Test Begleitdokument' Teilnehmerreport im Questionmark Perception Enterprise Manager E Aufgaben und E Tests erstellen und für die eigene Fachgruppe freigeben In der Tabelle sind die organisatorischen Arbeitsprozesse mit den dazu passenden technischen Werkzeugen für die Erstellung/Freigabe von E-Aufgaben/ E-Tests aufgeführt. Als praktisches Hilfsmittel für die Umsetzung dieser Arbeitsschritte, sind in Kapitel 5 rezeptartige Anleitungen aufgeführt. Hinweis: Für die Ausführung dieser Arbeitsprozesse ist ein persönlicher Questionmark Perception BMS Autoren Account notwendig. Dieser kann bei claude.jacob@gibb.ch beantragt werden (siehe 5.). Arbeitsprozess Technik E-Aufgaben erstellen und auf 'gibb-etesting.ch im Aufgaben Wizard und Editor im Questionmark Perception 'Shared repository' ablegen Windows Autorenmodul* Option: E-Aufgaben auf 'gibb-etesting.ch im Questionmark Perception Windows Autorenmodul* 'Shared repository' für die ganze Fachgruppe freigeben Mit BMS Vorlage E-Tests aus eigenen oder Assessment Editor im Questionmark Perception Windows freigegeben Aufgaben zusammenstellen und auf Autorenmodul* 'gibb-etesting.ch im 'Shared repository' ablegen Option: E-Tests auf 'gibb-etesting.ch im 'Shared Questionmark Perception Windows Autorenmodul* repository' für die ganze Fachgruppe freigeben * für Juli 2012 ist die WebVersion des Autorenmoduls angekündigt cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 5 von 17

6 3.2.3 BMS Questionmark Perception Accounts Profil E-Tests durchführen E-Aufgaben und E-Tests erstellen und für die Fachgruppe freigeben BMS Autor* * BMS Admin *Die Autorenlizenz ist kostenpflichtig (Die BMS hat für das Pilotprojekt 6 Autorenlizenzen gekauft. bei Bedarf kann diese Anzahl erhöht werden). 3.3 Mensch: Überdenken der Funktionen und Teamarbeit in den BMS Fachgruppen Wie auf der Grafik dargestellt, erfordern technische Innovationen neben der organisatorischen Flexibilität auch neue Kompetenzen und zeitliche Ressourcen der beteiligten Menschen. Im konkreten Fall von E-Assessments sind dies die technischen und methodisch didaktischen Kompetenzen und zeitlichen Ressourcen zur Erstellung von interaktiven, multimedialen educanet2 Courselets und Questionmark Perception Aufgaben und Tests Somit erfordert die nachhaltige Einführung von Online Assessments an der BMS das Überdenken und Anpassen der aktuellen Funktionen/Rollen- und Arbeitsverteilungen in den Fachgruppen: - Qualifikation (technisch und methodisch-didaktisch) - Motivation (Pensen, Entlastungen) - Zusammenarbeit und Teamklima (Prüfen mit 'fremden' Tests) cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 6 von 17

7 4 Technische und Methodisch Didaktische Informationsquellen 4.1 Questionmark Community Die Registrierung bei der Questionmark Community ist kostenlos. Für die Benutzung des Questionmark Perception Windows Authoring Managers (siehe 5.2.2) ist die vorangehende Registrierung bei der Questionmark Community zwingend. Die Community Mitglieder haben die Möglichkeit, Software, Handbücher, Lernmaterialien, Präsentationen, Praxisführer und White Papers herunterzuladen. 4.2 e teaching.org Das Informationsportal e-teaching.org umfasst umfangreiche Dokumentationen zum Einsatz von digitalen Medien in der Ausbildung. Das Portal dient als Selbstlernangebot und als Orientierungshilfe für die Erarbeitung von Strategien für den Medieneinsatz im Rahmen von Schulentwicklungsprojekten. Der untenstehende Screenshot zeigt exemplarisch den Menüpfad zum Thema E-Klausur. In diesem Dokument wird als Synonym für E-Klausur der Begriff E-Test verwendet. cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 7 von 17

8 5 Praktische Umsetzung 5.1 E Tests mit eigenen Klassen durchführen/administrieren Die praktische Durchführung/Administration von E-Tests in den eigenen Klassen erfolgt mit dem Enterprise Manager. Der Enterprise Manager ist eine Web Applikation für die Verwaltung der Benutzer, Testfreigaben, Ergebnisse und Testevaluationen auf läuft dem gibb-etesting.ch Server. Für die Arbeit mit dem Enterprise Manager wird ein gibbetesting.ch Admin Account benötigt. Diesen kann bei giuseppina.renna@gibb.ch oder claude.jacob@gibb.ch beantragt werden. Nicht vergessen: Für die Testdurchführung sollte frühzeitig ein PC Raum oder MCR mit der educanet2 Ressourcenverwaltung reserviert werden. Eine entsprechende Anleitung finden Sie auf der educanet2 BMS Startseite im Abschnitt BMS IT-Raum- und MCR-Reservation Empfohlene Browser Version: Internet Explorer Version 8 Questionmark Perception empfiehlt aus Kompatibilitätsgründen sowohl für die Test-Teilnahme (Schülerinnen/Schüler) als auch für die Test-Durchführung/Administration (Lehrkräfte) als Browser den Internet Explorer in der Version 8 zu verwenden. Der Internet Explorer Version 8 ist aktuell in der gibb standardmässig installiert Enterprise Manager über sichere Verbindung starten / Zertifikat akzeptieren 1) Mit dem Internet Explorer die sichere URL 2) Zertifikat bestätigen aufrufen oder im educanet2 auf der BMS Startseite im Abschnitt IT-Pilotprojekt Online Assessments (gibb-etesting.ch) den Link E-Test als Lehrkraft administrieren anklicken 3) Benutzerdaten eingeben (von Giuseppina oder Claude mitgeteilt) 4) Startbildschirm des Enterprise Managers Passwort des gibb etesting.ch Administratoren Account anpassen Enterprise Manager starten (siehe 5.1.2) und Kennwort ändern. cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 8 von 17

9 5.1.4 E Test mit Terminplan für die eigene Klasse freigeben 1) Perception Enterprise Manager starten (5.1.2) 2) Systemadministration 3) Teilnehmer 4) Bei den angezeigten Teilnehmern den ersten Teilnehmer mit der linken Maustaste und den letzten Teilnehmer mit SHIFT und linker Maustaste anklicken 5) Links im Menü Terminplan anklicken 6) Terminplan für Onlinebereitstellung Weiter 7) Assessment hinzufügen 8) Ein für Sie freigegebenes Assessment hinzufügen Weiter 9) Den Dialog 'Terminplan' nach Ihren Bedürfnissen ausfüllen Weiter 10) Kontrollieren, ob die gewünschten Teilnehmer aufgeführt sind Fertig cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 9 von 17

10 5.1.5 Bestehenden Terminplan für eine andere eigene Klasse anpassen 1) Perception Enterprise Manager starten (5.1.2) 2) Systemadministration 3) Terminpläne 4) Bei den angezeigten Terminplänen den ersten Terminplan und mit der linken Maustaste und den letzten Terminplan mit SHIFT und linker Maustaste anklicken 5) Links im Menü Globale Bearbeitung anklicken 6) Die gewünschten Optionen anpassen Speichern cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 10 von 17

11 5.1.6 E Test mit der eigenen Klasse durchführen und bewerten 1) Das E-Test Begleitdokument auf der BMS educanet2 Startseite herunterladen und für jede SchülerIn ausdrucken und austeilen. 2) Die temporäre Benutzernamen und Passwortzuteilung projizieren und von den SchülerInnen auf das Begleitdokument übertragen lassen 3) Bei Bedarf mit den SchülerInnen das Begleitdokument durchgehen 4) Am Ende des Testes die vollständig ausgefüllten und unterzeichneten Begleitdokumente einsammeln. 5) Die Bewertungsdaten in die eigene Notenverwaltung übertragen und eine Note zuordnen. 6) Die Note auf die Begleitdokumente übertragen und austeilen. cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 11 von 17

12 5.1.7 E Test Einsprachen bearbeiten Bei Lernenden, welche mit Ihren automatischen Bewertungen nicht einverstanden sind, kann die Lehrkraft mit dem Enterprise Manager und dem Enterprise-Reporter Modul die eingegebenen Antworten für jeden Testteilnehmer anzeigen und bei Bedarf die vergebenen Punkte manuell in der eigenen Notenverwaltung korrigieren. 1) Perception Enterprise Manager starten (5.1.2) 2) Enterprise-Reporter 3) Teilnehmerreport 4) Im Menü links 'Neu erstellen' auswählen 5) Den gewünschten Terminplan und Teilnehmer auswählen 6) Ansehen und Bearbeiten 7) In der angezeigten Auswertung kontrollieren, ob die Personalien in der Frage 1 korrekt sind. 8) Die Antworten durchgehen und auf die Einsprachen eingehen 9) Den Report nicht speichern, jedoch bei Bedarf z.b. als PDF exportieren 10) Browser Fenster schliessen cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 12 von 17

13 5.2 E Testaufgaben und E Tests für sich und andere BMS Lehrkräfte erstellen Für die Erstellung von E-Aufgaben und E-Tests bietet zur Zeit der Windows Authoring Manager am meisten Möglichkeiten. Der Windows Authoring Manager ist ein Windows Programm, welches lokal installiert werden muss. Lehrkräfte, die als BMS Autoren zu Hause nicht über einen eigenen Windows PC verfügen, können bei Claude Jacob ein ausgedientes Mobile Classroom Notebook ausleihen. Ab Mitte 2012 soll gemäss der Firma Questionmark der Windows Authoring Manager vollständig durch den webbasierten Enterprise Manager abgelöst werden. Die Kompatibilität wird garantiert, so dass die mit dem Windows Authoring Manager erstellten E-Aufgaben und E-Tests weiterhin benutzt werden können Installation des Windows Authoring Managers 1) Installationsdateien vom educanet2 herunterladen: Institution 'gibb -BMS' Gruppe 'Autoren Questionmark Percept.' Dateiablage Ordner 'schulung_2011_12_08' Dateien 'author_ _en.exe' und 'Author_ msp' 2) Grundversion Installieren: Doppelklick auf die heruntergeladene Datei 'author_ _en.exe' Passwort 'perception5' gemäss Screenshots Durchklicken und Lizenz und Standardvorgaben akzeptieren 2) Update Installieren: Doppelklick auf die heruntergeladene Datei ' Author_ msp' Passwort 'perception5' gemäss Screenshots Durchklicken und Lizenz und Standardvorgaben akzeptieren cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 13 von 17

14 5.2.2 Windows Authoring Manager Starten/Registrieren Wichtig: Registrieren Sie sich vor der Ausführung der unten aufgeführten Arbeitsschritte bei der Questionmark Community (siehe 4.1). 1) Authoring Manager starten (Die Grafik gilt nur für gibb PCs) 2) Die Option 'Enter registration key manually' wählen 3) Die eigenen Personaldaten sowie den von Claude Jacob per zugestellten 'Registration key' eingeben Verbinden mit dem 'Shared repository' / BMS Ordnerstruktur im 'Shared repository' 1) Falls der Authoring Manager noch nicht gestartet ist Authoring Manager gemäss starten 2) Mit dem unten blau markierten Icon den Dialog 'Select a repository' öffnen 2) Die Option 'Open existing repository (Shared) Die Serveradresse 'tcp://gibb-etesting.ch:7800' eingeben 'Connect' anklicken 3) Die von Claude Jacob zugeteilten Logindaten eingeben unter 'Topics' und 'Assessments' sehen Sie die für Sie frei gegebenen Ordner für die Erstellung und Verwaltung von Aufgaben und Tests Tipp: Im Menü 'Tools - Options' 'Settings - Startup - With default repository (Shared)' kann diese Einstellung als 'Standard Start Einstellung' gespeichert werden 4) Aufgaben und Tests erstellen siehe und cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 14 von 17

15 5.2.4 E Aufgaben erstellen 1) Im Authoring Manager in der Questions view mit Rechtsklick auf den eigenen Ordner via Kontextmenü eine Aufgabe hinzufügen 2) Mit dem Question Wizzard den entsprechenden Aufgabentyp hinzufügen. 3) Für die weiteren Arbeitsschritte sei auf die ausführliche Programmhilfe verwiesen. cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 15 von 17

16 5.2.5 E Test aus der BMS Vorlage erstellen 1) Im Authoring Manager in der Assessment view im Ordner bms_test_vorlagen mit Rechtsklick auf den Test bms_test_vorlage via Kontextmenü diesen Test in die Zwischenablage kopieren 2) Den eigenen Assessmentordner auswählen und mit Rechtsklick-Kontextmenü-Paste in den eigenen Zielordner einfügen 3) Den kopierten Test mit mit Rechtsklick-Kontextmenü- Rename umbenennen 3) Mit Doppelklick auf den umbenannten Test den Testeditor starten 4) Mit 'Add Question Block' eigene Aufgabenblöcke hinzufügen 5) Mit der entsprechenden Option Aufgaben aus einem eigenen Aufgabenordner in den Aufgabenblock hinzufügen 6) Der neu erstellte Aufgabenblock wird angezeigt 7) Bei Bedarf mehrere Aufgabeblöcke im gleichen Test erstellen 8) Mit Doppelklick auf 'Assessement Feedback' die vorgegebenen Feedbackeinstellungen anzeigen und bei Bedarf anpassen 9) Mit Doppelklick auf 'Resultat' die vorgegebenen Resultateinstellungen anzeigen und bei Bedarf anpassen 10) Mit 'Save and exit' den erstellten Test abspeichern. 11) Mit Doppelklick auf den Test, kann der Test neu editiert werden Tip: In der Programmhilfe finden Sie ausführliche Anleitungen zu den obigen Arbeitsschritten E Tests für die eigene Klasse freigeben siehe 5.1 cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 16 von 17

17 5.2.7 E Aufgaben und E Tests für andere Lehrkräfte freigeben Wie der Screenshot rechts am Beispiel der BMS Fachgruppe Informatik zeigt, haben die Fachgruppenmitglieder auf die Fachgruppenordner Zugriff. Somit können die BMS Autoren die freizugebenden Tests und Aufgaben in die betreffenden Fachgruppenordner kopieren (Copy / Paste). Beim Bedarf nach weiteren Rechten innerhalb der BMS, wenden Sie sich an die BMS Systemadministratoren giuseppina.renna@gibb.ch oder claude.jacob@gibb.ch. cjac/ :01 bms_online_assessments_diskussionsdokument.docx Seite 17 von 17