e-prüfungen mit dem Online- Prüfungssystem (OPS) an der RWTH Aachen University Daniela Janßen M.A. Dipl.-Inform. Mazdak Karami Dr. rer. nat. Esther Borowski Prof. Dr. phil. Anja Richert Univ.-Prof. Dr. rer. nat. Sabina Jeschke apl. Prof. Dr. rer. nat. Dipl.-Ing. Martin Baumann, MME RWTH Aachen University GML² 2014 Berlin, 14.03.2013 1
INHALTSVERZEICHNIS 1. EINFÜHRUNG E-PRÜFUNGEN 2. RAHMENBEDINGUNGEN AN DER RWTH AACHEN UNIVERSITY 3. ONLINE-PRÜFUNGSSYSTEM (OPS) 4. PRAKTISCHE ANWENDUNG 5. SERVICEANGEBOTE 6. FAZIT UND AUSBLICK 2
INHALTSVERZEICHNIS 1. EINFÜHRUNG E-PRÜFUNGEN 2. RAHMENBEDINGUNGEN AN DER RWTH AACHEN UNIVERSITY 3. ONLINE-PRÜFUNGSSYSTEM (OPS) 4. PRAKTISCHE ANWENDUNG 5. SERVICEANGEBOTE 6. FAZIT UND AUSBLICK 3
INSTITUTSCLUSTER IMA/ZLW & IFU apl.-prof. Dr. habil. Ingrid Isenhardt Prof. Dr. rer. nat. Sabina Jeschke Direktorin Dr. rer. nat. Frank Hees 1. Stellvertr. Direktorin Prof. Dr.-Ing. em. Klaus Henning 2. Stellvertr. Direktor Administration Senior Advisor IT & Medientechnik IMA Lehrstuhl für Informationsmanagement im Maschinenbau ZLW Zentrum für Lern- und Wissensmanagement IfU An-Institut für Unternehmenskybernetik Public Relations Prof. Dr.-Ing. Daniel Schilberg Prof. Dr. phil. Anja Richert Dr. rer. nat. René Vossen Geschäftsführer Juniorprofessur Geschäftsführerin Juniorprofessur Geschäftsführer Verkehr und Mobilität Produktionstechnik e-health Innovations- & Zukunftsforschung Knowledge Engineering Didaktik der MINT-Wissenschaften Karriereforschung Wirtschaftsund Sozialkybernetik Technische Kybernetik Dr. phil. Max Haberstroh Dr.-Ing. Tobias Meisen Dipl.-Inform. Philipp Meisen Dr. rer. nat. Florian Welter Claudia Jooß M.A. Katharina Schuster M.A. Dr. rer. nat. Esther Borowski Dr.-Ing. Katharina Tarnacki Dipl.-Inform. Daniel Ewert 4
BMBF-PROGRAMM QUALITÄTSPAKT LEHRE Center of Excellence in Academic Teaching (ExAcT) Exzellentes Lehren und Lernen in den Ingenieurwissenschaften (ELLI) Kooperationspartner: Forschung zu fach- und mediendidaktischen Themenfeldern exzellenter Lehre Qualifizierung aller Lehrenden und an der Lehre beteiligten MitarbeiterInne n der RWTH Aachen University Vernetzung der Anbieter wissenschaftlicher Dienstleistungen und Weiterbildungsangeboten im Themenfeld der Hochschullehre und Didaktik Virtuelle Lernwelten Student Life Cycle Mobilität und Internationalisierung Professionelle Handlungskompetenz 5
EINFÜHRUNG E-PRÜFUNGEN Definition e-assessment Leistungsbeurteilung, bei der in den Arbeitsschritten der Erstellung, Durchführung und Auswertung von Lehrenden und Lernenden ein Computer genutzt wird (JISQ 2007) Begriff e-assessment wird mit elektronischem Prüfen (e-prüfungen) übersetzt formative, summative und diagnostische Funktionen von Prüfungen sind auch mit e-prüfungen möglich elektronisches Prüfen muss nicht rein summatives Prüfen sein 6
EINFÜHRUNG E-PRÜFUNGEN Gründe für die Nutzung von e-prüfungen gestiegene Anzahl an Studierenden Einführung von Bachelor und Master: Modularisierung der Studiengänge hohe Anzahl an studienbegleitenden Leistungsnachweisen notwendig erhöhtes Prüfungsaufkommen und Prüfungsaufwand notwendig: effiziente Prüfungen in der Vorbereitung, Durchführung und Nachbereitung Ansatz: e-prüfungen zur Bewältigung des erhöhten Prüfungsaufkommens! 7
EINFÜHRUNG E-PRÜFUNGEN Chancen durch e-prüfungen vereinfachte Verwaltung und Wiederverwendung der Fragen durch Verwendung von Fragepools standardisierte Abläufe für große Hörerzahlen geeignet Zeitersparnis durch automatisierte Auswertbarkeit erweiterte Kompetenzabfrage durch Medieneinbindung (Videos, Bilder ) Herausforderungen bei e-prüfungen (einmalig) hoher Aufwand zur Erstellung der Klausurfragen einmaliger Zeitaufwand zur Einarbeitung der Prüfungsfragen in die Software Verfügbarkeit der IT-Infrastruktur (Räume, PC s) Stabilität und Zuverlässigkeit des Systems 8
INHALTSVERZEICHNIS 1. EINFÜHRUNG E-PRÜFUNGEN 2. RAHMENBEDINGUNGEN AN DER RWTH AACHEN UNIVERSITY 3. ONLINE-PRÜFUNGSSYSTEM (OPS) 4. PRAKTISCHE ANWENDUNG 5. SERVICEANGEBOTE 6. FAZIT UND AUSBLICK 9
RAHMENBEDINGUNGEN AN DER RWTH AACHEN UNIVERSITY 2013: Start des 2-jährigen Pilotprojekts zur Etablierung von e-prüfungen an der RWTH kostenfreie Nutzung des CIP-Pools der RWTH für alle Lehrenden Räume: vier klimatisierte Räume im gleichen Gebäude mit Beschallungsanalage Hardware: 316 gleichwertige PCs, ausfallsicherer Prüfungs-Server im gleichen Gebäude Software: Online-Prüfungssystem (OPS 2.7) der Inside Unternehmensgruppe 10
RAHMENBEDINGUNGEN AN DER RWTH AACHEN UNIVERSITY Anzahl der e-prüfungen im Semester 35 30 25 20 15 10 5 0 1 2 3 WS 2012/2013 SS 2013 Start des Pilotprojekts WS 2013/2014 Anzahl der Studierenden im Semester 6000 4000 2000 0 11
INHALTSVERZEICHNIS 1. EINFÜHRUNG E-PRÜFUNGEN 2. RAHMENBEDINGUNGEN AN DER RWTH AACHEN UNIVERSITY 3. ONLINE-PRÜFUNGSSYSTEM (OPS) 4. PRAKTISCHE ANWENDUNG 5. SERVICEANGEBOTE 6. FAZIT UND AUSBLICK 12
ONLINE-PRÜFUNGSSYSTEM (OPS) 2003: erste e-prüfung an der RWTH Aachen mit 12 Teilnehmenden Nutzung des Online-Prüfungssystem OPS seit 2001: Entwicklung des OPS an der RWTH Aachen University Entwicklung des Prototypens aus einer Dissertation heraus Weiterentwicklung und Support durch die Firma Inside Unternehmensgruppe webbasiert, plattform- und browserunabhängig Integration von didaktischen und technischen Anforderungen der RWTH in Updates 13
Grad der Komplexität ONLINE-PRÜFUNGSSYSTEM (OPS) Lernzieltaxonomie im OPS Stufe 3: Interpretieren und Beurteilen Transferleistung Stufe 2: Anwenden und Umsetzen Abfrage von Faktenwissen mit Tendenz zur Transferleistung Stufe 1: Kennen und Verstehen Abfrage von Faktenwissen Interpretieren und Beurteilen Anwenden und Umsetzen Kennen und Verstehen Eingabe der Stufe des Lernziels 14
ONLINE-PRÜFUNGSSYSTEM (OPS) Funktionen des OPS Entwicklung Aufgabenerstellung Aufgaben, Ressourcen, Lernziele, Klausuren, Tests Verwaltung Durchführung, Auswertung, Ergebnisse Administration User-, Kontextverwaltung, interne Systemdokumentation Einbinden von Medien, z.b. Audio (WAV, MP3), Video (AVI, MP4), Bilder (JPG, GIF), Flash-Animationen Klausurerstellung manuelle oder automatische Zusammenstellung über Parametrisierung von Klausuren auf Basis bestehender Aufgabenpools Auswertung Einzelauswertung über Export von PDF, Gesamtauswertungen über Export von Excel oder CSV Dateien 15
ONLINE-PRÜFUNGSSYSTEM (OPS) Aufgabentypen im OPS Mehrfachauswahl 1. Mit Mehrfachauswahl: Antworten A und B stimmen, C nicht 2. Mit Einfachauswahl: Antwort A, B oder C stimmt Zuordnungsaufgabe Ordnen Sie A, B und C den Bildern 1, 2 und 3 zu. Ordnungsaufgabe Bringen Sie die Begriffe in die richtige Reihenfolge! Ergänzungsaufgabe Lückentext Ergänzungsmöglichkeiten (Begriffe) werden vorgegeben Klassifikationsaufgabe Ordnen Sie die Aussagen als richtig oder falsch zu! 16
INHALTSVERZEICHNIS 1. EINFÜHRUNG E-PRÜFUNGEN 2. RAHMENBEDINGUNGEN AN DER RWTH AACHEN UNIVERSITY 3. ONLINE-PRÜFUNGSSYSTEM (OPS) 4. PRAKTISCHE ANWENDUNG 5. SERVICEANGEBOTE 6. FAZIT UND AUSBLICK 17
PRAKTISCHE ANWENDUNG 18
PRAKTISCHE ANWENDUNG 19
PRAKTISCHE ANWENDUNG 20
PRAKTISCHE ANWENDUNG 21
PRAKTISCHE ANWENDUNG Beispiel-Klausur Kommunikation- und Organisationsentwicklung (KOE) Elektronische Multiple-Choice Klausur WS 2013/2014: 1335 Studierende Durchführung an zwei Tage á zwei bis drei Durchläufen mit je ca. 300 Studierenden Rahmenbedingungen: 120 Minuten Bearbeitungszeit je Vorlesungsmodul 7 Fragen insgesamt 77 zu bearbeitende Fragen 3 Fragekategorien mit unterschiedlichen Schwierigkeitsstufen (3, 5 bzw. 8 Punkte) maximal 330 Punkte erreichbar 22
INHALTSVERZEICHNIS 1. EINFÜHRUNG E-PRÜFUNGEN 2. RAHMENBEDINGUNGEN AN DER RWTH AACHEN UNIVERSITY 3. ONLINE-PRÜFUNGSSYSTEM (OPS) 4. PRAKTISCHE ANWENDUNG 5. SERVICEANGEBOTE 6. FAZIT UND AUSBLICK 23
SERVICEANGEBOT Initiative zur Einführung von e-prüfungen an der RWTH Aachen University Electronic Assessment: allgemeine Bezeichnung für den Vorgang des Prüfens mit Hilfe der Informationstechnologie Services: Schulung, Beratung, Coaching, organisatorischer Support Solutions: Erforschung neuer Methoden Systems: technischer Support, Administration, Weiterentwicklung 24
SERVICEANGEBOT Beratung Besuch und Beratung von Interessenten durch das eas³y-team Vorstellung des Online-Prüfungssystems (OPS) Sichtung von Klausurinhalten auf Umsetzbarkeit Hinweise und Informationen zur Organisation und Durchführung Schulung Seminarangebot in Kooperation mit ExAcT und ELLI Einführung in die theoretischen Grundlagen von e-prüfungen Entwicklung und Einstellung eigener Klausurfragen ins OPS individueller Support Unterstützung auf didaktischer, technischer sowie organisatorischer Ebene zur Erstellung, Durchführung und Nachbereitung von e-prüfungen Nachbereitung Sammeln von Feedback in Review-Sitzungen im Nachgang zur Optimierung der Prozesse 25
SERVICEANGEBOT OPS Seminar: e-prüfungen erfolgreich planen und durchführen Lehrende, die ihre Prüfungen elektronisch umsetzen und das OPS der RWTH Aachen kennenlernen und ausprobieren möchten Einführung in die Grundlagen von e-prüfungen Relevanz und Formulierung von Lernzielen Entwicklung und Einstellung eigener Klausurfragen ins OPS Musterbeispiele für e-prüfungen (Show-Case Klausur) Auswahl und Einsatz verschiedener Aufgabentypen in e-prüfungen Rechtliche Grundlagen von e-prüfungen 26
INHALTSVERZEICHNIS 1. EINFÜHRUNG E-PRÜFUNGEN 2. RAHMENBEDINGUNGEN AN DER RWTH AACHEN UNIVERSITY 3. ONLINE-PRÜFUNGSSYSTEM (OPS) 4. PRAKTISCHE ANWENDUNG 5. SERVICEANGEBOTE 6. FAZIT UND AUSBLICK 27
FAZIT Einsatz verschiedener Medien und externer Programme ermöglicht Variationen innerhalb einzelner Aufgabentypen Erweiterung des möglichen Aufgabenspektrums in e-prüfungen bislang vorwiegend Überprüfung kognitiver Lernziele Potential psychomotorische Lernziele abzufragen verschiedene Aufgabentypen und Medieneinbindung helfen, die Motivation der Studierenden zu erhöhen Erhöhung des Praxisbezugs Möglichkeit des kompetenzorientierten Prüfens 28
AUSBLICK E-PRÜFUNGEN Wo stehen wir? Technologie verändert Bildung: Veränderung des Lernbegriffs & Forderung nach adaptiven Konzepten Großes Interesse an alternativen Prüfungsformen, insbesondere in Studiengängen mit großen Hörerzahlen e-prüfungen bereits als fester Bestandteil der Lehre, besonders in der Medizin Was muss sich ändern? Gezielte Begleitforschung zum Einsatz von e-prüfungen an der Hochschule Mut und Bekenntnis zur Einführung von e-prüfungen Problematik e-prüfungen als Schnittstelle zwischen Didaktik und IT-Maßnahmen thematisieren und aufarbeiten elearning & e-prüfungen als Service der IT-Dienste-Infrastruktur von Hochschulen implementieren 29
AUSBLICK E-PRÜFUNGEN Was ist noch denkbar? e-prüfungen als Ersatz für traditionelle Prüfungsformen?! vermehrter Einsatz von e-prüfungen als Selbstlerneinheiten, Zulassungstests, Selfassessment Individuelle Key-Feature-Klausuren Einsatz von Hybrid-Klausuren Ausbau der Medieneinbindung Einsatz von Tablet-Computern Active-Audio-Input Gestenbasiertes Computing: Erkennen von Körperbewegungen durch den Computer Steuerung durch Hand- oder Armbewegungen 30
LITERATUR Berendt, B., Szczyrba, B., Wildt, J. (2006). Neues Handbuch Hochschullehre, 2. Aufl. Raabe Verlag. Bloom, B.,u.a. (1976). Taxonomien von Lernzielen im kognitiven Bereich. Übersetzt von Eugen Füner und Ralf Horn. Mit einem Nachwort von Rudolf Messner. 5. Aufl. Beltz Verlag: Weinheim, Basel. JISC Joint Information Systems Comittee (2007). Effective Practice with e-assessment. An Overview of technologies, policies and practice in further and higher education. Kratwohl, D. R., Bloom, B. S. & M., Masia B. (1975). Taxonomie von Lernzielen im affektiven Bereich. Weinheim und Basel: Beltz. Rohlfes, J. (1996). Theoretiker, Praktiker, Empiriker. In: GWU Jg. 47, 98-110. Rüdel, C.(2009). Was ist eassessment? eassessment ist eines der Schlagwörter der letzten Jahre, aber was wird darunter eigentlich verstanden? Hamburger e-learning Magazin, 22-24. Universität Zürich. Bereich Lehre- Arbeitsstelle für Hochschuldidaktik (2008): Lernziele formulieren in Bachelor- und Masterstudiengängen. Vogt, M., Schneider, S., Koordinationsstelle Multimedia JLU Gießen (2009). E-Klausuren an Hochschulen. Didaktik, Technik, Systeme, Recht, Praxis. 1. Auflage. Gießen. OPS-Hilfebereich, inside LuIS GmbH http://www.inside-online.de/ 31
Vielen Dank für Ihre Aufmerksamkeit! WEITERE INFORMATIONEN: Daniela Janßen M.A. Daniela.Janssen@ima-zlw-ifu.rwth-aachen.de 0241-8091162 http://www.exact.rwth-aachen.de info@exact.rwth-aachen.de Dipl.-Inform. Mazdak Karami karami@hia.rwth-aachen.de 0241-8085689 www.eas3y.hia.rwth-aachen.de 32