E-Assessment NRW Projektvorstellung Prof. Dr. Dorothee M. Meister, Universität Paderborn Prof. Dr. Gudrun Oevel, Universität Paderborn Prof. Dr. Isabell van Ackeren, Universität Duisburg-Essen Prof. Dr. Andreas Frommer, Bergische Universität Wuppertal Für die Projektmitarbeiter_innen Kathrin Pahlke-Kullik Alain Michel Keller Timon T. Temps Wuppertal, 30. Oktober 2015
AGENDA Vorstellung des Projekts Zielsetzung Verbundpartner und Arbeitsfelder Meilensteine Projektstatus E-Assessments in NRW: Formen und Systeme E-Assessment und Infrastruktur Good Practices Rechtliche Aspekte Anwendungsbeispiel: Rechtliche Gestaltung von E-Assessments Geplante Tagungen Erreichbarkeit
PROJEKTVORSTELLUNG Projektgegenstand Diagnostische Assessments Formative Assessments Summative Assessments Themenschwerpunkte: Rechtliche Verfahrensweisen Beratungs- und Infrastruktur Kooperationspotentiale & Verbundstrukturen Struktur Verbundprojekt der Universitäten Paderborn, Duisburg-Essen und Wuppertal Erweiterung des Projekts um die Fachhochschulen NRW (Verbundpartner HS OWL und HS Niederrhein)
ZIELSETZUNG VON E-ASSESSMENT NRW Überblick und sichtbar machen der E-Assessment-Akteure an Hochschulen in NRW Förderung intensiver Vernetzung zwischen den E-Assessment-Akteuren in NRW Erstellung von Handreichungen und Handlungsempfehlungen Entwicklung von Standards und Strukturen für die Durchführung von E-Assessments unter Wahrung der heterogenen Hochschulinteressen Hürden für E-Assessment-Neulinge herabsetzen Systemumstiege und Innovationen erleichtern Klärung rechtlicher Verfahrensweisen
ZIELSETZUNG VON E-ASSESSMENT NRW I. Rechtliche Verfahrensweisen Prüfungsrechtliche Rahmenbedingungen Datenschutzrechtliche Rahmenbedingungen Erarbeitung möglicher Problempunkte und Lösungen II. Beratungs- und Infrastruktur Benennung verwendete Techniken, deren technische und räumliche Realisierung sowie die aufgebauten Beratungs- und Unterstützungsstrukturen Entwicklung von Handreichungen und Handlungsempfehlungen III. Kooperationspotentiale & Verbundstrukturen Austauschmöglichkeiten etablierter E-Assessment-Akteur_innen Sichtbarmachen von E-Assessment-Projekten über die Grenzen der Universitäten hinaus Handreichungen für Neueinsteiger_innen im Bereich der E-Assessments Aufbau von Kooperationsstrukturen
VERBUNDPARTNER UND ARBEITSFELDER Universität Duisburg-Essen Rechtliche Verfahrensweisen Bergische Universität Wuppertal Infrastrukturelle Aspekte Online-Klausuren (summative Assessments) Scan-Klausuren (summative Assessments) Universität Paderborn Beratungsstrukturen/Didaktik Förderpartner Ministerium für Innovation, Wissenschaft und Forschung des Landes Nordrhein-Westfalen Kooperationspartner DV-ISA AG Prorektoren Feedbacksysteme (formative Assessments) Projektleitung Hochschule Ostwestfalen-Lippe Vernetzung Fachhochschulen NRW Ost Diagnostische Assessments Hochschule Niederrhein Vernetzung Fachhochschulen NRW West E-Assessments für innovative Lehre
PERSONAL IM PROJEKT (2014-2016) Konsortialführung (Universität Paderborn) Universität Duisburg-Essen Prof. Dr. Isabell van Ackeren Albert Bilo Dr. Holger Gollan Kathrin Pahlke-Kullik Projektteams Universitäten Universität Paderborn Prof. Dr. Dorothee M. Meister Prof. Dr. Gudrun Oevel Dr. Anna-Maria Kamin Timon T. Temps Arne Beckmann / Melanie Wilde Bergische Universität Wuppertal Prof. Dr. Andreas Frommer Dieter Huth Alain Michel Keller Projektteams Fachhochschulen HS OWL Prof. Dr. Burkhard Wrenger Yvonne Wegner HS Niederrhein Prof. Dr. Berthold Stegemerten Silke Kirberg
MEILENSTEINE 1. Meilenstein: interne Vernetzungsphase Erweiterte Bestandserhebung Identifikation der Ansprechpartner/innen und Projekte Beauftragung eines Rechtsgutachtens 2. Meilenstein: Grundlagenphase Erarbeitung konkreter Lösungsvorschläge bzgl. Rechts- und Datenschutzaspekten Konzeptionierung von Beratungsstrukturen Auswahl von Good Practice-Beispielen 3. Meilenstein: Transferphase Erprobung und Evaluation ausgewählter Konzepte Entwicklung eines Leitfadens E-Assessment Aufbau eines landesweiten E-Assessment-Netzwerks in Anbindung an bestehende Initiativen
Formen und Systeme, Infrastruktur, Good Practices, Rechtliche Aspekte PROJEKTSTATUS
PROJEKTSTATUS (STAND: 10/2015) Projektlaufzeit (01.07.2014 30.06.2016 / verlängert bis 31.12.2016): Projektstart Universitäten am 01.07.2014 /01.09.2014 Projektstart Fachhochschulen Herbst 2015 Berichtswesen Quartals- und Jahresberichte an das MIWF und dem DV-ISA bisherige Arbeitspakete Vertiefung und Erweiterung der Bestandserhebung E-Assessments in NRW Identifizierung von Good Practice-Beispielen an NRW Hochschulen und Veröffentlichung auf Projekthomepage Erarbeitung rechtlicher Fragestellungen für Gutachten Vernetzung (z. B. mit MIWF, DV-ISA, HIS, Hochschulforum Digitalisierung, e-teaching.org, elearningnrw, AMH Online-Klausuren, ZKI sowie Projekterweiterung und Planung von Tagungen und Veröffentlichungen) weitere Arbeitspakete Entwicklung von rechtlichen Handlungsempfehlungen auf Basis gutachterlicher Stellungnahme Entwicklung eines Evaluationsinstruments für E-Assessments Etablierung von Beratungs- und Vernetzungsstrukturen (technisch, didaktisch, infrastrukturell)
E-ASSESSMENT-FORMEN Diagnostische Assessments vor dem Lernprozess Beispiele.: Zulassungs- und Einstufungstests, Sprachtests, Pre-Tests in der Medizin, Studierfähigkeitstest Formative Assessments während des Lernprozesses Beispiele: Lernfortschrittskontrollen, Zwischentests (MaSter), Clicker und Audience Response Systems (Vote+, PINGO) Summative Assessments im Anschluss an den Lernprozess Beispiele: Online-Klausuren, Scan-Klausuren, Vorher-/Nachher Prüfungen
E-ASSESSMENTS UND INFRASTRUKTUR IN NRW Recherche der an NRW-Universitäten eingesetzten E-Assessment-Systemen Überblick auf der Projekthomepage www.eassessmentnrw.de Zudem: Handreichung zu infrastrukturellen Voraussetzungen zum Einsatz von E-Assessments (Räume, Kosten etc.)
VERBREITETE E-ASSESSMENT-SYSTEME IN NRW Diagnostische Assessments vor dem Lernprozess Moodle - LMS, Open Source ILIAS - LMS, Open Source, Köln Formative Assessments im Lernprozess Moodle - LMS, Open Source ILIAS - LMS, Open Source, Köln Mahara - E-Portfolio, Open Source PINGO - ARS, Open Source, Paderborn ARSnova - ARS, Open Source [JACK - E-Prüfungssoftware mit Programmieraufgaben, CAS, nicht kommerziell, Essen] Summative Assessments im Anschluss an den Lernprozess ILIAS - LMS, Open Source, Köln LPLUS - E-Prüfungssoftware, kommerziell IQ[kju:]L - E-Prüfungssoftware, kommerziell EvaExam - Scan-Klausursoftware, kommerziell [JACK - E-Prüfungssoftware mit Programmieraufgaben, CAS, nicht kommerziell, Essen]
GOOD PRACTICES Ausarbeitung eines Kriterienkatalogs zur Bewertung von Good Practices Didaktische Einsatzszenarien Rechtliche Aspekte Technische Aspekte Unterstützung und Support Aufwand und Skalierbarkeit Problemstellungen Mögliche Alternativen und Evaluationen Veröffentlichung ausgewählter Good Practices auf der Projekthomepage ILIAS (diagnostisch und summativ) Moodle (diagnostisch) PINGO (formativ)
DISKUSSIONSFRAGEN SYSTEME & GOOD PRACTICES Ist der aktuelle Stand der Systeme erfasst? Erscheint die Form der Aufbereitung und Bewertung praktikabel? Wie wichtig ist der Fokus auf in NRW entwickelte Produkte? Sollen diese gezielt vorangebracht werden? Wie wichtig ist die Frage Open Source vs. kommerziell bei der Beschaffung von Systemen?
RECHTLICHE GESTALTUNG VON E-ASSESSMENTS Ziel: Entwicklung konkreter Handlungsempfehlungen zur möglichst rechtssicheren Gestaltung von E-Assessments Ausgangslage: Nutzung unterschiedlicher E-Assessment-Tools in NRW (Überblick: http://www.eassessmentnrw.de/einsatzorte-in-nrw.html) Beispiele: Universität Duisburg-Essen: LPLUS, JACK, Moodle, Mahara, PINGO, Universität zu Köln: ILIAS TU Dortmund: EvaExam, Mahara, JACK, eduvote
RECHTLICHE GESTALTUNG VON E-ASSESSMENTS Problematik: Eine konkrete Handlungsempfehlung zur rechtssicheren Gestaltung von E-Assessments entspricht nicht der Vielfalt und Komplexität der in NRW eingesetzten E-Assessment-Tools. Lösungsansatz Modulares Konzept : Erstellung eines Gutachtens zu abstrakten Rechtsfragen des E-Assessments, unabhängig von dem jeweils konkret eingesetzten E-Assessment-Tool Verwendung des Gutachtens als Basis differenzierter Handlungsempfehlungen ( Module ) Möglichkeit zur Nutzung des Gutachtens für die Entwicklung bedarfsgerechter Lösungen durch die einzelnen Hochschulen
Anwendungsbeispiel: Rechtliche Gestaltung von E-Assessments SICHERSTELLUNG VON AUTHENTIZITÄT UND INTEGRITÄT DER PRÜFUNGSLEISTUNG
Rechtssichere Gestaltung von E-Assessments (3) RECHTLICHE GESTALTUNG VON E-ASSESSMENTS Verfahrensweise bei: schriftlichen Klausuren in Form von Präsenzprüfungen Identitätsprüfung durch Aufsicht und Unterschrift des_r Prüfungskandidat_innen unter eigenhändig geschriebene Klausur E-Assessments in Form von Präsenzprüfungen Identitätsprüfung durch Aufsicht und Ausdruck der Klausur und eigenhändige Unterschrift oder qualifizierte elektronische Signatur nach dem SigG oder einfache elektronische Bestätigung der Prüfungsleistung vor endgültiger Übermittlung ( Mausklick )
Rechtssichere Gestaltung von E-Assessments (3) RECHTLICHE GESTALTUNG VON E-ASSESSMENTS Beweisführung bei schriftlichen Klausuren Identitätsprüfung durch Aufsicht eigenhändig geschriebene und unterschriebene Klausur ist sog. Privaturkunde i.s.d. 416 ZPO Vorlage echter Privaturkunde erbringt sog. Vollbeweis darüber, dass die in ihr enthaltene Erklärung vom Aussteller abgegeben wurde, 98 VwGO i.v.m. 416 ZPO echt ist eine Urkunde, die von demjenigen herrührt, der auch als ihr Aussteller erscheint im Bestreitensfall ( Das ist nicht meine Klausur. ): Beweis der Echtheit der Urkunde durch Identitätsprüfung des Urhebers mittels forensischen Handschriftenvergleichs gem. 98 VwGO i.v.m. 441 ZPO
Rechtssichere Gestaltung von E-Assessments (3) RECHTLICHE GESTALTUNG VON E-ASSESSMENTS Beweisführung bei E-Assessments mit Ausdruck der Klausur und eigenhändiger Unterschrift Identitätsprüfung durch Aufsicht eigenhändig unterschriebener Ausdruck ist Privaturkunde i.s.d. 416 ZPO Beweisführung wie bei schriftlicher Klausur
Rechtssichere Gestaltung von E-Assessments (3) RECHTLICHE GESTALTUNG VON E-ASSESSMENTS Beweisführung bei E-Assessments, bei denen die Klausurdatei mit qualifizierter elektronischer Signatur nach 2 Nr. 3 SigG versehen ist Identitätsprüfung durch Aufsicht echtes signiertes elektronisches Dokument erbringt Vollbeweis darüber, dass die in ihm enthaltene Erklärung vom Aussteller stammt, 98 VwGO i.v.m. 371a, 416 ZPO für in elektronischer Form abgegebene und signierte Erklärung besteht Anschein der Echtheit, 98 VwGO i.v.m. 371 a Abs. 1 Satz 2 ZPO eröffnet Möglichkeit des sog. Anscheinsbeweises, bei dem aus dem Vorliegen bestimmter Tatsachen ein bestimmter Sachverhalt zunächst als wahrscheinlich unterstellt wird: Anschein der Echtheit der Erklärung: Vermutung, dass die Erklärung vom Signaturschlüssel-Inhaber abgegeben wurde Prüfungskandidat müsste Tatsachen vorbringen und beweisen, die ernstliche Zweifel daran begründen, dass die Erklärung vom Signaturschlüssel-Inhaber abgegeben wurde bessere Beweislage als bei schriftlichen Klausuren, dort muss Prüfungsbehörde Echtheit beweisen (s.o.)
Rechtssichere Gestaltung von E-Assessments (3) RECHTLICHE GESTALTUNG VON E-ASSESSMENTS Beweisführung bei E-Assessments, bei denen eine einfache elektronische Bestätigung der Klausurdatei vor endgültiger Übermittlung an das Prüfungssystem erfolgt Identitätsprüfung durch Aufsicht Beweiswert der Klausur-Datei : mangels Schriftlichkeit keine Privaturkunde i.s.d. 98 VwGO i.v.m. 416 ZPO keine Anwendbarkeit von 416 ZPO keine Anwendbarkeit von 371a ZPO mangels qualifizierter elektronsicher Signatur keine entsprechende Anwendbarkeit von 416 ZPO keine Beweiserleichterung gem. 371a Abs. 1 Satz 2 ZPO Datei bloßes Augenscheinsobjekt i.s.d. 371 Abs. 1 Satz 2 ZPO schlechtere Beweislage als bei schriftlichen Klausuren evt. Möglichkeit der Beweisführung durch sog. Anscheinsbeweis (insbes. Kalberg, DVBl 2009, 21, 26), vgl. dazu die folgende Folie
Rechtssichere Gestaltung von E-Assessments (3) RECHTLICHE GESTALTUNG VON E-ASSESSMENTS Beweisführung bei E-Assessments, bei denen eine einfache elektronische Bestätigung der Klausurdatei vor endgültiger Übermittlung an das Prüfungssystem erfolgt mittels Anscheinsbeweises Prüfungsbehörde muss Tatsachen behaupten und beweisen, die einen bestimmten Geschehensablauf als wahrscheinlich erscheinen lassen, z.b. durch: Nachweis der grds. Funktionsfähigkeit des Prüfungssystems hinsichtlich Authentizität und Integrität der Prüfungsergebnisse Nachweis über Prüfung der Identität des Prüflings bei Prüfungsantritt Nachweis der IP-Adresse des Computers i.v.m. der ID des Prüflings und der Log-Datei über den Dateneintrag oder -abruf (Geeignetheit u. Zulässigkeit umstritten) Vermutung für Authentizität und Integrität der Prüfungsleistung Prüfling müsste seinerseits Tatsachen behaupten und beweisen, die atypischen Ablauf als möglich erscheinen lassen (z.b. Störung im Prüfungssystem) gelingt ihm dies nicht, gilt Authentizität und Integrität der Prüfungsleistung als bewiesen
Rechtssichere Gestaltung von E-Assessments (3) RECHTLICHE GESTALTUNG VON E-ASSESSMENTS Handlungsempfehlung unter dem Aspekt der Rechtssicherheit an 1. Stelle: qualifizierte elektronische Signatur nach SigG contra : erheblicher Kosten- und Organisationsaufwand an 2. Stelle: Ausdruck der Klausur und eigenhändige Unterschrift contra : erheblicher Kosten- und Organisationsaufwand an 3. Stelle: einfache elektronische Bestätigung contra : derzeit noch erhebliche Unsicherheit bzgl. der Frage, ob und unter welchen Voraussetzungen Anscheinsbeweis bzgl. Echtheit der Klausurdatei durch Gerichte akzeptiert wird Fazit: Erforderlichkeit modularer Lösung anstelle einer einheitlichen konkreten Handlungsempfehlung
DISKUSSIONSFRAGEN RECHTLICHE ASPEKTE Entspricht die Form des Modularen Konzepts den Vorstellungen? Welchen Stellenwert hat das Thema Rechtssicherheit IT-Sicherheit?
e-prüfungs-symposium, E-Assessment-Tagung GEPLANTE TAGUNGEN
GEPLANTE TAGUNGEN e-prüfungs-symposium eps 18. - 19. November 2015 // Hotel Aspethera Paderborn Keynote 1: Prof. Dr. Jürgen Handke (Universität Marburg) Keynote 2: Prof. Dr. Michael Beurskens (Universität Bonn) Workshop: Prof. Dr. Lutz Goertz (MMB Institut)
GEPLANTE TAGUNGEN E-Assessment-Tagung 4. März 2016 // 10 Uhr // Universität Duisburg-Essen Grußworte Svenja Schulze, Ministerin für Innovation, Wissenschaft und Forschung des Landes NRW Prof. Dr. Stefan Herzig (Vorsitzender AG Prorektoren) Prof. Dr. Wilhelm Schäfer (Präsident Universität Paderborn, Vorsitzender DV-ISA) Vortrag zu Rechtsfragen Dr. Christoph Jeremias, Richter am VG Berlin (angefragt) Vernetzungsmöglichkeit über Themeninseln praxisorientiert, anhand von verbreiteten Systemen betreut durch einen Moderator, der Leitfragen als Diskussionsgrundlage bereithält Vernetzung bestehender Kooperationen Good Practice-Universitäten könnten Erfahrungen weitergeben
DISKUSSIONSFRAGEN - VERNETZUNG Wie wollen sich andere Universitäten stärker vernetzend einbringen? Welche Universitäten möchte die Expertise stärker einbringen? Gibt es weitere inhaltliche Prioritäten?
ERREICHBARKEIT E-ASSESSMENT NRW Internetpräsenz www.eassessmentnrw.de Konsortialführerschaft Universität Paderborn Prof. Dr. Dorothee M. Meister: dorothee.meister@upb.de ; Tel.: 05251 / 60-3723 Prof. Dr. Gudrun Oevel: gudrun.oevel@upb.de; Tel.: 05251 / 60-2397 Mitarbeiter_innen an den Universitätsstandorten: Alain Michel Keller, Bergische Universität Wuppertal alain.keller@uni-wuppertal.de; Tel.: 0202 / 439-3308 Kathrin Pahlke-Kullik, Universität Duisburg-Essen kathrin.pahlke-kullik@uni-duisburg-essen.de; Tel.: 0201 / 183-3661 Timon T. Temps & Arne Beckmann, Universität Paderborn timon.temps@upb.de ; Tel.: 05251 / 60-3330 arne.beckmann@upb.de ; Tel.: 05251 / 60-3400
VIELEN DANK FÜR IHRE AUFMERKSAMKEIT