Abschlussbericht Projekt «Online-Prüfungen an der ETH Zürich» Dr. Brigitte Schmucki LET Lehrentwicklung und -technologie Dezember 2010
Zusammenfassung DasProjekt Online PrüfunganderETHZürich wurdevon2007bis2009imrahmeneines UmsetzungsprojektsderICT StrategiederETHausdemJahr2006amNET(seit01.01.10inden BereichLehrentwicklungund technologie(let)integriert)durchgeführt. ZieldesProjektswaresinnerhalbdergegebenenPrüfungsorganisationundIT Infrastruktur,die technischengrundlagenzuschaffensowiediedidaktischen,juristischenundorganisatorischen Fragenzuklären,umelektronischunterstütztePrüfungenanderETHZürichindas StandardrepertoirederLeistungsmessungsmethodenaufzunehmen. InZusammenarbeitmitverschiedenenFachstellenderETHkonntendierechtlichenund organisatorischenrahmenbedingungengeklärtwerden.gemässprüfungsverordnungsind PrüfungenamComputererlaubtundalsschriftlicheLeistungskontrollenanzusehen.Mitder KlärungderorganisatorischenBegebenheitensindgeeigneteOrganisationsmodelle,der LeitfadenOnline PrüfungfürDozierendesowiedasLET internehandbuchzur Prüfungsdurchführungentstanden. ZuProjektbeginnwarenanderETHPrüfungenamComputermit50gleichzeitigenNutzern möglich.imverlaufdesprojektskonntedienutzerzahlauf100gleichzeitigeteilnehmer ausgebautwerden. WährendderProjektdauerwurden17Prüfungen(835Einzelprüfungen)aussieben verschiedenendepartementenvondervor biszurnachbereitungbegleitet. DieBetreuungumfassteBeratungen,BereitstellungvonPrüfungssoftware,Ausführenvon administrativenaufgaben,supportsowiediearchivierungvonprüfungsresultaten. DiebegleitetenPrüfungenfandenfastausschliesslichindenöffentlichenstudentischen ComputerräumenderETHstattinengerZusammenarbeitmitderArbeitsplatzinformatik. DurchdenkontinuierlichenEinsatzderPrüfungsumgebungwurdedieseinBezugaufUsability, KapazitätundSicherheitständigformativevaluiertundnachMöglichkeitangepasst. ImVerlaufedesProjektshatsichhauptsächlichBedarfandreiTypenvonPrüfungenam Computerherauskristallisiert(dieauchkombinierteingesetztwerdenkönnen): 1. MultipleChoice Prüfungen 2. PrüfungenmitEssay Fragen 3. PrüfungmitEinsatzvonDrittapplikationen(zumBeispielMATLAB,Mikroskopkamera SoftwarezurÜberprüfungvonFertigkeiteninBezugaufApplikationen DiedreiTypenwerdendurchfolgendeSoftwareunterstützt: Lernplattformen(Moodle,ILIAS)inKombinationmitSafeExamBrowser(betreutvom LET):Typ1 3 LinuxPrüfungsumgebung(betreutvonID API):Typ3 DurchdieAnpassungenundEntwicklungenwährendderProjektdauerentstandeine Basisinfrastruktur,welchefürdieDurchführungvonOnline Prüfungenbeikleinenund mittlerenveranstaltungengenutztwerdenkann.umprüfungengeradebeihöheren Studentenzahleneffizienterdurchführenzukönnen,sindnochweitereAnpassungennotwendig. DieRückmeldungenderDozierendenzeigendeutlich,dassessinnvollist,denDozierendenin eineminfrastrukturbereichderhochschuleeineanlaufstellefürsämtlichefragenrundum Online Prüfungenanzubieten. ProjektOnline Prüfungen 1
Inhaltsverzeichnis 1 AusgangslageundProjektziele... 3 1.1 Ausgangslage... 3 1.2 AllgemeineProjektinformationen... 3 1.3 Projektziele(gemässProjektantragRef.4.7)...3 1.3.1 DetailzielegemässAntragmitResultatübersicht...4 1.4 ÜbersichtüberProjektphasen... 4 2 UmsetzungundResultate... 5 2.1 Phase1(Start)...5 2.1.1 DetaillierteProjektplanung...5 2.1.2 ProjektpartnerundinvolvierteETH Dienststellen...6 2.2 Phase2(Analyse)... 6 2.2.1 KlärungrechtlicherFragstellungen...6 2.2.2 AbklärungdertechnischenMachbarkeit...7 2.3 Phase3(UmsetzungundDurchführung)... 9 2.3.1 BegleitungvonPilotprojekten...9 2.3.2 AnpassungdertechnischenGrundlagen... 11 2.3.3 LeitfadenOnline Prüfung... 12 2.3.4 OrganisatorischeRahmenbedingungen... 13 2.4 Phase4(Umsetzung/Durchführung/Auswertung/Abschluss)...17 2.4.1 ÜberführunginregulärenBetrieb... 17 3 Auswertung/Fazit...17 3.1 AuswertungzumErreichenderDetailziele...17 4 Handlungsempfehlungen...19 4.1 FokussierungaufZielgruppen(inkl.Skalierung)...20 4.2 FormulierungeinesSetsmitmöglichenEinsatzszenarien...22 4.3 UnterstützungeinersicherenBrowserumgebung(SEB)...22 4.4 BessereUnterstützungadministrativerProzesse...22 4.5 ZentraleAnsprechsperson...22 5 LiteraturundLinks...23 6 Danksagung...23 ProjektOnline Prüfungen 2
1 Ausgangslage und Projektziele 1.1 Ausgangslage DieSchulleitungderETHZürichhatimJahr2006eineStrategiezureinheitlichenOrganisation undnutzungvoninformations undkommunikationstechnologienverabschiedet(ict Strategie).EineMassnahmedavonumfasstedenAufbaueinerInfrastrukturzurDurchführung vonprüfungenamcomputer.dieict KommissionbeauftragtedasNetworkforEducational TechnologyNET(nachderTeilrevisionderOrganisationsverordnungderETHZürichvom 01.01.2010einTeilderneuenEinheitLehrentwicklungund technologie(let))mitder UmsetzungdieserMassnahme. DasNETregistriertevonSeitenderDozierenden(damitsindauchderenAssistierendegemeint) schonvorprojektbeginninteresseanderdurchführungvononline Prüfungen,d.h. webbasiertenprüfungenamcomputerunteraufsicht,inderregelalssummative Leistungskontrolleausgeführt.EswurdenvermehrtFragenzudenMöglichkeitender DurchführungvonPrüfungenamComputersowiezuorganisatorischenundrechtlichen BelangenandasNETherangetragen. SteigendenBekanntheitsgraderfuhrdasThemaOnline PrüfungeninderSchweizdurchpositive ErfahrungsberichteausGrossbritannienundDeutschland,woderBereichE Assessmentseit einigenjahreninsbesonderedurchdieumsetzungderbologna Reformeinengrossen Aufschwungerlebte(Wolf,2007). AnderETHZürichwurdenbiszumdamaligenZeitpunktnurineinigenwenigenVeranstaltungen (hauptsächlichmitdemlernzielprogrammieren)prüfungenamcomputerdurchgeführt. BeispielefürsolcheVeranstaltungen: NumerischeMathematik,Prof.R.Hiptmair,D MATH(benotetePrüfungen) EinsatzvonInformatikmitteln,Prof.H.Hinterberger,D INFK(unbenotetePrüfungen) 1.2 Allgemeine Projektinformationen Projektname Online PrüfungenanderETH(Ref. Nr.407) Antragsteller Projektleitung Projektbegleitung Dr.ThomasPiendl(LET) Dr.BrigitteSchmucki(LET) Prof.Dr.RalfHiptmair(SAM,D MATH) Projektstart 1.6.2007 Projektende 1.12.2009 1.3 Projektziele (gemäss Projektantrag Ref. 4.7) ZieldesProjektsistesinnerhalbdergegebenenPrüfungsorganisationundIT Infrastrukturdie technischengrundlagenzuschaffensowiediedidaktischen,juristischenundorganisatorischen Fragenzuklären,umelektronischunterstütztePrüfungenanderETHZürichindas StandardrepertoirederLeistungsmessungsmethodenaufzunehmen. MitProjektabschlusssollenDozierendederETHZürichsichereundrekursfähigePrüfungenfür kleineundmittlerestudierendengruppenindafürausgerüstetencomputerräumenaufdem Campusdurchführenkönnen.DarüberhinaussollimKontextvonOnline Prüfungengeklärt werden,obundinwelchenbereichenanpassungsbedarfbestehtwiebeispielsweiseinder AusstattungderComputerräumeundmitwelchenMassnahmendieseAnpassungen durchgeführtwerdenkönnten. ProjektOnline Prüfungen 3
1.3.1 Detailziele gemäss Antrag mit Resultatübersicht NachfolgendsinddieDetailzielegemässProjektantragmitResultatübersichtangegeben. ErläuterungenzudenResultatensindinKapitel3.1ausgeführt. DetailzieleausSichtderDozierenden: Neue(z.B.multimediale)Aufgabenformensollenermöglichtwerden Prüfungensollenschnellerausgewertetwerdenkönnen MittelfristigsollauchdieVorbereitungvonPrüfungenbeschleunigt werden(z.b.viabest Practice Berichte,Fragendatenbanken) PrüfungsobjektivitätundTransparenzkanngesteigertwerden VerbesserungderPrüfungsqualitätdurchStandardisierung Erreicht Erreicht Teilweiseerreicht Teilweiseerreicht Teilweiseerreicht DetailzieleausSichtderStudierenden: SchnellereAuswertungderErgebnisse(motivationssteigernd) DifferenziertesFeedbackzumjeweiligenLernerfolg GeringeresRisikoderFehlinterpretationdurchunleserliche handschriftlichearbeiten Nichterreicht. Nichterreicht Erreicht DetailzieleausSichtderOrganisation: EinpassungdermiteinerPrüfungeinhergehendenProzesse (Einschreibung,Durchführung,ÜbergabederNoten,Feedbacketc.) indieit LandschaftderETH Teilweiseerreicht 1.4 Übersicht über Projektphasen DieDurchführungdesProjektserfolgteinvierPhasen: Umsetzung Auswertung Start Analyse Durchführung Abschluss Abb.1:DievierPhasendesProjektsOnline PrüfungenanderETH ZielePhase1(Start): DetaillierteProjektplanungundOrganisation Zieldefinition IdentifikationundEinbezugallerbeteiligterProjektpartnerbzw.ETH Dienststellen ZielePhase2(Analyse) MachbarkeitsanalysemitderanderETHvorhandenenIT Infrastruktur OrganisationimgegebenemprüfungsplanerischemundjuristischemUmfeld AnhörungderStakeholder IdentifikationvongeeignetenPilotprojektpartnern ProjektOnline Prüfungen 4
ZielePhase3(Umsetzung/Durchführung) BegleitungvonPilotprojekten(Online Prüfungen)inverschiedenenDepartementen EntwicklungeinesETH LeitfadenszurErstellungvonOnline Prüfungen EvaluationderbisherigenSchritteundPlanungderweiterenMassnahmen ZielePhase4(Umsetzung/Durchführung/Auswertung/Abschluss) BegleitungvonPilotprojekten(E Assessments)inverschiedenenDepartementen EntwicklungeinesETH LeitfadenszurErstellungvonOnline Prüfungen EvaluationderbisherigenSchritteundPlanungderweiterenMassnahmen ÜberführungindenregulärenBetrieb 2 Umsetzung und Resultate 2.1 Phase 1 (Start) 2.1.1 Detaillierte Projektplanung DieweitereProjektplanungergabfürdiePhasendieuntenstehendenDetailziele: Phase1 Phase2 Phase3 Phase4 DetaillierteProjektplanungundOrganisation Zieldefinition IdentifikationundEinbezugallerbeteiligterProjektpartnerbzw.ETH Dienststellen KlärungrechtlicherFragstellungenbzgl.Durchführung,Sicherheit,Rekursfähigkeit AbklärungdertechnischenMachbarkeit KlärungorganisatorischerFragestellungen KlärungdidaktischerFragestellungen BegleitungvonPilotprojekten SchaffungdertechnischenGrundlagenzurDurchführungvonOnline Prüfungenfür kleineundmittlereveranstaltungenincomputerräumenaufdemcampus ErstellungeinesMassnahmenkatalogszurAnpassungderInfrastruktur EntwicklungeinesLeitfadensfürDozierendezurDurchführungvonOnline Prüfungen ÜberführungindenregulärenBetrieb ProjektOnline Prüfungen 5
2.1.2 Projektpartner und involvierte ETH-Dienststellen MitdenfolgendenFachpersonenwurdeETH internzusammengearbeitet: Prof.RalfHiptmair BalthasarEugster,Dr.UteWoschnack Dr.AndreasDudler,WolfgangKorosec,Nick Heim,AndreasVoss,KurtLeuenberger, ColetteRohrbach BrigitteSchiesser MarcoSalogni ChristianFaivre Dr.ArletteGaillard Prof.HansHinterberger,M.Dahinden UeliFergg SAM,D MATH Didaktikzentrum Informatikdienste Rechtsdienst Rektoratsadjunkt Rektorat,Lehrbetriebs Applikationen Rektorat,Prüfungsplanstelle InstitutfürComputationalScience,D INF Immobilien ExterneZusammenarbeitenergabensichmit: CorneliaRuedel WernerWilli StefanSchneider ToniGähwiler,CorneliusBona UniversitätZürich,E LearningCenter PädagogischeHochschuleZürich, E LearningConsultant UniversiätGiessen,Koordinationsstelle Multimedia Fa.Skyguide,NewLearningTechnologies 2.2 Phase 2 (Analyse) 2.2.1 Klärung rechtlicher Fragstellungen DieKlärungderrechtlichenFragestellungenmitRektoratsadjunktundRechtsdienstergab folgenderesultate: PrüfungenamComputersindeinezulässigeFormderLeistungskontrolleentsprechend derdefinition Leistungskontrolle:jedesVerfahren,mitdemdieLeistungvonStudierenden gemessenundbewertetwird,insbesondereprüfungenundschriftlichearbeiten; inart.2, Absatzeder AllgemeinenVerordnungüberLeistungskontrollenanderETHZürich, RSETHZ322.021,RechtssammlungderETHZürich. InBezugaufRekurse:WiebeiallenanderenLeistungskontrollenwerdenden StudierendendieLeistungsbewertungenmittelsVerfügungmitgeteilt.Einesolche VerfügungkannmitVerwaltungsbeschwerdebeiderETH Beschwerdekommission angefochtenwerden. ProjektOnline Prüfungen 6
2.2.2 Abklärung der technischen Machbarkeit WassollteeinePrüfungsinfrastrukturkönnen? EineidealePrüfungsinfrastruktur(sieheAbb.2)unterstütztdengesamtenAblaufeinerPrüfung, vonihrererstellungbiszurarchivierung.notwendigekomponentensindsoftware(u.a.zur Erstellung,DarstellungundKorrekturderPrüfung),Hardware(Speicherung,Auslieferung), PrüfungsräumeunddieGrundversorgung(Netzwerk,Strom).ImFallevonOnline Prüfungen sindspeziellhoheanforderungenbezüglichsicherheit,zuverlässigkeitundverfügbarkeitzu erfüllen. Abb.2:KomponenteneinerPrüfungsinfrastruktur DieimSommer2008durchgeführteUntersuchungenzur Online Prüfungstauglichkeit der InfrastrukturanderETHerbrachtedienachfolgenddiskutiertenErgebnisseindenBereichen Prüfungsräume,HardwareundSoftware.WeitereInformationenhierzusindimKonzeptzur VerbesserungderInfrastrukturfürOnline Prüfungen(Schmucki,2008)enthalten. 2.2.2.1 Prüfungsräume BisherwurdenfürPrüfungenamRechnerdievonderID Arbeitsplatzinformatikbetreuten Computer Studentenarbeitsräumeverwendet. ListederStudentenarbeitsräumemitmehrals15Computern(*=bereitsPrüfungen durchgeführt): HGD11 Win/Linux 19PC HGD12 Win/Linux 21PC HGE19* Win/Linux 42PC HGE26.1* Win/Linux HGE26.3* Win/Linux 32PC 32PC HGE27* Win/Linux 25PC HCID267 Linux HCID451 Win/Linux 39PC 32PC HPMC54 Win 16PC Quelle:http://www.id.ethz.ch/services/list/comp_raum_stud/arbeitsraeume ProjektOnline Prüfungen 7
AlsPrüfungsräumefürdenEinsatzvonLaptopskämenzudemHörsäleundSeminarräumein Frage,welcheüberStrom undausreichendnetzwerkversorgungverfügen.beigestuften HörsälensollteausreichendAbstandzwischeneinzelnenArbeitsstationenoderSichtschutz eingeplantwerden. 2.2.2.2 Hardware BisherwurdenComputerinStudentenarbeitsräumenfürPrüfungeneingesetzt.Die ArbeitsstationenindenStudentenarbeitsräumenverfügeninderRegelüber2.4 3.0GHz Prozessorenmit512 1024MBRAM,17 LCD Bildschirme,MausundexterneTastatur.Weiter stehenindenräumenverschiedenedruckerimeinsatz. ZahlenausdemUmfelddesNeptun Programmszeigen,dassStudienanfängervermehrtmit eigenerhardwareandieethkommenundsomitdiehardware Heterogenitätzunimmt.Ca.95% derstudierendensindimbesitzeineslaptops,ca.60%erwerbeneinendurchdasprojekt Neptun.(Quelle:Umfragen /VerkaufsstatistikProjektNeptun;E Mail AuskunftI.Noack,August 2008). 2.2.2.3 Software AufdenvorhandenenGerätenindenStudentenarbeitsräumenherrschendieBetriebssysteme WindowsundLinuxvor. DiebisherimProjektdurchgeführtenPrüfungenwurdenaufLinuxoderWindowsin Studentenarbeitsräumendurchgeführt. Als(abgesicherte)PrüfungsumgebungenwurdendabeifolgendeApplikationeneingesetzt: LearningManagementSysteme:ILIAS,Moodle,Blackboard http://www.let.ethz.ch/services/applications SecureBrowser:SafeExamBrowser,LockdownBrowser http://www.safeexambrowser.org http://www.respondus.com/products/lockdown.shtml Spezial Setup derid:installation/booteneinerspeziellhergestellten Prüfungsumgebung,diedemPrüfungsteilnehmernurdenGebrauchvonAdobeReader undmatlaberlaubt(wirddurchprof.hiptmaireingesetzt). WeitereApplikationen,diemomentaninPrüfungeneingesetztunddieindieSoftwareszenarien integrierbarseinmüssen: ProgrammezurLösungmathematischerProbleme(z.Bsp.MATLAB) Office Programme,AdobeReader,etc. 2.2.2.4 Möglichkeiten der Prüfungsdurchführung mit der vorhandenen Infrastruktur an der ETH (Schwerpunkt Hauptgebäude) WelcheMöglichkeitenzurPrüfungsdurchführunggibtes?(StandnachAnalyse2008) ErgebnisderEvaluationvonMoodle,BlackboardundILIAS: DieHerstellungundderEinsatzfolgenderFragetypenistmöglich: SingleChoice Fragen MultipleChoice Fragen Wahr/Falsch Fragen Zu undanordnungsfragen Lückentextfragen Kurzantwortfragen Essayfragen Rechenaufgaben ImageMap Fragen JavaApplet Fragen EinsatzvonMultimedia:Photo,Audio,Video ProjektOnline Prüfungen 8
WeitereFunktionalitäten: automatischekorrektur(vonfragenmitvorgegebenenantwortmöglichkeiten) Zugangsbeschränkung Zeitbeschränkung Feedbackfunktion Notenbuch RandomisierungderFragen /Antwortreihenfolge Einschränkungen ImAugust2008sind50gleichzeitigeNutzerimPrüfungssystemmöglich.Weitere Einschränkungenkommenzustandedurch: AnzahlzurVerfügungstehenderRäume AnzahlzurVerfügungstehenderComputer Personal,welcheszurAufsicht/fürSupportzurVerfügungsteht FehlendeFragetypen(z.Bsp.Drag&Drop) EinsatzvonDrittapplikationen AutomatischeKorrekturvonProgrammieraufgaben (StandimDezember2009sieheKapitel2.3.2.3KapazitätssteigerungderLernplattformen) 2.2.2.5 Fazit der Analyse AnderETHsindzumZeitpunktderAnalysePrüfungenamComputermit50gleichzeitigen Nutzernmöglich. DiePrüfungenmüssenunterAufsichtdurchgeführtwerden,dadieNutzer Authentifizierung (Legi Kontrolle)nichtausschliesslichtechnischerfolgenkann.DiePrüfungenfindenausserdem zeitgleichstatt,aussergrossekohorten(>50);diesefindeninzweigruppenunmittelbar nacheinanderstatt,dasieauskapazitätsgründennichtgleichzeitigprozessiertwerdenkönnen. EsgibtjedochkeinezwingendeörtlicheAbhängigkeit.D.h.Kandidatenkönnenauchvon ausserhalbanderprüfungteilnehmensofernsieuntervertrauenswürdigeraufsichtsind. 2.2.2.6 Evaluation möglicher weiterer Infrastrukturkomponenten AufgrunddesAnalysefazitswurdeweitereSoftwareimBezugaufderenMöglichkeitanalysiert: Lernplattformen: OLAT(http://www.olat.org) Testtools: iq Box(http://www.i qbox.com) QuickTri(http://www.quicktri.com/) SecureBrowser: SecureExam(http://www.softwaresecure.com/browser.htm) AlledieseApplikationenkonntendieAnforderungenjedochnichtvollumfänglichabdecken (angebotenefragetypen,plattformunabhängigkeit),sodasssichdasnetimeinverständnismit derict Kommissionentschlossenhat,einigeausgewählteSysteme,diesichbereitsanderETH imeinsatzbefanden,weiterzuentwickeln(siehekapitel2.3.2.2anpassungdertechnischen Grundlagen). 2.3 Phase 3 (Umsetzung und Durchführung) 2.3.1 Begleitung von Pilotprojekten DieBegleitungvonPilotprojekten(Pilotprüfungen)wareinzentralerBestandteildesProjekts Online Prüfungen.DieDurchführungvonPilotprüfungendientederweiterenEvaluationder technischenmachbarkeitunterpraktischenbedingungenunddererkennungvon WeiterentwicklungspotentialbezüglichOrganisation,TechnikundDidaktik. ProjektOnline Prüfungen 9
2.3.1.1 Wahl von Pilotprojekten BegleitetwurdenPrüfungenvonDozierenden,welcheInteresseanderDurchführungvon Online PrüfungenzeigtenundsichbeimNETmeldeten.EinigeDozierendenmusstenabgewiesen werden,dadieanzahlkandidatendiekapazitätdesprüfungssystemsüberschritten,die AnforderungenbezüglichbenötigterFragetypennichterfülltwurdenoderdieOrganisationzu aufwändigwar(zumbeispieldierekrutierungmehrereraufsichtenfürprüfungen,welcheam SamstaginmehrerenRäumegleichzeitigstattfindensollten). 2.3.1.2 Serviceleistungen FolgendeLeistungenwurdenbeiderBegleitungvonPilotprojektenerbracht: InitialesBeratungsgespräch(AbklärungderAnforderungenseitensdesDozierenden, AufzeigenderMöglichkeitenzurDurchführungeinerOnline Prüfung) BereitstellungderPrüfungssoftware(KursaufLernplattform) SupportundBeratungbeiderErstellungderPrüfung AdministrationderKandidaten(AufnahmeindenKursaufLernplattform) ReservationderPrüfungsräume OrganisationderSitzplatzordnung(inkl.BeschriftungderArbeitsplätze) BereitstellungdesInstruktionsblattsfürStudierende KontrolleallerComputeraufFunktionstüchtigkeit(Hardware,Software) TechnischerSupportvorOrtwährendderPrüfung ArchivierungderPrüfungsresultateaufCD ROM SupportundBeratungbeiderNachbereitungderPrüfung 2.3.1.3 Übersicht über begleitete Pilotprojekte ZwischenJuli2007undDezember2009wurdentotal17Prüfungenaus12Veranstaltungen begleitet. Zeitraum Anzahl Prüfungen Anzahl Einzelprüfungen Herbstsemester2007 1 60 Frühjahrssemester2008 1 8 Herbstsemester2008 2 137 Frühjahrssemester2009 8 410 Herbstsemester2009 5 220 Total 17 835 ProPrüfungnahmenzwischen8und150Teilnehmerteil(durchschnittlich49Teilnehmer). 2.3.1.4 Fachrichtungen AnfolgendenDepartementenwurdemindestenseinePrüfungdurchgeführt: D ITET,D BIOL,D CHAB,D MATH,D AGRL,D UWIS,D MTEC DiebreiteVerteilungderdurchgeführtenPrüfungenaufdieverschiedenenDepartementezeigt, wievielseitig(bezüglichfachrichtungen)online Prüfungendurchgeführtwerdenkönnen. ProjektOnline Prüfungen 10
2.3.1.5 Art der eingesetzten Fragetypen DieFragetypen,welchevonLernplattformenunterstütztwerden,lassensichnachverschiedenen Kriterieneinteilen.EineFormderEinteilungrichtetsichnachderArtderAntworten,die verlangtwird.grundsätzlichkannzwischenfragetypen,beiderdierichtigeantwortaus vordefiniertenantwortengewähltwerdenmussundfragetypen,beiderdieantwort vollumfänglicheingegebenwerdenmuss,unterschiedenwerden. Multiple Choice: FragetypenmiteinerWahlausvordefiniertenAntworten(MultipleResponse, SingleChoice,Zuordnung,usw.) Freitext: Andere: FragetypenmitoffenenAntworten(Essay,Kurzantwortfragen,Lückentext, numerischeeingabe,usw.) Programmieraufgaben(alsBeispiel) IndenzwölfbegleitetenVeranstaltungenwurdenfolgendeFragetypeneingesetzt: Prüfungsformate Anzahl Veranstaltungen AusschliesslichMC 2 Gemischt:MC>>Freitext 4 Gemischt:ausgeglichen 1 Gemischt:Freitext>>MC 2 AusschliesslichFreitext 1 Andere 2 DerGrossteilderdurchgeführtenPrüfungenbeinhaltetegleichzeitigFreitext undmc Fragen, wobeidiemc FragenaberbezüglichderAnzahlderFragenüberwogen. 2.3.2 Anpassung der technischen Grundlagen DurchdenkontinuierlichenEinsatzderPrüfungsumgebungwurdedieseinBezugaufUsability, KapazitätsengpässeundSicherheitständigformativevaluiert.DievonDozierendengeäusserten AnforderungenwurdenaufihrenVerwendungszweckgeprüftundnachMöglichkeitumgesetzt oderzumindestindieplanungaufgenommen.einenachhaltigeentwicklungstanddabeiim Vordergrund. NachfolgendwerdendievorgenommenenWeiterentwicklungengenauerbeschrieben. 2.3.2.1 Safe Exam Browser DerSafeExamBrowser(SEB;http://www.safeexambrowser.org)isteineaufFirefoxbasierende, abgesichertebrowser Applikation,umOnline PrüfungenzuverlässigaufLearningManagement Systemen(LMS)durchführenzukönnen.SEBistmitdemZieleinernachhaltigenEntwicklung seitmitte2008einopensourceprojekt,getragenvonderuniversitätgiessenunddereth Zürich.DerSecureBrowserunterstütztderzeitdieLMSMoodleundILIAS.MitderInstallation deraai fähigenwindowsxp ApplikationwirdeinherkömmlicherComputerineinem studentischencomputerarbeitsraumoderdasnotebookeinesstudentenzurtemporär abgesichertenarbeitsstation.mitsebkontrolliertdiedozentinbeispielsweisedenweb Zugang, dasausführenvondrittapplikationen(z.b.excel,matlab,pdf Reader)aufdemComputeroder machttastenkombinationenwiebeispielsweise Ctrl+Alt+Del funktionsunfähig.nacheiner Online PrüfungwirdderComputermitdemBeendenvonSEBinseinenursprünglichenZustand zurückversetzt.sebkannaufeinzelnenrechnernlokalinstalliertodereinfachskalierbarvia ClientDeployment Systemen(z.B.Baramundi)inComputerräumeverteiltundverwaltetwerden. ProjektOnline Prüfungen 11
DankderFlexibilitätvonSEB(kontrolliertesZulassenvonausgewähltenDrittapplikationen, AnbindunganjedesLMSmöglich)könnendieunterschiedlichstenPrüfungsszenariengestaltet werden,ohnedassdazuaufwändigeentwicklungsarbeitennötigsind.diesermöglicht DozierendendieZieleihrerLehrveranstaltungendidaktischsinnvollzuprüfen. DerBedarfamSafeExamBrowseristausdemProjekt EinführungvonOnline Prüfung entstanden.zunächstfanddieweiterentwicklungalsteilprojektstatt,mittlerweilewirddersafe ExamBrowseralseigenständigesProjektimRahmendes AAA/SWITCH e Infrastructurefore Science" Programms(http://www.switch.ch/aaa/index.html)gefördert. 2.3.2.2 Weiterentwicklungen in den Lernplattformen DieWeiterentwicklungundAnpassungvonFragetypenindenLernplattformenerfolgte einerseitsausgründenderdidaktikundandererseitsaufgrundkonkreterwünscheseitensder Dozierendenbzw.derE LearningServicesimNET. Fragetypen: ILIAS: Fileupload Fragetyp,Drag&Drop Fragetyp,HorizontaleAnordnung,Fehlertext, LückentextaufBild Moodle: Drag&Drop Fragetyp,Matrix Fragetyp Usability: ILIAS: AndereFeatures: ILIAS: AnpassungderResultat Exportdateien,VereinfachungbeidermanuellenBewertung, verbesserteusabilitybeiantworteingabe(freitextfragen Editor) AutomatischeSpeicherungbeiFreitextaufgaben,AnpassungTimer,Darstellungvon ILIASimPrüfungsmodus,AnbindunganSafeExamBrowser Moodle: AbindunganSafeExamBrowser,DarstellungvonMoodleimPrüfungsmodus DieseFeatureswurdeninZusammenarbeitmitderPädagogischenHochschuleZürichundder FirmaSkyguidespezifiziert,dieEntwicklungsaufträgeanexterneFirmenvergebenund gemeinsamfinanzieren. 2.3.2.3 Kapazitätssteigerung der Lernplattformen WieinKapitel2.2.2.5FazitAnalysebeschrieben,wardieAnzahlgleichzeitigerNutzerzum ZeitpunktderEvaluationaufdenLernplattformenauf50Teilnehmerbeschränkt.DaOnline PrüfungeninsbesonderefürmittlereundgrossePrüfungeneineEffizienzsteigerungdarstellen, istdiekapazitäteinwichtigerpunkt.durchoptimierungvonwebserver und DatenbankserverkonfigurationkonntedieAnzahlgleichzeitigerNutzerwährendder Projektdauerauf100gesteigertwerden. 2.3.3 Leitfaden Online-Prüfung DerLeitfadenrichtetsichhauptsächlichanDozierendenderETH,welcheeineOnline Prüfung durchführenmöchten.erenthältantwortenaufhäufiggestelltefragen,anleitungenzur HerstellungvonOnline PrüfungeninILIASundMoodle,ChecklistenzurOrganisation, InstruktionsblätterfürdiePrüfung,eineLinksammlungundeineLiteraturliste. EinkleinererTeilumfasstTippsfürStudierende,welcheaneinerOnline Prüfungteilnehmen. DerLeitfadenistunterhttp://www.let.ethz.ch/exam_eval/onlinetestspubliziert. ProjektOnline Prüfungen 12
2.3.4 Organisatorische Rahmenbedingungen 2.3.4.1 Prüfungsplanung Online PrüfungenwerdenalsschriftlichePrüfungendurchgeführtundmüssenim VorlesungsverzeichnisunterdiesemModusaufgeführtwerden.DanebenistderZusatz,dassdie PrüfungamComputerabgehaltenwirdnotwendig. ImFallvonSessionsprüfungenwerdendieErstellungdesPrüfungsplansunddieRaumzuteilung durchdasrektoratvorgenommen.daszeitfensterfürallfälligevorbereitungsarbeiteninden RäumenkanndurchdenDozentennachBekanntgabedesdefinitivenPrüfungsplansbeider Raumbewirtschaftungerweitertwerden. SemesterendprüfungenwerdendurchdieDepartementebzw.denjeweiligenDozierenden organisiert.d.h.siebestimmendatumundzeitpunktundreservierendiebenötigtenräumebei derraumbewirtschaftung.findetdieprüfungwährenddessemestersstatt,istmit Raumengpässenzurechnen. ProjektOnline Prüfungen 13
2.3.4.2 Ablaufplan für Dozierende AusderSichtdesDozierendenläufteineOnline PrüfunggemässdenfolgendenSchrittenab: Abb.3:AblaufplanOnline PrüfungenfürExaminatoren ProjektOnline Prüfungen 14
WeitereInformationenzudiesemAblaufplansindunter http://www.let.ethz.ch/exam_eval/onlinetests/exemplareinsehbar. 2.3.4.3 Organisation zwischen Arbeitsplatzinformatik und LET ImnachfolgendenDiagrammistdieZusammenarbeitzwischenArbeitsplatzinformatik(ID API)undLETdargestellt.EsistersichtlichwelcheEinheitfürwelchenVorgangder Prüfungsvorbereitungund durchführungverantwortlichist,inwelcherabfolgedie einzelnenschritteerledigtwerdenundwiederinformationsflusserfolgt. ProjektOnline Prüfungen 15
Abb.4: ProzessketteOrganisationOnline Prüfungen.RegelungderZusammenarbeitzwischenID API undlet ProjektOnline Prüfungen 16
2.4 Phase 4 (Umsetzung/Durchführung/Auswertung/Abschluss) 2.4.1 Überführung in regulären Betrieb WährenddergesamtenProjektdauerhatsichgezeigt,dassaufSeitederDozierendengrosses InteresseanderDurchführungvonOnline Prüfungherrscht.DieDurchführungvonOnline PrüfungenkannalsErfolggewertetwerden;bisherhatjederDozentseinePrüfungim darauffolgendenjahrwiederamcomputerdurchgeführtundistnichtzurpapierprüfung zurückgekehrt. AusdiesemGrundsolldieDurchführungvonOnline PrüfungauchnachAbschlussdesProjekts möglichseinunddurchdasletunterstütztwerden.diebetreuungvononline Prüfungen überschneidetsichimgrossenmassemitdenservicesundleistungen,welchedasletbereits jetztanderetherbringt.idealwäredieansiedlungimbereich EvaluierenundPrüfen sowie imkorrespondierendenservicedazuindenit ServicesfürdieLehreimLET. DurchdieKlärungderVerantwortlichkeitenunddengemeinsamenAufbaueines OrganisationsmodellsderverschiedenenBeteiligtenwurdedieBasisfürdieÜberführunginden regulärenbetriebgelegt. FolgendeLeistungenkönnendurchdasLETerbrachtwerden: BeratungbeiderPlanungeinerOnline Prüfung TechnischerSupportbeiderHerstellungundDurchführungvonOnline Prüfungen BereitstellungderPrüfungssoftware(Lernplattformen,SafeExamBrowser) DieMitarbeiterdesLETausdenBereichenITServicesundEvaluierenundPrüfenwurden laufendbeiberatungenunddurchführungenvonprüfungenmiteinbezogenunddadurch kontinuierlichweitergebildet. 3 Auswertung/Fazit DievergangenenzweiJahrehabengezeigt,dassPrüfenohneEinsatzvonelektronischen Hilfsmittelnnichtmehrdenkbarist.FertigkeitenwieProgrammierenkönnennuramComputer authentischgeprüftwerden.auchdereinsatzvonmultimedia(video,audio,photo,simulation) wirdermöglichtbzw.imfallvonbildernguterqualitätkostengünstiger.durchdie DurchführungeinerOnline PrüfungenübermehrereJahreverbundenmitdemAufbaueines FragenpoolskannderAufwandfürdiePrüfungausserdemreduziertwerden. 3.1 Auswertung zum Erreichen der Detailziele Detailziele gemäss Antrag DetailzieleausSichtderDozierenden: Neue,z.B.multimedialeAufgabenformensollen ermöglichtwerden Erreicht Resultate/Erkenntnisse:SowiefürdieLernplattformMoodlesowieauchILIASkonntendiverse neueaufgabenformateentwickeltwerden(siehekapitel2.3.2).eskonntenverschiedene FragetypenmitDrag&Drop Technikentwickelt,welchealsbesondersintuitivinderAnwendung gelten.alssehrmächtighatsichderneuentwickeltefragetypfileuploadmitdemeinsatzvon Drittapplikationenerwiesen,dadamitbeliebigeDateiformateinderLernplattformabgelegt werdenkönnenundsichsomitdasspektrumanmöglichenaufgabenstellungenstarkerweitert. Prüfungensollenschnellerausgewertetwerdenkönnen Erreicht ProjektOnline Prüfungen 17
ProjektOnline Prüfungen 18 Resultate/Erkenntnisse:ResultatezuFragenformaten,welcheautomatischauswertbarsind, liegenunmittelbarnachderabgabederprüfungdurchdenkandidatenvor.inderregelsindsie aberausverschiedenengründenfürdiestudierendennichtsoforteinsehbar: JenachverwendetenFragetypenistunmittelbarnachderPrüfungersteine Teilpunktzahlbekannt. ResultatekönnenerstnacheinerNotenkonferenzbekanntgegebenwerden. Textaufgabenmüssennachwievormanuellkorrigiertwerden.GemässDozierendenliegendie Vorteiledarin,dassTextezügigundfehlerfreigelesenwerdenunddiePrüfungengleichzeitig vonmehrerenexaminatorenbearbeitetwerdenkönnen.längeretextewerdeninderregel ausgedruckt,dadaslesenaufpapieralskomfortablerangegebenwirdundmarkierungenund Kommentareeinfachanzubringensind. MittelfristigsollauchdieVorbereitungvonPrüfungen beschleunigtwerden(z.b.viabest Practice Berichte, Fragendatenbanken) Teilweiseerreicht Resultate/Erkenntnisse:EineeffizienteErstellungvonPrüfungenhängtvonmehrerenFaktoren ab: RoutineimUmgangmitderPrüfungssoftware RoutinebeiderErstellungspeziellerFrageformate(MC Fragen) AnzahlvorhandenerundwiederverwendbarerFragenimFragenpool Jehäufiger(Halbjahresrhythmusvs.Ganzjahresrhythmus)undjelängereinExaminatoralsoeine PrüfungamComputerdurchführt,destoeffizienterwirddieVorbereitung. DasZielwurdeals teilweiseerreicht angegeben,daesanderetherstwenigedozierendehat, welchebereitsüberjahreelektronischeprüfungendurchführenundauchübereinen entsprechendenfragenpoolverfügen(diemöglichkeiteinenfragenpoolaufzubauenist ausserdemabhängigvomprüfungsformat). JenachVorkenntnissenderExaminatoren(UmgangmitderPrüfungssoftware/Erstellungvon MC Fragen)kannderAufwandfürdieersteDurchführungeinerOnline Prüfunggrösserseinals fürdievertrauteformvonprüfungen.gemässwolf(2007)wirddiedurchführungeiner elektronischenprüfungabderdrittenausgabeeffizienteralsdiedurchführungeiner Papierprüfung. PrüfungsobjektivitätundTransparenzkanngesteigert werden Teilweiseerreicht Resultate/Erkenntnisse:DiePrüfungsobjektivitätkanndanngesteigertwerden,wenndie BeurteilungderLeistungdesStudierendennichtvomExaminatorabhängt.DieSteigerungder ObjektivitätistzumBeispielgegeben,wenneinemündlicheLeistungskontrolledurcheine MultipleChoice Prüfungersetztwird. AlsVorteilderOnline Prüfungistzuerwähnen,dassTextaufgabenabhängigvonder Prüfungssoftwareanonymkorrigiertwerdenkönnen,wasdieObjektivitätsteigert. VerbesserungderPrüfungsqualitätdurch Standardisierung Teilweiseerreicht Resultate/Erkenntnisse:DieOrganisationderDurchführungvonOnline Prüfungenkonnte währendderprojektdauerzueinemgrossenteilstandardisiertwerden.
DetailzieleausSichtderStudierenden: SchnellereAuswertungderErgebnisse (motivationssteigernd) Nichterreicht Resultate/Erkenntnisse:DaderZeitpunktderKommunikationderPrüfungsergebnissenicht ausschliesslichvonderauswertungsdauerabhängt,konntedieseszielnichterreichtwerden (ausserbeiselbsttests). EntscheidendfürMitteilungderErgebnisseistdieNotenkonferenz.Danebenempfiehltessich beimc PrüfungenohnehindieeingesetztenFragenaufderenQualitätzuüberprüfenund gegebenenfallsfragenungenügendergütezustreichen. DifferenziertesFeedbackzumjeweiligenLernerfolg Nichterreicht Resultate/Erkenntnisse:Sofortiges,differenziertesFeedbackerwiessichbeibenoteten Prüfungenalsnichtrelevant.BestehendeFeedbackfunktionen,welchefürSelbsttestsgeeignet sind,wurdendeshalbnichtausgebaut. GeringeresRisikoderFehlinterpretationdurch unleserlichehandschriftlichearbeiten Erreicht DetailzieleausSichtderOrganisation: EinpassungdermiteinerPrüfungeinhergehenden Prozesse(Einschreibung,Durchführung,Übergabeder Noten,Feedbacketc.)indieIT LandschaftderETH Teilweiseerreicht Resultate/Erkenntnisse:DieAnbindungderLernplattformenandieLehrbetriebsapplikationen istimrahmeneinesweiterenprojektsinarbeit. 4 Handlungsempfehlungen DurchdieEntwicklungenwährendderProjektdauerentstandeineBasisinfrastruktur,welche fürdiedurchführungvononline PrüfungeninkleinerenundmittlerenVorlesungend.h. zwischen10und200studierendengenutztwerdenkann.umprüfungenabereffizienterund qualitätsvollerdurchführenzukönnen,sindnochweitereanpassungennötig.dieerfahrungen habenauchgezeigt,dassessinnvollist,dendozierendeneineanlaufstellefürsämtlichefragen rundumonline Prüfungenanzubieten. InsbesonderebezüglichEffizienzundQualitätwerdenAnpassungenbzw.Aufrechterhaltungdes ServiceüberdasProjektendehinausempfohlen. Effizienzsteigerung: FokussierungaufLehrveranstaltungsgrössenundZielgruppen(inkl.Skalierung) FormulierungeinesSetsvonmöglichenEinsatzszenarien BessereUnterstützungadministrativerVorgänge DefinitioneinerzentralenService undkoordinationsstelle Qualitätssteigerung: EinesichereBrowserumgebung,beispielsweiseSafeExamBrowser,sollunterstützt werden FörderungdesEinsatzesdidaktischsinnvollerundqualitativhochstehenderPrüfungen DefinitioneinerzentralenBeratungseinrichtung DieBereichesindnachfolgenddetaillierterausgeführt. ProjektOnline Prüfungen 19
4.1 Fokussierung auf Zielgruppen (inkl. Skalierung) InAbsprachemitdemProrektorLehre,Prof.Dr.H.R.HeinimannhatdasLETfolgenden VorschlagfürdieAnpassungderInfrastrukturausgearbeitet. WichtigsteGrundlagefürdiesenVorschlagsinddieimProjektgewonnenenErfahrungenmit Online Prüfungen.DanebenwurdenauchBelegungsdatenvonVorlesungenberücksichtigt. AufwelcheZielgruppensollfokussiertwerden? InBezugaufEffizienz: GemässWolf(2007)sindPrüfungenmitmehrals50Teilnehmern,welcheübermehrere Jahredurchgeführtwerden,effizientinBezugaufAufwanddesgesamten Prüfungsablaufs.AufgrunddiesesErfahrungswertssolltedeshalbausSichtderEffizienz dieunteregrenzebei50teilnehmerngelegtwerden. UnterBerücksichtigungderBelegungsdaten(s.Abb.5)unddermomentanvorhandenen Infrastrukturbzw.derenAnpassungsmöglichkeitenscheintessinnvolldieobereGrenze fürdasjahr2009bei100zulegen. InBezugaufdieZielgruppenanderETH: BeimittlerenbisgrösserenVeranstaltungen(>50Studierende),tendenziellaufBSc StufesolltederFokuseheraufderEffizienzsteigerungliegen.Beieherkleineren Veranstaltungen(<50Studierende),tendenziellimMSc Bereich,solltedasAugenmerk aufderqualitätssteigerung,beispielsweisedurchzulassenvondrittapplikationen liegen. InBezugaufsinnvolledidaktischeEinsatzszenarien: DerEinsatzwertvollerdidaktischerEinsatzszenarienundeineQualitätssteigerungim SinnevonauthentischemPrüfen(zumBeispieldieÜberprüfungderFertigkeit Programmieren)istaberauchbeikleinerenVorlesungen(<50Teilnehmerinnen) sinnvoll. Abb.5: BelegungderVorlesungenimFrühjahrssemester2009(QuellederRohdaten:Rektorat,Dezember 2009;AufbereitungderDatendurchNET) ProjektOnline Prüfungen 20
GemässWolf(2007)sindPrüfungenmitmehrals50Teilnehmern,welcheübermehrereJahre durchgeführtwerden,effizientinbezugaufaufwanddesgesamtenprüfungsablaufs. EineQualitätssteigerungimSinnevonauthentischemPrüfen(zumBeispieldieÜberprüfungder FertigkeitProgrammieren)kannaberauchbeikleinerenVorlesungensinnvollsein.Eserscheint jedochzweckmässig,auseffizienzgründen(aufwandproprüfungundaufwandfür unterstützendedienstleistungen)denschwerpunktderzielgruppenimbereichvon50 300 KandidatenproPrüfungzulegen. DieAnpassungderInfrastrukturkönntegemässdernachfolgendenTabelleaussehen: Szenarien-Entwicklung Online-Prüfungen: Formate, Menge, Zeit Online Prüfungen Formate(summativ) Eignung Studiengangsstufe 2009 2010 2011 BSc MSc AnzahlUser*/Anzahl Räume AnzahlUser*/Anzahl Räume AnzahlUser*/Anzahl Räume Format1: Automatisch auswertbare Frageformate Format2: Manuellauswertbare Frageformate + +/ 75/3 110/4 +/ + 75/3 100/3 110/4 200Laptops/2 100/2 200Laptops/1 Format3: Aufgabenmit Drittapplikationen Format4: AufgabenmitFormel /Skizzeneingaben + 50 +/ + 50? Tabelle1:Szenarien EntwicklungOnline Prüfungen *DoppelteAnzahlUserkannmithilfe Schleuse (Gruppe1legtPrüfungab,gleichzeitigwerdenKandidaten dergruppe2inseparatemraumgesammeltundanschliessendaneinandervorbeigeschleust)anhandder gleichenprüfungsversiongeprüftwerden. Erklärungen zur Tabelle Szenarien-Entwicklung Online-Prüfungen: DieverschiedenenFormate1 4verlangenvondenPrüflingenverschiedeneFähigkeiten: Format1(automatischauswertbareFrageformate)umfasstdieüblichenMC Fragetypen. DieAntworterfolgtalsWahluntervorgegebenenAntworten. Format2(manuellauswertbareFrageformate)beinhaltetTextaufgaben,d.h.die BeantwortungerfolgtdurchTexteingabeoderdurchEingabenumerischerWerte. Format3(AufgabenmitDrittapplikation)lässtdieÜberprüfungdiverserFertigkeitenzu (zumbeispielprogrammieren,umgangmitapplikationen). Format4(AufgabenmitFormel /Skizzeneingabe)erforderteineähnlicheLeistungwie Format2,stelltaberbesondereAnsprücheandietechnischeInfrastruktur.Dasgleiche giltfürformat3,welchesebenfallsbesondereansprücheandieinfrastrukturstellt. ImHinblickaufVerwendungszweckderFormate(sieheauchSpalteKompetenzen)undderen AnforderungenandietechnischeAusstattungwurdefürjedesFormatdieEignungfürdie StudiengangsstufenBachelorundMasterbestimmt. InderSpalte2009istdieaktuelleKapazitätsgrenze(max.möglicheAnzahlKandidaten) aufgeführt.indenspalten2010und2011istdieempfohleneanpassungderinfrastruktur aufgeführt.2010solldiegleichzeitigeprüfungvon100kandidatenermöglichtwerden(d.h.200 ProjektOnline Prüfungen 21
StudierendenkönnenanhandeinerPrüfungsversiongeprüftwerden).DiePrüfungerfolgt gleichzeitigindreiräumen.in2011solldiegleicheanzahlkandidateninzweiräumen stattfindenkönnen,diesbedeutetaufwandsreduktionbzgl.organisation,aufsichtundsupport. AusserdemsolldieDurchführungvonPrüfungenderFormate1und2auchaufprivaten studentischenlaptopsindafürausgerüstetenhörsälenmöglichwerden. EineAbschätzungdesjährlichenMengengerüstslässtsichbasierendaufdenBelegdatenin Abbildung5fürdiegenanntenZielveranstaltungstypendurchführen.WennbisinsJahr2015in beidenkategorien5%derprüfungenelektronischdurchgeführtwerden,dannbedeutetdies, dassca.150kleineprüfungen(<50studierende)undca.33mittlere(>50studierende)projahr durchgeführtwerdenmüssten. 4.2 Formulierung eines Sets mit möglichen Einsatzszenarien BasierendaufdeninderTabelleerwähntenFormatensolleinSetanEinsatzszenarienformuliert werden,ausdenendieexaminatoreneingeeignetesaussuchenkönnen. DieSzenarienbeschreibungsolleinedetaillierteAngebotsbeschreibungbeinhaltenund TransparenzfürExaminatorenbezüglichMöglichkeitenundRahmenbedingungenschaffen. 4.3 Unterstützung einer sicheren Browserumgebung (SEB) DerBedarfamSafeExamBrowseristausdemProjekt Online PrüfungenanderETH entstanden.zunächstfanddieweiterentwicklungalsteilprojektdavonstatt,mittlerweilewird dersafeexambrowseralseigenständigesprojekt (http://www.switch.ch/de/aaa/projects/detail/ethz.3),imrahmendes AAA/SWITCH e Infrastructurefore Science" Programmsgefördert. SEBwirdbereitsandiversenHochschulen(z.Bsp.UniversitätKöln),aberauchinFirmen(Fa. Skyguide)fürTestseingesetzt.DassdasInteresseandieserSoftwarezursicheren Prüfungsdurchführunggrossist,zeigtauchdieAnzahlDownloads(ca.300/Monat)derSoftware vonderprojektplattform(safeexambrowser:http://www.safeexambrowser.org)auf Sourceforge. 4.4 Bessere Unterstützung administrativer Prozesse InfolgendenPunktenkönnendieadministrativenProzesserumumdasBereitstellen, DurchführenundKorrigierenvonOnline Prüfungenbesserunterstütztwerden: AnbindunganeDoz/myStudies:KandidatendatenkönnenvereinfachtinLernplattform importiertwerdenundumgekehrtkönnenprüfungsresultatevonderlernplattformin edozübernommenwerden. DieFragenherstellungundPrüfungsdurchführungkönnteinderLernplattformmiteiner VersionierungversehenwerdenundsodieOrganisationvereinfachensowiedie Qualitätskontrolleunterstützen. DieKorrektur undkommentarmöglichkeitenfürexaminatorensolltenerweitert werden(z.bsp.automatischeüberprüfungderrechtschreibung, Kommentarmöglichkeit(Textfenster,ev.handschriftlicheAnnotationen), Bewertungsraster). 4.5 Zentrale Ansprechsperson UmdiePrüfungsdurchführungoptimalkoordinierenzukönnen,solltedenDozierendeneine zentraleservicestellezurverfügungstehen.nebenderbetreuungundberatungder DozierendeninorganisatorischenBelangen,kanndieseauchfürdenInformationsaustausch unterexaminatoren,diewahrnehmungderinteressenallerbeteiligtenunddenaufbauvon KnowHowsorgen.DanebenkönntedurchdenEinsatzeinerzentralenStelledie StandardisierungweitervorangetriebenwerdenunddiesesoeinenBeitragzur EffizienzsteigerungundzurQualitätssicherunginderDurchführungvonPrüfungenleisten. AufgrunddergemachtenErfahrungenimProjekt Online Prüfungen würdeidealerweisedas ThemaOnline PrüfungenimBereich EvaluierenundPrüfen sowiederkorrespondierteservice dazuindenit ServicesdesLETsituiertwerden. ProjektOnline Prüfungen 22
5 Literatur und Links Schmucki,Brigitte(2008):KonzeptzurVerbesserungderInfrastrukturfürOnline Prüfungen. Vogt,Michael;SchneiderStefan(2009):E KlausurenanHochschulen http://geb.uni giessen.de/geb/volltexte/2009/6890/pdf/vogtmichael 2009 02 20.pdf 6 Danksagung AmErfolgdesProjekts Online Prüfungen sindsehrvielepersonenbeteiligt,diehiernichtalle namentlichaufgeführtwerdenkönnen. Wolf,KarstenD.(2007):E AssessmentanHochschulen:Organisatorischeundrechtliche Rahmenbedingungen.In:Brahm,Taiga;Seufert,Sabine(Hg.):Ne(x)tGenerationLearning.E AssessmentundE Portfolio:haltensie,wassieversprechen?ThemenreiheIIzurWorkshop Serie:UniversitätSt.GallenInst.f.Wirtschaftspäd.,Bd.2,S.27 40. http://www.scil.ch/fileadmin/container/leistungen/veroeffentlichungen/2007 03 brahmseufert next generation learning.pdf GanzentscheidendfürdieDurchführungdesProjektswardieUnterstützungdurchdieICT KommissionunterderLeitungvonProf.WidmayermitdemITC TeambestehendausDr.Michele DeLorenziundBenjaminStäger. GanzherzlichmöchteichmichbeiHerrnProfessorR.Hiptmair(SAM,D MATH)bedanken,der sichunermüdlichingremienundbeiderschulleitungfürdenbereichonline Prüfungeingesetzt hat. OhnedieDozierenden,diesichfürdieDurchführungeinerOnline Prüfungentschiedenhaben, hättediesesprojektnichtdurchgeführtwerdenkönnen.mitihremengagementundihrer BereitschaftihreErfahrungenweiterzugeben,habensiewesentlichzurVerbesserungder Prüfungsumgebungbeigetragen. EbenfallseinengrossenBeitraggeleistethabenzahlreicheMitarbeiterderArbeitsplatz InformatikderETH.NamentlicherwähnenmöchteichhierWolfangKorosec,dersichsehr konstruktiveingebrachthat,nickheim,derunsbeiderentwicklungdessafeexambrowsers unterstützthat,sowiecoletterohrbachundkurtleuenberger,diestetszurstellewaren,wenn esindencomputerräumenetwasanzupassengab. JederzeiteinoffenesOhrfürrechtlicheFragehatteRektoratsadjunktMarcoSalogni. SehrwertvollwarenfürmichauchdieInputsvonBalthasarEugsterundUteWoschnackzu didaktischenaspekten. EinenspannendenErfahrungstauschergabenimmerwiederdieGesprächemitCorneliaRüdel (UniversitätZürich)undWernerWilli(PädagogischeHochschuleZürich),diesichebenfallsmit derimplementationvononline Prüfungenbefassen. NichtzuletztmöchteichmeinenArbeitskollegenvomNETbzw.LETunddenE Learning SpezialistenderDepartemente(DELIS)danken,diemirstetsmitRatundTatzurSeitestanden. ProjektOnline Prüfungen 23