Evaluation, Deployment, Safe Exam Browser Usability und Umsetzung

Transkript

1 Proof of Concept: Windows 8 Tablets für Online Prüfungen Evaluation, Deployment, Safe Exam Browser Usability und Umsetzung Datum : Version : 1.0 Autoren : Tobias Halbherr, Daniel Schneider, Markus Blatter, Heiko Vögeli, Dominik Candreia und Thomas Piendl

2 Inhaltsverzeichnis Inhaltsverzeichnis... ii 1. Ausgangslage Tabletcomputer für Onlineprüfungen PoC Studie 1: Windows 8 Tablet Evaluation und Deploymentfähigkeit mit barramundi PoC Studie 2: SEB auf Windows 8 Tablets Testkriterien und Testszenarien Use Cases: Tablets als Erweiterung der bestehenden Online-Prüfungsumgebungen an der ETH Anforderungen handschriftliche Eingabe mittels Stift Anforderungen Funktionsumfang Fragetypen Testergebnisse Handschriftliche Eingabe Systembedienung mit Stift/Touch statt Maus Gewährleistung des bestehenden Funktionsumfangs Umsetzungen des Funktionsumfangs für Fragetypen Fazit Anhang Windows 8 Tablet Evaluation und Deploymentfähigkeit mit barramundi Technische Evaluation Windows 8 Tabletcomputer mit Atom CPU Empfehlung SEB on Windows 8 Tablets: Technical Details... 9 Seite ii / ii

3 1. Ausgangslage 1.1. Tabletcomputer für Onlineprüfungen Tabletcomputer sollen Freihandskizzen sowie in einem zweiten Schritt das Notieren mathematischer Formeln in Onlineprüfungen ermöglichen. Wesentliche Voraussetzungen für einen erfolgreichen Einsatz von Tablets bei Prüfungen ist dabei ein einfaches, intuitives Handling. Dies gilt einerseits für das Skizzieren auf dem Tablet selbst, andererseits aber auch für die Handhabung und Navigation der Prüfungsumgebung. Die Handhabung muss so einfach sein, dass sich die Studierenden sofort zurechtfinden und keine Eingewöhnungszeit benötigen. Die Vorteile elektronisch erfassbarer Freihandskizzen und Handschriften gegenüber dem klassischen Format mit Papier und Stift liegen dabei insbesondere in der vereinfachten elektronischen Administration der Prüfungen, dem Vermeiden eines Medienbruchs, bei welchem ein Teil der Prüfung auf Papier, ein anderer auf dem Computer bearbeitet wird, der erhöhten Zuverlässigkeit und Sicherheit in der Abwicklung des gesamten Prüfungsprozesses, da sämtliche Prüfungsdaten auf Servern redundant abgesichert werden, sowie der vereinfachten Kombination mit maschinengeschriebenen anstelle handgeschriebener Texte. Voraussetzung für einen zuverlässigen sowie organisatorisch und technisch handhabbaren Betrieb von Tablets bei Online-Prüfungen an der ETH ist deren Integrierbarkeit in die bestehende IT-Infrastruktur sowie Prozesse für Online-Prüfungen. Insbesondere müssen die Tablets (1) mit den etablierten Verwaltungswerkzeugen der ETH (Active Directory, baramundi) betreut werden können und (2) mit Safe Exam Browser, SEB, unter Aufrechterhaltung notwendiger Funktionalitäten, technisch abgesichert werden können PoC Studie 1: Windows 8 Tablet Evaluation und Deploymentfähigkeit mit barramundi Die erste PoC Studie war grundsätzlich erfolgreich, die getesteten Tablets auf Atom Basis hinterlassen aber einen gemischten Eindruck (Details finden sich im Anhang, Kapitel 4.1 Windows 8 Tablet Evaluation und Deploymentfähigkeit mit barramundi). Lediglich zwei von fünf getestete Tablets konnten die Anforderungen für eine erfolgreiche Verwaltung mittels baramundi (weitestgehend) erfüllen. Ausserdem stossen diese Tablets schnell an ihre Leistungsgrenze. Für ein zukunftsorientiertes Projekt wird deshalb eine Evaluation von Tablets auf Basis von Core i5 Prozessoren (ab) der Haswell Generation empfohlen PoC Studie 2: SEB auf Windows 8 Tablets Auch die zweite PoC Studie war grundsätzlich erfolgreich (Details finden sich im Anhang, Kapitel 4.2 SEB on Windows 8 Tablets: Technical Details). Der aktuelle stable release von SEB, SEB 1.9.1, ist mit Windows 8 Tablets kompatibel. Insbesondere die Absicherung der Computer funktioniert wie vorgesehen. Da SEB aber für klassische Desktop und Laptop Computer entwickelt wurde, welche im Gegensatz zu Tablets (immer) über Tastatur sowie Maus/Trackpad als Eingabegeräte verfügen, ergeben sich einige Probleme in der Handhabung. So war bei einem Betrieb der Tablets mit SEB z.b. die Bildschirmtastatur nicht mehr zugänglich und allfällige Hardware Zusatztastaturen verfügten z.t. nicht über alle Tasten, welche für einen Einsatz von SEB notwendig sind (z.b. F-Tasten zum Beenden von SEB). Ausserdem läuft der Seite 1 / 9

4 Betrieb von SEB noch in der klassischen Desktop Oberfläche. Die genannten Mängel sollen planmässig bis zur Version 2.1 behoben, zusätzliche Metro Funktionalitäten bis Version 2.2 hinzugefügt werden. Seite 2 / 9

5 2. Testkriterien und Testszenarien 2.1. Use Cases: Tablets als Erweiterung der bestehenden Online-Prüfungsumgebungen an der ETH Tablets sollen die bestehende Infrastruktur für Online-Prüfungen der ETH um die Möglichkeit der Eingabe von (1) Handskizzen sowie (2) handschriftlich verfasster (mathematischer) Formeln erweitern. Ein Bedarf für Handskizzen besteht in erster Linie für Prüfungen in naturwissenschaftlichen Fächern wie z.b. Biologie, Chemie oder Gesundheitswissenschaften, für das handschriftliche Verfassen mathematischer Formeln in erster Linie in Fächern wie Mathematik und Physik. Die Erweiterung um die handschriftliche Eingabemöglichkeit soll dabei den bestehenden Funktionsumfang von Online-Prüfungen so wenig wie möglich einschränken, beziehungsweise diesen aufrechterhalten. Um den bestehenden Funktionsumfang gewährleisten zu können müssen deshalb Tastatur (Freitextfragen, Kurzantwort etc.) und vermutlich auch Maus (einfache Prüfungsnavigation, geschlossene Fragetypen) als Eingabegeräte verfügbar bleiben Anforderungen handschriftliche Eingabe mittels Stift Das Skizzieren und Schreiben auf dem Tablet mittels Stift soll auch für Studierende, welche bisher ausschliesslich mit Papier gearbeitet haben, auf Anhieb intuitiv, ergonomisch und ohne jede Anlaufschwierigkeit möglich sein Anforderungen Funktionsumfang Fragetypen Für das Proof-of-Concept soll eine technische Umsetzung entwickelt werden für die folgenden Anforderungen: 1) Das Erstellen einer Freihandskizze, mittels Tablet und Stift, in Moodle selbst oder mit einer Schnittstelle zu Moodle, ohne technische Absicherung. 2) Das Erstellen einer Freihandskizze, mittels Tablet und Stift, in Moodle selbst oder mit einer Schnittstelle zu Moodle, mit technischer Absicherung. 3) Zusätzlich können Grafiken oder Dokumente mittels Tablet und Stift annotiert werden. 4) Zusätzlich können Freihandskizzen mit maschinengeschriebenem Text annotiert werden. Das Proof-of-Concept gilt als erfolgreich, die Minimalanforderungen, nämlich die ersten beiden Punkte, erfüllt werden. Seite 3 / 9

6 3. Testergebnisse 3.1. Handschriftliche Eingabe Im Gegensatz zu früheren Proof-of-Concepts konnte die handschriftliche Eingabe mittels Stift und Tablet aus ergonomischer Sicht überzeugen. Alle Tester fanden sich auf Anhieb mit den Stiften zurecht und sowohl das Skizzieren als auch das Schreiben geht natürlich von der Hand. Für eine möglichst ergonomische und einfache Eingabe stellten sich die folgenden Punkte als wichtig heraus: - Tabletdicke: Die Tablets sollten so dünn wie möglich sein. Bei dickeren Tablets (z.b. Surface Pro) liegt die Hand unnatürlich hoch über der Schreibunterlage, die Tabletkante macht sich am Handgelenk unangenehm bemerkbar und die Hand befindet sich in einer ungewohnten Schreibposition. All dies schränkt die Ergonomie ein. - Erkennung des Stifts: Je grösser die Entfernung aus welcher das Tablet den Stift erkennt und die Touch-Eingabe mittels Fingern sperrt, desto einfacher gestaltet sich das Schreiben. Ist diese Distanz zu klein, generiert die auf dem Tablet ruhende Schreibhand vorzu ungewollte Eingaben, was eine intuitive Bedienung ohne Einarbeitungszeit verunmöglicht. - Zeitliche Verzögerung bei Eingabe: Eine zu grosse zeitliche Verzögerung bei der Erfassung der Stifteingabe führt zu einer erheblichen Beeinträchtigung der intuitiven Bedienbarkeit. Das Schreiben und Skizzieren fühlt sich unnatürlich und umständlich an. - Dicke der Bildschirmabdeckung: Je kleiner die Distanz zwischen Touch-Oberfläche und Anzeigelayer, desto kleiner der (mögliche) perspektivische Offset zwischen dem Berührungspunkt von Stiftspitze und Touch-Oberfläche und gezeichneten Pixeln, desto natürlicher das Schreib- und Skizziererlebnis. - Löschen mit der Rückseite des Stifts: Stifte mit eingebautem Radiergummi auf der Rückseite ermöglichen eine deutlich natürlichere und einfachere Handhabung. - Drucksensitive/intelligente Erfassung der Stifteingabe: Eine drucksensitive/intelligente Erfassung der Stifteingabe, z.b. mit variabler Strichbreite, führt zu einem deutlich natürlicheren Schreib- und Skizziererlebnis. - Variable Farben, Strichstärken, etc: Ein minimaler Umfang an digitalen Stiften sollte dem Nutzer zur Verfügung stehen. Insbesondere sollte es eine Auswahl an Strichstärken und Farben geben sowie Leuchtstifte zum Kennzeichnen von Elementen. - Strichverhalten beim Löschen: Je nach verwendeter Software (bzw. Einstellungen) verhalten sich Striche beim Löschen wie Vektoren (d.h. es werden immer ganze Stricke gelöscht) oder wie Bleistiftstriche die radiert werden (d.h. es wird nur da gelöscht, wo der Radierer sich auch tatsächlich befindet). Die zweite Variante ist dem Schreiben auf Papier deutlich ähnlicher und deshalb vorzuziehen. - Kalibrierung: Die Stiftkalibrierung sollte individuell möglich sein. Die Stiftkalibrierung war bei einigen Geräten, insbesondere am Bildschirmrand, noch mangelhaft Systembedienung mit Stift/Touch statt Maus Die Bedienung der Prüfungsumgebung mit Stift bzw. Touch statt Maus hat gemischte Resultate hervorgebracht. Zwar fanden alle Tests auf Windows 8 und Windows 8.1 Maschinen statt, hier allerdings ausschliesslich in der wenig/nicht auf Touch optimierten Desktop Umgebung. Zwar funktioniert die Bedienung mittels Touch grundsätzlich, sie ist für den ungeübten Nutzer aber gewöhnungsbedürftig und umständlich und kommt deshalb für den Einsatz bei Prüfungen bis auf weiteres nicht in Frage. Seite 4 / 9

7 3.3. Gewährleistung des bestehenden Funktionsumfangs Die getesteten Tablets zeichnen sich durch eine sehr kleine Auswahl an Schnittstellen aus. So teilen sich z.b. häufig Tastatur und Ladegerät dieselbe Schnittstelle, die mitgelieferten Tastaturen verfügen nur über ein reduziertes Tastenset (z.b. keine eigenen F-Tasten) sowie eine meist schlechtere oder zumindest gewöhnungsbedürftige Ergonomie, im Vergleich zu vollwertigen Tastaturen. Hinzu kommen die kleinen Tabletbildschirme, welche nicht dieselbe Übersicht bieten können, wie Desktopbildschirme. Eine Gewährleistung des bestehenden Funktionsumfangs von Online-Prüfungen war mit den getesteten Geräten deshalb nur mit Einschränkungen möglich. Für die Zukunft stellt sich hier grundsätzlich die Frage, ob Tablets für Online-Prüfungen als eigenständige Prüfungscomputer oder als spezialisierte Eingabegeräte für Handskizzen und Handschriften, in Kombination mit einem Desktop Computer für alle übrigen Fragetypen sowie für die Prüfungsnavigation, eingesetzt werden sollen Umsetzungen des Funktionsumfangs für Fragetypen 1) Moodle Canvas Fragetyp: Der Moodle Canvas Fragetyp ermöglicht das Erstellen von Freihandskizzen mittels Stift (oder Maus). Die gezeichneten Striche sind dabei sehr rudimentär umgesetzt, ohne Drucksensitivität oder variable Strichbreite, Wahl der Farbe oder Strichbreite, es kann nicht einmal gelöscht werden. Die Anforderungen 1) bis 4) können aber mit diesem Fragetypen mit den genannten Einschränkungen aber erfolgreich umgesetzt werden. 2) Webbasierte Tools: Verschiedene Webtools ermöglichen das Zeichnen und Annotieren. Mittels Screenshot und File Upload könnte die Arbeit dann in die Moodle Prüfung hochgeladen werden. SEB blockiert allerdings Screenshots. Abgesehen von dieser Einschränkung könnten die Anforderungen 1) bis 4) auf diese Weise erfüllt werden. 3) Moodle FileRespose Fragetyp und zusätzliches Tool: In einer Drittapplikation wie OneNote kann nach Belieben Skizziert, Annotiert etc. werden. Das Produkt wird sodann als File gespeichert und mittels FileResponse Fragetyp in die Moodle Prüfung hochgeladen. Anforderungen 1) bis 4) können auf diese Weise erfüllt werden Fazit Der Proof-of-Concept ist als erfolgreich zu betrachten: Die Durchführung von Online-Prüfungen mit Tablets ist grundsätzlich möglich. Wir konnten keine unüberwindbaren Probleme finden. Dabei muss aber betont werden, dass die Implementierungen welche im Rahmen dieses Proofof-Concept zur Anwendung kamen im Allgemeinen noch weit davon entfernt sind, die Ansprüche an Benutzerfreundlichkeit und Verwaltbarkeit für Online-Prüfungen zu erfüllen. Nach dem erfolgreichen Proof-of-Concept soll in einem nächsten Schritt eine prüfungstaugliche Umgebung entwickelt und im Rahmen einer scharfen Online-Prüfung pilotiert werden. Um eine Prüfungstauglichkeit zu gewährleisten ist eine erneute Evaluation der Tablet-Hardware notwendig sowie erhebliche Verbesserungen in der Implementierung der Schreib- und Skizzierfunktionalitäten sowie der Integration derselben in die bestehende Online-Prüfungs Funktionalität. Seite 5 / 9

8 4. Anhang 4.1. Windows 8 Tablet Evaluation und Deploymentfähigkeit mit barramundi Technische Evaluation Die Tablets sollen für verschiedene Arten von Online-Prüfungen eingesetzt werden, in denen immer Freihandskizzen (Querschnitte, Reaktionsverläufe, Kreisläufe, etc.) oder Formeln (chemische, mathematische) integraler Teil der Online-Prüfungen (Essayfragen, MC-Fragen u.a.) sind. Klassische Zeichentablets (z.b. die Grafiktablets der Firma Wacom) als Erweiterung zu bestehender Desktop Hardware benötigen im Gegenzug Eingewöhnungszeit (Schwierigkeiten mit der Auge-Hand-Koordination) für die Prüflinge. Technische Kriterien der Tablet-Evaluation für Prüfungsszenarien innerhalb der gemangten IT- Infrastruktur der ETH Zürich: Kriterium Muss Kann Akku austauschbar Ethernet-Anschluss (direkt oder via USB) Zoll Diagonale Tastatur integriert oder optional Kensington-Lock Atom-Prozessor oder besser (z.b. i3 oder i5 mobile) Stift und Stiftfunktion eingebaut Windows 8 Pro oder Enterprise (Domain Joining) Externer Monitoranschluss Anmerkung: Windows 8 (ausser RT) kann zwar bisherige x86/x64 Windows Applikationen ausführen, jedoch sind nur die Pro und Enterprise Versionen Domain-Join fähig. Domain-Join ist wichtig für Login mit NETHZ Userkonten und zentrale Verwaltung über Gruppenrichtlinien. Seite 6 / 9

9 Windows 8 Tabletcomputer mit Atom CPU Für diesen POC wurden Tabletcomputer evaluiert, welche mit den etablierten Verwaltungswerkzeugen an der ETH (Active Directory, Software-Deploymentsystem baramundi) betreut werden können. Ebenso sollen Windows x86 Drittapplikationen auf den Tabletcomputern installiert werden können. Tabletcomputer, auf welchen Windows 8 in der Pro bzw. Enterprise Version lauffähig sind, erfüllen diese Möglichkeit. Die Stonepine Labs GmbH hatte im Auftrag von LET darauf folgende Tabletcomputer evaluiert (entlang der Kriterien in 4.1.1) und beschafft: Hersteller Modell CPU CPU Speed RAM Harddisk effektiv Asus TF810C Intel Atom Z2760 Lenovo Thinkpad Tablet 2 Intel Atom Z2760 Dell Latitude 10 Intel Atom Z2760 HP Elitepad 900 Intel Atom Z2760 Samsung Ativ Tab 3 Intel Atom Z GHz 2 GB 59 GB 1.8 GHz 2 GB 59 GB 1.8 GHz 2 GB 118 GB 1.8 GHz 2 GB 59 GB 1.8 GHz 2 GB 59 GB Tabletcomputer mit Atom Prozessoren sind erheblich langsamer als solche mit IvyBridge oder Haswell Core i5/i7 Prozessoren. Auf allen oben genannten Tabletcomputern kann nur Windows 8 in der 32-bit Version installiert werden. Unterschiedliche Reifegrade Bei der Umsetzung der Tabletidee zeigen sich massive Unterschiede zwischen den Herstellern. So funktioniert bei Lenovo und Dell die Touchfunktionalität auch bei den Firmware Einstellungen, also direkt auf der Hardware. Dell bietet als einziger Hersteller die Möglichkeit den Akku zu wechseln. Lenovo und HP unterstützen Netzwerkboot über das Bootmenu. Leider konnten wir diese Funktion nicht testen, da der baramundi PE Server noch nicht UEFI fähig ist. HP bietet den Netzwerkboot über IPv4 als auch IPv6 an. HP verwendet jedoch eine properitäre Steckverbindung, über die mit Adapterkabel jeweils nur Stromversorgung, Ethernet oder USB getrennt angeschlossen werden können. Das Prüfungs- als auch Deploymentsetup verlangen jedoch gleichzeitige Stromversorgung und Ethernet Anbindung. Diese ist bei HP nur über die separate Docking Station zu erreichen, welche das Tablet mit ca.45 Grad Winkel fix anstellt. Auf dem ASUS Gerät konnten wir nicht via baramundi das Betriebssystem installieren. Wir konnten zwar ab USB Stick booten, danach den Dell USB-Ethernet Adapter einstecken. Das Gerät kommuniziert zwar mit dem baramundi Server. Der OS Job läuft trotzdem nicht an. Bei der manuellen Installation ab USB Stick muss zu Beginn die zu installierende Sprache bzw. Seite 7 / 9

10 Keyboard Layout gewählt werden. Zu diesem Zeitpunkt funktioniert aber weder der Touchscreen noch das Keyboard der Docking Station Empfehlung Die getesteten Windows 8 Tablets auf Atom Basis kommen schnell an ihre technischen Leistungsgrenzen. Für ein zukunftorientiertes Projekt sollten hier wie von ID-CD vorgeschlagen unbedingt Tablets auf Basis von Core i5 Prozessoren der Haswell Generation evaluiert werden. Wenn möglich mit Intel AMT Verwaltungsfunktion. Soll trotzdem ein Atom basierendes Tablet angeschafft werden geben wir aktuell dem Lenovo Tablet 2 oder Dell Latitude 10 den Vorzug. Das Dell Latitude 10 unterstützt aktuell zwar noch kein Netzwerkboot, wir denken aber dass diese Funktion per Firmware nachgeliefert wird. Seite 8 / 9

11 4.2. SEB on Windows 8 Tablets: Technical Details The current stable release, SEB has only limited compatibility with tablet computers running Windows 8.x. The software does run on these devices, but as it s running in the standard desktop mode (compatible with Windows 7), there is no on-screen keyboard displayed when the user clicks on a text field. As SEB generally has to run on a separate desktop, there is no Windows task bar displayed at the bottom of the screen, where the standard windows desktop mode on-screen keyboard could be manually switched on and off with a button. Furthermore a hardware keyboard is needed in any case to quit SEB 1.9.1, because that version can only be quit by pressing a combination of three function keys (for example F3-F11-F6). This also doesn t work with most of the hardware keyboards which can be attached to some of the tablets in addition to the on-screen keyboard (due to limitations using special keys on these keyboards). So a full featured USB keyboard has to be connected. In addition, switching to allowed third party applications in SEB is not touch-friendly, a mouse would be required for acceptable usability. The upcoming new version of Safe Exam Browser is designed to be much more touch-friendly. SEB 2.0 will feature a customized task bar where all allowed third party applications are shown as icons. Users can click on these icons to switch to a third party application or back to the SEB browser, if an application is not yet running, it is also started by touching the icon in the SEB task bar. There is also a Quit button in this task bar, with which users can exit from SEB and unlock their device. Depending on settings for a particular exam, a quit password needs to be entered to prevent students to leave a quiz too early (the quiz password would be communicated after the exam is finished). SEB 2.0 also features a quit link feature, allowing to quit SEB automatically after an exam is submitted (without needing to enter a quit password). This feature is very useful when using SEB 2.0 on Tablets to unlock the device after submitting an exam. The first release of SEB 2 won t feature an on-screen keyboard though. To use the standard Windows 8 on-screen touch keyboard, SEB needs to be ported to the Modern UI (formerly known as Metro ), which will not yet be possible in SEB 2.0 due to time constraints. A future version of SEB will fully support the Modern UI. Advantages of the Windows 8 touch keyboard are that it gets displayed automatically when a text field is selected and that the screen contents are scrolled in such a way that the cursor/input position is visible above the keyboard (which occupies a quite large portion of the display space). For using the Modern UI of Windows 8, it will therefore also be necessary to use an adopted browser engine, the currently used version of Mozilla Gecko/ULRunner runs only in the desktop mode of Windows 8 and not in Modern UI. Before being able to port SEB fully to Modern UI, we will implement a manual option to show and hide an on-screen keyboard using a button in the SEB task bar. This will allow some short text entries without attached hardware keyboard, but we anyways don t recommend any text entering in exams using tablets without an attached full hardware keyboard. Multiple choice questions for example don t need entering text and should be working perfectly with SEB 2 on tablets. SEB supports the canvas or freehand question type in Moodle as first testing indicates when using a digitizer pen for freehand drawings in exams. Using fingers for freehand drawing on Windows 8 tablets seems to work in some situations and on some Moodle pages, but it s not reliable enough. Therefore we will recommend using SEB mainly with digitizer pens containing hardware to differentiate drawing from regular touches on the display. Seite 9 / 9