Diplomarbeit. Nico Richters. Entwicklung und Implementierung eines Eye-Tracking-Systems für Blickmessungen in einem Usability-Labor

Transkript

1 Diplomarbeit Nico Richters Entwicklung und Implementierung eines Eye-Tracking-Systems für Blickmessungen in einem Usability-Labor Diplomarbeit eingereicht im Rahmen der Diplomprüfung im Studiengang Informatik Studienrichtung Softwaretechnik am Fachbereich Elektrotechnik und Informatik der Hochschule für Angewandte Wissenschaften Hamburg Betreuender Prüfer : Prof. Dr. Jörg Raasch Zweitgutachter : Prof. Dr. Kai von Luck Abgegeben am 21. April 2005

2 Nico Richters Thema der Diplomarbeit Entwicklung und Implementierung eines Eye-Tracking-Systems für Blickmessungen in einem Usability-Labor Stichworte PopEye, Eye-Tracking, Blickmessung, Usability, Digitale Bildverarbeitung, Bitmaps, RGB-Farbenmodell, Filteralgorithmen, Video-Capturing, Screen-Capturing,Video- Codec, AVI-Videos Kurzzusammenfassung Im Rahmen dieser Arbeit soll ein Eye-Tracking-System für Blickmessungen in einem Usability-Labor entwickelt werden. Dieses soll mit einem möglichst kleinen Budget realisiert werden und dennoch die Funktionen professioneller Eye-Tracking-Systeme zu Verfügung stellen. Dazu werden in dieser Arbeit die Grundlagen über die Themen Usability, Eye-Tracking und digitale Bildverarbeitung untersucht und daraus die entsprechenden Algorithmen abgleitet, die zur Entwicklung eines Eye-Tracking- Systems notwendig sind. Das System soll die Augenposition der Testperson erfassen und daraus die Blickposition des Benutzers auf dem Bildschirm ermitteln. Die Ergebnisse werden protokolliert, visualisiert und ausgewertet. Nico Richters Title of the paper Development and implementation of an eye tracking system for view measurements in a usability lab Keywords PopEye, eye tracking, measurement of the view, usability, digital picture processing, bitmaps, RGB-colour model, filter algorithms, video capturing, screen capturing, video codec, AVI videos Abstract Within this work an eye tracking system for measurements of the view will be designed and developed in a usability lab. The budget should be kept as small as possible but nevertheless all functions of a professional eye tracking system should be provided. To approach this, in the course of this work the basics about usability, eye tracking und digital processing of the view will be scrutinised and the according algorithms needed for the development of an eye tracking system will be derived. The system should record the position of the eye and determine the user s eye position on the monitor. The result will be logged, visualized und analysed.

3 Inhaltsverzeichnis 1 Einführung Motivation Zielsetzung der Arbeit Aufbau der Arbeit Eingetragene Warenzeichen Vision Vorbereitungen Entwicklung eines Capturing-Tools Erste Testversuche Entwicklung eines Kalibrierungstools Eye-Mouse Bewegungspfad Protokollsystem Kopfbewegungen Screen-Cam-Tool Helmapparatur Infrarottechnik Auswertung Grundlagen Usability Was ist Usabilitiy? Warum Usability? Eye-Tracking Das Auge Pupillen-Tracking Bright Pupil-Verfahren Dark Pupil-Verfahren Cornea-Reflex-Methode Kalibrierungsvorgang Scanpath Fixationen Die Points of interest Eye-Tracking-Apparaturen Einsatzmöglichkeiten in der Praxis Digitale Bildverarbeitung Ablaufschema der Bildverarbeitung Das RGB-Farbenmodell Bitmaps Filteralgorithmen Binärfilter Seite 1

4 Inhaltsverzeichnis Graustufenfilter Bildinvertierungsfilter Medianfilter Farbfilter Schwerpunktfilter Avi-Videos Marktanalyse Anforderungen an das PopEye-System Design und Realisierung Entwicklungsumgebung und Programmiersprache Festlegung des Video-Capturing-Standards Auswahl des Video-Codecs Kamerasystem Logitech-Quickcam-Messenger Webcam 350 K PIX Schwarz/Weiß-Kamera (Modul 2) Graphische Benutzungsschnittstelle Die Kamerafenster von PopEye Optionen für die Suchfarbe Eye-Tracking-Optionen Kalibrierungs-Optionen Protokoll-Optionen Die Koordinaten Screen-Cam-Optionen Cam-Options - Menü Klassen und Komponenten Klassenmodell Vererbung und Beziehungen Die Klasse CPopEyeDlg Die Klasse CPopEyeProtocolTool Die Klasse CPopEyeCalibrationTool Die Klasse CPopEyeCapturingTool Die Klasse CPopEyeScreenCamTool Mechanische Bauteile Kinnstütze Helmapparatur Erprobung und Bewertung Testbedingungen Testszenarien Szenario 1: Diashow Seite 2

5 Inhaltsverzeichnis Szenario 2: Produktsuche auf der Homepage eines Versandhauses Bewertung des Systems Resümee Zusammenfassung Erkenntnisse Ausblick Danksagung...68 Glossar...69 Literaturverzeichnis...72 Abbildungsverzeichnis...74 Anhang...76 Anhang A: Beschreibung zur CD-ROM...76 Anhang B: Screenshots...77 Anhang C: Anbieter von Eye-Tracking-Systemen...79 Anhang D: Erklärung...80 Seite 3

6 Kapitel 1: Einführung 1 Einführung 1.1 Motivation Die Blickmessung (auch Eye-Tracking genannt) gewinnt für die Ergänzung von Anwender- Analysen im Usability-Bereich zunehmend an Bedeutung. Sie erlaubt die genaue Erfassung der Bereiche, die eine Testperson besonders interessieren und erkennt, welche Zonen sie als erstes betrachtet, wo sie evtl. Unsicherheiten zeigt und welche Bereiche weniger oder vielleicht sogar gar keine Beachtung finden. Dabei könnte es sich z.b. um die Betrachtung von Werbeflächen auf einer Webseite, das Arbeiten mit einer komplexen Benutzungsoberfläche (GUI) oder das simple Betrachten von Fotos oder verschiedenen Artikeln in einem Lebensmittelregal handeln. Das Ziel der Blickmessung besteht also darin, die Länge und Reihenfolge zu erfassen, mit der die Testperson die für die Analyse relevanten Bereiche erfasst, um daraus eventuelle Design- Verbesserungen ableiten zu können. Leider werden für professionelle Blickmessungen kostspielige Eye-Tracking-Systeme benötigt, die für kleinere Firmen, Hochschulen und Privatanwender kaum erschwinglich sein dürften. Als Alternative würde also nur die Anmietung eines Usability-Labors mit entsprechender Ausrüstung und entsprechend geschultem Personal bleiben, was aber ebenfalls mit nicht unerheblichen Kosten verbunden ist. Der Anreiz der Arbeit besteht also darin, mit einem kleinen Budget ein Eye-Tracking-System zu entwickeln, das die grundlegenden Funktionen professioneller Systeme zur Verfügung stellt und eine entsprechende Auswertung und Visualisierung der gewonnenen Daten erlaubt. 1.2 Zielsetzung der Arbeit An der Hochschule für angewandte Wissenschaften (HAW) in Hamburg wird seit einiger Zeit am Aufbau eines Usability-Labors gearbeitet. In diesem Labor bewältigen Testpersonen am PC verschiedene vordefinierte Aufgaben und werden dabei systematisch beobachtet. Dazu wurden in jeder Ecke des Labors Videokameras installiert. Diese können aus einem Regieraum, in dem auch der Testleiter sitzt, gesteuert werden. Zusätzlich wird u.a. der Ton aufgezeichnet und ein Protokoll über die Mausbewegungen des Benutzers geführt. Der Sinn der Aufzeichnungen besteht darin, die Abläufe der Testperson lückenlos rekonstruieren zu können und somit aus Sicht der Software-Ergonomie wichtige Erkenntnisse über die Benutzungsfreundlichkeit einer Software zu erhalten. Die Abbildung auf der nächsten Seite zeigt das Usability-Labor der HAW-Hamburg aus der Sicht des Testleiters. Es werden die vier Monitore gezeigt, über die der Benutzer beobachtet werden kann. Die Aufzeichnung erfolgt entsprechend auf vier verschiedenen Videorecordern. Seite 4

7 Kapitel 1: Einführung Abbildung 1: Usability-Labor der HAW-Hamburg aus Sicht des Testleiters Unglücklicherweise verfügt die HAW-Hamburg über kein eigenes Eye-Tracking-System, da eine Anschaffung dieser Größenordnung zur Zeit nicht möglich ist. Trotzdem will die Hochschule nicht länger auf Eye-Tracking-Studien verzichten, da die Informatikstudierenden im Hinblick auf den Erwerb von Kompetenzen im Bereich der Software-Ergonomie und Benutzbarkeit von Systemen ausgebildet werden sollen. Als Ziel dieser Arbeit soll daher untersucht werden, wie Eye-Tracking-Systeme funktionieren und was für den Bau eines professionellen Eye-Tracking-Systems erforderlich ist. Da diese Aufgabe nicht trivial ist, wird durch eine Marktanalyse geklärt, welche Systeme bereits vorhanden sind und was diese leisten. Zusätzlich sollen die verschiedenen Eyetracking- Methoden, sowie die dazu nötigen Algorithmen aus der digitalen Bildverarbeitung und die notwendigen Hardware-Komponenten untersucht werden. Neben der theoretischen Arbeit soll experimentell der Prototyp eines eigenen Eye-Tracking- Systems entwickelt werden. Dabei soll mit möglichst günstiger Hardware und der Nutzung der aus der Analyse gewonnenen Kenntnisse eine Software geplant und implementiert werden. Diese Software soll die Augenposition der Testperson erfassen und daraus die Blickposition des Benutzers auf dem Bildschirm ermitteln. Die Ergebnisse sollen protokolliert, visualisiert und ausgewertet werden. Die Software hat im Rahmen dieser Arbeit den Namen PopEye erhalten und erfüllt lediglich die Grundlagen zum Aufbau eines professionellen Eye-Tracking-Systems. Sie soll aber bei Bedarf auch als Hilfestellung für weitere Diplomarbeiten dienen, die zukünftig an der HAW-Hamburg zu diesem Thema realisiert werden. Seite 5

8 Kapitel 1: Einführung 1.3 Aufbau der Arbeit Die vorliegende Arbeit ist in 8 Bereiche gegliedert, deren Inhalt im Folgenden kurz erläutert werden soll. Kapitel 1: In diesem Kapitel werden die Motivation und der Anreiz zum Bau eines eigenen Eye-Tracking-Systems, sowie die Zielsetzung und der Aufbau der Arbeit beschrieben. Kapitel 2: Die Visionen, die zur Entwicklung des Eye-Tracking-Systems PopEye geführt haben, werden vom ersten Schritt bis hin zu einem fertigen Prototypen erörtert. Kapitel 3: Dieses Kapitel enthält eine Einführung in die Themen Usability, Eye-Tracking und digitale Bildverarbeitung. Diese werden zum Aufbau eines Eye-Tracking-Systems benötigt. Kapitel 4: Mittels einer Marktanalyse sollen die gängigen Eye-Tracking-Systeme auf ihre Leistungsfähigkeit untersucht werden. Die daraus gewonnenen Resultate sollen als Hilfestellung für die Entwicklung von PopEye dienen. Kapitel 5: In diesem Kapitel werden die Anforderungen an des PopEye-System definiert. Kapitel 6: Das Objekt- und Systemdesign sowie die Details der Implementierung von PopEye werden in diesem Kapitel erläutert. Ein Kamerasystem wird ausgewählt und es werden die konkreten Klassen und Methoden bestimmt und deren Beziehungen untereinander festgelegt. Die Programmiersprache und die für die Entwicklung notwendigen Tools werden ausgewählt. Das Design der graphischen Benutzungsoberfläche sowie der Aufbau der im Rahmen dieser Arbeit entwickelten Apparaturen (Kinnstütze, Helmapparatur) werden ebenfalls behandelt. Kapitel 7: Die Erprobung und Bewertung des entwickelten Systems wird in diesem Kapitel vorgenommen. Es werden verschiedene Testszenarien erarbeitet, die das Testen des Systems unter Laborbedingungen erlauben. Anschließend wird eine Beurteilung der Testergebnisse durchgeführt, die Aufschluss darüber geben soll, ob die definierten Anforderungen an das System erreicht wurden. Kapitel 8: Zum Schluss erfolgt eine Zusammenfassung der Arbeit und es werden die daraus resultierenden Erkenntnisse geschildert. Zusätzlich wird ein Ausblick gegeben. Anhang: Im Anhang befinden sich eine CD-Rom-Beschreibung, einige Screenshots und eine Liste mit Anbietern von Eye-Tracking-Systemen. Seite 6

9 Kapitel 1: Einführung 1.4 Eingetragene Warenzeichen Im Rahmen dieser Arbeit wurden die Warenzeichen folgender Firmen benutzt oder erwähnt. Microsoft: - Windows-XP Professional Edition - Visual Studio.NET Video for Windows - DirectX - Microsoft1-Video-Codec Logitech: - Logitech QuickCam-Messenger - Logitech-SDK TechSmith: - Camtasia-Recorder-SDK 2.0 (Trial-Version) - TSCC-Video-Codec Anmerkung zum Camtasia-SDK: Die Trial-Version des Camtasia-Recorder-SDK 2.0 der Firma TechSmith darf nur für experimentelle Zwecke und im Rahmen einer Entwicklungsumgebung genutzt werden. Es dürfen weder Stand-Alone-Anwendungen erstellt, noch Kopien solcher Anwendungen an Dritte weitergegeben bzw. verkauft werden. Mehr zu diesem Thema findet sich in den Lizenzbestimmungen der Firma TechSmith, die auf deren Webseite unter nachzulesen sind. Seite 7

10 Kapitel 2: Vision 2 Vision Bevor mit der Entwicklung des Eye-Tracking-Systems PopEye begonnen wurde, gab es viele Ideen und Ansätze, wie ein solches System aussehen könnte und was es leisten sollte. Es wurde diskutiert, ob ein berührungsfreies oder ein kopfmontiertes System erstellt werden sollte und ob man vielleicht sogar ohne aufwendige Infrarot-Technik auskommen könnte. Bedingung war in jedem Fall ein System, das sich mit geringem Budget realisieren lässt. Es sollte die Vorraussetzungen schaffen, im Usability-Labor der HAW-Hamburg aussagekräftige und präzise Blickmessungen durchführen zu können. Das System soll die Augen- und Kopfbewegungen einer Testperson ermitteln können, während diese verschiedene Aufgaben am PC bewältigt. Durch die Analyse der ermittelten Daten sollen Aufschlüsse über das Blickverhalten der Testperson gewonnen werden, die einem Entwickler bei der Gestaltung einer benutzerfreundlichen Software behilflich sein könnten. Darüber hinaus sollten die Daten protokolliert und auch den anderen Anwendungen des Usability-Labors zur Verfügung gestellt werden können. Am Ende sollte eine Gesamtauswertung aller im Labor vorhandenen Usability-Komponenten möglich sein. Die Ergebnisse sollen zusätzlich auf dem Bildschirm visualisiert werden können. Aus diesen Überlegungen heraus ist eine Vision entstanden, die als Grundlage für die Entwicklung von PopEye dienen sollte. Sie umfasset die Entwicklung eines Eye-Tracking- Systems vom ersten Schritt bis hin zu einem fertigen Prototypen. 2.1 Vorbereitungen Zu Beginn müssen die für die Arbeit erforderlichen Begriffe definiert werden. Anschließend sollten Beratungsgespräche mit Eye-Tracking-Experten stattfinden und nach einer Recherche der Eye-Tracking-Grundlagen die Anforderungen an das System bestimmt werden. Es muss eine Entscheidung für ein geeignetes Kamerasystem unter Berücksichtigung des geringen Budgets getroffen werden. Außerdem muss ein Video-Capturing-Standard und eine geeignete Programmiersprache bestimmt werden. Zudem muss das Design der graphischen Benutzungsschnittstelle festlegt werden. Zusätzlich sollte eine konstante Beleuchtung vorhanden sein, so dass das Auge immer optimal ausgeleuchtet werden kann und keine unerwünschten Blendreflexe auf der Linse entstehen. Dies wäre zum Beispiel mit diffusem Licht oder polarisierenden Filtern zu erreichen. Seite 8

11 Kapitel 2: Vision 2.2 Entwicklung eines Capturing-Tools Um eine Testplattform für die Kamera und die im System verwendeten Algorithmen zu schaffen, sollte ein Capturing-Tool entwickelt werden. Ein solches Tool dient der Ansteuerung des Kamerasystems und ist für die Ausgabe sämtlicher Video- bzw. Graphikdaten auf dem Bildschirm verantwortlich. Dazu wird ein Video-Capturing-Standard (siehe Kapitel 6) benötigt, der als Schnittstelle zwischen Kamera und Capturing-Tool fungiert. Dadurch wird die Unabhängigkeit des Programmcodes vom verwendeten Kamerasystem ermöglicht. Das Tool empfängt über eine sogenannte Callback-Funktion mehrmals pro Sekunde die Videodaten der Kamera und stellt Filteralgorithmen (Kapitel 3) zu deren Verarbeitung zur Verfügung. Die Algorithmen dienen im PopEye-System zur Vorverarbeitung des Bildes und zur Berechnung der aktuellen Pupillenposition. Um die Algorithmen mit verschiedenen Auflösungen testen zu können, sollte das Tool die Veränderung der Kameraoptionen durch den Benutzer ermöglichen. Außerdem sollte es über Graphikfunktionen verfügen, die der Visualisierung des Eye-Tracking-Vorgangs dienen. Zum Beispiel könnte durch ein Raster der Blickbereich des Auges, und durch ein Fadenkreuz die aktuelle Pupillenposition visualisiert werden. Für das Zeichnen solcher Visualisierungen müssen Algorithmen zur Erzeugung von Linien und Kreisen ins Tool integriert werden. Um komplexe Eye-Tracking-Abläufe anhand eines stehenden Bildes analysieren zu können, sollte das Tool zudem das Anfertigen und Speichern von Screenshots unterstützen. 2.3 Erste Testversuche Ist das Gerüst des Capturing-Tools fertiggestellt, kann die Implementierung einfacher Filteralgorithmen erfolgen. Durch sie sollen anfangs farbige Gegenstände erkannt und vom Rest des Bildes extrahiert werden. Zusätzlich soll die Position dieser Gegenstände ermittelt werden. Sie werden dazu mit der Maus selektiert, um die Farbe zu bestimmen, nach der gesucht werden soll. Später soll durch derartige Versuche auf die Pupillenposition des Auges geschlossen werden. Für Tests dieser Art könnte eine handelsübliche Fernbedienung von großem Nutzen sein, da der von ihr ausgestrahlte Infrarotstrahl mittels Bildverarbeitung sehr einfach erfasst werden kann. Das ist vor allem zum Testen der Programmfunktionen sinnvoll, solange die genaue Erfassung der Pupille noch nicht realisiert ist. Abbildung 2 zeigt die Erfassung eines Infrarotstrahls durch eine Kamera (dieser liegt in einem Wellenbereich, der für das menschliche Auge unsichtbar ist). Abbildung 2: Erfassung eines Infrarotstrahls durch eine Kamera Seite 9

12 Kapitel 2: Vision Die zur Erkennung von farbigen Gegenständen eingesetzten Algorithmen könnten jetzt am menschlichen Auge getestet und wenn nötig erweitert werden. Dazu wird eine einfache Webcam an einer Kopfbedeckung montiert und dann auf das Auge gerichtet. Es muss davon ausgegangen werden, dass einige Experimente durchgeführt werden müssen, bevor Beleuchtung, Kamera und das Auge optimal aufeinander abgestimmt sind. Eine einfache Versuchsanordnung zeigt Abbildung 3. Abbildung 3: Beispiel einer einfachen Kopfbedeckung zur Montage der Kamera 2.4 Entwicklung eines Kalibrierungstools Um die Blickrichtung der Testperson auf die entsprechende Bildschirmposition übertragen zu können, muss ein Tool zur Kalibrierung der Pupillenposition entwickelt werden. Der Kopf der Testperson wird hierfür auf eine Kinnstütze gelegt, und es werden gitterförmig 9 Kalibrierungspunkte auf dem Bildschirm angezeigt, die die Testperson nacheinander mit den Augen fixieren muss. Das Ergebnis der Kalibrierung soll sowohl graphisch durch ein Gitter um die Pupille, als auch durch die Anzeige der Augenkoordinaten dargestellt werden. Das Eye-Tracking-System soll aus den gewonnenen Kalibrierungsdaten auf die aktuelle Blickrichtung der Testperson schließen und diese in einem Anzeigefeld auf dem Bildschirm anzeigen. Die Kalibrierung sollte dabei nachjustiert werden können, um eventuelle Ungenauigkeiten on the fly ausgleichen zu können, ohne den kompletten Kalibrierungsvorgang wiederholen zu müssen. Außerdem sollte ein Toleranzwert angegeben werden können, über den man den mit der Pupille erfassten Bereich vergrößern bzw. verkleinern kann, so dass dieser optimal an die Auflösung des Monitors angeglichen werden kann. Seite 10

13 Kapitel 2: Vision 2.5 Eye-Mouse Für weitere Testfälle könnte das Auge die Funktion der Maus ersetzen. Es könnte also eine Eye-Mouse entwickelt werden. Dazu wird der Mauszeiger entsprechend der aktuellen Augenposition auf dem Bildschirm dargestellt und lässt sich dann mit dem Augen steuern. Diese Maßnahme soll aber mehr der spielerischen Erprobung des Systems dienen, als die Maus wirklich zu ersetzen. Durch die Synchronisierung der Maus mit dem Auge könnte aber sehr einfach überprüft werden, wie genau die Erfassung der Pupille in dieser Entwicklungsphase ist. Sollten vorher entsprechende Tests mit einem Infrarotstrahl stattgefunden haben, so wird spätestens jetzt erkennbar, dass die Realität des Eye-Trackings auf einem weitaus höheren Niveau anzusiedeln ist. Der Infrarotstrahl wird für das System relativ einfach zu erkennen und auszuwerten sein, die menschliche Pupille hingegen ist ein wesentlich komplexeres Objekt, das sich zum Beispiel stark durch Lichtreflexe und Spiegelungen beeinflussen lässt. Für diese Problematik ist die Eye-Mouse zum Testen der Programmfunktionen bestens geeignet. 2.6 Bewegungspfad Als weiterführende Visualisierungsmaßnahme des Eye-Tracking-Vorgangs könnte ein Bewegungspfad erstellt werden. Dieser sollte die letzten N Augenpositionen zum Beispiel durch Punkte und Linien miteinander verbinden. Diese Punkte können entweder sofort auf dem Monitor angezeigt oder in einer späteren Phase in das Eye-Tracking-Video eingefügt werden. Der Bewegungspfad wird in Kapitel 3 im Rahmen der Eye-Tracking-Grundlagen behandelt. Zur Rekonstruktion des Bewegungspfads könnten die Daten aus dem Protokollsystem verwendet werden. Dieses wird im nächsten Abschnitt erläutert. 2.7 Protokollsystem An dieser Stelle erscheint es sinnvoll, einen Protokollierer zu entwickeln, der die aktuellen Blickdaten mehrmals pro Sekunde aufzeichnet. Durch die Protokollierung lassen sich die schnellen Richtungsänderungen des Auges später lückenlos rekonstruieren. Die Aufzeichnung sollte die aktuelle Blickrichtung, eine Zeitmarke und die X/Y-Positionen der Pupille sowie der Maus umfassen. Da die Daten zur späteren Auswertung auch anderen Anwendungen zur Verfügung stehen sollten, empfiehlt sich die Speicherung in einem XML- File oder in einer Textdatei. Die Protokolldaten sollten während des Tracking-Vorgangs auch auf dem Monitor sichtbar gemacht werden können, so dass sich eventuelle Unregelmäßigkeiten sofort erkennen und beheben ließen. Die Protokollierung sollte ein- und ausschaltbar gestaltet werden, um prüfen zu können, ob durch sie Zeitverluste auftreten. Seite 11

14 Kapitel 2: Vision 2.8 Kopfbewegungen Da die einfache Augenerkennung mit fixiertem Kopf bereits realisiert wurde, sollen in dieser Phase auch die freien Kopfbewegungen erkannt werden. Dieser Part wurde im PopEye- System nicht realisiert. Theoretisch könnte ein Kreiselkompass benutzt werden, wie er z.b. in Modellbau- Hubschraubern verwendet wird. Dieser könnte auf die Kopfbedeckung montiert werden und die Drehungen des Kopfes nach links und rechts, als auch die Neigung nach vorne und hinten erfassen. Denkbar wäre auch eine zweite Kamera, die den Kopf der Testperson aufzeichnet. Links, rechts und auf dem Kopf könnten farbliche Reflektoren angebracht werden, die wenigstens eine grobe Bestimmung der Blickrichtung erlauben würden. 2.9 Screen-Cam-Tool Eine sehr genaue Methode, um die Aktionen der Testperson auf dem Bildschirm nachvollziehen zu können, ist die Implementierung einer Screen-Cam. Hierbei handelt es sich um eine Softwarekamera, die den Bildschirminhalt während eines Testdurchlaufs als Video aufzeichnet. Dieser Vorgang wird auch als Screen-Capturing bezeichnet. Damit wird es möglich, jeden Schritt der Testperson auch visuell genau rekonstruieren zu können. Das Video sollte in jedem normalen Video-Player wiedergegeben werden können (AVI-Format). In das aufgenommene Video werden gleichzeitig Augen- und Mauskoordinaten, der Mauszeiger, ein Timestamp sowie der Bewegungspfad eingeblendet. Damit lässt sich ein Werkzeug schaffen, das die Grenzen des Eye-Trackings eigentlich schon überschreitet. Durch die Entwicklung einer Screen-Cam wäre die Möglichkeit gegeben, verschiedene Usability- Tests durchzuführen, die sich auf die Beobachtung von Aktionen auf dem Bildschirm konzentrieren. Tools dieser Art werden übrigens auch zur Erstellung von Lehrvideos benutzt, um den lernenden Personen komplexe Programmfunktionen anschaulich zu vermitteln. In der Welt der Computerspiele kommen sie im Rahmen von Usability-Tests zum Einsatz, die sich auf die Aufmerksamkeit des Spielers konzentrieren Helmapparatur Da durch die Kamerabefestigung an einer einfachen Kopfbedeckung nicht die nötige Stabilität für genaue Blickmessungen gewährleistet ist, sollte eine Helmapparatur entwickelt werden, die eine stabile Ausrichtung der Kamera auf das Auge ermöglicht. Die Kamera sollte sich um alle Achsen drehen und somit genau auf das Auge fixieren lassen. Diese Apparatur könnte zum Beispiel an einem Fahrradhelm befestigt werden, um die Stabilität zu erhöhen. Dieses Problem hat sich im Rahmen dieser Arbeit als sehr komplex herausgestellt, da anfangs davon ausgegangen wurde, dass eine solche Konstruktion sehr leicht zu entwickeln wäre. In der Realität wurden aber sehr viele Stunden Konstruktionsarbeit benötigt, bis die Helmapparatur wirklich funktionierte (siehe Kapitel 6). Seite 12

15 Kapitel 2: Vision 2.11 Infrarottechnik An dieser Stelle wird ein neues Kamerasystem in Verbindung mit einer Infrarot-Lichtquelle und einem Infrarotfilter benötigt. Es gibt verschiedene Möglichkeiten, wie diese vor dem Auge angeordnet werden müssten, um zum Beispiel den Bright-Pupil-Effekt oder den Dark-Pupil-Effekt zu erzielen (Kapitel 3). Theoretisch genügen hierfür eine preisgünstige Schwarz/Weiß-Kamera, ein paar Infrarot- Dioden und ein geeigneter Infrarotfilter. Durch den Filter wird das Infrarotlicht vom natürlichen Tageslicht getrennt, und es können die resultierenden Reflexe mit Hilfe der digitalen Bildverarbeitung sehr präzise erfasst werden. Eine sehr gängige Methode ist in diesem Zusammenhang das sogenannte Pupillen-Tracking in Verbindung mit der Cornea-Reflex-Methode (mehr dazu findet sich ebenfalls in Kapitel 3). Das Auge wird hierbei mit einer Infrarot-Lichtquelle ausgeleuchtet und zeigt dadurch Reflexe, die sich mit einem Rechner sehr genau auswerten lassen. Je nach Art und Preisklasse der eingesetzten Technik sollte die Blickmessung nun so genau sein, dass sogar das Lesen eines Textes durch die Testperson präzise nachzuvollziehen wäre. Für das PopEye-System wurde als Mindestkriterium der Genauigkeit festgelegt, dass der Bildschirm in 9 Sektoren unterteilt wird, um zu bestimmen, welchen dieser Sektoren die Testperson gerade betrachtet Auswertung Schließlich muss über eine sinnvolle Auswertung und Darstellung der Daten nachgedacht werden. Für das Eye-Tracking wären dabei folgende Fragen interessant: Anzahl der Betrachtungen eines bestimmten Bereichs (Region of Interest). Betrachtungsdauer Bewegungspfad Wie lange braucht die Testperson, um bestimmte Icons zu finden? Vergleich zweier Benutzungsoberflächen mit verschiedenem Design. Später könnten weitere Auswertungen erfolgen. Zum Beispiel, wie lange der User zum Lesen eines Textes benötigt oder wie er mit einem komplizierten Menü zurechtkommt. Abschließend könnte geprüft werden, ob sich das Eye-Tracking-System auch in anderen Bereichen der Technik sinnvoll einsetzen lässt, z.b. zur Erkennung von beschädigten Werkteilen auf einem Fließband oder zur Beobachtung eines Autofahrers während der Fahrt oder gar zur Steuerung von Maschinen und Computerspielen mit den Augen. In Kapitel 7 wird die Auswertung behandelt. Seite 13

16 Kapitel 3: Grundlagen 3 Grundlagen Bevor mit den Kapiteln über Analyse, Design und Realisierung des Eye-Tracking-Systems PopEye begonnen werden kann, sollen zunächst die dafür benötigten Grundlagen und Begriffe definiert werden. Dazu soll zunächst ein kurzer Überblick über das Thema Usability gegeben werden. Anschließend folgt ein Einblick in die Welt des Eye-Trackings und es werden die im PopEye- System benutzten Eye-Tracking-Methoden- und Techniken beschrieben. Zusätzlich werden die Einsatzmöglichkeiten des Eye-Trackings in der Praxis erläutert. Eine Einführung in die digitale Bildverarbeitung erfolgt am Ende des Kapitels und es werden einige Verfahren vorgestellt, die für die graphische Darstellung des Eye-Tracking-Vorgangs auf dem Bildschirm notwendig sind. Dazu gehören vor allem die Filteralgorithmen. Außerdem soll der Umgang mit dem RGB-Modell, Bitmaps und Avi-Videos erklärt werden. In diesem Kapitel sollen hauptsächlich die Verfahren und Begriffe angesprochen werden, die auch im PopEye-System umgesetzt wurden. Weiterführende Literaturhinweise sind den einzelnen Abschnitten dieses Kapitels zu entnehmen. 3.1 Usability Dumme Benutzer gibt es nicht, es gibt nur schlecht gestaltete Benutzungsschnittstellen... [USF05] Was ist Usabilitiy? Usability steht für die Benutzbarkeit oder Bedienungsfreundlichkeit eines interaktiven Systems. Interaktiv sind Systeme, die eine Benutzungsschnittstelle aufweisen und auf Benutzeraktionen reagieren. Dazu gehören einfache Maschinen ebenso wie komplexe Softwaresysteme. Benutzbarkeit beinhaltet, dass ein System leicht erlernbar und effizient benutzbar sein soll, eine geringe Fehlerrate aufweisen und Benutzersatisfaktion bewirken soll. Laut ISO-Norm 9241 [ISO05] ist der Begriff Usability wie folgt definiert: Usability eines Produktes ist das Ausmaß, in dem es von einem bestimmten Benutzer verwendet werden kann, um bestimmte Ziele in einem bestimmten Kontext effektiv, effizient und zufriedenstellend zu erreichen. Seite 14

17 Kapitel 3: Grundlagen Warum Usability? User geben Benutzungsschnittstellen in der Regel wenig Zeit. Der Blick des Benutzers richtet sich wo immer möglich auf Bilder; Texte werden nur flüchtig gelesen. Eine Schnittstelle sei es eine Webseite, ein Produkt-Design oder eine Software-Applikation - muss den Blick des Users deshalb in nur wenigen Sekunden auf die für ihn wichtigen Bereiche lenken [HAN04]. Dabei stellt sich z.b. die Frage, ob der Benutzter innerhalb weniger Sekunden den Bestellknopf auf einer Webseite, bzw. den Ein/Aus -Schalter bei einem Produkt findet oder ob erst lange gesucht werden muss. Um diesen Fragen nachzugehen, werden in der Usability-Praxis seit längerem Eye-Tracking- Verfahren (siehe Kapitel 3.2) eingesetzt. Damit können die Blickbewegungen von Usern detailliert protokolliert werden. Wo wird zuerst hingeschaut? Welche Bereiche schauen User in den ersten Sekunden an, wenn sie mit einer Schnittstelle interagieren? Und vor allem: Werden die wichtigen Bereiche frühzeitig gesehen oder verliert sich der User an unwichtigen Stellen? Das PopEye-System, das in dieser Arbeit entwickelt wird, soll bei der Beantwortung dieser Fragestellungen behilflich sein, indem es ein Video und ein Protokoll der Blickbewegungen erstellt, um diese später auswerten zu können. Die Antworten auf diese Fragen sollen also helfen, Schnittstellen auf die Wahrnehmung des Users zu optimieren. Das Resultat könnten User-Interfaces sein, die dem Nutzer innerhalb kurzer Zeit eine Übersicht über die wesentlichen Informationen verschaffen. Solche Schnittstellen führen zu erhöhter Usability, weil der Nutzer sich einfach orientieren und seine Ziele in möglichst kurzer Zeit erreichen kann. 3.2 Eye-Tracking Ziel dieses Absatzes ist, die Methoden der Blickmessung (Eye-Tracking) zu beschreiben, die bei der Entwicklung des PopEye-Systems angewendet wurden. Hierbei handelt es sich vor allem um das sogenannte Pupillen-Tracking in Verbindung mit der Cornea-Reflex-Methode. Außerdem werden unterschiedliche Apparaturen zur Messung der Blickbewegung vorgestellt, und es werden die wichtigsten Techniken zur Visualisierung und Kalibrierung des Eye- Tracking-Vorgangs dargestellt. Zum Schluss wird noch der Einsatz von Eye-Tracking- Systemen in der Praxis besprochen Das Auge Bevor mit der Erfassung einer menschlichen Pupille begonnen werden kann, soll ein kurzer Überblick über die Anatomie des Auges gegeben werden. Das Auge befindet sich in der sogenannten Augenhöhle und liegt ungefähr auf der horizontalen Mittellinie des Kopfes. Es ist daher von verschiedenen Schädelknochen umgeben, die ihm Schutz vor äußeren Einwirkungen bieten. Die Bewegung des Auges erfolgt über 3 Muskelpaare, von denen ein Paar für horizontale, ein Paar für vertikale und ein Paar für die Drehbewegungen des Auges zuständig ist. Die Funktionsweise des Auges lässt sich grob mit einer Kamera vergleichen, d.h. es wird ein Abbild der Außenwelt auf die Rückseite des Auges projiziert, welches sowohl vertikal als auch horizontal gespiegelt erscheint [TUD05]. Den Aufbau des Auges verdeutlicht Abbildung 6 auf der nächsten Seite. Seite 15

18 Kapitel 3: Grundlagen Pupillen-Tracking Abbildung 4: Schematischer Aufbau des Auges [TUD05] Das im PopEye-System eingesetzte Verfahren zur Blickmessung ist das Pupillen-Tracking. Hierbei wird das Auge mittels einer Infrarotlichtquelle ausgeleuchtet und eine Kamera auf das Auge fokussiert, die die Auslenkungen der Pupille erfasst. Die Bildverarbeitungsalgorithmen des PopEye-Systems berechnen daraus online di0e verschiedenen Blickbewegungsparameter. Für die Anwendung des Pupillen-Trackings gibt es zwei unterschiedliche Verfahren, das Bright Pupil - und das Dark Pupil-Verfahren, die in den nächsten beiden Abschnitten vorgestellt werden Bright Pupil-Verfahren Zur Erzeugung des Bright Pupil-Reflexes muss das Auge mit einer Infrarot-LED ausgeleuchtet werden, die sich nahe der Kameralinse und auf einer Achse mit dieser befindet. Das vom Auge reflektierte Infrarotlicht muss anschließend durch einen Infrarotfilter vom Tageslicht getrennt werden. Dadurch erscheint das Auge für die Kamera in einem weißen Farbton, der im obersten Bereich des RGB-Farbspektrums liegt und durch Bildverarbeitungsalgorithmen sehr leicht erkannt und extrahiert werden kann. Dies verdeutlicht Abbildung 7, wobei Glint für die Reflexion der Lichtquelle im Auge steht (auch Cornea-Reflex genannt). Abbildung 5: "Bright Pupil-Reflex [IBM05] Seite 16

19 Kapitel 3: Grundlagen Dark Pupil-Verfahren Dieses Verfahren funktioniert fast analog zum vorher dargestellten Bright Pupil-Verfahren. Der Unterschied besteht darin, dass die Lichtquelle nicht in der Achse der Kamera, sondern seitlich zu dieser angeordnet werden muss. Dadurch erfasst die Kamera nicht die direkte Infrarotreflexion der Iris, sondern filmt den Schatten, der neben dem auftreffenden Infrarotstrahl auf der Iris entsteht. Dadurch erscheint die Pupille für die Kamera in einem schwarzen Farbton. Den Dark-Pupil-Effekt zeigt die folgende Abbildung: Abbildung 6: "Dark Pupil-Reflex [IBM05] Cornea-Reflex-Methode Nachdem das Pupillen-Tracking erfolgreich realisiert wurde, kann dieses mit einem weiteren Verfahren kombiniert werden, um die Genauigkeit der Messungen zu erhöhen. Es handelt sich hierbei um die sogenannte Cornea-Reflex-Methode. Da die Oberfläche der Hornhaut (Cornea) des Auges glänzend ist, spiegelt sich dort auftreffendes Licht einer punktförmigen Quelle. Dieser Cornea-Reflex liegt in etwa 3,5 mm hinter der Augenoberfläche. Diese Reflexion ist prinzipiell ausreichend, um die Auslenkung des Auges zu ermitteln, unter der Annahme, dass der Irishügel perfekt sphärisch ist. Bei der Cornea-Reflexion handelt es sich um einen kleinen hellen Punkt inner- oder unterhalb der Pupille, der durch die Reflexion des infraroten Lichts an der Außenseite der Cornea entsteht [TUD05]. Aus dem Winkel zwischen Pupille und dem Cornea-Reflex wird somit eine sehr exakte Bestimmung der Blickrichtung möglich. Dieser Effekt ist sowohl in Abbildung 7, als auch in Abbildung 8 zu erkennen. Seite 17

20 Kapitel 3: Grundlagen Kalibrierungsvorgang Bevor der Eye-Tracking-Vorgang gestartet werden kann, müssen die Blickbewegungen des Auges auf die Bildschirmkoordinaten bezogen werden können. Hiefür ist der Vorgang der Kalibrierung äußerst wichtig, um den Erfolg der Messung gewährleisten zu können. Die Kamera kann zwar die Blickrichtung des Auges erfassen, und es kann daraus mit den entsprechenden Algorithmen auf die aktuelle Blickrichtung des Auges geschlossen werden, diese Messung sagt jedoch nichts über die Blickrichtung der Testperson auf dem Bildschirm aus. Es muss daher eine Verbindung zwischen den rohen Blickdaten und den Bildschirmkoordinaten geschaffen werden. Dies klingt aufwendiger, als es ist. Es lediglich ein gleichförmiges Gitter von Punkten benötigt, die rasterförmig auf dem Bildschirm angeordnet werden. Auf der folgenden Abbildung werden links die aktuelle Augenposition und rechts die Kalibrierungspunkte gezeigt, die der entsprechenden Augenposition zugeordnet werden müssen. Abbildung 7: Kalibrierung der Blickmessung [HAN04] Die Testperson wird nun instruiert, jeden dieser Punkte zu fixieren. Da die Koordinaten der angezeigten Kalibrierungspunkte bekannt sind, kann daraus eine Beziehung zu den aktuellen Blickdaten herstellt werden. Voraussetzung ist jedoch, dass der Kopf der Testperson nach dem Kalibrierungsvorgang nicht mehr bewegt wird, da sonst nur unbefriedigende Messergebnisse erreicht würden. Beim PopEye-System wurde zur Fixierung des Kopfes eine Kinnstütze konstruiert, die zentriert zum Bildschirm an einem Tisch montiert werden kann. Über eine Kurbel lässt sich zusätzlich die vertikale Augenposition mittig an den Bildschirm anpassen. Eventuell muss der Kalibrierungsvorgang mehrmals wiederholt werden, bevor das Auge vom System deutlich erkannt werden kann. Dies hängt zum einen von der Beleuchtung und zum Anderen davon ab, wie genau die Testperson die Kalibrierungspunkte fixiert hat, ohne zum Beispiel zwischenzeitlich geblinzelt zu haben. Das im PopEye-System benutzte Kalibrierungstool wird in Kapitel 6 näher erläutert. Seite 18