Warum Augen-/Blickbewegungen? Finde die rote 9! x x x x x x x x x Warum Augen-/Blickbewegungen? Unterschiedliche Aufgaben Finde die rote 9! Finde die 5!
Warum Augen-/Blickbewegungen? Unterschiedliche Aufgaben Examine at will Estimate wealth Estimate ages Guess previous activity Remember clothing Remember position Time since last visit Warum Augen-/Blickbewegungen? Augenbewegungen sind sehr individuell und können selbst bei der selben Person unter verschiedenen Bedingungen sehr unterschiedlich ausfallen. Die Dauer der Fixationen und das Muster und die Längen der Sakkaden sind nicht nur abhängig von allgemeinen Eigenschaften wie Geschlecht und Alter, sondern richten sich auch stark nach Gewohnheiten, Fähigkeiten, Interesse und Absichten des Betrachters. Auch biologische Faktoren wie etwa Drogen- oder Koffeinkonsum können die Augenbewegungen sehr stark beeinflussen. Die für die Forschung wichtigsten Eigenschaften sind jedoch die starke Veränderung der Augenbewegungen aufgrund der dargebotenen visuellen Reize, z.b. der Schwierigkeit eines Textes oder der Komplexität eines Bildes, und der Aufgabenstellung. Erst diese Abhängigkeiten legen die sog. eye-mind Hypothese nahe, nämlich daß das Sehen und die kognitive Verarbeitung des Gesehenen sich gegenseitig beeinflussen und experimentell begründbare Rückschlüsse aufeinander zulassen. Den Vorgang des Sehens selbst bezeichnet man deshalb heute auch als intentionales Sehen, also einer aktiven, bewußt gesteuerten Handlung durch den Sehenden.
Warum Augen-/Blickbewegungen? Informationsaufnahme ist physiologisch begrenzt Aufmerksamkeitsmechanismus Physiologie des Auges koppelt Augenbewegungen an Aufmerksamkeit Projektion der region of interest auf die fovea centralis Die eye-mind Hypothese (Just & Carpenter, 1980) Kernaussage: the eye commonly fixates on the symbols currently being processed by the brain (Originalzitat: there is no appreciable lag between what is being fixated and what is being processed (p. 331)) Identifikation und Parametrisierung perzeptueller & kognitiver Prozesse Einblicke in das Wie? und Warum? beim Problemlösen (z.b. Suchstrategien) Einschub: Definition Kognition / kognitiv Wir bezeichnen hier mit diesem Begriff die im Gehirn ablaufenden Informationsverarbeitungsprozesse, die für intelligentes Handeln notwendig sind, z.b. Erkennungs- oder Abstraktionsleistungen oder das Interpretationsvermögen also, im Falle visueller Wahrnehmung, die Fähigkeit, aus einem visuellen Reiz ein bedeutungstragendes Objekt zu machen.
Die eye-mind Hypothese Konsequenz: So kann man z.b. Such- oder Entscheidungsprozesse als kognitive Prozesse bezeichnen. Ein visueller Suchprozeß etwa ist demnach eine bestimmte Aneinanderreihung visueller Perzepte, visueller Eindrücke, die sich ergeben durch eine intelligente Verschaltung senso-motorischer Eingaben wie Augenbewegungen und retinal aufgenommener und dann kortikal weiterverarbeiteter Information. Augenbewegungen sollten uns erlauben, Aufmerksamkeitsmechanismen zu identifizieren, damit Einblick in kognitive Aspekte der Informationsverarbeitung zu gewinnen und so high-level Verarbeitungs- oder Problemlösestrategien abzulesen vertikale Organisation von sensomotorischer, perzeptiver und kognitiver Verarbeitungsebene Die eye-mind Hypothese Finde die rote 9! Finde die 5!
Erfassung von Augenbewegungen Eye Tracking bezeichnet die Technik bzw. Methode der Augenbewegungsmessung In Untersuchungen werden verschiedene Apparaturen zur Augenbewegungsmessung, sog. Eye Tracker, eingesetzt Eye Tracker arbeiten mit unterschiedlichen Verfahren zur Erfassung und Aufzeichnung der Augenbewegungen Buswell, 1935 Koesling et al., 2007 Erfassung von Augenbewegungen Wie ausführlich diskutiert, lassen sich aus den aufgezeichneten Augenbewegungsdaten raum-zeitliche Blicktrajektorien und somit Aufmerksamkeitsverteilungen gewinnen Augenbewegungsdaten stellen ein prozeß-basiertes Maß dar Buswell, 1935 Koesling et al., 2007
Alternative Methoden Verbalisierung von Problemlöse-Strategien (retrospektiv) Räumlich-zeitliche Schlußfolge-Techniken (Williams et al., 1999) Analyse produkt-basierter psychophysischer Daten, z.b. Antwortverhalten oder Reaktionszeiten Kritik / Grenzen der Eye Tracking Methode Entkoppelung von Aufmerksamkeit & Blick ( Looking without seeing ) Periphere Verarbeitung ( Seeing without looking ) Vorwissen / Verarbeitung vorheriger Informationen Höhere kognitive Verarbeitungsprozesse Vorteile der Messung von Augenbewegungen Indirekt, nicht-invasiv Beobachtung natürlichen (unbewußten) Informationsverarbeitens Prozeß-basiertes Maß
Technische Aspekte der Augenbewegungsmessung Invasiv erfasst werden: Elektrookulographie (EOG) Kontaktlinsenmethode Nicht invasiv erfasst werden: Corneareflex Tracking Purkinje Tracking Limbus / Pupil Tracking 1990er Jahre: Videobasiertes Eye Tracking Elektrookulographie (EOG) Spannungsmessung zwischen zwei Elektroden, die links und rechts (oder oberhalb und unterhalb) des Auges auf der Haut angebracht sind Auge stellt elektrischen Dipol dar, d.h. es existiert eine Spannungsdifferenz zwischen Netzhaut (negativ) und Hornhaut (positiv) Ruhepotential wird als konstant angenommen Quelle: Zipp: Optimierung der Oberflächenableitung bioelektrischer Signale. Düsseldorf: VDI-Verl., 1988.
Elektrookulographie (EOG) Durch Augenbewegungen nähert sich die Vorderseite des Auges der einen Elektrode an, während die Rückseite sich der anderen Elektrode annähert. Änderung der elektrischen Feldes Dadurch kommt es zu einer Spannungsdifferenz zwischen den Elektroden, die verstärkt und aufgezeichnet wird. Quelle: Zipp: Optimierung der Oberflächenableitung bioelektrischer Signale. Düsseldorf: VDI-Verl., 1988. Elektrookulographie (EOG) Die Spannungsdifferenz ist ungefähr proportional zum Blickwinkel. Probleme: Schwankungen des (Ruhe-) Potentials Abweichung durch Lidschläge Elektrisches Rauschen Quelle: Zipp: Optimierung der Oberflächenableitung bioelektrischer Signale. Düsseldorf: VDI-Verl., 1988.
Elektrookulographie (EOG) Quelle: Duchowski/Vertegaal: Eye-Based Interaction in Graphical Systems: Theory & Practice. Siggraph 2000. Elektrookulographie (EOG) Quelle: Völpel, 2004, S. 22
Kontaktlinsenmethode Einsetzen einer genau angepaßten Kontaktlinse auf der Hornhaut des Nutzers Anforderungen: Kein Verrutschen auch bei schnellen Augenbewegungen Auge darf nicht geschädigt werden Quelle: Joos et al.: Blickbewegungsmessung und praktische Anwendungen. TEAP 2005. Kontaktlinsenmethode Spiegel Befestigung eines Spiegels auf der Kontaktlinse Einfallendes Licht wird so in einem bestimmten Winkel reflektiert, diese Reflektion kann durch z.b. eine Kamera aufgezeichnet werden. Search coil Magnetische Spule in der Kontaktlinse Durch ein Wechselfeld, erzeugt durch Spulen am Kopf oder in einem Rahmen um den Kopf des Probanden und für jede Raumrichtung anders, wird den Kontaktlinsen-Spulen Spannung indiziert. Diese verändert sich proportional zur Lage der kleinen Spulen im Feld und kann gemessen werden
Kontaktlinsenmethode genau, aber aufwendig Quelle: Joos et al.: Blickbewegungsmessung und praktische Anwendungen. TEAP 2005. Beispiel-Trajektorien Quelle: http://www.franzdodel.ch/haiku/haiku_bild/r_yarbus.htm Quelle: http://diwww.epfl.ch/lami/team/smeraldi/saccadic/yarbus.html
Tracking optischer Charakteristika Purkinje-Bilder Limbus Tracking Corneareflex Tracking Pupillen Tracking Quelle: Duchovki/Vertegaal: Eye-Based Interaction in Graphical Systems: Theory & Practice. Siggraph 2000. Quelle: Carbone/Kösling: Eye-Tracking. Blickbewegungsmessung im Überblick. IK 2001. Tracking optischer Charakteristika Videobasierte Verfahren Die heutzutage am weitesten verbreitete Methode um Augenbewegung zu erfassen ist die videobasierte. Dabei nimmt eine Videokamera, das Bild eines oder beider Augen auf. Dieses Sigal wird dann rechnergestützt ausgewertet und interessante Merkmale des Auges (z.b. Limbus, Pupille, Blutgefässe, Reflexionen) werden extrahiert, ebenso wie die Position und der Blickfokus berechnet werden.
Purkinje Tracking Die Berechnung des Blickfokus ist mittels Reflexionen, die auf der Vorder- und Rückseite der Cornea und Linse entstehen, wenn das menschliche Auge durch eine punktförmige Lichtquelle angestrahlt wird. Diese Reflexionen, auch Purkinje-Bilder genannt, geben Aufschluß über Lage der Cornea bzw. Linse und damit über den Blickfokus. Es existiert eine große Zahl von Eye-Tracking-Verfahren, welche mehrere Reflexionspunkte in die Berechnung mit einbeziehen, ausreichend ist aber z.b. das erste Purkinje-Bild, d.h. die erste Reflexion. Cornea-Reflex Verfahren 1. 2. 3. 4. Purkinje - Bilder Purkinje Tracking Technik Rechnergestützte Erkennung der Pupille und des Reflexionspunktes. Kontrastbasierte Algorithmen (hoher Kontrast zwischen Pupille, Reflexionspunkt und Umgebung, genaueres später): bright pupil -Methode: Pupille erscheint bei Ausleuchtung mit infrarotem Licht sehr hell dark pupil -Methode: Pupille erscheint fast schwarz
Purkinje Tracking Technik Der Abstand zwischen Mittelpunkt der Pupille und Reflexionspunkt wird anschließend in einen Vektor umgerechnet. Dieser Vektor wird nach einer Kalibrierung (anhand mehrerer Punkte an einem festen Bezugsfeld, z.b. einem Monitor) als Referenz benützt, um einen Bezug herzustellen zwischen Lage bzw. Länge des Vektors und Blickpunkt auf dem Blickfeld. Diese Umrechnung ist bei den höchstauflösenden Systemen und guter Kalibrierung bis in den Millimeterbereich exakt. Purkinje Tracking Purkinje Eye Tracker
Pupil Tracking Ausleuchtung des Auges mittels Infrarotlichtquelle Erfassung der Auslenkung der Pupille mittels Kamera Erkennung und Extraktion der Pupille mittels Bildverarbeitungsalgorithmen Pupil Tracking Bright Pupil-Verfahren Infrarot-Quelle nahe der Kameralinse und auf einer Achse mit dieser Trennung des vom Auge reflektierte Infrarotlichtes vom Tageslicht mittels Infrarotfilter Auge erscheint einem weißen Farbton im Kamerbild Einfache Erkennung und Extraktion durch Bildverarbeitungsalgorithmen
Pupil Tracking Dark Pupil-Verfahren Analog zum Bright Pupil-Verfahren. Unterschied: Lichtquelle seitlich zur Kameraachse angeordnet Kamera erfaßt nun nicht mehr direkte Infrarotreflexion der Iris, sondern den Schatten, der neben dem auftreffenden Infrarotstrahl auf der Iris entsteht. Dadurch erscheint die Pupille für die Kamera in einem schwarzen Farbton. Vergleich verschiedener Eye Tracking Verfahren Räumliche Genauigkeit Elektro-Okulogramm (EOG): ± 2 Grad Search Coil (Spule): ± 0.05 Grad Purkinje-Tracking: ± 0.2 Grad Pupil-Tracking: ± 0.5 Grad Zeitliche Auflösung Elektro-Okulogramm (EOG): bis 1 khz Search Coil (Spule): bis 4 khz Purkinje-Tracking: max. 1-2 khz Pupil-Tracking: max. 1-2 khz
Verschiedene Eye Tracking Systeme Stationär AUGEN FORSCHUNGS Verschiedene Eye Tracking Systeme Remote AUGEN FORSCHUNGS 17
Verschiedene Eye Tracking Systeme Head-mounted EyeLink I / EyeLink II Systeme SMI-EyeLink I Eye Tracker Pupil Tracking (EyeLink II zusätzlich Corneareflex) Binokulares Tracking Berechnung der Blickposition Kalibrierung Kompensation von Kopfbewegungen Zeitliche Auflösung 250 Hz (EyeLink II 500 Hz) Räumliche Genauigkeit 0,5 1 o Online-Verfügbarkeit der Daten und nachfolgende Analyse (delay ca. 15 ms) SMI EyeLink I
EyeLink II / EyeGaze Systeme SR Research EyeLink II LC Technologies EyeGaze