Blickbewegungen vor dem Bildschirm

Transkript

1 Blickbewegungen vor dem Bildschirm Was Augenbewegungen über die Informationsverarbeitung an multi-modalen Mensch- Maschine-Schnittstellen sagen können Stefan Barattelli Lorenz Sichelschmidt Gert Rickheit Fakultät für Linguistik und Literaturwissenschaft Wenn Menschen miteinander kommunizieren, tun sie das auf vielerlei Wegen. Das wichtigste Kommunikationsmittel ist die gesprochene Sprache und ein Reden ohne Gestik ist selten. Mund und Hände sind also an der Kommunikation beteiligt, was aber ist mit den Augen? Es ist erstaunlich, daß über den Beitrag der Blicke zur Kommunikation in der Öffentlichkeit nicht viel und in der Fachwelt nur unter bestimmten Aspekten nachgedacht wird können Blicke doch so viel sagen! Noch wichtiger sind die Augen allerdings bei der Aufnahme von Informationen aus der Umwelt: 70% der Informationen, die der Mensch ständig aus der Umwelt aufnimmt, werden über die Augen erfaßt. Es ist deshalb gerade für die Verbesserung der Mensch-Maschine-Interaktion von zentraler Bedeutung, die Bewegungen der Augen zu untersuchen und zu analysieren, was die Augenbewegungen des Computernutzers sowohl für die Informationsaufnahme als auch für die Informationsübermittlung an den Rechner bedeuten. Dies geschieht derzeit im Rahmen der Arbeitsgruppe Mensch-Maschine-Interaktion des Forschungsprogramms Virtuelle Wissensfabrik des Landes Nordrhein-Westfalen. Forschung an der Universität Bielefeld 17/

2 Ein psycholinguistisches Experiment zum Vergleich von sprachlich dargebotener und bildlich dargebotener Information. Die Versuchsperson soll überprüfen, ob sich der blaue Punkt wirklich über dem gelben Punkt befindet. Nötig ist dazu die Wahrnehmung eines blauen und eines gelben Flecks und ihrer relativen Position in der Fläche. Solche Informationen können anders als Umrißinformationen auch dann erfaßt werden, wenn sie eher an der Peripherie des Sehfeldes liegen und nicht in der Nähe des Fixationspunkts. Wie Messungen der dabei ausgeführten Augenbewegungen ergeben, wird die Frage sofort nach dem Lesen der Frage beantwortet, ohne daß der Blick nach oben zum Bild wandert. Informationsaufnahme mit den Augen Die visuelle Informationsaufnahme mit den Augen beginnt beim Eintreffen von Lichtstrahlen auf den Zellen der Retina; diese Impulse werden vom Sehnerv weitergeleitet und in den Sehzentren der Großhirnrinde verarbeitet. Eine notwendige Voraussetzung für die Aufnahme visueller Information ist allerdings die schlichte Tatsache, daß wir die Augen offen haben und in die richtige Richtung blicken müssen. Das Blicken der Augen ist entgegen der intuitiven Selbstwahrnehmung kein kontinuierlich fließender Prozeß, die Augen gleiten beim Lesen nicht über den Text, sondern sie springen von Wort(gruppe) zu Wort(gruppe), von einem Fixationspunkt zum nächsten. Diese Sprünge der Augen werden Saccaden genannt. Während der Saccaden wird keinerlei Information aufgenommen. Dies geschieht nur während der Fixationen. Während der Fixationen ruhen die Augen auf einem Punkt innerhalb des Reizes, und die dort vorhandene Information wird visuell aufgenommen und verarbeitet. Aus der Wahrnehmungspsychologie sind grundlegende Eigenschaften der visuellen Informationsaufnahme bekannt. Sie gestatten es, einige Hinweise oder Rezepte für die Gestaltung von multimodalen Mensch-Maschine-Schnittstellen zu formulieren. Übertreibe nicht! Menge und Ordnung der Informationen, die mit den Augen abgesucht werden müssen, spielen eine wichtige Rolle für die Zeit, die zur Verarbeitung der Informationen benötigt wird. Dabei gilt folgende Beziehung: Je mehr Informationen gleichzeitig dargeboten werden, desto länger dauert die Verarbeitung dieser Informationen. Ebenso erhöht ein Mangel an Ordnung in den Informationen deren Verarbeitungszeit. Dies wird in beiden Fällen deutlich an der erhöhten Anzahl von Fixationen, die bis zum vollständigen Erfassen der Informationen erfolgen müssen. Wähle aus! Nicht alle visuellen Informationen werden gleich schnell bzw. gleich leicht verarbeitet. Unterschiedliche Eigenschaften von Reizen werden unterschiedlich schnell verarbeitet. So wissen wir z.b. aus eigenen Untersuchungen, daß die Farbe eines Reizes wesentlich schneller verarbeitet werden kann als seine Form. Dies liegt an dem wahrnehmungspsychologischen Phänomen, daß die Farbe eines Objektes schon peripher wahrgenommen werden kann, das heißt: ohne daß ich den Blick unmittelbar auf das farbige Objekt richte. Der Umriß, die Form eines Gegenstandes jedoch kann aus den Augenwinkeln nicht erkannt werden. Die geschickte Verwendung von farbigen Materialien führt also zu einer weniger aufwendigen Informationsaufnahme und damit zu einer leichteren Verarbeitung. 16 Forschung an der Universität Bielefeld 17/1998

3 Formuliere mit Bedacht! Wer heute mit einem Computer interagiert, wird dabei meist mit Informationen verschiedener Modalitäten konfrontiert. Nur selten jedoch wird von den Programmierern bedacht, auf welche Weise der Benutzer die ihm dargebotenen Informationen verarbeitet. Aus psycholinguistischer Sicht ist dabei besonders interessant, wie der Mensch mit gleichzeitig dargebotener sprachlicher und bildlicher Information umgeht. Gibt es bestimmte Informationskonfigurationen, die leichter verarbeitet werden als andere? Gibt es verschiedene Strategien der Informationsverarbeitung bei verschiedenen Benutzern? Zur Beantwortung dieser Fragen haben wir Experimente durchgeführt, in deren Verlauf den Probanden Reize wie in den beiden Abbildungen auf dieser Doppelseite dargeboten wurden. Die Aufgabe der Probanden bestand darin zu entscheiden, ob die dargebotene schriftliche Information mit der bildhaft präsentierten übereinstimmt. Gemessen wurden die Bearbeitungszeiten, außerdem die Augenbewegungen der Probanden bei der Bearbeitung der Aufgabe. Erstaunlicherweise gab es wenig Unterschiede zwischen den verschiedenen Probanden; alle verwendeten im wesentlichen dieselben Strategien der Informationsverarbeitung. Deutliche Effekte hatten dagegen die Materialeigenschaften: Bei farbigem Material konnten die Versuchspersonen darauf verzichten, die bildliche Information eigens zu fixieren. Es genügte die Wahrnehmung der farbigen Punkte an der Peripherie des Sehfeldes, um zu erkennen, in welcher räumlichen Anordnung die beiden Objekte vorlagen. Bei Objekten, die sich durch die Form unterschieden, mußten dagegen weitere Fixationen zur Überprüfung des Wahrheitsgehaltes der sprachlichen Aussage erfolgen. Eine weitere, für die Gestaltung multimedialer Anwendungen interessante Frage ist die nach den zeitlichen Verläufen der Aufnahme verschiedener Informationsarten. In dem beschriebenen Experiment kann man sich fragen, in welcher Reihenfolge die sprachlichen und bildlichen Informationen verarbeitet werden. Die Psycholinguistik liefert zu dieser Frage zwei Theorien: Nach der einen ist zu erwarten, daß zunächst das sprachliche Material verarbeitet wird, in einem zweiten Schritt wird dann das bildliche Material erfaßt und mit dem sprachlichen Inhalt verglichen. Nach der anderen Theorie würde man vorhersagen, daß zunächst das sprachliche Material so weit gelesen wird, bis man auf einen Verweis auf das bildliche Material stößt. Daraufhin sollte der entsprechende Teil des Bildes verarbeitet werden, woraufhin mit dem Lesen fortgefahren wird. Die Ergebnisse unseres Experimentes favorisieren die erste Hypothese: Erst wird das sprachliche Material komplett zu Ende gelesen, dann wird das Bild betrachtet. Es ist aber zu bedenken, daß sowohl das verwendete sprachliche Material als auch das bildliche Material sehr einfach waren. In einem Nachfolgeexperiment haben wir daher komplexeres Material verwendet. Ein weiteres Experiment zum Vergleich von bildlich dargebotener mit sprachlich dargebotener Information. Hier müssen die beiden Objekte, nach deren relativer Lage gefragt wird, nicht nach ihrer Farbe, sondern nach ihrer Form unterschieden werden. Diese Aufgabe ist schwieriger; die Probanden brauchen einige Zehntelsekunden länger, um sie zu beantworten. Das liegt daran, daß sie nach dem Lesen der Frage den Blick erst nach oben auf die beiden Objekte richten müssen. Ohne Fixation ist ein Formvergleich nicht möglich. Forschung an der Universität Bielefeld 17/

4 Erste Analysen dazu legen nahe, daß komplexeres Material tatsächlich eher in Sprüngen verarbeitet wird als sequenziell. Das heißt, es wird zunächst ein Teil des Satzes gelesen, daraufhin wird sofort die entsprechende bildliche Information fixiert, und erst dann wird weitergelesen. Die gelbe Linie mit den Ziffern in der Abbildung oben verdeutlicht dieses Hinund Her. Für multimediale Anwendungen kann man daher ein weiteres Rezept formulieren: Verteile die Informationen nach Komplexität! Werden sowohl sprachliche als auch bildliche Informationen verwendet, so sollten diese nur dann gleichzeitig dargeboten werden, wenn sie nicht zu komplex sind. Bei der Verwendung komplexeren Materials sollten die Informationen häppchenweise nacheinander dargeboten werden. Anderenfalls sollte bedacht werden, daß der Benutzer zwischen den Informationen hin- und herspringt, um sie effektiv verarbeiten zu können. Die hier dargestellten Hinweise oder Rezepte stellen selbstverständlich nur eine kleine Auswahl der in diesem Bereich vorhandenen Ergebnisse dar. Nicht immer ist es so einfach, in die Praxis übersetzbare Hinweise zu formulieren. Dies zeigt auch der folgende Abschnitt. Übermittlung von Informationen mit den Augen Wie schon oben angedeutet, werden die Augen in der alltäglichen Kommunikation nicht nur zur Informationsaufnahme verwendet, sondern auch, um Informationen zu übermitteln. Diesen Umstand kann man sich bei der Gestaltung von Mensch-Maschine- Schnittstellen zunutze machen, indem man dem Benutzer quasi seine Wünsche von den Augen abliest. So futuristisch dies klingen mag es ist dennoch grundsätzlich möglich, Augenbewegungen als Auslöser für Reaktionen der Maschine zu verwenden. Dabei steht man jedoch vor dem Problem, daß es bis heute nicht gelungen ist, klare Kriterien für eine eindeutige Klassifikation von Augenbewegungen zu formulieren. An einem Beispiel veranschaulicht: Was bedeutet es, wenn jemand seinen Blick für eine gewisse Zeit auf einem Reiz ruhen läßt? Nimmt er während der ganzen Zeit Informationen über den Reiz auf? Läßt er den Blick nur ruhen, während er über etwas anderes nachdenkt? In der Literatur werden üblicherweise zwei Lösungen für dieses Problem vorgeschlagen: Man kann Menschen trainieren, in bestimmten Situationen bestimmte Augenbewegungen zu zeigen. Z.B. kann man ihnen leicht beibringen, einen Gegenstand für eine bestimmte Zeit zu fixieren, so daß mit diesem Gegenstand etwas gemacht werden kann (z.b. könnte er für weitere Manipulationen ausgewählt werden, oder es könnten zusätzliche Informationen über den Gegenstand eingeblendet werden). Diese Lösung weist den großen Nachteil auf, daß die Natürlichkeit der alltäglichen Kommunikation verlorengeht. Die zweite vorgeschlagene Lösung beruht darauf, die Funktion der Augenbewegungen durch zusätzliche Eingaben, z.b. über eine Maus oder einen Joystick, zu verdeutlichen. In diesem Fall muß der Benutzer, wenn er einen Gegenstand nicht nur ansehen, sondern auch manipulieren will, eine zusätzliche Eingabe verwenden. Durch diese Lösung ist man aber wieder bei den veralteten Eingabemedien angelangt, die man ja eigentlich durch die Nutzung neuer Technologien zu umgehen sucht. In unserem Projekt verfolgen wir ein drittes Prinzip: Unsere Überzeugung ist, daß die menschliche Kommunikation deshalb so gut funktioniert, weil alle zur Verfügung stehenden Informationen über den Kommunikationspartner ausgewertet werden. Diesem Prinzip sollte auch eine multimodale Mensch- Maschine-Schnittstelle folgen. In unserem Falle bedeutet dies, daß sprachliche und gestische Infor- 18 Forschung an der Universität Bielefeld 17/1998

5 mationen (Kopf- und Hand- bzw. Armstellung) genutzt werden, um die Funktion einer bestimmten Augenbewegung zu kategorisieren. So kann man beispielsweise davon ausgehen, daß Fixationen, die von einer Zeigegeste und einer entsprechenden sprachlichen Äußerung begleitet werden, der Selektion von Objekten auf einem Display dienen sollen. Erste Experimente zu diesem Einsatz von Blickbewegungen in Mensch-Maschine-Schnittstellen sind ab Mitte dieses Jahres geplant. Dabei sollen zunächst nur einfache Funktionen von Fixationen überprüft werden, wie z.b. die Selektion von Objekten oder die Anforderung von Hilfstexten bzw. Zusatzinformationen zu fixierten Objekten. Komplexere Operationen, wie z.b. das Bewegen eines Objektes durch eine Saccade, werden bei Erfolg der ersten Experimente zu einem späteren Zeitpunkt untersucht werden. Eine wesentliche Funktion dieser Experimente wird die Überprüfung der Akzeptanz und Effizienz solcher Interaktionsmöglichkeiten sein. Hier liegt die Stärke der Beteiligung unseres psycholinguistischen Projektes an der Virtuellen Wissensfabrik und gleichzeitig die Schwäche bisheriger Entwicklungen im Bereich der Mensch-Maschine-Interaktion: In der überwiegenden Zahl der Fälle ist es eine rein an der Informatik ausgerichtete Forschung, die sich in diesem Bereich engagiert. Dadurch steht die Frage nach der technischen Realisierbarkeit einer Anwendung häufig im Mittelpunkt, wohingegen die Frage nach der Nutzbarkeit durch menschliche Wesen eher zweitrangig ist. Durch die in der Virtuellen Wissensfabrik praktizierte interdisziplinäre Forschung erhoffen wir uns weitere Fortschritte auf dem Gebiet einer natürlicheren Mensch-Maschine-Interaktion. Prof. Dr. Gert Rickheit (Mitte) studierte Linguistik, Psychologie und Literaturwissenschaft in Bochum und ist seit 1978 Professor für Linguistik an der Fakultät für Linguistik und Literaturwissenschaft der Universität Bielefeld mit den Schwerpunkten Psycholinguistik und Klinische Linguistik. Er war Sprecher der Forschungsgruppe Kohärenzprozesse, die von 1986 bis 1991 von der Deutschen Forschungsgemeinschaft gefördert worden ist. Er ist ebenfalls Sprecher des seit 1993 bestehenden Sonderforschungsbereichs Situierte Künstliche Kommunikatoren, in dem Linguisten und Informatiker der Technischen Fakultät der Universität Bielefeld Aspekte der Mensch-Maschine-Interaktion erforschen. Im Mittelpunkt seines Interesses liegt die kognitive verbale und visuelle Informationsverarbeitung. Dipl.-Psych. Stefan Barattelli (links) studierte Psychologie an der Ruhr-Universität Bochum und schloß 1990 mit einer Diplomarbeit im Bereich der Leseforschung ab. Danach war er bis 1996 wissenschaftlicher Mitarbeiter an der Universität Mannheim und ist seit 1997 wissenschaftlicher Mitarbeiter in einem Multimedia-Projekt an der Fakultät für Lingusitik und Literaturwissenschaft der Universität Bielefeld. Seine Forschungsschwerpunkte liegen im Bereich der Psycholinguistik und der Medienforschung. Dr. Lorenz Sichelschmidt (rechts) studierte Psychologie und Sprachwissenschaft an der Ruhr-Universität Bochum. 1987promovierte er im Bereich Sprachpsychologie mit einer Arbeit über Adjektivfolgen. Seit 1986 ist er an der Fakultät für Linguistik und Literaturwissenschaft der Universität Bielefeld beschäftigt. Sein Hauptarbeitsgebiet ist die empirische Linguistik. Als Projektleiter im Sonderforschungsbereich Situierte künstliche Kommunikatoren der Deutschen Forschungsgemeinschaft untersucht er kognitive prozesse des Sprachverstehens, der Bildverarbeitung und des Umgangs mit Multimedia-Information. Anzeige Forschung an der Universität Bielefeld 17/