Modellierung von Blickbewegungen Ausgangssituation Empirische Untersuchung Aufstellen einer Untersuchungshypothese Experiment Analyse der Experimentdaten Test der Untersuchungshypothese Ziel Erklärungsansatz für experimentelle Beobachtungen Entwicklung eines (mehr oder weniger) formalen Modells Beschreibung des Zusammenhangs von abhängigen und unabhängigen Variablen 1
Beispiel Newtonsche Gravitationstheorie Aufstellen einer Untersuchungshypothese Experiment Analyse der Experimentdaten Test der Untersuchungshypothese Gravitationsgesetz Formalisierung Newtons Gravitationsmodells Berechnungsvorschrift für Gravitationskraft zwischen zwei Objekten bekannter Masse und Abstand Keine Erklärung der Ursache von Gravitation m1m F = γ 2 r 2 Beispiel Problem Berechung der Trajektorien von mehr als zwei Objekten unmöglich Lösungsansatz Numerische Approximation Iterative Berechung von Systemzuständen Diskretisierung der Zeit notwendig: Kleine Diskretisierungsschritte: Hohe Präzision, aber rechenaufwändig Große Diskretisierungsschritte: Rechenaufwand akzeptabel, aber geringe Präzision Simulation komplexer Systeme erst in jüngerer Vergangenheit möglich Aber: Viele Systeme sind störanfällig, langfristige Vorhersagen kritisch 2
Was können wir aus Computersimlationen lernen? Vergleich der Ergebnisse von Computersimulationen mit empirischen Daten gibt Aufschluss über die Adäquatheit der Simulation Unstimmigkeiten deuten auf Unzulänglichkeiten hin Nicht alle Eigenschaften des Systems wurden berücksichtigt Das Modell ist unvollständig oder (teilweise) falsch Lösung: Suche nach Modelloptimierungen durch weitere Experimente und erneuten Abgleich von empirischen mit modellgenerierten Daten Besseres Verständnis komplexer Prozesse durch Computersimulationen 3
Ziel Verständnis und Modellierung mentaler Prozesse Verständnis der Informationsverarbeitung im Gehirn Neuronale Ebene Funktionale Ebene Kommunikation zwischen Neuronen und neuronale Informationsverarbeitung und Lernen Neuronale Modelle Funktionale Struktur des Gehirns, regionale Aufgabenspezialisierung Phänomenologische Modelle Neuronale Modelle Biologisch motiviert Simulation von (wenigen) Neuronen und ihrer Verbindungen Künstliche Neuronale Netze Neuron Mathematische Rechenvorschrift Eingaben: Ausgaben anderer Neuronen Ausgaben: Ergebnis der Berechnung wird an andere Neuronen weitergegeben Verbindungen Lernen und Adaptation durch Anpassen der Gewichtungen der Verbindungen Unterschiedliche Netzwerk-Architekturen Verschiedene Lernalgorithmen 4
Phänomenologische Modelle Keine Imitation physiologischer (neuronaler) Prozesse Statt dessen Reproduktion perzeptiver und kognitiver high-level Funktionen Modellierung funktionaler Subsysteme: Neuronencluster Gehirnregionen Gehirnleistungen / -funktionen Modellalgorithmen imitieren Subsystem-Effekte / -Funktionen Irrelevant: Innere Subsystemen-Struktur Effekte: Reduktion der Modellkomplexität High-level Modellierung wird möglich 5
Vergleichende visuelle Suche Wo ist der Unterschied? Erster Ansatz: Random Walk Virtuelle, zufällige Augenbewegungen basierend auf statistischer Verteilung der empirischen Blickbewegungsparameter lokalen Stimuluscharakteristika Beispiel: Modellierung Sakkadenlänge 6
Random Walk Verfahren Statistische Reproduktion der empirischen Verteilung der Sakkadenlängen Zufällige Auswahl der Sakkadenlänge in Abhängigkeit der lokalen Objektdichte an einer Blickposition Berücksichtigung der empirischen Häufigkeitsverteilung als Zufallsverteilung Random Walk erzeugt mit zunehmender Objektdichte kürzere Sakkaden Random Walk Verteilungen und Modellparameter Sakkadenlänge Sakkadenlänge lokale Objektdichte am Startpunkt einer Sakkade lokale Objektdichte in der Mitte einer Sakkade Fixationsdauer lokale Objektdichte an Fixationspunkten Anzahl aufeinander folgender Fixationen innerhalb einer Bildhälfte lokale Objektdichte des jeweils ersten Fixationspunktes Absoluter Winkel aller Sakkaden innerhalb einer Bildhälfte Winkel aufeinander folgender Sakkaden innerhalb der gleichen Bildhälfte 7
Random Walk Vereinfachungen Modellgenerierte Fixationspunkte werden zu Objektpositionen gerundet Startpunkt wird zufällig auf einem Objekt gewählt Bei Wechsel der Bildhälfte werden korrespondierende Objekte fixiert Ende bei Finden des Unterschieds Zufällige Anzahl von Verifikationssakkaden (2-4) Random Walk Ergebnisse Adäquate Modellierung von low-level Faktoren der Blickpfade (FD,SL) Unzureichende Modellierung von RT Prozesse kognitiv höherer Ebenen unberücksichtigt, insbesondere globale Verarbeitungsstrategien Empirie Modell 8
Idee eines Ebenen-Modells Globale Ebene Attentive Ebene Okulomotorische Ebene Modellansätze Greedy TSP Kohonen Rezeptive Felder Clustering Drei-Ebenen Modell 9
Globale Ebene Modellierung globaler Suchstrategien Greedy TSP Springe als nächstes jeweils zu dem Objekt, das dem aktuell fixierten geometrisch am nächsten liegt Berechne den Suchpfad so, dass die Gesamtstrecke zwischen Startund Endpunkt minimiert wird Clustering Minimiere die Distanzen innerhalb eines Clusters und maximiere die Distanzen zwischen Clustern Rezeptive Felder Berechnung durch hierarchische Partitionierung mittels räumlich orientierter rezeptiver Felder 10
Modellierung globaler Suchstrategien Kohonen (SOM) Berechne den Suchpfad iterativ Gewichtsvektoren einer Neuronenkette repräsentieren die Suchpfadpositionen Ein Adaptationsverfahren optimiert dabei die Nachbarschaftsverhältnisse der Stationen entlang des Pfads Die Objektpositionen übernehmen die Rolle von Trainingsbeispielen Wähle einen zufälligen Eingabevektor des Merkmalraums Bestime ein Neuron j mit v w j v wi, i j, d.h. das Neuron mit der besten Repräsentation von v ( winner ) Verändere alle Gewichtsvektoren in Richtung des Eingabevektors j mit der adaptiven Schrittweite h ij. ε ist ein zusätzlicher Parameter für die globale Schrittweite: new old w = w + ε h v w, ε 0,1 i i ij ( ) [ ] i Modellierung globaler Suchstrategien 11
Drei-Ebenen-Modell Globale Ebene Variante des TSP. Suchpfad mit minimaler Gesamtstrecke, jedoch unter bevorzugtem Besuch farbgleicher Objekte nacheinander. Startpunkt: Objekt oben links Ziel: Optimierung des Gesamt-Verarbeitungsaufwands Drei-Ebenen-Modell Attentive Ebene Unterteilung der Objektmenge in räumliche Cluster Memorierung von Farbe und Form der Objekte im betreffenden Cluster Aufmerksamkeitsverlagerung auf das entsprechende Cluster in der anderen Bildhälfte Vergleich: Unterschied gefunden Abarbeitung der folgenden Cluster Verifikation, sonst Aufmerksamkeitsverlagerung durch Kapazität des Arbeitsgedächtnisses und spezifische Charakteristika von Stimuli bestimmt Ziel: Optimierung der Gedächtnisbelastung 12
Drei-Ebenen-Modell Okulomotorische Ebene Programmierung und Ausführung konkreter Sakkaden unter Berücksichtigung von Ungenauigkeiten von Fixationspunkten ( saccadic noise ) Drei-Ebenen-Modell Globale Ebene Attentive Ebene Okulomotorische Ebene 13
Experimentelle Methode Stimuli Aufgabe Finde die 5! oder Finde die grüne 5! 14
Ursache-Wirkung Hypothese Ursache Farbinformation Vorwissen beeinflusst Keine Farbinformation Unabhängige Variablen Wirkung Suchzeit RT Suchzeit Anzahl Fixationen NF Blickbewegungen Sakkadenlänge SL Abhängige Variablen Erwartungen - Ergebnisse Suchzeit RT mit Farbinfomation geringer als ohne Anzahl Fixationen NF mit Farbinfomation geringer als ohne Sakkadenlänge SL mit Farbinfomation kürzer als ohne Beispiel-Trajektorien Finde die rote 5! Finde die grüne 9! 15
Beispiel-Trajektorien Finde die 9! Finde die 8! Modellansatz Was soll modelliert werden? RT, NF und SL Blicktrajektorien Mit Farbinformation Realisation & Implementation Vorschlag: Nearest-neighbour Algorithmus Ohne Farbinformation Parameter: Berücksichtigung der unabhängigen Variable Farbinformation 16
Nearest-neighbour Modell Start beliebiges Startobjekt ja Farbinfomation? nein geometrisch nächstes Objekt in Zielfarbe geometrisch nächstes Objekt nein Zielobjekt gefunden? ja nein Ende Modell-Pfade Finde 8! Finde die grüne 9! 17
Nearest-neighbour Modell Optimierung Zeilen- oder spaltenweise Suche Suchrichtung von rechts oder links bzw. von oben oder unten Bevorzugt Sakkaden in Richtung von Regionen geringer Farbentropie Zufällige Sakkaden in Richtung unbesuchter Regionen, falls keine gleichfarbigen benachbarten Objekte Z.B. dynamische Anpassung der Grösse der Nachbarschaftsregion Histogramme für Sakkadenlängen und -winkel Modellierung der Häufigkeitsverteilungen Nearest-neighbour Modell Optimierung (Fortsetzung) Rauschen von Fixationspunkten ( saccadic noise ) Gedächtnis: Merken (und vergessen ) bereits besuchter Objekte Fixationsdauer: Abhängig von Sakkadenlänge und -winkel Abhängig von geometrischer Ähnlichkeit zum Ziel Suchzeit Sakkadendauer: Abhängig von Sakkadenlänge 18
Modell-Pfade Finde 8! Finde die grüne 9! 19