Objektwahrnehmung. Gestaltschule Merkmalsextraktion Ortfrequenzkanäle Marr s computational theory Geone versus bildbasierte Erkennung

Transkript

1 Objektwahrnehmung Eine Reihe von Ansätzen Gestaltschule Merkmalsextraktion Ortfrequenzkanäle Marr s computational theory Geone versus bildbasierte Erkennung Eine Reihe von Problemen Mehrdeutige und unmögliche Figuren Geschwindigkeit der Verarbeitung

2 Kippfiguren Kippfiguren, wie hier der Neckerwürfel oder das Bild der jungen/alten Frau, lassen unterschiedliche Interpretationen zu, die in der Wahrnehmung miteinander konkurrieren

3 Unmögliche Figuren

4 Thorpe, Fize & Marlot (1996) Versuchspersonen wurden für kurze Zeit (50 msec) Bilder dargeboten, in denen in 50% der Fälle ein Tier enthalten war. Sie mussten auf Tiere durch Loslassen einer Taste so schnell wie möglich reagieren.

5 EEG-Daten Difference Targets Distractors Schon nach 150 msec zeigt sich im EEG ein Unterschied zwischen Tier- und Nicht-Tier- Durchgängen

6 Verarbeitungsgeschwindigkeit Das Experiment von Thorpe, Fize & Marlot (Nature, 1996) zeigt, dass Wahrnehmungsprozesse mit rasend hoher Geschwindigkeit ablaufen In V1 werden Kanten extrahiert, ca msec nachdem das Licht ins Auge gelangt ist Schon ca. 80 msec später hat das Gehirn entschieden, ob ein Tier auf dem Bild sichtbar ist Das entspricht ungefähr 5-8 Synapsen (Verarbeitungsschritten)

7 Zeitlicher Ablauf

8 Die Gestaltpsychologie Begründet von Wertheimer und Koffka in Frankfurt. Koffka lehrte später in Gießen ( ) Das Ganze ist mehr als die Summe seiner Teile Organisationsprinzipien der Wahrnehmung die Gestaltgesetze

9 Wahrnehmungsorganisation

10 Gesetz der Prägnanz Jede Figur wird so wahrgenommen, dass sie in einer möglichst einfachen Struktur resultiert ( gute Gestalt )

11 Gesetz der Ähnlichkeit Ähnliche Objekte werden zusammengefasst. Die Abb. Links ist bistabil: manchmal sehen wir die Punkte als Reihen und manchmal als Spalten. Rechts daneben sieht man die Muster fast immer als Spalten, da die Objekte innerhalb einer Spalte identisch sind, nicht aber in den Reihen.

12 Gesetz der guten Fortführung

13 Gesetz der Nähe Nahe Objekte werden gruppiert. In (b) gewinnt die Nähe über die Ähnlichkeit der Form.

14 Gemeinsames Schicksal Gemeinsame Bewegungen führen zu Gruppierung

15 Gesetz der Bedeutsamkeit

16 Gesetze des Sehens? Die Gestaltgesetze sind keine Naturgesetze im engeren Sinne, da sie keine Vorhersage des Verhaltens erlauben Viele Aspekte der Gestaltpsychologie haben aber nachfolgende Forscher sehr beeinflusst Oftmals haben sich dadurch mechanistische Erklärungen der Gestaltgesetze ergeben

17 Physiologie der Linienfortführung Wenn Reize als Bestandteil eines Ganzen wahrgenommen werden, dann führt dies in der Regel auch zu höheren Antworten in kortikalen Neuronen.

18 Merkmalsdetektoren Hubel und Wiesel entdeckten eine Hierarchie von einfachen, komplexen, und hyperkomplexen Zellen im primären visuellen Kortex Wird diese Hierarchie in den extrastriären Arealen fortgeführt? Forscher entdeckten im inferotemporalen Kortex Zellen, die nur auf sehr komplexe Muster antworten

19 Formzellen in IT Tanaka fand, dass Zellen in IT sehr spezifische antworten zeigen (links). Die Zellen waren in IT je nach Präferenz in Kolumnen angeordnet.

20 Gesichterzellen Charles Gross und Kollegen fanden auch Zellen, die nur auf Gesichter reagieren

21 Gesichterneurone Die Antworten der Zelle sind am höchsten bei Bildern, in denen Gesichter gezeigt werden

22 Folgerung Aus dieser zunehmenden Spezialisierung könnte man folgern, dass man für jeden visuellen Reiz eine eigene Zelle hat, die nur diesen Reiz erkennt Auch für die eigene Großmutter? Dieses Schema der Kodierung ist ineffizient und anfällig für Fehler Gesichter sind speziell

23 Die Thatcher-Täuschung Pete Thompson stellte Margaret Thatcher auf den Kopf

24 Iiiiihhhhh Verzerrungen in Gesichtern, die auf den Kopf gestellt sind, sind nur schwer erkennbar Das Gesicht wird aus den Einzelteilen zusammengesetzt wahrgenommen

25 Clinton und Gore? Kontexteffekte

26 Ortsfrequenzkanäle Jedes Bild kann mathematisch in einfachere Muster zerlegt werden (Sinusgitter) Wir können die Antwort des visuellen Systems auf Sinusgitter messen Falls das System linear ist, können wir aus dieser Antwort die Antwort auf beliebige Reize vorhersagen

27 Rechteck und Sinus Komponenten Summe Eine Rechteckschwingung kann aus vielen Sinusgittern zusammengesetzt werden

28 Kontrastempfindlichkeit Kontrast Frequenz

29 Ortsfrequenzkanäle Wir nehmen Sinusgitter am besten wahr, wenn sie eine Ortsfrequenz von 4 Perioden pro Sehgrad haben. Niedrigere Frequenzen werden schlechter gesehen. Gitter mit über 60 Perioden pro Sehgrad sehen wir überhaupt nicht mehr. Die Kontrastempfindlichkeitskurve kann sich vorstellen als die Hüllkurve der Empfindlichkeitskurven einzelner Neurone.

30 Neurone und Sinusgitter

31 Helmholtz zerlegt Tiefpass Bandpass Hochpass Orientierte Kanäle

32 Ortsfrequenzmodell Neurone im Kortex haben unterschiedliche Größen ihrer rezeptiven Felder. Dies macht sie für unterschiedliche Ortsfrequenzen empfindlich.

33 Adaptation Ortsfrequenzkanäle lassen sich selektiv adaptieren.

34 Adaptation

35 Test

36 Probleme Die Theorie der Ortsfrequenzkanäle kann sehr gut vorhersagen, wie gut wir bestimmte Muster entdecken können Sie bietet keine Möglichkeit der Vorhersage, wie wir Objekte erkennen können Das Amplitudenspektrum ist in natürlichen Szenen nahezu immer gleich (1/f)

37 Marr s Ansatz (1980) Alles, was wir wahrnehmen, wird irgendwo im Gehirn berechnet. Marr unterscheidet drei Ebenen: Was ist das Ziel der Berechnung? Wie kann diese Berechnung implementiert werden (Algorithmus, Input, Output)? Wir lässt sich dies physikalisch implementieren (mit der gegebenen Gehirn-Hardware)?

38 Marr s Ansatz Im Bild wird die Intensität an jedem Punkt repräsentiert Im Primal Sketch werden wichtige Merkmale extrahiert, wie Ecken und Kanten Im 2 ½ D Sketch wird Tiefeninformation miteinbezogen und Primitiva gruppiert Im 3-D Modell werden ganze Formen in einer hierarchischen Weise organisiert

39 Wer ist das?

40 Bedeutung der Kanten Marr hebt die Bedeutung der Kanten hervor Fehlt diese Information, dann ist das Bild nicht mehr zu erkennen In diesem Beispiel bleibt die Kanteninformation für die niedrigen Ortsfrequenzen erhalten Original Nur hohe Ortsfrequenzen Nur niedrige Ortsfrequenzen

41 Auflösungsraum Laut Marr geht die Analyse von Szenen hierarchisch vonstatten Zuerst werden die niederen Ortsfrequenzen analysiert, da man dort mit weniger Information auskommt Dann werden die Details miteinbezogen Das kann auch manchmal schiefgehen

42 Konflikt zwischen grobem und feinem Muster

43 Konflikt zwischen grobem und feinem Muster

44 Berechnung illusionärer Konturen

45 Illusionäre Konturen Illusionäre Konturen verhalten sich wie wahre Konturen und können auch optische Täuschungen induzieren

46 Neurone in V2 Von der Heydt und Peterhans fanden Neurone im Areal V2, die auf illusionäre Konturen reagieren

47 Merkmalsintegrationstheorie Treisman s Theorie geht davon aus, dass in einer ersten Stufe elementare Merkmale extrahiert werden. Dazu wird keine Aufmerksamkeit benötigt. In einem zweiten Schritt werden diese Merkmale kombiniert. Dazu ist der Fokus der Aufmerksamkeit notwendig.

48 Texturen Falls sich eine Textur vom Hintergrund in einem der elementaren Merkmale unterscheidet, dann können wir diese ohne Mühe (sprich Aufmerksamkeit) vom Hintergrund trennen

49 Parallele Suche Das O wird unter den V immer gleich schnell gefunden, ganz egal wie viele Distraktoren (V) vorhanden sind. Die Suche erfolgt parallel gleichzeitig an allen Orten.

50 Serielle Suche Das R wird unter den P und Q nur sehr schwer gefunden, vor allem wenn viele Distraktoren (P und Q) vorhanden sind. Die Suche erfolgt seriell immer nur an einem Ort.

51 Serielle und parallele Suche seriell parallel Wenn ein Merkmal parallel gesucht werden kann, dann gehört es zu den elementaren Bildmerkmalen Andere Merkmale, oder Merkmalskombinationen, müssen seriell gesucht werden.

52 Probleme Parallele Suche wurde für viele Merkmale gefunden (z.b. Krümmung), für die im visuellen Kortex sicherlich keine spezialisierten Detektoren vorhanden sind Es wurden dazwischen liegende Steigungen gefunden. Ab wann ist eine Suche seriell? Die Sucheffizienz hängt in erster Linie von der Salienz des Suchreizes ab

53 Erkennung durch Komponenten Objekte sind aus elementaren drei-dimensionalen Formen (Geonen) zusammengesetzt Geone sind leicht unterscheidbar aus fast allen Ansichten; Erkennung ist blickwinkelunabhängig Aus 36 Geonen können Tausende von Objekten zusammengebaut werden

54 Ansichtsinvarianz Aus der Ansicht von oben sind die meisten Geone des Teekessels verdeckt. Die Erkennung fällt schwer.

55 Bildbasierte Erkennung Die Recognition-by-Components (RBC) Theorie ist intuitiv verständlich, aber Erkennung hängt oftmals vom Blickwinkel ab

56 Bildbasierte Erkennung Objekte werden im Gedächtnis anhand von Schnappschüssen repräsentiert Diese Schnappschüsse sind aus bestimmten Blickwinkeln aufgenommen (gelernte Ansichten) Diese gelernten Ansichten werden am besten wieder erkannt Für andere Ansichten müssen die vorhandenen Schnappschüsse erst interpoliert werden Erkennung ist deswegen blickwinkelabhängig

57 Erlernen der Repräsentation Nach einer intensiven Lernphase steigt die neuronale Aktivität in Arealen, die für Erkennung wichtig sind (dort befinden sich auch die Gesichterzellen).

58 Probleme Was macht die Wahrnehmung so schwierig zu erklären? Wir wissen ziemlich gut wie Kanten entdeckt werden (in V1) Wir wissen nahezu nichts über die Berechnungen, die durchgeführt werden müssen, um Objekte zu erkennen. Wir wissen nur, dass diese Berechnungen sehr schnell ablaufen

59 Schematische Vorstellung

60 Objektwahrnehmung Es gibt viele Theorien der Objektwahrnehmung, die aber alle unzureichend sind Objektwahrnehmung ist natürlich von den visuellen Reizen abhängig, aber auch von kognitiven Faktoren Das visuelle System konstruiert die Umwelt so, wie sie am wahrscheinlichsten ist Das war s für heute!