Inhalt und Überblick. Visuelle Kognition WS 2001/2002 Adrian Schwaninger

Transkript

1 Visuelle Kognition WS 2001/2002 Adrian Schwaninger Nonaccidental Properties Argumente pro Nonaccidental Properties Einleitung Inhalt und Überblick Repräsentation, Erkennung, Kategorisierung Traditioneller Ansatz Strukturelle Beschreibungen Ansichtenbasierte Modelle Diskussion Gesichterwahrnehmung Befunde aus den Neurowissenschaften Primäre visuelle Verarbeitung Höhere visuelle Verarbeitung Bottom-up und top-down Prozesse Selektive Aufmerksamkeit Aufmerksamkeit und Gehirn Imagery Integration und Zusammenfassung Visuelle Kognition WS 01/02 A. Schwaninger 4.1 (Aus Biederman, 1987) Visuelle Kognition WS 01/02 A. Schwaninger 4.2

2 Strukturelle Beschreibungen Argumente gegen RBC Strukturelle Beschreibungen Argumente gegen RBC Antwort: Weshalb nicht direkt Nonaccidental Properties mit Gedächtnisrepräsentation vergleichen? Reine bottom-up Verarbeitung von Nonaccidental Properties ist sehr verwechslungsanfällig.? Image Translationally Invariant Features Memory (Nach Biederman, 1987 und Edelman, 1999) Einwand gegen Edge Detection als ersten Schritt: At present, there is no reliable method for mapping a gray-level image into a collection of (labeled) primitives (lines, corners etc.) from which RBC s geons are constructed. (Edelman, 1999, p.31) (Aus Hummel & Biederman, 1992) Visuelle Kognition WS 01/02 A. Schwaninger 4.3 Reliablere Mechanismen zur Erstellung einer Linienrepräsentation und / oder top-down gesteuerte Ergänzungsmechanismen. (Kosslyn, 1994; Lowe, 1987; Ullman, 1989) Visuelle Kognition WS 01/02 A. Schwaninger 4.4

3 Strukturelle Beschreibungen Argumente gegen RBC Strukturelle Beschreibungen Argumente gegen RBC (Aus Edelman, 1999) Mehrere strukturelle Beschreibungen möglich Top-down Prozesse (Bienenstock et al., 1997; Lowe, 1987) (Aus Edelman, 1999) (Aus Edelman, 1999) Welche Geone bei realen Objekten???? Erkennung von Subkategorien Einbeziehung metrischer Relationen (z.b. Länge von Teilen Stankiewicz & Hummel, 1996) Visuelle Kognition WS 01/02 A. Schwaninger 4.5 Visuelle Kognition WS 01/02 A. Schwaninger 4.6

4 Überblick Ansichtenbasierte Ansätze Ausrichtung von 3D o. 2D Repräsentationen Lowe (1985, 1987) Huttenlocher & Ullman (1987, 1990) Olshausen et al. (1993) Ausrichtung von 3D Repräsentationen Die Grundidee von Lowe (1985, 1987) 3D Modell Linearkombination: Ullman & Basri (1991) Interpolation: Poggio & Edelman (1990) 2D Projektion Überblick zu Weiterentwicklungen Kosslyn (1994) Ullman (1996) Tarr & Bülthoff (1998) Edelman (1999) The precise problem we wish to solve is the following: given a set of known correspondences between three-dimensional points on a model and points in a two-dimensional image, what are the values of the unknown projection and model parameters that will result in the projection of the given model points into the corresponding image points (Lowe, 1987, p.361). (Nach Lowe, 1987) Visuelle Kognition WS 01/02 A. Schwaninger 4.7 Visuelle Kognition WS 01/02 A. Schwaninger 4.8

5 Ausrichtung von 3D Repräsentationen Ausrichtung von 3D Repräsentationen Initial guess for wievpoint with error measures Problem: Ein Vergleich der Inputrepräsentation mit ALLEN Gedächtnisrepräsentationen wäre sehr uneffizient. Vorauswahl EINER Gedächtnisrepräsentation durch bottomup basierte Detektion und Gruppierung von relativ invarianten Merkmalen (nonaccidental properties). Beobachtung: Das visuelle System gruppiert automatisch anhand solcher nonaccidental properties. Beispiele: Verbundenheit (connectivity), Kollinearität (collinearity) und Parallelität (parallelism). 1. Least-squares solution Image Data (Nach Lowe, 1987) (Nach Lowe, 1987) Visuelle Kognition WS 01/02 A. Schwaninger 4.9 Visuelle Kognition WS 01/02 A. Schwaninger 4.10

6 Nonaccidental Properties Lowe (1984, 1985, 1987) Ausrichtung von 3D Repräsentationen Die Implementation: SCERPO (Lowe 1985, 1987) Perceptual Grouping 1. Collinearity, Proximity, Parallelism 2. Higher Order Grouping (Trapezoid Shapes, Parallel Groups, Symmetries etc.) Edge Detection and Line Segmentation Input Image (Aus Biederman, 1995) Visuelle Kognition WS 01/02 A. Schwaninger 4.11 (Nach Lowe, 1987) Visuelle Kognition WS 01/02 A. Schwaninger 4.12

7 Ausrichtung von 3D Repräsentationen Ausrichtung von 3D Repräsentationen 3D Modell Huttenlocher & Ullman (1987, 1990) 2D Projektion Ergebnis Weisse Linien: Übereinstimmung zwischen Inputbild und Modellprojektion. Punktierte Linien: Ergänzungen durch Modellprojektion. (Aus Lowe, 1987) Visuelle Kognition WS 01/02 A. Schwaninger 4.13 (Aus Huttenlocher & Ullman, 1990) Visuelle Kognition WS 01/02 A. Schwaninger 4.14

8 Linearkombinationsmodell Grundidee (Ullman & Basri, 1991): M = M 1, M 2,..., M k seien Ansichten eines Objektes. Ein 2D Bild P gehört zu M wenn gilt: M1 M2 N LC1 LC2 LC3 (Aus Ullman, 1996, nach Ullman & Basri, 1991) Visuelle Kognition WS 01/02 A. Schwaninger 4.15 (Nach Ullman, 1996) Visuelle Kognition WS 01/02 A. Schwaninger 4.16

9 Recognition by View Combination Interpolation von 2D Repräsentationen Grundidee (Poggio & Edelman, 1990): I. Für jedes Objekt existiert eine multivariate Funktion f(x), welche jede perspektivische Ansicht in eine standardisierte Ansicht des Objektes abbildet. II. Diese Funktion kann durch eine relativ geringe Anzahl von 2D Ansichten approximiert werden. Eine 2D Ansicht wird durch eine mehrdimensionale Gaussverteilung modeliert. Radial Basis Function (RBF) f(x)=b(x-x 1 )+2B(x-x 2 ) (From Riesenhuber & Poggio, 1999b) Visuelle Kognition WS 01/02 A. Schwaninger 4.17 (Aus Edelman, 1999) Visuelle Kognition WS 01/02 A. Schwaninger 4.18

10 The Chorus of Prototypes (Edelman & Duvdevani-Bar, 1997; Edelman, 1998, 1999) The Chorus of Prototypes RBF module (Nach Edelman, 1999) (Nach Edelman, 1999) Visuelle Kognition WS 01/02 A. Schwaninger 4.19 Visuelle Kognition WS 01/02 A. Schwaninger 4.20

11 Vergleich der drei ansichtenbasierten Ansätze Voraussagen gemäss Bülthoff & Edelman (1992), sowie Edelman (1999): 3 D Repräsentationen: Inter = Extra = Ortho Linearkombinationen: Inter = Extra > Ortho Interpolation: Inter > Extra, Ortho Vergleich der drei ansichtenbasierten Ansätze Empirische Daten TRAINING ORTHO INTER EXTRA ORTHO (Modifiziert nach Bülthoff & Edelman, 1992) Visuelle Kognition WS 01/02 A. Schwaninger 4.21 (Aus Bülthoff & Edelman, 1992) Visuelle Kognition WS 01/02 A. Schwaninger 4.22

12 Vergleich der drei ansichtenbasierten Ansätze Theorien der Objekterkennung Ansichtenbasierte Ansätze Argumente gegen ansichtenbasierte Modelle Daten Interpolationsmodell (Aus Biederman & Gerhardstein, 1993) Objektklasse wird trotz jeweils neuer Konturen erkannt. (Nach Biederman, 1987) Art der Konturen ist unterschiedlich relevant (Hummel & Biederman, 1992). (Aus Bülthoff & Edelman, 1992) Bottom-up Auswahl einer Gedächtnisrepräsentation durch nonaccidental Properties (NAPs, Lowe, 1987). Visuelle Kognition WS 01/02 A. Schwaninger 4.23 Visuelle Kognition WS 01/02 A. Schwaninger 4.24

13 Theorien der Objekterkennung Ansichtenbasierte Ansätze Argumente gegen ansichtenbasierte Modelle Theorien der Objekterkennung Ansichtenbasierte Ansätze Argumente gegen ansichtenbasierte Modelle (Aus Hummel & Biederman, 1992) Fehlende Sensitivität bezüglich einzelner Attribute. NAPs, sowie Input unterschiedlich gewichten (Ullman, 1996). Wie werden neue Objekte erkannt? Neue Objekten durch Ähnlichkeiten zu bekannten Prototypen enkodieren und erkennen (Edelman & Duvdevani- Bar, 1997; Edelman, 1998, 1999). (Aus Biederman, 1987) Objekte werden automatisch aus Teilen bestehend wahrgenommen. Ansichtenbasierte Erkennung, strukturelle Beschreibungen zur Identifikation (Kosslyn, 1994). Visuelle Kognition WS 01/02 A. Schwaninger 4.25 Visuelle Kognition WS 01/02 A. Schwaninger 4.26