INTELLIGENTE DATENANALYSE IN MATLAB. Objekterkennung

Transkript

1 INTELLIGENTE DATENANALYSE IN MATLAB Objekterkennung

2 Objekterkennung Problemstellung Gegeben: Ein Bild. Fragestellungen: Klassifikationsproblem Ist ein bestimmtes Objekt (z.b. Flugzeug) auf dem Bild? Welches Objekt ist auf dem Bild? Multiklassenproblem

3 Objekterkennung Lösungsansätze Gegeben: Ein Bild. Haar-like - Ansatz Bag of Visual Words - Ansatz Deformable Part Models - Ansatz 3

4 Haar-like Ansatz Pipeline Idee: Bild wird klassifiziert, indem Bildausschnitte nach einem Objekt durchsucht werden. Ein Bildausschnitt wird als Vektor von Haar-like Merkmalen repräsentiert. Gelerntes Modell bestimmt, ob Bildausschnitt (Vektor) ein bestimmtes Objekt enthält. f( ) Flugzeug Bildausschnitte entstehen, indem Fenster über Bild geschoben wird. 4 Bildausschnitt Vektor von Haar-like Merkmalen

5 Haar-like Merkmale Berechnung Haar-like Merkmale wurden im ersten Echtzeit- Gesichtserkenner verwendet. Werden aus Graustufenbild etrahiert. Jedes Haar-like Merkmal besteht aus oder 3 zusammenhängenden schwarzen und weißen Rechtecken. Fünf Basis Haar-like Merkmale: Rand-Merkmale Linien-Merkmale Rechteck-Merkmale 5

6 Haar-like Merkmale Berechnung Der Wert eines Haar-like Merkmals wird als Differenz zwischen der Summe der Graustufen für die Piel des weißen und schwarzen Rechtecks berechnet: F = Grauwert von Piel i Piel i in schw. Rechteck Grauwert von Piel j Piel j in weiß.rechteck Haar-like Merkmale erhöhen bzw. verringern die Interklassen- bzw. Intraklassenvariabilität. Klassifikator kann auf diesen Merkmalen gelernt werden. 6

7 Haar-like Merkmale Berechnung - Integralbild Haar-like Merkmale können effizient mit Hilfe des Integralbildes berechnet werden. Jedem Eintrag des Integralbildes ist die Summe aller Piel innerhalb des Rechtecks zwischen dem aktuellen Punkt und dem Ursprung des Bildes zugeordnet Graustufenbild Integralbild

8 Haar-like Merkmale Beispiel Differenz im Integralbild muss berechnet werden, um bestimmtes Haar-like Merkmal zu bestimmen. Etrem effizient, da nur Lookups im Integralbild nötig. Beispiel: weiß schwarz Graustufenbild F() = = 65 Integralbild 14

9 Haar-like Merkmale Bildrepräsentation Jedes Bild wird als Menge von Bildausschnitten mit den dazugehörigen Vektoren von Haar-like Merkmalen repräsentiert. Durch unterschiedliche Größen der Rechtecke (z.b. 1,, ) und unterschiedliche Formen (,, ) entsteht so hochdimensionaler Vektor. Normalisierung der Haar-like Merkmale oft sinnvoll. 9 Graustufenbild Vektor mit Haar-like Merkmalen

10 Haar-like Ansatz Vor- und Nachteile Haar-like Merkmale sind sehr einfach. Translation, Rotation und Skalierung wird nicht beachtet. Für einige Objektklassen ungeeignet. Autos, Flugzeuge. Höhere Erkennungsraten, werden mit kompleeren Merkmalen erreicht. SIFT-Merkmale. Gabor Wavelets. 1

11 Objekterkennung Bag of Visual Words Objekt Bag of Visual Words 11

12 Objekterkennung Bag of Visual Words Visual Words werden unabhängig voneinander betrachtet. Räumliche Informationen werden ignoriert. Objekt wird als Histogramm über Visual Words repräsentiert. 1

13 Bag of Visual Words Pipeline 1. Erkennung markanter Punkte (Interest Points) Local Interest Operator, Gitter über Bild.. Merkmalsrepräsentation Bildausschnitt (Patches), SIFT-Merkmale, Gabor Wavelets. 3. Erstellung eines Visual Word Dictionaries. 4. Jedem etrahierten Merkmal wird ein Visual Word zugewiesen (Bag of Visual Words). 13

14 Bag of Visual Words Erkennung markanter Punkte (Interest Points) 1. Möglichkeit: Local Interest Operator: Harris Laplace Förstner Operator Canny Edge Detector. Möglichkeit: Gitter über Bild legen. Alle (z.b. ) Piel ein Merkmal etrahieren. 14

15 Bag of Visual Words Merkmalsrepräsentation Bildausschnitt: Beschreibt charakteristischen Teil eines Objekts. Durch Ähnlichkeitsfunktion wird festgestellt, ob ein Bildausschnitt in einem Bild enthalten ist. SIFT-Merkmale: 18-dimensionaler Vektor kodiert die Umgebung (Farbübergänge, Kanten, ) an einem markanten Punkt. SIFT-Merkmale sind unempfindlich gegenüber: Translation, Rotation und Skalierung. 15

16 SIFT-Merkmale Berechnung von SIFT-Merkmalen SIFT-Merkmale sind lokale Bildmerkmale. Auf dieser Folie: Grid von Histogrammen mit 8 Ausrichtungs-Bins = 8 = 3 Dimensionen. Original: 44 Grid von Histogrammen mit 8 Ausrichtungs-Bins = 448 = 18 Dimensionen. 16

17 SIFT-Merkmale Bildrepräsentation Jedes Bild (Bildausschnitt) besteht aus der Menge seiner SIFT- Merkmale für alle Interest Points. SIFT Merkmale 17

18 Bag of Visual Words Klassifikation Bild wird als Vektor von Visual Words repräsentiert. Vektoren für positive und negative Beispiele. Mithilfe dieser Vektoren kann ein Modell gelernt werden. Lineares Modell (RegERM). Nichtlineare Modelle (Kernel). Fragestellung: Wie kann ein Bild in einen Vektor von Visual Words umgewandelt werden? Patches. SIFT-Merkmale. 18

19 Bag of Visual Words Visual Word Dictionary Jedem markantem Punkt im Bild wird ein Visual Word zugewiesen werden. Problem: SIFT-Merkmale spannen 18-dimensionalen Raum auf. Zuweisung zu einem Visual Word nicht einfach möglich. Lösung: Cluster SIFT-Merkmale um Visual Word Dictionary zu erhalten. Clusteranzahl steuert, wie fein die SIFT-Merkmale unterschieden werden. 19

20 Bag of Visual Words Visual Word Dictionary - Erstellung Wähle zufällig SIFT-Merkmale aus einer Trainingsmenge und finde k Clustermittelpunkte (Visual Words). Visual Words Vector Quatization + + +

21 Bag of Visual Words Visual Word Dictionary Typischerweise besteht die Trainingsmenge aus vielen 1 Bildern. Daraus ergeben sich Millionen von SIFT-Merkmalen. Problem: Standard K-Means Algorithmus für Millionen von Instanzen mit 18 Attributen sehr rechenaufwändig. Lösung: Hierarchical K-Means. Idee: Konstruiere Baum, der Daten in jeder Stufe in gleich viele ähnliche Gruppen aufteilt. 1

22 Bag of Visual Words Hierarchical K-Means Algorithmus: Hierarchical-K-Means(Instanzen X, Splitfaktor k, Belegung R) IF i j R i,j RETURN R ELSE mininde = arg min i R 1,i IF mininde = 1 clusters = K-Means(X, k) FOR j = 1 clusters R j,1 = clusters j + 1 R = Hierarchical-K-Means(X, k, R) ELSE FOR i = 1 kmininde 1 indelist = sort( l R l,mininde 1 = k mininde 1 + i 1 clusters = K-Means({ l l indelist}, k) FOR j = 1 indelist, ascending) R indelist j,mininde = clusters j + k mininde + i 1 k 1 R = Hierarchical-K-Means(X, k, R) Bestimme aktuell zu bearbeitende Tiefe Schleife über alle vorigen Cluster Neu zu clusternde Instanzen Bestimme Clusterzuweisung

23 1.Schritt: Aufruf K-Means(X,k) 3 Bag of Visual Words Hierarchical K-Means - Beispiel R X k Tiefe Daten Splitfaktor Clusterzuordnung R ,,,,,,, ,,, ,,,

24 .Schritt: Aufruf K-Means({ },k) Aufruf K-Means({ },k) 4 Bag of Visual Words Hierarchical K-Means - Beispiel R X ,,,,,,, R ,,, ,,, 4 3 1,,, , 4 3, 6 5, 8 7, ,,, k

25 Häufigkeit Bag of Visual Words Bildrepräsentation Ein Bild wird als Histogramm der Visual Words repräsentiert. Visual Words.. 5

26 Bag of Visual Words Klassifikation Ein Bild wird als Bag of Visual Words Vektor repräsentiert. Lerne lineares/nicht-lineares Modell, um positive von negativen Bildern zu diskriminieren. Entscheidungsebene Hintergrund Bildschirm 6 In some feature space

27 Bag of Visual Words Klassifikation - Kernel Häufig verwendete Kernel: Linearer Kern (lineares Modell), RBF-Kern, Chi-Square-Kern, Earth Mover s Distance. k, y = 1 n i=1 ( i y i ) 1 ( i + y i ) 7

28 Bag of Visual Words Probleme Räumliche Informationen gehen verloren. Wo befindet sich ein bestimmtes Visual Word? Es wird nur gezählt wie oft jedes Visual Word auftaucht. Clusteranzahl muss vorgegeben werden. Überanpassung. Merkmalsetraktion häufig sehr teuer. 8

29 Spatial Pyramid Matching Problem: Räumliche Information werden nicht genutzt. Lösung: Spatial Pyramid Matching. Idee: Betrachte die räumliche Position der Visual Words. 9

30 Spatial Pyramid Matching 3

31 Spatial Pyramid Matching Pyramid Matching Kernel Pyramid Matching Kernel: Bestimmt Ähnlichkeit zwischen zwei Bildern. Idee: Je genauer die Positionen zweier gleicher Visual Words übereinstimmen, desto besser. Berechnung: Bestimme den höchsten Level (Größe und Lage der Rechtecke) auf dem zwei Visual Words zusammen gehören. K 1w N i i L i Schwierigkeit in Level i zwei Paare zu matchen. Anzahl neu gematchter Paare in Level i. 31

32 ( X ) ( Spatial Pyramid Matching Pyramid Matching Kernel Aufbau des Merkmalsvektors X = Bild Ψ X =,,,, T H H H H H 5 3

33 Spatial Pyramid Matching Pyramid Matching Kernel Histogrammdurchschnitt Histogrammdurchschnitt gibt an, wie viele Visual Words in einem Rechteck übereinstimmen. Histogrammdurchschnitt r Ι H X, H Y = min (H X j, H(Y) j ) j=1 Bild 1 Bild H(X) H(Y) Ι H X, H Y = 4 33

34 Spatial Pyramid Matching Pyramid Matching Kernel Genaue Berechnung: L i Ι H i X,H i (Y) Ι(H i 1 X,H i 1 (Y) ) i=1 Anzahl neu matchender Paare auf Level i Schwierigkeit in Level i zwei Paare zu matchen K Δ Ψ X, Ψ Y = 34

35 Zusammenfassung Haar-like Ansatz Etrahiere Haar-like Merkmale für Teilbilder. Klassifikation anhand der Haar-like Merkmale in Teilbild. Bag of Visual Words Ansatz SIFT-Merkmale / Patches werden etrahiert. Hierarchical K-Means um Visual Word Dictionary für SIFT- Merkmale zu erstellen. Klassifikation anhand der Visual Words, die in einem Bild (Teilbild) vorkommen. Spatial Pyramid Matching Nutze räumliche Informationen, die bei Bag of Visual Word Ansatz verworfen werden. 35