Computergrafik 2: Klassifikation

Transkript

1 Computergrafik 2: Klassifikation Prof. Dr. Michael Rohs, Dipl.-Inform. Sven Kratz MHCI Lab, LMU München Folien teilweise von Andreas Butz, sowie von Klaus D. Tönnies (Grundlagen der Bildverarbeitung. Pearson Studium, 2005.)

2 Vorlesungen Datum Thema Einführung, Organisatorisches (Übungen, Klausur) 1.5./8.5. keine Vorlesungen (wegen 1. Mai und CHI-Konferenz) Abtastung von Bildern, Punktbasierte Verfahren der Bildverbesserung Licht, Farbe, Farbmanagement Konvolution, Filterung im Ortsraum (Verschiebung wegen Pfingstdienstag) 5.6. Fouriertransformation: Grundlagen Filterung im Frequenzraum Kanten, Linien, Ecken Segmentierung 3.7. Segmentierung, Morphologische Operationen Klassifikation Image Matching Klausur (Hörsaal M 018 im Hauptgebäude, Uhr) Computergrafik 2 SS2012 2

3 Themen heute Merkmale Klassifikation von Segmenten Texturmerkmale Formmerkmale Topologische Formmerkmale Bayes-sche Klassifikation knn-klassifikation Logistische Regression Computergrafik 2 SS2012 3

4 Merkmale und Klassifikation Klassifikation: Zuordnung von Bedeutung zu Segmenten Segmentkombinationen Pixeln Bounding Box eines Segments Kriterium sind Merkmale, für die oft angenommen wird durch Skalar repräsentierbar voneinander unabhängig Merkmale in einem Merkmalsvektor zusammengefasst Bildpunkt Computergrafik 2 SS2012 4

5 Einfache Pixel-Merkmale Grauwert m(p) = [f(p)] Farbwerte m(p) = [r(p) g(p) b(p)] Computergrafik 2 SS2012 5

6 3D-Merkmalsraum der Farbebenen rot grün blau Computergrafik 2 SS2012 6

7 Histogramme grün rot blau Computergrafik 2 SS2012 7

8 Mehrdimensionaler Merkmalsraum m 3 m 3 m 2 m 2 m 1 Projektionen des dreidimensionalen Merkmalsraums auf Blau-Grün-Ebene Blau-Rot-Ebene Grün-Rot-Ebene m 1 Computergrafik 2 SS2012 8

9 Merkmalsabhängige Klassifikation Klassifikation: Entscheidungsgrenze (decision boundary) im Merkmalsraum finden Allen Merkmalsträgern (hier: Pixeln) eine Bedeutung zuordnen Beispiel: Entscheidungsgrenze ist eine Gerade a m 1 +b m 2 +c=0 Pixelklassifikation: p(i,j) = Vordergrund, falls a m 1 (p)+b m 2 (p)+c < 0, sonst Hintergrund m 2 Hintergrund Vordergrund m 1 Computergrafik 2 SS2012 9

10 Klassifikationsergebnis a m1(p)+b m2(p)+c 0 a m1(p)+b m2(p)+c < 0 Computergrafik 2 SS

11 Computergrafik 2 SS

12 Texturmerkmale Objekte zeichnen sich nicht nur durch Helligkeit und Farbe aus. Textur: ein sich in einer bestimmten Region stochastisch oder deterministisch wiederholendes Muster (Invariante). Texturmerkmal: messbare Charakterisierung der Invariante. Textur beschreibt das Objektinnere. Computergrafik 2 SS

13 1 2 3 Beispiel Computergrafik 2 SS

14 Beispiel D=1, a=0 D=1, a=90 Computergrafik 2 SS

15 Co-Occurrence Matrix für 8 Nachbarn Matrix für (dx,dy) = Matrix für (-dx,-dy) Computergrafik 2 SS

16 Co-Occurrence Matrix für 8 Nachbarn Matrix für (dx,dy) = Matrix für (-dx,-dy) Computergrafik 2 SS

17 Co-Occurrence Matrix für 8 Nachbarn Matrix für (dx,dy) = Matrix für (-dx,-dy) Computergrafik 2 SS

18 Haralick'sche Texturmaße zunächst P Δ,α normieren: P Δ,α := 1 s P Δ,α mit K 1 K 1 g 1 =0 g 2 =0 ( ) s = P Δ,α g 1, g 2 Energie / Uniformität Kontrast Entropie Homogenität / inverse Differenz K 1 g 1 =0 K 1 g 1 =0 K 1 g 2 =0 K 1 g 2 =0 2 P Δ,α ( g 1, g 2 ) ( g 1 g 2 ) 2 P Δ,α g 1, g 2 ( ) K 1 K 1 P Δ,α ( g 1, g 2 ) log 2 $% P Δ,α ( g 1, g 2 )& ' g 1 =0 g 2 =0 K 1 g 1 =0 K 1 g 2 =0 P Δ,α ( g 1, g 2 ) 1+ g 1 g 2 liefern aussagekräftige Kennwerte für Texturen zur Segmentierung Berechnung für Δ = 1 und α = 0, 45, 90, 135 Merkmalsvektor aus Texturmaßen empfohlene Merkmale zur Texturklassifikation: Entropie, Kontrast, Korrelation Computergrafik 2 SS

19 Haralick'sche Texturmaße (weitere) zunächst P Δ,α normieren: Korrelation mit K 1 g 1 =0 K 1 g 2 =0 µ 1 = g 1 P Δ,α g 1, g 2 K 1 g 1 =0 K 1 K 1 g 2 =0 K 1 P Δ,α := 1 s P Δ,α mit (g 1 µ 1 ) (g 2 µ 2 ) P Δ,α ( g 1, g 2 ) σ 1 σ 2 ( ) ( ) µ 2 = g 2 P Δ,α g 1, g 2 g 2 =0 g 1 =0 K 1 K 1 g 1 =0 g 2 =0 ( ) s = P Δ,α g 1, g 2 K 1 K 1 ( ) σ 1 = (g 1 µ 1 ) 2 P Δ,α g 1, g 2 g 1 =0 K 1 g 2 =0 K 1 ( ) σ 2 = (g 2 µ 2 ) 2 P Δ,α g 1, g 2 g 2 =0 g 1 =0 inverse difference moment K 1 g 1 =0 K 1 g 2 =0 ( ) ( ) 2 P Δ,α g 1, g 2 1+ g 1 g 2 K 1 Unähnlichkeit P Δ,α ( g 1, g 2 ) g 1 g 2 K 1 g 1 =0 g 2 =0 Computergrafik 2 SS

20 Co-Occurrence Matrix mean und range der Richtungen 0, 45, 90, 135 für d=1 Computergrafik 2 SS

21 Co-Occurrence Matrix mean und range der Richtungen 0, 45, 90, 135 für d=1 Computergrafik 2 SS

22 Co-Occurrence Matrix mean und range der Richtungen 0, 45, 90, 135 für d=1 Computergrafik 2 SS

23 Korrelation, Entropie, Kontrast Korrelation Himmel Fels Wasser Entropie min mean max Kontrast mean, min, max berechnet über die Winkel 0, 45, 90, 135 Computergrafik 2 SS

24 Merkmalsvektoren aus Haralickschen Texturmaßen Energie inv. diff. moment Kontrast Entropie Computergrafik 2 SS

25 Formmerkmale Formmerkmale beschreiben das Äußere von Segmenten Allgemeine Merkmale Mittelpunkt der Bounding Box Schwerpunkt m des Segments Translationsinvariante Merkmale Bounding Box Richtung der größten Ausdehnung und Ausdehnung in dieser Richtung 1 i mg = p, p( i, j) j p( i, j) S p( i, j) S S ( i j) Computergrafik 2 SS

26 Formmerkmale Translations- und rotationsinvariante Merkmale Eingeschlossene Fläche: F Länge des Randes: R Durchschnittliche Krümmungsänderung Translations-, rotations- und skalierungsunabhängige Merkmale Kreisähnlichkeit, d.h. 4πF/R 2 Hauptkomponentenanalyse (Principal Component Analysis, PCA) Computergrafik 2 SS

27 Hauptkomponentenanalyse Gegeben Form eines Objekts Pixel des Objekts (bzw. dessen Rand) der Form x = (x 1,x 2 ) T Finde lokales Koordinatensystem, das Größe, Rotation, und Translation normalisiert Berechne Schwerpunkt m x = 1 K K k=1 x k Berechne Kovarianzmatrix C x = 1 K K k=1 ( x k m x ) x ' = x m x ( x k m x ) T Abbildung: R. C. Gonzalez & R. E. Woods, Digital Image Processing = 1 K K k=1 x ' k x ' k T Computergrafik 2 SS

28 Hauptkomponentenanalyse C x ist real und symmetrisch à C x hat 2 orthogonale Eigenvektoren e 1, e 2 mit Eigenwerten λ 1, λ 2 (λ 1 λ 2 ) λ 1 = Varianz der Hauptkomponente Sei A Matrix mit Zeilen e 1 und e 2 Sei y = A(x-m x ), dann ist m y =0 und die Elemente von y sind unkorreliert Wegen A -1 =A T gilt für die Rücktransformation x=a T y + m x Abbildung: R. C. Gonzalez & R. E. Woods, Digital Image Processing Verhältnis λ 1 / λ 2 gut geeignet als Formmerkmal Computergrafik 2 SS

29 Topologische Formmerkmale L = 2 C = 1 E = -1 Topologische Merkmale ändern sich auch dann nicht, wenn sich die Form des Objektes verändert, solange es nicht zerrissen oder geklebt wird. E = 0 E = -1 Beispiele Anzahl der Löcher L Anzahl C der verbundenen Strukturen eines Gebiets Eulerzahl: E=C-L Computergrafik 2 SS

30 Welche, wie viele Merkmale? Merkmale sollten aus den vermuteten Objekteigenschaften abgeleitet werden Merkmale sollten voneinander unabhängig sein Objekte der gleichen Klasse sollten im Merkmalsraum an ähnlichen Orten zu finden sei (Häufungspunkte der Klasse, Cluster) Segmente einer Klasse in eng begrenzter Region im Merkmalsraum; Segmente verschiedener Klassen gut voneinander separiert Je weniger Merkmale zur Unterscheidung notwendig sind, desto effektiver die Entscheidungsfindung Computergrafik 2 SS

31 Klassifikation im n-dimensionalen Merkmalsraum Visuelle Suche nach Häufungspunkten oder Entscheidungsgrenzen ist nicht möglich Automatische Verfahren: Optimale Methoden: Minimierung der Wahrscheinlichkeit einer Fehlklassifikation Klassifikation nach Training: Entscheidung anhand von antrainierten Häufungspunkten oder Entscheidungsgrenzen Clustering: Automatische Suche nach Häufungsbereichen im Merkmalsraum Computergrafik 2 SS

32 Methode des geringsten Abstandes Für jede der n Klassen existieren Stichproben Aus den Stichproben jeder Klasse wird ein durchschnittlicher Merkmalsvektor der Klasse berechnet (Clusterzentrum) Eine unbekannte Stichprobe wird derjenigen Klasse zugeordnet, zu der ihr Abstand am geringsten ist Häufige Probleme Anzahl der Stichproben nicht ausreichend Stichproben nicht repräsentativ Unterschiedliche Skalierungen für die Merkmale Computergrafik 2 SS

33 Computergrafik 2 SS Cluster- Zentren für drei Klassen bestimmen

34 ? Computergrafik 2 SS

35 Bayes-sche Klassifikation Gibt es eine optimale Klassifikation? Optimal Kriterium so gewählt, dass Anzahl der Fehlklassifikationen minimal Lösungsansatz Fels Merkmalsträger als Stichproben von statistischen Verteilungen der einzelnen Klassen im Merkmalsraum Kriterium minimiert Wahrscheinlichkeit einer Fehlentscheidung Himmel Computergrafik 2 SS

36 A-Posteriori-Wahrscheinlichkeit Wahrscheinlichkeit mit der ein Segment s mit Merkmalen m der Klasse c i angehört: P s = c i m s ( ) ( ) Klassifikation: wähle diejenige Klasse, für die die Wahrscheinlichkeit am größten ist Die Anzahl der Fehlentscheidungen ist minimal, da die Lösung mit höchster Wahrscheinlichkeit gewählt wird Problem: A-Posteriori-Wahrscheinlichkeit schwer zu bestimmen für jede Merkmalskombination müssen klassenabhängige Wahrscheinlichkeiten bestimmt werden Computergrafik 2 SS

37 Merkmalsverteilungsfunktion Leichter ist zu bestimmen, wie sich für jede Klasse separat die Merkmalswerte verteilen: Bestimmung Für jede Klasse c i existiert eine Trainingsmenge T i von bereits klassifizierten Segmenten Trainingsmenge besteht aus Stichproben für die gesuchte Verteilungsfunktion Aus den Stichproben können die Verteilungsfunktionen oder deren Parameter geschätzt werden ( ( ) s = c ) i P m s P( m ( s) s = c ) i m s ( ) Computergrafik 2 SS

38 Schätzung der Merkmalsverteilungsfunktion Schätzung einer beliebigen Funktion Zerlegung des Merkmalsraums in Intervalle (Binning, Anzahl der Bins abhängig von der Anzahl der Stichproben) Zuordnung der Stichproben zu Bins Interpolation einer Funktion durch die Stichproben Schätzung von Parametern einer Funktion Vorgabe einer Verteilungscharakteristik (z.b. Normalverteilung; muss begründbar sein!) Schätzung der Parameter P( m ( s) s = c i ) ( ( ) s = c i ) P m s µ σ m s ( ) m s ( ) Computergrafik 2 SS

39 A-Priori-Wahrscheinlichkeit A-Priori-Wahrscheinlichkeit: Klassenwahrscheinlichkeit ohne Kenntnis der Merkmale P( s = c ) i Merkmalsverteilungsfunktion wird mit der A-Priori- Wahrscheinlichkeit gewichtet Beispiel: Segmente von Personen allgemein: P(s=Mann)=0.5, P(s=Frau)=0.5 in Informatikfakultät: P(s=Mann)=0.8, P(s=Frau)=0.2 Computergrafik 2 SS

40 Schätzung der A-Priori- Wahrscheinlichkeit Bestimmung aus vorhandenem Wissen Beispiel: es gibt etwa gleich viele Männer und Frauen Bestimmung aus der Trainingsmenge Trainingsmenge T = T 1 T 2 T K ist repräsentativ für alle K Klassen Anteil der Elemente von T i an T entspricht der A-Priori-Wahrscheinlichkeit, dass ein beliebig ausgewähltes Element der Klasse c i angehört T T 1 T 2 T 3 T K Computergrafik 2 SS

41 Satz von Bayes P(A B) = P(B A) P(A) P(B) Wahrscheinlichkeit Klasse c 1 Klasse c 2 Thomas Bayes, ohne mit Gewichtung mit A-Priori- Wahrscheinlichkeit Merkmalswert Entscheidungsgrenze P s = c i m s ( ) ( ) = K k=1 ( ) P s = c i P m s ( ) s = c i ( ) P( m ( s) s = c k ) P( s = c ) k Computergrafik 2 SS

42 Satz von Bayes P m ( s) s = c P( s = c i m ( s )) i = P m ( s) s = c k K k=1 ( ) ( ) ( ) P s = c i ( ) P s = c k Thomas Bayes, K k=1 ( ) P m ( s) s = c k Klasse c 1 : P( s = c k ) P( m ( s) s = c 1 ) P( m ( s) s = c 2 ) m s ( ) T T 1 T 2 T 3 P( s = c 1 ) P( s = c 2 ) P( s = c 3 ) Klasse c 2 : m s ( ) Computergrafik 2 SS T K P( s = c K )

43 Beispiel Gegeben sei eine Menge von Bildern jedes Bild enthält eine Frucht (a: Apfel oder b: Birne), die segmentiert wurde Merkmale m 1 und m 2 sind m 1 = Kreisähnlichkeit (Äpfel sind runder als Birnen) m 2 = Helligkeit (Äpfel sind dunkler als Birnen) beide Merkmale sind unabhängig voneinander Es existiert für jede Klasse eine Trainingsmenge von 10 segmentierten Früchten Die A-Priori-Wahrscheinlichkeit P(s=a) = 0.67 und P(s=b) = 0.33 (d.h. doppelt so viele Äpfel wie Birnen) Computergrafik 2 SS

44 Merkmalsverteilungsfunktionen (Äpfel) Merkmale in der Trainingsmenge! # " m 1 m 2 $ & =! # % " $ & % Kreisähnlichkeit Helligkeit tatsächlich geschätzt E(m 1 ) = 0.93, σ 2 (m 1 ) = E(m 2 ) = 0.66, σ 2 (m 2 ) = Computergrafik 2 SS

45 Merkmalsverteilungsfunktionen (Birnen) Merkmale in der Trainingsmenge! # " m 1 m 2 $ & =! # % " $ & % Kreisähnlichkeit Helligkeit E(m 1 ) = 0.75, σ 2 (m 1 ) = E(m 2 ) = 0.81, σ 2 (m 2 ) = Computergrafik 2 SS

46 Überlagerte Klassenwahrscheinlichkeiten Äpfel Birnen Entscheidungsgrenze Computergrafik 2 SS

47 Gesamtwahrscheinlichkeiten Aus den Parametern der Testdatenmengen berechnete 2D-Verteilungsfunktionen Annahme: unkorrelierte Merkmale! (Produkte der Einzelwahrsch.) m = (m 1,m 2 ) = (Kreisähnlichkeit, Helligkeit) P( m(s) s = a) = 1 " π exp m $ # ( ) 2 % ' 1 " & π exp m $ # ( ) 2 % ' & P( m(s) s = b) = 1 " π exp m $ # ( ) 2 % ' 1 " & π exp m $ # ( ) 2 % ' & Computergrafik 2 SS

48 Klassifikation Klassifikation eines unbekannten Segments mit Werten (0.83, 0.72): P a ( ) (( ) a ) 0.67 ( ) a P ( ) b (( ) b ) 0.33 ( ) a P ( ) b ( ) = P P b ( ) ( ) P ( ) = P ( ) P ( ) 0.33 = 0.61 ( ) 0.33 = 0.39 Birnen Tatsächliche Wahrscheinlichkeiten: P(a ( ))=0.60 und P(b ( ))=0.40! (0.83, 0.72)... Apfel oder Birne? Äpfel Computergrafik 2 SS

49 A-Posteriori-Wahrscheinlichkeiten Äpfel Birnen Computergrafik 2 SS

50 Direkte Schätzung der A-Posteriori- Wahrscheinlichkeiten Beobachtung bei gut gewählten Merkmalen Unterschied zwischen den A- Posteriori-Wahrscheinlichkeiten für untersch. Klassen groß selbst große Fehler bei der Schätzung der Merkmalsverteilungsfunktionen resultieren in geringen Fehlern bei der Schätzung der A-Posteriori-Wahrscheinlichkeit Konsequenz direkte Schätzung der A-Posteriori-Wahrscheinlichkeit für eine gegebene Merkmalskombination Computergrafik 2 SS

51 Single Nearest Neighbour Birnen Äpfel Für die zu bestimmende A-posteriori-Wahrscheinlichkeit wird die Umgebung gerade so groß gemacht, dass sie eine klassifizierte Stichprobe c k umfasst. Schätzung von P(s=c i m(s)): unbekanntes Segment kürzeste Entfernung P = 1.0 für c i =c k P = 0.0 sonst anfällig gegenüber Ausreißern Computergrafik 2 SS

52 k-nearest-neighbour (knn) Vergrößerung der Umgebung, so dass sie die k nächsten Nachbarn umfasst. Schätzung von P(s=c i m(s)): Birnen unbekanntes Segment Äpfel P = k i /k k i : Anzahl der Stichproben, die der Klasse c i angehören k kürzeste Entfernungen Computergrafik 2 SS

53 knn-klassifikation je dichter die Stichproben liegen, desto kleiner ist Umgebung für gegebenes k falls k und die Stichprobendichte gegen unendlich gehen, nähert sich die Qualtität der knn-klassifikation der der Bayes schen Entscheidung an Problem: Für jede zu klassifizierende Stichprobe müssen die Entfernungen zu allen(!) Stichproben des Merkmalsraums berechnet werden Lösung: Vor der Klassifikation wird die Grenzfläche geschätzt, an der die Klasse wechselt Computergrafik 2 SS

54 Lineare Entscheidungsgrenzen Klassifikation in zwei Klassen c 1 und c 2 Klassen linear separierbar, falls es gibt lineare Funktion D m 1, m 2,..., m M ( ) = w 0 + w 1 m w M m M D m ( ) = w T m (m 0 =1) so dass D(m) < 0, falls Merkmale aus c 1 und D(m) 0 falls Merkmale aus c 2 Training: Finde die Parameter w 0,, w M Klassifikation: Einsetzen der Merkmale m eines unbekannten Segments in Funktion D, Entscheidung nach Funktionswert Computergrafik 2 SS

55 Lineare Entscheidungsgrenzen m 2 c D( m 1, m 2 ) < 0 x x x x x x x x x c 2 ( ) 0 x x x x D m 1, m D m 1 Entscheidungsgrenze: D( m 1, m ) 2 = 0 = w 0 + w 1 m 1 + w 2 m 2 = 3+1 m 1 +1 m 2 Zuordnung zu Klasse c 1, falls je kleiner D(m 1,m 2 ), desto weiter von Grenze à sicherer Zuordnung zu Klasse c 2, falls D m 1, m 2 ( ) < 0 D m 1, m 2 ( ) 0 je größer D(m 1,m 2 ), desto weiter von Grenze à sicherer Computergrafik 2 SS

56 Logistische Regression D( m) = w T m (m 0 =1) h( m) = 1 1+ e D ( m ) = 1 1+ e wt m h(m) ß c 1 D(m) c 2 à Hypothese h(m) gibt Vertrauen in Klasse c 2 an: h(m) = P(s=c 2 m) Zuordnung zu Klasse c 1, falls h(m) < 0.5 Zuordnung zu Klasse c 2, falls h(m) 0.5 Computergrafik 2 SS

57 Finden der Parameter w? Trainingsmenge { (m (1), y (1) ), (m (2), y (2) ),, (m (M), y (M) ) } Kostenfunktion Cost ( h w (m), y) = falls y = 1 und h w (m)=1: Cost=0 falls y = 0 und h w (m)=0: Cost=0 falls y = 1 und h w (m)à 0: Costà falls y = 0 und h w (m)à 1: Costà Gesamtkosten über Trainingsmenge " $ # %$ ( ), y =1 ( ), y = 0 log h w (m) log 1 h w (m) hohe Kosten, falls Hypothese h w falsch liegt J w M i=1 ( ) = 1 M Cost h w (m(i) ), y (i) ( ) Gesamtkosten J(w) minimieren! Computergrafik 2 SS

58 Finden der Parameter w? Kostenfunktion Cost ( h w (m), y) = = ylog h w (m) Gesamtkosten über Trainingsmenge J ( w) = 1 M M i=1 " # log h w (m) -grad(j(w)): Richtung des stärksten Abstiegs w j J w ( ) =... = 1 M " $ # %$ ( ), y =1 ( ), y = 0 log 1 h w (m) ( ) (1 y)log( 1 h w (m)) y (i) log( h w (m (i) )) + (1 y (i) )log( 1 h w (m (i) )) M ( h ( w m (i) ) y (i) ) i=1 m w (i) $ % Computergrafik 2 SS

59 Gradientenabstieg zur Minimierung von J J ( w) = 1 M while (J(w) zu groß) { } } M i=1 " # für alle j simultan { y (i) log( h w (m (i) )) + (1 y (i) )log( 1 h w (m (i) )) w j := w j α w j J w ( ) $ % Computergrafik 2 SS