Inhaltsbasierte Bildsuche. Matthias Spiller. 17. Dezember 2004

Transkript

1 Kantenbasierte Merkmale für die Bildsuche Inhaltsbasierte Bildsuche Matthias Spiller 17. Dezember 2004

2 Übersicht Übersicht Einleitung Was sind Kanten? Kantenrichtungs Histogramm Der Canny-Algorithmus Feature-Erzeugung Evaluation Autokorrelationskoeffizienten Wavelet Analyse Feature-Erzeugung Evaluation Kombination der beiden Methoden

3 Einleitung Was sind Kanten? Was sind Kanten? Kanten sind Übergänge zwischen Gebieten verschiedener Helligkeit Kanten bilden die Kontur von Objekten eignen sich daher gut zur inhaltsbasierten Bildsuche

4 Teil I Kantenrichtungs-Histogramm

5 Kantenrichtungs Histogramm Kantenrichtungs Histogramm Idee: extrahiere die Kanten aus einem Bild bestimme die Richtung der Kanten erstelle ein Histogramm über den Kantenrichtungen benutze dieses Histogramm zur Bildsuche

6 Kantenrichtungs Histogramm Warum ein Histogramm? invariant gegenüber Translation invariant gegenüber Skalierung (wenn Normalisiert) einfach zu berechnen einfach zu vergleichen

7 Kantenrichtungs Histogramm Der Canny-Algorithmus Der Canny-Algorithmus 1. Gauss-Filterung Herausfiltern von Rauschen

8 Kantenrichtungs Histogramm Der Canny-Algorithmus Der Canny-Algorithmus 2. Bilden des Gradienten Faltung mit Sobel-Operator: C B G x G y 1 C A Summieren der beiden Richtungsgradienten: G = G x + G y

9 Kantenrichtungs Histogramm Der Canny-Algorithmus Der Canny-Algorithmus 3. Berechnen der Kantenrichtung θ = atan ( Gy 4. Diskretisierung der Kantenrichtung G x )

10 Kantenrichtungs Histogramm Der Canny-Algorithmus Der Canny-Algorithmus 5. Ausdünnung der Kanten 6. Schwellwertbildung

11 Kantenrichtungs Histogramm Feature-Erzeugung Feature-Erzeugung Betrachte alle Pixel mit Wert 1 nach der Schwellwertbildung und deren Kantenrichtung Bilde ein Histogramm über den Kantenrichtungen. Originalbild Histogramm 0, 45, 90, 135

12 Kantenrichtungs Histogramm Ergebnisse

13 Kantenrichtungs Histogramm Lokale Features keine örtliche Informationen Unterteilung des Bildes in fünf Teilbereiche ein Histogramm für jeden Teilbereich benutze die fünf lokalen und das globale Histogramm zur Suche

14 Kantenrichtungs Histogramm Evaluation Ergebnis mit lokalen und globalen Features

15 Kantenrichtungs Histogramm Evaluation Histogramm-Vergleich Metriken zum Histogramm-Vergleich: p-norm: d(h, G) = ( i (H i G i ) p ) 1 p Histogramm-Intersection: d(h, G) = 1 χ 2 -Metrik: d(h, G) = i (H i G i ) 2 H i +G i P i (min(h i,g i )) min( P i H i, P i G i )

16 Kantenrichtungs Histogramm Evaluation Evaluation Metrik Features χ 2 HI L2-Norm global lokal beide Tabelle: Metriken für den Vergleich von Kantenrichtungshistogrammen

17 Kantenrichtungs Histogramm Evaluation Ergebnisse

18 Kantenrichtungs Histogramm Evaluation Ergebnisse

19 Kantenrichtungs Histogramm Evaluation Ergebnisse Kantenhistogramm SIMBA

20 Autokorrelationskoeffizienten Teil II Autokorrelationskoeffizienten

21 Autokorrelationskoeffizienten Wavelet Analyse Wavelet Analyse Filtern eines Signals mit zwei Filtern H 0 = 1 2 (1, 1) Tiefpass H 1 = 1 2 (1, 1) Hochpass für 2-Dimensionale Signale (Bilder): Filtern der Zeilen, danach Filtern der Spalten je nach Reihenfolge von Hoch- und Tiefpass, Orientierung der Kanten

22 Autokorrelationskoeffizienten Wavelet Analyse Wavelet Analyse Hochpass Tiefpass ergibt horizontale Kanten Tiefpass Hochpass ergibt vertikale Kanten

23 Autokorrelationskoeffizienten Wavelet Analyse Wavelet Analyse Kantenbild: e m,n = (v m,n ) 2 + (h m,n ) 2

24 Autokorrelationskoeffizienten Feature-Erzeugung Feature-Erzeugung Benutze Autokorrelationskoeffizienten als Merkmale Autokorrelationskoeffizient: R N (a 1,..., a N ) = P I (r)i (r + a 1 )... I (r + a N ) mit a i Verschiebungsvektor, N Grad des Autokorrelationskoeffizienten große Zahl von Autokorrelationskoeffizienten benutze nur Koeffizienten vom Grade 2

25 Autokorrelationskoeffizienten Feature-Erzeugung Feature-Erzeugung Autokorrelationskoeffizienten Beispiel: f 7 = x y (e x,y )(e x 1,y+1 )(e x+1,y 1 )

26 Autokorrelationskoeffizienten Feature-Erzeugung Feature-Erzeugung Die erhaltenen 25 Koeffizienten sind noch abhängig von Größe und Intensität des Bildes: Invarianz gegenüber Größe: Teile durch die Anzahl der Pixel Invarianz gegenüber Intensität: Nimm die (N + 1)-te Wurzel jedes Koeffizienten f = 1 N+1 I (r)i (r + a 1 )... I (r + a N ) wh P

27 Autokorrelationskoeffizienten Feature-Erzeugung Ergebnisse

28 Autokorrelationskoeffizienten Feature-Erzeugung Lokale Features Einteilung des Bildes in fünf Teilbilder analog zum Kantenrichtungs-Histogramm Berechnung der 25 Autokorrelationskoeffizienten für jedes der fünf Teilbilder

29 Autokorrelationskoeffizienten Feature-Erzeugung Ergebnis mit lokalen und globalen Features

30 Autokorrelationskoeffizienten Evaluation Evaluation Metrik Grad Features χ 2 L2-Norm 0 g l b g l b g l b Tabelle: Metriken für den Vergleich der Autokorrelationskoeffizienten

31 Autokorrelationskoeffizienten Evaluation Ergebnisse

32 Autokorrelationskoeffizienten Evaluation Ergebnisse

33 Autokorrelationskoeffizienten Evaluation Ergebnisse Autokorrelation SIMBA

34 Teil III Kombination der beiden Methoden

35 Kombination der beiden Methoden Kombination der beiden Methoden berechne für jedes Bild sowohl die Kantenrichtungshistogramme, als auch die Autokorrelationskoeffizienten Metrik Grad Features χ 2 L2-Norm 0 g l b g l b g l b

36 Kombination der beiden Methoden Ergebnisse Autokorrelation SIMBA

37 Kombination der beiden Methoden Vergleich mit SIMBA

38 Kombination der beiden Methoden Vergleich mit SIMBA

39 Kombination der beiden Methoden Vergleich mit SIMBA

40 Kombination der beiden Methoden Vergleich mit SIMBA

41 Kombination der beiden Methoden Ergebnisse

42 Kombination der beiden Methoden Ergebnisse

43 Kombination der beiden Methoden Ergebnisse

44 Kombination der beiden Methoden Ergebnisse

45 Kombination der beiden Methoden Ergebnisse

46 Kombination der beiden Methoden Ergebnisse

47 Kombination der beiden Methoden Ergebnisse

48 Kombination der beiden Methoden Ergebnisse

49 Kombination der beiden Methoden Ergebnisse

50 Kombination der beiden Methoden Ergebnisse

51 Kombination der beiden Methoden Ergebnisse

52 Kombination der beiden Methoden Ergebnisse

53 Kombination der beiden Methoden Ergebnisse

54 Kombination der beiden Methoden Ergebnisse

55 Kombination der beiden Methoden Ergebnisse

56 Kombination der beiden Methoden Ergebnisse

57 Kombination der beiden Methoden Ergebnisse