KR II: Visuelle Verarbeitung II (Bildverarbeitung, Objekterkennung, Interpretation)

Transkript

1 KR II: Visuelle Verarbeitung II (Bildverarbeitung, Objekterkennung, Interpretation) Prof. Dr. Verena V. Hafner, Humboldt-Universität zu Berlin, Institut für Informatik, WS 2008/2009 Ein Großteil dieser Folien wurde von Prof. Dr. Hans-Dieter Burkhard und seinen Mitarbeitern und Studenten übernommen. Vielen Dank!

2 Bildverarbeitung Ziele: effiziente Speicherung bzw. Verarbeitung verbesserte Darstellung (Kontrastveränderung, Helligkeitsveränderung, Elimination von Störungen, Ausgleich... ) Vorbereitung zur Interpretation Klassifikation von Bildelementen usw. Visuelle Verarbeitung II 2

3 Bildverarbeitung In der Regel mehrere Verarbeitungsschritte, z.b. Vorverarbeitung z.b. Kalibrierung, Kontrastverstärkung,... Komponenten bestimmen z.b. Segmentierung: Farbbereiche, Umrisse,... Objekte klassifizieren z.b. Ball, Spieler Szenenbeschreibung z.b. Dribbeln Visuelle Verarbeitung II 3

4 Objekterkennung welcher Farbkanal enthält Informationen (z.b. Auswertung der Histogramme der Kanäle) Y (hell) V (rot) U (blau) Visuelle Verarbeitung II 4

5 Objekterkennung Hypothesen für mögliche Orte des Objekts Hypothesen für mögliche Größe des Objekts Hypothesen für Farberscheinung des Objekts (Histogramme pro Zeilen/Spalten auswerten) Visuelle Verarbeitung II 5

6 Objekterkennung Vergleich des gesuchten Objekts mit hypothetischen Positionen im Bild Maß für Ähnlichkeit: Korrelation Später mehr dazu Visuelle Verarbeitung II 6

7 Objekterkennung Problematik: Objekte erscheinen unterschiedlich: Skalierung Lage (Translation) Orientierung (Rotation, Blickwinkel) Visuelle Verarbeitung II 7

8 Einfluss von Skalierung Je nach Größe erscheinen Objekte z.b. als ausgedehnte Flächen oder als Linien: Skalierung verändert Anwendbarkeit von Identifizierungsverfahren Visuelle Verarbeitung II 8

9 Einfluss von Skalierung Visuelle Verarbeitung II 9

10 Einfluss von Skalierung Visuelle Verarbeitung II 10

11 SIFT = Scale Invariant Feature Transformation Visuelle Verarbeitung II 11

12 Objekterkennung Verschiedene Möglichkeiten testen bzgl. Skalierung z.b. Kantenerkennung Lage (Translation) Orientierung (Rotation, Blickwinkel) Geringsten Abstand (Fehler) auswerten Einschränkung plausibler Möglichkeiten Diskretisierung der Möglichkeiten Histogramme für Abschätzungen (z.b. bzgl. Größe) Visuelle Verarbeitung II 12

13 Objekterkennung Andere Variante: Invariante Merkmale verwenden z.b. Größenverhältnisse Winkel Bilder unterschiedlicher Skalierung zusammenfassen zu neuem Bild Visuelle Verarbeitung II 13

14 Bildverarbeitung: Partielle Verfahren Zeit-effiziente Verfahren: Verzicht auf Verarbeitung des gesamten Bildes, Partielle Verarbeitung Verarbeitung von reduzierten Bilder Untersuchungen längs ausgewählter Scanlinien: Histogramme, Farbklassifikation,... Histogramme nur für ausgewählte Farbwerte Bei Bedarf: Detailliertere Untersuchung in begrenzten Bereichen Visuelle Verarbeitung II 14

15 Bildverarbeitung: Transformationen Ein Bild g = [ g(x,y) ] x,y Matrixdarstellung: g(x,y) Grauwert oder Farbinformation wird transformiert in ein Bild g = [ g (r,s) ] r,s sowohl Angaben zu Pixeln als auch Bildgröße können verändert werden (meist aber Bildgröße gleich) Methoden Punktweise Verfahren Verfahren im Ortsraum Verfahren im Ortsfrequenzraum [gʻ(r,s) ] r,s = Trafo( [ g(x,y) ] x,y ) Visuelle Verarbeitung II 15

16 Arten von Transformationen Geometrische Ortsabhängigkeit Punktbezogen Lokale Nachbarschaft U Global (z.b. Fouriertrafo) Inhaltliche Ortsabhängigkeit Homogen: unabhängig von Bildkoordinate Inhomogen: abhängig von Bildkoordinate Linearität: linear/nicht-linear Beispiele: punktbezogen, homogen: Negativbild lokal, inhomogen: Kompensation von Kamera-Bewegung Visuelle Verarbeitung II 16

17 Bildverarbeitung: Punktweise Verfahren Transformation erfolgt isoliert für jedes einzelne Pixel. [ gʻ(x,y) ] x,y = Trafo( [ g(x,y) ] x,y ) realisiert durch punktweise Umformung gʻ(x,y)= f ( g(x,y) ) für alle Punkte (x,y) Visuelle Verarbeitung II 17

18 Bildverarbeitung: Punktweise Verfahren Lineare Skalierungsverfahren ( Trafo linear ) Helligkeit verändern: Additiv gʻ(x,y):= g(x,y) + c (ggf. Abschneiden an Grenzen) Kontrast verändern: Multiplikativ gʻ(x,y):= c g(x,y) (ggf. Abschneiden an Grenzen) Vorgegebene Mittelwerte/Varianzen erzielen (z.b. eine mittlere Helligkeit) Beispiel: Maximaler Kontrast unter Ausnutzung des verfügbaren Bereiches (Analyse mittels Histogrammen) Visuelle Verarbeitung II 18

19 Helligkeitskorrektur Ausgleich für inhomogene Beleuchtung Ungleichmäßige Kameraempfindlichkeit (Kalibrierung bzgl. Abbildungssystem, Sensoren) gʻ(x,y):= g(x,y) : b(x,y) b(x,y) ist ein Referenzbild für die ungleichmäßige Helligkeit z.b. Helligkeit des Hintergrunds (ggf. Interpolation) Kamerareferenz-Bild Visuelle Verarbeitung II 19

20 Äquidensiten Stellen gleicher Dichte im Bild Visuelle Verarbeitung II 20

21 Bildverarbeitung: Punktweise Verfahren Stückweise konstante Trafo Äquidensiten (vergröberte Quantisierung), Binärbilder Klassifikation/Segmentierung für gegebene Zerlegung (Klasseneinteilung) K 1,...,K n des Farb-/Grauwertbereichs: bzw. gʻ(x,y):= K i für g(x,y) K i gʻ(x,y):= w i für g(x,y) K i und typisches w i K i Transformation von Farbräumen Visuelle Verarbeitung II 21

22 Bildverarbeitung: Punktweise Verfahren Beispiel: Segmentierung (c) eines Bildes (b) für gegebene Zerlegung (a) des Farbraums gʻ(x,y):= w i für g(x,y) K i und typisches w i K i Zerlegung z.b. gemäß Farbtabellen. Klassen als Intervalle oder komplexere Mengen. Visuelle Verarbeitung II 22

23 Bildverarbeitung: Punktweise Verfahren Äquidensiten: stückweise konstante Skalierung von Grauwertbildern Bestimmung geeigneter Intervalle K i und w i K i ausgehend z.b. von Mittelwert, Varianz, Histogramm,... Haberäcker S.117 Visuelle Verarbeitung II 23

24 Bildverarbeitung: Punktweise Verfahren Äquidensiten (insbesondere Binärbilder) als Vorstufe für weitere Verarbeitung, z.b. Kantenbildung: Äquidensiten 2. Ordnung (Kantenbild der Äquidensiten) Haberäcker S.117 Visuelle Verarbeitung II 24

25 Bildverarbeitung: Punktweise Verfahren Verknüpfung von Bildern Addition z.b. Überlagerung von Luftaufnahmen mit topographischer Information, politischen Grenzen usw. Subtraktion Zeitliche Differenzbilder: Erkennung von Bewegung Differenz verschobener Bilder: Erkennung gerichteter Kanten (parallel zur Verschiebung) Visuelle Verarbeitung II 25

26 Differenz verschobener Bilder: Watkins S. 52ff Haberäcker S.62 Visuelle Verarbeitung II 26

27 Bildverarbeitung: Ortsbereich Verfahren im Ortsbereich: Transformationen erfolgen für jedes einzelne Pixel in Abhängigkeit von seiner Nachbarschaft: Diskrete Nachbarschaftsoperatoren [ gʻ(x,y) ] x,y = Trafo( [ g(x,y) ] x,y ) als gʻ(x,y) = f ( [ g(u,v) ] (u,v) U(x,y) ) für alle Punkte (x,y) wobei U(x,y) =Umgebung des Punktes (x,y), z.b. alle Nachbarn [ g(u,v) ] (u,v) U(x,y) Grauwerte der Umgebung f = beliebige Funktion über Grauwerten der Umgebungen Visuelle Verarbeitung II 27

28 Bildverarbeitung: Ortsbereich Umgebung U(x,y) z.b. als ein Fenster von quadratischer Form (x-1,y-1) (x,y-1) (x+1,y-1) (x-1,y) (x,y) (x+1,y) (x-1,y+1) (x,y+1) (x+1,y+1) [ g(u,v) ] (u,v) U(x,y) g(x-1,y-1) g(x,y-1) g(x+1,y-1) g(x-1,y) g(x,y) g(x+1,y) g(x-1,y+1) g(x,y+1) g(x+1,y+1) Visuelle Verarbeitung II 28

29 Rangordnungsoperatoren Rangordnung: Grauwerte der Umgebung anordnen Rangordnungsoperator: Ein Wert wird entsprechend seiner Stellung in der Rangordnung zugewiesen (z.b. Maximum) i.a. nicht als Faltung (s.u.) definierbar Visuelle Verarbeitung II 29

30 Rangordnungsoperatoren Median-Operator: gʻ(x,y) := Median (x,y) U g(x,y) Anwendung: Elimination isolierter Störungen Nischwitz/Haberäcker S. 458 Visuelle Verarbeitung II 30

31 Rangordnungsoperatoren Morphologische Operatoren (Speziell für Binärbilder) Dilatation: gʻ(x,y) := Max (x,y) U g(x,y) Gʻ entsteht aus G durch Ausdehnung weißer Flächen in jede Richtung um ein Pixel. Erosion: gʻ(x,y) := Min (x,y) U g(x,y) Gʻ entsteht aus G durch Ausdehnung schwarzer Flächen (Verminderung weißer Flächen) um ein Pixel. Visuelle Verarbeitung II 31

32 Rangordnungsoperatoren Anwendungen: Kanten-Erkennung Symmetrische Differenz Dilation(G) XOR G ergibt Kanten an den Übergängen Schwarz/Weiß. Visuelle Verarbeitung II 32

33 Rangordnungsoperatoren Anwendungen: Erosion und anschließende Dilation ( Opening ): Entfernen aller (weißen) Objekte, die das Fenster nicht ausfüllen Glätten von Kanten Dilatation und anschließende Erosion ( Closing ) Entfernen aller (schwarzen) Löcher, die das Fenster nicht ausfüllen Glätten von Kanten Durch unterschiedliche Fenster können unterschiedliche Formen eliminiert werden. Visuelle Verarbeitung II 33

34 Rangordnungsoperatoren JÄHNE S. 513f Visuelle Verarbeitung II 34

35 Rangordnungsoperatoren JÄHNE S. 513f Visuelle Verarbeitung II 35

36 Bildverarbeitung: Ortsbereich Diskrete ortsinvariante Filteroperationen Umgebungen U(x,y) ( Fenster ) immer in gleicher Form z.b. quadratische Umgebung 3 x 3 (x-1,y-1) (x,y-1) (x+1,y-1) (x-1,y) (x,y) (x+1,y) (x-1,y+1) (x,y+1) (x+1,y+1) f unabhängig vom Ort (x,y) Am Bildrand spezielle Konventionen (z.b. Spiegelung, konstanter Wert, periodische Fortsetzung...). Visuelle Verarbeitung II 36

37 Umgebungen (Nachbarschaften) N 4 N 8 4-Nachbarschaft eines Punktes p=(r,c) 8-Nachbarschaft eines Punktes Visuelle Verarbeitung II 37

38 Faltungsoperationen Beschreibung der Transformation durch Matrix [ h(u,v) ] ( Kern, Maske ) h(u,v) als Wichtung für Einfluss von g(x+u,y+v) auf g (x,y) h(u,v) = 0 für Komponenten ohne Einfluss Bezeichnung (u,v) gemäß Abständen zu (x,y) in U h(-1,-1) h(0,-1) h(+1,-1) h(-1,0) h(0,0) h(+1,0) h(-1,+1) h(0,+1) h(+1,+1) Visuelle Verarbeitung II 38

39 Faltungsoperationen Beispiel für [ h(u,v) ] (Sobel-Filter) Neuer Wert statt g: g = -a+c-2f+2h-k+m Visuelle Verarbeitung II 39

40 Anwendung des Filters für alle Pixel Für Randpunkte geeignet ergänzen Visuelle Verarbeitung II 40

41 Randpixelbehandlung Unterschiedliche Varianten: Unverändert Auf konstant setzen Faltungskern anpassen Zusätzliche Nachbarn annehmen Reflektierte Indizierung (Nachbarn gespiegelt) Zyklische Indizierung (Fortsetzung anderer Rand) Visuelle Verarbeitung II 41

42 Faltungsoperationen Transformation ist im Prinzip (Vorzeichen) eine Diskrete Faltung auf beschränktem Bereich gʻ(x,y) = g h(x,y) = u=-k...+k v=-l...+l g(x+u,y+v) h(u,v) Mit Normierung, z.b.: gʻ(x,y) = g(x,y) h(u,v) = (1/ U ) u=-k...+k v=-l...+l g(x+u,y+v) h(u,v) Visuelle Verarbeitung II 42

43 Faltungsoperationen: Anwendungen Glättung mit 5x5 - Maske: gʻ(x,y) = (1/25) u=-k...+k v=-l...+l g(x-u,y-v) Glättungen mit anderen Masken z.b Kontrastverschärfung z.b Visuelle Verarbeitung II 43

44 Gewichteter Mittelwertfilter, Gauß-Filter Mittelwertfilter, z.b. Tiefpassfilter: Die Bilder werden weicher, Glättung Störungen (hohe Frequenz) werden eliminiert. Unterschied zu Medianfilter: Median unterdrückt extreme Werte, Mittelwert bezieht sie mit ein. Visuelle Verarbeitung II 44

45 Gewichteter Mittelwertfilter, Gauß-Filter Gauß-Filter = Gewichteter Mittelwertfilter zur Approximation der Gaußfunktion h(x,y) = 1/2π exp( - (x 2 +y 2 )/2 ) Tiefpassfilter: Die Bilder werden weicher, Glättung Visuelle Verarbeitung II 45

46 Gewichteter Mittelwertfilter, Gauß-Filter h(x,y) = 1/2π exp( - (x 2 +y 2 )/2 ) Gaußfilter mit Maskengröße 3x3 Visuelle Verarbeitung II 46

47 Differenzenoperatoren Richtungsabhängige Differenzenbildung: Intensitäts-Differenzen (Kanten) in einer Richtung erkennen Analogie zu Differentialquotient (in x-richtung): (g(x+δx)-g(x)) / Δx = (g(x+1)-g(x)) / (x+1-x) = g(x+1)-g(x) Entspricht Differenz verschobener Bilder. Visuelle Verarbeitung II 47

48 Differenzenoperatoren Problem mit Rauschen - Vorherige Glättung - Erweiterte Operatoren (andere Richtung analog) z.b Sobel-Operator in x- bzw. y-richtung Visuelle Verarbeitung II 48

49 Differenzenoperatoren Kompass-Gradient mit 8 Richtungen, z.b. Ost Nord- Ost usw. Visuelle Verarbeitung II 49

50 Sobel-Operator x-richtung y-richtung (Haberäcker S.136) Gradienten-Bild: Kombination der beiden oberen Kanten: Mit Schwellwert aus Gradientenbild erzeugtes Binärbild Visuelle Verarbeitung II 50

51 Diskreter Laplace-Operator Richtungsunabhängige Differenzenbildung: Stärke von Änderungen in Analogie zum kontinuierlichen Laplace-Operator d 2 g(x,y)/dx 2 + d 2 g(x,y)/dy 2 auch: Wendepunkte des Originals als Nullstellen, Dabei 3. Ableitung nicht Null, - auf Ebenen verschwindet Laplace-Operator. Visuelle Verarbeitung II 51

52 Diskreter Laplace-Operator Wendepunkt Nullstelle der 2. Ableitung g g g Diskrete Laplace-Operatoren z.b Visuelle Verarbeitung II 52

53 Diskreter Laplace-Operator Approximation durch diskrete 3x3-Maske z.b Weitere Varianten: Watkins S. 52ff Visuelle Verarbeitung II 53

54 Kombination Glättung/Kantenextraktion Problem: Kanten und Störungen sind beide hochfrequent Differenzbildung reagiert auf Störungen Rauschen variiert sogar stärker als Kantenübergang Lösung: Erst Rauschunterdrückung (Tiefpass-Filter) dann Kantenextraktion (Hochpass-Filter) Visuelle Verarbeitung II 54

55 Kombination Glättung/Kantenextraktion Kombination in einem Operator: LoG = Laplacian-of-Gaussian Wegen Assoziativität: ( g(x,y) h Gauss (u,v) ) h Laplace (s,t) = g(x,y) ( h Gauss (u,v) h Laplace (s,t) ) Auch als Differenz von Gauss-Operatoren approximierbar: DoG = Difference of Gaussian Visuelle Verarbeitung II 55

56 Kombination Glättung/Kantenextraktion Mexican hat Jähne S. 354 Visuelle Verarbeitung II 56

57 Laplacian-of-Gaussian (LoG) Visuelle Verarbeitung II 57

58 Laplacian-of-Gaussian (LoG) (Maskengröße 5x5) Visuelle Verarbeitung II 58

59 Autonomous Mobile Robots, Chapter 4 Filtering and Edge Detection Gaussian Smoothing Removes high-frequency noise Convolution of intensity image I with G: with: Edges Locations where the brightness undergoes a sharp change, Differentiate one or two times the image Look for places where the magnitude of the derivative is large. Noise, thus first filtering/smoothing required before edge detection R. Siegwart, I. Nourbakhsh

60 Autonomous Mobile Robots, Chapter 4 Edge Detection Ultimate goal of edge detection an idealized line drawing. Edge contours in the image correspond to important scene contours. R. Siegwart, I. Nourbakhsh

61 Autonomous Mobile Robots, Chapter 4 Optimal Edge Detection: Canny The processing steps Convolution of image with the Gaussian function G Finding maxima in the derivative Canny combines both in one operation (a) A Gaussian function. (b) The first derivative of a Gaussian function. R. Siegwart, I. Nourbakhsh

62 Autonomous Mobile Robots, Chapter 4 Optimal Edge Detection: Canny 1D example (a) Intensity 1-D profile of an ideal step edge. (b) Intensity profile I(x) of a real edge. (c) Its derivative I (x). (d) The result of the convolution R(x) = G I, where G is the first derivative of a Gaussian function. R. Siegwart, I. Nourbakhsh

63 Autonomous Mobile Robots, Chapter Optimal Edge Detection: Canny 1. 1-D edge detector can be defined with the following steps: 1. Convolute the image I with G to obtain R. 2. Find the absolute value of R. 3. Mark those peaks R that are above some predefined threshold T. The threshold is chosen to eliminate spurious peaks due to noise. 2. 2D: Two dimensional Gaussian function R. Siegwart, I. Nourbakhsh

64 Autonomous Mobile Robots, Chapter 4 Optimal Edge Detection: Canny Example a) Example of Canny edge detection b) After non-maxima suppression R. Siegwart, I. Nourbakhsh

65 Autonomous Mobile Robots, Chapter 4 Gradient Edge Detectors Roberts Prewitt Sobel R. Siegwart, I. Nourbakhsh

66 Autonomous Mobile Robots, Chapter 4 Example a) Raw image b) Filtered (Sobel) c) Thresholding d) Nonmaxima suppression R. Siegwart, I. Nourbakhsh

67 Autonomous Mobile Robots, Chapter 4 Nonmaxima Suppression l Output of an edge detector is usually a b/w image where the pixels with gradient magnitude above a predefined threshold are black and all the others are white l Nonmaxima suppression generates contours described with only one pixel thinness R. Siegwart, I. Nourbakhsh

68 Non-Maxima Suppression Visuelle Verarbeitung II 68

69 Non-Maxima Suppression Visuelle Verarbeitung II 69

70 Non-Maxima Suppression Visuelle Verarbeitung II 70

71 Pyramiden Darstellung in unterschiedlicher Skalierung Angaben der Differenzen zwischen skalierten Bildern Rekonstruktion mittels Differenzen und Interpolation Anwendung für Merkmalsextraktion (in jeweils geeigneter Skalierung bzw. in Kombination unterschiedlich skalierter Skalenbilder) Visuelle Verarbeitung II 71

72 Pyramiden Problem bei Skalierung: Geeignete Quantisierung (Abtast-Theorem) Kombination mit einem Glättungsfilter (Tiefpass) zur Unterdrückung hoher Frequenzen (z.b. Beschränkung auf untere Hälfte) z.b. Gauß-Filter: Gaußpyramide: Sequenz solcher Bilder Ermöglicht Nachbarschaft für entfernte Punkte (kleine Masken) Visuelle Verarbeitung II 72

73 Gauß-Pyramiden Schema Beispiel Jähne S. 144 Visuelle Verarbeitung II 73

74 Laplace-Pyramiden Konstruktion als Differenz von jeweils zwei aufeinander folgenden Ebenen der Gauß-Pyramide (kleinere Ebene muss dabei expandiert werden auf Größe der anderen Ebene) Jede Ebene enthält alle Frequenzen einer bestimmten Bandbreite unabhängig von Richtung. Einfache Rekonstruktion des Originalbildes (früher auch für Kompression verwendet) Visuelle Verarbeitung II 74

75 Laplace-Pyramiden Jähne S. 146 Visuelle Verarbeitung II 75

76 Gauß-Laplace Pyramide Visuelle Verarbeitung II 76

77 Ortsfrequenzbereich Übergang zu Fouriertransformierten Bildern: Erzeugung durch überlagerte periodische Muster (Wellen), für diskrete (periodische) Bilder verlustlos möglich. Hochfrequente Schwingungen: Störungen (global) Kanten (lokal) Muster durch Spektren beschreiben Allg.: Erzeugendensystem für Bilder, wobei ein Bild jeweils als Punkt in einem entsprechenden Raum erscheint Visuelle Verarbeitung II 77

78 Ortsfrequenzbereich Grauwertgebirge: Darstellung von g(x,y) als Funktion. Soll durch überlagerte Wellen approximiert werden. Für Beschreibung einer Welle sind relevant: Richtung Wellenzahl (entspricht Frequenz) Amplitude Phase - kann durch cos/sin-paar ersetzt werden: C cos(x φ) = A cos x + B sin x, C 2 = A 2 +B 2, φ = tan -1 (B/A) Visuelle Verarbeitung II 78

79 Diskrete Fouriertransformation Fouriertransformation für 1 Variable: Darstellung periodischer Funktionen als unendliche trigonometrische Reihen im Raum komplexer Zahlen f(x) = c k exp( i 2π kx ) = ( a k i sin(2π kx ) + b k cos(2π kx) ) Visuelle Verarbeitung II 79

80 Diskrete Fouriertransformation Darstellung einer Funktion f(x) im Intervall [0,N] durch Abtastung an N diskreten Punkten x = 0, 1/N, 2/N,..., (N-1)/N als endliche Summe f(x) = 1/N 1/2 u=0,...,n-1 c(u) exp( i 2π x u/n ) mit den Fourier-Koeffizienten c(u) = 1/N 1/2 x=0,...,n-1 f(x) exp( - i 2π u x/n) c(u) ist eine Funktion im Frequenzraum u = 0,,N-1 sind die Wellenzahlen: Anzahl von Perioden im Intervall ( Frequenz ) Visuelle Verarbeitung II 80

81 Diskrete Abtastpunkte (für 1 Variable) Burger/Burge S. 332f Visuelle Verarbeitung II 81

82 Diskrete Abtastpunkte (1 Dimension) Visuelle Verarbeitung II 82

83 Diskrete Abtastpunkte (1 Dimension) Visuelle Verarbeitung II 83

84 Diskrete Fouriertransformation Diskrete Fouriertransformation eines Bildes g(x,y), x=0,...,l-1 y=0,...,m-1 analog durch Abtastung an den diskreten Bild-Punkten (u/l,v/m) für u=0,...,l-1, v=0,...,m-1 als endliche Summe g(x,y) = (LM) -1/2 u=0,...,l-1 v=0,...,m-1 G(u,v) exp( i 2π ( x u/l + y v/m) ) mit den Fourier-Koeffizienten G(u,v) = (LM) -1/2 x=0,..,l-1 y=0,..,m-1 g(x,y) exp(-i 2π (u x/l+v y/m ) ) Visuelle Verarbeitung II 84

85 Diskrete Fouriertransformation v = u = Beispiel für Basisfunktionen (Cosinus, Zellengröße N=8) Visuelle Verarbeitung II 85

86 Basisfunktionen Burger/Burge S. 344f Visuelle Verarbeitung II 86

87 Visuelle Verarbeitung II 87

88 Ortsfrequenzbereich In einem Bild darstellbare Wellen sind durch die Dimensionen M und N der Bildmatrix begrenzt. Wellenzahlen: u und v Maximal darstellbare Frequenz (Abtast-Theorem) des Ortsraums in x-richtung, y-richtung bzw. diagonal: L/2 bzw. M/2 bzw. 1/2 L 2 +M 2 Visuelle Verarbeitung II 88

89 Fouriertransformiertes Bild G(u,v) für u=0,...,l-1 v=0,...,m-1 hat wie das ursprüngliche Bild g(x,y) die Form einer Bildmatrix der Dimension L x M im Ortsfrequenzraum. G(u,v) =(LM) -1/2 x=0,..,l-1 y=0,..,m-1 g(x,y) exp(-i 2π (u x/l + v y/m ) ) heißt Fouriertransformierte des Bildes g(x,y), Umgekehrt ist g(x,y) = (LM) -1/2 u=0,...,l-1 v=0,...,m-1 G(u,v) exp( i 2π ( x u/l + y v/m) ) die inverse Fouriertransformierte von G(u,v). Visuelle Verarbeitung II 89

90 Spektrum der Fouriertransformierten Die Fouriertransformierte ist komplex: G(u,v) = G 1 (u,v) + i G 2 (u,v) G(u,v) = (LM) -1/2 x=0,..,l-1 y=0,..,m-1 g(x,y) exp(-i 2π(xu/L+yv/M ) ) = (LM) -1/2 x=0,..,l-1 y=0,..,m-1 g(x,y) (- i sin(2π(xu/l+yv/m )) + cos(2π(xu/l+yv/m )) ) = - i (LM) -1/2 x=0,..,l-1 y=0,..,m-1 g(x,y) sin (2π(xu/L+yv/M )) + (LM) -1/2 x=0,..,l-1 y=0,..,m-1 g(x,y) cos (2π(xu/L+yv/M )) Visuelle Verarbeitung II 90

91 Spektrum der Fouriertransformierten Das Fourier-Spektrum G(u,v) = sqrt ( G 1 2(u,v) + G 2 2(u,v) ) beschreibt den Anteil der Frequenzen im Bild. Das Fourier-Spektrum ist als Grauwert-Bild darstellbar. Dazu erfolgt meistens Normierung: zentralsymmetrische Darstellung (Spektrum für reelle Bilder ist symmetrisch), realisierbar durch Vertauschung der Quadranten. geringe Frequenzen (hoher Anteil) im Zentrum logarithmische Skalierung ( log(1+ G(u,v) ) Visuelle Verarbeitung II 91

92 Spektrum der Fouriertransformierten Burger/Burge S. 347 Visuelle Verarbeitung II 92

93 Spektrum der Fouriertransformierten Original G(u,v) ohne Normierung mit Normierung Burger/Burge S. 347 Visuelle Verarbeitung II 93

94 Spektrum der Fouriertransformierten Original G(u,v) ohne Normierung mit Normierung Visuelle Verarbeitung II 94

95 Spektrum der Fouriertransformierten SAR-Aufnahme des indischen Ozeans mit Wasserwellen unterschiedlicher Wellenlänge Visuelle Verarbeitung II 95

96 Ausfiltern von hohen Frequenzen Visuelle Verarbeitung II (c) Hufnagel 96 / Schlüns

97 Ausfiltern von niedrigen Frequenzen Visuelle Verarbeitung II (c) Hufnagel 97 / Schlüns

98 Filterung mit Fouriertransformation Visuelle Verarbeitung II (c) Hufnagel 98 / Schlüns

99 Operationen im Ortsfrequenzraum Direkte Manipulation von Frequenzen. Beispiele: Tiefpassfilter (für Rauschunterdrückung) Elimination der hohen Frequenzen Hochpassfilter (für Kantenextraktion) Elimination der tiefen Frequenzen Bandpassfilter speziellen Frequenzbereich erhalten Visuelle Verarbeitung II 99

100 Operationen im Ortsfrequenzraum Zusammenhang zum Ortsbereich Faltung g h(x,y) = u=-k...+k v=-l...+l g(x-u,y-v) h(u,v) im Ortsbereich = Multiplikation im Frequenzbereich Bild: g(x,y) G(u,v) Maske: h(x,y) H(u,v) Faltung: g h (x,y) G(u,v) H(u,v) Visuelle Verarbeitung II 100

101 Operationen im Ortsrequenzraum Anwendung von Filterverfahren im Frequenzraum Berechnung der Fouriertransformierten G(u,v) lokale Multiplikation von G(u,v) mit einem Filter H(u,v) Gʻ(u,v) := G(u,v) H(u,v) Berechnung der Inversionen Fouriertransformierten von Gʻ(u,v) Effiziente Verfahren: Schnelle Fouriertransformation (Symmetrien nutzen) Visuelle Verarbeitung II 101

102 Mittelwert vs. Gauss Mittelwert-Filter (Resultat): g (x,y) = 1/8 ( 4g(x,y) + g(x-1,y) + g(x,y-1) +g (x,y+1) + g(x+1,y) Zugehörige Fouriertransformierte ( Transferfunktion ): h(u,v) = 1/8 (4 + 2 cos(u) + 2 cos(v) ) Gauss-Filter (kontinuierlicher Kern): h(x,y) = 1/2π exp( - (x 2 +y 2 )/2 ) (Transferfunktion ebenfalls eine Gauss-Funktion) Visuelle Verarbeitung II 102

103 Weitere Anwendungen Analyse von Frequenzen Bildvergleich durch Vergleich des Spektrums Analyse/Vergleich von Texturen. Visuelle Verarbeitung II 103

104 Bildanalyse Identifizierung von Komponenten (Kanten, Flächen) Identifizierung von Objekten Beziehungen zwischen Objekten Interpretation der Szene ggf. Interpretation von Bildfolgen (Abläufe) Schichtenmodelle - streng sequentiell - oder Hypothesenbasiert (mit Backtracking, z.b. Blackboard-Architektur) Visuelle Verarbeitung II 104

105 Schichtenmodell Vorverarbeitung (Aufbereitung, Anpassung) Digitalisieren Entzerren (Sensormodell, Kalibrieren) Verbessern (ohne spezielles Störmodell): Filteroperationen zur Glättung bzw. Verschärfung, evtl. Ausführung im Ortsfrequenzraum (Fouriertransf.) Restaurieren (mit bekanntem Störmodell) z.b. Bewegungsunschärfe, atmosph. Störungen Rekonstruktion Normierung (Größe, Lage, Grauwerte, Farben) Visuelle Verarbeitung II 105

106 Schichtenmodell Segmentierung: Klassifizierung von Pixeln Identifizierung von Bildprimitiven: Kanten aus Kantenelementen ( edgel = edge element, Pixel auf einer Kante) Bereiche (abgegrenzte Pixelmengen) bestimmt durch Grenzlinie, gemeinsame Textur ( texel = texture element, Pixelmenge mit spezieller Textur, d.h. spezieller Grauwertstruktur) Zerlegung des Bildes in Bereiche Visuelle Verarbeitung II 106

107 Schichtenmodell Komponentenerkennung Kombination von Bildprimitiven zu Komponenten Verwendung von zusätzlichem Wissen Szeneninterpretation Visuelle Verarbeitung II 107

108 Kanten, Linien Grundlegend für menschliche Orientierung Begrenzung von Körpern bzw. Flächen Sprung der Intensität (Begrenzung) Maximum bzw. Minimum der Intensität (Linie) Visuelle Verarbeitung II 108

109 Kanten, Linien Kante: Übergang zwischen unterschiedlichen Bereichen Grauwertkante großer Gradient in g(x,y) Texturkante durch Vorverarbeitung in Grauwertkante überführen Farbkante Grauwertkanten in Farbkanälen Linie = 2 naheliegende, parallele Kanten Differenzoperatoren erzeugen Linien aus Kanten Visuelle Verarbeitung II 109

110 Kantenerkennung Ausgangssituation: Bild g = [ g(x,y) ] x,y Ergebnis: Kanten Repräsentationsformen für Kanten: Quantitativ, z.b. Mengen von Punkten: Koordinaten p=(x,y) bzw. Koordinaten mit Richtung p=(x,y,r) Kurvengleichung (Gerade, Kreis,...) Gerade mit Anfangspunkt, Richtung, Länge Qualitativ, z.b. großer Kreis am linken Bildrand Visuelle Verarbeitung II 110

111 Kantenerkennung Mehrere Schritte, insbesondere 1) Identifizierung relevanter Bild-Punkte: Edgels = edge element: Punkt (+Richtung) Merkmal z.b. Grauwert-Änderung im Originalbild abgeleitete Merkmale nach Filterung 2) Zusammenfassung von Edgels zu Kanten z.b. Hough-Transformation, Regression, Suchverfahren, Korrelation mit Kanten-Maske Vorbereitung/Zwischenschritte mit weiteren Filteroperationen z.b. Rauschunterdrückung, Binärbilderzeugung, Kantenverstärkung, Vervollständigung Visuelle Verarbeitung II 111

112 Kantenextraktion Kurvendiskussion Kante = Sprungstelle der Grauwertverteilung Linie = Maximum (Minimum) in der Grauwertverteilung bzw. zwei Sprungstellen der Grauwertverteilung Visuelle Verarbeitung II 112

113 Kantenextraktion: Edgel Gradient: Betrag, Richtung Lokale Differenz-Operatoren Sobel-Operator Sobel-Operator in x- bzw. y-richtung Visuelle Verarbeitung II 113

114 Kantenextraktion: Edgel Wendepunkt Nullstelle der 2. Ableitung g g g Diskrete Laplace-Operatoren z.b Visuelle Verarbeitung II 114

115 Kantendetektion mit Laplace Operator Visuelle Verarbeitung II 115

116 Kantenextraktion: Edgel Hochpass-Filter im Frequenzbereich Berechnung der Fouriertransformierten G(u,v) lokale Multiplikation von G(u,v) mit einem Hochpass-Filter H(u,v) zur Elimination der tiefen Frequenzen: Gʻ(u,v) := G(u,v) H(u,v) Berechnung der Inversionen Fouriertransformierten von Gʻ(u,v) Visuelle Verarbeitung II 116

117 Kantenextraktion: Edgel - Morphologische Kantenoperatoren für Binärbild Symmetrische Differenz Dilation(G) XOR G ergibt Kanten an den Übergängen Schwarz/Weiß. Analog mit Erosion möglich, allerdings werden Linien (Breite nur 1 Pixel) eliminiert Visuelle Verarbeitung II 117

118 Kantenfindung aus Edgels Schwellwertbildung: Binärbild der Edgels Störungen beheben Verdünnen auf Linie Kombinationsverfahren: Hough-Transformation Suchverfahren (z.b. Bergsteigen, A*) Regression Template-Vergleich (Korrelation) Visuelle Verarbeitung II 118

119 Kantenfindung aus Edgels: Suchen Suchverfahren: Bild als Graph, Übergänge zwischen benachbarten Pixeln Kosten: Entfernung, Grauwertänderung, Orientierungsänderung, Gradient,... Suche nach Kosten-minimalem Weg Suchverfahren auch im Originalbild möglich (ohne Bestimmung von Edgels) Visuelle Verarbeitung II 119

120 Hough-Transformation Ausgangspunkt: Menge von Edgels Resultat: Menge von Geraden Idee: Jedes Edgel kann auf unterschiedlichen Geraden liegen Voting-Verfahren: Edgel stimmen ab für ihre Geraden Die Geraden mit den meisten Stimmen (Edgels) gewinnen Gleichzeitig mehrere Kanten erkennbar. Robust bzgl. fehlender/zusätzlicher Edgels. a 1 Visuelle Verarbeitung II 120 y x a 0

121 Hough Transformation Darstellung der Geraden als Hesseʻsche Normalform y θ x Visuelle Verarbeitung II 121

122 Autonomous Mobile Robots, Chapter 4 Hough Transform: Straight Edge Extraction l All points p on a straight-line edge must satisfy y p = m 1 x p + b 1. l l l Each point (x p, y p ) that is part of this line constraints the parameter m 1 and b 1. The Hough transform finds the line (line-parameters m, b) that get most votes from the edge pixels in the image. This is realized by four steps 1. Create a 2D array A [m,b] with axes that tessellate the values of m and b. 2. Initialize the array A to zero. 3. For each edge pixel (x p, y p ) in the image, loop over all values of m and b: if y p = m 1 x p + b 1 then A[m,b]+=1 4. Search cells in A with largest value. They correspond to extracted straight-line edge in the image. R. Siegwart, I. Nourbakhsh

123 Hough Transformation Kurven κ (x,y) von Punkten (x,y) auf r = x cos φ + y sin φ im x-y-raum schneiden sich im Punkt (r, φ) im r-φ-raum Visuelle Verarbeitung II 123

124 Hough Transformation Geraden r = x cos φ + y sin φ im x-y-raum werden dargestellt als Punkte (r, φ) im r-φ-raum. Geradenbüschel durch (x,y) im x-y-raum werden dargestellt als Kurven κ (x,y) im r-φ-raum Visuelle Verarbeitung II 124

125 Hough-Transformation Praktische Umsetzung: Akkumulator-Grid im r-φ-raum füllen ( Voting ) (Akkumulatorgrid beschränken entsprechend Bild) Für jedes Edgel entsprechende Einträge für Kandidaten (= Gerade (r,φ) ) füllen. Geraden mit hinreichend vielen Stimmen auswählen Schnelle Hough-Transformation: Richtungsinformation von Edgels ausnutzen Nur 1 Eintrag im Parameterraum (bzw. bei grober Orientierung einige Einträge) Visuelle Verarbeitung II 125

126 Hough Transformation Visuelle Verarbeitung II 126

127 Hough Transformation Visuelle Verarbeitung II 127

128 Hough-Transformation Erweiterbar für andere Konturen (Kreise,...) Kreise: 3-dimensionales Grid für Kreisparameter a, b, r (x-a) 2 + (y-b) 2 = r 2 Rechnungen entsprechend aufwändiger Visuelle Verarbeitung II 128

129 Bildbereiche (Regionen) Merkmale: Helligkeit, Farbe, Textur Begrenzung Merkmale bestimmen: Histogramme Farbklassifizierung Texturanalyse Kombination von Kanälen Erkennung Segmentierung anhand von Merkmalen Suchverfahren: Gebiete erweitern/einschränken Visuelle Verarbeitung II 129

130 Segmentierung Erzeugung eines Binärbildes: Klassifikation bzgl. Zugehörigkeit zu einer Region Anschließend z.b. Bestimmung von Kanten Identifikation anhand Gestalt Visuelle Verarbeitung II 130

131 Punktbasierte Segmentierung Gegeben: Unterscheidungsmerkmal als ein Grauwert-Bild bzgl. Ausprägung des Merkmals Gesucht: Klassifizierung anhand des Merkmals, d.h. Zugehörigkeit zu Klassen (Äquidensiten bzw. Binärbild) z.b. Abgrenzung von Regionen (z.b. Objekt, Hintergrund) Benötigt Schwellwerte zur Klassifizierung: Bestimmung mittels Histogrammen Visuelle Verarbeitung II 131

132 Punktbasierte Segmentierung Auswirkungen unterschiedlicher Schwellwerte: Störungen wirken sich aus Unterschiedliche Größe der Regionen i.a. nicht vermeidbar wegen Effekten der Quantisierung Auswirkungen bei ungleichmäßigem Hintergrund (unterschiedliche Beleuchtung): keine einheitliche Größe Ausgleich durch vorherige Korrektur für gleichmäßige Helligkeit Visuelle Verarbeitung II 132

133 Punktbasierte Segmentierung Jähne S.450 Visuelle Verarbeitung II 133

134 Punktbasierte Segmentierung Jähne S.451 Visuelle Verarbeitung II 134

135 Punktbasierte Segmentierung Jähne S.452 Visuelle Verarbeitung II 135

136 Regionen-Wachstum Ausgehend von einem Pixel werden sukzessive gleichartige Nachbarn hinzugenommen. Implementierung als Tiefe-Zuerst oder Breite-Zuerst Suche Verwaltung der zu untersuchenden Nachbarn durch entsprechende OPEN-Liste Visuelle Verarbeitung II 136

137 Split-and-merge Idee analog Quadtree-Konstruktion: Split als fortlaufende Zerlegung von jeweils quadratischen Bereichen, die nicht insgesamt zu einer Klasse gehören. Merge als jeweils anschließende Zusammenfassung gleicher Bereiche. Visuelle Verarbeitung II 137

138 Pyramid Linking Verfahren zum Ausgleich von Störungen JÄHNE S. 458 Visuelle Verarbeitung II 138

139 Pyramid Linking a) Gauß-Pyramide: jeweils Mittelwert für 4 Pixel wird Vaterknoten in höherer Ebene. b) Pyramid-Linking: Nur Kanten zu dem Vaterknoten mit nächstliegendem Grauwert. c) Neuberechnung der Mittelwerte entlang der noch existierenden Kanten. b) und c) wiederholen bis Stabilität erreicht. d) Bei Stabilität werden Ergebnisse einer auszuwählenden Schicht nach unten propagiert. Unterste Ebene gibt korrigierte Grauwerte an. Visuelle Verarbeitung II 139

140 Pyramid Linking: 1D-Beispiel JÄHNE S. 457 Visuelle Verarbeitung II 140

141 JÄHNE S. 457? Ergebnis ist eine Stufenkante Visuelle Verarbeitung II 141

142 Objektklassifizierung Vergleichsoperationen: Ähnlichkeit zwischen Bildobjekt und Referenzobjekt Lokaler Vergleich (Pixel), Vergleich lokaler Merkmale (Beziehung von Pixeln: Punkte,Kanten,Farben,Texturen, ) Struktureller Vergleich (Beziehung von Merkmalen) Vergleich globaler Merkmale (Histogramme usw.) Klassifizierung in komprimierten Darstellungen RLE, Nachbarschaftsgrafen Quad-Trees Richtungsketten,... Visuelle Verarbeitung II 142

143 Lokale Ähnlichkeiten Differenzbild (einfaches Fehlerbild ) Korrelation (Summe quadratischer Fehler minimieren) Filterung mit Suchmaske (= Referenzobjekt) Direkter Vergleich auf Pixelebene erfordert Angleichung von Position und Größe Translation Rotation Skalierung Angleichung der Darstellung Grauwerte/Farben Ergänzung (verdeckter/unsichtbarer Teile) Abstraktion (Verzicht auf individuelle Eigenschaften) Rauschunterdrückung Visuelle Verarbeitung II 143

144 Ähnlichkeit struktureller Merkmale Beziehungen zwischen Merkmalen (Graph) vergleichen Quantitativ oder qualitativ Merkmale: Bildprimitive, Komponenten: Kanten, Ecken, Oberflächen, komplexere Merkmale Struktur: Beziehungen von Bildprimitiven/Komponenten z.b. Constraint-Verfahren von Waltz anwenden Visuelle Verarbeitung II 144

145 Ähnlichkeit globaler Merkmale Statistische Merkmale (Bilder als Zufallsvariable) Mittelwert (durchschnittlicher Grauwert) Varianz (Kontrast) Kovarianz bei mehrkanaligen Bildern Entropie Histogramme Visuelle Verarbeitung II 145

146 Ähnlichkeit: strukturelle Merkmale Beispiel: Erkennung der Flaggen Bekannte Merkmale: Kanten: weiß-gelb und gelb-pink Lage im Bild relativ zum Horizont Außenkanten als Maß für die Größe einer Landmarke Visuelle Verarbeitung II 146

147 Matching: Korrelation Abstand zwischen Template h(u,v) und Ausschnitt g(x+u,y+v) des Bildes an der Stelle (x,y) berechenbar als Summe der Quadrate (analog Euklidischer Abstand): d 2 (x,y) := u=-k...+k v=-l...+l ( g(x+u,y+v) - h(u,v) ) 2 = u=-k...+k v=-l...+l ( g(x+u,y+v) 2 + h(u,v) 2 2 g(x+u,y+v) h(u,v) ) = u=-k...+k v=-l...+l g(x+u,y+v) 2 ( => a(x,y) ) + u=-k...+k v=-l...+l h(u,v) 2 (=> b, konstanter Wert ) 2 u=-k...+k v=-l...+l g(x+u,y+v) h(u,v) ( => -2 corr(x,y) ) Visuelle Verarbeitung II 147

148 Matching: Korrelation Falls a(x,y) konstant für Bild, dann wird d(x,y) minimiert, wenn die Korrelation corr = u=-k...+k v=-l...+l g(x+u,y+v) h(u,v) maximiert wird. Falls a(x,y) nicht konstant: Normierung bzgl. lokaler Helligkeit: z.b. Division ( a(x,y) b ) 1/2 Korrelation ist ein Maß für Ähnlichkeit zwischen Bildausschnitt und Template. Aber: Wert abhängig von Gesamt-Helligkeit. Korrelation (als gespiegelte Faltung, beachte Vorzeichen) im Frequenzraum mittels Fouriertransformierten berechenbar. Visuelle Verarbeitung II 148

149 Matching: Korrelationskoeffizient Vergleich bezogen auf Mittelwerte M(g,x,y) (durchschnittliche Helligkeit des Ausschnitts um (x,y) ) und M(h) (durchschnittliche Helligkeit von h ) : cov (g,x,y) h = u=-k...+k v=-l...+l ( g(x+u,y+v)- M(g,x,y) ) ( h(u,v) - M(h) ) und bei Normierung mit Varianzen σ g,x,y = ( u=-k...+k v=-l...+l ( g(x+u,y+v)- M(g,x,y) 2 ) 1/2 σ h = ( u=-k...+k v=-l...+l (h(u,v) - M(h) 2 ) 1/2 ergibt als Helligkeitsunabhängiges Ähnlichkeitsmaß: Korrelationskoeffizient cov (g,x,y) h / (σ g,x,y σ h ) Visuelle Verarbeitung II 149

150 Matching Ergebnisse unterschiedlicher Ähnlichkeitsmaße. Die Helligkeit gibt den Grad Der Übereinstimmung an für die jeweilige Position des Templates. Bild Burger/Burge, S. 431 Visuelle Verarbeitung II 150

151 Rotation, Translation, Skalierung Vergleich mit Template mit dem Bild - an verschiedenen Stellen - in verschiedener Orientierung - in verschiedenen Größen (aufwändig) Visuelle Verarbeitung II 151

152 SIFT = Scale Invariant Feature Transformation Feature = (signifikantes) Merkmal Visuelle Verarbeitung II 152

153 SIFT = Scale Invariant Feature Transformation Verfahren zur Bestimmung von Merkmalen, die unabhängig von Position, Rotation und Skalierung erkennbar sind. Robustheit in gewissen Grenzen auch bzgl. affiner Transformation, Standpunktwechsel und Beleuchtungsunterschieden David G. Lowe: Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, Schritte. Ca Features werden für 500x500 Pixel erzeugt. Visuelle Verarbeitung II 153

154 SIFT = Scale Invariant Feature Transformation 1. Kandidaten suchen: Extremwerte in einer Laplace-Pyramide bestimmen: Vergleich jedes Punktes mit 26 lokalen Nachbarn in der eigenen Ebene und in den beiden Nachbar-Ebenen. Maxima and minima of the difference-of-gaussian images are detected by comparing a pixel (marked with X) to its 26 neighbors in 3x3 regions at the current and adjacent scales (marked with circles). Visuelle Verarbeitung II 154

155 SIFT = Scale Invariant Feature Transformation 2. Auswahl und Lokalisierung von Keypoints: Elimination von Kandidaten mit geringem Kontrast oder unklarer Position (auf einer Kante). Zu jedem Keypoint gehört danach seine Skalen-Ebene und seine Position in dieser Ebene Visuelle Verarbeitung II 155

156 SIFT This figure shows the stages of keypoint selection. (a) The 233x189 pixel original image. (b) The initial 832 keypoints locations at maxima and minima of the differenceof-gaussian function. Keypoints are displayed as vectors indicating scale, orientation, and location. (c) After applying a threshold on minimum contrast, 729 keypoints remain. (d) The V.V. final Hafner, 536 HU Berlin keypoints that remain Vorlesung following Kognitive an Robotik additional threshold on ratio Visuelle Verarbeitung II 156 of principal curvatures.

157 SIFT = Scale Invariant Feature Transformation 3. Orientierung der Keypoints bestimmen: Gradient (Richtung, Betrag) für alle Bildpunkte einer Nachbarschaft des Keypoints bestimmen Histogramme für gewichtete Richtungen (Gewicht für jeden Punkt proportional zu Betrag und Entfernung vom Keypoint) Orientierung entspricht Maximum im Histogramm Falls mehrere Kandidaten für Maximum: Zusätzliche Keypoints (besonders gut für Matching) Alle weiteren Eigenschaften werden relativ zu Skalen-Ebene, Position und Orientierung des Keypoints bestimmt (ergibt Invarianz bzgl. Transformationen) Visuelle Verarbeitung II 157

158 SIFT = Scale Invariant Feature Transformation 4. Keypoint Descriptor: Lokale Gradienten in einer Umgebung der Keypoints (relativ zu den Daten aus Schritt 2 und 3). Normalisierung zum Ausgleich von Unterschieden bzgl. Kontrast und Helligkeit. Visuelle Verarbeitung II 158

159 SIFT = Scale Invariant Feature Transformation A keypoint descriptor is created by first computing the gradient magnitude and orientation at each image sample point in a region around the keypoint location, as shown on the left. These are weighted by a Gaussian window, indicated by the overlaid circle. These samples are then accumulated into orientation histograms summarizing the contents over 4x4 subregions, as shown on the right, with the length of each arrow corresponding to the sum of the gradient magnitudes near that direction within the region. This figure shows a 2x2 descriptor array computed from an 8x8 set of samples, whereas the experiments in this paper use 4x4 descriptors computed from a 16x16 sample array. Visuelle Verarbeitung II 159

160 SIFT = Scale Invariant Feature Transformation Anwendung: Vergleich von Keypoints eines Templates mit Keypoints eines Bildes Aufwändiger Prozess des Vergleichens und Auswählens von Kandidaten für Matching von Keypoints (siehe Literatur). Visuelle Verarbeitung II 160

161 SIFT = Scale Invariant Feature Transformation The training images for two objects are shown on the left. These can be recognized in a cluttered image with extensive occlusion, shown in the middle (600x480 Pixel). The results of recognition are shown on the right. A parallelogram is drawn around each recognized object showing the boundaries of the original training image under the affine transformation solved for during recognition. Smaller squares indicate the keypoints that were used for recognition. Visuelle Verarbeitung II 161

162 SIFT = Scale Invariant Feature Transformation This example shows location recognition within a complex scene. The training images for locations are shown at the upper left and the 640x315 pixel test image taken from a different viewpoint is on the upper right. The recognized regions are shown on the lower image, with keypoints shown as squares and an outer parallelogram showing the boundaries of the training images under the affine transform used for recognition. Visuelle Verarbeitung II 162

163 Bewegungen Zeit als weitere Dimension Bewegungen in der Szene erkennen Eigene Bewegung als Veränderung Überlagerung: Bewegung in der Szene und eigene Bewegung Auswirkungen: Bei langer Belichtung innerhalb eines Bildes Sonst: Unterschiede in aufeinander folgenden Bildern. Visuelle Verarbeitung II 163

164 Optischer Fluss Visuelle Verarbeitung II 164

165 Visuelle Verarbeitung II 165

166 Optischer Fluss Visuelle Verarbeitung II 166

167 Optischer Fluss In gradient-based methods, the greylevel profile is assumed to be locally linear which can be matched in the image pair Gradient-based methods assume a linear-ramped greylevel edge is displaced by vδt between 2 successive frame Visuelle Verarbeitung II 167

168 Optischer Fluss vδt t t+δt v x x+δx Visuelle Verarbeitung II 168

169 TTC (time to contact) Tauchende Vögel unterschiedliche Geschwindigkeit und Höhe TTC konstant Visuelle Verarbeitung II 169

170 TTC Visuelle Verarbeitung II 170

171 Bewegungen Methoden: Differenzbilder Interpolation über mehrere Bilder Berechnungen im Raum-Modell nach rechts nach oben nach vorn Visuelle Verarbeitung II 171

172 Differenzbilder Jähne S Visuelle Verarbeitung II 172

173 Differenzbilder Jähne S Visuelle Verarbeitung II 173

174 Differenzbilder Jähne S Visuelle Verarbeitung II 174

175 Differenzbilder Jähne S Visuelle Verarbeitung II 175

176 Bewegungen Blendenproblem (Aperturproblem): Mehrdeutigkeiten bei Verschiebung einer Kante Nur senkrecht zur Kante stehende Bewegungskomponenten erkennbar Visuelle Verarbeitung II 176

177 Bewegungen Blendenproblem (Aperturproblem): Mehrdeutigkeiten bei Verschiebung einer Kante Nur senkrecht zur Kante stehende Bewegungskomponenten erkennbar Visuelle Verarbeitung II 177

178 Bewegungen Blendenproblem (Aperturproblem): Mehrdeutigkeiten bei Verschiebung einer Kante Nur senkrecht zur Kante stehende Bewegungskomponenten erkennbar Visuelle Verarbeitung II 178

179 Bewegungen Blendenproblem (Aperturproblem): Mehrdeutigkeiten bei Verschiebung einer Kante Nur senkrecht zur Kante stehende Bewegungskomponenten erkennbar Visuelle Verarbeitung II 179

180 Bewegungen Blendenproblem (Aperturproblem): Mehrdeutigkeiten bei Verschiebung einer Kante Nur senkrecht zur Kante stehende Bewegungskomponenten erkennbar Visuelle Verarbeitung II 180

181 Bewegungen Blendenproblem (Aperturproblem): Mehrdeutigkeiten bei Verschiebung einer Kante Nur senkrecht zur Kante stehende Bewegungskomponenten erkennbar Visuelle Verarbeitung II 181

182 Bewegungen Blendenproblem (Aperturproblem): Mehrdeutigkeiten bei Verschiebung einer Kante Nur senkrecht zur Kante stehende Bewegungskomponenten erkennbar Visuelle Verarbeitung II 182

183 Bewegungen Blendenproblem (Aperturproblem): Mehrdeutigkeiten bei Verschiebung einer Kante Nur senkrecht zur Kante stehende Bewegungskomponenten erkennbar Visuelle Verarbeitung II 183

184 Bewegungen Blendenproblem (Aperturproblem): Mehrdeutigkeiten bei Verschiebung einer Kante Nur senkrecht zur Kante stehende Bewegungskomponenten erkennbar Visuelle Verarbeitung II 184

185 Bewegungen Blendenproblem (Aperturproblem): Mehrdeutigkeiten bei Verschiebung einer Kante Nur senkrecht zur Kante stehende Bewegungskomponenten erkennbar Visuelle Verarbeitung II 185

186 Bewegungen Korrespondenzproblem: Zuordnung von Objekten in aufeinander folgenden Bildern: Wichtig: Verhältnis der Bewegung zum Abstand von ununterscheidbaren Objekten Jähne S. 401 Visuelle Verarbeitung II 186

187 Bewegungen Bewegungsfeld: Projektion der realen Bewegung in die Bildebene gemäß Abbildung durch Kamera. Optischer Fluss: Grauwertverschiebung im Bild als Geschwindigkeitsvektor: Berechenbar aus Verschiebungsvektor zwischen zwei Bildern (Differenzbild), dividiert durch zeitlichen Abstand. i.a. unterschiedlich (z.b. Beleuchtungsunterschiede) Beispiele: Rotierende Kugel mit gleichartiger Oberfläche Kugel in Ruhe bei bewegter Lichtquelle Visuelle Verarbeitung II 187

188 Bewegungen Berechnungen im Modell des Raumes ( Weltmodell ): Kombinieren: Angenommene Bewegungen (Extrapolation) Beobachtete Bewegungen im Bild Kommunizierte Bewegungen anderer Beobachter Analog zu Selbstlokalisierung (später). Visuelle Verarbeitung II 188

189 Bildfolgen verstehen Zusätzliche Ziele: Abläufe interpretieren Eigene Bewegung kontrollieren Zusätzliche Möglichkeiten: Bezugnahme auf weitere Bilder Bestätigung von Annahmen Erkennen von Veränderungen Visuelle Verarbeitung II 189

190 Entwurfsentscheidungen bzgl. Interpretation Ausgangsdaten Format der Bilddaten Kontext der Bildentstehung (Beleuchtung, Abbildungsmodell, Sensoreigenschaften,...) Repräsentation von (Zwischen-)Modellen Prototypen von Objekten und Eigenschaften Repräsentation der Zielbeschreibung Formalismen der Wissensrepräsentation für Objekte mit Eigenschaften und Beziehungen Visuelle Verarbeitung II 190

191 Literatur Jähne, Bernd: Digitale Bildverarbeitung. Springer, 2002 Nehmzow, Ulrich, Peter Haberäcker: Scientific Methods in Mobile Robotics. Springer, 2006 Burger, Wilhelm, Mark James Burge: Digitale Bildverarbeitung. Springer, 2005 Haberäcker, Peter: Digitale Bildverarbeitung. Hander Klette, Reinhard, P. Zamperoni: Handbuch der Operatoren für die Bildbearbeitung. Vieweg Mallot, Hans-Peter A.: Sehen und die Verarbeitung visueller Informationen. Vieweg 1998 Watkins, Christopher, Alberto Sadun, Stephen Marenka: Modern Image Processing. Academic Press Borenstein, Johann (et al.): Where am I. University of Michigan 1996 Visuelle Verarbeitung II 191