Übersicht der Vorlesung

Transkript

1 Übersicht der Vorlesung 1. Einführung 2. Bildverarbeitung 3. orphologische Operationen 4. Bildsegmentierung 5. erkmale von Objekten 6. Klassifikation 7. Dreidimensionale Bildinterpretation 8. Bewegungsanalyse aus Bildfolgen 9. PCA (Hauptkomponentenanalyse) 10.ICA (Independent Component Analysis Unabhängigkeitsanalyse)

2 4 Bildsegmentierung

3 4. Bildsegmentierung 4.1 Einführung 4.2 Punktorientierte Segmentierung 4.3 athematische Grundlagen 4.4 Bestimmung von Komponenten 4.5 Regionenorientierte Segmentierung 4.6 Kantenorientierte Segmentierung 4.7 Kantenverfolgung 4.8 Gebietsnachbarschaftsgraph 4.9 odellabhängige Verfahren zur Segmentierung

4 4.1 Einführung

5 Einführung Bildsegmentierung bezeichnet den Vorgang, das Bild in sinnvolle Bildteile (Segmente) aufzuteilen. Die Segmente bilden dann die Grundlage für die Erkennung und Klassifikation von Objekten in Bildern.

6 Einführung Ziele der Segmentierung eines Bildes: Auffinden einer enge von Segmentierungsobjekten, von denen sich jedes Objekt durch bestimmte homogene Eigenschaften oder Attribute auszeichnet, bzw. eine bestimmte Relation erfüllt (gleicher Grauwert). Auffinden von Kanten (Objektgrenzen), die durch Änderungen in ansonsten gleichmäßigen ustern entstehen. Verschieden helle Grauwertbereiche lassen sich beispielsweise durch Kanten voneinander trennen. 4 Segmente

7 Einführung Verfahren: punktorientierte Verfahren kantenorientierte Verfahren regionenorientierte Verfahren regelbasierte Verfahren Unter einer Segmentierung von G E verstehen wir zunächst eine Zerlegung von G E, d.h.: X U N n=1 G E = X n n IX 0 1 n = für n 2 1 n2 zusammenhängend in sich homogen benachbarte unterscheiden sich

8 4.2 Punktorientierte Segmentierung

9 Schwellwertverfahren g A ( i, 1 j) = 0 falls falls g g E E ( i, j) T ( i, j) < T Histogramm Bei mehreren Objekten mit verschiedenen Grauwerten ergibt sich ein multimodales Histogramm und ein einziger Schwellwert reicht nicht mehr aus.

10 odifikationen = sonst 0 ), ( falls 1 ), ( D j i g j i g E A R D = sonst 0 ), ( falls ), ( k E A D j i g k j i g R D k N k,, =1 K

11 Bemerkungen bei gutem Kontrast zwischen Vorder- und Hintergrund Stanzteile (hell, reflektierend) auf einem dunklen Förderband liefert es gute Ergebnisse reicht aber oft nicht aus

12 4.3 athematische Grundlagen

13 athematische Grundlagen Für die diskreten Bilder benötigen wir Definitionen von: Nachbarschaft von Bildpunkten Wege von Bildpunkten zusammenhängendes Segment benachbarte Bildsegmente Kanten

14 4.3.1 Nachbarschaft

15 Nachbarschaftsstruktur Tupel: [ ] N P, P P N nichtleere enge irreflexive, symmetrische Relation: P p N p p ), ( P q p N p q N q p, ), ( ), ( Das Tupel [P,N] ist ein ungerichteter Graph.

16 Nachbarschaft isolierter Punkt Nachbarschaft des Punktes p: N( p) = { q: q P,( p, q) N} q N(p) Nachbar von p Isolierter Punkt: N(p) =

17 Beispiel Bildraster P {(, ) : = 0, K, 1, = 0, K, 1} = i j i I j J Anzahl der Zeilen Anzahl der Spalten Für N gibt es mehrere öglichkeiten

18 4 und 8 Nachbarschaft im Bildraster N {[ i, j ),( i, j )]: i i + j 1} = N j 4 = ( = {[ i, j ),( i, j )]:max{ i i, j } 1} N = N j 8 = ( =

19 Diagonal Nachbarschaft N {[ i, j ),( i, j )]: i i = 1 und j 1} = N = j D ( =

20 6 Nachbarschaft {[ i, j ),( i, j )]: i i + j j = 1 oder ( i i + j j = 2 und i + j = i ) } N = N + 6 = ( j2 Interpretation des Bildrasters als regelmäßige Sechsecke. Solche Hexagonalraster haben viele interessante Eigenschaften. Wir werden aber im Weiteren nur noch quadratische Bildraster betrachten.

21 4.3.2 Weg und Zusammenhang

22 Weg Nachbarschaftsstruktur: [ P, N ] P n 1 Weg in : ( p,, ) p n 1 K p i i =1, K, n ( p p ) N i, i = 1, K, n 1 i+1 n =1 ( p ) 1 Weg ist nur ein Punkt

23 Verbundenheitsrelation Nachbarschaftsstruktur: [ P, N ] p, q P verbunden bezüglich P Weg ( p, K, q) in oder Weg ( p, K, q) in = P \ {( p, q) P P : p und q sind bezüglich verbunden } V =

24 Zusammenhang Nachbarschaftsstruktur: [ P, N ] P heißt zusammenhängend (Gebiet) p, q ( p, q) V

25 Beispiel {( i, j) : i = 0, K,3, = 0, K,3} P = j N = N4 = {(1,1),(1,2),(2,0),(2,1),(2,2)} ist zusammenhängend

26 Bemerkung solche Nachbarschaftstrukturen kann man sich auch als binäre Bilder vorstellen die Teilmenge interpretieren wir als die enge der Bildpunkte mit g(i,j)=1

27 Beispiel P {( i, j) : i = 0, K,3, = 0, K,3} = j = {(1,2),(1,3),(2,1),(3,0)} N = N 4 ist nicht zusammenhängend N = N 8 ist zusammenhängend Dies zeigt, dass der Begriff zusammenhängende enge von der Definition der Nachbarschaft N abhängt.

28 Beispiel P {( i, j) : i = 0, K,3, = 0, K,3} = j {(0,0),(1,1),(2,2),(3,3)} = N = N8 ist zusammenhängend P\ ist zusammenhängend (widerspricht unserer Anschauung) bei der 6 Nachbarschaft treten diese Probleme nicht auf

29 4.3.3 Komponentenzerlegung

30 Zerlegung Nachbarschaftsstruktur: [ P, N ] { G, G, } 2 Z =, 1 K G n G i P G G i j =, i j n U i= 1 G i = P zusammenhängend

31 Eigenschaften der Verbundenheitsrelation P V \ ) ( ) ( = V p p ), ( V p q V q p ), ( ), ( V r p V r q V q p ), ( ) ), ( ), (( Äquivalenzrelation \ in ),, ( Weg oder in ),, ( Weg P q p q p = K K { } verbunden sind bezüglich und : ), ( q p P P q p V =

32 Äquivalenzklassen ) (, 1 i V n i K K = P Relation V bezüglich der Äquivalenzklassen von i i K q K p i V q p, : ), ( { } ) ( 1,, V n K K Z K = Zerlegung von P K K i i

33 Komponenten Komponenten von : K i Komplementärkomponenten von : K i Komponentenzerlegung von P bezüglich : Z = { 1 n ( V,, ) } K K K

34 Komponenten p P i : K i = K ( p) = { q P : ( p, q) V } maximal zusammenhängende Teilmengen

35 Komponenten Beispiel Die Komponentenzerlegung von P bezüglich der enge (schwarze Punkte). Die ersten drei Komponenten sind Teilmengen von und die vierte Komponente ist gleich P\.

36 Bemerkung Die Komponentenzerlegung bildet eine einfache öglichkeit zur Segmentierung eines Binärbildes. Wir benötigen aber noch Algorithmen zur Konstruktion der Komponenten (Segmente).

37 4.4 Bestimmung von Komponenten

38 2 Algorithmen Region Growing ein allgemeiner Algorithmus Zeilenkoinzidenzverfahren speziell für Bildraster

39 Region Growing Eingabe: P,N, while <> do begin wähle p ; := \ {p}; K := {p}; L := {p}; while L <> do begin wähle q L; L := L \ {q}; bestimme N(q); N (q) := N(q) ; K := K U N (q); L := L U N (q); := \ N (q); end; Ausgabe: K ist eine der Komponenten von end; Nachbarschaftsstruktur: [ P, N ] P Der Algorithmus wählt einen beliebigen, noch nicht betrachteten Punkt aus und fügt dann solange Nachbarn hinzu, bis dies nicht mehr möglich ist. Dann haben wir eine Komponente K gefunden. Die Komponenten werden nacheinander gefunden. Dieses Verfahren erinnert an die Tiefensuche.

40 Beispiel Hier werden 2 Komponenten nacheinander gefunden

41 Zeilenkoinzidenzverfahren Eingabebild (binär) segmentiertes Ausgabebild G E = ( g ( i, j)) E G A = ( g ( i, j)) A g E ( i, j) {0,1} g ( 0, j) = g ( i,0) = 0 E E g A ( i, j) = 0 k falls falls ( i, ( i, j) j) Hintergrund k - te Komponente von P {( i, j) : i = 0, K, I 1, j = 0, K, 1} = J {( i, j) : g ( i, j) 1} P, = = N = N 4 E

42 Algorithmus Anschaulich verschiebt man ein Fenster über das Bild. Der Punkt (i, j) liegt auf einer 1 des binären Eingabebildes G E.

43 Beispiel Eingabebild Die 0 te Zeile ist hier oben

44 Beispiel Zwischenergebnis Hier könnte auch 2 stehen. Deshalb sind die arken 1 und 2 äquivalent.

45 Beispiel segmentiertes Ausgabebild Durch eine Neunummerierung erhalten wir 3 Komponenten ( 1 bleibt, 2 wird 1, 3 wird 2, 4 wird 3).

46 Zeilenkoinzidenzverfahren Bei der 8 Nachbarschaft N = N 8 verwendet man ein Fenster der Form: Die Abarbeitung im Fenster geschieht in folgender Reihenfolge: 1. i-1,j-1 2. i-1,j 3. i-1,j+1 4. i, j-1

47 Beispiel Eingabebild: Zwischenergebnis: x Für könnte auch ein anderer Wert stehen. Deshalb sind die arken 1 und 3, 3 und 5 sowie 1 und 4 jeweils äquivalent.

48 Beispiel Durch eine Neunummerierung erhalten wir 3 Komponenten ( 1 bleibt, 2 bleibt, 3 wird 1, 4 wird 1, 5 wird 1, 6 und 7 bleibt)

49 Bemerkung Das Zeilenkoizidenzverfahren liefert noch weitere Informationen, z.b.: Lage der Komponenten im Bild Flächeninhalt der Komponenten

50 Verallgemeinerung G E = ( g ( i, j)) E g E ( i, j) {0,1, K, n} {( i, j) P : g ( i, j k} k = E ) = P = n U k =0 k k k ' = k k' Bestimmung der Komponenten von k (k=0,,n) m U k q=1 k = K kq

51 4.5 Regionenorientierte Segmentierung

52 4.5.1 Allgemeine Definition der Segmentierung

53 benachbarte engen Nachbarschaftsstruktur: [ P, N ] P 1 2 P benachbart: 1 2 = ( p, q) N : p und q disjunkte engen heißen getrennt, wenn sie nicht benachbart sind.

54 Homogenitätsfunktion Nachbarschaftsstruktur: [ P, N ] h P : 2 { true, false} Teilmengen von P Teilmenge ist homogen Teilmenge ist nicht homogen

55 Segmentierung Nachbarschaftsstruktur: [ P, N ] Homogenitätsfunktion: h P : 2 { true, false} Unter einer Segmentierung einer Nachbarschaftsstruktur [P,N] bezüglich h verstehen wir eine Zerlegung von P: { X, } Z, S = 1 K X n h( X ) i = true X i, X - benachbart ( i j) j disjunkt, zusammenhängend h ( X X ) false i j =

56 Zusammenhang zur Komponentenzerlegung P {( i, j) : i = 0, K, I 1, j = 0, K, 1} = J N = N 4 oder N = N 8 P 1 h( ) = true false falls sonst 1 ( P \ 1 ) Die Komponenten von 1 und P\ 1 bilden eine Segmentierung bezüglich h.

57 Beispiel Eingabebild: G E = ( g ( i, j)) g ( i, j) {1,2,3} E P= {( i, j): i = 0, K,5 j = 0, K,4} N = N 4 E k = {( i, j): g ( i, j) = k} k = 1,2,3 E h( ) = true false falls sonst Die Komponenten von 1, 2 und 3 bilden eine Segmentierung bez. h.

58 Beispiel andere Homogenitätsfunktion Eingabebild: h( ) = true false falls sonst ( 1 2 ) ( 2 3 ) Die Grauwerte einer homogenen Teilmenge unterscheiden sich höchstens um Segmentierung nicht eindeutig

59 4.5.2 Algorithmen zur Segmentierung

60 Algorithmen zur Segmentierung 2 mögliche Verfahren : Region Growing arbeitet analog zur Komponentenbestimmung Split and erge Verfahren lässt sich nur für Bildraster anwenden

61 Region Growing

62 Bemerkung an kann auch mehrere Punkte p am Anfang betrachten und parallel arbeiten. Sobald sich dabei zwei Gebiete einander berühren, wird überprüft, ob das Homogenitätskriterium für die Vereinigung der beiden Gebiete erfüllt ist. Ist dies der Fall, so werden die beiden Gebiete zu einem einzigen verschmolzen.

63 Split and erge Prinzip: Split Ansatz: Ausgehend vom vollständigen Bild wird das Bild rekursiv in Teilgebiete zerlegt (z.b. jedes Teilgebiet in 2 2 Teile), bis jedes der Teilgebiete das Homogenitätskriterium erfüllt. erge Ansatz: Ausgehend von einer feinen Unterteilung des Bildes in Teilgebiete (alle diese Gebiete erfüllen das Homogenitätskriterium) werden benachbarte Gebiete, deren Vereinigung das Homogenitätskriterium erfüllt, zusammengefasst. Kombinationen dieser beiden Ansätze führen zu Split and erge Algorithmen.

64 Algorithmusidee (1) Eingabe: Ausgangsunterteilung des Bildes in Gebiete: P= U n R i i=1 Homogenitätskriterium h

65 Algorithmusidee (2) P= n UR i i=1 i : h( Ri ) = false Split 4 U j= 1 R i = R ij Wenn die Vereinigung von benachbarten Gebieten aus der enge: { R R, R R } i 1, i 2 i 3, i 4 für ein festes i das Homogenitätskriterium erfüllt, so fasse man diese Gebiete zusammen (erge) fortsetzen, bis kein Split oder erge mehr möglich ist P= m U ' R i i= 1

66 Algorithmusidee (3) P= m U ' R i i= 1 wenn zwei benachbarte Gebiete R i,r j das Homogenitätskriterium h erfüllen, so fasse man diese zusammen (erge) R i,r j entstanden nicht durch den gleichen Split

67 Bemerkung Die rekursive Unterteilung eines Bildes in 4 Quadrate nennt man auch Quadtree. Sie ist besonders günstig, wenn I = J = 2 n.

68 Beispiel Split erge erge