Signalverarbeitung g für audiovisuelle Kommunikation

Transkript

1 University of Applied Science Signalverarbeitung g für audiovisuelle Kommunikation 3. Segmentierung - Morphologische Operationen

2 Morphologische Operationen Morphologie: die Gestalt betreffend Gestalt in Form eines Segmentes (z.b. Binärbild) wird vorausgesetzt tt Meistens angewendet auf Binärbildern Ziel: Veränderung der Gestalt, um Störungen nach einer Segmentierung zu beseitigen Berechnung von Formmerkmalen Suche nach bestimmten Formen (also: Analyse) Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 2

3 University of Applied Science Signalverarbeitung für audiovisuelle Kommunikation 3. Segmentierung - Nachverarbeitung mittels morphologischen Basis-Operationen

4 Morphologische Operationen Prinzipielle Funktionsweise: Operation innerhalb einer Maske (Strukturelement) Verschiebung der Maske Ergebnis wird in zu definierende Pixelposition relativ zur Maske (Ankerpunkt) geschrieben ebe Strukturelement s Ergebnis der Operation Ankerpunkt x(m,n) y(m,n) Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 4

5 Dilatation Dilatation: Ausweitung (Maximum-Operator) Vereinigung (Oder-Verknüpfung) über alle Pixel des Binärbildes innerhalb des Strukturelementes s (Pixel außerhalb des Bildes werden auf 0 (Minimum) gesetzt.) y ( m n) x( m, n) s = ( ) x( m + m, n n ), = mk, nk s k + k Weiß: log. 0 Grün: log. 1 Ankerpunkt [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 5

6 Dilatation Ergebnis: Vergrößertes (ausgeweitetes) Bild Strukturen werden verbunden Lücken werden gefüllt [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 6

7 Dilatation Ein Strukturelement einer morphologischen Operation entspricht dem Faltungskern bei einer Konvolution. Mit einem gezielt geformten Strukturelement können genau definierte i Formveränderungen erzeugt werden. Strukturelement Dilatation [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 7

8 Dilatation Original Streifenstörung Eliminierung des Streifens Strukturelement zum Schließen des Streifens [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 8

9 Erosion Erosion: Abtragung (Minimum-Operator) Schnittmenge (UND-Verknüpfung) über alle Pixel des Binärbildes innerhalb des Strukturelementes s (Pixel außerhalb des Bildes werden auf 1 (Maximum) gesetzt.) y ( m n) x( m, n) s = ( ) x( m + m, n n ), = mk, nk s k + k Weiß: log. 0 Grün: log. 1 Ankerpunkt [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 9

10 Erosion Ergebnis: Verkleinertes (abgetragenes) Bild Strukturen werden aufgelöst Details werden entfernt 1 -? 0 Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 10

11 Erosion Bild nach Eliminierung des Streifens Erodieren der Linieni Strukturelement zur Erosion des zu breiten Schriftzugs [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 11

12 Erosion und Dilation (Dualität) Dualität von Erosion und Dilation: (X S) c = X c - S (X - S) c = X c S S : am Ankerpunkt punktgespiegeltes Strukturelement X c : Komplementärmenge von X -? Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 12

13 Erosion und Dilation Anwendung auf Grauwertbildern: y( m, n) = max ( m n ) s ( x( m + mk n + nk )) k, k, Erosion: y ( m, n ) = min ( m, n ) s ( x ( m + m k, n + n k ) ) Dilatation: Erosion: k k, Erosion Dilatation [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 13

14 Opening Kombination von Erosion und anschließ. Dilatation: X o S = (X - S) S S : S: am Ankerpunkt punktgespiegeltes Strukturelement Ziel: Erosion - Entfernung aller (Teil-)strukturen, die kleiner als das Strukturelement sind Dilatation ti - Wiederherstellung der ursprünglichen Größe des Objekts mit Ausnahme der vollständig entfernten Teilstrukturen Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 14

15 Opening Erosion (2x2) original Dilatation (2x2) Subtraktion Bild1 - Bild3 [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 15

16 Closing Kombination von Dilatation und anschließ. Erosion: X S = (X S) - S S : S: am Ankerpunkt punktgespiegeltes Strukturelement Ziel: Dilatation - Schließen von kleinen Löchern (kleiner als das Strukturelement) Erosion - Wiederherstellung der ursprünglichen Größe des Objekts Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 16

17 Opening und Closing Opening Closing [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 17

18 Hit-or-Miss Basiert auf zweimaliger Erosion Einsatz zur Formdetektion und Pixelmustererkennung 1 HIT 0 Ankerpunkt Erodieren X * (S1,S2) S2) = X * S1 mit S1 Erodieren mit MISS X * (S1,S2) = (X - S1) (X c - S2) S2 [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 18

19 Hit-or-Miss Hit-or-Miss-Operator bei variabler Strukturgröße Erodieren mit X * (S1,S2) S1 Erodieren mit S2 Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 19

20 Hit-or-Miss Beispiel: Hit-or-Miss Kreise mit festem und variablem Radius Bild Kreise mit Radius von 6 Pixel Kreise mit Radius 6-7 Pixel [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 20

21 Hit-or-Miss Darstellung des Hit-or-Miss-Operators als Matrix: Hit-Step Miss-Step S = S = x Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 21

22 Hit-or-Miss Detektion von speziellen Pixelmustern: S Pixel = Nur diese Pixel würden detektiert. S Ecke = x Beide Ecken würden detektiert. Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 22

23 Thinning Gezielte Verdünnung einer Form an einer Seite Basis: Hit-or-Miss Thinning: X S = X (X * S) = X (X * S) c Beispiel: X S * X S X S (X S) c * Pixelmuster: Drei benachbarte Pixel, über denen noch mindestens ein weiterer liegt. Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 23

24 University of Applied Science Signalverarbeitung g für audiovisuelle Kommunikation 3. Segmentierung - Bestimmung von Formmerkmalen mittels morphologischer h Operationen

25 Formmerkmale Formmerkmale dienen der Erleichterung der Klassifizierung von Segmenten in dem die nicht für die Klassifizierung notwendigen Merkmale beseitigt werden. Zur Bestimmung von Formmerkmalen können morphologische Operatoren eingesetzt werden. Einfache Formmerkmale: Rand von Segmenten Skelett von Segmenten Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 25

26 Formmerkmale Rand und Skelett Rand Unabhängig von der konkreten Abbildung einer Form enthält das Skelett ihre Skelett (medial axis): wesentlichen Merkmale. Mittelpunkte von maximal eingeschriebenen Kreisen Beispiel: Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 26

27 Randerzeugung Erosion mit S b4 bzw. S b8 entfernt aus einem Binärbild X alle Objektpixel, in deren 4- bzw. 8-Nachbarschaft sich Hintergrundpixel befinden S b4 = S b8 = [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 27

28 Randerzeugung Der Rand kann nun durch Differenzbildung zwischen Ursprungsbild und erodiertem Bild erzeugt werden: G = G - (G - S b ) Gradient in - [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 28

29 Randerzeugung Alternative: Der Rand kann auch durch Differenzbildung zwischen dilatiertem und Ursprungsbild erzeugt werden: G = (G S b ) - G Gradient out - [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 29

30 Randerzeugung Verwendung der Kantenpixel beispielsweise als potentielle Instanzen für Geraden oder Kreismodelle. [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 30

31 Skeletterzeugung 1. Alternative: Abstandstransformation Resultat der 1. Randoperation: G 1 = G (G - Sb) Menge aller Pixel, die den Abstand 0 zum Rand haben Resultat einer 2. Randoperation: G 2 = (G - Sb) (G - Sb - Sb) Menge aller Pixel, die den Abstand 1 zum Rand haben Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 31

32 Skeletterzeugung Fortgesetzte Extraktion von immer weiter vom Rand entfernten t Linien i und Multiplikation lik der jeweiligen Resultate mit der aktuellen Entfernung liefert Abstandsbild D. Beispiel: Originalbild Objektinneres (nach fortgesetzter Erosion) Randpixel nach der n-ten Erosion einschließlich Distanz [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 32

33 Skeletterzeugung Abstandsbilder Innen Außen und Innen Skelettkämme [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 33

34 Skeletterzeugung [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 34

35 Skeletterzeugung 2. Alternative: Iteratives Thinning x 1 x x x x 1 x x x 1 x x 1 1 x x 0 0 x x 0 0 x x 1 1 O / RO R / RU U / LU L / LO [Quelle: Grundlagen der Bildverarbeitung, it Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 35

36 Skeletterzeugung O RO R RU U LU L LO Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 36

37 Skeletterzeugung Prof. Dr.-Ing. Marcus Purat,, FB VII Segmentierung_04, Seite 37