Segmentierung 2. Segmentation. M. Thaler, TG208 Bildverarbeitung ZHAW, BV HS17, M. Thaler. Juni 17 1

Transkript

1 Segmentierung 2 Segmentation M. Thaler TG208 tham@zhwin.ch Juni

2 Inhalt Einführung Kantenbasierte Segmentierung Intensitätsbasierte Segmentierung global Thresholding: Verteilung von Pieleigenschaften Regionenbasierte Segmentierung loal Region Growing Splitting and Merging Watersheds Bewegungsbasierte Segmentierung Juni

3 Thresholding Idee Grundlage: Histogramm der Intensitätswerte Intensitätswerte > Threshold T Bildpunt T 0 g = 255 f T f > T bimodales Histogramm Juni

4 4 Juni Mehrfach-Thresholding Mehrfach-Thresholds erzeugt mehrere Objete < < = T f T f T T f g T 1 T 2 ein T mehrere T's

5 ... Thresholding Globales Thresholding T hängt nur von den Intensitätswerten 1 des Bildes f ab T = T f Loales Thresholding T hängt zusätzlich von loalen Attributen p in der Nachbarschaft von ab z.b. Mittelwert Varianz etc T = T f p Adaptives Thresholding T hängt zusätzlich von der Pielposition ab T = T 1 nicht notwendigerweise Graustufen f p Juni

6 Probleme mit Thresholding Rauschen Beleuchtung Juni 17 6 noise a no noise b standard deviation of 10 intensit values and mean = 0 c standard deviation of 50 intensit values and mean = 0 another problem with thresholding in real images - shadows bachelor thesis - possible solution -> illumination 6

7 Globales Thresholding: Basismethode demo Suchen eines globalen Thresholds bimodales Histogramm 1. schätzen von T z.b. Mittelpunt zwischen Maima oder Mittelwert 2. Bild mit T segmentieren in G 1 T und G 2 >T 3. mittlere Intensität m 1 und m 2 für Piel in G 1 resp. G 2 berechnen 4. Threshold neu bestimmen T = 1/2m 1 + m 2 5. wiederholen bis T n+1 - T n < ε mit 3 Iterationen folgt T = Juni 17 7 Kann diret aus dem Histogramm berechnet werden 7

8 Global Thresholding: Otsu's Methode Idee Thresholding ist ein statistisches Entscheidungsproblem Ziel: wie weist man Piel optimal zwei Klassen zu Otsu's Methode maimiert die Interlassenvarianz Otsu Bild als Zufallsverteilung von Intensitätswerten p i h gi = M N es gibt L verschiedene Intensitätswerte { L-1 } Juni

9 9 Juni Otsu'sMethode Otsu's Algorithmus umulative Verteilung und umulativen Mittelwert berechnen Inter-Klassenvarianz für alle 's berechnen Threshold bestimmen T = * * = wo maimal ist = = = = L i p i m L i p P i i = = = L m i p i m L i G 1 m 2 G 2 B P P m P = σ ma 2 B 2 B σ σ = 2 σ B benötigt floating point Arithmeti oder "sehr" gut Salierung P = L-1 = 1 => σ B 2 L-1 = 0 - weil m = L-1 gleich m G ist => Zähler = 0 quadriert

10 ... Otsu's Methode Basismethode Otsu Juni

11 Tiefpassfilterung: global thresholding Smothing reduziert Rauscheffete 33 Mittelwert Juni

12 Globale Thresholds und Kanten Idee Rauschen tendiert Histogrammspitzen zu verschmelzen nur Piel nahe bei oder auf der Kante betrachten Algorithmus 1. Kanten suchen 2. das Kantenbild thresholden Binärbild 3. Originalbild mit Binärbild aus Schritt 2 masieren AND 4. Histogramm von masierten Bild aus Schritt 3 berechnen und Threshold bestimmen z.b. Basismethode oder Otsu 5. Originalbild mit diesem Threshold segmentieren Juni

13 ... globale Thresholdsund Kanten masiertes Bild Resultat nach Thresholding Juni

14 Mehrfach-Thresholds Otsu's Methode ann auf mehrere Thresholds erweitert werden Ziel: optimale Zuweisung von Pieln an mehrere Klassen siehe Gonzalez/Woods Weitere Möglicheiten 1. Threshold T 1 mit der Basismethode oder Otsu berechnen 2. Originalbild mit Threshold segmentieren 3. mit segmentiertem Bild das ursprüngliche Bild masieren und für das masierte Bild Threshold T 2 bestimmen 4. solange wiederholen bis fertig!!!! hängt vom Bildmaterial ab!!!! Juni

15 Mehrfach-Thresholds: Beispiel Originalbild masiertes Originalbild Histogramm Histogramm T 1 = 53 Basismethode T 2 = 124 Basismethode Juni

16 Loale Thresholds Loale Bildeigenschaften z.b. Mittelwert und Varianz innerhalb einer leinen Umgebung zum Zentrumspiel übliche Formen von Thresholds sind T = a σ + b m or T = a σ a und b sind nicht negative Konstanten m G ist der globale Mittelwert des Bildes das Bild wird dann segmentiert mit 1 g = 0 f > T f T + b m auch Prädiate önnen für das Thresholding verwendet werden siehen dazu Gonzalez / Woods G Juni

17 ... loal: Hsteresis Thresholding Idee: Hsteresis Thresholding zwei Thresholds T H und T L verwenden Bild mit T H segmentieren 1 g = 0 alle Piel zu g hinzufügen für die gilt: - liegen in Nachbarschaft zu g z.b. in 4er Nachbarschaft - ihr Wert f übersteigt den Threshold T L Erzeugt weniger isolierte Piel f > T f T besser verbundene Regionen H H Juni

18 Adaptives Thresholding Bildaufteilung 1. Bild in Regionen 1 aufteilen 2. für jede Region eine Threshold berechnen 1 Regionen müssen genügend lein sein Juni

19 Thresholding: mehrere Variablen Bis jetzt Threshold berechnet auf Intensitätswerten Neu mehrere unterschiedliche Parameter Prädiate für die Berechnung des Thresholds verwenden Prädiate önnen sein - Farbe - loaler Mittelwert und Varianz - etc. Objete sind definiert durch "Cluster" im Parameterraum - Piel innerhalb einer bestimmten Distanz zum Mittelpunt gehören zum Objet - Piel ausserhalb dieser Distanz zum Hintergrund Juni

20 ... Thresholding: mehrere Variablen Beispiel R G B "Cluster" R = 0.75 ± 0.25 G = 0.2 ± 0.2 B = 0.2 ± 0.2 "Mittelpunt" Juni

21 Regionenbasierte Segmentierung Um was geht es? Regionen diret suchen im Gegensatz zu Thresholding das Bild in Regionen aufteilen die einem Prädiat oder einem Maimum an Homogenität genügen Kriterien für Homogenität oder Prädiate önnen abgeleitet werden von - Graustufen - Farbe - Tetur - Form - etc. Vorteil: effizienter bei verrauschten und verschmierten Bildern Juni

22 Region Growing Idee Wahl einer Menge von "Seed Points" Marern Regionen wachsen lassen ausgehend von Marern die - in der Nachbarschaft der Marern liegen - ein gemeinsames Prädiat erfüllen dabei ist zusätzlich zu beachten - Nachbarschaft und Connectivit Regionen sollen verbunden sein - Stop Regel: zusätzliche Kriterien um Wachsen abzubrechen Grösse histor of growth mittlere Intensität der gewachsenen Region verglichen mit einem neuen Kandidaten etc. Juni

23 ... Region Growing Original X-Ra einer defeten Schweissnaht 99.9 Perzentile Marer Region Growth Pielwert > 190 Juni

24 Splitting and Merging Idee Wahl des gesamten Bildes als Region R 0 wenn Region R i das Prädiat PR i nicht erfüllt - Region R i in 4 Quadranten aufteilen - stop wenn eine Aufteilung mehr notwendig / möglich benachbarte Regionen R j R verbinden für die gilt: RR j R = TRUE es gibt mehr als eine Lösung eine eindeutige Lösung R 0 R 1 R 2 R 3 R 41 R 42 R 43 R 44 Quadtree Juni

25 ... Splitting and Merging Beispiel: Intensitätsbild f split merge TRUE P R = FALSE G ma G otherwise min 1 G: Intensität Juni

26 Morphologische Watersheds 1 Um was geht es? regionenbasierte Methode basiert auf Graustufenbildern ermöglicht Aufteilung sich berührender Objete basiert auf morphologischen Algorithmen 1 Wasserscheide Juni

27 ... Watersheds Idee Objete Regionen Becen das Becen hat am tiefsten Punt ein Loch das Becen wird von unten geflutet wenn das Becen überläuft einen Damm bauen f g = 1-f Tpische Anwendung Segmentierung "uniformer" Regionen Klecse Juni

28 ... Watersheds Damm-Konstrution Start Punt - Wasserspiegel auf Höhe q n-1 - zwei Wasserbecen Wasserspigel steigt auf q n - neue Region beinhaltet beide Becen erste Dilatation - beschränt auf q n zweite Dilatation - beschränt auf q n q n Damm Juni

29 ... Watersheds Watershed Algorithmus Flutung beginnt bei Piel mit niedrigstem Höhenwert für jede Höhenstufe werden - neue Regionen geschaffen die erstmals von Wasser bedect werden und deren Piel nicht Nachbarn bestehender Regionen sind - bestehende Regionen um Piel erweitert die erstmals von Wasser bedect werden und die benachbart sind 4- oder 8-benachbart - werden Dämme gebaut wenn sich zwei bestehende Regionen vereinen Juni

30 ... Watersheds Problem Übersegmentierung wegen - nicht uniformen Regionen - Rauschen Mittelwert: 55 Juni

31 ... Watersheds Lösungsansätze auch Kombination einsetzbar Tiefpass-Filterung smoothing - relative grosse Masen erforderlich Watershed auf Gradientenbild anwenden - Hintergrund einigermassen uniform oft Übersegmentierung - Tiefpass-Filterung des Gradientenbildes oft notwendig Verwendung von Marern - Becen ausgehend von Marern füllen - Marer manuell oder automatisch Wählen - suchen von Marern z.b. mit Distanztransformation bei Binärbildern ürzeste Distanz zwischen einem schwarzen und weissen Piel Juni Distance Map -> Russ S. 427ff - effiziente Methode S. 428 oben - ürzester Abstand eines Vordergrundpiels vom Hintergrund 31

32 ... Watersheds Berührende Objete Marer: Distanztransformation und Threshold Juni Thresholding des Distanzbildes gibt gute Marer Distanzbild: Algorithmus Ausgnagspunt: Binärbild 1. allen Hintergrundpieln den Wert 0 zuweisen allen Objetpieln einen hohen positiven Wert 2. von oben lins nach unten rechts - jedem Objetpiel einen Wert zuweisen der um eins höher ist als der leinste Werte aller Nachbarpiel im atuellen Bild 3. von unten rechts nach oben lins - jedem Objetpiel einen Wert zuweisen der um eins höher ist als der leinste Werte aller Nachbarpiel im atuellen Bild 32

33 ... Watersheds Whatdo weget? Watershed liefern nur Regionen - Ausnahme Gradientenbilder Objete in den Regionen müssen etrahiert oder mariert werden Beispiel - Überlagerung der Segmentgrenzen mit dem Binärbild - ev. entfernen von Artefaten Juni Artefate - Waterhshed-Algorithmus von MATLB fügt zusätzliche Regionen hinzu nicht auf Marer beschränt 33

34 Nachbearbeitung Segmentierung Ziel - die einzelnen Objete des Bildes finden die Segmentierung ergibt oft - alle vorhandenen Objete - eine Positionsinformation - eine Information zum Objet - die Region die das Objet enthält - etc. Nachbearbeitungsschritte Objete innerhalb der Region identifizieren Objete marieren Labeling etc. Juni

35 ... Nachbearbeitung Beispiel: Reisörner Originalbild ungleichmässige Beleuchtung Binärbild mit Adaptive Thresholding abgeschnittene Reisörner am Rand sind verbunden eingefärbte Körner zur Identifiation der einzelnen Körner Juni

36 ... Nachbearbeitung Labelingeinfärben von Binärbildern Ziel: Etration und Marierung einzelner Objete Algorithmus 1. Labelwert L = 0 setzen 2. bei allen Objetpieln im Binärbild folgende Regel anwenden i wenn alle "grünen" Nachbarpiel nicht Teil des Objetes sind dem Zentrumspiel blau ein neues Label zuweisen und Label in die Gruppenliste eintragen ii wenn einige der grünen Nachbarpiel zum Objet gehören alle das gleiche Label haben dieses Label dem Zentrumspiel blau zuweisen iii wenn wenigsten zwei grüne Nachbarpiel zum Objet gehören und verschiedene Labels haben eines der Label dem Zentrumspiel zuweisen in Gruppenliste eintragen 3. jeder Labelgruppe ein eindeutiges Label zuweisen Bild neu färben Juni

37 Motion Bewegung von Mensch und Tier benutzt um Objete vom Hintergrund zu unterscheiden Bildverarbeitungsssteme - Ortsbereich Differenzbilder - Frequenzbereich Spetralomponenten Juni

38 Motion im Ortsbereich Bildsequenzen Bilder auch Funtion der Zeit: f t Differenzbilder Differenz gegenüber einem Referenzbild d ij 1 f ti f t j > T = 0 otherwise Probleme - Beleuchtung oft nicht gleich - Rauschen isolierte Punt nur grössere verbundene Bereiche verwenden leinere Objete önnen übersehen werden Juni

39 39 Juni Motion im Ortsbereich Aumulierte Differenzen Ausgangspunt ist ein Referenzbild zum Zeitpunt t 1 : berechnen der aumulierten Differenzen über Frames - absolute Differenz - positive Differenz - negative Differenz 1 t f r = > + = otherwise A T t f r A A j > + = otherwise P T t f r P P j < + = otherwise N T t f r N N j

40 ... Motion im Ortsbereich Beispiel Demo onl Objet: Rechtec Bewegung pro Frame: = 5 und = 5 abs pos neg Richtung und Geschwindigeit ablesbar - non zero Bereich = ursprüngliches Bild - stoppt wenn vollständig bez. Referenz verschoben Richtung und Geschwindigeit ablesbar Juni

41 ... Motion im Ortsbereich Referenzbild? lässt sich aus einer Menge von Bildern erstellen Vorgehen - Bild 1 als Referenz verwenden - wenn sich Objet vollständig aus der Referenz bewegt hat Hintergrund an der Stelle wo das ursprüngliche Bild war als Referenz verwenden - auf alle bewegten Objete anwenden verwenden wenn eine Aumulation mehr Juni