Segmentierung mithilfe von Graph- Cut-Methoden 1
Motivation 2
Motivation Wir erkennen leicht Äpfel auf dem Bild Wir kennen die typischen Formen, Strukturen und Farben Ziel: Computer soll genauso diverse Objekte erkennen Segmentierung ist Teil der digitalen Bildverarbeitung 3
Motivation Segmentierung: Erkennung von Regionen Bereichsgrenzen befinden sich bei großen Unterschieden von Farbintensitäten Beispiel Äpfel: Rote Äpfel auf grünem Grund (Blätter) (Rot Grün ist großer Farbunterschied) Ziel: Algorithmen finden, die solche Grenzen erkennen 4
Gliederung 1. Einleitung 2. Maximale Flüsse 2.1. Mathematische Grundlagen 2.2. Erläuterung des Verfahrens 3. Exakte MAP-Schätzung 3.1. Grundlagen des MAP 3.2. Segmentierung mittels MAP 4. Kurzes Schlusswort 5. Quellen 5
1 Einleitung Segmentierung in vielen Bereichen der Wissenschaft eingesetzt Beispiel: Computertomographie (CT) (in der Medizin) Körper wird mehrfach aus verschiedenen Perspektiven geröntgt Ziel: Erkennung von krankhaften Bildungen im menschlichen Körper 6
1 Einleitung Segmentierung der Leber 7
1 Einleitung Bildanalyse: Vorverarbeitung (z.b. Helligkeitsanpassung), Segmentierung (Regionen finden), Merkmalsbestimmung (Strukturen finden), Klassifizierung von Objekten (was ist dargestellt?) Im Vortrag: zwei Segmentierungsideen werden erläutert 8
2 Maximale Flüsse Methode der Maximalen Flüsse ist ein Graph- Cut-Problem Bild wird in ein Graph transformiert Maximaler Fluss entspricht dabei den Regionsgrenzen 9
2.1 Mathematische Grundlagen Graph: besteht aus Knotenmenge und Kantenmenge Beispiel: Liniennetz von Stuttgart: 10
2.1 Mathematische Grundlagen 11
2.1 Mathematische Grundlagen Kante: 2-elementige Menge von Knoten (ungerichtet) bzw. Vektorprodukt der Knotenmenge mit sich selber (gerichtet) Variation von Graphen: gewichtete Graphen Diese besitzen eine Gewichtsfunktion, die jeder Kante eine reelle Zahl (meist 0) zuordnet Unterschiedliche Interpretation der Gewichte (z.b. Höhe eines Stollens, Breite einer Straße) 12
2.1 Mathematische Grundlagen Fluss im Graph: bestimmt die aktuelle Auslastung einer Kante Ordnet jeder Kante eine Zahl des Kantengewichts zu Summe der eingehenden Flüsse bei einem Knoten = Summe der ausgehenden Flüsse 13
2.1 Mathematische Grundlagen Maximaler Fluss: maximal zulässiger Fluss von Quelle zur Senke Quelle und Senke: 2 besonders ausgezeichnete Knoten im Graphen Schnitt: Menge von Kanten Teilt Graph zwischen Quelle und Senke vollständig 14
2.1 Mathematische Grundlagen 15
2.2 Erläuterung des Verfahrens Bild zu gewichteten Graph transformieren: Pixel entsprechen Knoten Benachbarte Knoten sind durch Kante verbunden (sogenannte n-links) 16
2.2 Erläuterung des Verfahrens 17
2.2 Erläuterung des Verfahrens Kantengewichte entsprechen Farbintensitätsunterschieden Gewichtszahlen indirekt proportional zur Farbdifferenz 18
2.2 Erläuterung des Verfahrens 19
2.2 Erläuterung des Verfahrens Ziel: Konstruktion eines minimalen Schnittes bzw. maximalen Flusses mithilfe Ford- & Fulkerson-Algorithmus Dazu Festlegung zweier Punkte (Quelle und Senke) Außerdem: Kanten sind nun gerichtet und pro Nachbarschaft existieren zwei gerichtete Kanten (jeweils in verschiedene Richtungen) 20
2.2 Erläuterung des Verfahrens Festlegung von Quelle und Senke 21
2.2 Erläuterung des Verfahrens Konstruktion des maximalen Flussen 22
2.2 Erläuterung des Verfahrens Minimaler Schnitt: alle gesättigten Kanten Region 1: alle Punkte, die von Quelle erreichbar sind Region 2: alle Punkte, von denen Senke erreichbar ist Grenze der Regionen entlang des minimalen Schnittes 23
3 Exakte MAP-Schätzung MAP-Methode basiert auf Bayes-Statistik Hier keine Suche von Flächen und Kanten, sondern Vergleich von Segmentierungskandidaten Kandidat mit höchster Wahrscheinlichkeit wird als korrekte Segmentierung angenommen 24
3.1 Grundlagen des MAP Bayes-Statistik 25
3.1 Grundlagen des MAP Bewertung von Aussagen hinsichtlich ihrer Plausibilität Oder: Bewertung von Parameterwerten hinsichtlich ihrer Wahrscheinlichkeit auf Basis von Vorwissen und neuen Beobachtungen Bayes-Theorem: P a / x = P x/a P a P x 26
3.1 Grundlagen des MAP a zu schätzender Parametert x Beobachtung Beispielanwendung der Bayes-Statistik: Bestimmung der Masse eines Himmelskörpers 27
3.1 Grundlagen des MAP A-Priori-Wahrscheinlichkeit 28
3.1 Grundlagen des MAP Entspricht Vorwissen einer Verteilung eines Parameters NUR Vorwissen, aktuelle Experimente haben keinen Einfluss Vorwissen: z.b. bereits gewonnene Erkenntnisse 29
3.1 Grundlagen des MAP A-Posteriori-Wahrscheinlichkeit 30
3.1 Grundlagen des MAP Zum Vorwissen kommt Ergebnis des aktuellen Experiments Entspricht Schätzung der Verteilung NACH dem Experiment 31
3.1 Grundlagen des MAP Maximum a-posteriori (MAP) 32
3.1 Grundlagen des MAP Verfahren zum Bestimmen eines Parameterwertes Zunächst a-posteriori-verteilung map x (a) ermitteln: map x a : a f a/ x = a ' f x/a g a f x/a ' g a ' da ' 33
3.1 Grundlagen des MAP Anschließend Maximalwert von map x (a) ermitteln: â x =argmax a f x/a g a =argmax a a ' f x/a g a f x/a ' g a ' da' 34
3.1 Grundlagen des MAP â(x) ordnet einem Versuchsausgang wahrscheinlichsten Parameterwert zu 35
3.2 Segmentierung mittels MAP Exakte Maximum-a-posteriori-Schätzung von binären Bildern Ziel: schwarze und weiße Flächen erkennen, d.h. Bild segmentieren Ziel anders formuliert: Bild restaurieren d.h. Rauschen beseitigen 36
3.2 Segmentierung mittels MAP 37
3.2 Segmentierung mittels MAP Gegeben: gestörte Version Y=(y 1,..., y n ) eines originalen binären Bildes X=(x 1,..., x n ) y i und x i sind Pixel und können Belegungen 0 oder 1 annehmen X ist unbekannt Ziel: X' (Approximation zu X) ermitteln 38
3.2 Segmentierung mittels MAP Y ist bedingt abhängig von X je nach Grad des Rauschens: Likelihood-Funktion X l Y / X = i l y i / x i = i l y i /1 xi l y i /0 1 xi 39
3.2 Segmentierung mittels MAP A-priori-Verteilung p(x) ist der Form exp 1 2 i, j w i, j x i x j Wobei x i x j = x i x j 1 x i 1 x j wi,j > 0, wenn i j und wenn x i und x j Nachbarn sind 40
3.2 Segmentierung mittels MAP Ansonsten ist w i,j = 0 Anders ausgedrückt: p(x) ist von der Form exp(wk) mit k Pixelnachbarschaften mit gleichen Farben 41
3.2 Segmentierung mittels MAP Logarithmische a-posteriori-verteilung F(X/Y): F X /Y =ln p X /Y = ln l Y / X p X p Y = ln l Y / X ln p X ln p Y = i x i ln l y i/1 l y i /0 i ln l y i /0 1 2 i, j w i, j x i x j ln p Y 42
3.2 Segmentierung mittels MAP Summanden ln l y i /0 und ln p Y i sind nur von Y abhängig und damit für MAP- Schätzung unrelevant Gesucht: X' für das F(X/Y) maximal wird: X '=argmax X F X /Y 43
3.2 Segmentierung mittels MAP Problem: zu viele mögliche X' (nämlich 2n ) Lösung: Graph-Cut anwenden (Minimaler Schnitt ist genau das Maximum von F(X/Y)) Graph G Y = (V, E) mit n+2 Knoten (Quelle q, Senke s, n Pixelknoten): V = {q, s, v 1,, v n } G Y entspricht Bild Y Gerichtete Kanten (q, v i ), wenn y i =1, mit Gewicht ω i 44
3.2 Segmentierung mittels MAP Gerichtete Kanten (v i, s), wenn y i =0, mit Gewicht ω i ω i = ln l y i/1 l y i /0 2 entgegengesetzt gerichtete Kanten (v i, v j ) und (v j, v i ) zwischen je 2 benachbarten Pixelknoten mit Gewicht w i,j 45
3.2 Segmentierung mittels MAP w i,j ist ein einstellbarer Wert w i,j sollte für y i y j kleiner sein als für y i =y j wi,j sollte im Vergleich zu ω i nicht zu klein sein, damit fehlerhafte Pixel erkannt werden Anschließend Ford&Fulkerson-Algorithmus (s. vorheriges Kapitel) 46
3.2 Segmentierung mittels MAP Danach: alle von q erreichbaren Pixel werden auf 1 gesetzt, alle Pixel, von denen s erreichbar ist, werden auf 0 gesetzt Resultierendes Bild ist genau gesuchtes X' 47
4 Schlusswort Zwei Verfahren vorgestellt Beide basieren auf Graph-Cut Das erste ermittelt minimalen Schnitt, der den Regionsgrenzen entspricht Das zweite ist eine statistische Methode Im Kern kommt allerdings wieder der minimale Schnitt zum Einsatz 48
4 Schlusswort Das MAP-Verfahren lässt sich auch auf Bilder mit mehr als zwei Farben anwenden, allerdings werden Berechnungen komplexer Weiteres Graphen-Verfahren: Energiemethode Erweiterung auf 3D-Modelle 49
Quellen Dokumente: D. M. Greig, B. T. Porteous und A. H. Seheult, Journal of the Royal Statistical Society. Series B (Methodological), Vol. 51 No. 2, 1989, S. 271-279 W. Dörfler, W. Peschek, Einführung in die Mathematik für Informatiker, 1988, S. 196 Erik Rodner, Segmentierung mit Graph-Cut-Methoden, 2007, S. 15,19 Y. Boykov, M.-P. Jolly,t Interactive Organ Segmentation using Graph Cuts in Proceedings of MICCAI -2000, LNCS 1935,. 276-286 Matthias Linkenheil, Graph-Cut-Segmentierung für die medizinische Bildverarbeitung, 2005, S. 22f K.-R. Koch, Grundprinzipien der Bayes-Statistik, wahrscheinlich 2000, S. 253f http://de.wikipedia.org/wiki/bayestheorem 50
Quellen Bilder: Einige selbsterstellt http://www.shopssl.de/epages/es103208.sf/de_de/? ObjectPath=/Shops/es103208_Schnuckenhof/Products/%2202/029%22 http://www.vicora.de/pilotphase/sp_gefaesse/algorithmen/segmentierung/segmentierung.html http://www.ssb-linien.de/linienplan/linienplan.html http://www.wurzelzieher.de/fluesse_und_schnitte_in_netzwerken.aspx Y. Boykov, V. Kolmogorov, "An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision" Y. Boykov, V. Kolmogorov, D. Cremers, "ECCV 2006 tutorial on Graph Cuts vs. Level Sets" 51