Technische Universität

Transkript

1 Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik IX Segmentierung 1 (ohne Modellwissen) Proseminar Simon Rieck Betreuer: Abgabetermin: Dipl.-Inform. Kajetan Berlinger

2 Inhaltsverzeichnis 1 Warum Segmentierung? 2 2 Segmentierung nach Homogenitätskriterien Histogrammbasiert Region Merging Merging Splitting Texturbasiert Texturmaße Applikation Zusammenfassung Segmentierung nach Diskontinuitätskriterien Kantenbasiert Kantendetektion Labelling Wasserscheidentransformation Wasserscheidendetektion Verbesserungen Zusammenfassung Umhüllende Verfahren Region Labelling Insignificance Removal Relaxation Labelling Multiskalenstrategien Zusammenfassung Literaturverzeichnis 19 1

3 Kapitel 1 Warum Segmentierung? Unter Segmentierung versteht man den Prozess, eine Szene vollständig und eindeutig 1 in Einheiten möglichst hoher Korrelation mit semantischen Objekten der realen Welt zu zerlegen. Diese Segmente dienen dann als Grundlage einer nachfolgenden Analyse, wie etwa einer Klassifikation oder dem Tracking von Objekten. Mittelbares Ziel ist eine strukturelle Abstraktion der Szene zur Bewältigung der Datenflut. In der Bildverarbeitung ist Segmentierung Teil der Intermediate-Level Vision, welche die in der datenbasierten 2 Low-Level Vision gewonnenen Informationen nutzt, um Pixel nach gewissen Kriterien in Bereiche zu gruppieren, die dann wiederum in der wissensbasierten 3 High-Level Vision durch Klassifizierung in semantische Symbolik übersetzt werden können. Hierbei verschwimmen jedoch oft die Grenzen zwischen Segmentierung und Klassifizierung, was zu der modellbasierten Segmentierung führt, in der Wissen über eine Szene miteingebracht wird um für diejenigen Objekten ein gute Korrelation mit den jeweiligen Segmenten zu gewährleisten, die auch durch den Klassifizierungsprozess gesucht werden. Dabei kann auch das menschliche Gehirn Plattform für diesen Prozess sein. Im Weiteren soll jedoch der datenbasierte Anteil an Segmentierungsverfahren Thema sein. Solche Verfahren verzichten auf die Berücksichtigung von Bedeutungsinhalten und stützen sich allein auf physikalisch grundsätzliche Zusammenhänge, was diese Verfahren zwar vielseitig einsetzbar macht, das jedoch auf Kosten der Qualität. Die wichtigste Frage, die sich stellt, ist die nach den Kriterien anhand derer die jeweiligen Pixel gruppiert werden. Von einem datenbasierten Standpunkt aus gibt es zwei Ansätze, die sich durch die Sichtweise von Segementen unterscheiden. In der Homogenitätsbasierten Segmentierung wird ein Segment durch seinen Inhalt bestimmt, so dass alle zugehörigen Pixel gemeinsam ein Homogenitätskriterium, etwa ein maximales Niveau der Varianz von Pixelintensitäten, erfüllen. Dagegen werden in der Diskontinuitätsbasierten Segmentierung die Segemente anhand ihrer Begrenzungen betrachtet, wodurch Pixel dann ein Segment bilden können, wenn keine Teilmenge von Pixeln ein Diskontinuitätskriterium, 1überdeckungsfrei 2 pixeldaten 3 Wissen um den Bedeutungsinhalt der Szene 2

4 KAPITEL 1. WARUM SEGMENTIERUNG? 3 beispielsweise dem, dass sowohl Kanten als auch nicht Kanten Pixel vorkommen, erfüllt. Die Qualität der Segmentierung ist stark von Bildqualität, Verfahren und den jeweiligen Parametern abhängig. Um Über-, Unter- und Fehlsegmentierung, also das Auffinden von zu vielen, zu wenigen oder falschen Segmenten, gemessen an der gewünschen Abstraktionsebene, zu verhindern, kommen spezielle Vor- und Nachverarbeitungsschritte zu Einsatz, die auf das entsprechende Verfahren abgestimmt werden müssen. Anwendung schließlich findet Segmentierung vor allem dort, wo computergestützte Klassifikation von Bedeutung ist: Medizin: Unterscheidung einzelner Organe in Röntgen- und Tomographiebildern Geographie: automatische Analyse von Luft- und Satellitenbildern Robotik: autonome Roboter müssen ihren Weg finden und dabei Hindernisse meiden Qualitätskontrolle: automatisierte optische Prüfung von Werkstücken Texterkennung: Extraktion einzelner Zeichen von einem Hintergrund... Segmentierung ist also ein ubiquitäres Prinzip mit hohem Nutzen für die Allgemeinheit. Im Weiteren wird von Grauwertbildern ausgegangen, da diese, trotz einfacher Handhabbarkeit, gute Ergebnisse liefern und die meisten Algorithmen, ohne übermässigen Aufwand, auch auf andere Repräsentationen erweiterbar sind. Für viele der Segmentierungsverfahren gibt es zu dem Bild aus Abbildung 1.1 jeweils eine Segmentierung und die Überlagerung ihrer Kanten mit dem Orginal. Abbildung 1.1: Das Orginalbild mit seinem Gradientenbild.

5 Kapitel 2 Segmentierung nach Homogenitätskriterien Wie bereits Eingangs erwähnt werden Segmente in der Homogenitätsbasierten Segmentierung durch ihren Inhalt, oder genauer, durch die gemeinsame Erfüllung eines Homogenitätskriteriums durch alle Pixel des Segments, beschrieben. Gegenüber dem spezifischen Verfahren ist das Kriterium dabei von vorrangiger Bedeutung für die Güte der Segmentierung. 2.1 Histogrammbasiert Mit der histogrammbasierten Segmentierung ist in erster Linie eine Technik zur Erstellung angepasster Kriterien gegeben, die Segmenete aus disjunkten Grauwertseperationen eines Bildes erstellen. Davon ausgehend, dass individuelle Objekte zumeist nur aus wenigen nahe beieinanderliegenden Grauwerten bestehen und dass in einer Szene nur eine begrenzte Anzahl von Objekten vorkommen, die sich zudem in ihren mittleren Grauwerten unterscheiden, können die einzelnen Objekttypen als ausgeprägte Maxima in dem Grauwerthistogram des Bildes beobachten werden. Für die konkrete Segmentierung werden zunächst die Schwellenwerte gesucht, die einzelne Objekte also die Maxima im Histogram trennen, also die Minima des Histograms. Am einfachsten geschieht dies durch diskretes ableiten des Histogramms mit anschließender Suche der Übergänge von negativen zu positiven Werten. Dann wird eine Lookup-Tabelle erstellt mit gleichen Labeln für Bereiche zwischen zwei Schwellenwerten, so dass keine zwei Bereiche das selbe Label erhalten. Schließlich wird die LUT auf das Bild angewandt und die Segmentierung ist abgeschlossen. Sind paarweise verschiedene Label für zusammenhängende Bereiche gefragt, kann ein Region Labelling(vgl. Abschnitt 4.1) durchgeführt werden. Daneben bietet sich auch eine Glättung des Histogramms an, um Rauschen und die Trennung von sehr nahe beieinan- 4

6 KAPITEL 2. SEGMENTIERUNG NACH HOMOGENITÄTSKRITERIEN 5 derliegenden Spitzen die oft zu dem selben Objekt gehören, zu unterdrücken. Um Fehlsegmentierungen aufgrund der absoluten Grauwert Basiertheit zu vermeiden, sollten hier bereits im Vorfeld Einflüsse von Licht und Schatten, das Shading, herausgefiltert werden. Möglich ist dies etwa durch Subtraktion des mit einem Medianfilter, von mindestens der Größe des größten vorkommenden Objekts, geglätteten Bild von dem Orginalbild (mehr dazu, siehe [Toe05, S. 201]). Optimal funktioniert die histogrammbasierten Segmentierung dann, wenn die Szene möglichst wenige und in den Grauwerten stark disjunkte Objekte aufweist, wie das etwa bei schwarzer Schrift auf weißem Hintergrund der Fall ist. Im Allgemeinen jedoch, eignen sich histogrambasierte Kriterien eher weniger zur Trennung semantischer Einheiten, da die gemachten Vorraussetzungen für die reale Welt zu stark idealisiert sind. Der grosse Vorteil jedoch, und damit auch der Grund warum dieses Verfahren noch immer aktuell ist, liegt zum einen in der enormen Geschwindigkeit mit der die Segmentierung durchgeführt werden kann und zum anderen lässt es sich auch auf andere Maße als den Grauwert anwenden, die dann eine bessere Trennung von Objekten erlauben können(vgl. Abschnitt 2.3). Abbildung 2.1: Histogrambasierte Segmentierung 2.2 Region Merging Das Region Merging ist ein allgemeines Verfahren zur Applikation von Homogenitätskriterien, die für einzelne Pixel immer wahr sein sollten. Optional ist es günstig wenn die Kriterien eine Bewertung der Homogenität liefern können. In dem Prozess werden solange iterativ benachbarte Segmente die gemeinsam das Kriterium erfüllen miteinander verschmolzen, bis sich kein solches Paar mehr finden lässt. Als hilfreich für diese Art der Segmentierung erweist sich ein so genannter Region- Adjacency-Graph oder kurz RAG, ein Graph in dem Knoten die Regionen, und Kanten deren Nachbarschaften repräsentieren. Regionen sind hier disjunkte Mengen von Pixeln eines Bildes die als homogen bekannt sind und damit äquivalent zu Segmenten, zu und

7 KAPITEL 2. SEGMENTIERUNG NACH HOMOGENITÄTSKRITERIEN 6 von denen sie konvertiert werden können. Insbesondere können also auch einzelne Pixel als Segmente interpretiert werden die am Anfang des Prozesses in einen RAG umgewandelt werden, und am Ende der RAG wieder in eine Segmentierung Merging Es wird mit dem Pixel-RAG begonnen, die entsprechenden Regionen verschmolzen, jeweils der RAG angepasst und am Ende der RAG in eine Segmentierung konvertiert. Dabei kann das Verschmelzen verschiedenen Heuristiken folgen. Wenn etwa das Homogenitätskriterien eine Bewertung abgibt, könnten immer global die Regionen mit der gemeinsam höchsten Bewertung verschmolzen werden oder es werden stets alle verbleibenden Regionen durchgegegangen und die lokal beste Verschmelzung gewählt. Beide Heuristiken haben sich im Gegensatz zu wildem Verschmelzen bewährt. Als Homogenitätskriterien eignen sich, je nach Anwendung, etwa ein bestimmtes maximales Level an Varianz, eine gewisse maximale Differenz von Grösstem und Kleinstem Grauwert in der Region oder ein maximaler Abstand von Mittelwert und dem davon am weitesten entfernten Grauwert. Abbildung 2.2: Region Merging Splitting Da viele Kriterien mit mehr Stichproben die Homogenität besser abschätzen können ist der Start des Verfahrens mit einzelnen Pixeln diesbezüglich relativ ungünstig. Es bietet sich daher an, das Bild statt von unten nach oben, von oben nach unten zu verarbeiten, also zunächst das gesammte Bild su einem Segment zu erklären, dieses wenn es nicht homogen ist in neue Segmente aufsplitten und rekursiv mit allen so entstehenden Segmenten zu verfahren. Eine Methode ist dabei die Segmente jeweils in vier möglichst gleichgrosse Rechtecke, wenn möglich Quadrate, aufzuteilen. Die resultierende Zerlegung kann dabei

8 KAPITEL 2. SEGMENTIERUNG NACH HOMOGENITÄTSKRITERIEN 7 durch einen Quadtree beschrieben werden, in dem jeder Knoten eine Region auf seiner Ebene beschreibt und wenn vorhanden seine vier Kinder die vier gesplitteten Regionen in der nächstfeineren Ebene. Die Blätter beschreiben dann die endgültige Zerlegung, die dann in einen RAG konvertiert wird, auf den dann wieder ein Region Merging ausgeführt werden kann, das sogenannte Split-And-Merge, dass auch einen Performance Vorteil bietet, da meist mit viel weniger Regionen verschmolzen werden müssen, was bei entsprechender Heuristik weitaus langsammer als Splitting ist. Ist das Homogenitätskriterium zu schwach wird dies zu Untersegmentierung führen, in der sich überall die quadratischen Formen des Splittings zeigen. Wird dagegen ein zu starkes Kriterium gewählt, gelangt das Verfahren wieder auf Pixelebene an und es wurde Nichts durch das Splitting gewonnen. Abbildung 2.3: Split-And-Merge 2.3 Texturbasiert Bei der texturbasierten Segmentierung handelt es sich um ein noch weitgehend offenes Problem, das ausserdem so stark Anwendungsabhängig ist das es eigentlich eher Teil der modellbasierten Segmentierungsverfahren ist. Das grösste Problem ist das Fehlen einer einheitlichen und allgemein anwendbaren Definition für Textur, da diese ein unscharfes menschliches Meta-Konzept ist. Es lassen sich aber verschiedene Ansätze angeben, von strukturell, über spektral bis stochastisch, welche Textur zum Ergebniss gewisser stochstischer Prozesse erklärt. Abhängig von einem solchen Ansatz lassen sich Maße für Textur finden, mit dennen dann wiederum ein Bild durch entsprechende Anwendung in eine Segmentierung umgewandelt werden kann Texturmaße Ein Texturmaß muss, entsprechend der gewählten Textur-Beschreibung, die charakteristischen Eigenschaften wie Rauhigkeit oder Periodizität möglichst genau für eine Region

9 KAPITEL 2. SEGMENTIERUNG NACH HOMOGENITÄTSKRITERIEN 8 von Pixeln auswerten können. Ein naiver Ansatz zur stochastischen Sichtweise von Textur wäre die Varianz der Grauwerte von Pixeln in einer Region. Die Schwäche dieses Ansatzes wird jedoch deutlich wenn man Texturgrenzen betrachtet, an denen ein Wert ermittelt würde, der eine Textur beschreibt, die aus beiden angrenzenden Texturen besteht. Die ungerichtete Varianz liefert einfach nicht genügend Informationen um die Textur-Zugehörigkeit sicher zu schätzen. Daher wurden viele weitere Texturmaße entwickelt die Richtung, Entfernung und andere Parameter in Betracht ziehen. Eine wichtige Gruppe stellen dabei die Haralick schen Texturmaße da, welche auf der Co-Occurence-Matrix beruhen, die das gemeinsame Vorkommen von Grauwerten zwischen Pixeln mit gewissem Abstand und Winkel zueinander. Es können Maße wie Energie, Kontrast oder Entropie angegeben werden die dann zu einem Tupel pro Pixel vereinigt, eine verhältnismäßig gute Schätzung der lokalen Textur erlauben (siehe [Toe05, S. 216]). Daneben gibt es auch viele geeignete Maße aus dem Frequenzraum Applikation Es existieren verschiedene Techniken Texturmaße in eine Segmentierung umzusetzen. Dabei haben die meisten gemein, dass das Bild in Blöcken, die der erwarteten mittleren periodischen Texturgröße entsprechen, mit dem Texturmaß gefaltet werden, wodurch eine Zuodnung von ausgewerteten Maß-Tupeln zu den jeweiligen Pixeln stattfindet. Dann wird mit einem Verfahren wie dem Region Merging anhand eiens Kriteriums auf die Tupel eine Label Zuordung durchgeführt welche schließlich mit Verfahren wie dem Relaxation Labelling (vgl. Abschnitt 4.3), unter Zuhilfenahme von Votings der Maß Tupel im Umfeld ihrer Blockgrößen, verbessert wird. Eine sehr einfache und schnelle Methode, die jedoch auch schon akzeptable Ergebnisse liefern kann, ist die Faltung mit einer einfachen Maß-Funktion wie der Varianz, anschießender Histogrammsegmentierung auf das gefaltete Bild und abschließendem Insignificance Removal (vgl. Abschnitt 4.2) Abbildung 2.4: Texturbasierte Segmentierung

10 KAPITEL 2. SEGMENTIERUNG NACH HOMOGENITÄTSKRITERIEN Zusammenfassung Alle Homogenitätsbasierte Verfahren stehen und fallen mit dem genutzten Kriterium, welches sich in der Regel ohne Modellwissen nur sehr schwer finden lässt, weshalb die automatische Erstellung solcher, etwa durch die Histogrammbasierte Segmentierung, durchaus ein wertvolles Hilfsmittel darstellt. Region Merging und Split-And-Merge sind zwar langsamere Verfahren, ist jedoch ein gutes Homogenitätskriterium bekannt liefert es mit der entsprechenden Heuristik annähernd perfekte Resultate. Desweiteren lässt es sich, da jede Segmentierung äquivalent einem RAG ist, auch zur Nachverarbeitung auf eine bestehende Segmentierung einsetzen und ist dabei besonders bei Übersegmentierung geeignet. Die Texturbasierte Segmentierung ist in erster Linie eine Sammlung von geeigneten Homogenitätskriterien die durch andere Verfahren angewandt werden.schließlich, da Objekte der realen Welt oft sehr homogen bezüglich ihrer Farbe sind, hat es sich auch bewährt bei dem Vorhandensein von Farbinformationen auf diesen zu segmentieren, etwa durch Anwendung auf den Farb-Kanal des in den HSV Farbraum konvertierten Bildes. Weitere Informationen zu den Verfahren bei: [Toe05, S. 200] (Histogrammbasiert), [Toe05, S. 210] (Region Merging), [Toe05, S. 213] (Texturbasiert)

11 Kapitel 3 Segmentierung nach Diskontinuitätskriterien Bei der Diskontinuitätsbasierten Segmentierung werden Segmente durch ihre Begrenzung definiert, also durch die Nichterfüllung eines Diskontinuitätskriteriums. Anders als bei der Homogenitätsbasierten Segmentierung liegt hier das Augenmerk mehr auf den Verfahren, da sich sehr einfach gute und universelle Kriterien herleiten lassen, wie etwa eine schnelle Veränderung der Grauwerte. Zwar lassen sich einige Homogenitäts- und Diskontinuitätskriterien durch ihr Gegenkriterium auch mit Verfahren der jeweils anderen Gattung finden, dies jedoch führt meist zu erheblichen Geschwindigkeitseinbußen. 3.1 Kantenbasiert Ein beliebter Ansatz ist, die einzelnen Objekte durch ihre Kanten zu trennen, wodurch das Diskontinuitätskriterium die Frage nach dem Vorkommen von sowohl Kanten als auch Nichtkanten ist. Optimalerweise sind zusammenhängende Segmente maximaler Größe, ohne das Kriterium zu erfüllen, das Ziel. Dabei kann auf Verfahren der Low-Level Vision zur Kantendetektion zurückgegriffen werden Kantendetektion Aus der Bedingung für optimale Segmente ergibt sich, dass zunächst zusammenhängende möglichst schmale Kantenzüge gefunden werden müssen. Zwei beliebte Kantendetektionsverfahren die genau das leisten, sind Zero Crossing (siehe [Toe05, S ]) und der Canny Detektor in Kombination mit Edge Linking(siehe [Toe05, S ]), die ein Pixel breite, gut lokalisierte, Kantenzüge aus dem Bild extrahieren können. Diese Verfahren müssen eventuell mit geeigneten Parametern und vorhergehender Glättung des Bildes angewandt werden, um eine Übersegmentierung im Folgenden zu vermeiden. 10

12 KAPITEL 3. SEGMENTIERUNG NACH DISKONTINUITÄTSKRITERIEN 11 Abbildung 3.1: CannyEdge bzw. ZeroCrossings nach Gaußfilterung Labelling Sind die Kanten detektiert, kann zunächst allen abgeschlossenen Bereichen ein Label zugeordnet werden. Am einfachsten ist dies wenn allen Kanten ein Label zugewiesen wird, allen Nichtkanten ein anderes und schließlich ein Region Labelling (vgl. Abschnitt 4.1) auf die entstandene Segmentierung durchgeführt wird. Anschließend müssen noch die verbliebenen Kantenpixel den entsprechenden Segmenten zugeteilt werden. Dies kann etwa dadurch erfolgen, dass der Algorithmus zum stufenweisen Abtragen von Pixel-Müll (vgl. Abschnitt 4.2) auf die Kantenpixel angwandt wird. Abbildung 3.2: ZeroCrossings Segmentierung 3.2 Wasserscheidentransformation Gegeben sei eine Kenngröße, welche genau die Objektgrenzen durch lokale Maxima darstellt. Dieses Objektgrenzengebirge kann dann von den Tälern aus geflutet werden so das

13 KAPITEL 3. SEGMENTIERUNG NACH DISKONTINUITÄTSKRITERIEN 12 wenn disjunkte Seen ineinanderzufließen drohen, eine künstliche Wasserscheide gebaut wird bis alle Seen auf einem Level mit dem höchsten Gipfel sind (vgl. Abbildung 3.3). Nun repräsentiert der Verlauf der Wasserscheiden die Objektgrenzen und die einzelnen Seen sind die Objekte selbst. Für den gebräuchlichen Fall der Gradientenlänge als Kenngröße, stellt das Verfahren eine Alternative da, um Kanten möglichst exakt zu lokalisieren und in dem selben Prozess gleichzeitig eine komplette Kantenbasierte Segmentierung durchzuführen. Um die Gradientenlänge einer Region aus einem RAG zu berechnen, wird die Summe aus den jeweils mit der Fläche der angrenzenden Region gewichteten absoluten Differenzen aus eigenem mittlerem Grauwert und dem der angrenzenden Region, durch die Gesamtfläche aller angrenzenden Regionen geteilt. Abbildung 3.3: Schematische Darstellung von Wasserscheiden in einer Dimension Wasserscheidendetektion Es gibt verschiedene Methoden die künstliche Flutung durchzuführen, die Wasserscheiden zu repräsentieren und und die Wasserscheiden am Ende zu behandeln. Im Prinzip aber funktionieren die meisten so, dass zunächst ein Pixel-RAG erstellt, zu allen Regionen die Kenngrösse berechnet, aneinander angrezende Regionen gleicher Höhe verschmolzen und durch Suche derjenigen Regionen ohne angrenzende Regionen mit kleinerer Kenngrösse, die Minima gefunden werden. Ausgehend von diesen Minima wird nun schrittweise das Überflutungsniveau angehoben. Immer wenn eine benachbarte Region plötzlich auf gleicher Höhe mit diesem Niveau ist wird diese Region mit der des Minimas verschmolzen, ausser wenn die jeweilige Region auch von einem anderen Minima geflutet würde. Dann

14 KAPITEL 3. SEGMENTIERUNG NACH DISKONTINUITÄTSKRITERIEN 13 wird diese Region zu einer Wasserscheide erklärt die virtuell unbegrenzte Höhe besitzt. Dieser Prozess wird fortgeführt bis mit dem Flutungslevel der größte Wert einer Kenngrösse überschritten wurde. Nun erhält jeder künstliche See ein eigenes Label. Schließlich müssen noch die Wasserscheidenpixel an die jeweiligen Label verteilt werden, etwa durch ein Verfahren ähnlich der Beseitigung von Kanten in der kantenbasierten Segmentierung. Die reine Anwendung des Verfahrens führt allerdings in der Regel zu einer starken Übersegmentierung wie in Abbildung 3.4 zu sehen Abbildung 3.4: Reine Wasserscheidentransformation Verbesserungen Der erwähnten Übersegmentierung ist sowohl mit allgemeiner Vor- und Nachverarbeitung, als auch spezifischen Methoden beizukommen. Da die Wasserscheidentransformation bereits auf einem RAG definiert wurde, kann sie iterativ auch mehrfach angewandt werden, die sogenannte hierarchische Wasserscheidentransformation. Dies reduziert die Übersegmentierung meist beträchtlich, allerdings werden, je nach Behandlung der Wasserscheiden, diese immer größer und die genaue Lokalisation, von Wasserscheiden und Objekten, somit immer schlechter. Deshalb ist diese Methode auch nur für wenige Iterationen geeignet. Ein weiteres, effektives Verfahren stellt die Einführung eines unteren Schwellenwertes für die Kenngröße da, bei dessen Unterschreitung die Größe einfach auf null gesetzt wird, womit hauptsächlich Minima die Rauschen repräsentieren herausgefiltert werden. Das Resultat dieser Verbesserungen ist in in Abbildung 3.5 zu sehen. 3.3 Zusammenfassung Die Diskontinuitätsbasierten Segmentierungsverfahren sind in der Regel relativ robust, da mit kantenbasierten Kriterien auf ausgefeilte Methoden der Low-Level Vision zurückgegriffen werden kann. Obwohl eine reine Wasserscheidendetektion zu einer

15 KAPITEL 3. SEGMENTIERUNG NACH DISKONTINUITÄTSKRITERIEN 14 Abbildung 3.5: Wasserscheidentransformation nach Verbesserungen unbrauchbaren Übersegmentierung führt, können mit den angegebenen Verbesserungen durchaus brauchbare Ergebnisse erziehlt werden. Ähnlich wie Region Merging, kann auch die Wasserscheidentransformation auf eine beliebige bestehende Segmentierung, zur Reduktion von Übersegmentierung, angewandt werden. Weitere Informationen zu den Verfahren bei: [Toe05, S. 221] (Kantenbasiert), [Toe05, S. 225] (Wasserscheidentransformation)

16 Kapitel 4 Umhüllende Verfahren Während Untersegmentierung ausserhalb der Segmentierungsverfahren nur mit Maßnahmen wie etwa der Erhöhnung des Kontrasts bekämpft werden kann, steht gegen Über- und Fehlsegmentierung eine ganze Batterie von Strategien bereit. Dabei sind die wohl wichtigsten Maßnahmen segmentierungsunabhängige Methoden der Bildverbesserung (siehe [Toe05, S. 153]), an vorderster Stelle eine geeignete Glättung des Bildes. Daneben gibt es aber auch zahlreiche segmentierungsspezifische Verfahren, etwa zur Adaption an die jeweilige Skalierungsstufe von Objektmerkmalen oder zum Entfernen unerwünscht kleiner Segmente. 4.1 Region Labelling Für gewisse Anwendungen können nicht zusammenhängende Segmente, wie sie etwa die histogrammbasierte Segmentierung erzeugt, eine Fehlsegmentierung darstellen. Um diesen Missstand zu beheben, kann ein Region Labelling durchgeführt werden, bei dem jeder zusammenhängenden Gruppe von Pixeln, die das selbe Label besitzen, ein neues, einzigartiges, Label zugeordnet wird. Der wohl einfachste Ansatz ist, darüber Buch zu führen welche Pixel bereits bearbeitet wurden, einen globalen Zähler auf null zu setzen und alle Pixel in der Segmentierung durchzugehen. Für jedes noch unbearbeitete Pixel wird der Zähler inkrementiert und ein rekursiver flooding Prozess gestarten, der wenn der übergebene Pixel noch nicht bearbeitet wurde, dem Pixel den globalen Zähler als neues Label zuweist und sich selbst für alle Nachbarpixel aufruft. 15

17 KAPITEL 4. UMHÜLLENDE VERFAHREN 16 Abbildung 4.1: Histogrammbasierte Segmentierung vor und nach dem Region Labelling 4.2 Insignificance Removal Meist enthält die Segmentierung sehr kleine Segmente die entweder zu Rauschen oder uninteressanten Details korrelieren. Diese Störungen können durch einen Dirt-Filter entfernt werden, der die betroffenen Segmente Schicht für Schicht von außen her abträgt, und den entfernten Müll durch das am häufigsten, in dem nicht zu entfernenden Teil der Nachbarschaft, vorkommende Label zu ersetzen. Eine weitere Form von häufigen Fehlsegmentierungen, sind raue Segmentgrenzen die oft durch Probleme bei der exakten Bestimmung eben dieser entstehen. Hier lässt sich das aus der Bildverbesserung bekannte Verfahren der Medianfilterung nutzen oder auch ein Filter der immer das häufigste Label aus der Umgebung auswählt, wobei Pixel entsprechend ihrer Entfernung vom Zentrum der Maske gewichtet werden können, was den Vorteil besserer Erhaltung einiger Details mit sich bringt Abbildung 4.2: Histogrammbasierte Segmentierung vor und nach der Medianfilterung

18 KAPITEL 4. UMHÜLLENDE VERFAHREN Relaxation Labelling Das Relaxation Labelling ist ein Verfahren zur iterativen Verbesserung der Labelzuordnungen mit Hilfe von Zusatzinformationen über die Wahrscheinlichkeit mit der ein Pixel richtig gelabelled wurde, der Wahrscheinlichkeit das ein anderes Pixel ein bestimmtes Label besitzt wenn das erste Pixel ein gewisses Label trägt und den Einfluss den ein Pixel auf ein anderes ausübt. Für die genauen Formeln sei auf [Toe05, S. 228] verwiesen. Für das Verfahren können überdies Kriterien hergeleitet werden anhand derer abgeschätzt werden kann, wann das Verfahren abgebrochen werden sollte, da es ab diesem Zeitpunkt das Ergebnis eher wieder verschlechtern würde. Ein Verfahren, welches die benötigten Informationen für das Relaxation Labelling liefern kann, ist die bereits in diesem Zusammenhang erwähnte texturbasierte Segmentierung. 4.4 Multiskalenstrategien Unter Multiskalenstrategien versteht man Verfahren die Objektmerkmale in verschiedenen Skalierungsstufen betrachten. Dies ist sinnvoll da verschiedene Merkmale sich abhängig von dem verwendeten Verfahren auch in verschiedenen Skalierungen optimal ausprägen. Implizite Formen wurden bereits mit dem Split-And-Merge und der hierarchischen Wasserscheidentransformation angegeben. Daneben kann auch explizit ein beliebiges Segmentierungsverfahren auf verschiedene Skalierungsstufen eines Bildes angewendet werden, was dann zu einer Abbildung in einen Multiskalenraum führt, der als Achsen die Skalierung und die X- bzw. Y-Achse in Prozent hat. Aus diesem Raum können dann die Merkmale extrahiert werden die über möglichst viele Skalierungen vorhanden und ähnlich sind. Anzumerken ist noch das diese Technik den Prozessen in unserem Gehirn nachempfunden wurde. 4.5 Zusammenfassung Es ist meist geschickter einer Fehlsegmentierungen bereits durch entsprechende Glättung, geeignete Auswahl des Verfahrens und Anpassung der Parameter, vorzubeugen, als hinterher die Reperatur der Segmentierung zu versuchen. Nichtsdestotrotz kann das Ergebnis durch Nachverarbeitung an die Zielvorstellungen angepasst werden. Relaxation Labelling ist zwar bei dem entsprechenden Vorhandensein von zusätzlichen Informationen angebracht und zuverlässig, jedoch in den meisten anderen Fällen eine erhebliche Zeitund Resourcenverschwendung. Unter diesen Umständen leisten, Dirt-Filter zusammen mit Medianfilterung meist einen besseren und vor allem schnelleren Job. Desweiteren können Region Merging und die Wasserscheidentransformation, als Nachverarbeitungschritte, exzellente Ergebnisse liefern, gerade bei Übersegmentierung. Explizite Multiskalen-

19 KAPITEL 4. UMHÜLLENDE VERFAHREN 18 strategien schließlich sind in der Lage, für eine datenbasierte Segmentierung eine sehr gute semantische Korrelation zu erreichen, jedoch sind diese Verfahren, für brauchbare Varianten, sehr aufwendig zu implementieren, und auch sehr resourcenhungrig in der Ausführung. Weitere Informationen zu den Verfahren bei: [Toe05, S. 204] (Region Labelling), [Toe05, S. 205] (Insignificance Removal), [Toe05, S. 228] (Relaxation Labelling), [Toe05, S. 206] (Multiskalenstrategien)

20 Literaturverzeichnis [Toe05] Klaus D. Toennies. Grundlagen der Bildverarbeitung. Pearson Studium, erste edition,