Aus der Vortragsreihe zum Seminar: Verarbeitung und Manipulation digitaler Bilder. Low level vision. von Romina Drees

Transkript

1 Aus der Vortragsreihe zum Seminar: Verarbeitung und Manipulation digitaler Bilder Low level vision von Romina Drees

2 Low level vision: Einleitung Seite 1 1. Einleitung Unter 'Low level vision' versteht man eine Reihe von Verfahren, die zur grundlegenden Bearbeitung von Bildern gehören z.b. Kanten- oder Regionenfindung. Einige davon sollen hier anhand von Beispielen genauer erläutert werden. Dabei geht es um die mögliche mathematische Beschreibung der Merkmale, so dass Funktionen entwickelt werden können, die aus den Pixeldaten dann die gewünschten Merkmale extrahieren. Zur Vorverarbeitung sind meistens verschiedene Filter zur Beseitigung von Rauschen notwendig, da sonst einzelne Fehler in der Bildinformation sich in den Berechnungen fortsetzen und das Ergebnis verfälschen. Auf Filter wird hier aber nicht genauer eingegangen. Das Ziel ist die Reduktion der Bildinformation auf bestimmte Merkmale, die dann später z.b. zur Erkennung von Objekten, Handlungen, Ereignissen etc. (? High level vision) benutzt werden können. 1.1Edge Detection Kantenfindung Eine Kante lässt sich auf der Pixelebene als Grauwertsprung definieren, liegt dann also zwischen bestimmten Pixeln. Gesucht werden Kantenoperationen die als Resultat auf einen Grauwertsprung eine lokale Filterantwort geben. 1.2 Image Segmentation Regionenfindung Um in einem Bild z.b. Objekte zu finden kann man zunächst einmal Regionen im Bild einteilen können. Die lassen sich kennzeichen durch Homogenitätskriterien wie konstante Strahlungsstärke bzw. Grauwert. Es sollen Verfahren vorgestellt werden, die abhängig von der Homogenität einer Region diese dann zerteilen oder mit einer weiteren zusammenfügen (split and merge). Einzelnen Pixeln soll danach das Attribut zur Region gehörig oder nicht zugeordnet werden können.

3 Low level vision: Einleitung, Kantenfindung Seite Textur Oberflächenstrukturen Weitergehend können Regionen auch durch ein gleiches Muster bzw. Textur erkannt werden. Dabei können dann nicht mehr einzelne Pixel betrachtet werden, da sie nicht für ein Muster charakteristisch sein können. So kann man z.b. die Grauwertdynamik (s. Regionenfindung) als Maß für eine Fläche benutzen, das ist allerdings nur ein sehr grobes Verfahren, welches hier nicht weiter vertieft werden soll. 2. Kantenfindung Das Ziel ist es, Filteroperationen zu nutzen, die die Grauwertänderung verstärken und Bereiche mit konstantem Grauwert unterdrücken. Die Gradlinigkeit einer Kante ist dabei unwesentlich. Kantenpunkte sind dadurch gekennzeichnet, dass die erste Ableitung der 2-dimensionalen Grauwertfunktion dort Minima oder Maxima aufweist oder in der zweiten Ableitung ein Nulldurchlauf an der Stelle vorliegt. Mathematisch lässt sich der Grauwertspung als auch Gradientenbetrag ausdrücken: g ( g,, x 1 in 2D: D [ D x D y] g x n) g i 1 Die konkrete Vorgehensweise bei der Kantenfindung würde dann folgendermaßen aussehen: 1. Bild filtern 2. Pixelweises quadrieren der Grauwerte 3. Pixelweises addieren 4. pixelweises Wurzel ziehen? das ist vom Rechenwand sehr aufwendig. Deshalb nutzt man eine Vereinfacherung, die auch ein hinreichend gutes Ergebnis liefert: D D x D y Wie diese Formeln auf Bilder angewendet werden können, zeigt die folgende Reihe: D n ( g 2 x i) D x D x D y D y

4 Low level vision: Kantenfindung Seite 3 Das Original Der Gradient D x D y D D x D x D y D y D D x D y 2.1Kantenfindung mit Masken Um zu sehen, wie zur Kantenfindung mit den einzelnen Grauwerten der Pixel gerechnet wird, kann man auch diverse Masken betrachten und anwenden. Diese geben immer einer Rechenvorschrift für die Grauwerte der Umgebungspixel vor, so dass dem mittleren Pixel daraus ein Wert zugewiesen werden kann. Am Beispiel der Entwicklung einer einfachen Sobel-Maske sind die verschiedenen Kriterien nchvollziehbar: 1. Die kleinste einer möglichen 2D-Maske ist die 3x3- Maske 2. Gesucht ist eine Maßzahl für das mittlere Pixel, welche die Änderung des Grauwertes in einer Richtung angibt, man nehme für das Beispiel die y-richtung, also f f y y a11 a12 a13 a 21 a 22 a 23 a 31 a 32 a 33

5 1 2 a a K a 2a Low level vision: Kantenfindung mit Masken Seite 4 3. Es soll keine Gewichtung der Pixel in der linken bzw. rechten Spalte geben, außerdem soll es auch keine Gewichtung der ersten und letzten Zeile geben a11 a12 a11 a 21 a 22 a 21 a 11 a 12 a Nun möchte man das Signal 'vor' dem mittleren Pixel von dem Signal 'hinter' dem Pixel abziehen, um die Differenz zu erhalten a11 a12 a11 a 21 a 22 a 21 a 11 a 12 a Bei einem idealen und nicht verrauschten Bildsignal erwartet man eine null Antwort, d.h. die Summe aller Gewichte ergibt null: a Auch bei der Differentiaion über die Spalten erwartet man als Ergebnis null. a 11 a 12 a Als einzige Gewichtung bleibt ein Parameter in der mittleren Spalte übrig. 1 K So erhält man schließlich für die Differenzierung in zwei Richtungen zwei Sobel- Masken mit dem Parameter K = 2: Diese Masken auf ein Bild angewendet weisen nun jedem Pixel eine Maßzahl zu, außerdem kennt man die Richtung der möglichen Kante. Eine andere Maske wendet den Laplace-Operator an und weist dann dem mittleren Pixel die Maßzahl zu: Um die Kante letzendlich zu extrahieren ist nach jeder Maskenanwendung eine Punkte Verfolgung notwendig, schließlich besteht eine Kante aus zusammen hängenden Pixeln, die auch als solche bestimmt werden müssen. So werden auch einzelne Pixel herausgefiltert, die nur durch Fehler die Maßzahl einer Kante bekommen haben. Verfahren zur Linienverfolgung werden im nächsten Abschnitt näher erläutert

6 Low level vision: Linienverfolgung Seite Kantenfindung durch Linienverfolgung Eine Methode, um zusammen hängende Punkte zu definieren, beschäftigt sich zunächst mit dem Finden von Startpunkten. Dazu wird meistens aus den Grauwerten und den Beträgen der Gradienten der einzelnen Pixel ein Merkmalsraum gebildet aus dem dann die Pixel über einem bestimmten Schwellwert ausgewählt werden. Von einem bestimmten Pixel aus können dann z.b. Suchstrahlen gebildet werden, von denen man längs die Grauwerte aufsummiert und dann den Suchstrahl mit dem maximalen bzw. minimalen Wert auswählt. Etwas genauer kann man diese Praxis mit einem Kreisbogen anwenden, wo innerhalb eines Suchbereiches alle Pixel auf dem Kreisbogen untersucht werden. Um den Suchbereich zu terminieren, berechnet man abhängig von den zuvor gefundenen Punkten eine Ausgleichsgerade, von der aus dann auf beiden Seiten ein Winkelfeld angelegt wird, im Bild begrenzt durch A und B. Problematisch wird dieses Verfahren bei unterbrochenen Linien. Da gibt es die Möglichkeit Lücken in der Kante zu überbrücken, indem man kreisförmige Suchstrahlen mit verschiedenen Radien anwendet. Diese werden hinsichtlich ihres Grauwertprofils untersucht, so das man den gesuchten Schnittpunkt vom Suchstrahl und gesuchter Linie durch Minima bzw. Maxima ermitteln kann.

7 Low level vision: Geraden finden mittels Hough-Transformation Seite Hough-Transformation Wenn man das Problem der Kantenfindung auf Geraden begrenzen will ist auch ein anderes Verfahren zur Lösung möglich. Gegeben sei folgendes Originalbild, auf das im ersten Schritt zunächst einmal der Gradient angewendet wurde: In diesem Beispiel werden also viele Kanten gefunden, die nicht zur Geraden gehören und damit uninteressant sind, sie stören das Ergebnis. Also versucht man zunächst einmal die Geraden allgemein zu beschreiben mit y= a 0 x? b 0. Dabei beschreibt a 0 die Steigung und b 0 den y-achsenabschnitt der Geraden. Stellt man diese Gleichung nun nach b 0 um und trägt in einem anderen Koordinatensystem b 0 gegen a 0 auf so hat man eine Hough Transformation durchgeführt. So ist jede Gerade durch einen Punkt im Hough Raum darstellbar, dem Schnittpunkt der Geraden, die durch Transformation der einzelnen zur Geraden dazugehörigen Punkte entstehen. Problematisch ist diese Version z.b. bei senkrechten Geraden, da eine 'unendliche' Steigung in diesem Beispiel schwer darstellbar ist. Das kann man umgehen indem man die Geradengleichung in Polarkoordinaten umschreibt und danach eine Hough-Transfomation durchführt, wobei dann der Winkel und der Abstand vom Mittelpunkt als Parameter dienen. Dieses angewendet auf jedes Pixel resultiert in einer Ansammlung von Punkten im 2D-Koordinatensystem, von denen jeder einzelne eine Gerade repäsentiert. Um nun die im Beispiel gesuchten Geraden heraus zu filtern, muss man den Punkt wählen auf den am häufigsten abgebildet wird. Diesen zu finden hilft das Accumulator-Array, welches die Anzahl der Abbildungen auf jeden einzelnen Punkt innerhalb eines hinreichend kleinen Feldes mitzählt. Dann müssen nur noch die über einem Schwellwert liegenden Felder ausgewählt werden, denn deren Koordinaten beschreiben die gesuchten Geraden, oder mit anderen Worten: Geraden entsprechen lokalen Maxima im Accumulator Raum.

8 Low level vision: Hough-Transfomation, Wasserscheidentransformation Seite 7 Das Ergebnis einer Hough-Transformation des Original Bildes und der danach folgenden Geradenauswahl sieht dann folgendermaßen aus: Mit ähnlichen Verfahren können so nicht nur Geraden sondern auch Kreise und andere Kurven aus dem Bild gefiltert werden. 2.4 Die Wasserscheidentransformation Ein weiteres Verfahren, welches nicht nur zur Kantenfindung sondern auch zur Regionenfindung nützlich ist, wird mit der Wasserscheidentransformation beschrieben. Dazu stelle man sich modellhaft folgendes vor: Als Grundfläche eines 3-dimensionalen Raumes legt man das zu verarbeitende Bild. An der z-achse trägt man dann zu jedem Pixel den Grauwert auf. So erhält man ein 3-dimensionales Grauwertgebirge, welches nun beregnet bzw. geflutet wird. Als Ergebniss erhält man verschiedene Staubecken und dazwischen Wasserscheiden als Trennlinie. Nun kann man sich überlegen, welche mathematische Bedeutung diese Modellobjekte haben: Der stärkste Abfall wird durch den Gradienten und der Mittelpunkt eines Staubeckens durch das Minimum bestimmt. Zu einem Staubecken gehört jeder Punkt von dem ein Tropfen dem dazu gehörigen Minimum zustrebt. Von einer Trennlinie aus strebt ein Tropfen zu beiden Seiten gleichzeitig verschiedenen Minima zu. So können alle Staubecken und Wasserscheiden berechnet werden. Da durch Rauschen meistens eine Übersegmentierung des Bildes entsteht, wendet man zusätzlich iterative Verfahren zur Verschmelzung benachbarter Regionen mit ähnlichem Grauwert an, solche werden im späteren abschnitt zur Regionenfindung näher beschrieben.

9 Low level vision: Wasserscheidentransformation, Regionenfindung Seite 8 So fallen Wasserscheiden mit niedrigem Gradienten weg und man erhält nach einer ausreichenden Iterationsstufe geschlossene Linienzüge und damit auch begrenzte Regionen. Nachteil dieses Verfahrens ist eine hohe Rauschanfälligkeit. Beispiel zur Anwendung: Original Grauwertgebirge 2. Iterationsstufe 5. Iterationsstufe 3. Regionenfindung Die ursprüngliche Fragestellung bevor Regionen in einem Bild gefunden werden sollten, war die Frage nach Objekten, die sich durch Regionen kennzeichnen lassen. Regionen lassen sich durch ein homogenes Merkmal z.b. den Grauwert beschreiben. Die einzelnen Punkte R i von der Region R sind zusammenhängend und das Homogenitätsmerkal P gilt nur für eine spezifische Region. Kurz gefasst und mathematisch ausgedrückt heißt das: 3.1 Das Schwellwertverfahren Eine einfache Methode in einem möglichst unverrauschten Bild ein Objekt welches sich stark vom Hintergrund unterscheidet zu finden, bieten Histogramme. Dabei werden die Anzahl der Pixel eines Grauwertes gegen den Grauwerte aufgetragen. Dann können die Pixel eines Grauwertbereiches dem Objekt bzw. dem Hintergurnd zugeordnet werden.

10 Low level vision: Das Schwellwertverfahren, Ein Ähnlichkeitsmaß Seite 9 Problematisch ist aber schon, wenn der Hintergrund dem Objekt im Grauwert ähnlich ist. Oder folgendes Beispiel: Diese beiden Bilder haben komplett identische Histogramme, aber eine unterschiedliche Struktur. Es sind also Verfahren notwendig, die die Umgebung eines Pixels bzw. einer Region betrachten. 3.2 Ein Ähnlichkeitsmaß Eine mathematische Möglichkeit die Ähnlichkeit benachbarter Regionen zu beschreiben ist die Differenz ihrer Grauwerte zu betrachten. Dann wäre das Ähnlichkeitsmaß zweier Punkte so zu beschreiben: d?p 1, p 2?=?g 1 - g 2? Die Entscheidung, ob nun die Ähnlichkeit für den Zusammenschluß zweier Regionen ausreicht, wird über den Schwellwert gemacht: d?p 1, p 2?=t Seien nun mehrere benachbarte Regionen gegeben. Welches der Pixelpaare entscheidet nun über die Ähnlichkeit der Regionen? Betrachtet man ein zufälliges Pixelpaar auf der Kante zweier Regionen, so kann das durch ein fehlerhaftes Pixel zu einem falschen Zusammenschluß führen. Verringert wird das Risiko durch das Betrachten des Mittelwertes aller Ähnlichkeitsmaße der auf der Kante liegenden Pixelpaare. Eine noch höhere Stufe wäre die Betrachtung des mittleren Grauwertes der gesamten Region oder der Grauwertdynamik. Diese kann so beschrieben werden:? g A = max g A - ming A und? g B = max g B - ming B??? g A -? g B? =t Liegen nun mehrere Regionen an einer Testregion an, so muss der Zusammenschluss zuerst mit der Region mit der optimalen Kriterienerfüllung erfolgen, da sonst Verfälschungen auftreten, die den Zusammenschluß mit der optimalen Region verhindern könnten.

11 Low level vision: Der Quadtree, Split and Merge Seite Arbeiten mit Quadtrees Bisher sind Methoden zur Zusammenführung von Regionen besprochen worden eine umgekehrte Herangehesnweise ist das Teilen von inhomogen Regionen bis die unterteilten Regionen homogen sind, z.b. mit Hilfe eines Quadtree. Dieser teilt sich nämlich an jedem Knotenpunkt in vier Abzweige, nicht wie ein binärer Baum in zwei. Folgendes Schema zeigt diese Struktur auf ein Bild angewandt: Das gleichmäßige Teilen des Bildes kann bis auf die Pixelebene durchgeführt werden, also bis jede Teilregion homogen ist. Nun kann es vorkommen, dass am Ende benachbarte Regionen homogen sind, die vorher geteilt wurden. Daraufhin müssen also wieder Verfahren zum verschmelzen der Regionen angewendet werden, um ein brauchbares Ergebnis zu erhalten. Die Ausgangsbilder müssen nicht notwendigerweise quadratisch sein, sie müssen nur in Quadrate aufteilbar sein, z.b. wenn das Bild doppelt so lang wie breit ist, lassen sich daraus zwei Quadrate bilden auf die dann die weiteren Operationen durchgeführt werden. 3.4 Split and Merge Ein Prinzip zur Regionenfindung, worunter man die vorgestellten Verfahren betrachten kann, hat die Überschrift 'Split and Merge'. Ein optimales Ergebnis kann nur durch die Anwendung beider Verfahren, der divisiven (split) und der agglomerativen (merge), entstehen. Agglomerative Verfahren: Region Growing: Bereichswachstum heißt, das von Startpunkten aus einzelne Pixel iterativ über Homogenitätskriterien auf Regionenzugehörigkeit getestestet werden Region Merging: Hier beginnt man mit kleinen Regionen, nicht mit einzelnen Pixeln, also z.b mit 2x2- Regionen Divisive Verfahren: 'Splitten' einer Region z.b. nach dem Quadtree Muster bis die einzelnen Regionen hinreichend homogen sind Zur Optimierung werden nach dem 'Splitten' benachbarte Regionen auf Homogenität getestet. Durch die Anwendung vom Quadtree (Rechteckmuster) kann es zu ausgefransten Kanten kommen, so dass danach noch Kantenglättungsverfahren angewendet werden müssen.

12 Low level vision: Zum Abschluss Seite Zum Abschluss An wenigen Beispielen sollten in dieser Arbeit ein paar grundlegende Verfahren zur 'einfachen' Bildverarbeitung vorgestellt werden, d.h. dass bestimmte Merkmale von Objekten wie Kanten und Regionen mit wenigen mathematischen Operationen aus einem komplexen Bildsignal extrahiert werden können. Diese reduzierten Bildinformationen können dann verwendet werden u.a. zur vereinfachten Darstellung z.b. in der Medizin häufig angewendet oder zur weiteren Verarbeitung mit 'High level vision' Verfahren. Literaturhinweise (Bilder und Informationen aus): Gonzales/Woods: 'Digital Image Processing' (2001) Jähne, Bernd: 'Digitale Bildverarbeitung' (2002) Lehmann, Oberschelp, Pelikan, Repges: 'Bildverarbeitung für die Medizin' (1997) Petrou, Maria und Bosdogianni, Panagiota: 'Image Processing The Fundamentals' (1999)