INHALTSVERZEICHNIS... 1 ABBILDUNGSVERZEICHNIS... 3 TABELLENVERZEICHNIS... 4 AUFGABENSTELLUNG EINLEITUNG Motivation...

Transkript

1 Inhaltsverzeichnis INHALTSVERZEICHNIS... 1 ABBILDUNGSVERZEICHNIS... 3 TABELLENVERZEICHNIS... 4 AUFGABENSTELLUNG EINLEITUNG Motivation Gliederung der Arbeit GRUNDLAGEN Was ist Bildverarbeitung Bildvorverarbeitung Segmentierung Pixelorientierte Segmentierung Regionenorientierte Verfahren Nachbearbeitung der Segmentierung mit morphologischen Operatoren Objekterkennung Modell Merkmale Geometrie Radiometrie Topologie Momente BISHERIGE ARBEITEN FAHRZEUGDETEKTION Das Modell Der Ansatz Reduzierung des Suchraumes Bildvorverarbeitung Segmentierung Threshold Flächenwachstum Objekterkennung Auswahl modellrelevanter Regionen Bewertung topologischer Relationen zwischen den Regionen Bewertung der aufgestellten Fahrzeug-Hypothesen

2 5 IMPLEMENTIERUNG Halcon FindingVehicle Konfigurationsdatei FindingVehicle.conf ERGEBNISSE & PROBLEME AUSBLICK, VERBESSERUNGSANSÄTZE UND FAZIT Ausblick und Verbesserungsansätze Zusätzliche Verifizierung der Fahrzeughypothesen durch Kanten Nachbarschaftsbeziehungen zwischen Fahrzeughypothesen Automatische Parameteranpassung Genauere Auswahl der Parametergrenzen durch Berechnung von Trennebenen Suchraumeinschränkung anhand von Straßenhypothesen Kurzzusammenfassung und Fazit LITERATURVERZEICHNIS

3 Abbildungsverzeichnis Abb. 2. 1: Beispiel Medianfilter: Abb. 2. 2: Beispiel Anisotropische Filterung Abb. 2. 3: Beispiel Tiefpassfilter Abb. 2. 4: Beispiel Threshold Abb. 2. 5: Beispiel Flächenwachstum Abb. 2. 6: Beispiel Opening Abb. 2. 7: Beispiel Closing Abb. 2. 8: Beispiel Semantisches Netz Abb. 2. 9: Konvexität für Beispielregionen Abb : Kompaktheit für Beispielregionen Abb : Beispiel für Parameter c 1 -c Abb : Beispiel für Parameter c 1 -c Abb. 4. 1: Modell einer Limousine Abb. 4. 2: Modell als semantisches Netz Abb. 4. 3: RGB-, Grauwertbild und die einzelnen Farb-Kanäle Abb. 4. 4: Ablaufdiagramm der Strategie Abb. 4. 5: Suchraumverkleinerung auf Beispielbild Abb. 4. 6: Vorverarbeiteter R-Kanal eines Beispielbildes Abb. 4. 7: Threshold auf Beispielbild Abb. 4. 8: Flächenwachstum auf Beispielbild Abb. 4. 9: Richtige Zuordnung von Regionen R Abb : Finden von drei passenden Regionen Abb. 6. 1: Parkplatz_Neustadt1.tif Abb. 6. 2: Gefundene Fahrzeuge auf Parkplatz_Neustadt1.tif Abb. 6. 3: Parkplatz_Neustadt2.tif Abb. 6. 4: Gefundene Fahrzeuge auf Parkplatz_Neustadt2.tif Abb. 6. 5: Fahrzeugreihe_Neustadt2.tif Abb. 6. 6: Gefundene Fahrzeuge auf Fahrzeugreihe_Neustadt2.tif Abb. 6. 7: Lkw_aufStraße_Neustadt2.tif Abb. 6. 8: Gefundene Fahrzeuge auf Lkw_aufStraße_Neustadt2.tif

4 Abb. 6. 9: Bonn_ausschnitt1.jpg Abb : Gefundene Fahrzeuge auf Bonn_ausschnitt1.jpg Abb. 7. 1: Lagebeziehung durch Kante unterstützt Abb. 7. 2: Falsche Lagebeziehung zwischen Fahrzeughypothesen Tabellenverzeichnis Tabelle 6. 1: Ergebnisse Parkplatz_Neustadt1.tif Tabelle 6. 2: Ergebnisse Parkplatz_Neustadt2.tif Tabelle 6. 3: Ergebnisse Fahrzeugreihe_Neustadt2.tif Tabelle 6. 4: Ergebnisse Lkw_aufStraße_Neustadt2.tif Tabelle 6. 5: Ergebnisse Bonn_ausschnitt1.jpg

5 Aufgabenstellung Extraktion von Fahrzeugen als Kontextobjekte in optischen Bilddaten Die automatische Extraktion von Straßen und anderen linienartigen Objekten in digitalen Luft- und Satellitenbildern wird oftmals beeinträchtigt durch überdeckende bzw. hineinragende (Kontext-)Objekte, die sich in der Nähe oder auf der Straße befinden, z.b. Bäume oder Fahrzeuge. Die zusätzliche Extraktion dieser Kontextobjekte kann die Extraktion von Straßen erheblich unterstützen. Herr Meyer bekommt die Aufgabe, im Rahmen seiner Bachelorarbeit Bildanalyse- Operatoren zur automatischen Extraktion von Fahrzeugen bzw. Fahrzeugreihen aus hoch aufgelösten Luftbildern zu erstellen. Die Ergebnisse sind zu dokumentieren, anschaulich darzustellen und zu bewerten. Es werden Luftbilder in verschiedenen Auflösungen aus unterschiedlichen Regionen (ländliche Gebiete bzw. Vorstadtbereich) für diese Arbeit zur Verfügung gestellt. Die Implementierung der Bildanalyse-Operatoren soll in der objektorientierten Programmiersprache C++ unter Verwendung der Bibliothek des Bildverarbeitungssystems HALCON erfolgen. 5

6 1 Einleitung 1.1 Motivation Die automatische Extraktion von Straßen und Straßennetzen aus Luftbildern ist ein in den letzten Jahren immer wichtiger gewordener Teil der Bildanalyse. Ein Problem dabei ist, dass Straßen häufig von Kontextobjekten verdeckt werden. Solche Kontextobjekte sind z.b. Bäume, Häuser und natürlich Fahrzeuge. Durch solche Kontextobjekte können Straßenhypothesen aber auch verifiziert werden, z.b. stehen Häuser meist nah an Straßen und Fahrzeuge befinden sich meist auf Straßen. So kann eine Straßenhypothese anhand von auf ihr befindlichen Fahrzeugen bestätigt werden. Genau an diesem Punkt ist die hier vorliegende Arbeit einzuordnen: Das automatische Extrahieren von Fahrzeugen als Kontextobjekte aus Luftbildern. Neben dieser Nutzung zur Verifizierung von Straßenhypothesen ist die Detektion von Fahrzeugen unter anderem auch für den militärischen Bereich interessant. So können beispielsweise gegnerische Ziele automatisch erkannt oder feindliche Transportaktivitäten überwacht werden. Als Daten für diese Arbeit stehen RGB 1 -Luftbilder mit einer Auflösungsgenauigkeit von 3.3cm/Pixel und 7cm/Pixel zur Verfügung. Daten über Straßenhypothesen, um so z.b. den Suchraum einzuschränken liegen für diese Arbeit nicht vor. Die entwickelte Strategie wird in C++ unter Verwendung der Bibliothek des Bildverarbeitungssystems HALCON (v.7.0.2) implementiert. Das Augenmerk liegt auf einer hohen Vollständigkeit der Ergebnisse, da es für die Nutzung gefundener Fahrzeuge als Untermauerung von Straßenhypothesen wichtiger ist möglichst viele Fahrzeuge zu entdecken. 1 Informationen zum RGB-Farbraum: [22] 6

7 1.2 Gliederung der Arbeit Zunächst werden in Kapitel 2 die wichtigsten Grundlagen für die anschließenden Kapitel erläutert. Dabei werden die folgenden Bereiche der digitalen Bildverarbeitung kurz angesprochen: Bildvorverarbeitung, Segmentierung und Objekterkennung. Einige Operatoren zu den entsprechenden Bereichen werden beispielhaft vorgestellt. In Kapitel 3 werden anschließend drei bereits existierende Arbeiten aus dem Bereich Fahrzeugdetektion vorgestellt. In Kapitel 4 wird dann der hier entwickelte und implementierte Ansatz zur Fahrzeugdetektion detailliert erläutert. Dies beinhaltet die Beschreibung des Modells, die Art der verwendeten Segmentierung für die Teilregionen Motorhaube, Dach und Heckklappe von Fahrzeugen und deren Bewertung durch verschiedener Merkmale. Weiterhin wird die anschließende Zuordnung dieser Regionen anhand der im Modell beschriebenen Lagebeziehungen, und die anschließende Bewertung und Klassifizierung der so aufgestellten Fahrzeughypothesen beschrieben. Im 5ten Kapitel werden die so erhaltenen Ergebnisse auf den vorhandenen Testbildern optisch und tabellarisch dargestellt und ebenso wie einige auftretende Probleme diskutiert. Es werden außerdem Unterschiede aufgezeigt, die durch die zusätzlich Bewertung zweier Merkmale entstehen. Kapitel 6 fasst die wichtigsten Informationen über die Implementierung des in dieser Arbeit vorgestellten Ansatzes zusammen. Besonders wichtig ist für den Nutzer des implementierten Programms die Beschreibung der Konfigurationsdatei. Abschließend werden in Kapitel 7 einige Verbesserungsvorschläge vorgestellt, die den hier besprochenen Ansatz sinnvoll erweitern können. 7

8 2 Grundlagen In diesem Kapitel wird ein Überblick über die nötigen Grundlagen für diese Arbeit gegeben. Die Wahl der Beispiele orientiert sich an der Verwendung der Operatoren im Hauptteil dieser Arbeit (Kapitel 4). Es gibt darüber hinaus noch eine Vielzahl weiterer Operatoren, die hier jedoch nicht weiter berücksichtigt werden. 2.1 Was ist Bildverarbeitung Die digitale Bildverarbeitung wird nach [16] in vier Stufen unterteilt: Die erste Stufe der Bildverarbeitung ist die Bildvorverarbeitung. Diese dient in erster Linie der Verbesserung des Bildes. Der wesentliche Informationsgehalt wird im Sinne der folgenden Weiterverarbeitung verstärkt. Die zweite Stufe ist die Segmentierung. Dabei werden Strukturen von Interesse (Vordergrund) von anderen Strukturen (Hintergrund) getrennt. Es entstehen die so genannten Objektkomponenten. In der dritten Stufe werden diese Objektkomponenten dann zu Objekten zusammengesetzt (Objekterkennung) und in der letzten Stufe interpretiert. Die Interpretierung findet im eigentlichen Sinne nicht statt. Es wird lediglich in zwei Klasse klassifiziert: Fahrzeuge und Nicht-Fahrzeuge. Ein Interpretierung zielt auf das Bildverstehen ab, z.b. dem Verstehen von Straßenschildern. Die automatische Bildverarbeitung ist die automatische Generierung einer expliziten Beschreibung für den in den Bildern dargestellten Ausschnitt der realen Welt mit Hilfe eines Computers (Rosenfeld, 1982) Für die Bildverarbeitung gibt es im Groben drei Möglichkeiten. Die manuelle, die in obigem Zitat gemeinte vollautomatische und die semiautomatische. Bei dem manuellen Verfahren markiert ein (menschlicher) Operateur die gesuchten Objekte. Dies ist bei großen Bildmengen sehr zeitaufwendig, dafür werden jedoch sehr gute Ergebnisse (hohe Korrektheit 2, hohe Vollständigkeit 3 ) erzielt. 2 Korrektheit = Anzahl korrekt erkannter Objekte / Anzahl aller erkannter Objekte. Durch eine höhere Korrektheit sinkt meist die Vollständigkeit. 8

9 Der vollautomatische Ansatz ist gerade angesichts der explodierenden Leistungssteigerung der Computer sehr schnell, wobei dabei aber meist Abstriche bei der Qualität der Ergebnisse gemacht werden müssen. Die Gefahr ist, dass viele Objekte falsch (niedrige Korrektheit) oder gar nicht erkannt werden (niedrige Vollständigkeit). Der semiautomatische Ansatz versucht die Vorteile des manuellen und des automatischen Verfahrens zu vereinen. Es gibt dabei die Möglichkeit, dass ein Operateur automatisch gefundene Ergebnisse korrigiert bzw. nachbessert, oder vor der automatischen Erkennung von Objekten z.b. Parameter speziell anpasst. Dies kann genauso gute Ergebnisse wie die manuelle Erkennung liefern, ist jedoch immer noch um einiges zeitaufwendiger als ein vergleichbarer automatischer Ansatz. 2.2 Bildvorverarbeitung Die Aufgabe der Bildvorverarbeitung ist es zum Einen Störungen auf den Eingabebildern zu minimieren, dazu gehören z.b. das Entfernen von Rauschen, Beseitigung von perspektivischen Verzerrungen oder das Korrigieren von Unschärfe aufgrund von Bewegungen. Zum Anderen werden die Eingabebilder in Hinblick auf die Gesamtaufgabe (z.b. Detektion von homogenen Regionen) optimiert, es werden also die Daten im Bild betont, die während der Weiterverarbeitung wichtig sind. Dazu gibt es eine Reihe von Operatoren, von denen hier einige vorgestellt werden. Unterschieden wird zwischen Punkt, lokalen und globalen Operatoren. Diese drei Ansätze werden kurz angerissen. [6],[11] Die Punktoperatoren verwenden nur die Intensitätswerte der jeweils einzelnen Pixel des Eingabebildes B(x,y). Mit Hilfe einer Funktion f[b(x,y)] wird daraus der entsprechende Pixel des Ausgabebild A(x,y) berechnet ( A(x,y) = f[b(x,y)] ). Die lokalen Operatoren nutzen zur Berechnung des Intensitätswertes des entsprechenden Ausgabepixels A(x,y) zusätzlich die Pixel der lokalen Umgebung um B(x,y), etwa 3x3 oder 5x5. Die globalen Operatoren berücksichtigen das gesamte Eingabebild B um den Intensitätswert eines Pixels A(x,y) zu bestimmen. 3 Vollständigkeit = Anzahl korrekt erkannter Objekte / Anzahl der Objekte im Bild. Durch eine höhere Vollständigkeit sinkt meist die Korrektheit. 9

10 Beispiele für die in Kapitel 4 verwendeten Operatoren: Punktoperatoren: Histogrammtransformation wie Kontrast- und Helligkeitsverbesserung. Lokale Operatoren: Medianfilter: Rangordnungsfilter, sortiert und wählt dann den mittleren Wert der sortierten Liste als neuen Intensitätswert des entsprechenden Ausgabepixels. So werden, wie in Abb. 2.1 zu sehen, lokale Extremwerte geglättet. [6] Abb. 2. 1: Beispiel Medianfilter: a) Eingabebild E, b) Mit einem 3x3 Median gefiltertes Ausgabebild A Zu sehen ist der (nicht vorhandenen) Einfluss des Störpixels (E(3,3)) auf seine Nachbarn. Quelle: [6] Anisotrope Diffusion: Iterativer, nichtlinearer Filter, berechnet die Grauwertdifferenz zur 4er oder 8er Nachbarschaft 4 mittels einer Diffusionsfunktion. Es wird nur dann gefiltert, wenn der Betrag des Gradienten unter einer festgelegten Schwelle liegt. So wird innerhalb homogener Regionen stärker geglättet, und Kanten bleiben erhalten. Dieser Effekt ist in Abb. 2.2 zu sehen. Das Verfahren der anisotropischen Filterung beruht auf den mathematischen Grundlagen der physikalischen Diffusion. 4 4er Nachbarschaft: Vom Zentrum aus die Nord-, Ost, Süd und Westpixel. 8er Nachbarschaft: Vom Zentrum aus zusätzlich die Nordost-, Südost-, Südwest- und Nordwestpixel. 10

11 Abb. 2. 2: Beispiel Anisotropische Filterung a) Eingabebild E, b) Mit anisotropischen Filter gefiltertes Ausgabebild A Zu erkennen ist die Glättung (besonders im linken Bildbereich) und die trotzdem sehr gut erhaltenen Kanten (besonders im rechten Bildbereich). Globale Operatoren: Fouriertranformation: Überführung des Bildes in den Frequenzraum, um dort z.b. Tiefpassfilter nutzen zu können. Sehr inhomogene Regionen entsprechen hohen Frequenzen. Ein Tiefpassfilter filtert diese heraus. Abb. 2.3 zeigt einen, mit einem Tiefpass gefilterten Bildausschnitt. [6] Abb. 2. 3: Beispiel Tiefpassfilter a) Eingabebild E, b) Tiefpassgefiltertes Ausgabebild A Mit der deutlich sichtbaren starken Glättung geht eine ebenso starke Verwischung der Kanten einher. 11

12 2.3 Segmentierung Im Folgenden werden zwei verschiedene Konzepte der Bildsegmentierung vorgestellt: Pixelorientierte Segmentierung Regionenorientierte Segmentierung Die Pixelorientierte Segmentierung verwendet nur die Grauwerte der einzelnen Pixel, die Regionenorientierte Segmentierung untersucht Grauwerte in zusammenhängenden Regionen. [11] Pixelorientierte Segmentierung Die pixelbasierte Segmentierung teilt ein Bild in Regionen auf, im einfachsten Fall in zwei. Die Zuordnung jedes einzelnen Pixels erfolgt, unabhängig von anderen Punkten, z.b. über seinen Intensitätswert. Es wird keine bereits vorhandene Segmentierung der lokalen Umgebung berücksichtig. So können nicht zusammenhängende Regionen entstehen. Die einfachste pixelorientierte Segmentierung ist das Threshold. Dabei werden im einfachstem Fall Punkte mit einem Intensitätswert unter einem bestimmten Schwellwert S (0 255) der einen, alle Punkte mit einem höheren Wert der andern Region zugeordnet (Threshold). Es können aber auch mehrere Grenzen festgelegt werden, um so den Wertebereich in mehrere Bereiche aufzuteilen oder nur bestimmte Wertebereiche herauszugreifen. Die Grenzwerte können entweder global vorgegeben nur bei einer gleichmäßigen Beleuchtung zu empfehlen oder aber mithilfe des Histogramms automatisch auch lokal bestimmt werden. Dazu bestimmt man die Maxima/Minima der Histogrammfunktion, und legt jeweils einen Grenzwert beliebig zwischen zwei Maxima/Minima, z.b. auf das dazwischen liegende lokale Minimum/Maximum. Dies kann für verschiedene Bildteile einzeln durchgeführt werden, um so die Schwellwerte lokal anzupassen. Leider funktioniert diese Segmentierung nur zufrieden stellend, wenn die Intensitätswerte der Objekte und des Hintergrundes jeweils gleich oder zumindest ähnlich sind. [20] 12

13 Abb. 2. 4: Beispiel Threshold a) Eingabebild E, b) Durch Threshold [0, 120] gefundene Region R (rot) Die rote Region in b) beinhaltet alle Pixel aus E, die einen Intensitätswert im Intervall [0, 120] haben Regionenorientierte Verfahren Bei den regionenorientierten Verfahren werden benachbarte Pixel anhand bestimmter Kriterien zusammengefasst. Ein Kriterium dabei ist der Zusammenhang der Region. Ein Bildpunkt wird also nur dann einer Region zugeordnet, wenn mindestens ein direkter Nachbar schon der Region angehört. Das bekannteste regionenorientierte Verfahren ist das Flächenwachtum. Dabei Flächenwachstumsverfahren wird mit einem Punkt gestartet 5, und damit gleichzeitig der ersten Region zugeordnet. Anschließend wird für die angrenzenden Punkte geprüft ob sie ebenfalls dieser Region zugeordnet werden können. In den meisten Fällen wird die Zugehörigkeit anhand der Intensitätswerte geprüft, wobei deren Differenz eine bestimmte Toleranz nicht überschreiten darf. Diese Differenz kann sich auf den direkten Nachbarpunkt beziehen, oder z.b. auch auf den Mittelwert der bisherigen Region. Wenn kein an die Region angrenzender Punkt mehr der Region zuzuordnen ist, wird mit einem dieser Punkte eine neue Region begonnen. Als weitere Kriterien werden häufig die minimale und die maximale Größe einer Region verwendet. [20] 5 Normalerweise startet man mit dem ersten Pixel, also B(0,0), oder es werden sog. Saatpunkte manuell vorgegeben. 13

14 Abb. 2. 5: Beispiel Flächenwachstum a) Eingabebild E, b) Durch Flächenwachstum (Toleranz: 4) gefundenen Regionen R Jeweils gleichfarbige, zusammenhängende Regionen sind in E relativ (anhängig von der Toleranz) homogen Nachbearbeitung der Segmentierung mit morphologischen Operatoren Mit Hilfe von morphologischen Operatoren können die Formen von Regionen verändert werden. Diese werden als Operatoren auf Binärbildern definiert. Im Folgenden werden die Basisoparationen Dilation und Erosion und die darauf basierenden Oparationen Opening und Closing vorgestellt. Dilation und Erosion nutzen ein so genanntes Strukturelement. Das Strukturelement, ist eine beliebig geformte Operaratormaske, die den Einflussbereich des Operators bestimmt. Das Strukturelement wird pixelweise über das Bild geschoben, wobei der Bereich im Ursprungsbild, der von der Maske überdeckt wird, das aktuelle Pixel im neuen Bild bestimmt. Dilation: Die Dilation fügt Pixel an den Segmentsrändern hinzu. Dadurch kommt es zu einer Vergrößerung des Objektes. Der aktuelle Pixel wird nur dann auf 1 gesetzt, wenn die Maske mindestens einen "Einser-Pixel" des Ursprungsbildes überdeckt. [4], [24] Erosion: Die Erosion entfernt Pixel an den Segmenträndern. Dadurch wird das Objekt verkleinert. Der aktuelle Pixel wird genau dann auf 1 gesetzt, wenn die Maske vollständig mit dem "Einser-Bereich" des Ursprungsbildes überlappt. Ansonsten wird der aktuelle Pixel auf 0 gesetzt. [4],[24] 14

15 Beim Opening und Closing werden die Basisoperatoren Dilation und Erosion hintereinander geschaltet. Wichtig dabei ist die Reihenfolge. Beim Opening (Abb. 2.6) kommt zuerst die Erosion und dann die Dilation. Beim Closing (Abb. 2.7) ist die Reihenfolge umgekehrt. Innerhalb eines Opening oder eines Closing sollten die Strukturelemente von Erosion und Dilation gleich sein. Durch das Opening können insbesondere drei Dinge erreicht werden. Erstens können dünne Brücken geöffnet, zweitens Segmentränder geglättet, und drittens zu kleine Regionen entfernt werden. Zu den wichtigsten Eigenschaften des Closing, neben der Glättung von Segmenträndern, zählt, dass schmale Lücken zwischen Segmenten oder innerhalb eines Segmentes geschlossen werden können. Die Auswirkungen dieser morphologischen Operatoren sind in Abb. 2.6 und 2.7 veranschaulicht. Genutzt wird ein kreisförmiges Strukturelement. Abb. 2. 6: Beispiel Opening Die schmalen Teile der Region (rechts und mittig) werden eliminiert. Quelle: [23] 15

16 Abb. 2. 7: Beispiel Closing Die schmale Einbuchtung der Region (links) wird geschlossen. Quelle: [23] 2.4 Objekterkennung Auf dem Weg zur Interpretation von Bildern müssen die Segmentierungsergebnisse bewertet und zu Objekten zusammengefügt werden. Dabei ist natürlich das gesuchte Objekt zu berücksichtigen. Aus den Merkmalen dieses Objektes sind signifikante Merkmale herauszusuchen, anhand derer das Objekt eindeutig beschrieben werden kann. Mit Hilfe dieser Merkmale kann anschießend eine Bewertung und Klassifizierung der Segmentierungsergebnisse durchgeführt werden Modell In [25] wird der Begriff Modell wie folgt definiert: Ein Modell zeichnet sich durch Abstraktion aus, die bewusste Vernachlässigung bestimmter Merkmale, um die für den Modellierer oder den Modellierungszweck wesentlichen Modelleigenschaften hervorzuheben. Anhand von Modellen werden in der Bildanalyse Objekte (z.b. eine Straße) beschrieben. Dabei sollen reale Objekte möglichst genau durch Begriffe aus der Bildebene beschrieben werden. Formal wird eine solche Beschreibung unter anderem in Form eines semantischen 16

17 Netzes gegeben. Die Knoten in einem semantischen Netz stellen Begriffe dar, die Kanten entsprechende Beziehungen zwischen den Begriffen. Es gibt verschiedene Beziehungsarten, z.b. hierarchische 6 oder Eigenschaftsbeziehungen 7. Des Weiteren gibt es eine Vielzahl weiterer Möglichkeiten um Objekte zu beschreiben, die hier jedoch nicht weiter betrachtet werden. Im folgenden Beispiel eines semantischen Netzes wird das Objekt Road network in drei Ebenen beschrieben. 1: Reale Welt - Ebene, 2: Geometrie- und Materialebene, 3: Bildebene Abb. 2. 8: Beispiel Semantisches Netz Beschreibung des Objektes Road network anhand eines semantischen Netzes Aus Abb. 2.8 kann z.b. entnommen werden, dass Straßenmarkierungen Teil einer Straße sind und diese weiter in durchgehende und unterbrochene Markierungen aufgeteilt werden können. Diese werden als lange, bzw. kurze, farbige Linien beschrieben, welche im Bild als lange oder kurze, helle Linien zu erkennen sind. Wichtig für die Objekterkennung ist scheinbar nur die Beschreibung in der Bildebene, denn dort findet sich die Beschreibung der gesuchten Objekte wie sie sich im Bild 6 z.b. Vererbungsrelation (z.b. Ein Hund ist ein Säugetier) oder Partitive Relation (z.b. Ohr ist ein Teil eines Hundes) 7 z.b. Ein Tischtennisball ist kugelförmig und weiß 17

18 darstellen. Lagebeziehungen z.b. finden sich aber in den anderen Ebenen und sind ebenfalls sehr wichtige Informationen Merkmale Jedes Objekt besitzt Merkmale, anhand derer man dieses Objekt eindeutig erkennen kann. Beispielsweise ist ein Tischtennisball weiß, hohl, kugelförmig, hat einen Durchmesser von 40 mm und wiegt 2,7 Gramm. Merkmale beschreiben also ein Objekt, so dass es sich von anderen unterscheidet. Die für diese Arbeit wichtigsten Merkmalsklassen werden in vorgestellt Geometrie Unter der Geometrie eines Objektes versteht man Größe, Form und geometrische Relation (z.b. Seitenverhältnis eines Rechteckes). Geometrische Merkmale eines Tischtennisballs: Kugelförmig, Durchmesser von 40 mm Die in Kapitel 4 genutzten Merkmale werden nun definiert (siehe auch [3]): a) Größe: Die Größe ist der Flächeninhalt einer Region. Möglicher Wertebereich: ]0, [ m² b) Konvexität: Die Konvexität ist der Quotient aus Fläche der Region und Fläche der konvexen Hülle. Die konvexe Hülle einer Fläche ist das Polygon P mit dem kürzesten Rand, so dass die gesamte Fläche im Inneren von P liegt. In Abb. 2.9 sind verschieden geformte Regionen mit ihren Konvexitätswerten zu sehen. Zusätzlich ist für zwei Regionen links unten im Bild sie konvexe Hülle mit eingezeichnet. K = R H 18

19 Wobei R die Fläche der Region und H die Fläche der entsprechenden konvexen Hülle ust. Möglicher Wertebereich: ]0, 1] Abb. 2. 9: Konvexität für Beispielregionen Abgebildet sind verschiedene Regionen mit den entsprechenden Konvexitätswerten, und zwei Regionen (links unten) mit ihren konvexen Hüllen. Der Kreis sollte eigentlich eine Konvexität von 1 haben, dies ist hier nicht der Fall, weil es keinen perfekten Kreis durch Pixeldarstellung gibt. c) Kompaktheit Die Kompaktheit ist ein Maß für das Verhältnis von Konturlänge und Fläche einer Region und wird anhand folgender Formel berechnet: C = L² 4 * F *π Wobei L die Länge der Kontur und F die Fläche der Region ist. In Abb sind verschieden geformte Regionen mit ihren Kompaktheitswerten zu sehen. Möglicher Wertebereich: [1, [ 19

20 Abb : Kompaktheit für Beispielregionen Abgebildet sind verschiedene Regionen mit den entsprechenden Kompaktheitswerten. Der Kreis sollte eigentlich eine Kompaktheit von 1 haben, dies ist hier nicht der Fall, weil es keinen perfekten Kreis durch Pixeldarstellung gibt. d) Länglichkeit Die Länglichkeit L ist der Quotient von Neben- und Hauptachse der entsprechenden Ellipse, die die gleiche Orientierung und das gleiche Seitenverhältnis wie die Eingaberegion hat, zu einer Region. b L =, a mit b = Länge der Nebenachse, a = Länge der Hauptachse. Möglicher Wertebereich: ]0, 1] e) Relativer Flächenanteil zum kleinsten umschließenden Rechteck Der relative Flächenanteil zum kleinsten umschließenden Rechteck 8 errechnet sich aus dem Quotienten von Fläche des Segments und Fläche des kleinsten umschließenden Rechtecks. S R =, K mit S = Fläche des Segments, K = Fläche des kleinsten umschließenden Rechtecks. Möglicher Wertebereich: ]0, 1] R 8 Genauer: Das kleinste umschließende Rechteck beliebiger Orientierung. 20

21 Radiometrie Die Radiometrie fasst Eigenschaften wie Farbe und Textur zusammen. Unter Farbe sind auch Intensitätswerte zu verstehen, wie sie z.b. bei Grauwert- oder auch Infrarotbildern vorkommen. Textur wird als flächenhafte Verteilung der Grauwerte mit ihren Regelmäßigkeiten und gegenseitigen Abhängigkeiten innerhalb begrenzter Bildbereiche [16] aufgefasst. Ein Beispiel ist die maximale Abweichung vom Mittelwert einer Region: a) Abweichung vom Mittelwert (Deviation) Dieses Merkmal gibt Auskunft über die maximale Abweichung der Intensitätswerte einer Region von deren Mittelwert; ist also ein Maß für Homogenität. Radiometrische Merkmale eines Tischtennisballs: weiß, unifarben (homogen) Topologie Unter Topologie versteht man die Nachbarschaftsrelationen zwischen Objekten, oder aber auch Relationen von Einzelteilen eines Objektes untereinander. Beispielsweise ist ein Tennisnetz immer in der Mitte eines Tennisplatzes. Topologische Merkmale eines Tischtennisball: Ein Tischtennisball befindet sich häufiger in der Nähe von Tischtennisschlägern Momente Momente können im Grunde zu den geometrischen Merkmalen gezählt werden, da auch sie die Form von Objekten beschreiben. Sie werden hier aufgrund ihrer Komplexität aber gesondert aufgeführt. Sie beruhen auf statistischen Berechnungen. Die so genannten zentralen Momente erster, zweiter und dritter Ordnung stehen zum Schwerpunkt des Untersuchten Objekts in Beziehung. Sie sind translationsinvariant, beschreiben die 21

22 Objektform also unabhängig von derer Position im Bild. Momente, die nicht aus Binärbildern, sondern z.b. aus Grauwertbildern berechnet werden, spiegeln nicht nur die geometrische Form, sondern (nach [3]) auch die Grauwertverteilung innerhalb eines Objektes wieder. Die zentralen Momente nullter Ordnung eines Binärobjekts beschreiben die Fläche eines Segments. Über die Flächenmessung hinausgehenden Untersuchungen der Form beginnen mit den zentralen Momenten zweiter Ordnung. Die zentralen Momente 1. Ordnung sind per Definition null. Die zentralen Momente der Ordnung p + q sind in [3] wie folgt definiert: µ pq = x y p q ( x x ) ( y y ) s( x, y) cp cp Dabei sind x cp und y cp die Koordinaten des Schwerpunktes des Objektes, s(x,y) die Grauwerte des Segments. Mit Hilfe einiger Umformungen (siehe [3]), auf die hier nicht weiter eingegangen wird, lassen sich die normierten, zentrierten Momente der Ordnung p + q (translations- und größeninvariant) berechnen, so können Objektformen auch unabhängig von ihrer Größe beschreiben werden: η pq = µ µ pq p+ q Diese normalisierten zentralen Momente sind im Allgemeinen aber noch nicht rotationsinvariant. Dieses Problem wird durch geschickte Kombination einfacher Merkmale gelöst, die so genannten Hu s Momente. Es werden sieben translations-, größen- und rotationsinvariante Merkmale definiert ([3]): c 1 = η 20 + η 02 c 2 = (η 20 η 02 )² + 4(η 11 )² c 3 = (η 30-3η 12 )² + (3η 21 - η 03 )² 22

23 c 4 = (η 30 + η 12 )² + (η 21 + η 03 )² c 5 = (η 30-3η 12 ) (η 30 + η 12 )[ (η 30 + η 12 )² - 3(η 21 + η 03 )²] + (3η 21 η 03 ) (η 21 + η 03 )[3(η 30 + η 12 )² - (η 21 + η 03 )²] c 6 = (η 20 η 02 )[ (η 30 + η 12 )² - (η 21 + η 03 )²] + 4η 11 (η 30 + η 12 ) (η 21 + η 03 ) c 7 = (3η 21 η 30 ) (η 30 + η 12 )[ (η 30 + η 12 )² - 3(η 21 + η 03 )²] + (3η 21 η 03 ) (η 21 + η 03 )[3(η 30 + η 12 )² - (η 21 + η 03 )²] In Abb Abb werden einigen Beispiel zu diesen sieben Parametern gegeben. In den Abbildungen wurden die Parameter durch Logarithmierung normiert (c i -ln c i ). Abb : Beispiel für Parameter c 1 -c 7 Anhand einer geeigneten Parameterwahl können die unterschiedlichen Segmente leicht unterschieden werden. Quelle: [3] 23

24 Abb : Beispiel für Parameter c 1 -c 7 [3], Es sind zwei verschiedene Zangen in jeweils vier unterschiedlichen Drehlagen zu sehen. Diese können anhand der Parameter c3 und c4 unterschieden werden. Außerdem sieht man, dass die Parameter die oben erwähnten invarianten Eigenschaften haben. Leichte Unterschiede sind Genauigkeitsfehler. Quelle: [3] 24

25 3 Bisherige Arbeiten Im Folgenden werden drei, zu dieser Arbeit themenverwandte, Arbeiten kurz vorgestellt. Detection of vehicles and vehicle queues in high resolution aerial images ([8]): Diese Arbeit beschäftigt sich mit der automatischen Detektion von Fahrzeugen aus hoch auflösenden Luftbildern. Es werden lokale und globale Merkmale von Fahrzeugen genutzt. Lokale Merkmale sind Merkmale der Fahrzeuge selbst, globale beinhalten Kontextbeziehungen zu anderen Objekten, speziell anderen Fahrzeugen. Im Gegensatz zum 2D-Modell (Kapitel 4.1) der hier vorliegenden Arbeit nutzt Hinz auf der lokalen Ebene ein detailliertes 3D-Modell, welches die wichtigsten geometrischen und radiometrischen Eigenschaften samt Schattenregionen beschreibt. Dazu wird jedoch nur das Gradientenbild genutzt. Die hier vorliegende Arbeit kommt ohne dieses aus. Radiometrische Eigenschaften von Fahrzeugen finden sich in [8] lediglich in der Unterscheidung zwischen hellen und dunklen Fahrzeugen wieder. Anhand dieses Modells wird top-down ein Matching auf dem Bild durchgeführt. Dies bedeutet, dass im (Gradienten-)Bild nach Kantenstrukturen gesucht wird, welche denen des Modells entsprechen. Auf der globalen Ebene wird das Wissen über Lagebeziehungen zwischen Fahrzeugen genutzt. Speziell wird hier berücksichtigt, dass Fahrzeuge oft Teil einer Fahrzeugschlange sind. Wenn solche Schlangen Lücken aufweisen, ist dies ein Hinweis auf ein dort vorhandenes Fahrzeug. Besonders nützlich ist dies im städtischen Bereich, da dort meist viel Verkehr herrscht und somit auch viele Fahrzeugreihen vorhanden sind. Car detection in aerial thermal images by local and global evidence accumulation ([10]): Diese Arbeit nutzt zur automatischen Detektion von Autos Infrarot-Luftbilder (1m Auflösungsgenauigkeit). Auch hier werden lokale, sowie globale Merkmale von Fahrzeugen genutzt. 25

26 Auf der lokalen Ebene sind Fahrzeuge als ellipsenförmige Blobs 9 beschrieben, auf der globalen Ebene wird wiederum Wissen über Lagebeziehungen zwischen Fahrzeugen genutzt: Fahrzeuge treten häufig als sich wiederholende Objekte auf, insbesondere in dichtem Straßenverkehr oder auf Parkplätzen. Unterschieden wird zwischen aktiven und inaktiven Autos. Bei aktiven Autos strahlt der Motor besonders viel Wärme aus, was auf den Infrarot-Bildern gut zu erkennen ist. Die so gefundenen Hypothesen werden anhand der oben erwähnten globalen Lagebeziehungen verifiziert. Das Finden einzelner Autos ist so kaum möglich. Das in [10] genutzte Modell ist auf Infrarot-Luftbilder angepasst und deshalb in dem Ansatz der hier vorliegenden Arbeit nicht nutzbar. Automatic vehicle detection in space images supported by digital map data ([14]): Im Gegensatz zu den beiden vorhergehenden Arbeiten [8] und [10] wird hier von Anfang an nach Fahrzeugreihen gesucht, die dann erst im zweiten Schritt auf einzelne Fahrzeuge untersucht werden. Es gibt kein Modell für einzelne Fahrzeuge. Es gibt lediglich ein Modell für Fahrzeugschlangen, dieses beschreibt eine Fahrzeugschlange als helle oder dunkle längliche Struktur. Die Lage der einzelnen Fahrzeuge wird durch eine genauere Untersuchung der Auswölbungen in den gefundenen Schlangen ermittelt. Als einziger der hier vorgestellten Arbeiten ([8], [10], [14]) werden hier apriori Informationen genutzt. Es fließt vorab Wissen über Lage und Richtung von Straßen ein, wodurch der Suchraum stark eingeschränkt wird. Wie in allen vorgestellten Arbeiten konzentriert sich auch hier die Detektion von Fahrzeugen das Finden von Fahrzeugreihen, besonders in ländlichen Gegenden ist dies eine starke Einschränkung und in der hier vorliegenden Arbeit nicht wünschenswert, da auch einzelne Fahrzeuge sicher extrahiert werden sollen. 9 Binary large Objekts 26

27 4 Fahrzeugdetektion In diesem Abschnitt wird nun auf das eigentliche Ziel der Arbeit, nämlich die Detektion von Fahrzeugen, eingegangen. Nach der detaillierten Vorstellung des verwendeten Modells, wird der Ansatz der Extraktion von Bildvorverarbeitung über Segmentierung bis zur Bewertung der Segmentierungsergebnisse und der Objekterkennung erläutert. 4.1 Das Modell Als Daten stehen RGB-Luftbilder mit einer Auflösungsgenauigkeit von 3.3cm/Pixel und 7cm/Pixel zur Verfügung. Das Modell muss auf die vorhandenen Daten abgestimmt sein, beispielsweise ist nur ein 2D Modell möglich. Die hohe Auflösung ermöglicht jedoch die Aufteilung eines Fahrzeuges in mehrere Teilregionen. Fahrzeuge können in der realen Welt entweder Lkws, Pkws oder Spezialfahrzeuge wie Bagger oder Traktor sein. Ein Pkw wird weiter in Limousine, Kombiwagen, Vans/Transporter und Motorräder unterteilt. Da Motorräder in der Bildebene zu klein und inhomogen sind, werden sie im Modell nicht weiter berücksichtigt. Spezialfahrzeuge werden aufgrund ihrer zu hohen Komplexität ebenfalls nicht berücksichtigt. Eine Limousine besteht in der Bildebene aus drei Teilregionen, nämlich Motorhaube, Dach und Heckklappe (Abb. 4.1). Die Windschutzscheiben sind in der Bildebene aufgrund ihrer zu geringen Fläche nicht vernünftig zu segmentieren und werden deswegen im Modell nicht berücksichtigt. Ein Kombiwagen besteht nur aus zwei dieser Teile: Motorhaube und Dach. Ein Van/Transporter stellt sich in der Bildebene nur noch mit einer Region dar: dem Dach. Eine Motorhaube ist hier meist kaum zu erkennen. In der Bildebene werden die drei Teilregionen aus praktischen Gründen nicht unterschieden, Heckklappe und Motorhaube weisen im Modell die gleichen Merkmale wie das Dach auf. Lkws stellen sich in der Bildebene als eine längliche, homogene, rechteckige Region dar. Was im Modell nun das Auto ausmacht ist die Lage der Teilregionen zueinander. Die drei Regionen (Bsp. Limousine) müssen auf einer Linie liegen, des Weiteren beträgt die Orientierung der Hauptachsen von Motorhaube und Heckklappe zu Dach 90. Der Abstand 27

28 einer Region zur nächsten sollte kleiner als ein Meter sein und die Breite (aus Sicht des Gesamtautos) von Heckklappe, Motorhaube und Dach muss annähernd gleich sein. Diese Lagebeziehungen sind in Abb. 4.1 veranschaulicht. Die Annahmen gelten entsprechen auch für einen Kombiwagen, aber eben ohne Heckklappe. Ein Van/Transporter besteht in der Bildebene nur aus der Teilregion Dach. So gibt es für Vans/Transporter natürlich keine Lagebeziehungen, was dessen Erkennung sehr fehleranfällig macht. Ebenso besteht auch ein Lkw nur aus einer Region. Es gibt also wiederum keinerlei Lagebeziehungen, was auch die Erkennung von Lkws erschwert. Beim Lkw werden andere Größen für die Merkmale des Daches gewählt (siehe auch Abb. 4.2). Abb. 4. 1: Modell einer Limousine Die Merkmalsgrößen gelten entsprechend auch für Kombiwagen und Vans/Transporter. Diese Abb. ist nur ein Beispiel, die Merkmale des Daches sind denen von Motorhaube und Heckklappe gleich. Die Werte beruhen auf Schätzwerten und [26]. Das oben beschriebene Modell ist in Abb. 4.2 formal in einem semantischen Netz zusammengefasst. Dabei sind die Lagebeziehungen und Abmessungen der Regionen aus Gründen der Übersichtlichkeit nicht direkt im semantischen Netz dargestellt. 28

29 Abb. 4. 2: Modell als semantisches Netz 29

30 4.2 Der Ansatz Nach der Suchraumverkleinerung wird das RGB - Eingabebild in seine einzelnen Kanäle 10 aufgesplittet, da die einzelnen Intensitätswerte der Kanäle aufgrund des höheren Kontrastes eine bessere Segmentierung erlaubt und zusammen alle Informationen des Farbbildes beinhalten. Zusätzlich wird das aus dem RGB - Bild resultierende Grauwertbild genutzt. [20] Abb. 4. 3: RGB-, Grauwertbild und die einzelnen Farb-Kanäle a) Eingabebild (RGB) E, b) Grauwertransformiertes Bild, c) R(Rot)-Kanal von E, d) G(Grün)-Kanal von E, e) B(Blau)-Kanal von E. Danach wird das Eingabebild mit verschiedenen Filtern und Operatoren vorverarbeitet. Im nächsten Schritt werden die Teilregionen Motorhaube, Dach und Heckklappe segmentiert. Die so gefundenen Hypothesen der Teilregionen werden im abschließenden Schritt bewertet. Dabei werden zuerst Regionen herausgefiltert die zum Modell passen, dann die im Modell beschriebenen Lagebeziehungen geprüft und die so gefundenen Hypothesen für Fahrzeuge anhand geometrischer Merkmale verifiziert. 10 Einzelne Kanäle: Rot, Grün, Blau. Jeweils Intensitätswerte von 0 (kein entsprechender Farbanteil) bis 255 (komplett der entsprechende Farbanteil) 30

31 Anmerkung: Die Trennung (laut Gliederung) der Bereiche Segmentierung und Bewertung der Hypothesen wird in der praktischen Anwendung aus Laufzeitgründen teilweise verletzt. Beim Segmentieren der Regionen werden zu kleine Regionen erst gar nicht übernommen. Dies ist eine Bewertung anhand der Fläche, die im Gesamten betrachtet eigentlich zu früh kommt. Für die einzelne Region betrachtet wird die Reihenfolge Segmentierung Bewertung allerdings eingehalten. Die Strategie als Ablaufdiagramm: Abb. 4. 4: Ablaufdiagramm der Strategie 31

32 4.2.1 Reduzierung des Suchraumes Die Suchraumreduzierung dient zum Einen der frühzeitigen Eliminierung von Fehlerquellen wo nicht gesucht wird, kann auch nichts falsches gefunden werden zum Anderen wird damit die Laufzeit optimiert, denn alle nachfolgenden Operatoren brauchen nur noch auf den verkleinerten Suchraum angewandt werden. Um diese Vorteile auch wirklich zu nutzen, gilt es dabei zwei Dinge zu beachten. Erstens darf die Verkleinerung des Suchraumes nicht dazu führen, dass Fahrzeuge miteliminiert werden, zweitens darf die Verkleinerung des Suchraumes nicht länger dauern als diese später einspart. Zur Reduzierung wird das dem Eingabebild entsprechende Grauwertbild zunächst einer Kontrastverbesserung 11 und anschließend einer Glättung unterzogen. Zur Glättung wird ein anisotropischer Filter 12, ein Median Filter 13 und ein Tiefpassfilter genutzt. Nun kann durch ein anschließendes Flächenwachstum der Hintergrund vom Vordergrund getrennt werden. Die sehr großen Regionen beinhalten den Hintergrund, da diese laut Modell keine Fahrzeuge sind, die kleineren den Vordergrund. Nachbearbeitet wird der Suchraum mit einem Closing um Lücken zu schließen und die Ränder zu glätten. Die praktische Anwendung hat gezeigt, dass es häufiger vorkommt, dass der Suchraum etwas zu stark reduziert wird, darum wird mit Hilfe einer Dilatation der Suchraum wieder ein wenig vergrößert. In Abb. 4.5 ist der Ablauf der Suchraumverkleinerung auf einem Beispielbild dargestellt. Aus dem Eingabebild (a)) wird ein geglättetes Grauwertbild (b)). Darauf findet ein Flächenwachstum statt (c)). Die rote Region wird entfernt und der übrig bleibende Suchraum wie beschrieben nachbearbeitet (d)). Die Aufgabenstellung spricht von Fahrzeugen als Kontextobjekte. In diesem Zusammenhang wäre eine Alternative zur Suchraumeingrenzung, dass z.b. Straßenhypothesen als Suchraum verwendet werden (siehe auch ). 11 [15], Operator: emphasize 12 [15], Operator: anisotrop_diff 13 [15], Operator: median_separate 32

33 Abb. 4. 5: Suchraumverkleinerung auf Beispielbild a) Eingabebild E, b) Vorverarbeitetes Eingabebild E, c) Ergebnis des Flächenwachstums (rot entspricht hier dem Hintergrund), d) Neuer Suchraum nach Nachbearbeitung durch Closing und Dilatation. Zusätzlich werden nun noch sehr dunkle Stellen (Grauwert < 40) aus dem Suchraum entfernt. Der Nachteil, dass dadurch evtl. schwarze Autos mit entfernt werden, wird im späteren Verlauf durch einen großen Vorteil mehr als wieder ausgeglichen. Die entfernten dunklen Stellen sind in den meisten Fällen Schatten, die bei der späteren Segmentierung häufig mitsegmentiert und dann fälschlicherweise als Teilregionen von Fahrzeuge angenommen werden würden. Dies würde dazu führen das viele nicht zusammengehörende Regionen zusammenführen werden. 33

34 4.2.2 Bildvorverarbeitung Die für diese Arbeit zur Verfügung stehenden Bilder weisen bis auf ein leichtes Rauschen keine Störungen auf, wie sie beispielsweise durch defekte Pixel(-reihen) bei Digitalkameras oder defekte Objektive auftreten können. Sie sind weder verzerrt noch unscharf. Deshalb werden auf den Bildern lediglich Operatoren zur Kontrastverbesserungen und zur Glättung eingesetzt. Durch Hintereinanderschaltung verschiedener Operatoren zur Kontrastverbesserung (Grauwertspreizung 14, Hervorhebung hochfrequenter Bildanteile 15 ) und Glättung (Medianfilter 16, anisotropischen Filter 17 ) werden alle Bilder 18 für die spätere Segmentierung optimiert. Es werden also homogene Regionen verstärkt und gleichzeitig Kanten erhalten. So können die im Modell definierten Teilregionen von Fahrzeugen besser segmentiert werden. In Abb. 4.6 ist der vorverarbeitete R-Kanal (b)) dem originalen R-Kanal (a)) gegenübergestellt. Abb. 4. 6: Vorverarbeiteter R-Kanal eines Beispielbildes a) R-Kanal Suchraum; b) Vorverarbeiteter R-Kanal Suchraum 14 [15], Operator: scale_image 15 [15], Operator: emphasize 16 [15], Operator: median_separate 17 [15], Operator: anisotrop_diff 18 Einzelkanalbilder und Grauwertbild 34

35 4.2.3 Segmentierung Zur Segmentierung der Hypothesen für die Teilregionen Motorhaube, Dach und Heckklappe aus dem vorverarbeiteten Eingabebild werden die beiden Ansätze Threshold und Flächenwachstum genutzt. Bei der gesamten Segmentierung ist darauf zu achten, dass eine große Vollständigkeit erreicht wird. Denn was nun nicht in die Hypothesen aufgenommen wird, ist endgültig nicht gefunden. Die Ergebnisse der Segmentierung werden mit den morphologischen Operationen Closing und Opening nachbearbeitet. Zunächst wird ein Closing, dann ein Opening durchgeführt. So werden die Ränder der gefundenen Segmente ein wenig geglättet und schmale Brücken, die wahrscheinlich fälschlicherweise zwei Regionen verbinden, eliminiert. Dies verbessert, aber verfälscht die Ergebnisse in anbetracht der anschließenden Bewertung aber auch. Zugunsten einer höheren Vollständigkeit der Endergebnisse werden die genannten Operationen jedoch durchgeführt. Die Segmentierungen der einzelnen RGB-Kanäle und des Grauwertbildes werden doppelt weiterverarbeitet. Zum Einen durchlaufen die einzelnen Ergebnismengen der Segmentierungen die folgenden Schritte getrennt voneinander, zum Anderen werden zusätzlich alle Segmentierungsmengen zusammengefügt (mengentheoretische Vereinigung) und als Ganzes weiterbearbeitet. Die Einzelverarbeitung hat den Vorteil, dass später sicherere Fahrzeughypothesen aufgestellt werden, da sich die einzelnen Kanäle jeweils auf eine Farbrichtung beschränken, und einzelne Fahrzeuge meist eine einheitliche Farbe besitzen. Helle Fahrzeuge sind besonders gut auf dem Grauwertbild zu erkennen. Das zusätzliche Zusammenfügen aller Segmentierungsmengen berücksichtigt auch verschiedenfarbige Teilregionen einzelner Fahrzeuge, es vereint die Informationen aller Kanäle und der Grauwertbildes und sorgt so für eine höhere Vollständigkeit. Die folgenden Schritte werden also jeweils für fünf Segmentierungsmengen durchgeführt: R-Kanal-Segmentierung G-Kanal-Segmentierung B-Kanal-Segmentierung Grauwertbild-Segmentierung (R-Kanal- ں G-Kanal- ں B-Kanal- ں Grauwertbild-Segmentierung) 35

36 Erst die positiv bewerteten Fahrzeughypothesen der einzelnen Mengen werden wieder zusammengefügt und durchlaufen den letzten Schritt gemeinsam. An entsprechender Stelle wird nochmals darauf hingewiesen Threshold Da die gesuchten Regionen (Motorhaube, Dach, Heckklappe) zum Einen homogen und zum Anderen teilweise sehr farbintensiv, im Einzelkanalbild also sehr hell, sind, bietet es sich an, auf den Einkanalbildern, ebenso wie auf dem Grauwertbild, denn dort besitzen helle Fahrzeuge einen besonders hohen Intensitätswert, ein Threshold 19 anzuwenden. Denn mit Hilfe des Thresholds sind Regionen mit sehr hohen Intensitätswerten 20 (> 170) sauber und gut zu segmentieren. Bei genauerer Betrachtung weisen die so segmentierten 21 Hypothesen bereits eine hohe Korrektheit (~ >80%) auf. Dies ist darauf zurückzuführen, dass farbintensive und sehr helle Objekte in den vorhandenen Testbildern meist Fahrzeuge sind. Da es bei der Segmentierung allerdings in erster Linie um eine hohe Vollständigkeit geht, wird der Schwellwert bei 140 gesetzt. In Abb. 4.7 werden die Ergebnisse eines Thresholds auf den Einzelkanälen (b)-d)) und dem Grauwertbild (a)) des Bildes aus Abb. 4.5 d) gezeigt. 19 [15], Operator: threshold 20 Bei den R, G, B Kanalbildern also sehr rote, grüne oder blaue, bei Grauwertbildern sehr helle Regionen 21 Bereits grob bewertet nach Fläche (s.3.2. Anmerkung) 36

37 Abb. 4. 7: Threshold auf Beispielbild a) Threshold auf Grauwertbild (Schwellwert: 140), b) Threshold auf R-Kanal (Schwellwert: 170), c) Threshold auf G-Kanal (Schwellwert: 170), d) Threshold auf B-Kanal (Schwellwert: 170) Die durch das Threshold gefundenen Regionen sind farbig markiert. Die Regionen sind hier bereits durch ein Opening und ein Closing nachbearbeitet Flächenwachstum Die gesuchten Regionen, die nicht besonders farbintensiv und eher dunkel sind, lassen sich mit dem Flächenwachstumsverfahren finden. Das hier zur Anwendung gekommene Verfahren 22 fügt benachbarte Punkte dann einer Region R hinzu, wenn die Intensitätswertdifferenz zwischen dem potentiell neuen Punkt und einem Nachbarpunkt aus R nicht größer als ein vorgegebener Toleranzwert (hier: 2-3) ist. Dieser eher niedrige Toleranzwert führt dazu, dass eher kleine Regionen, wie es die gesuchten Regionen sind, gefunden werden. In Abb. 4.8 ist zu erkennen, dass die Segmentierungsergebnisse eine höhere Vollständigkeit als beim Threshold liefern, aber auch eine niedrigere Korrektheit aufweisen. 22 [15], Operator: regiongrowing 37

38 In Abb. 4.8 werden die Ergebnisse eines Flächenwachstums auf den Einzelkanälen (b)-d)) und dem Grauwertbild (a)) des Bildes aus Abb. 4.5 d) gezeigt. Abb. 4. 8: Flächenwachstum auf Beispielbild a) Flächenwachstum auf Grauwertbild (Toleranz: 2), b) Flächenwachstum auf R-Kanal (Toleranz: 3), c) Flächenwachstum auf G-Kanal (Toleranz: 3), d) Flächenwachstum auf B-Kanal (Toleranz: 3) Die durch das Flächenwachstum gefundenen Regionen sind farbig markiert. Die Regionen sind bereits durch ein Opening und ein Closing nachbearbeitet Objekterkennung Die im vorherigen Abschnitt der Segmentierung gefundenen Hypothesen müssen nun bewertet werden. Dazu werden im ersten Schritt die Regionen herausgesucht, die laut Modell eine der Teilregionen sein könnten. Im zweiten Schritt werden die Lagebeziehungen zwischen diesen Regionen betrachtet und die nach Modell passenden Regionen einander zugeordnet. Die so gefundenen Fahrzeug-Hypothesen werden schließlich im letzten Schritt anhand bestimmter Merkmale bewertet. 38

39 Alle segmentierten Regionen werden ohne weitere Verarbeitung später (siehe ) einmal nach Fahrzeugen durchsucht, denn die hier gewählte Segmentierung kann gegebenenfalls bereits Fahrzeuge komplett, also als eine einzige Region segmentieren. Damit diese nicht verloren gehen ist dieser Test, im Folgenden Extratest genannt, notwendig. Dieser Test wird einmal für Pkws und einmal für Lkws durchgeführt. So werden auch Vens/Transporter gefunden, da diese, wie schon erwähnt, nicht über Lagebeziehungen gefunden werden können. Anmerkung: Da die so gefundenen Fahrzeuge keine zusätzliche Verifizierung haben, werden sie programmintern gesondert abgespeichert, so dass sie für eine hohe Korrektheit auch weggelassen werden, dann aber keine Lkws gefunden werden können. Dies kann in der Konfigurationsdatei (Kapitel 5.3) je nach Wunsch nach höherer Korrektheit oder Vollständigkeit eingestellt werden Auswahl modellrelevanter Regionen Bevor die gefunden Hypothesen der Teilsegmente nun anhand des Modells auf passende Lagebeziehungen untersucht werden, wird anhand verschiedener geometrischer Merkmale geprüft, ob sie überhaupt als Teilsegment in Frage kommen. Diese wurden in bereits definiert. Im Folgenden werden die hier verwendeten Wertebereiche aufgeführt. Bei dieser Untersuchung wird allerdings nur nach Teilsegmenten von Pkws gesucht. Lkws und Vans/Transporter werden mit Hilfe des oben (4.2.4) erwähnten Extratests ermittelt. a) Größe: Möglicher Wertebereich: ]0, [ m² Hier verwendeter Wertebereich: [0.6, 8] m² b) Konvexität: Möglicher Wertebereich: ]0, 1] Hier verwendeter Wertebereich: [0.7, 1] 39

40 c) Kompaktheit Möglicher Wertebereich: [1, [ Hier verwendeter Wertebereich: [1.1, 3] d) Länglichkeit Möglicher Wertebereich: ]0, 1] Hier verwendeter Wertebereich: [0.25, 1] e) Relativer Flächenanteil zum kleinsten umschließenden Rechteck Möglicher Wertebereich: ]0, 1] Hier verwendeter Wertebereich: [0.7, 1] f) Momente Die in dieser Arbeit genutzten Momente sind die zentralen Momente dritter Ordnung. Zur Bewertung der Teilregionen wird der in Kapitel eingeführte Parameter c 3 genutzt. Dieser hat sich bei Tests an künstlichen Regionen als guter Parameter zur Bestimmung möglichst rechteckiger Regionen gezeigt. Eine Kombination mehrerer der in vorgestellten Parameter würde zwar eine geringfügige Erhöhung der Korrektheit liefern, die Vollständigkeit würde in diesem Fall allerdings sehr stark leiden. Aus diesem Grund wird hier lediglich c 3 genutzt. Aber auch nur die zusätzliche Bewertung durch c 3 führt schon zu einer relativ starken Verringerung der Vollständigkeit, einhergehend mit einer relativ guten Verbesserung der Korrektheit. Die Unterschiede zwischen der Bewertung mit und ohne c 3 werden in Kapitel 6 aufgezeigt. Möglicher Wertebereich: ]0, ] Hier verwendeter Wertebereich: [15, 25] 40