Übungsaufgaben Mustererkennung - Serie 5, Aufgabe 15

Transkript

1 Seite 1 Übungsaufgaben Mustererkennung -, Aufgabe 15 Versuchen Sie die Segmentierung einer Verkehrsszene (1). Da Verkehrsszenen sehr komplex sind, muss das Momentanbild segmentiert werden. Unwesentliche Bildteile sollen verschwinden, die Information muss zielorientiert reduziert werden. Ein erster Schritt ist die Ermittlung eines so genannten Hintergrundbildes. Es enthält die statischen Objekte der Szene ohne Fussgänger und Fahrzeuge. Das Signalaveraging ist hier zur Gewinnung eines Hintergrundbildes anwendbar, weil die Verkehrsszene bei stets gleicher Kameraposition wiederholt messbar ist und die Bildsignale stets die gleiche Größe haben. Werden N aufeinanderfolgende Bildsignale summiert, so ist zu erwarten, dass sich die Fussgänger und Fahrzeuge an verschiedenen Positionen in den Summanden befinden und sich so herausmitteln werden. Das Mittelungsergebnis erhalten Sie nach abschließender Division der Summe durch die Summandenanzahl N. Der zeitliche Abstand zwischen der Bilderfassung für die Summanden sollte nicht zu klein sein. Auch mit der Summandenanzahl N muss etwas experimentiert werden: ist sie zu klein, sind noch bewegte Objekte zu erkennen, ist sie zu groß, dauert die Ermittlung des Hintergrundbildes sehr lange. Ist die Berechnung des Hintergrundbildes H abgeschlossen, so können sich bspw. folgende Schritte anschließen: erfassen eines Momentanbildes M davon das Hintergrundbild abziehen D=M-H von allen Bildelementen Dz,s des Differenzbildes D den Betrag bilden binarisieren mit einem empirischen Schwellwert ggf. morphologische Operatoren Öffnen (Erosion, Dilatation) oder Schließen (Dilatation, Erosion) anwenden verbleibende weiße Bildelemente zu Objekten zusammenfassen Objekte zählen Ermittlung des Hintergrundbildes: Wir müssen also zuerst automatisch ein Hintergrundbild ermitteln. Dazu laden wir mittels Matlab mehrere Bilder, addieren sie punktweise, dividieren die Summe durch die Bildanzahl N und schauen in verschiedenen Tests bei welchem Wert N wir sowohl mit der Qualität des Hintergrundbildes (keine bewegte Objekte sind zu erkennen), als auch mit der Rechenzeit zur Ermittlung zufrieden sind. Abbildung 1: N=4 (5.5 s) und N=8 (10.2 s)

2 Seite 2 Abbildung 2: N=16 (20.2 s) und N=32 (40.4 s) Abbildung 3: N=64 (77.8 s) und N=128 (156.7 s) Es ist zu erkennen, dass weder 4, noch 8, noch 16 Bilder ausreichen. Und ebenso dass der Qualitätsgewinn oberhalb von N=64 wenig ins Gewicht fallen sollte. Um ein möglichst gutes Hintergrundbild zu haben, entscheiden wir uns für N=64 Aufnahmen, da es bei 32 z.b. bei wartenden Fußgängern durchaus noch zu Problemen kommen dürfte. Generell ist zu sagen, dass die Bildanzahl für jede Verkehrssituation neu angepasst werden muß, unser Ergebnis also keine Relevanz für andere Strassenansichten hat. Als Extrembeispiele wäre auf der einen Seite eine Ampel zu nennen, bei der Fußgänger und Autos Sekunden warten müssen und auf der anderen Seite eine Autobahn ohne Tempolimit. Die Ansicht RUD25 bewegt sich zwischen diesen beiden Extremen, je nach Verkehrsaufkommen und Tageszeit. In unserm Fall sollte sich dieses Problem eher durch den Internet-Austausch ergeben und ein vor Ort angeschlossener Rechner weniger Probleme haben, also mehr Bilder in der gleichen Zeit auswerten können. Eine gute Methode wäre dann eine ständige Neuberechnung des Hintergrundbildes bei jedem neuen eintreffenden Bild, so daß dieses z.b. mit den vorherigen 31 Bildern zusammengefasst wird. Auch hier bleiben jedoch z.b. stehenbleibende und plaudernde Fußgänger ein nicht unerhebliches Problem, da man nicht zu lange beobachten kann, möchte man etwa plötzlichen Helligkeitsänderungen (etwa durch eine vor der Sonne vorbeiziehende Wolke) gerecht werden. Ebenso problematisch (und von uns leider selbst erfahren) ist einsetzender Regen, der natürlich ein altes Hintergrundbild binnen Sekunden nutzlos werden lässt.

3 Seite 3 Erfassen eines Momentanbildes, Berechnung des Differenzbildes: Von einem aus dem Netz geladenen Bild wird das zuvor berechnete Hintergrundbild abgezogen. Vom Ergebnis wird der Betrag gebildet, da für unsere Betrachtungen die Richtung der Abweichung uninteressant ist. % Aktuelles Bild laden url = ; workimage = double(rgb2gray(imread(url))); % in Grauwertbild umwandeln verkehr = workimage((17:288),(3:352)); % Ränder wegschneiden % Differenzbild verkehr diff = abs(verkehr - back); Abbildung 4: Momentanbild M und Betrag des Differenzbildes D Binarisierung, Opening Closing: Als empirische Schwelle bewährte sich ein Grauwert von etwa Flexibler ist man jedoch mit einem sog. dynamischen Schwellwert. Wir legten diesen auf ein Fünftel des im Differenzbild vorkommenden maximalen Grauwerts fest, also Schwellwert = 1 5max(D). Überdies führten wir noch eine (empirische) untere Grenze von 35 ein. Abbildung 5: Binarisiertes und mit Opening/Closing bearbeitetes Bild (Falschfarben)

4 Seite 4 Zum Zusammenfassen der Bildelemente verwenden wir wie vorgeschlagen morphologische Operatoren, jedoch leicht abgewandelt. Es war festzustellen, dass es nicht die perfekte Lösung für alle Eventualitäten gab, entweder gingen kleinere Objekte wie Fussgänger verloren, oder größere wie Autos blieben in mehrere Teile aufgesplittet. Wir wollten im Zweifelsfall lieber die Fahrzeuge korrekt zusammenfassen und entschieden uns für eine zweifache 3x3-Dilatation, gefolgt von zwei 3x3-Erosionen (also einer abgewandelten Form von Closing). Hiernach führten wir ein normales 3x3-Opening (Erosion gefolgt von Dilatation) aus. Der Matlab-Befehl bwlabel übernimmt das Zählen der Objekte und erzeugt ein um Falschfarben ergänztes Bild. Es ist sofort zusehen, dass der im Beispiel vorbeifahrende Bus tatsächlich korrekt als ein Objekt erkannt wird. Weitere Beispiele: Wo nun schon ein Matlabskript zur Verfügung stand, machten wir natürlich in zahlreichen Tests ausführlich Gebrauch davon. Im Folgenden einige Beispiele. Abbildung 6: Einzelnes Auto (Momentanbild, Differenzbild, bin. Bild, Bild nach morph. Ops) Abbildung 7: Drei Autos (Momentanbild, Differenzbild, bin. Bild, Bild nach morph. Ops) Abbildung 8: Zwei Fußgänger (Momentanbild, Differenzbild, bin. Bild, Bild nach morph. Ops)

5 Seite 5 Auftretende Probleme: Abschliessend eine kurze Problemanalyse der von uns benutzten Methode. Es war festzustellen, dass vor allem in zwei Bereichen Probleme auftraten, nämlich zum einen durch eine Änderung der Verhältnisse, zum anderen in der großen Variabilität der zu zählenden Objekte. Änderten sich die Umgebungsverhältnisse schnell, so waren auf dem Differenzbild auch Objekte zu sehen, die eigentlich zum Hintergrund gehören sollten. Eine sinnvolle Binarisierung schlug dann natürlich regelmäßig fehl, weil etwa große Flächen des Bodens erhalten blieben. Dementsprechend wurden viele Objekte erkannt. Letztlich bestanden hier mit der langen Wartezeit pro Bild über das Internet keine Möglichkeiten das Problem zu lösen. Ausgelöst wurde es etwa durch: spontane drastische Helligkeitsänderungen (Wolke vor Sonne), lange Schatten als Problem einsetzenden Regen (Untergrund verdunkelt sich in Sekunden) starken Wind (Bäume und Wiesen änderten sich permanent) Daneben standen einer korrekten Objektzählung vor allem die Unterschiede in eben diesen zu zählenden Objekten gegenüber. Sowohl Autos als auch Fahrradfahrer, einzelne Menschen und Menschengruppen korrekt zu erkennen, voneinander zu trennen und sich dabei von kleineren Störungen durch sich vom Hintergrundbild unterscheidende, jedoch nicht relevante Bildpixel nicht irritieren zu lassen, war schwer. Besonderer Beachtung bedürfen dabei: durch die Kameraperspektive werden selbst identische Objekte unterschiedlich groß aufgenommen sich überlagernde Objekte (Gruppe von Fußgängern, Autos übereinander ) Abbildung 9: Sich überlagernde Autos (Momentanbild, Differenzbild, bin. Bild, Bild nach morph. Ops) Farben der Objekte (wenn ähnlich zu Hintergrund führt dies zu Lücken) Abbildung 10: Farbprobleme (Momentanbild, Differenzbild, bin. Bild, Bild nach morph. Ops)