Was ist wo? Erkennung und Lokalisierung von Objekten in Farbstereobildern

Transkript

1 Proc. 4. Workshop Farbbildverarbeitung, V. Rehrmann (Ed.), Koblenz, September 1998, Fölbach- Verlag, Koblenz, pp Was ist wo? Erkennung und Lokalisierung von Objekten in Farbstereobildern Andreas Koschan und Dirk Stürmer Technische Universität Berlin Institut für Technische Informatik FR 3-11, Franklinstr , Berlin Zusammenfassung Es wird ein neuer Ansatz sowohl zur Lokalisierung als auch zur Erkennung von Objekten in der dreidimensionalen Umwelt unter Auswertung von Farbinformation vorgestellt. Zunächst wird in einem Farbstereobild eine Korrespondenzanalyse mit einem chromatischem Block-Matching-Verfahren durchgeführt. Die so gewonnene Disparitätenkarte wird anschließend grob segmentiert, um eine Unterteilung des Bildes in zu erkennende Objekte und den Bildhintergrund zu erreichen. Für die segmentierten Regionen, die nach Annahme einzelne Objekte in der Szene darstellen sollen, werden dann Merkmalsvektoren anhand von Farbhistogrammen bestimmt. Für die Überprüfung der Übereinstimmung der Merkmalsvektoren im Bild mit Merkmalsvektoren in einer angelegten Datenbank wurden sowohl das Skalarprodukt als auch der Euklidische Abstand verwendet. 1 Einleitung Eine sehr effiziente (videoechtzeitfähige) Methode zur Erkennung farbiger Objekte in Farbbildern beruht auf dem Vergleich von Farbverteilungen bzw. Farbhistogrammen von Objekten in einem Farbraum (color indexing) [1]. In den letzten Jahren wurden eine Reihe von Erweiterungsvorschlägen unterbreitet, die das Verfahren annähernd farbkonstant machen sollen. Von Funt und Finlayson wurde vorgeschlagen [2], anstatt der Farbhistogramme Verhältnisse bzw. Quotienten von Farbhistogrammen für die Objektvergleiche zu verwenden. Hierdurch können die Ergebnisse der Objekterkennung bei sich ändernden Beleuchtungsbedingungen gegenüber der "direkten" Farbindizierung verbessert werden. Speziell in schlechtausgeleuchteten Szenenbereichen ist dieses Verfahren jedoch anfällig gegenüber Rauschen. Ein anderer Vorschlag von Healey und Slater [3] besteht darin, für die Repräsentation der Objekte eine kleine Menge von Momenten von Farbhistogrammen zu verwenden. Unter der Annahme, daß die Beleuchtungsänderung durch ein lineares Modell beschrieben werden kann, zeigen sie, daß einige Momente der Farbverteilung gegenüber Beleuchtungsänderungen invariant sind.

2 Ein weiterer Vorschlag in [4] besteht darin, anstatt eines Farbhistogramms sechs Winkel der Farbverteilung für die Repräsentation eines Objektes einzusetzen. In [4] wurden einige Beispiele für Objekte angegeben, bei denen mit dieser Vorgehensweise bei sich ändernder Beleuchtung eine bessere Erkennungsrate für die Objekte erzielt wurde als mit dem Momentenansatz von Healey und Slater. Ein weiterer Vorschlag sieht vor, Histogramme von Farborientierungen anstatt von Farbverteilungen für die Repräsentation von Objekten zu verwenden [5]. Hierbei wird eine Menge von Andersson-Filtern auf die einzelnen Komponenten des Farbbildes im CIELAB-Modell angewendet und anschließend die Orientierung und die Amplitude für jede Vektorkomponente im CIELAB-Modell bestimmt. In [5] wird anhand einiger Tests und Vergleiche die Robustheit dieser Farborientierungshistogramme gegenüber Beleuchtungsvariationen demonstriert. In dieser Arbeit steht nicht eine gegenüber Beleuchtungsvariationen invariante Objekterkennung sondern eine effiziente und robuste Erkennung bei gleichzeitiger Lokalisierung der Objekte in der dreidimensionalen Umgebung der Kameras im Vordergrund. Für die Lokalisierung der Objekte wird ein auf der Farbindizierung basierendes Objekterkennungsverfahren mit einem bewährten Farbstereoverfahren [6] kombiniert. Die so erhaltenen Disparitätenkarten werden zusätzlich zur Segmentierung der Farbbilder in Objekte und Bildhintergrund verwendet. Hierdurch ist eine Erkennung und Lokalisierung der Objekte in Farbbildern möglich, die mehrere Objekte zeigen. Vorausgesetzt wird, daß die Objekte opak sind und sich nicht gegenseitig verdecken. Nachfolgend werden die einzelnen Verarbeitungsschritte und die Ergebnisse erläutert. 2 Korrespondenzanalyse in Farbstereobildern Die Korrespondenzanalyse in den beiden Farbbildern stellt die Hauptschwierigkeit bei einem Stereoverfahren dar. Hierfür wird ein chromatisches Block-Matching-Verfahren [6] eingesetzt, dessen Grundidee auf einem Ähnlichkeitsvergleich der Farbverteilungen zwischen zwei gleich großen Blöcken (n x m-matrizen) im linken und im rechten Bild basiert. Eines der Bilder (z.b. das linke) wird in gleich große Blöcke unterteilt und für jeden dieser Blöcke wird im anderen Bild der korrespondierende Block gesucht. Als Ähnlichkeitsmaß wird der mittlere quadratische Fehler MSE (mean square error) zwischen den vektoriellen Funktionswerten der Farbbildfunktionen innerhalb der entsprechenden Blöcke verwendet. Die Farbabstände im RGB-Farbraum werden anhand des Euklidischen Abstandes Euklid bestimmt. Es bezeichnen CL bzw. CR das linke bzw. rechte Farbbild. Das Ähnlichkeitsmaß MSE kann für einen Offset δ, der die Differenz (x L x R ) zwischen den Spaltenpositionen im rechten und im linken Bild angibt, und eine Blockgröße von n m Pixeln durch MSE (x, y,δ ) = 1 n 1 m 1 n Euklid ( CR(x + i, y + j), CL(x + i + δ, y + j) ) m i=0 j=0

3 Abbildung 1: Darstellung der berechneten Disparitätenkarte für das Farbstereobild SZENE8 (vgl. Farbabb. 2). angegeben werden. Hierbei bezeichnet (x, y) jeweils die linke obere Ecke eines Blockes im rechten Bild. Die Disparität D zwischen den Blöcken ist definiert durch den Abstand zwischen den Positionen (Spaltenunterschied) der Blöcke, die die minimale Abweichung aufweisen. Innerhalb des Suchbereiches wird der n x m-große Block punktweise verschoben. Der Verschiebungswert δ, für den die MSE-Funktion ihr Minimum annimmt, bestimmt den Blockdisparitätswert D. Im Gegensatz zu [6] wird zur Steigerung der Recheneffizienz auf eine Berechnung eines Disparitätswertes für jedes einzelne Pixel (Pixelselektion) verzichtet. Da keine Oberflächenrekonstruktion sondern eine grobe Lokalisierung der Objekte im Raum erfolgen soll, ist die Berechnung der Blockdisparitäten für diesen Ansatz ausreichend. Für ein farbiges Objekt wird jeweils eine (gemittelte) Distanz, z.b. die Entfernung zwischen Objekt und Kameras von 1.25 m, angegeben. Ist der Objekthintergrund einfarbig oder relativ homogen, so werden mit diesem Verfahren für die den Bildhintergrund repräsentierenden Pixel zufällige Disparitätswerte bestimmt (vergleiche Abb. 1). Diese (überwiegend falschen) Werte werden jedoch im nachfolgenden Verfahrensablauf nicht weiter berücksichtigt. Es werden ausschließlich die dem Objekt zugeordneten Werte betrachtet. Hierzu wird eine grobe Segmentierung der Disparitätenkarte durchgeführt. 3 Segmentierung der Disparitätenkarten Die Segmentierung der Disparitätenkarten in Objekte und Bildhintergrund stellt ein besonderes Problem dar, das sich ohne zusätzliche Annahmen bzw. Informationen über die Szene

4 nicht ohne weiteres lösen läßt. Eine grundlegende Annahme besteht darin, daß Objekte im Vordergrund der Szene größere Disparitätswerte aufweisen, während die Disparitätswerte für den Bildhintergrund nahe bei Null liegen. Dies ist jedoch nicht der Fall, wenn der Bildhintergrund einfarbig oder relativ homogen ist. In diesem Fall werden zufällige (falsche) Disparitätswerte für den Bildhintergrund berechnet. Eine Segmentierung ausschließlich anhand dieses Kriteriums würde somit auch falsche Ergebnisse liefern. Weiterhin besitzt ein Objektschatten etwa dieselben Disparitätswerte wie das Objekt und würde somit zu dem Objekt gehörig erklärt werden. Zur zumindestens teilweisen Lösung dieses Problems wurde ein optional zweistufiges Kriterium eingesetzt. Es wird angenommen, daß der Bildhintergrund entweder einfarbig mit bekannter Farbinformation vorliegt oder der Bildhintergrund sollte so strukturiert sein, daß eine Korrespondenzanalyse für den Bildhintergrund erfolgreich durchgeführt werden kann. Ein Pixel wird zu einem Objekt gehörig erklärt, wenn die Disparitätswerte entlang einer Abtastlinie über einen größeren (festzulegenden) Bereich relativ konstant sind und sich die zugehörigen Farbvektoren von der Hintergrundfarbe (bei unseren Aufnahmen Schwarz) unterscheiden. Gegenüber einer ausschließlichen Auswertung der Bildwerte hat dieses Verfahren den Vorteil, daß auch Szenen mit nicht einfarbigem Bildhintergrund ausgewertet werden können. Mit dieser Vorgehensweise läßt sich zumindestens eine "grobe" Segmentierung der Objekte erreichen, die jedoch nicht alle zu einem Objekt gehörigen Pixel einschließt (siehe Farbabb. 3). Aufgrund der Robustheit der Farbindizierung hat das Fehlen einzelner Pixel jedoch im allgemeinen keinen Einfluß auf das Erkennungsergebnis. 4 Generierung von Merkmalsvektoren Die Generierung von Merkmalsvektoren wurde für jedes Objekt (für die Datenbank und die "grob" segmentierten Objekte) im HSV-Farbraum durchgeführt, da in diesem Farbraum eine einfache Untersuchung von Buntton (H), Farbsättigung (S) und Helligkeitswert (V) möglich ist. Untersucht wurde, ob eine feinere Unterteilung der Bunttonbereiche eine höhere Erkennungsrate liefert und ob die zusätzlich Auswertung der Sättigungs- oder Intensitätswerte Vorteile bietet. Hierzu wurden sechs Varianten von Merkmalsvektoren generiert. Bei der Variante 1 werden sämtliche Farben auf die Ebene V=1 im HSV-Raum abgebildet. Des weiteren werden die H-Werte in 5 -große Regionen, beginnend bei 0, zusammengefaßt. Jeder auftretende Wert, die innerhalb dieser Regionen liegt, wird auf einen Wert in dem zu erzeugenden Merkmalsvektor abgebildet. Die Farbhistogramme werden aus den Farbwerten beider Stereobilder gewonnen und normalisiert. Die Merkmalsvektoren haben eine Länge von 72 Einträgen. Die Variante 2 ist bis auf eine Unterteilung der Farben in 3 -große Regionen mit der Variante 1 identisch. Die Merkmalsvektoren haben eine Länge von 120 Einträgen. Bei der Variante 3 werden die Sättigungswerte in zwei Bereichen größer 0.5 und kleiner 0.5 und die

5 H-Werte in 5 -große Regionen zusammengefaßt. Die Merkmalsvektoren haben eine Länge von 144 Einträgen. Die Variante 4 ist bis auf eine Unterteilung der Farben in 3 -große Regionen mit der Variante 3 identisch. Die Merkmalsvektoren haben eine Länge von 240 Einträgen. Bei der Variante 5 werden die Sättigungswerte nicht betrachtet. Es werden die Helligkeitswerte in zwei Bereichen größer 0.5 und kleiner 0.5 und die H-Werte in 5 -große Regionen zusammengefaßt. Die Merkmalsvektoren haben eine Länge von 144 Einträgen. Die Variante 6 ist bis auf eine Unterteilung der Farben in 3 -große Regionen mit der Variante 5 identisch. Die Merkmalsvektoren haben eine Länge von 240 Einträgen. Als weitere Varianten wurden statt der Farbwerte Farbabstandswerte in den Merkmalsvektoren vermerkt. Diese Vorgehensweise hat sich jedoch als sehr störanfällig gegenüber Rauschen und kleinen Beleuchtungsvariationen erwiesen und wird hier nicht weiter erläutert. 5 Objekterkennung mittels Farbindizierung Für die Überprüfung der im Farbbild extrahierten Merkmalsvektoren mit den in einer Datenbank gespeicherten Merkmalsvektoren wurden alternativ das Skalarprodukt der Merkmalsvektoren und der Euklidische Abstand zwischen ihnen ausgewertet. Bei Verwendung des Skalarproduktes wird eine große Übereinstimmung durch einen Wert nahe Eins und bei dem Euklidischen Abstand durch einen Wert nahe Null indiziert. 6 Ergebnisse Für die Evaluierung der in den voranstehenden Abschnitten skizzierten Vorgehensweise zur Objekterkennung und Objektlokalisierung wurde eine Datenbank generiert. Insgesamt umfaßt diese Datenbank 103 Ansichten von 20 verschiedenen, farbigen Objekten. Es wurden 34 unterschiedlich komplexe Farbbilder mit in der Regel zwei Objekten untersucht. Die Objekte wurden transliert, rotiert und verformt (non rigid objects). Weiterhin wurden Stereobilder unter veränderten Beleuchtungsbedingungen erzeugt. Zwei Beispiele untersuchter Farbstereobilder sind für die Szenen 3 und 8 in Farbabb. 1 bzw. in Farbabb. 2 dargestellt. Die SZENE3 zeigt zwei sehr ähnlich texturierte Objekte und die SZENE8 zeigt zwei in den Komplementärfarben gemusterte Objekte. Einige Ergebnisse werden in den Tabellen 1 und 2 aufgezeigt. Es werden die Objekterkennungsraten bei Verwendung der Varianten 1 bis 6 gemittelt über 15 Aufnahmen dargestellt. Zusätzlich erfolgt eine Unterscheidung der Ergebnisse anhand des Ähnlichkeitskriteriums für die Merkmalsvektoren. Hierbei bezeichnet "euklid" den Euklidischen Abstand und "skalar" das Skalarprodukt. Zusammenfassend läßt sich sagen, daß bei einer relativ gleichmäßigen Beleuchtung der Szenen eine gute Erkennungsrate erzielt werden konnte. Die Verwendung einer feineren Unterteilung von 3 anstatt von 5 hat eher eine Verschlechterung als

6 Variante 1 Variante 2 Variante 3 euklid. skalar euklid. skalar euklid. skalar 90 % 96 % 90 % 90 % 90 % 93 % Tabelle 1: Prozentuale Objekterkennungsraten bei Verwendung der Varianten 1 bis 3 für die Merkmalsvektoren gemittelt über 15 Aufnahmen. Variante 4 Variante 5 Variante 6 euklid. skalar euklid. skalar euklid. skalar 90 % 90 % 86 % 93 % 86 % 83 % Tabelle 2: Prozentuale Objekterkennungsraten bei Verwendung der Varianten 4 bis 6 für die Merkmalsvektoren gemittelt über 15 Aufnahmen. eine Verbesserung der Ergebnisse bewirkt. Ebenfalls hat die zusätzliche Auswertung der Sättigungs- und der Intensitätswerte keine Verbesserung bewirkt. Bei Beleuchtungsvariationen in der Szene wird jedoch eine wesentlich geringere Objekterkennungsrate erreicht. Danksagung Unser Dank gilt der Technischen Universität Berlin an der diese Arbeiten durchgeführt wurden. Literatur [1] M.J. Swain and D.H. Ballard. Color indexing. In Int. Journal of Computer Vision 7, pages 11-32, [2] B.V. Funt and G.D. Finlayson. Color constant color indexing. In IEEE Transactions on Pattern Analysis and Machine Intelligence 17, pages , [3] G. Healey and D. Slater. Global color constancy: recognition of objects by use of illumination-invariant properties of color distributions. In Journal Optical Society of America A 11, pages , [4] G.D. Finlayson, S.S. Chatterjee, and B.V. Funt: Color angular indexing. In Proc. of the 4th European Conference on Computer Vision, Vol. II, pages 16-27, Cambridge, England, April [5] U. Mahlmeister, H. Pahl, and G. Sommer. Color-orientation indexing. In Proc. 18. DAGM-Symposium Mustererkennung, pages 3-10, Heidelberg, September 1996p. [6] A. Koschan. Chromatic Block Matching for Dense Stereo Correspondence. In Proc. of the 7th International Conference on Image Analysis and Processing 7ICIAP, pages Capitolo, Monopoly, Italien, Sept.,

7 Farbabbildung 1: Linkes und rechtes Stereobild SZENE3. Farbabbildung 2: Linkes und rechtes Stereobild SZENE8. Farbabbildung 3: Segmentiertes linkes Stereobild in SZENE3.