UNIFORSCHUNG FORSCHUNGSMAGAZIN DER HELMUT-SCHMIDT-UNIVERSITÄT UNIVERSITÄT DER BUNDESWEHR HAMBURG. 3D-Auswertung von Stereobildern

Transkript

1 UNIFORSCHUNG FORSCHUNGSMAGAZIN DER HELMUT-SCHMIDT-UNIVERSITÄT UNIVERSITÄT DER BUNDESWEHR HAMBURG 3D-Auswertung von Stereobildern 15. JAHRGANG AUSGABE 2005

2 3D-Auswertung von Stereobildern DIPL.-ING. UDO AHLVERS Kameras liefern zweidimensionale Abbildungen unserer dreidimensionalen Umwelt. In vielen verschiedenen Bereichen ist die weitere Auswertung dieser Bilder von elementarer Bedeutung. Anwendungen finden sich z.b. in der autonomen Navigation, Robotik, Objektüberwachung oder 3D Television (3DTV). Zu einer vollständigen Analyse der aufgenommenen Szene gehört dabei nicht nur eine Auswertung der eigentlichen Bildinhalte, sondern auch die Rekonstruktion von Objektentfernungen für einen realistischen 3D-Eindruck der betrachteten Situation. Dazu werden zwei Kameras verwendet, es entsteht ein sog. Stereobildpaar. Aus dem räumlichen Versatz der beiden Bilder kann jetzt die 3D-Information geschätzt werden. Die so gewonnenen Tiefenkarten können dann sowohl für die Codierung als auch für die spätere 3D-Auswertung und Visualisierung verwendet werden. Optische Grundlagen Bei der Aufnahme mit einer Kamera wird die dreidimensionale Szene auf das zweidimensionale Kamera-Target abgebildet (s. Bild 1). Dieses befindet sich im Abstand f vom Kamerazentrum (Koordinatenursprung) entfernt und wird durch die graue Ebene dargestellt. Aus dem Strahlensatz ergibt sich dafür ein eindeutiger Zusammenhang zwischen Objektkoordinaten X,Y,Z, Bildkoordinaten x,y und Brennweite f [1]. Durch die zweidimensionale Abbildung geht die Tiefeninformation (Z ) der 3D-Szene verloren. Bei bekannten Kameraparametern (f,b) ist die Disparität damit ein eindeutiges Maß für die Objektentfernung. Bild 2 verdeutlicht diesen Zusammenhang. Grundlegende Voraussetzung ist dabei natürlich, dass das Objekt im Sichtbereich beider Kameras liegt. Je nach Entfernung variiert die Größe der Abbildung. In den zugehörigen Kamerabildern ist neben der eigenen Abbildung immer auch das Ergebnis der jeweils anderen Kamera gestrichelt dargestellt. Darin ist die Disparität als horizontaler Versatz gut zu erkennen. UNIV.-PROF. DR.-ING. UDO ZÖLZER PROFESSUR FÜR ALLGEMEI- NE NACHRICHTENTECHNIK Bild 1: Projektionsgeometrie einer Lochkamera. 3D-Objektkoordinaten (X,Y,Z ) werden auf 2D- Bildkoordinaten (x,y ) abgebildet. Zur Rekonstruktion der Tiefeninformation werden zwei Kameras verwendet, die achsparallel mit einem horizontalen Abstand (Basisweite b) angeordnet sind. Dieser Aufbau wird als Stereokamera-System bezeichnet. Aus der zugehörigen Projektionsgeometrie (s. Bild 1) und Anwendung des Strahlensatzes ergibt sich die sog. Disparität d als Verschiebung zwischen korrespondierenden Bildpunkten zu Bild 2: Bilder bei der Verwendung eines Stereokamera- Systems. Die Disparität ist umgekehrt proportional zur Objektentfernung. Kamerakalibrierung Um das menschliche Sehsystem möglichst gut nachbilden zu können, müssen die Kameras kalibriert, d. h. ausgerichtet werden. Ziel der Kalibrierung ist die sog. Standard-Stereo-Geometrie. Darin sind beide Kameras achsparallel ausgerichtet, und es existiert nur ein horizontaler Versatz. Damit liegen korrespondierende Punkte immer in derselben Zeile in beiden Bildern. Dies hat den weiteren Vorteil einer erheblich vereinfachten Rechnung bei der späteren Korrespondenz-Bestimmung [2]. Um das zu erreichen, wird eine kombinierte Hardware- und Software-Kalibrierung der Kameras durchgeführt. Zunächst wird für die Montage eine spezielle Kalibrierschiene (s. Bild 3) verwendet, die vom ZMKE der Helmut-Schmidt-Universität angefertigt wurde. Damit sind folgende Freiheitsgrade möglich: Vertikale Translation (hoch runter) Horizontale Translation (vorne hinten) Horizontale Translation (Veränderung der Basisweite) Drehung (Veränderung der optischen Achse links rechts) 4 UNIFORSCHUNG AUSGABE 2005

3 Bild 3: Hardwareaufbau des Stereokamera- Systems mit Kalibrierschiene. Die Positionierung einer Kamera kann in allen Freiheitsgraden verändert werden. Neigung (Veränderung der optischen Achse oben unten) Kippung (Rotation um die optische Achse). Abschließend sorgt eine software-gestützte Entzerrung ( Rektifikation ) dafür, dass die Kamerabilder in Standard-Stereo-Geometrie vorliegen. Dazu wird unter Verwendung eines Passpunktrahmens die Orientierung der Kameras in einem Referenz-Koordinatensystem bestimmt [2]. Erstellung von Tiefenkarten Kernstück der 3D-Auswertung von Stereobildern ist nun die Bestimmung der Disparität. Wird für jeden Bildpunkt ein Disparitätswert ermittelt, entstehen sog. dichte Disparitäts- oder Tiefenkarten. Die eigentliche Textur der Originalbilder ist darin durch Entfernungsangaben ersetzt worden. Diese Karten sind daher in der Form Je heller, desto näher ist das Objekt; je dunkler, desto weiter entfernt zu interpretieren (siehe Bild 4). Grundsätzlich lassen sich alle Verfahren zur Disparitätsschätzung dahingehend klassifizieren, ob sie die Disparität im Ortsbereich (direkt aus den Intensitäten der Bildpunkte) oder im Frequenzbereich (aus dem zugehörigen Spektren) ermitteln. Im Rahmen dieses Projektes wurde zur Schätzung der Disparität ein Algorithmus entwickelt, der den Versatz zwischen korrespondierenden Bildpunkten aus dem Spektrum der Bilder ermittelt [3]. Bild 5 zeigt das Verfahren als Blockdiagramm. Die Bildausschnitte werden zunächst per FFT (Fast Fourier Transform) in den Frequenzbereich transformiert. Dort wird dann die Phasendifferenz der Bildsignale gebildet. Die Information aus den Amplitudenspektren wird zusätzlich ausgewertet, um lokale Störer zu eliminieren. Die resultierende Disparität ergibt sich dann aus der Steigung der Phasendifferenz. Eine Anwendung dieses Verfahrens auf alle Bildpunkte liefert schließlich die o. g. Tiefenkarte. Bild 4: Original Stereo-Bildpaare und berechnete zugehörige Disparitätskarten. Diese geben die entsprechenden Objektentfernungen in der 3D-Szene wieder. Im Gegensatz zu anderen Verfahren [4], die die Disparität direkt aus den Bilddaten ermitteln, hat der verwendete Ansatz zwei Vorteile: zum einen geringerer Rechenaufwand, da die Bildung der sonst nötigen Korrelationsserien entfällt und zum anderen Ergebnisse mit höherer Genauigkeit ( subpixel accuracy ) [5], UNIFORSCHUNG AUSGABE

4 Bild 5: Verwendeter Algorithmus zur Bestimmung der Disparität (d) in Stereobildern. Bild 6: Stereobild-Codierung unter Verwendung des Disparitätsbildes. Linker Teil: Sendeseite, gestrichelte Linie: Übertragungskanal, rechter Teil: Empfängerseite. was sowohl für konkrete Entfernungsmessung als auch für die folgende Codierung günstig ist. Codierung von Stereobildern Für viele Einsatzgebiete ist eine 3D-Auswertung direkt am Aufnahmeort nicht möglich. Dies kann durch zeitliche Faktoren, verfügbare Rechenleistung oder äußere Umstände bedingt werden. Die Stereobilder werden daher codiert und an ein Zielsystem übertragen, wo dann die abschließende Auswertung erfolgt. Beispiele sind hier u.a. mobile Roboter oder die Objektüberwachung. Da die Bilder von linker und rechter Kamera beide dieselbe Szene (aber eben leicht versetzt) zeigen, ist eine Einzelbild-Codierung (z.b. JPEG) hier nicht optimal. Vielmehr kann die Disparitätskarte für einen effizienten Codierungs-Ansatz genutzt werden, der die Redundanz im Stereobildpaar berücksichtigt ( spatial interframe coding ). Dabei werden nur noch ein Originalbild, die Disparitätskarte und ein sog. Fehlerbild übertragen [6]. Bild 6 zeigt das Prinzip dieser Codierung. Darin bedeuten L, R das Original-Bildpaar und D die errechnete Disparitätskarte. Nach einer Rekonstruktion (RR) des rechten Bildes wird das Fehlerbild (error image, E) ermittelt. Es enthält den Prädiktionsfehler und wird zusammen mit dem Disparitätsbild anstelle des rechten Originalbildes übertragen. Diese Bilddaten werden nun zunächst noch codiert (C). Am Empfänger erfolgt die finale Rekonstruktion (FRR) des rechten Bildes zwecks Wiederherstellung der 3D-Information. Obwohl jetzt insgesamt drei Bilder (L,D,E) zu übertragen sind, ergibt sich ein resultierender Kompressionsgewinn, da Disparitätskarte und Fehlerbild deutlich besser komprimiert werden können als das Originalbild [7]. Hier muss grundsätzlich zwischen verlustbehafteter (z.b. JPEG) und verlustloser Codierung unterschieden werden. Im ersten Fall ergibt sich ein Vorteil von ca. 60 Prozent gegenüber der JPEG- Bild 7: Erreichte Kompressionsgrade (K) für die einzelnen Bildkomponenten bei verlustloser Codierung (3 Motive, 4 Verfahren). basierten Einzelbild-Codierung! Genauso deutlich wird dies bei einem Vergleich verlustloser Codierverfahren (siehe Bild 7). Für drei verschiedene Motive (Tree, Sculpture, Corridor) wurden jeweils vier Verfahren untersucht: Lauflängen-Codierung (Run Length Encoding, RLE) Huffman-Codierung (HC) Arithmetische Codierung (AC) Integer-Codierung mit anschließender Lauflängen- Codierung (IC+RLE). Bei beliebigen Signalinhalten liegen die Kompressionsgrade verlustloser Verfahren typischerweise bei ca. 2. Aufgrund der speziellen Bildinhalte wurden mit diesem Ansatz jedoch Kompressionsgrade von K=15 35 (Disparitätskarte) bzw. K=3 6 (Fehlerbild) erreicht! Daraus ergibt sich eine Reduktion um bis zu 40 Prozent. 3D-Visualisierung Zusätzlich zur Bestimmung der Tiefenkarten ist für die Auswertung von Stereobildern immer auch der subjektive 3D-Eindruck des Betrachters wichtig. Dafür stehen zwei Möglichkeiten zur Auswahl: zum einen die Verwendung einer Shutterbrille und zum anderen die Darstellung auf einem autostereoskopen Display. In beiden Fällen wird aus dem Stereo-Bildpaar zunächst ein sog. Interlaced-Bild konstruiert, indem die Bilder entweder zeilenweise (Shutterbrille) oder spaltenweise (Stereodisplay) verkämmt werden [8]. Bild 8 zeigt das Prinzip. 6 UNIFORSCHUNG AUSGABE 2005

5 Bild 8: Erzeugung eines Interlaced-Bildes durch zeilenweise Verkämmung der Originalbilder. Bei dem im Labor eingesetzten Stereodisplay [9] ist die Benutzung einer speziellen Brille nicht mehr notwendig. Durch ein ins Gehäuse integriertes Prisma werden die Strahlen des LCD-Displays so abgelenkt, dass der Betrachter in einem bestimmten Abstand (ca. 80 cm vom Bildschirm) mit dem linken Auge nur die Anteile des linken Bildes und mit dem rechten Auge nur die Anteile des rechten Bildes sieht. Damit entsteht im menschlichen Gehirn der 3D-Eindruck, so als könne man das dargestellte Objekt greifen. Den verwendeten Laboraufbau zeigt Bild 9. Ausblick Unter Verwendung eines kalibrierten Stereokamera-Aufbaus ist es möglich, Tiefeninformation und Objektentfernungen einer betrachteten Szene zu rekonstruieren. Zentrales Element ist dabei die Schätzung der Disparität, d.h. des Versatzes zwischen korrespondierenden Bildpunkten. Diese Disparitätskarten können sowohl für die Codierung, als auch für die abschließende 3D-Rekonstruktion und Visualisierung eingesetzt werden. Zukünftige Aufgaben stellen sich bei der Erweiterung dieses Ansatzes auf Bildfolgen, also Videos. Die dabei entstehende zeitliche Redundanz aufeinander folgender Bilder kann zur zusätzlichen Verifikation der Ergebnisse genutzt werden. Damit ist dieses Verfahren in vielen realen technischen Anwendungen einsetzbar. Literatur [1] O. FAUGERAS: Three-Dimensional Computer Vision: A Geometric Viewpoint, MIT Press, Cambridge, [2] R. KLETTE, A. KOSCHANS, C. SCHLÜNS: Computer Vision, Springer, [3] U. AHLVERS, U. ZÖLZER, Improvement of Phase- Based Algorithms for Disparity Estimation by Means of Magnitude Information, Proc. IEEE Int. Conf. Image Processing (ICIP 04), Singapore, [4] D. SCHARSTEIN, R. SZELISKI: A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms, Int. Journal of Computer Vision, pp. 7-42, [5] D. VERNON: Fourier Vision, Kluwer, [6] N. BOULGOURIS, M. STRINTZIS: Embedded Coding of Stereo Images, Proc. IEEE Int. Conf. Image Processing (ICIP 00), Vol.3, pp , Vancouver, Canada, [7] U. AHLVERS, U. ZÖLZER, S. RECHMEIER: FFTbased Disparity Estimation for Stereo Image Coding, Proc. IEEE Int. Conf. Image Processing (ICIP 03), Barcelona, Spain, [8] U. AHLVERS, U. ZÖLZER, G. HEINRICH: Adaptive Coding, Reconstruction and 3D Visualisation of Stereoscopic Image Data, Proc. IASTED Int. Conf. Visualisation, Imaging, and Image Processing (VIIP 04), Marbella, Spain, Bild 9: Arbeitsplatz zur 3D-Visualisierung mittels Stereodisplay. Der 3D- Eindruck entsteht nur bei direkter Betrachtung des Bildschirms. [9] ACT KERN: Company Homepage, UNIFORSCHUNG AUSGABE