Stereo Vision. Projekt zu Grundlagen der Computer Vision. Sommersemester 2008

Stereo Vision Projekt zu Grundlagen der Computer Vision Sommersemester 2008

Stereo Vision Computer Vision: Rekonstruktion von Objektoberflächen aus Bildern Stereo Vision: - Gleichzeitige Aufnahme eines Objekts von zwei unterschiedlichen Standorten - Berechnung der räumlichen Ausdehnung des Objekts mittels der Unterschiede in den beiden Aufnahmen Karsten Rink Stereo Vision Projekt 2008 2/25

Stereo Vision Berechnung der räumlichen Ausdehnung des Objekts mittels der Unterschiede in den beiden Aufnahmen Karsten Rink Stereo Vision Projekt 2008 3/25

Stereo Vision Korrespondenzproblem: Welche Pixel in Bild A stimmen mit welchen Pixeln in Bild B überein? Karsten Rink Stereo Vision Projekt 2008 4/25

Stereobildaufnahmesystem aus: Klette, Koschan, Schlüns Computer Vision Karsten Rink Stereo Vision Projekt 2008 5/25

Epipolar Constraint Einschränkung der Anzahl der möglichen Korrespondenzkandidaten aufgrund physikalischer Gesetzmässigkeiten: Epipolar Constraint: Ein Punkt im linken Bild kann nur mit einem Punkt im rechten Bild korrespondieren, welcher auf der zugehörigen Epipolarlinie liegt Karsten Rink Stereo Vision Projekt 2008 6/25

Epipolar Constraint Vereinfachende Annahme: Falls der Winkel zwischen den optischen Achsen der beiden Kameras 0 ist, sind die beiden Bildebenen sind komplanar (Standardstereogeometrie) Karsten Rink Stereo Vision Projekt 2008 7/25

Standardstereogeometrie Karsten Rink Stereo Vision Projekt 2008 8/25

Weitere Annahmen und Einschränkungen Continuity Constraint: Benachbarte Punkte haben in der Regel ähnliche Disparitäten, d.h. L R L R x1 x1 x2 x2 ist klein Ordering Constaint: Punkte, die im linken Bild auf der Epipolarlinie liegen, werden im rechten Bild in der gleichen Reihenfolge auf der korrespondierenden Epipolarlinie liegen. Disparity Limit: Es existiert für alle korrespondierenden Punkte x L und x R ein maximaler Disparitätswert d max, so dass gilt: x L - x R < d max Karsten Rink Stereo Vision Projekt 2008 9/25

Anwendungen Qualitätskontrolle von Objekten Verkehrsüberwachung und Analyse Berechnung von 3D Modellen Fernerkundung / Kartographie Robotik Virtual Clones Ltd. Karsten Rink Stereo Vision Projekt 2008 10/25

Beispielverfahren: Blockmatching basiert auf einem Ähnlichkeitsvergleich gleichgroßer Bildblöcke Unterteile Bild A in gleich große Blöcke Annahme: jeder Block X in Bild A ist nahezu identisch mit einem Block Y in Bild B, wenn man X auf der Epipolarlinie um d Pixel verschiebt. (d = Disparität) Karsten Rink Stereo Vision Projekt 2008 11/25

Beispielverfahren: Blockmatching unterteile Bild A in Blöcke der Größe m n (z.b. 8 8) finde den zu jedem Block in A den ähnlichsten Block in B (als Maß für die Übereinstimmung kann beispielsweise der mittlere quadratische Fehler verwendet werden) berechne Disparitäten für einzelne Pixel anhand der Blockdisparitäten (Pixel Selection) Disparitätswerte der einzelnen Pixel ergeben eine dichte Disparitätenkarte aus der man eine Tiefenkarte berechnen kann Karsten Rink Stereo Vision Projekt 2008 12/25

Blockmatching (cont.) Karsten Rink Stereo Vision Projekt 2008 13/25

Beispiel Karsten Rink Stereo Vision Projekt 2008 14/25

Beispiel 2 Karsten Rink Stereo Vision Projekt 2008 18/25

Beispiel 2 Karsten Rink Stereo Vision Projekt 2008 19/25

Zeitplan 10. 04. Einführungsveranstaltung. 24. 04. Konsultation (Basis Algorithmus) 08. 05. Präsentation der Zwischenergebnisse (1) Implementation eines Basis-Algorithmus (2) Berechnung der Disparitätenkarte 22. 05. Konsultation (Experimente mit selbstaufgenommenen Photos / Berechnung der Tiefenkarte) 05. 06. Präsentation der Zwischenergebnisse, Ideen zur Modifikationen des Algorithmus. 19. 06. Konsultation (Modifikationen) 04. 07. Abgabe des Projektberichtes. Karsten Rink Stereo Vision Projekt 2008 20/25

Bildverarbeitungslabor G29-241 Kameraansteuerung von galileo (Rechner links neben Labortisch) Login/Pass: bv07 / stereo Programm Digital Photo Professional (auf dem Desktop) Menü Tools Start EOS Capture Alle Einstellungen (ausser Zoom) sowie Auslöser im EOS 20D Fenster Karsten Rink Stereo Vision Projekt 2008 21/25

Kamera & Ansteuerung Einstellungen am Rechner: Einstellungen an der Kamera: - Zoom (am Objektiv einstellen) - Aufnahmemodus: - P Programmautomatik - Tv Blendenautomatik (Belichtungszeit einstellbar) - Av Zeitautomatik (Blende einstellbar) - M Manuelle Steuerung (Zeit und Blende einstellbar) Karsten Rink Stereo Vision Projekt 2008 22/25

Literatur Klette, Koschan, Schlüns, Computer Vision - Räumliche Information aus digitalen Bildern, Vieweg-Verlag 1996 Klette, Schlüns, Koschan, Computer Vision - Three-Dimensional Data from Images, Springer-Verlag 1998. Skript Grundlagen der Computer Vision Vorlesungsteil 3 und 4 Karsten Rink Stereo Vision Projekt 2008 23/25

Weitere Literatur Stereo Vision Page, Middlebury College (inkl. vieler Testbilder) http://vision.middlebury.edu/stereo/ T. Kanade and M. Okutomi, A stereo matching algorithm with an adaptive window: Theory and experiment, IEEE PAMI 1994, http://www.ri.cmu.edu/pubs/pub_3540.html Hai Tao, A Global Matching Framework for Stereo Computation, ICCV 2001. http://www.soe.ucsc.edu/~tao/csbs/ Boykov et al., Fast Approximate Energy Minimization via Graph Cuts, ICCV 1999. http://www.cs.cornell.edu/rdz/papers/bvz-iccv99.pdf Karsten Rink Stereo Vision Projekt 2008 24/25

Testbilder Image Understanding Laboratory, Florida International University http://iul.eng.fiu.edu/resources/images/imagespage.htm Amsterdam Library of Object Images http://staff.science.uva.nl/~aloi/ Karsten Rink Stereo Vision Projekt 2008 25/25