Stereo Vision. Projekt zu Grundlagen der Computer Vision. Sommersemester 2008

Transkript

1 Stereo Vision Projekt zu Grundlagen der Computer Vision Sommersemester 2008

2 Stereo Vision Computer Vision: Rekonstruktion von Objektoberflächen aus Bildern Stereo Vision: - Gleichzeitige Aufnahme eines Objekts von zwei unterschiedlichen Standorten - Berechnung der räumlichen Ausdehnung des Objekts mittels der Unterschiede in den beiden Aufnahmen Karsten Rink Stereo Vision Projekt /25

3 Stereo Vision Berechnung der räumlichen Ausdehnung des Objekts mittels der Unterschiede in den beiden Aufnahmen Karsten Rink Stereo Vision Projekt /25

4 Stereo Vision Korrespondenzproblem: Welche Pixel in Bild A stimmen mit welchen Pixeln in Bild B überein? Karsten Rink Stereo Vision Projekt /25

5 Stereobildaufnahmesystem aus: Klette, Koschan, Schlüns Computer Vision Karsten Rink Stereo Vision Projekt /25

6 Epipolar Constraint Einschränkung der Anzahl der möglichen Korrespondenzkandidaten aufgrund physikalischer Gesetzmässigkeiten: Epipolar Constraint: Ein Punkt im linken Bild kann nur mit einem Punkt im rechten Bild korrespondieren, welcher auf der zugehörigen Epipolarlinie liegt Karsten Rink Stereo Vision Projekt /25

7 Epipolar Constraint Vereinfachende Annahme: Falls der Winkel zwischen den optischen Achsen der beiden Kameras 0 ist, sind die beiden Bildebenen sind komplanar (Standardstereogeometrie) Karsten Rink Stereo Vision Projekt /25

8 Standardstereogeometrie Karsten Rink Stereo Vision Projekt /25

9 Weitere Annahmen und Einschränkungen Continuity Constraint: Benachbarte Punkte haben in der Regel ähnliche Disparitäten, d.h. L R L R x1 x1 x2 x2 ist klein Ordering Constaint: Punkte, die im linken Bild auf der Epipolarlinie liegen, werden im rechten Bild in der gleichen Reihenfolge auf der korrespondierenden Epipolarlinie liegen. Disparity Limit: Es existiert für alle korrespondierenden Punkte x L und x R ein maximaler Disparitätswert d max, so dass gilt: x L - x R < d max Karsten Rink Stereo Vision Projekt /25

10 Anwendungen Qualitätskontrolle von Objekten Verkehrsüberwachung und Analyse Berechnung von 3D Modellen Fernerkundung / Kartographie Robotik Virtual Clones Ltd. Karsten Rink Stereo Vision Projekt /25

11 Beispielverfahren: Blockmatching basiert auf einem Ähnlichkeitsvergleich gleichgroßer Bildblöcke Unterteile Bild A in gleich große Blöcke Annahme: jeder Block X in Bild A ist nahezu identisch mit einem Block Y in Bild B, wenn man X auf der Epipolarlinie um d Pixel verschiebt. (d = Disparität) Karsten Rink Stereo Vision Projekt /25

12 Beispielverfahren: Blockmatching unterteile Bild A in Blöcke der Größe m n (z.b. 8 8) finde den zu jedem Block in A den ähnlichsten Block in B (als Maß für die Übereinstimmung kann beispielsweise der mittlere quadratische Fehler verwendet werden) berechne Disparitäten für einzelne Pixel anhand der Blockdisparitäten (Pixel Selection) Disparitätswerte der einzelnen Pixel ergeben eine dichte Disparitätenkarte aus der man eine Tiefenkarte berechnen kann Karsten Rink Stereo Vision Projekt /25

13 Blockmatching (cont.) Karsten Rink Stereo Vision Projekt /25

14 Beispiel Karsten Rink Stereo Vision Projekt /25

15 Beispiel Karsten Rink Stereo Vision Projekt /25

16 Beispiel Karsten Rink Stereo Vision Projekt /25

17 Beispiel Karsten Rink Stereo Vision Projekt /25

18 Beispiel 2 Karsten Rink Stereo Vision Projekt /25

19 Beispiel 2 Karsten Rink Stereo Vision Projekt /25

20 Zeitplan Einführungsveranstaltung Konsultation (Basis Algorithmus) Präsentation der Zwischenergebnisse (1) Implementation eines Basis-Algorithmus (2) Berechnung der Disparitätenkarte Konsultation (Experimente mit selbstaufgenommenen Photos / Berechnung der Tiefenkarte) Präsentation der Zwischenergebnisse, Ideen zur Modifikationen des Algorithmus Konsultation (Modifikationen) Abgabe des Projektberichtes. Karsten Rink Stereo Vision Projekt /25

21 Bildverarbeitungslabor G Kameraansteuerung von galileo (Rechner links neben Labortisch) Login/Pass: bv07 / stereo Programm Digital Photo Professional (auf dem Desktop) Menü Tools Start EOS Capture Alle Einstellungen (ausser Zoom) sowie Auslöser im EOS 20D Fenster Karsten Rink Stereo Vision Projekt /25

22 Kamera & Ansteuerung Einstellungen am Rechner: Einstellungen an der Kamera: - Zoom (am Objektiv einstellen) - Aufnahmemodus: - P Programmautomatik - Tv Blendenautomatik (Belichtungszeit einstellbar) - Av Zeitautomatik (Blende einstellbar) - M Manuelle Steuerung (Zeit und Blende einstellbar) Karsten Rink Stereo Vision Projekt /25

23 Literatur Klette, Koschan, Schlüns, Computer Vision - Räumliche Information aus digitalen Bildern, Vieweg-Verlag 1996 Klette, Schlüns, Koschan, Computer Vision - Three-Dimensional Data from Images, Springer-Verlag Skript Grundlagen der Computer Vision Vorlesungsteil 3 und 4 Karsten Rink Stereo Vision Projekt /25

24 Weitere Literatur Stereo Vision Page, Middlebury College (inkl. vieler Testbilder) T. Kanade and M. Okutomi, A stereo matching algorithm with an adaptive window: Theory and experiment, IEEE PAMI 1994, Hai Tao, A Global Matching Framework for Stereo Computation, ICCV Boykov et al., Fast Approximate Energy Minimization via Graph Cuts, ICCV Karsten Rink Stereo Vision Projekt /25

25 Testbilder Image Understanding Laboratory, Florida International University Amsterdam Library of Object Images Karsten Rink Stereo Vision Projekt /25