Stereo-Rekonstruktion. Stereo-Rekonstruktion. Geometrie der Stereo-Rekonstruktion. Geometrie der Stereo-Rekonstruktion

Transkript

1 Steeo-Rekonstuktion Geometie de Steeo-Rekonstuktion Steeo-Kalibieung Steeo-Rekonstuktion Steeo-Rekonstuktion Kameakalibieung kann dazu vewendet weden, um aus einem Bild Weltkoodinaten zu ekonstuieen, falls eine Lochkamea vewendet wid und alle zu vemessenden Obekte in eine Ebene liegen ode eine telezentische Kamea vewendet wid In beiden Fällen wid zwangsläufig nu die D-Geometie de Obekte bestimmt Zu Rekonstuktion de ditten Dimension wid ein Aufbau mit mindestens zwei Kameas benötigt Die Kameas müssen so angeodnet weden, daß die zu vemessenden Obekte in beiden Bilden sichtba sind Die 3D-Obektkoodinaten können duch Tiangulation von zwei koespondieenden Bildpunkten ekonstuiet weden Geometie de Steeo-Rekonstuktion Geometie eines Aufbaus mit zwei Kameas Kamea O Kamea Basis O C C P Relative Oientieung R, T P Geometie de Steeo-Rekonstuktion Um die Steeo-Rekonstuktion duchfühen zu können, muß die Kameageometie de zwei Kameas bekannt sein Innee Oientieung Äußee Oientieung Es gelten, wie bei einem Bild, folgende Gleichungen, um Punkte im Weltkoodinatensystem in die eweiligen Kameakoodinatensysteme zu tansfomieen: P R P T P Bei Vewendung von homogenen 3D-Koodinaten kann die Scheibweise de Tansfomationen veeinfacht weden ( x, y, z,) T R 0 R w P T w T ( xw, yw, zw,) T P MP c w

2 Geometie de Steeo-Rekonstuktion Es gilt also: P MPw, P M Pw P MM P M P Die stae Abbildung R, T, die duch M gegeben ist, heißt elative Oientieung de beiden Kameas Die elative Oientieung kann auf zwei Aten intepetiet weden Es gilt: P MPw, M M M P M M Pw Die elative Oientieung kann als Tansfomation von Punkten im Kameakoodinatensystem in das Kameakoodinatensystem betachtet weden Dual dazu kann die elative Oientieung als Tansfomation des Kameakoodinatensystems in das Kameakoodinatensystem betachtet weden Beispiel: Kamea ist 0 cm echts von Kamea (Tansfomation des Kameakoodinatensystems ) Auf Punkte im Kameakoodinatensystem muß 0 cm (in x) addiet weden, um sie in Kameakoodinatensystem dazustellen 475 Kalibieung des Steeo-Aufbaus Die äußeen Oientieungen, die notwendig sind, um die elative Oientieung zu bestimmen, weden von de nomalen Kameakalibieung zuückgeliefet Im Pinzip könnte die Geometie des Steeo-Aufbaus duch sepaate Kalibieung de zwei Kameas duchgefüht weden Dabei muß natülich sichegestellt weden, daß die Bilde des Kalibieköpes von beiden Kameas zu selben Zeit aufgenommen weden, d.h. die Bilde müssen den Kalibieköpe eweils in deselben Lage in de Welt in einem Bildpaa zeigen Die elative Oientieung könnte dann aus einem Paa de zuückgeliefeten äußeen Oientieungen beechnet weden ode duch Mittelung alle äußeen Oientieungen 476 Kalibieung des Steeo-Aufbaus Die sepaate Kalibieung ezwingt abe nicht, daß die zwei Kameas duch genau eine stae Abbildung miteinande vebunden sind, da bei de nomalen Kameakalibieung die äußeen Oientieungen in den zusammengehöigen Bilden unabhängig voneinande bestimmt weden Kameakalibieung sollte die Eindeutigkeit de elativen Oientieung ezwingen Dies kann eeicht weden duch Minimieung von l k d( c) m,, π( M, c) m,, π( M, c) min i i i Dabei ist de Paametevekto gegeben duch c ( i, i, e, e,, e ), i e ( f,, s x,, s (,,, t y, x, l, c, t y, x, i, t, c z, y, ), ), e (,,, t i x,, t y,, t z, ) Kalibieung des Steeo-Aufbaus Dabei wid die Konsistenz de elativen Oientieung ezwungen, indem die Tansfomation de elativen Oientieung explizit in die Poektionsgleichungen eingefügt weden Dies geschieht in de Tansfomation vom Weltkoodinatensystem in das Kameakoodinatensystem in de Gleichung von Kamea P M M Die Gleichung von Kamea ist wie bei de nomalen Kameakalibieung P M Die äußee Oientieung wid also elativ zu Kamea beechnet Die andeen Abbildungsgleichungen bleiben unveändet Weitee Voteil: Die Anzahl de Paamete de äußeen Oientieungen (inklusive elative Oientieung) ist nu l statt l

3 P P P P Beispiel fü die Kalibieung Kalibieung aus 5 Steeo-Bildpaaen Anzeige de elativen Oientieung Rotation de Kameas um ca. 40 um die y-achse Kameas schielen nach innen Epipolageometie Zu Rekonstuktion von 3D-Punkten müssen in den zwei Bilden koespondieende Punkte gefunden weden Die Suche nach koespondieenden Punkten muß (glücklicheweise!) nicht im ganzen Bild ausgefüht weden Die Punkte, die mit einem Punkt im esten Bild koespondieen können, liegen auf eine Geaden im zweiten Bild, de sogenannten Epipolageaden Das gilt natülich auch umgekeht fü Punkte im zweiten Bild Sei P ein Punkt im esten Bild Dann spannt P mit den beiden Poektionszenten O und O eine Ebene auf, die sogenannte Epipolaebene Da de ekonstuiete Punkt in de Welt nu in de Epipolaebene liegen kann, muß de koespondieende Punkt im zweiten Bild auf dem Schnitt de Epipolaebene mit de Bildebene des zweiten Bildes liegen, nämlich de Epipolageaden Epipolageometie P De Punkt w kann nu in de Epipolaebene P, O, O liegen, da e auf den Sehstahlen duch die Poektionszenten liegen muß De Punkt kann nu auf de Epipolageaden liegen P Epipolageometie Die Epipolageometie ist symmetisch zwischen den beiden Bilden O O O O 48 48

4 P P Epipolageometie Veschiedene Punkte P und Q haben unteschiedliche Epipolageaden Alle Epipolageaden eines Bildes schneiden sich in einem Punkt, dem Epipol (, E ) E Beispiel fü Epipolageaden Epipolageaden von vie signifikanten Punkten auf dem Aufduck von vie ICs Q w E Q E P P Q Beispiel fü Epipolageaden Beachte: Aufgund de adialen Vezeichnungen sind die Epipolageaden nomaleweise keine Geaden sonden gekümmte Linien Insofen wäe de Name Epipolalinie besse Rekonstuktion von Punktkoodinaten Die 3D-Koodinaten von koespondieenden Punkten können ekonstuiet weden, indem die zugehöigen Sehstahlen miteinande geschnitten weden Die Sehstahlen schneiden sich aufgund von Rundungsfehlen und Fehlen in de Mekmalsextaktion nomaleweise nicht De ekonstuiete Punkt ist de Punkt mit dem küzesten Abstand von beiden Sehstahlen

5 Beispiel fü die Rekonstuktion Manuelle Vogabe von Regionen mit koespondieenden Punkten Extaktion von subpixelgenauen Punktkoodinaten (Vefahen hie nicht nähe eläutet) Rekonstuktion de 3D-Koodinaten de Punkte im Kameakoodinatensystem des linken Bildes Rektifizieung de Steeo-Bilde Die Epipolageaden sind fü veschiedene Punkte unteschiedlich Die Epipolageaden sind im allgemeinen wegen adiale Vezeichnungen nicht einmal Geaden sonden gekümmte Linien Bei automatische Koespondenzsuche muß fü eden zu findenden Punkt eine neue, kompliziete Epipolalinie konstuiet weden Ziel: Möglichst goße Veeinfachung de Konstuktion de Epipolageaden Beobachtung: Falls die Bildebenen paallel zueinande sind, paallel zu Basis sind, denselben Abstand zu Basis haben (gleiche Bennweite) und keine adialen Vezeichnungen vohanden sind, sind die Epipolageaden hoizontal und haben dieselbe y-koodinate Die Epipole liegen dann im Unendlichen Rektifizieung de Steeo-Bilde Epipolageometie bei paallelen Bildebenen mit gleichen Bennweiten Diese Konfiguation kann als epipolae Standadkonfiguation bezeichnet weden E O O P C C P 489 E Rektifizieung de Steeo-Bilde In de epipolaen Standadkonfiguation sind die Epipolageaden besondes einfach Die Suchichtung entspicht auch besondes gut de Abspeicheung von Bilden und de Cacheachitektu modene Rechne ( Effizienzgewinn) Jede Epipolakonfiguation kann in die Standadkonfiguation gebacht weden Dabei weden die Bilde auf neue Bildebenen in Standadkonfiguation epoiziet Um eine identische Stahlengeometie zu ehalten, müssen die Poektionszenten natülich gleich bleiben Die estlichen Kameapaamete müssen angepaßt weden Rotation de äußeen Oientieungen, so daß sie paallel sind und nu eine Veschiebung in x-richtung aufweisen Anpassung de Bennweiten, Hauptpunkte und Skalieungsfaktoen 490

6 Rektifizieung de Steeo-Bilde Tansfomation in Standadkonfiguation ändet die Stahlengeometie nicht Rektifizieung efolgt duch die angedeutete Repoektion Beispiel fü die Rektifizieung Kameapaamete und elative Oientieung vo de Rektifizieung Beachte: unteschiedliche Bennweiten und Vezeichnungen Tanslationsvekto enthält Wete 0 in allen Komponenten Rotation de Bildebenen O O O O C C P C P P C P Beispiel fü die Rektifizieung Kameapaamete und elative Oientieung nach de Rektifizieung Beachte: identische Bennweiten und keine Vezeichnung Tanslationsvekto enthält Wete 0 nu in x-richtung Keine Rotation de Bildebenen Bilde enthalten eine tapezfömige Entzeung Epipolageaden nach de Rektifizieung Epipolageaden von vie signifikanten Punkten auf dem Aufduck von vie ICs nach de Rektifizieung

7 Rekonstuktion von Punkten Manuelle Vogabe von Regionen mit koespondieenden Punkten Extaktion von subpixelgenauen Punktkoodinaten Rekonstuktion de 3D-Koodinaten de Punkte Im ektifizieten Kameakoodinatensystem de linken Kamea Im oiginalen Kameakoodinatensystem de linken Kamea Koespondenzfindung: Dispaität Nach de Tansfomation in die epipolae Standadkonfiguation ist die Suche nach koespondieenden Punkten besondes einfach Es muß lediglich im andeen Bild in deselben Zeile gesucht weden Damit sind die wichtigen Infomationen zweie koespondieende Punkte ihe Spaltenkoodinaten: c,c Eine kuze Übelegung anhand des Stahlensatzes zeigt, daß zu Rekonstuktion de Tiefe (de z-koodinate im ektifizieten Kameasystem) die eigentlichen Spaltenkoodinaten unwichtig sind Das einzig wichtige Mekmal ist die Diffeenz de Spaltenkoodinaten, die sogenannte Dispaität: d c c Die automatische Koespondenzfindung muß also fü eden Punkt in einem Bild (typischeweise im esten Bild) die Dispaität bestimmen Koespondenzfindung Die Koespondenzfindung kann als Template-Matching-Poblem aufgefaßt weden Dazu wid ein Bild als Refeenzbild und das andee Bild als Suchbild vewendet Im Suchbild weden echteckige Gauwetfenste aus dem Refeenzbild gesucht w (, c) w (, c d) c c c d w,c Refeenzbild g, ) Suchbild g, ) ( c w,c+d ( c 497 Epipolageade Koespondenzfindung Als Ähnlichkeitsmaße können dieselben Maße dienen, die beim Template Matching vewendet weden Summe de Gauwetdiffeenzen n n sad (, c, d) g ( i, c ) g ( i, c d) (n ) Effiziente Beechnung i n n Nicht invaiant gegenübe Beleuchtungsändeungen Nomiete Koelation n n g( i, c ) m ( i, c ) ncc(, c, d) (n ) i n n s ( i, c ) Aufwendige Beechnung Invaiant gegenübe Beleuchtungsändeungen g ( i, c d) m ( i, c d) s ( i, c d) 498

8 Koespondenzfindung Beispiel fü Dispaitätsbeechnung Als koespondieende Punkt wid de Punkt mit de Dispaität, die die höchste Ähnlichkeit besitzt, gewählt Da die Dispaität mit dem Abstand inves koespondiet, muß nicht die gesamte Zeile nach koespondieenden Punkten duchsucht weden, sonden nu ein kleine Teil, de vom Abstandsbeeich de Obekte zu Basis abhängt: d d min, d max Um falsche Koespondenzen zu vemeiden, wid typischeweise eine Schwelle auf dem Ähnlichkeitsmaß vewendet Komplexität de Beechnung de Koespondenzen bei naive Beechnung: O ( whln ) (l d max d min ) Hohe Komplexität Faugeas (993): Die Beechnung de Ähnlichkeitsmaße kann ekusiv efolgen, so daß die Laufzeit unabhängig von de Fenstegöße n ist: O (whl ) Zu weiteen Effizienzsteigeung können Bildpyamiden vewendet weden Die Dispaität wid im Bildkoodinatensystem des Refeenzbildes beechnet und zuückgeliefet Wie beim Template-Matching kann die Dispaität subpixelgenau intepoliet weden Dies geschieht hie anhand eine eindimensionalen Funktion (Anpassung eine Paabel entlang de Dispaitäten) Refeenzbild Dispaitätsbild Einfluß de Fenstegöße Vebesseung de Robustheit Die Koespondenzfindung kann nu in den Gebieten funktionieen, in denen genügend Textu vohanden ist Die Maskengöße hat eheblichen Einfluß auf das Egebnis Kleinee Masken fühen zu seh vielen falschen Koespondenzen Gößee Masken fühen zu Wenige Fehlkoespondenzen Bessee Rekonstuktion in Gebieten mit geinge Textu Eine Glättung des Egebnisses Schlechteen Egebnissen an Höhenspüngen Die Robustheit des Egebnisses kann auf mehee Aten vebesset weden Das Egebnis eines Textufiltes kann dazu vewendet weden, schwach textuiete Gebiete auszuschließen Typische Filte: Standadabweichung de Gauwete innehalb des Fenstes Außedem kann übepüft weden, ob de koespondieende Punkt im Suchbild zum selben Punkt im Refeenzbild füht (Matching vom Suchbild in das Refeenzbild) c c d c w,c 3 3 w,c+d Epipolageade

9 Beispiel fü Vebesseung de Robustheit Anwendung de Textuschwelle und de Konsistenzübepüfung Beachte: Konsistenzübepüfung entfent hauptsächlich Punkte an Vedeckungen im Bild Aufgund de Vedeckung können diese Punkte nicht eindeutig zugeodnet weden Beechnung des Abstandes Aus de Dispaität kann leicht de Abstand de Punkte in z-richtung beechnet weden Die Deiecke P P und O O sowie ihe Poektion in die xz- Ebene sind ähnlich z z f bf z b dw b dw dw d psx d p ( cx c ) ( c c d ( cx cx) O O x ) Keine Übepüfung Textuschwelle Konsistenzübepüfung b N f P C C f P c c x c x c Genauigkeit de Rekonstuktion Punkte mit gleiche Dispaität liegen auf Ebenen mit konstantem Abstand zu xy-ebene 3D-Dastellung de Rekonstuktion Ansicht ohne und mit Textue-Mapping Dispaität d: Abstand z: Die Genauigkeit de Egebnisse hängt von de Genauigkeit de Bestimmung de Dispaitäten und de b = 0 cm, f = 8 mm 0.9 b = 0 cm, f = mm b = 0 cm, f = 8 mm Steeo-Geometie ab 0.8 b = 0 cm, f = mm 0.7 Typischeweise kann d 0 Pixel 0.6 eeicht weden Die Genauigkeit de Rekonstuktion ist z z 0. z d w sx d 0 bf bf Genauigkeit [mm] Abstand [m]

10 Vemessung von Luftansaugstutzen Vemessung des Schnittwinkels zweie Ebenen an eine Röhe eines Luftansaugstutzens Steeo-Rekonstuktion Segmentieung des Tiefenbildes zu Auffindung von planaen Regionen Robuste Anpassung von Ebenen an die planaen Regionen Beechnung des Winkels aus den Paameten de Ebenen Zusammenfassung Steeo-Rekonstuktion Wichtige Punkte, die man sich meken sollte Geometie de Steeo-Rekonstuktion, insbesondee die Epipolageometie Kalibieung des Steeo-Aufbaus Rekonstuktion von 3D-Punkten Rektifizieung de Steeo-Bildpaae Pinzip de Dispaität Finden koespondieende Punkte übe Template-Matching Rekonstuktion de Abstände aus de Dispaität