Stereo-Rekonstruktion

Transkript

1 Steeo-Rekonstuktion Geometie de Steeo-Rekonstuktion Steeo-Kalibieung Steeo-Rekonstuktion 04 MVTe Softwae GmbH Münhen 47

2 Steeo-Rekonstuktion Kameakalibieung kann dazu vewendet weden um aus einem Bild Weltkoodinaten zu ekonstuieen falls eine Lohkamea vewendet wid und alle zu vemessenden Obekte in eine Ebene liegen ode eine telezentishe Kamea vewendet wid In beiden Fällen wid zwangsläufig nu die D-Geometie de Obekte bestimmt Zu Rekonstuktion de ditten Dimension wid ein Aufbau mit mindestens zwei Kameas benötigt Die Kameas müssen so angeodnet weden daß die zu vemessenden Obekte in beiden Bilden sihtba sind Die 3D-Obektkoodinaten können duh Tiangulation von zwei koespondieenden Bildpunkten ekonstuiet weden 04 MVTe Softwae GmbH Münhen 47

3 Geometie de Steeo-Rekonstuktion Geometie eines Aufbaus mit zwei Kameas P w Kamea O Kamea Basis O C C P Relative Oientieung R T P 04 MVTe Softwae GmbH Münhen 473

4 Geometie de Steeo-Rekonstuktion Um die Steeo-Rekonstuktion duhfühen zu können muß die Kameageometie de zwei Kameas bekannt sein Innee Oientieung Äußee Oientieung Es gelten wie bei einem Bild folgende Gleihungen um Punkte im Weltkoodinatensystem in die eweiligen Kameakoodinatensysteme zu tansfomieen: P P Bei Vewendung von homogenen 3D-Koodinaten kann die Sheibweise de Tansfomationen veeinfaht weden ( x y z) T R 0 T ( x R R w P w P y w w T T z w ) T P MP w 04 MVTe Softwae GmbH Münhen 474

5 Geometie de Steeo-Rekonstuktion P M P P M P P M M P M P Es gilt also: w w Die stae Abbildung R T die duh M gegeben ist heißt elative Oientieung de beiden Kameas Die elative Oientieung kann auf zwei Aten intepetiet weden Es gilt: P MPw M M M P M M Pw Die elative Oientieung kann als Tansfomation von Punkten im Kameakoodinatensystem in das Kameakoodinatensystem betahtet weden Dual dazu kann die elative Oientieung als Tansfomation des Kameakoodinatensystems in das Kameakoodinatensystem betahtet weden Beispiel: Kamea ist 0 m ehts von Kamea (Tansfomation des Kameakoodinatensystems ) Auf Punkte im Kameakoodinatensystem muß 0 m (in x) addiet weden um sie in Kameakoodinatensystem dazustellen 04 MVTe Softwae GmbH Münhen 475

6 Kalibieung des Steeo-Aufbaus Die äußeen Oientieungen die notwendig sind um die elative Oientieung zu bestimmen weden von de nomalen Kameakalibieung zuükgeliefet Im Pinzip könnte die Geometie des Steeo-Aufbaus duh sepaate Kalibieung de zwei Kameas duhgefüht weden Dabei muß natülih sihegestellt weden daß die Bilde des Kalibieköpes von beiden Kameas zu selben Zeit aufgenommen weden d.h. die Bilde müssen den Kalibieköpe eweils in deselben Lage in de Welt in einem Bildpaa zeigen Die elative Oientieung könnte dann aus einem Paa de zuükgeliefeten äußeen Oientieungen beehnet weden ode duh Mittelung alle äußeen Oientieungen 04 MVTe Softwae GmbH Münhen 476

7 04 MVTe Softwae GmbH Münhen 477 Kalibieung des Steeo-Aufbaus Die sepaate Kalibieung ezwingt abe niht daß die zwei Kameas duh genau eine stae Abbildung miteinande vebunden sind da bei de nomalen Kameakalibieung die äußeen Oientieungen in den zusammengehöigen Bilden unabhängig voneinande bestimmt weden Kameakalibieung sollte die Eindeutigkeit de elativen Oientieung ezwingen Dies kann eeiht weden duh Minimieung von Dabei ist de Paametevekto gegeben duh l k i i i i i d min ) ( ) ( ) ( M π m M π m ) ( ) ( ) ( ) ( z y x z y x y x y x l t t t t t t s s f e e i e e e i i

8 Kalibieung des Steeo-Aufbaus Dabei wid die Konsistenz de elativen Oientieung ezwungen indem die Tansfomation de elativen Oientieung explizit in die Poektionsgleihungen eingefügt weden Dies geshieht in de Tansfomation vom Weltkoodinatensystem in das Kameakoodinatensystem in de Gleihung von Kamea P M M P w Die Gleihung von Kamea ist wie bei de nomalen Kameakalibieung P M P w Die äußee Oientieung wid also elativ zu Kamea beehnet Die andeen Abbildungsgleihungen bleiben unveändet Weitee Voteil: Die Anzahl de Paamete de äußeen Oientieungen (inklusive elative Oientieung) ist nu statt l l 04 MVTe Softwae GmbH Münhen 478

9 Beispiel fü die Kalibieung Kalibieung aus 5 Steeo-Bildpaaen Anzeige de elativen Oientieung Rotation de Kameas um a. 40 um die y-ahse Kameas shielen nah innen 04 MVTe Softwae GmbH Münhen 479

10 Epipolageometie Zu Rekonstuktion von 3D-Punkten müssen in den zwei Bilden koespondieende Punkte gefunden weden Die Suhe nah koespondieenden Punkten muß (glükliheweise!) niht im ganzen Bild ausgefüht weden Die Punkte die mit einem Punkt im esten Bild koespondieen können liegen auf eine Geaden im zweiten Bild de sogenannten Epipolageaden Das gilt natülih auh umgekeht fü Punkte im zweiten Bild Sei P ein Punkt im esten Bild Dann spannt P mit den beiden Poektionszenten O und O eine Ebene auf die sogenannte Epipolaebene Da de ekonstuiete Punkt in de Welt P w nu in de Epipolaebene liegen kann muß de koespondieende Punkt im zweiten Bild auf dem Shnitt de Epipolaebene mit de Bildebene des zweiten Bildes liegen nämlih de Epipolageaden 04 MVTe Softwae GmbH Münhen 480

11 Epipolageometie P P O O De Punkt w kann nu in de Epipolaebene liegen da e auf den Sehstahlen duh die Poektionszenten liegen muß P De Punkt kann nu auf de Epipolageaden liegen P w O O P P 04 MVTe Softwae GmbH Münhen 48

12 Epipolageometie Die Epipolageometie ist symmetish zwishen den beiden Bilden P w O O P P 04 MVTe Softwae GmbH Münhen 48

13 Epipolageometie P Q Veshiedene Punkte und haben unteshiedlihe Epipolageaden Alle Epipolageaden eines Bildes shneiden sih in einem Punkt dem Epipol ( ) E E P w Q w E Q E P P Q 04 MVTe Softwae GmbH Münhen 483

14 Beispiel fü Epipolageaden Epipolageaden von vie signifikanten Punkten auf dem Aufduk von vie ICs 04 MVTe Softwae GmbH Münhen 484

15 Beispiel fü Epipolageaden Beahte: Aufgund de adialen Vezeihnungen sind die Epipolageaden nomaleweise keine Geaden sonden gekümmte Linien Insofen wäe de Name Epipolalinie besse 04 MVTe Softwae GmbH Münhen 485

16 Rekonstuktion von Punktkoodinaten Die 3D-Koodinaten von koespondieenden Punkten können ekonstuiet weden indem die zugehöigen Sehstahlen miteinande geshnitten weden Die Sehstahlen shneiden sih aufgund von Rundungsfehlen und Fehlen in de Mekmalsextaktion nomaleweise niht De ekonstuiete Punkt ist de Punkt mit dem küzesten Abstand von beiden Sehstahlen P w P P 04 MVTe Softwae GmbH Münhen 486

17 Beispiel fü die Rekonstuktion Manuelle Vogabe von Regionen mit koespondieenden Punkten Extaktion von subpixelgenauen Punktkoodinaten (Vefahen hie niht nähe eläutet) Rekonstuktion de 3D-Koodinaten de Punkte im Kameakoodinatensystem des linken Bildes 04 MVTe Softwae GmbH Münhen 487

18 Rektifizieung de Steeo-Bilde Die Epipolageaden sind fü veshiedene Punkte unteshiedlih Die Epipolageaden sind im allgemeinen wegen adiale Vezeihnungen niht einmal Geaden sonden gekümmte Linien Bei automatishe Koespondenzsuhe muß fü eden zu findenden Punkt eine neue kompliziete Epipolalinie konstuiet weden Ziel: Möglihst goße Veeinfahung de Konstuktion de Epipolageaden Beobahtung: Falls die Bildebenen paallel zueinande sind paallel zu Basis sind denselben Abstand zu Basis haben (gleihe Bennweite) und keine adialen Vezeihnungen vohanden sind sind die Epipolageaden hoizontal und haben dieselbe y-koodinate Die Epipole liegen dann im Unendlihen 04 MVTe Softwae GmbH Münhen 488

19 Rektifizieung de Steeo-Bilde Epipolageometie bei paallelen Bildebenen mit gleihen Bennweiten Diese Konfiguation kann als epipolae Standadkonfiguation bezeihnet weden P w E O O E P C C P 04 MVTe Softwae GmbH Münhen 489

20 Rektifizieung de Steeo-Bilde In de epipolaen Standadkonfiguation sind die Epipolageaden besondes einfah Die Suhihtung entspiht auh besondes gut de Abspeiheung von Bilden und de Caheahitektu modene Rehne ( Effizienzgewinn) Jede Epipolakonfiguation kann in die Standadkonfiguation gebaht weden Dabei weden die Bilde auf neue Bildebenen in Standadkonfiguation epoiziet Um eine identishe Stahlengeometie zu ehalten müssen die Poektionszenten natülih gleih bleiben Die estlihen Kameapaamete müssen angepaßt weden Rotation de äußeen Oientieungen so daß sie paallel sind und nu eine Veshiebung in x-rihtung aufweisen Anpassung de Bennweiten Hauptpunkte und Skalieungsfaktoen 04 MVTe Softwae GmbH Münhen 490

21 Rektifizieung de Steeo-Bilde Tansfomation in Standadkonfiguation ändet die Stahlengeometie niht Rektifizieung efolgt duh die angedeutete Repoektion P w O O O O C P P C P C C P 04 MVTe Softwae GmbH Münhen 49

22 Beispiel fü die Rektifizieung Kameapaamete und elative Oientieung vo de Rektifizieung Beahte: unteshiedlihe Bennweiten und Vezeihnungen Tanslationsvekto enthält Wete 0 in allen Komponenten Rotation de Bildebenen 04 MVTe Softwae GmbH Münhen 49

23 Beispiel fü die Rektifizieung Kameapaamete und elative Oientieung nah de Rektifizieung Beahte: identishe Bennweiten und keine Vezeihnung Tanslationsvekto enthält Wete 0 nu in x-rihtung Keine Rotation de Bildebenen Bilde enthalten eine tapezfömige Entzeung 04 MVTe Softwae GmbH Münhen 493

24 Epipolageaden nah de Rektifizieung Epipolageaden von vie signifikanten Punkten auf dem Aufduk von vie ICs nah de Rektifizieung 04 MVTe Softwae GmbH Münhen 494

25 Rekonstuktion von Punkten Manuelle Vogabe von Regionen mit koespondieenden Punkten Extaktion von subpixelgenauen Punktkoodinaten Rekonstuktion de 3D-Koodinaten de Punkte Im ektifizieten Kameakoodinatensystem de linken Kamea Im oiginalen Kameakoodinatensystem de linken Kamea 04 MVTe Softwae GmbH Münhen 495

26 Koespondenzfindung: Dispaität Nah de Tansfomation in die epipolae Standadkonfiguation ist die Suhe nah koespondieenden Punkten besondes einfah Es muß lediglih im andeen Bild in deselben Zeile gesuht weden Damit sind die wihtigen Infomationen zweie koespondieende Punkte ihe Spaltenkoodinaten: Eine kuze Übelegung anhand des Stahlensatzes zeigt daß zu Rekonstuktion de Tiefe (de z-koodinate im ektifizieten Kameasystem) die eigentlihen Spaltenkoodinaten unwihtig sind Das einzig wihtige Mekmal ist die Diffeenz de Spaltenkoodinaten die sogenannte Dispaität: d Die automatishe Koespondenzfindung muß also fü eden Punkt in einem Bild (typisheweise im esten Bild) die Dispaität bestimmen 04 MVTe Softwae GmbH Münhen 496

27 Koespondenzfindung Die Koespondenzfindung kann als Template-Mathing-Poblem aufgefaßt weden Dazu wid ein Bild als Refeenzbild und das andee Bild als Suhbild vewendet Im Suhbild weden ehtekige Gauwetfenste aus dem Refeenzbild gesuht w ( ) w ( d) d w w +d Epipolageade Refeenzbild ) g Suhbild g ) ( ( 04 MVTe Softwae GmbH Münhen 497

28 04 MVTe Softwae GmbH Münhen 498 Koespondenzfindung Als Ähnlihkeitsmaße können dieselben Maße dienen die beim Template Mathing vewendet weden Summe de Gauwetdiffeenzen Effiziente Beehnung Niht invaiant gegenübe Beleuhtungsändeungen Nomiete Koelation Aufwendige Beehnung Invaiant gegenübe Beleuhtungsändeungen n n i n n d i g i g n d sad ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( d i s d i m d i g i s i m i g n d n n n i n n

29 Koespondenzfindung Als koespondieende Punkt wid de Punkt mit de Dispaität die die höhste Ähnlihkeit besitzt gewählt Da die Dispaität mit dem Abstand inves koespondiet muß niht die gesamte Zeile nah koespondieenden Punkten duhsuht weden sonden nu ein kleine Teil de vom Abstandsbeeih de Obekte zu Basis abhängt: d d min d max Um falshe Koespondenzen zu vemeiden wid typisheweise eine Shwelle auf dem Ähnlihkeitsmaß vewendet Komplexität de Beehnung de Koespondenzen bei naive Beehnung: O( whln ) ( l dmax dmin ) Hohe Komplexität Faugeas (993): Die Beehnung de Ähnlihkeitsmaße kann ekusiv efolgen so daß die Laufzeit unabhängig von de Fenstegöße n ist: O(whl) Zu weiteen Effizienzsteigeung können Bildpyamiden vewendet weden 04 MVTe Softwae GmbH Münhen 499

30 Beispiel fü Dispaitätsbeehnung Die Dispaität wid im Bildkoodinatensystem des Refeenzbildes beehnet und zuükgeliefet Wie beim Template-Mathing kann die Dispaität subpixelgenau intepoliet weden Dies geshieht hie anhand eine eindimensionalen Funktion (Anpassung eine Paabel entlang de Dispaitäten) Refeenzbild Dispaitätsbild 04 MVTe Softwae GmbH Münhen 500

31 Einfluß de Fenstegöße Die Koespondenzfindung kann nu in den Gebieten funktionieen in denen genügend Textu vohanden ist Die Maskengöße hat eheblihen Einfluß auf das Egebnis Kleinee Masken fühen zu seh vielen falshen Koespondenzen Gößee Masken fühen zu Wenige Fehlkoespondenzen Bessee Rekonstuktion in Gebieten mit geinge Textu Eine Glättung des Egebnisses Shlehteen Egebnissen an Höhenspüngen MVTe Softwae GmbH Münhen 50

32 Vebesseung de Robustheit Die Robustheit des Egebnisses kann auf mehee Aten vebesset weden Das Egebnis eines Textufiltes kann dazu vewendet weden shwah textuiete Gebiete auszushließen Typishe Filte: Standadabweihung de Gauwete innehalb des Fenstes Außedem kann übepüft weden ob de koespondieende Punkt im Suhbild zum selben Punkt im Refeenzbild füht (Mathing vom Suhbild in das Refeenzbild) d w w +d Epipolageade 04 MVTe Softwae GmbH Münhen 50

33 Beispiel fü Vebesseung de Robustheit Anwendung de Textushwelle und de Konsistenzübepüfung Beahte: Konsistenzübepüfung entfent hauptsählih Punkte an Vedekungen im Bild Aufgund de Vedekung können diese Punkte niht eindeutig zugeodnet weden Keine Übepüfung Textushwelle Konsistenzübepüfung 04 MVTe Softwae GmbH Münhen 503

34 04 MVTe Softwae GmbH Münhen 504 Beehnung des Abstandes Aus de Dispaität kann leiht de Abstand de Punkte in z-rihtung beehnet weden Die Deieke P w P P und P w O O sowie ihe Poektion in die xz- Ebene sind ähnlih ) ( ) ( ) ( x x x x p x p w w w d d s d d d bf z b d f z b z P w P C C P O O N b x x f f

35 Genauigkeit de Rekonstuktion Punkte mit gleihe Dispaität liegen auf Ebenen mit konstantem Abstand zu xy-ebene Dispaität d: Abstand z: Die Genauigkeit de Egebnisse hängt von de Genauigkeit de Bestimmung de Dispaitäten und de b = 0 m f = 8 mm 0.9 b = 0 m f = mm b = 0 m f = 8 mm Steeo-Geometie ab 0.8 b = 0 m f = mm 0.7 Typisheweise kann d 0 Pixel 0.6 eeiht weden Die Genauigkeit de Rekonstuktion ist 0.3 z z bf d w z bf s x d Genauigkeit [mm] Abstand [m] 04 MVTe Softwae GmbH Münhen 505

36 3D-Dastellung de Rekonstuktion Ansiht ohne und mit Textue-Mapping 04 MVTe Softwae GmbH Münhen 506

37 Vemessung von Luftansaugstutzen Vemessung des Shnittwinkels zweie Ebenen an eine Röhe eines Luftansaugstutzens Steeo-Rekonstuktion Segmentieung des Tiefenbildes zu Auffindung von planaen Regionen Robuste Anpassung von Ebenen an die planaen Regionen Beehnung des Winkels aus den Paameten de Ebenen 04 MVTe Softwae GmbH Münhen 507

38 Zusammenfassung Steeo-Rekonstuktion Wihtige Punkte die man sih meken sollte Geometie de Steeo-Rekonstuktion insbesondee die Epipolageometie Kalibieung des Steeo-Aufbaus Rekonstuktion von 3D-Punkten Rektifizieung de Steeo-Bildpaae Pinzip de Dispaität Finden koespondieende Punkte übe Template-Mathing Rekonstuktion de Abstände aus de Dispaität 04 MVTe Softwae GmbH Münhen 508