Computer Vision I. Nikos Canterakis. Lehrstuhl für Mustererkennung, Universität Freiburg

Transkript

1 Nikos Canterakis Lehrstuhl für Mustererkennung, Universität Freiburg

2 Gliederung 8 Projektive Invarianz und das kanonische Kamerapaar Kanonisches Kamerapaar aus gegebener Fundamentalmatrix Freiheitsgrade Zusammenfassung Berechnung der Fundamentalmatrix (2) Affine Rekonstruktion Metrische Rekonstruktion Kruppa Gleichungen 2 von 37

3 Projektive Invarianz und das kanonische Kamerapaar Gliederung 8 Projektive Invarianz und das kanonische Kamerapaar Kanonisches Kamerapaar aus gegebener Fundamentalmatrix Freiheitsgrade Zusammenfassung Berechnung der Fundamentalmatrix (2) Affine Rekonstruktion Metrische Rekonstruktion Kruppa Gleichungen 3 von 37

4 Projektive Invarianz und das kanonische Kamerapaar Projektive Invarianz und das kanonische Kamerapaar Die Fundamentalmatrix F JI ist invariant gegenüber einer Projektiven-Transformation des dreidimensionalen Raumes. Genauer: Ergebnis Ist H eine 4 4-Matrix, die eine projektive Transformation des dreidimensionalen Raumes beschreibt, so sind die Fundamentalmatrizen der Kamerapaare (P I, P J ) und (P I H, P J H) gleich. 4 von 37

5 Projektive Invarianz und das kanonische Kamerapaar Beweis. F JI kann aus Bildkorrespondenzen berechnet werden. Seien x I und x J korrespondierende Bildpunkte bzgl. des Kamerpaares (P I, P J ), d.h. } x I P I X für einen Raumpunkt X P J X wegen x J x I (P I H)(H 1 X) x J (P J H)(H 1 X) } sind x I und x J auch korrespondierende Bildpunkte bzgl. des Kamerasystems (P I H, P J H)

6 Projektive Invarianz und das kanonische Kamerapaar Das kanonische Kamerapaar Kamerapaar (P I, P J ). Sei H =(P + I, C I ) Damit Bildung eines neuen (äquivalenten) Kamerapaares: P I H P J H =(I, 0) =P I =(P J P + I, P J C } {{ } I )=P J e JI C I ( 0 T 1 ) T [e JI ] P JP + I } {{ } P J P + I } {{ } F JI 6 von 37

7 Projektive Invarianz und das kanonische Kamerapaar Das kanonische Kamerapaar Aus der Formel für die Fundamentalmatrix F JI [e JI ] P J P + I folgt, Ergebnis Sei P I (I, 0) und P J (M, m) ein kanonisches Kamerapaar, so gilt F JI [m] M. 7 von 37

8 Das Kamerapaar legt die Fundamentalmatrix eindeutig fest. Die Umkehrung gilt nicht. (Beziehung nicht bijektiv - eins zu eins ) Hat man die Fundamentalmatrix bestimmt, so können die Kameramatrizen bis auf eine projektive Transformation bestimmt werden.! Dies ist aber auch schon die gesamte Mehrdeutigkeit. Es gilt folgende Umkehrung: Satz Sei F JI Fundamentalmatrix für die Kamerapaare {P I, P J } und {P I, P J } gleichermaßen, dann existiert eine 4 4MatrixH 0,so dass P I P I H 0 P J P JH 0

9 Beweis (1) Seien zwei Paare von Kameramatrizen (P I, P J ) und (P I, P J ) gegeben. Man bringe beide Kamerapaare in die kanonische Form. Das geschieht durch projektive Transformationen. Danach gilt {P I, P J } F JI { P I, P J} FJI {P I H, P J H} F JI { P I H, P J H } F JI {(I, 0), (A, a)} F JI {(I, 0), (B, b)} F JI P J H (A, a) und P JH (B, b). Da die Fundamentalmatrizen gleich sind, gilt: F JI [a] A [b] B a b F JI hat Rang 2, somit einen eindimensionalen linken Nullraum. Da sowohl a als auch b in diesem Nullraum liegen, gilt: a b.

10 Beweis (2) F JI [a] A = k[a] B [a] (A kb) =0 (A kb) =av T B (A av T ) ( ) ( ) B b A a } {{ } } {{ } P JH P J H ( ) ( ) I 0 I 0 } {{ } } {{ } P I H P I H ( I ) 0 v T µ ( I ) 0 v T µ

11 Beweis (3) ( ) P I 0 J P J H v T H 1 µ ( ) P I 0 I P I H v T H 1 µ } {{ } H 0 Die beiden Kamerapaare {P I, P J } und {P I, P J } mit gemeinsamer Fundamentalmatrix F JI stehen über eine projektive Transformation H 0 in Beziehung.

12 Projektive Invarianz und das kanonische Kamerapaar Kanonisches Kamerapaar aus gegebener Fundamentalmatrix 1 Eine Kamera (P J ) im Unendlichen {P I [I, 0], P J [[e JI ] F JI, e JI ]} } {{ } }{{} M m Repräsentant ( ) einer ganzen Äquivalenzklasse. Es gilt: eij P J = 0 0 [e JI ] [e JI ] F JI [e JI ] 2 F JI [ ] e JI e T JI (et JI e JI )I F JI F JI 2 Für zwei endliche Kameras wähle {P I [I, 0], P J [[e JI ] F JI + e JI }{{} v T, e JI ]} v beliebig 0 12 von 37

13 Freiheitsgrade Die beiden Kameramatrizen werden durch die Epipolargeometrie (F JI ) und durch die Raumhomographie festgelegt. Freiheitsgrade 22 Projektionsmatrizen P I und P J 2 (3 4 1) -15 projektive Transformation H (4 4 1) 7 Fundamentalmatrix 15 Freiheitsgrade der projektiven Transformation H 6 Bewegung im Raum (Rotation und Translation) +1 Skalenfaktor (Puppenhaus oder normales Haus?) 7 Ähnlichkeitstransformation 8 Metrische Rekonstruktion 3 Lage der unendlich fernen Ebene. +5 Absoluter Kegelschnitt oder sein Bild Kalibriermatrix

14 Projektive Invarianz und das kanonische Kamerapaar Zusammenfassung Fundamentalmatrizen der Kamerapaare {P I, P J } und {P I H, P J H} sind gleich. Umgekehrt: Falls die Fundamentalmatrizen der Kamerapaare {P I, P J } und {P I, P J } gleich sind, dann gilt H : P I P I H und P J P JH Kanonisches Kamerapaar bei gegebener Fundamentalmatrix: {P I (I, 0), P J ([e JI ] F JI + e JI }{{} v T, e JI )} v beliebig 14 von 37

15 Gliederung 8 Projektive Invarianz und das kanonische Kamerapaar Kanonisches Kamerapaar aus gegebener Fundamentalmatrix Freiheitsgrade Zusammenfassung Berechnung der Fundamentalmatrix (2) Affine Rekonstruktion Metrische Rekonstruktion Kruppa Gleichungen 15 von 37

16 von Kamera und Szene 16 von 37

17 von Kamera und Szene Fundamentalmatrix Kameras Triangulation Szene Korrespondenzen x i I xi J I x i I P I X i, x i J P JX i x I 01 J x J Schätzung der Fundamentalmatrix (mind. 7 Korrespondenzen) x it J F JI x i I =0 Mit Hilfe der Schätzung der Fundamentalmatrix Bestimmung weiterer Korrespondenzen (Genauigkeitserhöhung) Für jede gesicherte Bildpunktkorrespondenz: Berechnung des Raumpunktes durch Triangulation (Raumpunkte bis auf projektive Transformation H 1 ) viele Varianten möglich (evtl. Zusatzinformation vorhanden) Kamerakalibrierung, Bewegung der Kamera, a piori Szeneninformation

18 Berechnung der Fundamentalmatrix x T J F JI x I =0oder(x T J xt I )vec(f) =0 (x 1 J x1 I )T... vec(f) =0 } (x 8 J x8 I {{ )T } (8 9) Bei n Korrespondenzen [ ] vec(f) =0 } {{ } n 9 Matrix 18 von 37

19 Vorgehensweise Eigenwertzerlegung: Xf =0 f = vec(f) (X T X)f =0 α β V... ω VT α β... ω 0 f letzte Spalte von V SVD X USV T 19 von 37

20 Berechnung der Fundamentalmatrix aus 6 Korrespondenzen.. von denen vier aus koplanaren Punkten stammen. x i J H JI x i I, i =1,...,4 Berechnung von H JI (Homographie infolge einer Raumebene). x 5 J H JI x 5 I λ 5 J x 6 J H JI x 6 I λ 6 J da beide Punkte jeweils auf derselben Epipolarlinie liegen. λ 5 J λ6 J e JI F JI [e JI ] H JI 20 von 37

21 / Computer Vision I x i J xi I Fundamentalmatrix F JI Epipole e JI, e IJ Kanonisches Kamerapaar x {P I [I, 0], P J [[e JI ] F JI + e JI }{{} v T, e JI ]} v beliebig Triangulation: Raumpunkte X i Projektive Rekonstruktion bis auf H {P I, P J, X i } X x Metrisch: {P I H, P J H, H 1 X i } 21 von 37

22 3D projektive und metrische Rekonstruktion Projective Similarity 22 von 37

23 Verbleibende Freiheitsgrade Freiheitsgrade 15 Raumhomographie H (4 4 1) -6 Lage und Orientierung -1 Größe 8 Rest -3 Lage der unendlich fernen Ebene π -5 Bild des absoluten Kegelschnittes ω (Kalibriermatrix) 23 von 37

24 Weg zur affinen Rekonstruktion Nach Lokalisierung von π in der projektiven Rekonstruktion ( ) X i I 0 a π T X i } {{ } H 1 a ist affine Rekonstruktion. π T Xi =0 X i auf π 24 von 37

25 Affine Rekonstruktion Abbildung: Affine Rekonstruktionen 25 von 37

26 Sonderfall: reine Kameratranslation P I K(I, 0); P J K(I, c) e IJ e JI Kc F JI [e JI ] gleiche korrespondierende Epipolarlinien λ J F JI x I [e JI ] x I e JI x I e IJ x I } {{ } λ I 26 von 37

27 Sonderfall: reine Kameratranslation Kanonisches Kamerapaar P I ( I 0 ) ) ; P J ([e JI ] 2 e JI e T JI, e JI 2 e JI ( e JI 2 I, e JI 2 ) e JI P J ( ) I e JI,daFJI [e JI ] ( ) x X x 0 I x J Kx Gleiche Bildpunkte müssen also auf der u.f.e. triangulieren. Sie kann somit berechnet werden. 27 von 37

28 Sonderfall: reine Kameratranslation Mit P I ( I 0 ), P J ( ) I e JI und xi x J [( ) I ( X 0 T x I 0 T 1 ) ( ) 0 x T ( ) ]( I 1 I I 0 e T JI ( ) xi 0 Die unendlich ferne Ebene liegt also schon richtig. Es liegt eine affine Rekonstruktion vor. X [P ] + I x I C T I C I x T I P +T P T J l J, P T J [x J] p = π } {{ } Plückermatrix des Rückstrahls ) [x I ] p Die Ebene ist parallel zum Rückstrahl. Beide treffen sich im Unendlichen. 28 von 37

29 Sonderfall: reine Kameratranslation Ergebnis (Reine Translation) Bei einer reinen Kameratranslation ohne Änderung der internen Kameraparameter und ohne Rotation gilt F [e JI ] [e IJ ]. Zur affinen Rekonstruktion können die beiden Kameras P IJ [I 0] und P J [I e JI ]gewählt werden. 29 von 37

30 Metrische Rekonstruktion.. wird erreicht durch eine affine Transformation nach der affinen Rekonstruktion (damit die u.f.e. erhalten bleibt), welche den absoluten Kegelschnitt in Normalform bringt. ( ) A 0 H 0 T, P ( M m ), PH ( MA m ) 1 Endgültige (metrische) Rekonstruktion: H 1 X i a ω MAA T M T AA T M 1 ω M T (M T ωm) 1 ω muss bekannt sein. ω (KK T ) 1 Kalibriermatrix 30 von 37

31 Metrische Rekonstruktion 31 von 37

32 Bedingungen zur Berechnung von ω bei konstanter Kalibriermatrix (bewegte Kamera). P I K ( I 0 ) ; P J KR ( I c ) Punkte im Unendlichen: X ( x T 0 ) T x I P I X Kx; x J P J X KRx x J } KRK {{ 1 } H JI x I H JI KRK 1 H JI K KR Elimination von R H JI ω { }} { KK T H T JI KK T

33 Elimination von R H JI ω { }} { KK T H T JI = KK T nach Normierung mit der Determinante! det(h JI )=1 Bei bekannter Homographie H JI für ω (K) dar. Reicht sie aus? Leider Nein. stellt dies eine Matrix-Gleichung (H JI H JI } {{ } ) vec(kk T ) = vec(kk T ) } {{ } } {{ } 9 9 k k H (2) JI } {{ } 6 6 κ = κ Eigenwertproblem 33 von 37

34 EW von R J : { e iθ, e iθ, 1 }... von H { JI e iθ, e iθ, 1 } {... von H (2) JI e i2θ, 1, e iθ, e i2θ, e iθ, 1 } Doppelter Eigenwert 1 κ liegt in einem 2-dimensionalen Eigenraum. Die Gleichung ist nicht ausreichend zur eindeutigen Berechnung von κ. 34 von 37

35 In der Tat: mit a Rotationsachse von R folgt aus H JI K = KR H JI H JI (KaaT K T ) } {{ } Rang 1 Ka = Ka H T JI = Kaa T K T sowohl KK T,alsauchKaa T K T sind Lösungen von H JI XH T JI = X mit X symmetrisch jede Linearkombination von KK T und Kaa T K T löst auch obige Gleichung. Lsg Mit einem zweiten Bildpaar (oder einem dritten Bild) lässt sich die Mehrdeutigkeit beheben. (Selbstkalibrierung mit Hilfe der u.f.ebene) 35 von 37

36 Die Kruppa Gleichungen Aus H JI ω H T JI ω [e JI ] H JI ω H T JI [e JI ] T [e JI ] ω [e JI ] T Ergebnis (Kruppa-Gleichungen) F JI ω F T JI [e JI ] ω [e JI ] T Normierung mit der Determinante jetzt nicht mehr möglich, da sie Null ist! F enthält auch metrische Information! Zwei skalare Gleichungen pro Fundamentalmatrix ( Polynom 12.-ten Grades in einer Variablen bei drei Fundamentalmatrizen) 36 von 37

37 Die Kruppa Gleichungen x W X x e e O / / O C / / C C π C C l l e l l x x x / / / / x / e / 37 von 37