Computer Vision I. Nikos Canterakis. Lehrstuhl für Mustererkennung, Universität Freiburg

Transkript

1 Nikos Canterakis Lehrstuhl für Mustererkennung, Universität Freiburg

2 Gliederung 7 Projektionen und Rückprojektionen Der Punkt Die Gerade Die Quadrik Die Ebene Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Das Bild des absoluten Kegelschnittes Das duale Bild des absoluten Kegelschnittes Kalibriermatrix Kalibrierung mittels bekannter Homographien Fluchtpunkte Eingeschränkte Kalibriermatrix aus 3 Fluchtpunkten orthogonaler Richtungen Kamera Rotation - Panoramabilder 2 von 44

3 Projektionen und Rückprojektionen Gliederung 7 Projektionen und Rückprojektionen Der Punkt Die Gerade Die Quadrik Die Ebene Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Das Bild des absoluten Kegelschnittes Das duale Bild des absoluten Kegelschnittes Kalibriermatrix Kalibrierung mittels bekannter Homographien Fluchtpunkte Eingeschränkte Kalibriermatrix aus 3 Fluchtpunkten orthogonaler Richtungen Kamera Rotation - Panoramabilder 3 von 44

4 Projektionen und Rückprojektionen Der Punkt - Projektion Ein Raumpunkt X wird über die Kamera P auf einen Bildpunkt U abgebildet: U PX 4 von 44

5 Projektionen und Rückprojektionen Der Punkt - Rückprojektion Die Rückprojektion ergibt einen Strahl vom Kamerazentrum C durch U. Parametrisierte Darstellung des Strahls: X P + U + Cλ P + ist die Pseudoinverse von P In Plücker Koordinaten: L P + UC T CU T P +T. 5 von 44

6 Projektionen und Rückprojektionen Pseudoinverse Wir können uns PX = U als unterbestimmtes Gleichungssytem vorstellen. P + U = X 0 ergibt eine Lösung mit kleinster Norm und kleinstem Fehler. PX 0 U PX U und bei Gleichheit: X 0 < X Berechnung: Zeilenregulär, Rechtsinverse: SVD: Eigenschaften in diesem Fall P + = P T (PP T ) 1 P = UDV T P + = VD + U T PP + = I 3 3 P + P I 4 4 PX = P(P + U + Cλ) =U 6 von 44

7 Projektionen und Rückprojektionen Fluchtpunkte Die Fluchtpunkte im Bild, sind Bilder von Punkten im Unendlichen. Für diese gilt: ( x U P 0 ) KRx Dabei ist x die Richtung des Punktes im Unendlichen. 7 von 44

8 Die Gerade - Projektion Sei eine Gerade im Raum mit ihren Plücker-Koordinaten L AB T BA T gegeben. Die Gerade geht durch die Raumpunkte A und B. a PA bzw. b PB sind die Bilder von A bzw. B. M PLP T ab T ba T [a b] M ist eine antisymmetrische 3 3 Matrix mit Nullraum a b. Das Bild l der Geraden schneidet die Punkte a und b. Es gilt l a b, zusammen: [l] PLP T Das Ergebnis [l] ab T ba T wird auch durch einfache Umformung ersichtlich.

9 Projektionen und Rückprojektionen DieGerade-Rückprojektion L l π C Eine Gerade l wird auf eine Ebene rückprojiziert. π P T l 9 von 44

10 Projektionen und Rückprojektionen Die Quadrik - Projektion. Für Ebenen π tangential zu Q (duale Quadrik) gilt: π T Q π =0 Ist π gleichzeitig die Rückprojektion einer Linie l, so gilt π P T l. Eingesetzt ergibt sich: l T (PQ P T } {{ } C )l =0 Alle Rückprojektionen von Tangenten am (dualen) Kegelschnitt C sind Tangentialebenen an der (dualen) Quadrik Q. C ist das Bild der Quadrik. 10 von 44

11 Projektionen und Rückprojektionen Die Quadrik - Rückprojektion. Ein Kegelschnitt C wird auf eine degenerierte Quadrik (einen Kegel) Q rückprojiziert mit Denn Q P T CP U T CU X T P T CPX =0. Die Bilder U der Punkte X auf Q liegen auf C. DaRang(P) = Rang(C) = 3, ist auch der Rang von Q drei (degenerierte Quadrik). 11 von 44

12 Projektionen und Rückprojektionen Die Ebene - Projektion. Für Punkte auf der Ebene gilt: π T X =0 X π x x } {{ } π Die Spalten von π bestehen aus drei beliebigen (nicht kollinearen) Punkten auf der Ebene π. Jede Linearkombination liegt wieder auf der Ebene. 12 von 44

13 Projektionen und Rückprojektionen Ebenenhomographie Für die Bildpunkte U der Ebene π gilt: U PX Pπ } {{ } x H H Pπ ist eine 3 3 Matrix, die eine Homographie darstellt. Ebenenhomographie. Geht π durch das Projektionszentrum C, so gilt: c : π c C Pπ c PC =0 c ist Nullvektor von H Rang(H) =2. 13 von 44

14 Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Gliederung 7 Projektionen und Rückprojektionen Der Punkt Die Gerade Die Quadrik Die Ebene Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Das Bild des absoluten Kegelschnittes Das duale Bild des absoluten Kegelschnittes Kalibriermatrix Kalibrierung mittels bekannter Homographien Fluchtpunkte Eingeschränkte Kalibriermatrix aus 3 Fluchtpunkten orthogonaler Richtungen Kamera Rotation - Panoramabilder 14 von 44

15 Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes ( ) x Ein Punkt auf der unendlich fernen Ebene liegt auf 0 dem absolutem Kegelschnitt, wenn x T x =0. (1) Er wird auf den Bildpunkt U folgendermaßen abgebildet: ( ) ( ) x x P KR(I ; c) KRx U 0 0 x R T K 1 U 15 von 44

16 Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes x R T K 1 U (2)? Wie sieht nun das Bild des absoluten Kegelschnittes aus? Projektive Transformationen erhalten Koinzidenzen. Ein Punkt auf einem Kegelschnitt liegt nach einer Projektivität auf dem Bild des Kegelschnitts (wieder ein Kegelschnitt).! Für einen Punkt auf dem absoluten Kegelschnitt und seinen Bildpunkt U gelten Gleichungen (1) und (2). Sie ergeben: U T K T RR T K 1 U = U T (KK T ) 1 U =0 } {{ } ω 16 von 44

17 Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Das Bild des absoluten Kegelschnittes Ergebnis (IAC) ω =(KK T ) 1 ist das Bild des absoluten Kegelschnittes. Das Bild des absoluten Kegelschnittes ist unabhängig von R. KK T ω heißt Kruppa-Matrix. Kennt man das Bild des absoluten Kegelschnittes, kann man die Kalibriermatrix K über die Cholesky Faktorisierung berechnen. IAC ist ein Punktkegelschnitt, der keine reellen Punkte enthält. 17 von 44

18 Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Das duale Bild des absoluten Kegelschnittes Ergebnis (DIAC) ω KK T ist das duale Bild des absoluten Kegelschnittes DIAC ist ein dualer (Linien-)Kegelschnitt. Er ist das Bild der absoluten dualen Quadric Q und wird durch ω PQ PT abgebildet. 18 von 44

19 Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Kalibriermatrix Was erhalten wir durch die Kalibrierung? Ist K bekannt, so können Winkel zwischen Rückstrahlen gemessen werden. Ein Bildpunkt x wird auf einen Strahl durch x und C rückprojiziert. Kalibrierung verbindet den Bildpunkt mit der Strahlrichtung. Sei P K(I, 0), so stimmen Welt und Kamerakoordinatensystem überein. Das Projektionszentrum ist im Ursprung. Dann gilt für Punkte auf dem Rückstrahl: ( ) d X λ PX x Kd d K 1 x 19 von 44

20 Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Kalibriermatrix Ergebnis Die Kalibriermatrix K der Kamera ist die (affine) Transformation zwischen Bildpunkten x und der Rückstrahlrichtung d K 1 x. 20 von 44

21 Kalibriermatrix zur Berechnung von Winkeln d 1 cos(θ) = d T 1 d 2 d T 1 d 1 d T 2 d 2 C θ x 1 x 2 d2 = d T 1 Ω d 2 d T1 Ω d 1 d T 2 Ω d 2 Abbildung: Winkel zwischen zwei Strahlen. = x T 1 (K T K 1 )x 2 x T1 (K T K 1 )x 1 x T 2 (K T K 1 )x 2 = x T 1 ωx 2 x T 1 ωx 1 x T 2 ωx 2 Invarianz x Hx; ω H T ωh 1 deshalb invariant unter einer projektiven Transformation H.

22 Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Bemerkung zur Rückprojektion von Geraden π P T l ( I π c T P KR(I, c) ) ( R T K T R l T K T l c T R T K T l ) π Ebene durch das Kamerazentrum ((c T 1)π =0) n R T K T l Normale der Ebene Ergebnis Eine Bildgerade definiert eine Ebene π durch das Kamerazentrum mit Normalenrichtung n R T K T l. 22 von 44

23 Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Orthogonalität und ω 1 Konjugierte Punkte Seien x 1 und x 2 Bildpunkte, die auf orthogonale Strahlen rückprojiziert werden, dann gilt: x T 1 ωx 2 =0 x 1 und x 2 sind konjugierte Punkte bzgl. der Polarität ω. x 2 Pol-Polare Beziehung l ωx l ist die Fluchtlinie von Ebenen, die senkrecht auf n stehen, mit n R T K T l (KRn x) ω ω x1 l x 2 image image 23 von 44

24 Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Ergebnis Der Fluchtpunkt der Normalenrichtung einer Ebene und die Fluchtlinie der Ebene sind pol-polar bzgl. IAC, des Bildes des absoluten Kegelschnittes ω. 24 von 44

25 Gliederung 7 Projektionen und Rückprojektionen Der Punkt Die Gerade Die Quadrik Die Ebene Zusammenhang Kalibriermatrix - Bild des absoluten Kegelschnittes Das Bild des absoluten Kegelschnittes Das duale Bild des absoluten Kegelschnittes Kalibriermatrix Kalibrierung mittels bekannter Homographien Fluchtpunkte Eingeschränkte Kalibriermatrix aus 3 Fluchtpunkten orthogonaler Richtungen Kamera Rotation - Panoramabilder 25 von 44

26 Das Bild des absoluten Kegelschnittes besitzt 5 Freiheitsgrade. Wir benötigen zur Berechung also 5 skalare Informationen. Diese erhalten wir aus Informationen über die Kalibriermatrix.... Wissen über Fluchtpunkte orthogonaler Richtungen.... bekannten Homographien von 44

27 Kalibrierung mittels bekannter Homographien Abbildung: Kalibrierung mit metrischen Ebenen. Das Bild dreier Quadrate in allgemeiner Lage im Raum liefert genügend Bedingungen zur Berechnung von K. Die Korrepsondenzen zwischen den Ecken eines Quadrates und ihrem Bild liefert eine Homographie (Ebene Bildebene). 27 von 44

28 Kalibrierung mittels bekannter Homographien In unserem Beispiel wählen wir für den Punkt A 1 die homogenen Koordinaten ( ) T (Ursprung). Sei H 1 die Homographie, die das erste Quadrat auf die Bildebene abbildet, dann gilt für die Eckpunkte: ( H ) T 1 A1 ( H ) T 1 B1 ( H ) T 1 C1 ( H ) T 1 D1 Man erhält 8 Gleichungen, aus denen man H 1 berechnen kann. 28 von 44

29 Drei Quadrate drei Homographien H i, i {1, 2, 3}. Jede der Ebenen schneidet die unendlich ferne Ebene in der unendlich fernen Geraden der Ebene. Diese schneidet den absoluten Kegelschnitt in den Zirkularpunkten der Ebene. 1 H 1 j ist ein Punkt auf seinem Bild ω. 0 (2 Zirkularpunkte je Ebene) 3 Homographien 6 Punkte auf dem Bild des absoluten Kegelschnittes H 1 ±j, H 2 ±j, H 3 ±j Ausdiesenlassensichdannω (KK T ) 1 und K berechnen. 29 von 44

30 Fluchtpunkte x/ x C v/ v D X 1 X 2 X 3 X 4 X Abbildung: Die Fluchtpunkte auf der Bildebene sind die Schnittpunkte der Bildebene mit einem Strahl, der parallel zur Weltgeraden ist und durch das Kamerazentrum geht. 30 von 44

31 Fluchtpunkte Strahl: X (λ) A + λd, D = ( d T 0 ) T Strahl durch A mit Richtung D mit λ =0 X (0) A Unter Abbildung mit der allg. projektiven Kamera P KR[I c] x(λ) PX(λ) PA + λpd a + λkrd Fluchtpunkte: v ist der Grenzpunkt x(λ) für λ.erist unabhängig vom Punkt A. v lim x(λ) lim (a/λ + KRd) KRd λ λ Anmerkung: In der projektiven Geometrie des P 3 ist die unendlich ferne Ebene die Ebene der Richtungen. Alle Geraden mit gleicher Richtung treffen sich im selben Punkt.

32 x/ x C v/ v D X 1 X 2 X 3 X 4 X Ergebnis Der Fluchtpunkt von Geraden mit Richtung d im P 3 ist der Schnitt v der Bildebene mit einem Strahl der Richtung d durch das Kamerazentrum. 32 von 44

33 Computer Vision I Eingeschränkte Kalibriermatrix aus 3 Fluchtpunkten orthogonaler Richtungen (a) Bild (b) Mengen orthogonaler Geraden (c) Fluchtpunkte mit Hauptpunkt 33 von 44

34 Eingeschränkte Kalibriermatrix aus 3 Fluchtpunkten orthogonaler Richtungen Im Beispiel schränken wir die Kalibriermatrix folgendermaßen ein: Schiefe s =0 Die Pixel seien quadratisch Zwei Bedingungen an ω gegeben Somit hat K die Form f 0 h 1 K 0 f h 2, K ω 1 0 ω 2 ω (KK T ) 1 hat die Form 0 ω 1 ω 3 ω 2 ω 3 ω h h f 34 von 44

35 Der Fluchtpunkt aller Geraden mit Richtung d ist v KRd. v 1 KRd 1 v 2 KRd 2 v 3 KRd 3 d 1 R T K 1 v 1 d 2 R T K 1 v 2 d 3 R T K 1 v 3 d i T d j =0für i j für orthogonale Richtungen (d i d j ): d T 1 d 2 =0 v T 1 K T RR } {{ T } K 1 v 2 =0 I ω =(KK T ) 1 35 von 44

36 Insgesamt ergeben sich drei Gleichungen: v 1 T ωv 2 =0 v 2 T ωv 3 =0 v 3 T ωv 1 =0 Da die eingeschränkte Kalibriermatrix und damit auch ω nur drei Parameter enthält, sind das genug Bedingungen zur Berechnung von ω. Mit ω (KK T ) 1 kann die Kalibriermatrix K mit Hilfe der Cholesky-Zerlegung berechnet werden. 36 von 44

37 Hauptpunkt calibrating conic 01 v 01 3 calibrating conic v 3 v 1 c c v v 1 2 v 1 v 2 Abbildung: Geometrische Konstruktion des Hauptpunktes 37 von 44

38 Das duale Bildes des absoluten Kegelschnitts: f 2 + h 2 ω KK T 1 h 1 h 2 h 1 h 1 h 2 f 2 + h2 2 h 2 h 1 h 2 1 Das Bild des absoluten Kegelschnitts: 1 0 h 1 ω (KK T ) h 2 h 1 h 2 h1 2 + h2 2 + f 2 ( I2 h ) h T h T h + f 2 38 von 44

39 Skaliere alle v i, so dass die dritte Komponente gleich 1 ist. ( T v1 1 ) ( )( ) I 2 h v2 h T h T h + f 2 =0 (3) 1 und ( v1 T 1 ) ( )( ) I 2 h v3 h T h T h + f 2 =0 1 (4) Zieht man jetzt Gleichung (4) von Gleichung (3) ab, erhält man ( v1 T 1 ) ( )( ) I 2 h v2 v 3 h T h T h + f 2 = 0 0 ( v1 T 1 ) ( ) v 2 v 3 h T = 0 (v 2 v 3 ) v T 1 (v 2 v 3 ) h T (v 2 v 3 ) = 0 (v 1 h) T (v 2 v 3 ) = 0 39 von 44

40 Auf diese Weise kann man aus den Fluchtpunkten den Hauptpunkt h konstruieren. Er ist der Schnittpunkt der Höhen des Dreiecks (v 1 v 2 v 3 ) (Orthozentrum). Die Fluchtlinie l 3 wird auf π mit Normale n rückprojiziert. Der Fluchtpunkt v 3 wird auf einen Strahl orthogonal zur Ebene π rückprojiziert. n v 3 l 3 v C 3 p x π image plane l 2 p l 1 v 1 l 3 x v 2 Abbildung: Geometrische Konstruktion des Hauptpunktes (hier p) 40 von 44

41 Die Fokale Länge f kann wie folgt berechnet werden: 0 = ( v 1 1 ) ( ) v2 ω 1 0 = ( v 1 1 ) ( I 2 h h T h T h + f 2 0 = ( v 1 1 ) ( v 2 h h T v 2 + h T h + f 2 0 = v 1 T (v 2 h) h T (v 2 h)+f 2 f 2 = (v 1 h) T (v 2 h) )( v2 1 ) ) 41 von 44

42 Kamera Rotation - Panoramabilder Dreht man zwischen zwei Aufnahmen die Kamera um das Projektionszentrum und verändert die Position der Kamera und die Kalibriermatrix K nicht, so erhält man für Bildpunkte, die mit dem selben Raumpunkt korrespondieren: U K ( I c ) } X U KR ( I c ) U (KRK 1 X } {{ })U H H ist dabei die sog. Homographie infolge der unendlich fernen Ebene. 42 von 44

43 Sei X ein Punkt auf π. Er wird folgendermaßen von zwei Kameras, welche sich voneinander nur durch eine allgemeine Bewegung unterscheiden, abgebildet: U K ( I U KR ( I c 1 ) ( x 0 c 2 ) ( x 0 ) ) U (KRK } {{ 1 })U H Zwischen U und U besteht wieder die Homographie H,dieüber π induziert wird. Hat man diese berechnet, so kann man die Bilder, die mit gedrehter Kamera aufgenommen worden sind, zu einem Bild zusammenfügen, indem man die fehlenden Bildpunkte des einen Bildes in das andere überträgt. 43 von 44

44 Mindestens 4 Korrespondenzen zur Berechnung von H nötig. (man kann alle Punkte folgender Bilder auf das erste zurückführen) H = KRK 1 (konjugierte Rotation) hat die gleichen Eigenwerte wie R, also1, e ±jφ Kennt man H, so kann man daraus den Drehwinkel φ von R berechnen. Ist a die Drehachse von R, d.h.ra = a, dann ist K a der Eigenvektor von H zum Eigenwert 1. H (Ka) =KRK 1 (Ka) =KRa = Ka Ka ist der Fluchtpunkt der Rotationsachse. 44 von 44