Computer Vision I. Nikos Canterakis. Lehrstuhl für Mustererkennung, Universität Freiburg

Transkript

1 Nikos Canterakis Lehrstuhl für Mustererkennung, Universität Freiburg

2 Gliederung 6 Endliche Kameras Die Lochkamera Die Projektive Kamera Die projektive Kamera Spalten von P Zeilen von P Hauptpunkt und Hauptachse Abstand zwischen Ursprung und Kamerazentrum Die unendliche Kamera Bewegung der Kamera in Richtung der Hauptachse Zoomen Hierarchie der affinen, unendlichen Kameras Affine Kamera 2 von 39

3 Endliche Kameras Gliederung 6 Endliche Kameras Die Lochkamera Die Projektive Kamera Die projektive Kamera Spalten von P Zeilen von P Hauptpunkt und Hauptachse Abstand zwischen Ursprung und Kamerazentrum Die unendliche Kamera Bewegung der Kamera in Richtung der Hauptachse Zoomen Hierarchie der affinen, unendlichen Kameras Affine Kamera 3 von 39

4 Endliche Kameras Die Lochkamera Y C camera centre X x p y x image plane X Z principal axis C Y f p f Y / Z Z Abbildung: Die Lochkamera. 4 von 39

5 Endliche Kameras Die Lochkamera Y C camera centre X y x p x image plane X Z principal axis C Y f p f Y / Z Z Die Lochkamera ist eine Abbildung des 3D-Raumes auf das 2D-Bildkoordinatensystem durch eine Zentralprojektion. Ein Weltpunkt X ( x y z 1 ) T wid dabei auf einen Punkt U E = f ( ) T z x y z auf der Bildebene abgebildet. Es entsteht der Bildpunkt u = f ( ) T z x y. 5 von 39

6 Endliche Kameras Die Lochkamera Y C camera centre X y x p x image plane X Z principal axis C Y f p f Y / Z Z Darstellung als Matrixmultiplikation mit homogenen Koordinaten: ( ) ( ) x x u = f fx f z y fy = 0 f 0 0 y 1 z 1 z von 39

7 Endliche Kameras Die Lochkamera Y C camera centre X y x p x image plane X Z principal axis C Y f p f Y / Z Z p ist der Hauptpunkt. Die Hauptebene ist die Ebene parallel zur Bildebene durch C. 0 f beschreibt die fokale Länge. p E = 0 f 7 von 39

8 Endliche Kameras Verschiebung des Kamerakoordinatensystems Verschiebt man das Koordinatensystem in der Kameraebene um ( hu h v ) T, so gilt für den Bildpunkt: u = f z und ( ) u = 1 ( x y ) ( ) ( f hu + = z x + h u h f v z y + h v f z x + h u f z y + h v 1 f 0 h u 0 f h v fx + h u z fy + h v z z x y z 1 ) h v y x p Abbildung: Verschiebung des Koordinatensystems h u 8 von 39

9 Endliche Kameras f 0 h u K 0 f h v Ergebnis Die 3 4 Kameramatrix P bildet einen Weltpunkt X (4 1)auf einen Bildpunkt U (3 1) ab. U PX U K [I 0] X (bisher) Die 3 3MatrixK wird Kalbibriermatrix genannt. 9 von 39

10 Endliche Kameras 3D-Translation und Rotation der Kamera Ycam Z C Zcam X cam R, t O Y Abbildung: Euklidische Transformation zwischen Welt und Kamerakoordinatensystem X 10 von 39

11 Endliche Kameras 3D-Translation und Rotation der Kamera Wird die Kamera im Raum bewegt, wird ein Weltpunkt im Weltkoordinatensystem durch ( ) R Rc X 0 T X 1 transformiert. ( ) c C ist das Kamerazentrum (Projektionszentrum) 1 einer projektiven Kamera im Weltkoordinatensystem. Es ist der einzige Punkt im Raum, der kein Bild hat: PC = 0. (Natürlich nur unter der theoretischen Annahme, dass die Kamera nach allen Seiten sieht.) 11 von 39

12 Endliche Kameras Für die Kameramatrix ergibt sich: ( R Rc u K (I 0) 0 T 1 ) X K(R Rc)X Ergebnis (Lochkamera) u KR(I ; c) X } {{ } P Die Kameramatrix P einer Lochkamera besitzt 9 Freiheitsgrade. 12 von 39

13 Endliche Kameras Die Projektive Kamera Projektive Kameras können aus nicht quadratischen Pixeln aufgebaut sein. Dies verändert die Kalibriermatrix K zu k u s h u K k v h v 1 Dabei bezeichnet s die Schiefe, die bei rechtwinkligen Pixeln Null ist. In der Regel ist der Parameter s nahe Null. k u /k v ist das Verhältnis zwischen den Seitenlängen der Pixel. k u = m x f, k v = m y f ist die fokale Länge in Pixel-Koordinaten in x- bzw. y-richtung. 13 von 39

14 Eigenschaften der Kameramatrix Die Kameramatrix P K 3 3 R 3 3 [I c] 3 4 [M 3 3 p 3 1 ] beschreibt die allgemeine projektive Kamera. Jede 3 4MatrixP beschreibt eine endliche projektive Kamera, falls die Submatrix M nicht singulär ist. Bei einer endlichen projektiven Kamera befindet sich das Kamerazentrum im Endlichen: C ( c T 1 ) T. P 3 4 hat 11 Freiheitsgrade. (= 12 Parameter 1 Skalenfaktor ) Für Kameras im Unendlichen ist M singulär und C ( c T 0 ) T. Zu diesem Kameratyp zählt die affine Kamera. Sie stellt eine Verallgemeinerung der Parallelprojektion dar.

15 Endliche Kameras Berechnung von P, K, R, C Sei P (M, p). M ist 3 3 Matrix und p ein 3 1Spaltenvektor. M KR MM T = KRR } {{ T } K T = KK T I K ist eine obere Dreiecksmatrix und kann aus KK T mittels Cholesky-Zerlegung berechnet werden. R K 1 M C ist Nullraum von P 15 von 39

16 Endliche Kameras Zerlegung von K k u s h u k u 0 0 KK T = 0 k v h v s k v h u h v 1 ku 2 + s2 + h 2 u sk v + h u h v h u = kv 2 + h2 v h v 1 16 von 39

17 DieprojektiveKamera Gliederung 6 Endliche Kameras Die Lochkamera Die Projektive Kamera Die projektive Kamera Spalten von P Zeilen von P Hauptpunkt und Hauptachse Abstand zwischen Ursprung und Kamerazentrum Die unendliche Kamera Bewegung der Kamera in Richtung der Hauptachse Zoomen Hierarchie der affinen, unendlichen Kameras Affine Kamera 17 von 39

18 DieprojektiveKamera Die projektive Kamera - Spalten von P Ziel dieses Abschnittes ist, die geometrische Bedeutung der verschiedenen Komponenten von P zu klären. p 3 Z C p 2 O Y p 1 Abbildung: Die Bildpunkte, die durch die ersten drei Spalten von P gegeben sind, sind die Fluchtpunkte der Richtungen der Weltachsen. X 18 von 39

19 DieprojektiveKamera Die projektive Kamera - Spalten von P Betrachten wir zunächst die Spalten von P ( p 1 p 2 p 3 p 4 ). Die Spaltenvektoren p 1, p 2, und p 3 sind die Bilder der Fluchtpunkte der x, y und z-richtung. p 1 P ( ) T p 2 P ( ) T p 3 P ( ) T p 4 P ( ) T p 4 ist das Bild des Weltkoordinatenursprungs. 19 von 39

20 DieprojektiveKamera Zeilen von P y x 2 P P 3 y x principal plane Abbildung: Die ersten zwei Zeilen von P charakterisieren die Ebenen, die als Rückprojektionen der Bildkoordinatenacsen entstehen. Die dritte Zeile ist die Hauptebene. 20 von 39

21 DieprojektiveKamera Zeilen von P Die Zeilen von P werden im folgenden mit π T i P ( π 1 π 2 π 3 ) T bezeichnet. Zur geometrischen Deutung der Zeilen π T i stellen wir zunächst fest: Eine Gerade l in der Bildebene wird durch die Rückprojektion auf eine Ebene im Raum abgebildet. L l π C 21 von 39

22 Zeilen von P Ergebnis (Rückprojektion einer Bildgeraden) Sei l eine Bildgerade, so stellt ihre Rückprojektion eine Ebene im Raum dar, mit π T l T P bzw. π P T l. Beweis. Sei x ein Punkt auf der Ebene π im Raum. π sei die Rückprojektion der Linie l in der Bildebene. Dann gilt: π T x = 0 und l T Px =0, da die Projektionen aller Punkte der Ebene auf der Geraden liegen. Also gilt π T x = l T Px π T l T P

23 DieprojektiveKamera Zeilen von P Es folgt für die Zeilen π T i der Matrix P: π T 1 ( ) P π 1 ist die Rückprojektion der y-achse l = ( ) T (x = 0) der Bildebene. π T 2 ( ) P π 2 ist die Rückprojektion der x-achse l = ( ) T (y = 0) der Bildebene. lt { }} { π T 3 ( ) P π3 ist die Rückprojektion der unendlich fernen Geraden der Bildebene. Dies ist die Hauptebene, die Ebene parallel zur Bildebene durch das Projektionszentrum C. 23 von 39

24 DieprojektiveKamera Hauptpunkt und Hauptachse P [M p 4 ] mit M = KR DadieletzteZeilevonK die Form k T 3 ( ) besitzt, gilt: k u s h u r T 1... M KR = 0 k v h v r2 T = r3 T r3 T r3 T ist die 3. Zeile der Rotationsmatrix R. M kann wie folgt geschrieben werden. m T 1 m T M m T 1 2 = m T m T 2 3 r3 T 24 von 39

25 Hauptpunkt und Hauptachse Normalisierung von M = ( m 1 m 2 ) T m 3 und damit auch von P durch m 3 =1unddet(M) > 0. (1) Dadurch ist m 3 ein Einheitsvektor in Richtung der Hauptachse. Diese Richtung wird auf den Hauptpunkt abgebildet: ( ) < r 1, r 3 > 0 h u m3 P = KRr 0 3 = K < r 2, r 3 > = K 0 = h v < r 3, r 3 > 1 1 Ergebnis (Hauptachse) m 3 gibt die Richtung ( der ) Hauptachse an, die auf den Hauptpunkt m3 projiziert wird. ist der Schnittpunkt der Hauptachse mit 0 der unendlich fernen Ebene.

26 DieprojektiveKamera Abstand zwischen Ursprung und Kamerazentrum X C m 3 X. m 3 Abbildung: Tiefe eines Punktes Bei normalisiertem M (Folie 25) stellt r 3 die Hauptachse dar (r 3 = m 3 ). r1 T r1 T c P = KR [I c] =K r2 T r2 T c r3 T c r T 3 P 3 4 = mt 3 c 26 von 39

27 DieprojektiveKamera Abstand zwischen Ursprung und Kamerazentrum Durch die Normalisierung gilt: m 3 T ist ein Einheitsvektor in Richtung der Hauptachse. Dies führt zu folgendem Ergebnis: Ergebnis (Abstand) d 0 ist der Abstand zwischen Ursprung und Kamerazentrum in Richtung der Hauptachse mit P 3 4 = mt 3 c = d von 39

28 Die unendliche Kamera Gliederung 6 Endliche Kameras Die Lochkamera Die Projektive Kamera Die projektive Kamera Spalten von P Zeilen von P Hauptpunkt und Hauptachse Abstand zwischen Ursprung und Kamerazentrum Die unendliche Kamera Bewegung der Kamera in Richtung der Hauptachse Zoomen Hierarchie der affinen, unendlichen Kameras Affine Kamera 28 von 39

29 Die unendliche Kamera Die unendliche Kamera Im folgenden soll die affine Kamera hergeleitet werden. Schritte: 1 Wegbewegen der Kamera in Richtung der Hauptachse 2 Heranzoomen, so dass ein Objekt seine Größe beibehält 29 von 39

30 Die unendliche Kamera Bewegung der Kamera in Richtung der Hauptachse Bei einer Bewegung des Kamerazentrums entlang der Hauptachse um den Parameter t gilt: c c tr 3 Somit verändert sich die Kameramatrix P wie folgt: r1 T r1 T (c tr 3) P KR [I c] K r2 T r2 T (c tr 3) K r3 T r3 T (c tr 3) r1 T r2 T r3 T r1 T c r2 T c t r3 T c (*) Der Übergang folgt auf Grund der { Orthogonalität zwischen 1, falls i = j den r i < r i, r j >= δ ij mit δ ij = 0sonst 30 von 39

31 Die unendliche Kamera Bewegung der Kamera in Richtung der Hauptachse Ergebnis (Verschiebung entlang der Hauptachse) Bei einer Verschiebung entlang der Hauptachse um t verändert sich P 3 4 auf d = t rt 3 c 31 von 39

32 Die unendliche Kamera Zoomen Falls t größer wird, wird das Bild kleiner. Um diesen Effekt auszugleichen erhöhen wir die Fokallänge. K K d d 0 d d 0 1, so dass die Größe des Bildes konstant bleibt. 1 r1 T c P K 1 R r2 T c K d d 0 d r T 1 r T 2 r T 1 c r T 2 c d 0 d r 3 T d 0 32 von 39

33 Die unendliche Kamera Abbildung: Wenn sich Fokallänge sowie Abstand der Kamera vergrößern, bleibt die Bildgröße gleich. Der perspektivische Effekt verschwindet perspective weak perspective increasing focal length increasing distance from camera 33 von 39

34 Die unendliche Kamera Weg zur affinen Kamera Mit d erhalten wir die affine Kamera (das Projektionszentrum liegt im Unendlichen) P K r T 1 r T 2 r T 1 c r T 2 c 0 T d 0 Punkte im Unendlichen werden auf Punkte im Unendlichen abgebildet (affine Eigenschaft). 34 von 39

35 Die unendliche Kamera Hierarchie der affinen, unendlichen Kameras Die affine Kamera kann in ( K2 2 0 P 0 T 1 zerlegt werden. )( R2 3 t 0 T 1 ) 35 von 39

36 Die unendliche Kamera Parallelprojektion Sei R 2 3 = ( ) und t = 0 dann erhält man für P die Matrix Die z Komponenten der Punkte fallen weg. 36 von 39

37 Orthographische Projektion Wählt man R 2 3 und t allgemein, erhält man eine allgemeine orthographische Projektion. Sie hat die Form: r T 1 t 1 P r2 T t 2 0 T 1 Diese hat 5 Freiheitsgrade. Kommt zusätzlich noch eine Skalierung hinzu, k r T 1 t 1 P k r2 T t 2, 1 0 T 1 spricht man von einer skalierten orthographischen Projektion. Diese hat 6Freiheitsgrade.

38 Die unendliche Kamera Schwach perspektivische Kamera - affine Kamera Ist die Skalierung in x und y Richtung verschieden, erhält man α x r T 1 t 1 P α y r2 T t 2, 1 0 T 1 und damit die schwach perspektivische Kamera. Bei der affinen Kamera kommt noch die Schiefe s hinzu: α x s r T 1 t 1 P A α y r2 T t 2, 1 0 T 1 Die affine Kamera hat 8Freiheitsgrade. 38 von 39

39 Die unendliche Kamera Affine Kamera - Eigenschaften Das Zentrum liegt im Unendlichen. Die Hauptebene ist die unendlich ferne Ebene Sie bildet die unendlich ferne Ebene auf die unendlich ferne Gerade der Bildebene ab. 39 von 39