Modell einer Kamera ohne Verzeichnung

Transkript

1 7.3.1 Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Modell einer Kamera ohne Verzeichnung Lochkameramodell mit und ohne radiale Linseverzeichnung J. Zhang 460

2 7.3.1 Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Modell einer Kamera ohne Verzeichnung (cont.) (x w, y w, z w ): 3D-Weltkoordinatensystem mit Ursprung O w (x, y, z): 3D-Koordinatensystem der Kamera mit Ursprung O (optisches Zentrum) (X, Y ): 2D-Bildkoordinatensystem mit Ursprung O 1 f : Brennweite der Kamera J. Zhang 461

3 7.3.1 Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Transformation von Welt- in Kamerakoordinaten Sei P(x w, y w, z w ) ein Punkt im Weltkoordinatensystem Seine Projektion auf die Bildebene kann wie folgt ermittelt werden: x x w y = R y w + t z z w r 1 r 2 r 3 mit R = r 4 r 5 r 6 und t = r 7 r 8 r 9 t x t y t z Die Parameter R und t sind die extrinsischen Parameter J. Zhang 462

4 7.3.1 Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Projektion von Kamera- auf Bildkoordinaten Punkt P wird auf die analoge (ideale) Bildkoordinate (u, v) projiziert Perspektivprojektion mit Brennweite f : u = f x z v = f y z Die Bildkoordinate (X, Y ) errechnet sich aus (u, v) mit: X = s u u Y = s v v Die Skalierungsfaktoren s u und s v rechnen die analogen Koordinaten von Meter in Pixel um s u, s v und f sind die intrinsischen Kamera-Parameter J. Zhang 463

5 7.3.1 Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Projektion von Welt- auf Bildkoordinaten Da nur zwei unabhängige intrinsische Parameter existieren, definiert man: f x fs u und f y fs v Diese Gleichungen liefern das verzeichnisfreie Kameramodell: X = f x r 1 x w + r 2 y w + r 3 z w + t x r 7 x w + r 8 y w + r 9 z w + t z Y = f y r 4 x w + r 5 y w + r 6 z w + t y r 7 x w + r 8 y w + r 9 z w + t z J. Zhang 464

6 Universität Hamburg Sichtsysteme - Kamera-Kalibrierung - Lochkamera-Modell Intelligente Roboter Pixelkoordinaten im Rechner Von den im Rechner gespeicherten Bildkoordinaten (X f, Y f ) wird die Koordinate (C x, C y ) des Bildmittelpunktes abgezogen Damit ergibt sich: X = X f C x Y = Y f C y Die Unsicherheit über den Bildmittelpunkt kann Pixel erreichen J. Zhang 465

7 7.3.2 Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Kalibrierung einer Kamera: Grundkonzept Das Lochkamera-Modell liefert für die Kalibrierung die drei unabhängigen extrinsischen Parameter von R die drei unabhängigen extrinsischen Parameter von t die intrinsischen Parameter f x, f y, C x und C y J. Zhang 466

8 7.3.2 Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Kalibrierungspunkte Die Kalibrierung erfolgt mit einer Menge von m Objektpunkten, die 1. bekannte Weltkoordinaten {x w,i, y w,i, z w,i }, i = 1,..., m in hinreichend genauer Präzision haben 2. innerhalb des Sichtfeldes der Kamera liegen Diese Kalibrierungspunkte werden im Kamerabild mit ihren respektiven Kamerakoordinaten {X i, Y i } detektiert J. Zhang 467

9 7.3.2 Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Kalibrierung Das Problem bei der Kalibrierung einer Kamera ist die Identifikation der unbekannten Koeffizienten des Kameramodells Die Bestimmung für das verzeichnisfreie Kameramodell liefert expliziet die Position der Kamera in Weltkoordinaten Die grundlegendste Strategie für eine Kamerakalibration ermittelt die Koeffizienten mit Hilfe der linear-least-squares-identifikation der im folgenden vorgestellten perspektivischen Transformationsmatrix (engl. Perspective Transformation Matrix) J. Zhang 468

10 7.3.2 Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Verzeichnisfreies Kameramodell Das verzeichnisfreie Kameramodell X = f x r 1 x w + r 2 y w + r 3 z w + t x r 7 x w + r 8 y w + r 9 z w + t z, lässt sich umschreiben zu Y = f y r 4 x w + r 5 y w + r 6 z w + t y r 7 x w + r 8 y w + r 9 z w + t z X = a 11x w + a 12 y w + a 13 z w + a 14 a 31 x w + a 32 y w + a 33 z w + a 34 Y = a 21x w + a 22 y w + a 23 z w + a 24 a 31 x w + a 32 y w + a 33 z w + a 34 J. Zhang 469

11 7.3.2 Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Perspektivische Transformationsmatrix Es kann a 34 = 1 gesetzt werden, da eine Skalierung der Koeffizienten a 11,..., a 34 die Werte von X und Y nicht ändert Die Koeffizienten a 11,..., a 34 korrespondieren mit der so genannten perspektivischen Transformationsmatrix Die vorangegangenen beiden Gleichungen können im folgenden Identifikationsmodell zusammengefasst werden: [ ] xw y w z w Xx w Xy w Xz w x w y w z w 1 Yx w Yy w Yz w a 11. a 33 = [ X Y ] J. Zhang 470

12 7.3.2 Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Least Squares Die elf unbekannten Koeffizienten a 11,..., a 33 werden mit Hilfe der Methode der kleinsten Quadrate bestimmt Minimal sind sechs Kalibrierungspunkte notwendig Jedes Paar Datenpunkte {(x w,i, y w,i, z w,i ), (X i, Y i )} liefert zwei algebraische Gleichungen mit den gesuchten Koeffizienten Es kann gezeigt werden, dass die Kalibrierungspunkte nicht koplanar sein dürfen Ist dies nicht der Fall, ist die erste Matrix im Identifikationsmodell singulär, da die Spalten 3 und 4 sowie 7 und 8 linear abhängig sind J. Zhang 471

13 7.3.2 Sichtsysteme - Kamera-Kalibrierung - Grundkonzept Kamera-Kalibrierung Intelligente Roboter Probleme Die vorgestellte Lösung ist noch nicht global optimal, da bisher keine Linsenverzeichnung berücksichtigt wurde Es ist nicht möglich expliziet die Rotationsmatrix R und den Translationsvektor t zu bestimmen Das bedeutet die vorgestellte Kalibrierung ermöglicht nicht die Nutzung einer Kamera, die an einem sich bewegenden Roboterarm montiert ist Die Herstellung eines präzisen 3D-Kalibrierungsaufbaus ist aufwändiger als eine 2D-Kalibrierungsplatte J. Zhang 472

14 7.3.3 Sichtsysteme - Kamera-Kalibrierung - Stereo-Vision Intelligente Roboter Stereo-Vision Die bisher vorgestellte Kalibrierungsmethode ermöglicht allerdings eine schnelle, wenn auch unpräzise Messung von Punkten mit einem Stereo-Kamera-Aufbau Dazu werden zwei Kameras A und B kalibriert und liefern die Kalbrationsvektoren a A und a B Dann kann die Koordinate {x w, y w, z w } eines jeden Punktes der von beiden Kameras gesehen wird berechnet werden Jeder unbekannte Punkt hat die korrespondierenden Bildkoordinaten {X A, Y A } und {X B, Y B } J. Zhang 473

15 7.3.3 Sichtsysteme - Kamera-Kalibrierung - Stereo-Vision Intelligente Roboter Stereo-Vision (cont.) Mit der Gleichung [ ] a11 a 31 X a 12 a 32 X a 13 a 33 X w [ ] x y a 21 a 31 Y a 22 a 32 Y a 23 a 33 Y w X a14 = Y a z 24 w für jede Kamera ensteht ein überbestimmtes Gleichungssystem, welches die Bestimmung der 3D-Koordinate eines Punktes aus den Bildkoordinaten erlaubt J. Zhang 474

16 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Kameramodell mit Linsenverzeichnung Reale Kameras und Linsen verursachen eine Vielzahl von Abbildungsfehlern und genügen nicht dem Modell Die Hauptfehlerquellen sind: 1. Räumliche Auflösung relativ gering, da die Auflösung der Kameras ebenfalls noch gering ist (Aktuelle DV-Kameras: 320x200, fps; 800x600, fps; fps) 2. Die meisten (billigen) Linsen sind unsymmetrisch und erzeugen Verzerrungen 3. Der Zusammenbau der Kamera ist nicht präzise durchführbar (Mittelpunkt des CCD-Chips liegt nicht auf der optischen Achse; Chip liegt nicht parallel zur Linse etc.) 4. Timing-Fehler zwischen Kamera-Hardware und Grabber-Hardware J. Zhang 475

17 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Verzeichnung Verzeichnung durch das Linsensystem resultiert in einer geänderten Position der Bildpixel auf der Bildebene Das Lochkameramodell wird dem nicht mehr gerecht Es wird ersetzt durch folgendes Modell: u = u + D u (u, v) v = v + D v (u, v) wobei u und v die nicht beobachtbaren, verzeichnisfreien Bildkoordinaten sind und u und v die korrespondierenden verzerrten Koordinaten J. Zhang 476

18 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Verzeichnung (cont.) J. Zhang 477

19 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Verzeichnung (cont.) J. Zhang 478

20 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Arten von Verzeichnungen Es gibt zwei Arten von Verzeichnungen: radial tangential Radiale Verzeichnung verursacht einen Versatz der idealen Position nach innen (Tonne) oder außen (Kissen) Ursache: fehlerhafte radiale Krümmung der Linse J. Zhang 479

21 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Radiale Verzeichnung gerade Linien keine Verzeichnung J. Zhang 480

22 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Tangentiale Verzeichnung gerade Linien keine Verzeichnung J. Zhang 481

23 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Modellierung der Linsenverzeichnung Nach Weng et. al. (1992) unterscheidet man drei Verzeichnungen, die modelliert werden: 1. Radiale Linsenverzeichnung (engl. radial distortion) 2. Dezentrierende Verzeichnung (engl. decentering distortion) 3. Verzeichnung des dünnen Prismas (engl: thin prism distortion) Die dezentrierende Verzeichnung und die Verzeichnung des dünnen Prismas sind sowohl radial als auch tangential Bei der dezentrierenden Verzeichnung sind die optischen Zentren der Linsen nicht kolinear J. Zhang 482

24 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Modell: Radiale Verzeichnung Radiale Verzeichnung D ur = ku(u 2 + v 2 ) + O[(u, v) 5 ] D vr = kv(u 2 + v 2 ) + O[(u, v) 5 ] J. Zhang 483

25 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Modell: Dezentrierende Verzeichnung Dezentrierende Verzeichnung D ud = p 1 (3u 2 + v 2 ) + 2p 2 uv + O[(u, v) 4 ] D vd = 2p 1 uv + p 2 (u 2 + 3v 2 ) + O[(u, v) 4 ] J. Zhang 484

26 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Modell: Verzeichnung des dünnen Prismas Verzeichnung des dünnen Prismas D up = s 1 (u 2 + v 2 ) + O[(u, v) 4 ] D vp = s 2 (u 2 + v 2 ) + O[(u, v) 4 ] J. Zhang 485

27 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Gesamtmodell der Linsenverzeichnung Wir ignorieren die Terme mit Ordnung höher als 4 und fassen die vorangegangenen Modelle zusammen: D u = ku(u 2 + v 2 ) + (p 1 (3u 2 + v 2 ) + 2p 2 uv) + s 1 (u 2 + v 2 ) D v = kv(u 2 + v 2 ) + (2p 1 uv + p 2 (u 2 + 3v 2 )) + s 2 (u 2 + v 2 ) J. Zhang 486

28 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Vereinfachtes Modell Da die radiale Linsenverzeichnung der dominierende Effekt ist, kann folgendes Gleichungssystem als vereinfachtes Kameramodell verwendet werden: Vereinfachtes Kameramodell mit Verzeichnung u = u(1 + k r 2 ) v = v(1 + k r 2 ) mit r 2 = u 2 + v 2 J. Zhang 487

29 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Radialer Verzeichnungskoeffizient Da u und v unbekannt sind, werden diese durch die messbaren Bildkoordinaten X und Y ersetzt und es gilt r 2 = (X/s u ) 2 + (Y /s v ) 2 Definiert man k k s 2 v, den radialen Verzeichniskoeffizienten (engl. radial distortion coefficient), dann folgt µ f y f x = s v s u und r 2 µ 2 X 2 + Y 2 J. Zhang 488

30 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Modell für kleine radiale Verzeichnungen Mit den oben genannten Modifikationen erhält man folgendes Kameramodell für kleine radiale Verzeichnungen X(1 + kr 2 ) = f x r 1 x w + r 2 y w + r 3 z w + t x r 7 x w + r 8 y w + r 9 z w + t z, Y (1 + kr 2 ) = f y r 4 x w + r 5 y w + r 6 z w + t y r 7 x w + r 8 y w + r 9 z w + t z J. Zhang 489

31 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter Variation Ein für das least squares Verfahren nützlicher Trick ist die Verwendung der folgenden Variation des vorigen Modells X 1 + kr 2 = f x r 1 x w + r 2 y w + r 3 z w + t x r 7 x w + r 8 y w + r 9 z w + t z, Y 1 + kr 2 = f y r 4 x w + r 5 y w + r 6 z w + t y r 7 x w + r 8 y w + r 9 z w + t z und gilt unter der Annahme, dass kr 2 << 1 ist J. Zhang 490

32 7.3.4 Sichtsysteme - Kamera-Kalibrierung - Kameramodell mit Linsenverzeichnung Intelligente Roboter radial alignment constraint Wenn neben der radialen keine weiteren Verzeichnungen auftreten, erhält man das radial alignment constraint (RAC) bzw: mit X d = f x X und Y d = f y Y X Y = µ 1 r 1x w + r 2 y w + r 3 z w + t x r 4 x w + r 5 y w + r 6 z w + t y X d : Y d = x : y J. Zhang 491

33 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Tsai s RAC-basierte Kamerakalibrierung Annahme C x, C y und µ sind bekannt Ziel ist die Ermittelung der extrinsischen Parameter R und t sowie der intrinsischen Parameter f x, f y und k Für die Kalibrierung wird eine Menge koplanarer Kalibrationspunkte verwendet werden Die Kalibrierung beinhaltet zwei Schritte 1. Ermitteln der Rotationsmatrix R und der Komponenten t x und t y des Translationsvektors 2. Schätzung der übrigen Parameter aufgrund der Ergebnisse des ersten Schrittes J. Zhang 492

34 Universität Hamburg Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 1. Berechnung der Bildkoordinaten (X i, Y i ) Sei N die Anzahl der Bildpunkte, dann gilt für i = 1, 2,..., N X i = X f,i C x Y i = Y f,i C y wobei X f,i und Y f,i die Pixelwerte im Rechner sind J. Zhang 493

35 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) 2. Bestimmung der Zwischenparameter {v 1, v 2, v 3, v 4, v 5 } Da RAC unabhängig vom k und f ist, können R, t x und t y berechnet werden Wir definieren {v 1, v 2, v 3, v 4, v 5 } {r 1 t 1 y, r 2 t 1, t x t 1 y y, r 4 ty 1, r 5 ty 1 } J. Zhang 494

36 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Wenn man für den i-ten Kalibrationspunkt beide Seiten der RAC-Gleichung durch t y teilt und den entstehenden Ausdruck umarrangiert, erhält man [ xw,i Y i y w,i Y i Y i x w,i µx i ] v 2 y w,i µx i v 3 v 4 = µx i v 5 wobei x x,i und y w,i die x und y Koordinaten des i-ten Kalibrationspunktes sind v 1 J. Zhang 495

37 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Die minimale Anzahl an notwendigen nicht kolinearen Kalibrationspunkten ist N = 5 In der Praxis sollte N > 5 gewählt werden Bemerkung: Falls t y = 0 kann obige Gleichung auch in Abhängigkeit von t x formuliert werden Erhält man t x = t y = 0, so ist der gewählte Kameraaufbau in geeigneter Form abzuändern J. Zhang 496

38 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) 3. Berechnung von R, t x und t y [ ] v1 v Definiere C 2 v 4 v 5 Wenn keine Zeile oder Spalte zu null wird, gilt: t 2 y = S r S 2 r 4(v 1 v 5 v 4 v 2 ) 2 2(v 1 v 5 v 4 v 2 ) mit S r v 2 1 +v 2 2 +v 2 4 +v 2 5 Andernfalls gilt t 2 y = (v 2 i + v 2 j ) 1 wobei v i und v j die Elemente aus C sind, die nicht null sind J. Zhang 497

39 Universität Hamburg Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Physikalisch sollten die Vorzeichen von x und X sowie y und Y gleich sein Dies wird genutzt, um das Vorzeichen von t y zu bestimmen Annahme: t y > 0 Berechnung von r 1 = v 1 t y r 2 = v 2 t y r 4 = v 4 t y r 5 = v 5 t y t x = v 3 t y J. Zhang 498

40 Universität Hamburg Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Mit einem beliebigen Kalibrationspunkt lassen sich die folgenden Koordinaten bestimmen: x = r 1 x w + r 2 y w + t x y = r 4 x w + r 5 y w + t y Gilt sign(x) = sign(x) und sign(y) = sign(y ), dann gilt die Annahme sign(t y ) = 1 und wir behalten r 1, r 2, r 4, r 5 und t x Andernfalls setzen wir sign(t y ) = 1 und drehen die Vorzeichen von r 1, r 2, r 4, r 5 und t y entsprechend um J. Zhang 499

41 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Es gibt zwei mögliche Lösungen für die Rotationsmatrix R, wenn eine 2 2-Teilmatrix bekannt ist Diese Lösungen sind f x mit positivem und mit negativem Vorzeichen R kann wie folgt berechnet werden r 3 = ±(1 r 2 1 r 2 2 ) 1/2 r 6 = sign(r 1 r 4 + r 2 r 5 )(1 r 2 4 r 2 5 ) 1/2 [r 7 r 8 r 9 ] T = [r 1 r 2 r 3 ] T [r 4 r 5 r 6 ] T Eine der beiden Lösungen führt zu einem positiven f x in Schritt 2 J. Zhang 500

42 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 1 (cont.) Anmerkungen: Die sich ergebende Matrix R ist möglicherweise nicht orthonormal Es müssen daher noch Orthonormalisierungsschritte durchgeführt werden, die hier nicht weiter erläutert werden J. Zhang 501

43 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 2 Bestimmung der Parameter t z, k, f x und f y Wenn R, t x und t y bekannt sind, können die übrigen Parameter mit folgender Gleichung für den i-ten Kalibrationspunkt bestimmt werden: mit [ Xi x i x i r 2 i ] t z f x kf x = X i w i x i r 1 x w,i + r 2 y w,i + t x w i r 7 x w,i + r 8 y w,i J. Zhang 502

44 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter Kamerakalibrierung nach Tsai: Schritt 2 (cont.) Immer wenn mehr als drei Kalibrationspunkte benutzt werden, entsteht ein überbestimmtes Gleichungssystem Die Lösung mit Hilfe des least-squares-verfahrens liefert k, t z und f x Mit f x lassen sich die übrigen Parameter errechnen: f y = f x µ k = (kf x )f 1 x J. Zhang 503

45 7.3.5 Sichtsysteme - Kamera-Kalibrierung - Kamera-Kalibrierung nach Tsai Intelligente Roboter 3D-Kalibrierungsaufbau Typischer 3D-Kalibrierungsaufbau J. Zhang 504

46 7.3.6 Sichtsysteme - Kamera-Kalibrierung - Schnelle RAC-basierte Kalibrierung Intelligente Roboter Schnelle RAC-basierte Kalibrierung Wenn für den erste Schritt des Tsai-Algorithmus nur Kalibrationspunkte auf der x- und y-achse des Weltkoordinatensystems verwendet werden, vereinfacht sich die RAC-Gleichung Üblicherweise: Die mittlere Reihe und mittlere Spalte einer typischen Kalibrierungsplatte definieren dann die x w - und y w -Achse Beim Tsai-Algorithmus wird das linear-least-squares-verfahren in Schritt eins auf fünf, in Schritt zwei auf drei Variablen angewandt Mit obiger Vereinfachung muss das least-squares-verfahren dreimal für zwei Variablen angewandt werden J. Zhang 505

47 7.3.6 Sichtsysteme - Kamera-Kalibrierung - Schnelle RAC-basierte Kalibrierung Intelligente Roboter Schnelle RAC-basierte Kalibrierung (cont.) Da es hierfür eine geschlossene Lösung gibt, reduziert sich die für die Kalibrierung notwendige Rechenzeit signifikant Voraussetzung für die schnelle Variante des Tsai-Algorithmus ist, das µ sowie C x und C y a priori bekannt sind Wie bei Tsai s Kalibrierung sind zwei Schritte notwendig: 1. Verwendung von Kalibrationspunkten auf der x w - und y w -Achse und einer vereinfachten RAC-Gleichung, um R, t x und t y zu bestimmen 2. Bestimmung der übrigen Parameter mit allen sichtbaren Kalibrationspunkten J. Zhang 506

48 7.3.6 Sichtsysteme - Kamera-Kalibrierung - Schnelle RAC-basierte Kalibrierung Intelligente Roboter Schnelle RAC-basierte Kalibrierung (cont.) Kalibrationspunkte für die erste Phase der schnellen RAC-basierten Kalibrierung J. Zhang 507

49 7.3.6 Sichtsysteme - Kamera-Kalibrierung - Schnelle RAC-basierte Kalibrierung Intelligente Roboter Schnelle RAC-basierte Kalibrierung (cont.) Typische Kalibrierungsplatte J. Zhang 508

50 Universität Hamburg Sichtsysteme - Kamera-Kalibrierung - Schnelle RAC-basierte Kalibrierung Intelligente Roboter Schnelle RAC-basierte Kalibrierung (cont.) Mit einer kalibrierten Kamera lässt sich das Bild entzerren J. Zhang 509

51 7.3.7 Sichtsysteme - Kamera-Kalibrierung - Implizite Kamerakalibrierung Intelligente Roboter Implizite Kamerakalibrierung Die implizite Kamerakalibrierung berücksichtigt alle Linsenverzeichnungen (Gesamtmodell) Wie bei der Kalibrierung ohne Linsenverzeichnung werden die Parameter nicht explizit bestimmt Notation: (u i, v i ) Pixelkoordinaten im Bild (x i, y i ) Weltkoordinaten von Punkt P auf Ebene π i J. Zhang 510

52 7.3.7 Sichtsysteme - Kamera-Kalibrierung - Implizite Kamerakalibrierung Intelligente Roboter Implizite Kamerakalibrierung (cont.) Projektion vom Pixel- auf das Weltkoordinatensystem auf eine Ebene π 1 ergibt sich aus dem Gesamtmodell wie folgt: X 1 = 0 i+j 3 a(1) ij u i 1 v j 1 0 i+j 3 a(3) ij u i 1 v j 1 Y 1 = 0 i+j 3 a(2) ij u i 1 v j 1 0 i+j 3 a(3) ij u i 1 v j 1 wobei a (k) ij die Transformationskoeffizienten sind J. Zhang 511

53 7.3.7 Sichtsysteme - Kamera-Kalibrierung - Implizite Kamerakalibrierung Intelligente Roboter Implizite Kamerakalibrierung (cont.) Mit Hilfe zweier Kalibrationsebenen π 1 und π 2 können die Transformationskoeffizienten zu den beiden Ebenen bestimmt werden Somit ist jeder Bildpunkt auf zwei Ebenen projezierbar Die wirkliche Koordinate liegt auf der Verbindungsgeraden durch die beiden Punkte J. Zhang 512

54 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung einer Zeigerichtung: Motivation Motivation: Die Erkennung von Handgesten kann im Rahmen der Mensch-Maschine-Kommunikation genutzt werden Anwendungen im Bereich der virtuellen Realität, von Multimedia oder Roboter-Instruktion und -Teleoperation Lösungen: Sensoren an der Hand (z.b. Daten-Handschuh) Stereo-Vision (kalibriert) Stereo-Vision (unkalibriert) J. Zhang 513

55 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung einer Zeigerichtung: Stereo-Vision Prinzipieller Stereoaufbau mit parallelen optischen Achsen J. Zhang 514

56 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung einer Zeigerichtung: Epipolarlinien Der mit einem Punkt aus Bild 1 korrespondierende Punkt kann auf der zugehörigen Epipolarlinie in Bild 2 gefunden werden J. Zhang 515

57 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung einer Zeigerichtung: Epipolarlinien Bei parallelen optischen Achsen sind die Epipolarlinien horizontale Linien J. Zhang 516

58 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Unkalibrierte Stereo-Vision Cipolla et. al. (1994) präsentieren eine unkalibriertes Stereo-System zur Erkennung von Zeigegesten Annahme: Lochkameramodel mit Blick auf eine Ebene Die Beziehung zwischen Ebenenkoordinatensystem (X, Y ) und Bildkoordinatensystem (u, v) lautet: su X sv = T Y s 1 wobei T 3 3 eine homogene Matrix mit t 33 = 1 ist J. Zhang 517

59 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Unkalibrierte Stereo-Vision (cont.) Um T zu bestimmen müssen mindestens vier Punkte beobachtet werden Man definiert die Grenzen der Arbeitsebene mit (0, 0),(0, 1),(1, 0) und (1, 1) Für die beiden Kameras werden die Transformationen T und T bestimmt J. Zhang 518

60 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung des Zeigepunktes Notation: l w : Längsachse des Zeigers in der Welt l i : Projektion von l w auf die Bildebene l gp : Projektion von l w auf Ebene G Verfahren: Mit dem Bild der zweiten Kamera erhält man eine Projektion l gp deren Schnittpunkt mit l gp der Zeigepunkt ist l i ist das Bild von l gp, d.h. l i = Tl gp Daraus folgt l gp = T 1 l i und l gp = T 1 l i J. Zhang 519

61 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung des Zeigepunktes (cont.) J. Zhang 520

62 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung des Zeigepunktes (cont.) J. Zhang 521

63 7.4.1 Sichtsysteme - Anwendungen - Bestimmung einer Zeigerichtung Intelligente Roboter Bestimmung des Zeigepunktes (cont.) J. Zhang 522