Fitting 3D Models to Images

Proseminar "Aufgabenstellungen der Bildanalyse und Mustererkennung" Fitting 3D Models to Images WS 08/09

Gliederung Einleitung Pose Consistency perspective Camera affine/projective Camera Linearkombinationen von Modellen Pose Clustering Verification Edge Proximitry Similarities Model Based Human Shape Reconstruction sparse data constraints stereo data silhouette data 02/22

Einleitung Objekterkennung und Ausrichtung zum Bild Modelbase = Sammlung von zu findenden Objektmodellen Prinzip der Algorithmen Hypothese aufstellen und Testen 1. Hypothese zu Übereinstimmung von Bildmerkmalen und Objektmerkmalen 2. Hypothese zu Projektionsart des Objekt 3. Backprojection 4. Vergleich von Rendering und Bild 03/22

Pose Consistency für wenige Merkmale Übereinstimmung vorhanden (Base Set) einfach für größere Sets Übereinstimmung zu finden da geringer Freiheitsgrad von Kameras Position anderer Bildmerkmale relativ zu Base Set Frame Groups = Gruppen von Merkmalen zur Generierung der Hypothesen 04/22

Pose Consistency Intrinsische Parameter: Abbildung von 3D Kamerakoordinaten 2D Bildkoordinaten Interne Geometrie (Focus, Brennweite) Opt. Eigenschaften (Brechung) Extrinsische Parameter: Zusammenhang 3D Weltkoordinaten 3D Kamerakoordinaten Position Ausrichtung der Kamera in Weltkoordinaten Transformation mit Rotationsmatrix und TRanslationsvektor 05/22

Pose Consistency Perspective Cameras intrinsische Parameter bekannt, extrinsische nicht Kamera betrachtet Objekt aus Modelbase Übereinstimmung von Bildmerkmalen und Objektmerkmalen finden Bestimmen der Position und Lage der Kamera extrinsische Parameter bekannt Rendern des Objektes 06/22

Pose Consistency Perspective Cameras Geeignete Frame Groups: drei Punkte drei Richtungen (trihedral vertex) und ein Punkt Zwei Richtungen vom gleichen Ursprung (dihedral vertex) und ein Punkt Angenommen intrinsische Parameter auch unbekannt kompliziertze Framegroups nötig verschiedene Objekte im Bild intrinsische Kamera Parameter gleich Einzelbestimmung für Kameras Vergleich Perspektivische Kameras zu kalibrieren ist kompliziert 07/22

Pose Consistency Affine Cameras entwickelt perspektivische Ansicht als affine Transformation und Orthogonalprojektion =1 0 0 0 0 1 0 0 0 0 0 1 00 a 01 a 02 a 03 a ALPHA=a 10 a 11 a 12 a 13 a 20 a 21 a 22 a 23 0 0 0 1 A Abbildung von Punkt 3D zu Punkt 2D p 1 = A P 1 08/22

Pose Consistency Affine Cameras Bsp.: FrameGroup mit 4 Punkten p 1 = A P 1 p i0 p i1 = a 00 P i0 a 01 P i1 a 02 P i2 a 03 a 10 P i0 a 11 P i1 a 12 P i2 a 13 angenommen Übereinstimmung der Bild und Objektpunkte A bei 4 Punkten, berechenbar für erste 2 Zeilen erzeuge Backprojection 09/22

Pose Consistency Projective Cameras entwickelt perspektivische Ansicht als projektive Transformation und perspektivische Projektion A =1 0 0 0 0 1 0 0 0 0 1 0 00 a 01 a 02 a 03 a ALPHA=a 10 a 11 a 12 a 13 a 20 a 21 a 22 a 23 a 30 a 31 a 32 a 33 Abbildung von Punkt 3D zu Punkt 2D p 1 = A P 1 10/22

Pose Consistency Projective Cameras Bsp.: FrameGroup mit 5 Punkten p i0 p i1 = 1 a 00 P i0 a 01 P i1 a 02 P i2 a 03 a 30 P i0 a 31 P i1 a 32 P i2 a 33 a 10 P i0 a 11 P i1 a 12 P i2 a 13 angenommen Übereinstimmung der Bild und Objektpunkte A bei 5 Punkten, berechenbar für erste 3 Zeilen erzeuge Backprojection 11/22

Pose Consistency Linearkombination von Modellen unbestimmte unkalibrierte affine Kamera A Einen Punkt als Ursprung festlegen, sodass v i = p i p 0 und V i =P i P 0 3 Ansichten von Objekt unbestimmter affiner Kameras v i A = AV i v i B = B V i v i C =PIC V i 00 a 01 a 02 a 03 V i v A i = AV i =a a 10 a 11 a 12 a 13 V i 0 =a0 T V i a T 1 V i, analog und 0 =a T 0 V i,a T 1 V i,0 T v i B v i C 12/22

Pose Consistency Linearkombination von Modellen beliebige neue Ansicht gesucht durch neue Transformation p 0 bestimme, v i D =a 0 T V i,a 1 T V i, 0 T angenommen A, B,C linear unabhängig, d j = a j a j b j b j c j c j v i D = a0 a 0 T V i b0 b 0 T V i c0 c 0 T V i, a1 a 1 T V i b1 b 1 T V i c1 c 1 T V i, 0 T 13/22

Pose Clustering Array für jedes Objekt (repräsentiert Lageraum) bestimme Übereinstimmungen für jede Image Frame Group und Object Frame Group jedes Objekts bestimme Lageparameter für Übereinstimmung Eintrag in Array Viele Votes Objekt in dieser Lage vorhanden ähnlich zur Hough Transformation 14/22

Pose Clustering Probleme Noise/Textur erzeugen viele fehlerhafte Frame Groups zu kleine Buckets kaum hohe Abstimmergebnisse Zu große Buckets zu viele buckets lösen Verifikation aus offensichtlich unzuverlässige Votes nicht mitzählen 15/22

Verification Edge Proximitry Objektkontur über Bild legen Auswerten der Länge der Kanten die naha an Bildkanten liegen Abhängig von Position/Rotation falsche Kanten ausgewertet (Textur) Textur Weichzeichnen mgl. dass Objektkante verschwindet 16/22

Verification Similarity in Texture, Pattern, Intensity Texturen Modellregion mit Texturdeskriptor beschreiben mit Bild vergleichen Differenz bestimmen Muster Muster und deren Konturen prüfen Vergleich der backprojected Pattern Regions mit Bildregion Textur-, Helligkeits- und Kontrastdeskriptoren Intensity oft nur wenig Informationen über Beleuchtung in Praxis weitestgehend ignoriert 17/22

Model based human shape reconstruction Ausgangsmesh welches hierarchisch in verschiedene Freiheitsgrade unterteilt wird Grob Fein-Anpassung des Mesh an Kamerabild Output ist verformtes Modell welches am besten auf Bild passt 18/22

Model based human shape reconstruction sparse data constraints Feature constraints beschränken Verformung des Models lokal hierarchisches Mesh vermehrt den Einfluss dieser Constraints beim Fitting Automatische Festlegung des Einflussbereichs auf Mesh Constraints werden in jeder Auflösung angewandt, Stärke wird Interpoliert Set exakter Constraints {d f } f =1, N in R 3 f N i definiert N f Zusammen mit Übereinstimmungen i f 19/22

Model based human shape reconstruction stereo data anfängliche Abschätzung über Ähnlichkeit und Vorhandensein des Model Suche nach Übereinstimmung in verschiedenen Auflösungen Key camera (lokal frontparallel) Suche nach Matches bei Offset camera Stereopaar mit key camera Suchradius beschränkt für jeden Model Vertex N Stereo Datenset {d s } s s=1 und Übereinstimmung i s abgeleitet x i 20/22

Model based human shape reconstruction silhouette data Kleine Änderungen am Modell, große Änderung in 2D Kontur matchen der Oberfläche der visuellen Hülle Volumetrische Rekonstruktion der vh Jeder Modelvertex wird auf nächsten Punkt der vh gematched vi=argmin v {1...N v} x i d v 2 21/22

Quellen David A. Forsyth and Jean Ponce, "Computer Vision: A Modern Approach", Prentice Hall, 2003 (Sec. 18) Model-based human shape reconstruction from multiple views, Jonathan Starck, Adrian Hilton http://www.stanford.edu/group/biomotion/currentprojects_markerless.html Programmierung mobiler Agenten, MA Informatik/Mobile Systeme, WS 05/06, Jan Grohmann Kamerakalibration, Robotik und Medizin, SS 2004, Aneliya Mircheva Kamera Kalibrierung, HS Augmented Reality, TUM -Lehrstuhl Klinker / Navab, Iliana Dimitrova Computer Vision I, Nikos Canterakis, Lehrstuhl für Mustererkennung, Universität Freiburg Camera Models and Affine Multiple Views Geometry, Subhashis Banerjee, Dept. Computer Science and Engineering IIT Delhi 22/22

Vielen Dank für Ihre Aufmerksamkeit! Proseminar WS 08/09