3D-Rekonstruktion, Animation und Erkennung von Gesichtern aus Einzelbildern auf der Basis eines Morphable Models

Transkript

1 3D-, und von Gesichtern aus Einzelbildern auf der Basis eines Morphable Models Kristina Scherbaum, Matrikel-Nummer 12123, Max-Planck-Institut für Informatik, Saarbrücken

2 3D von Gesichtern z.b. aus einem Einzelbild (2D) 2D-Vorlage 3D- 3D

3 Automatisierte von Gesichtern durch Addition bekannter Gesichtsausdrücke 3D- animiertes Resultat + expression

4 Welche Einsatzgebiete gibt es? ersetzt das manuelle 3D-Modeling eines bestimmten Gesichts das 3D-Resultat kann seine Eigenschaften ändern (z.b. dick/dünn) Gesichts- und Sprachanimation werden automatisiert das 3D-Modell ist in der Gesichtserkennung einsetzbar Gesichtsalterung in 3D kann so (in Zukunft) simuliert werden

5 Wie funktioniert die 3D- von Gesichtern? Ablauf der & Veränderung der Gesichtsattribute Datenbasis Morphable Face Model Face Analyzer Face Modeler Input Image 3D Head Result

6 Als Grundlage dient eine Datenbasis Datenbasis mit 200 3D-Laser-Scans von Gesichtern

7 Erfassen der 3D-Daten aus Laser-Scans Laser beleuchtet Profillinie beachte den Kamerawinkel finde die Laser-Linie in jeder Zeile trianguliere die Geometrie taste das gesamte Gesicht mittels Laser-Linien ab erhalte Tiefe z(x,y) oder Radius r(h,φ) miss die Farbe direkt neben der Laserlinie (» Textur)

8 Ergebnisse des 3D Laser Scans h Ma p red(h,φ) green(h,φ) blue(h,φ) φ h radius(h,φ) φ

9 Das Morphable Face Model Form α1 + α 2 + α3 + α4 + β1 + β 2 + β 3 + β 4 + Textur

10 Morphen von 3D Gesichtern = 3D Blend 3D Morph

11 Der Optische Fluss (Optical Flow) Der Optische Fluss ist ein Technik der Bildverarbeitung z.b. zum tracken von Videosequenzen Annahme: Die Intensitätswerte der Punkte im Bild bleiben konstant nur ihre Position ändert sich über die Zeit I (x(t), y(t), t) = I (x(t 0 ), y(t 0 ), t 0 ) Der Optische Fluss wird hier verwendet, um die Korrespondenz zu finden

12 Der Optical Flow-Algorithmus startet mit niedriger Auflösung des Laser Scans und geht bis zur vollen Auflösung (mittels Gauß- oder Laplace-Pyramide) (h,φ) Laserscan 1 Laserscan 2

13 Interpolation über kontrastarme Bereiche hinweg Verschiebungsfeld ohne Glättung nach der Glättung

14 Definition der Gesichtsvektoren Durch das Flussfeld kann man nun Form- und Texturvektoren definieren: x,y,z Positionen der Vertices verknüpfen r,g,b Farbwerte der Vertices verknüpfen für jeden Vertex durchführen ( Vertices pro Gesicht)

15 Überblick = =..., b g r b g r z y x z y x t s Form- und Textur-Vektoren Referenz-Gesicht

16 Form- und Textur-Vektoren Referenz-Gesicht Beispiel i s 0 = x y z x y z , t 0 = r g b r g b s i x 1 r1 y 1 g 1 z 1 b 1 = x 2, t i = r2 y g 2 2 z 2 b

17 Morphen zwischen zwei Gesichtern Gesicht x 1 und x 2 mit x = Form, Textur, oder beides Erhöhe λ von 0 auf 1 mit 0 λ 1 x( λ ) = (1 λ) x + λx 1 2 λ = 0 λ = 0.5 λ = 1

18 Gesichts-Vektoren Gesichter kann man als Punkte im Gesichts-Raum sehen unwahrscheinliche en leerer Raum

19 Principal Component Analysis (PCA) Schätzung der Wahrscheinlichkeit: Normalverteilung Punkte gleicher Wahrscheinlichkeit liegen im mehrdimensionalen Vektorraum auf Elipsoiden Die Hauptachsen dieser Elipsoide dienen in der PCA als neue Basis 2. Principal Component 1. Principal Component

20 Principal Components im Raum der Gesichts-Form 2. PC. 1. PC.

21 Principal Components im Raum der Gesichts-Textur 2. PC. 1. PC.

22 Karikaturen Karikatur Original Mittelwert

23 Änderung der Gesichtsattribute Trennung der Gewichtsmerkmale von der Identität Ziel: z.b. Gewicht ändern Mann in Frau verwandeln und umgekehrt aber: Charakteristika des Individuums sollen erhalten bleiben

24 Lernen aus bewerteten Beispielen

25 Zuordnung männlich / weiblich Beurteilung der Form Beurteilung der Textur

26 Gesichtsattribute Original Geschlecht Gewicht

27 Gesichtsattribute Original Geschlecht Gewicht

28 Gesichtsattribute Original Hakennase subjektiv bewertete Attraktivität

29 3D Modell aus einem Einzelbild Datenbasis Morphable Face Model

30 Anpassen des 3D-Modells an Einzelbilder I input I model = R ρ α1 β1 + α 2 + α3 + α4 + β 2 + β 3 + β R = Render Funktion ρ = Parameter für Pose, Beleuchtung usw. Finde α, β, ρ welche I model und I input möglichst ähnlich werden lassen

31 Automatisches schätzen der Parameter Face Parameter Form-Koeffizienten α i Textur-Koeffizienten β i 3D-Geometrie Kopf-Position Kopf-Orientierung im Raum Brennweite der Kamera Licht und Farbe ambientes Licht: Intensität, Farbe paralleles Licht: Intensität, Farbe, Richtung Farbe: Kontrast, Verstärkung, Abstand

32 Manuelle Initialisierung ca. 7 Feature Points manuell oder automatisiert wählen

33 Optimierungs-Algorithmus Parameter α i, β i... Rendere 40 Zufalls-Vertices de Berechne,,... dα dβ i de i de de αi = αi λα, βi = βi λβ,... dα d β i i

34 Anpassung: Start Startbedingung: Referenz-Gesicht = gleich Mittelwert aller Gesichter der Datenbasis Referenz-Gesicht in der Mitte des Bildes Original Start

35 Optimierung - Geometrie Erste Iterationen: Modell wird nur an die Feature-Points angepasst nur geringe Deformationen werden erlaubt (konservativ) Original nutze Feature-Points

36 Optimierung - Illumination Geometrie wird fixiert Beleuchtung wird geschätzt Original Beleuchtung

37 Optimierung - Speichern Gleichzeitiges Optimieren aller Modell- und Szene-Parameter Rechenzeit ca. 4,5 min bei 2 GHz Pentium 4 Original

38 Ein Beispiel: Tom Hanks Original Synthetisch generierte Bilder Attribute geändert

39 Textur-Extraktion Textur Extraktion

40 3D Form aus einem Einzelbild

41 3D Form aus einem Einzelbild

42 Automatisierte Gesichtsanimation Original

43 Addition von Gesichtausdrücken der 3D Form Addition einer 3D-Deformation Rendern des Ergebnisses in das Eingabe-Bild + = Eingabe 3D- Deformation Ergebnis

44 Finden der Deformation Gesichtsausdruck Differenz bilden - = smile + smile = Persönlichkeit

45 3D-Laser-Scans der Viseme Reference aao ch ea fv ii kgnl r uh uu w oo o-ou th w-au tdsz

46 Problemlösung Mundöffnung Gesicht und Lippen morphen Die Zähne als Geometrie hinter die Lippen legen Verdeckung berechnen

47 Anordnung der Zähne Oberkiefer fest mit dem Kopf verbunden Unterkiefer bewegt sich mit dem Kinn Die gleichen Zähne für alle Gesichtsausdrücke alle Personen die automatische Generierung

48 Persönlichkeit & Gesichtsausdruck kombiniert Mund geöffnet, mit Zähnen

49 Persönlichkeit & Gesichtsausdruck kombiniert Mund geschlossen, ohne Zähne

50 Automatisiertes Neutralisieren von Gesichtsausdrücken Ausdruck 3D Persönlichkeit

51 Sprachanimation Audio + Text Phoneme (t) CMU-SPHINX Viseme (t) Keyframe 3D Form 3D Morphing gerade Linien, aber dezente Beschleunigung zurückzeichnen ins Bild

52 Einige Beispiele

53 Einige Beispiele

54 Mona Lisa

55 Hintergrund Vorbearbeitung Rendern in das Eingabebild doppelte Konturen können auftreten automatische Segmentierung

56 Automatische Hintergrund-Ergänzung Segmentierung d(x,y) Reflektierte Pixel Neuer Hintergrund Abstand d(x,y) von der Kontur Pixel orthogonal zur Kontur spiegeln

57 Gesichtserkennung basierend auf dem Morphable Model α i, β i Vergleich nahezu unabhängig von Rotationswinkeln α i, β i

58 Normalisieren: in Frontalansichtern überführen Quellbilder Normalisierte Ansichten

59 Normalisieren von Bildern Zielbild a i, b i Pose Quelle a i, b i

60 Normalisieren von Bildern Zielbild Quelle Hintergrund Hair-Layer Normalisierte Ansicht

61 FRVT02: Identifizierungsrate, 45 gedrehte Gesichter gallery probe 80% Identifizierungsrate mit normalisierter Ansicht 40% Identifizierungsrate ohne normalisierte Ansicht vergleiche

62 Goethe Goethe Junior?

63 Optimale Linear Kombination erwachsener Gesichter, um Kindergesichter zu bilden schlechte Ergebnisse! besser: ein neuer Vektorraum mit 3D-Daten von Kindern

64 Verjüngung im Erwachsenen-Vektorraum Ergebnisse sind nicht kindlich Lösung?

65 Generierung eines neuen Kinder-Vektorraumes zur Erzielung besserer Ergebnisse bei der von Kinder- und Babybildern Zur Simulation von Kindesalterung medizinische Zwecke (operative Eingriffe im Gesicht) kriminaltechnischer Ansatz (Extrapolation in höhere Altersstufen)

66 Daten zur Generierung eines Kinder-Vektorraumes 3 Monate 6 Monate 12 Monate Stereobilder zur der 3D-Daten pro Kind vorerst nur 3 Datensätze

67 3D-Daten aus Stereobildern Im Idealfall wenig Löcher oder Artefakte oft leider so: Lösung?

68 Modell-basierte Oberflächen Komplettierung h red(h,f) green(h,f) blue(h,f) f Parametrisieren h 3D Scan radius(h,f) f

69 Anpassen des Modells an den parametrisierten Scan kombiniert mit dem Original 3D Scan Beste Anpassung

70 Ergebnisse Problemstellen werden später bereinigt

71 Mittelwertsköpfe (Referenzköpfe) 12 Monate 6 Monate 3 Monate

72 Mittelwertsköpfe im Vergleich zu den BestFits

73 Zukünftige Arbeit Datenerfassung neue Principal Components für den Kinder-Vektorraum definieren Standard-Textur für Kindergesichter generieren Extrapolation von Kindergesichtern Gesichtserkennung mit extrapolierten Daten Fragen?

74 Links Max-Planck-Institut für Informatik in Saarbrücken Vorverarbeitung von Sprache und Audiofiles