Departement für Mathematik und Informatik Thomas Vetter

Transkript

1 Lebenslauf Studium Physik und Mathematik in Ulm 989 Promotion in Biophysik PostDoc am M.I.T. USA Max-Planck-Institut für biol. Kybernetik Tübingen Professor für Computer Graphik an der Universität Freiburg i.br Professor für Angewandte Informatik an der Universität Basel

2 Arbeitsgebiete Studium: Physik und Mathematik 989 Promotion in Biophysik: Neurobiologie, Fluoreszenzmessung, Simulation M.I.T. : Computer Vision Max-Planck-Institut : Computer Vision, Psychophysik, Computer Graphik Professor für Computer Graphik an der Universität Freiburg i.br Basel: Computer Graphik, Computer Vision Arbeitsgebiete Promotion in Biophysik: Neurobiologie, Fluoreszenzmessung, Simulation Fragestellung: Wie funktioniert der el. Informationsfluss innerhalb einer Nervenzelle

3 Neurobiologie in Schnelldurchgang Membran Aktionspotential 3

4 Gesichterkennung durch die Analyse der Bildpixel.? Doch welcher Pixel soll mit welchem verglichen werden? Wissen um Gesichter und Geometrie gibt Hilfestellung. Verändern Sie sich... 4

5 Parametrisiertes Modellieren von Gesichtern Variation eines Bildes nach: Blickwinkel Gesichtsausdruck Ähnlichkeit in Familien Lichtverhältnis Fülle eines Gesichts Variationen eines Gesichts Datenbasis parametrisiertes Gesichts Modell Gesichtsanalyse Modellieren Vorlage 3D Modell Variation 5

6 Computer Graphik ist mehr als nur Bilder! Computer Graphics Computer Vision Machine Learning Ansatz: Beispielbasiertes Modellieren D Bild 3D Beispieldaten = w * + w * + w 3 * + w 4 *

7 Repräsentation (): Zylinderkoordinaten h rot(h,f) grün(h,f) blau(h,f) f h Radius(h,f) f Addition von Gesichtern + = Überlagerung 3D Morph 7

8 8 Repräsentation (): Form- und Farbvektoren..., b g r b g r z y x z y x t s Referenz Kopf Datenpunkte...,... b g r b g r z y x z y x s i t i Kopf i..., b g r b g r z y x z y x t s Repräsentation (): Form- und Farbvektoren Referenz Kopf

9 3D Gesichtsvektorraum Linearkombinationen erzeugen neue Gesichter. a * + a * + a 3 * + a 4 * +... = b * + b * + b 3 * + b 4 * +... Modellieren von Gesichtern Modellieren 9

10 Stetiges Modellieren von Gesichtern Karikatur Original Mittelwert Gegengesicht Variation eines Gesichts Welche Richtung entspricht einem bestimmten Attribut? 0

11 Lernen aus Beispielen Anpassen einer Regressionsfunktion Attribute eines Gesichts Geschlecht Gewicht Original

12 Gesichtsausdruck als Richtungsvektor Original: - = Lächeln Neues Gesicht: + Lächeln = Variationen eines Gesichts Datenbasis parametrisiertes Gesichts Modell Gesichtsanalyse Modellieren Vorlage 3D Modell Variation

13 Morphable Model zur Bildanalyse = 3 R 3 Output Fehlerfunktion Bilddifferenz E I ( x, y) I ( x, y Image model input ) x, y Wahrscheinlichkeit der Parameter E prior log( p( a i, b,...) ) i Zu optimieren E E E Image Prior 3

14 Gesichterkennung Vielfältiges Erscheinungsbild CMU-PIE Testbilder 3D Computer Graphik 4

15 Modellieren von Bildern Eine neue Frisur gefällig? 3D Geometrie und Textur 3D Winkel, Position Beleuchtung, Verdeckung 5

16 Eine neue Frisur gefällig? 3D Geometrie und Textur 3D Winkel, Position Beleuchtung, Verdeckung 6

17 Portraits made to Measure Results Original Face % Correct ratings Aggressiveness Extroversion Likeability Aggressiveness Extroversion Likeability Risk Seeking Personality traits Social Skills Trustworthiness Risk Seeking Social Skills Trustworthiness Surface Data Prediction 3D Surface Data Base Analysis 3D Input Statistical Original Prediction 7

18 Application Mein Dank gilt: Sandro Schönborn Andreas Forster Bernhard Egger Marcel Lüthi Mirella Walker 8