Vorlesung 1. Einführung

Transkript

1 Vorlesung 1 Einführung Martin Giese Martin.giese@tuebingen.mpg.de

2 Empfehlenswerte Bücher Blake, A. & Isard, M. (1998). Active Contours. Springer, Berlin. Cristianini, N. & Shawe-Taylor, J. (2000). Support Vector Machines. Cambridge University Press, Cambridge, UK. Jähne, B. (2002). Digitale Bilodverarbeitung. Springer, Berlin. Hastie, T., Tibshirani, R. & Friedman, J. (2001). The Elements of Statistical Learning. Springer, Berlin. Trucco, E. & Verri, A. (1998). Introductiory Techniques for 3D Computer Vision. Prentice-Hall, Upper Saddle River, NJ, USA. Vapnik, V.N. (1998). Statistical Learning Theory. Backwell Publishers, Oford, UK. Watt, A. (1999). 3D-Computergrafik. Pearson Studium, München.

3 Vorlesungs-Webseite

4 Übersicht! Einführung Maschinenlernen! Computervision-Anwendungen! Computergrafik-Anwendungen! Themen + Termine der folgenden Vorlesungen

5 I. Grundlagen des Maschinenlernens

6 Maschinenlernen Definition: Klasse von Algorithmen zur Etraktion von Parametern, Zusammenhängen oder Strukturen aus Datensätzen. Trainingsdatensatz Generalisierung Testdatensatz

7 Maschinenlernen Typische Lernprobleme! Überwachtes Lernen (supervised learning) Daten: Input-Output-Paare Ziel: Lernen der Beziehung Lerner y zwischen und y! Unüberwachtes Lernen (unsupervised learning) Daten: Nur Inputs Ziel: Modell für lernen (z.b. zur Vorhersage) Lerner

8 Maschinenlernen Typische Lernprobleme (Forts.)! Verstärkungslernen (reinforcement learning) Daten: Inputs n, Belohnungen r n Ziel: Lernen des optimalen Verhaltens a n bei gegebenen n n Lerner a n Aktion Belohnung / Bestrafung r n

9 Maschinenlernen Anwendungen: Überwachtes Lernen! Zusamenhänge modellieren! Klassifizierung (y diskret) und Regression (y kontinuierlich)! Prädiktion

10 Maschinenlernen Anwendungen: Unüberwachtes Lernen! Dimensionalitätsreduktion! Clustering! Unbeobachtete Quellenvariablen oder Ursachen modellieren! Ausreisserelimination! Modellierung der Wahrscheinlichkeitsdichtefunktion von Daten

11 Maschinenlernen Beziehung mit Prädiktion und Modellierung:! Überwachtes Lernen Vorhersage von y Gegebenen: Gesucht: Modell für Zusammenhang y = f ˆ( ) ˆ ( ) = aˆ0 + aˆ f 1 y! Unüberwachtes Lernen Optimale Vorhersage von durch internes generatives Modell = aˆ ξ + aˆ ξ ξ 1, Zufallsvar.

12 Maschinenlernen Inferenz: Schätzen von unbeobachtbaren Variablen oder Parametern aus Beispieldaten.

13 Maschinenlernen Variablentypen! Binär (z.b. Detektion: da vs. nicht da )! kategorial (z.b. Gesichtserkennung: Bush, Monroe, )! Kontinuierlich (z.b. Objektorientierung)! Univariat (z.b. Helligkeit) vs. multivariat (z.b. RGB, oder alle Piel eines Bildfensters)

14 Maschinenlernen Beispiele! Klassische Signaldetektion! Zweiklassen-Klassifikation! Multiklassen-Klassifikation! Regression! Clusteranalyse! Hauptkomponentenanalyse! Reinforcement-Learning

15 Maschinenlernen Radar Beispiele! Klassische Signaldetektion! Zweiklassen-Klassifikation! Multiklassen-Klassifikation! Regression! Clusteranalyse! Hauptkomponentenanalyse! Reinforcement-Learning? t! Überwachtes Lernen!,y univariat! : kontinuierlich; y: binär y

16 Maschinenlernen Geschlechtserkennung Beispiele! Klassische Signaldetektion! Zweiklassen-Klassifikation! Multiklassen-Klassifikation! Regression! Clusteranalyse! Hauptkomponentenanalyse! Reinforcement-Learning Moghaddam & Yang (1998) : (R,G,B) piel y: Geschlecht: m / w! Überwachtes Lernen! : multivariat, kontinuierlich! y: binär

17 Maschinenlernen Gesichtererkennung Beispiele! Klassische Signaldetektion! Zweiklassen-Klassifikation! Multiklassen-Klassifikation! Regression! Clusteranalyse! Hauptkomponentenanalyse! Reinforcement-Learning H. Bogart! Überwachtes Lernen! : multivariat, kontinuierl. (Piel-Maps)! y: diskret

18 Maschinenlernen Beispiele! Klassische Signaldetektion! Zweiklassen-Klassifikation! Multiklassen-Klassifikation! Regression! Clusteranalyse! Hauptkomponentenanalyse! Reinforcement-Learning y Regression! Überwachtes Lernen! : kontinuierlich! y: kontinuierlich

19 Maschinenlernen Bildsegmentierung Beispiele! Klassische Signaldetektion! Zweiklassen-Klassifikation! Multiklassen-Klassifikation! Regression! Clusteranalyse! Hauptkomponentenanalyse! Reinforcement-Learning 2 =G 3 =B 1 =R! Unüberwachtes Lernen! : multivariat, kontinuierl. (Piel-Map)

20 Maschinenlernen Eigen faces Beispiele! Klassische Signaldetektion! Zweiklassen-Klassifikation! Multiklassen-Klassifikation! Regression! Clusteranalyse! Hauptkomponentenanalyse! Reinforcement-Learning Linearkombination! Unüberwachtes Lernen! : multivariat, kontinuierl. (Piel-Maps)! Eigengesichter orthogonal

21 Maschinenlernen Lernen von Segmentierung Beispiele! Klassische Signaldetektion! Zweiklassen-Klassifikation! Multiklassen-Klassifikation! Regression! Clusteranalyse! Hauptkomponentenanalyse! Reinforcement-Learning Peng & Bhanu (1998)! Verstärkungslernen! : multivariat, kontinuierl. (Piel-Map)! Belohnungsvariable: Konfidenzlevel beim Matchen! Parameter des Segementierungsalgorithmus optimiert

22 Warum Lernen in Vision?! Komplee visuelle Objekte schwer modellierbar! Hoher Aufwand für Modellierung! Fleibiliät! Datenkompression! Etraktion / Modellierung von intrinsischen Dimensionen (z.b. männlich / weiblich) T. Vetter (Freiburg)

23 Geschichte von Lernansätzen (s.a. Freeman, 2001)! Spracherkennung: " : zahlreiche Ansätze " 1980: Lernansätze (HMMs) werden populär " >1990: HMMs sind Standardmethode! Computervision: " vor 1990: einfache Lermethoden für Mustererkennung " Ab 1990: Systematische Übertragung von Lernansätzen auf Visionprobleme (Klassifikatoren, Kalman-Filter, HMMs, Neuronale Netze)! Computergrafik: " Ende der 90er: Lernmethoden werden zunehmend populär

24 II. Anwendungen in Computervision

25 Computervision Einige Beispielthemen! Filterung und Merkmalsetraktion! Invarianten! Detektion von Merkmalen in Bildern! Repräsentation von Konturen! Shape from (motion, stereo, shading )! Formrepräsentation und modellierung! Robotersehen! Aktives Sehen

26 Computervision Einige Beispielthemen! Filterung und Merkmalsetraktion! Invarianten! Detektion von Merkmalen in Bildern! Repräsentation von Konturen! Shape from (motion, stereo, shading )! Formrepräsentation und modellierung! Robotersehen! Aktives Sehen Lernen

27 Computervision Anwendungen! Gesichts- und Gestenerkennung! Überwachungssysteme! Fahrerassistenzsysteme, Verkehrsüberwachung! Man-Machine-Interfaces (VR, Spiele, Telepräsenz, etc.)! Visuell gesteuerte Roboter! Medizinische Bildanalyse! Bilddatenbanken

28 Computervision Anwendungen! Gesichts- und Gestenerkennung! Überwachungssysteme! Fahrerassistenzsysteme, Verkehrsüberwachung! Man-Machine-Interfaces (VR, Spiele, Telepräsenz, etc.)! Visuell gesteuerte Roboter! Medizinische Bildanalyse! Bilddatenbanken Lernen

29 Computergrafik Einige Beispielthemen! Geometrische Transformationen! Tetursynthese! Modellierung von Kurven und Oberflächen! Modellierung von 3D-Objekten! Rendering! Computeranimation

30 Computergrafik Einige Beispielthemen! Geometrische Transformationen! Tetursynthese! Modellierung von Kurven und Oberflächen! Modellierung von 3D-Objekten! Rendering! Computeranimation Lernen

31 Computergrafik Anwendungen! Bildsynthese! CAD! Simulation von bewegten Objekten und Avataren für Film und Spiele, Computerkunst! Visualisierung von Daten (Wissenschaft, Wettervorhersage, Medizin, )

32 Computergrafik Anwendungen! Bildsynthese! CAD! Simulation von bewegten Objekten und Avataren für Film und Spiele, Computerkunst! Visualisierung von Daten (Wissenschaft, Wettervorhersage, Medizin, ) Lernen

33 III. Übersicht der Vorlesung

34 Zeitplan (vorläufig ) Übersicht (Maschinenlernen, Computervision, Computergrafik, Anwendungsbeispiele) ML: Klassische Ansätze (Statistische Formulierung des Lernproblems, Regularisierung, NN, Anwendungen) Lernbasierte Modelle für die Objekterkennung im Gehirn (Komponentenbasierte und ansichtsbasierte Enkodierung, Neuronale Modelle, eperimentelle Resultate) Statistische Lerntheorie und Supportvektor-Maschinen (Kapazitätsmasse, RKHS, Quadratische Programmierung, Anwendungen) Unüberwachtes Lernen (PCA, NMF, ICA, Lernen von Mannigfaltigkeiten, Anwendungen) Morphing und Appearance-Modelle (Linearkombination von Ansichten, Korrespondenz, AAM, Bildsynthese, Anwendungen)

35 Zeitplan (Forts.) fällt aus - Motion Capture und Trajektorieneditierung (Aktive und passive Aufnahmesysteme, Vorverarbeitung, Anpassung kinematischer Modelle, Keyframing, Anwendungsbeispiele) Lernbasierte Repräsentation von Bewegungen für die Computeranimation (Interpolationsmethoden, DTW, STMMs, Einbettung von Randbedingungen, Trajektorienleika, Anwendungen) Lernbasierte Erkennung kompleer Bewegungen im Gehirn (Dorsaler Verarbeitungspfad, Biologische Bewegung, Modelle, Prädiktionen und eperimentelle Testung) - Weihnachtsferien -

36 Zeitplan (Forts.) Grundlagen Bayescher Methoden (Bayes-Theorem, Maimum Likelihood Schätzung, EM, Miture of Eperts, Anwendungen) Prädiktive Filtermethoden (Kalman-Filter, CONDENSATION, Importance-Sampling, Anwendungen) Bayesche Netzwerke (Markoffsche Zufallsfelder, Sampling-Methoden, HMMs, Viterbi Algorithmus, Anwendungen) Belief-Propagation (Belief-Propagation, Variationsmethoden, Loopy BP, Anwendungen)

37 Einige Beispielanwendungen aus der Vorlesung

38 Beispiel 1: Gesichtsdetektion mit NN! Mehrere Ortsauflösungen! Normalisierung der Illumination! Hierarchiches NN! Korrektur von Bildrotationen! Detektionsrate ma. 93 % Rowley, Baluja & Kanade (1998)

39 Beispiel 2: Kategorisierung im Gehirn HMAX model Affen kategorisieren Katzen und Hunde Riesenhuber & Poggio (1998)! Viele Befunde konsistent mit hierarchischen NN Modellen! Kategorisierungsneurone im Präfrontalkorte Feedman et al. (2001)

40 Beispiel 3: Lernen von rezeptiven Feldern Kortikale rezeptive Felder Gelernte rezeptive Felder Daugman (1989) Bild Gewichte E Approimationsfehler Sparseness-Term! Linearkombination! Sparse coding! Lokalisierte RF gelernt Olshausen & Field (1996)

41 Beispiel 4: Lernen von Mannigfaltigkeiten Originaldaten! Modellierung: Abbildung R N R d N >> d! Approimation durch LC der Nachbarn Anwendungen! Gewichte übernommen! Lokale globale Ählichkeit Geschätzte Mannigfaltigkeiten Mundformraum hochdimensional niedrigdimensional Abbildung Roweis & Saul (2000) Kontinuierlicher semantischer Raum

42 Beispiel 5: Synthese von Gesichtern! 3D Laserscans von ca. 200 Gesichtern! 3D Korrespondenzberechnung! Morphable model: " Linearkombination der Korrespondenzfelder " 3D-Warping mit kombinierten 3D- Shifts Korrespondenz Beymer (1995) Blanz & Vetter (1999)

43 Beispiel 6: Synthese von Bewegungsstilen! Synthese + Analyse von Bewegungsstilen! Linearkombination von Beispielbewegungen! Rauzeitliche Korrespondenz Synthese verschiedener Skill-Level Gangstile Giese & Poggio (2000) Ilg & Giese (2002)

44 Beispiel 6: Synthese von Bewegungsstilen! Synthese + Analyse von Bewegungsstilen! Linearkombination von Beispielbewegungen! Rauzeitliche Korrespondenz! Übertreibungen von Bewegungsstilen Übertreibung: Gesichtsbewegungen Übertreibung: Gangstile Original Übertreibung Giese & Poggio (2000) Giese, Knappmeyer & Bülthoff (2002)

45 Beispiel 7: Biologische Bewegungserkennung! Wahrnehmung anhand stark verarmter Stimuli! Sensitive Neurone im sulcus temporalis superior V1 Neural Model Gabor filters OF Estimation V1/2 MT! Neuronale Mechanismen evtl. ähnlich wie bei der Objekterkennung V2 V4 Bar detectors Comple OF Detectors M(S)T KO IT STS View-tuned neurons OF pattern neurons STS t 1 t 2 t 3 t 1 t 2 t 3 Bobick (1997) + Neural Dynamics STS F5? Giese & Poggio (2002)

46 Beispiel 8: 3D-Struktur aus Video! Nichtrigide 3D-Struktur etrahiert aus Videosequenzen! Tensor-Faktorisierung! Zusatzbedingungen: Rang- und Normbeschränkungen! Kleine Deformation angenommen! Lösung durch SVD! Optischer Fluss in niedrigdimensionalem Unterraum 3D-Position von Oberflächenelementen kann bestimmt werden Brand (2001)

47 Beispiel 9: Superresolution Algorithmus Pielreplikation Markoff-Netzwerk high resolution Original Splineinterpolation (kub.) low resolution! Optimierung: Loopy Beliefpropagation Superresolution (lernbas.) Freeman, Jones & Pastor (2002)

48 Beispiel 10: Photorealistische Avatare! Etrem realistisch ( Touringtest )! Automatische Übersetzung von Phonemen (Sprache) in Viseme (Computeranimation)! 5-8 s Video reichen für Training! Nur Mundregion animiert! Algorithmus: 2D Morphing Modelle für Bilder und opt. Fluss! Automatische Etraktion von ~50 informativen Keyframes! Optischer Fluss berechnet durch Addition der Flusses zwischen Framepaaren

49 Beispiel 10: Photorealistische Avatare Demo

50 Wichtige Punkte (bitte behalten!)! Definition von Maschinenlernen! Klassifizierung verschiedener Lernmethoden! Gründe für Relevanz von Lernen in Computergrafik! Traue keinem Video