Technische Universität

Transkript

1 Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik IX Face Recognition - Active Appearance Models Hauptseminar Mario Ullrich Betreuer: Dipl.Inf. Matthias Wimmer Abgabetermin: 18.Dezember 2003

2 Inhaltsverzeichnis 1 Einleitung / Motivation 2 2 Erstellen des Active Appearance Modells (AAM) Das Active Shape Modell Erweiterung mit Texturen Vereinigung von ASM und Texturen Modell Suche Korrektur der Modell Parameter Iterative Minimierung Beispiele Gesichtserkennung Mimikerkennung Sequenzen Sonstige Anwendungen Zusammenfassung 13 Literaturverzeichnis 14 1

3 Kapitel 1 Einleitung / Motivation Zur Verbesserung der Interaktion von Mensch und Computer ist es für den Rechner immer wichtiger menschliche Formen und Handlungen zu erkennen. Auch ist ein Erkennen von bestimmten Formen für die Wissenschaft, zum Beispiel im medizinischen Bereich von Bedeutung. Diese Arbeit behandelt eine Möglichkeit dieser Erkennung, die sogenannten Active Appearance Models. Im Vergleich zu anderen Konzepten setzt diese Methode auf ein photorealistisches Modell zur Erkennung von Formen und Strukturen. Es entsteht ein recht robustes System, welches in der Praxis zur Erkennung, und im Besonderen auch zur Verfolgung von vorher eintrainierten Objekten eingesetzt wird. Eine Stärke dabei ist die Verfolgung von deformierbaren Objekten in Sequenzen, wie zum Beispiel Gesichter. Entscheidend für den Erfolg einer solchen Verfolgung ist das Training für das Modell. Ein weiterer Anwendungspunkt ist die Objektsynthese oder Animation, wie sie zum Beispiel in Filmen benutzt wird. Im Folgenden soll die Idee der Gesichtserkennung anhand von Active Appearance Modellen erklärt werden. Hierbei wird sowohl der Algorithmus zur Erstellung des Modells beschrieben (Kapitel 2), die Suche mit vorhandenem Modell erklärt (Kapitel 3), als auch mit konkreten Beispielen zur Gesichtserkennung (Kapitel 3) gezeigt, wie wirksam dieses Konzept ist. Zuletzt sollen noch einige andere Anwendungsgebiete der Active Appearance Model Methode erwähnt werden. 2

4 Kapitel 2 Erstellen des Active Appearance Modells (AAM) Hier soll nun der Algorithmus zur Erstellung des Modells behandelt werden. Dieser läßt sich in drei große Einzelschritte gliedern: 1. Erstellung des Active Shape Modells 2. Erweiterung mit Texturen 3. Zusammenführung der beiden Der hier beschriebene Algorithmus ist aus [CET98] und [CT92] entnommen. 2.1 Das Active Shape Modell Bei dem Konzept der Active Appearance Models handelt es sich um eine direkte Erweiterung der Active Shape Model Methode. Diese betrachtet zur Erkennung und Verfolgung der Objekte lediglich deren Kanten und versuchet dann eine Art Durchschnittsform dem aktuell zu verfolgenden Objekts anzupassen. Der große Unterschied der hier behandelten Methode dazu ist nun die Erweiterung des erstellten Modells mit Texturen. Was den Algorithmus zwar komplizierter und den Rechenaufwand größer macht, jedoch die Suche und Verfolgung stabiler laufen lässt. Zu Beginn ist die Existenz eines sogenannten Trainigsets vorausgesetzt.dieses set enthält Bilder, die jeweils mit einer festen Anzahl ( in unserem Fall n) Markierungspunkte annotiert sind. Abbildung 2.1 zeigt ein solches Bild als Teil eines training sets. Diese Markierungspunkte müssen manuell gesetzt werden, was zuerst einmal einen beträchtlichen Arbeitsaufwand bedeutet. Inzwischen sind jedoch auch halbautomatische Verfahren bekannt, welche viel der manuellen Arbeit bei der Annotierung erleichtern. 3

5 KAPITEL 2. ERSTELLEN DES ACTIVE APPEARANCE MODELLS (AAM) 4 Abbildung 2.1: Beispiel für 122 gesetzte Markierungspunkte. Alle Markierungspunkte (x 1, y 1 ),..., (x n, y n ) werden nun zu einem einzigen Vektor zusammengefasst. Es entsteht der Vektor x = (x 1, y 1,..., x n, y n ). Dabei ist zu beachten, dass die Markierungspunkte auf allen Bildern des Trainingsets immer an der selben Stelle gesetzt sein müssen. Man erhält mit diesem Verfahren je nach Anzahl der Bilder im Set ( hier t ) t Vektoren x t. Das Ziel ist nun die vorhandenen Konturen, welche durch die Vektoren x t beschrieben werden, in eine gemeinsame Lage auszurichten. Da lediglich die Form der Konturen interessiert, kann diese beliebig rotiert, skaliert oder positioniert werden. Man verschiebt nun alle Konturen anhand ihres Schwerpunktes zum Ursprung. Danach wird ein beliebiger Vektor x so skaliert dass gilt: x = 1 Hiermit ist die erste Schätzung für x 0 gegeben. Die übrigen Vektoren werden zu dieser ersten Schätzung ausgerichtet und der Mean Shape ermittelt. Durch weitere Normierung und wiederholtes Anwenden des oben erläuterten Prozesses gelangt man zu dem Ziel, für alle Konturen soll gelten x = 1. Es entsteht eine Wolke von Punkten um den Koordinatenursprung. Im nächsten Schritt verwendet man eine sogenannte Hauptkomponentenanalyse oder Principal Component Analysis(PCA). Ziel dieser ist die Reduktion von 2n Vektoren auf eine deutlich kleinere Anzahl. Dabei sollen nun nur noch die Unterschiede der Konturen untereinander dargestellt werden, diese sind bei einem, wie hier vorhandenen, zueinander ausgerichteten Datensatz, durch die Streuung entlang ihrer Hauptachsen 2.2 beschrieben. Die Bestimmung der Hauptachsen erfolgt nun mit der Hauptkomponentenanalyse, dazu

6 KAPITEL 2. ERSTELLEN DES ACTIVE APPEARANCE MODELLS (AAM) 5 Abbildung 2.2: Hauptachsentransformation wird zunächst der Mittelwert der verschiedenen Konturen berechnet. x = 1 s si=1 x i Danach errechnet man die Kovarianzmatrix S = 1 si=1 (x s 1 i x)(x i x) T Durch Lösen des Eigenwertproblems für die Matrix S erhält man die Eigenwerte λ i und die passenden Eigenvektoren p i. Diese werden nach Größe des Eigenwertes in absteigender Reihenfolge sortiert. Jetzt kann man mit einer bestimmten Anzahl Eigenvektoren den vorhandenen Datensatz erklären. Und erhält das trainierte Modell x = x + P s b s Hierbei ist x der Mean Shape, P s, die zu einer Matrix zusammengefassten Eigenvektoren p i und mit dem Vektor b kann das Modell entlang der Hauptachsen verformt werden und eine neue Kontur x erzeugt werden. Damit ist die Erstellung eines sogenannten Active Shape Modells abgeschlossen. Mit den weiteren Schritten soll nun das Modell ausgeweitet werden. 2.2 Erweiterung mit Texturen Hier soll nun dem eben erstellten Kantenmodell eine Textur hinzugefügt werden. Zunächst beginnt man damit, jedes Beispielbild in das Active Shape Modell zu legen, um die Markierungspunkte mit dem Modell abzugleichen. Anschliessend sampelt man die Textur g im des Beispielbildes in der, von der Kontur des Active Shape Modells eingeschlossen Fläche.

7 KAPITEL 2. ERSTELLEN DES ACTIVE APPEARANCE MODELLS (AAM) 6 Die Beispielsamples werden im nächsten Schritt noch mittels Skalierung α und eines Offsets β normalisiert um den Effekt der sogenannten Global Lightning Variation, womit die Beleuchtungsunterschiede in den verschiedenen Bildern der gleichen Testperson gemeint sind, zu minimieren. Man kommt auf folgende Formel. g = (g im β1)/α Die Werte von α und β sind so zu wählen, dass der Vektor am besten dem normierten Durchschnitt angepasst wird. Sei ḡ der Durchschnitt der bisher bearbeiteten Daten, so folgt zur Normierung von g im für die Werte von α und β: α = g im ḡ β = (g im 1)/n Hierbei ist n die Anzahl der Elemente in den Vektoren. Bei ḡ handelt es sich um einen sich ständig verändernden Wert, deswegen empfiehlt sich folgendes Verfahren. Man betrachtet zuerst ein gegebenes Beispielbild als erste Schätzung des Durchschnitts, dann werden die anderen, mit den oben angegebenen Formeln, angeglichen. Anschliessend der Durchschnitt neu geschätzt und diese Prozedur wiederholt. Durch eine Hauptkomponentenanalyse auf den normierten Daten ergibt sich dieses lineare Modell: g = ḡ + P g b g Dabei ist ḡ der durchschnittliche Textur Vektor, P g wiederum die Eigenvektoren und b g die Textur Parameter. 2.3 Vereinigung von ASM und Texturen Wir haben nun zwei lineare Modelle: x = x + P s b s (Form) g = ḡ + P g b g (Textur) Mit b s und b g lässt sich also die Form und Textur von jedem Beispiel beschreiben. Da es nun zu Korrelation zwischen den Form- und Texturvariationen kommen kann wird eine weitere Hauptkomponentenanalyse auf den vorhandenen Daten ausgeführt. Für jedes Beispielbild wird dieser Vektor generiert ( ) ( Ws b b = s Ws P = T ) s (x x) P T = Qc g (g ḡ) b g Wobei W s eine Diagonalmatrix mit Gewichtung für jeden Form Parameter ist, diese wird zur Angleichung von den Koordinatenwerten in b x und den Werten in b g verwendet. Auf diesen Vektoren wird eine Hauptkomponentenanlyse, mit einem gegbenen Modell

8 KAPITEL 2. ERSTELLEN DES ACTIVE APPEARANCE MODELLS (AAM) 7 b = Qc durchgeführt. Q ist hier ein Eigenvektor und c ein Vektor zur Kontrolle von Form und Textur Modellen. Die Form und die Texturen können durch unten aufgeführte Gleichungen direkt als Funktionen von c aufgefasst werden. mit x = x + P s W s Q s c g = ḡ + P g Q g c Q = ( Qs So kann ein neues Beispielbild, für ein gegebenes c, angepasst werden indem nur die Texturen des Vektors g generiert werden und sie mit Hilfe der Kontrollpunkte, welche in x enthalten sind, eingebunden werden. Q g )

9 Kapitel 3 Modell Suche Nach erfolgreicher Erstellung des Modells(siehe Kapitel 2) gilt es nun das Problem zu lösen, ein dem System unbekanntes Bild mit Hilfe des Modells zu interpretieren. Diese Schwierigkeit kann als Optimierungsproblem angesehen werden. Der Lösungsweg ist dabei die Differenz zwischen dem echten Bild und dem Active Appearance Modell zu minimieren. Diese Differenz wird als δi = I i I m bezeichnet. I i ist der Textur Vektor des Bildes und I m der des Modells. Um nun das Bild mit dem Modell möglichst gut abzugleichen gilt es, die Größe von = δi 2,durch Variation von c, zu minimieren. Aufgrund der Größe von c, handelt es sich hier um ein hoch-dimensionales Problem. Dabei behilft man sich damit, dass jeder Versuch das Modell mit dem Bild abzugleichen, im Prinzip das gleiche optimierungs Problem darstellt. Mit der dabei entwickelten Methode, wie die Parameter angeglichen werden müssen erhält man einen effektiven Algorithmus für das Problem. Es bleiben die Schwierigkeiten, den Zusammenhang zwischen δi und die Änderung in den Modelparametern δc zu erkennen (Kapitel 3.1), sowie ein iteratives Verfahren zur Minimierung von zu finden (Kapitel 3.2). 3.1 Korrektur der Modell Parameter Ziel ist es nun, eine einfache lineare Gleichung zu finden, welche den vorher erwähnten Zusammenhang beschreibt. Diese Gleichung soll von der Form δc = AδI sein. Um A zu finden, wendet man multivariate lineare Regression auf eine bekannte Menge δc von Modellverschiebungen und den dazugehörigen δi an. Diese Verschiebungen können 8

10 KAPITEL 3. MODELL SUCHE 9 durch absichtliches stören der Parameter, der original Trainigset Bildern erzeugt werden. Oder man erzeugt andere Bilder mit dem Appearance Modell und stört diese dann. Entscheidend dabei ist, dass die originale Parameter dabei bekannt sind und so der Unterschied errechnet werden kann. Zusätzlich werden leichte Veränderungen in der Position, dem Maßstab und der Orientierung eingearbeitet. Der Einfachheit halber betrachtet man diese Veränderungen als zusätzliche Einträge im Vektor δc. Die Berechnung der Differenz erfolgt nun folgendermassen: Sei c 0 der Vektor der bekannten appearance Parametern in dem aktuellen Bild. Diese Parameter verändert man nun um ein bekanntes δc um einen neuen Vektor c = δc + c 0 zu erhalten. Zu diesem c kann nun mit Hilfe der in Kapitel 2.3 definierten Funktionen eine Kontur x und eine normalisierte Textur g m berechnen. Man erhält ein normalisiertes Muster, g s, durch sampeln von g m auf x. Der Fehler hier ist dann δg = g s g m. Das Training besteht dann darin, zufällig die Parameter in jedem Trainigsbild zu verändern und δc und δg aufzuzeichnen. Nach multi-variater Regression erhält man die Beziehung δc = Aδg Idealerweise will man mit dieser linearen Beziehung eine Fehlerabweichung δg so groß wie möglich abdecken. Jedoch hat man schon herausgefunden, dass diese lineare Beziehung nur eine beschränkte Auswahl an Werten abdeckt. Welche im Allgemeinen aber ausreichend sind. 3.2 Iterative Minimierung Hat man eine Methode gefunden, um vorausschauend die Modellparameter zu verändern, kann nun ein iteratives Verfahren angeben um zu minimieren. Gegeben ist eine Schätzung von Modell Parametern c 0, sowie die normalisierte Bildvorlage zur aktuellen Schätzung g s. Das Verfahren sieht nun folgendermaßen aus: δg 0 = g s g m (Fehlervektor) E 0 = δg 0 2 ( aktueller Fehler) δc = Aδg 0 (erwartete Entfernung) berechnen k = 1 c 1 = c 0 kδc setzen

11 KAPITEL 3. MODELL SUCHE 10 das Bild an diese neue Schätzung anpassen und einen neuen Fehlervektor δg 1 ausrechnen falls δg 1 2 < E 0 die neue Schätzung c 1 akzeptieren ansonsten mit k = 1.5, k = 0.5,... probieren Dieses Verfahren wird nun wiederholt bis es in dem Fehlervektor δg 2 keine Verbesserung mehr gibt 3.1. Abbildung 3.1: Hier jeweils nach x Iterationen und nach gegebenem Startpunkt.

12 Kapitel 4 Beispiele In diesem Kapitel folgt eine kurze Behandlung von Beispielen, in denen Active Appearance Modells zum Einsatz kamen. Es werden einige konkrete Zahlen genannt und die Vielfältigkeit der Methode gezeigt. 4.1 Gesichtserkennung Hier wird nun ein Beispiel erwähnt wie es an der Technical University of Denmark durchgeführt wurde.[ste00] Das Training Set bestand hier aus 35 Bildern von 35 verschiedenen Personen, jedes Bild hatte eine Auflösung von 640x480 Pixeln und war mit 35 Markierungspunkten manuell annotiert worden. Das daraus entstandene Modell bestand aus ca Pixeln und der Vektor c aus 26 Parametern, welche 95 Prozent der Variation beschreiben. Die Suche und Angleichung des Modells an ein vorher unbekanntes Bild dauerte auf einem Athlon mit 1.2 GHz etwa 400 ms, und die durchschnittliche Abweichung entsprach 1.01 Pixeln. Würde hier nicht nur mit Schwarz Weiß Bildern, sondern mit farbigen Bildern modelliert werden, so hätte das Modell anstatt der 7600 Pixel etwa Pixel. Über die Fehlerrate wurde keine Aussage gemacht, jedoch wird in [ECT98] ein ähnliches Experiment vorgestellt, bei dem die Wiedererkennungsrate von Gesichtern in einem unbekannten Bild bei 88 Prozent lag. 4.2 Mimikerkennung Um zu testen, wie gut ein Active Appearance Modell Mimiken erkennen, wurde eine Versuchsreihe mit 25 menschlichen Testpersonen, einem Active Appearance Model mit einem training set von 200 Bildern, sowie 200 ungesehenen Bildern gestartet. Den Testpersonen wurden die selben 200 Bilder gezeigt und jede musste dem Bild eine Emotion, wie Glück, Ärger, oder Angst, zuordnen. Genauso wurde das Modell angeglichen auf die selben

13 KAPITEL 4. BEISPIELE 12 unbekannten Bilder und zusätzlich den 200 Bildern jeweils per Zufall eine Emotion zugeordnet. Das Ergebnis zeigte einen deutlichen Unterschied zwischen den zufällig gewählten Emotionen und den anderen Methoden, das Modell erreichte nicht ganz den Wiedererkennungswert, welchen die Testpersonen hatten, waren aber deutlich erfolgreicher als der Wert der zufälligen Suche. Dieses Ergebnis ließe sich noch verbessern, würde man mit einem besseren und grösseren Trainingset arbeiten. [ECT98] 4.3 Sequenzen Um die Echtzeit Fähigkeit von Active Appearance Models zu testen, ist es interessant ein Objekt in einer Sequenz zu verfolgen. Ein Problem beim Verfolgen eines Objekts in einer Sequenz ist oft die Tatsache, dass es sich um deformierbare Objekte handelt (z.b. ein Gesicht). Das Active Appearance Modell erzielt hier recht gute Ergebnisse, es behilft sich dabei der Tatsache, dass es nicht für jedes neue Bild der Sequenz einen neuen Initialisierungspunkt finden muss. Das heißt, es geht davon aus, dass in dem folgenden Bild der Sequenz, das Zielobjekt wieder etwa an der gleichen Stelle zu finden sein muss. Und die Angleichung wird durch diese Erkenntnis deutlich schneller. 4.4 Sonstige Anwendungen Weitere Versuche sind zum Beispiel im Bereich der Medizin zu finden 4.1. Hier anhand eines Knies. Abbildung 4.1: Knieerkennung in einem Querschnitt. Wichtig ist bei diesen Anwendungen wiederum ein gutes Trainingset, wurde die Struktur des Knies vorher durch genügend Beispiele in einem Modell beschrieben, so ist die Wiedererkennungsrate, auf einem Bild wie 4.1 recht hoch und auch schnell, hier bereits nach 11 Iterationen.

14 Kapitel 5 Zusammenfassung Es wurde in den letzten Kapiteln gezeigt, wie Objekterkennung/ Verfolgung, hier im Speziellen von Gesichtern, mit Active Appearance Models(AAM) funktioniert. Diese Methode kann grob in eine Traings- und in eine Suchphase aufgeteilt werden. Man beginnt mit der Erstellung eines Modells, ausgehend von einer bestimmten Anzahl, mit Markierungspunkten an den Kanten, annotierten Beispielbildern. Es entstand ein Mean Shape, der sozusagen die Durchschnittsform dieser Beispielbilder beschreibt. Diesen fasst man dann mit den Texturen dieser Bilder zu einem fertigen Modell zusammen, indem zuerst die Texturen jedes Bildes auf den Mean Shape gelegt, normiert und später mit dem ASM vereinigt werden.(kapitel 2.3) Anschliessend erfolgte die Beschreibung der Suche und Erkennung auf zuvor nicht bekannten Bildern. Hierzu bedarf es einer Angleichung des Modells an das Bild, was mit einem iterativen Verfahren realisiert wurde. Sukzessive wird die Abweichung von Modell zu dem Bild verringert bis der Fehler annehmbar klein ist und somit das Modell dem Bild angeglichen wurde.(kapitel 3.2) Zuletzt wurden noch einige Beispiele und konkrete Zahlen genannt. (Kapitel 4) Die AAM bilden eine direkte Erweiterung des Konzepts der Active Shape Models(ASM), die im Vortrag von Andreas Hofhauser am behandelt wurden. Ein Vergleich der beiden Methoden ergibt, dass ASM zwar in der Suche schneller, jedoch AAMs verlässlicher sind. Was leicht damit erklärt werden kann, dass das AAM Konzept die ganze Gesichtsinformation verarbeitet und nicht nur, wie ASM, die Konturen. Viel hängt bei AAM von der Auswahl und Bearbeitung des Training Sets ab, liegt ein sehr gutes und großes set vor, so ist der Algorithmus äusserst stabil. Weniger stabil sind AAM bei großen Differenzen zwischen Start und Zielpunkten, das heißt wenn die erste Initialisierung schlecht gewählt ist. 13

15 Literaturverzeichnis [CET98] T. F. Cootes, G. J. Edwards, and C. J. Taylor. Active appearance models. Lecture Notes in Computer Science, 1407:484??, [CT92] T. Cootes and C. Taylor. Active shape models- - smart snakes, [ECT98] G. J. Edwards, T. F. Cootes, and C. J. Taylor. Face recognition using active appearance models. Lecture Notes in Computer Science, 1407:581??, [SEL03] M. B. Stegmann, B. K. Ersbøll, and R. Larsen. FAME - a flexible appearance modelling environment. IEEE Transactions on Medical Imaging, 22(10): , may [Ste00] M. B. Stegmann. Active appearance models: Theory, extensions and cases. Master s thesis, Informatics and Mathematical Modelling, Technical University of Denmark, DTU, Richard Petersens Plads, Building 321, DK-2800 Kgs. Lyngby, aug