Systementwicklungsprojekt

Transkript

1 Systementwicklungsprojekt Modellbasierte Mimikerkennung in Videobildern mittels Optical Flow Christoph Mayer Sylvia Pietzsch Aufgabensteller: Prof. Dr. Bernd Radig Projektbetreuer: Matthias Wimmer Garching,

2 Inhaltsverzeichnis 1. Einleitung Hintergrund und Techniken Einsatzgebiete Die sechs Hauptmimiken nach Ekman und Friesen Die Cohn-Kanade-Facial-Expression-Database Optical Flow Hauptachsentransformation Klassifikation Unsere Vorgehensweise Das Gesichtsmodell Merkmalsextraktion und Verarbeitung Erstellung der Klassifikatoren Grundsätzliche Vorgehensweise Classifier Classifier Classifier Classifier Classifier Classifier Classifier Schwierigkeiten bei der Klassifikation vor der Live-Kamera Evaluation Unsere Ergebnisse Vergleich mit anderen Arbeiten Zusammenfassung Ausblick A. Anhang Literaturverzeichnis

3 1. Einleitung Die Arbeit mit Computern bestimmt heute einen Großteil unserer Berufswelt und der Freizeit. Dabei ist die Interaktion zwischen Mensch und Maschine noch weitestgehend auf althergebrachte Ein- und Ausgabegeräte wie Tastatur, Maus und Bildschirm beschränkt. Seit etwa zehn Jahren hat sich jedoch die Forschung auf dem Gebiet der Mensch-Maschine- Interaktion verstärkt. Die Mechanismen zwischenmenschlicher Kommunikation und Interaktion sollen in Mensch-Maschine-Schnittstellen nachgebildet werden, die Anwendern eine intuitive und komfortable Bedienung ermöglichen sollen. Die menschliche Kommunikation ist ein komplexer Vorgang, der weit über das Gesprochene hinausgeht. In einem Gespräch werden Informationen nicht allein mittels Sprache ausgetauscht, auch die Körpersprache, die Mimik und Gestik umfasst, erzählt uns - zum Teil unbewusst - etwas über unser Gegenüber. Der Gesichtsausdruck stellt das Gesagte oft in einen Kontext. Er kann eine Stimmung hervorheben oder gar den Sprecher als Lügner entlarven, indem er die zum Gesprochenen gegenteilige Information transportiert [9]. Mimik ist auch für sich allein genommen ein Informationsträger. Sie verrät uns in Sekundenbruchteilen etwas über die Stimmung unseres Gegenübers. Mimiken automatisiert durch Computer erkennen zu lassen ist daher einer der Ansätze zur Entwicklung von modernen, interaktiven Benutzerschnittstellen. Wie bei vielen Fähigkeiten, die der Mensch ganz intuitiv einsetzt, ist es auch bei der Mimikerkennung schwierig, diesen Vorgang mit dem Computer nachzubilden. Zunächst muss das Gesicht der Person im Videobild lokalisiert werden. Danach müssen die Gesichtsmerkmale gefunden werden, die eine Mimik ausmachen, und schließlich müssen diese Merkmale bewertet und einer Mimik zugeordnet werden. Diesen Vorgang bewältigt der Mensch in kürzester Zeit. Um Akzeptanz bei Anwendern zu finden, darf auch die Antwortzeit von modernen, interaktiven Benutzerschnittstellen nicht zu groß sein. Weiterhin besteht die Schwierigkeit, eine entsprechende Repräsentation für die Muskelbewegungen im Gesicht zu finden. Zudem ist nicht eindeutig festgelegt, wie sich bestimmte Mimiken äußern. Mimiken sind nicht standardisiert, normiert oder definiert. Betrachtet man das Beispiel Lachen, so gibt es verschiedene Varianten, von einem leichten Lächeln bis hin zu einem herzhaften Lachen über einen guten Witz oder das humorlose Lachen bei großer Entrüstung. 2

4 2. Hintergrund und Techniken 2.1. Einsatzgebiete Mimikerkennung durch den Computer liegt im Forschungsgebiet der Mensch-Maschine- Schnittstellen. Ziel der Forschungen ist die Entwicklung moderner, interaktiver Benutzerschnittstellen, die Mimik-, Gestik- und Spracherkennung kombinieren. Einsatzgebiete dieser Systeme sind beispielsweise automatische Assistenten und virtuelle Agentensysteme. Der automatische Verkaufsagent "Cosima" analysiert die Stimmungslage des Gegenübers und passt sich ihm an. Dieser intelligente Agent ist in der Lage, über einen Preis zu verhandeln oder alternative Angebote zu machen. Zudem stellt Cosima auch fest, wenn sich sein Gegenüber beispielsweise finanziell beim Hauskauf zu übernehmen droht [11]. Zu diesem Zweck wertet Cosima mittels einer Kamera die Mimik des Gegenübers aus. Vielleicht wird Cosima oder ein verwandtes System das Einkaufen im Internet schon bald einfacher und angenehmer gestalten. Der Vorteil dieses Systems gegenüber einer heutzutage gebräuchlichen Suchmaske soll für beide, Verkäufer und Käufer, gelten. Der Kunde hat einen Partner, dem er auf menschliche Weise klar machen kann, was er sucht, also jemanden, der ihn beim Suchen unterstützt, auch wenn der Kunde nicht genau weiß, was er will. Verkäufer erhoffen sich zum einen einen Blickfang und zum anderen steht, dass zufriedene Kunden wiederkommen und mehr kaufen. Aber auch auf anderen Gebieten mag es sinnvoll sein, dass Computer lernen, die Mimiken von Menschen einzuschätzen. Statistiken zeigen, dass Unfälle häufig von wütenden oder emotional erregten Autofahrern verursacht werden. [12] Ein Bordcomputer, der in der Lage ist, zu erkennen, wenn sich der Fahrer in einer Stresssituation befindet, könnte in der Lage sein, entsprechende Vorsichtsmaßnahmen zu empfehlen oder selbst einzuleiten. Ein weiteres, verwandtes Einsatzgebiet ist der Flughafen. Der Beruf des Fluglotsen kann enormen Stress aufbauen. Auch hier kann ein Computer eine gefährliche Situation rechtzeitig erkennen und eine Pause empfehlen [12]. Im Moment noch größtenteils Zukunftsmusik sind emotionale Computer, also Rechner, die tatsächlich selbst Emotionen simulieren können. In die Science Fiction Szene haben diese Computer längst Einzug gehalten, wie man an Data, der Erfolgsserie Star Trek oder dem Computer HAL aus Kubrick s A Space Odyssey sehen kann. Der Wissenschaftler Antonio Damasio sieht einen klaren Zusammenhang zwischen der Fähigkeit, Emotionen zu empfinden und intelligentem Handeln. Falls seine These stimmt, wäre es also möglich, dass emotionale Computer herkömmlichen Computern auf Gebieten der künstlichen Intelligenz überlegen sind. Data mag noch Zukunftsmusik sein, der Roboterhund AIBO existiert allerdings schon. Dieser Roboter in Form eines Hundes kann über Sensoren seine Umwelt analysieren, bewegt sich wie ein Hund, kann spielen und sich streicheln lassen. [13] Auch bei der Weiterbildung am Computer kann es hilfreich sein, wenn der Rechner die Stimmungslage des Lernenden analysieren kann. Auf diese Weise kann das Lerntempo angepasst werden, falls der Lernende entweder überfordert oder unterfordert ist. Wie wichtig die Regulation des Lerntempos sein kann, weiß jeder, der in der Schule oder Universität einmal in der Gruppe gelernt hat. Wie oft hört man als Erklärung für schlechte Schulnoten die Erklärung Ich kam einfach nicht mit. Das könnte beim Lernen am Rechner der Vergangenheit angehören [12]. 3

5 2.2. Die sechs Hauptmimiken nach Ekman und Friesen Das Erkennen von Mimiken spielt nicht nur in der Informationstechnologie eine Rolle, auch Psychologen und Physiologen beschäftigen sich seit langem mit menschlichen Mimiken und ihrem Zusammenhang mit Emotionen. Von der Schwierigkeit, die das Erkennen von Mimiken selbst uns Menschen bereitet, kann man sich unter [10] überzeugen. Unter dem angegebenen Link findet man einen Online-Test der Universität des Saarlandes, bei dem Bildern passende Mimiken zugeordnet werden sollen. Informatiker würden es bevorzugen, wenn man Mimiken normieren könnte, weil man sie dann eindeutig beschreiben kann und ihre Merkmale leichter erkennt. In der Praxis lässt sich das nicht realisieren, denn so vielseitig die Menschen sind, so vielseitig können auch die Gesichtsausdrücke sein. Ekman und Friesen fanden in Studien heraus, dass es sechs universelle Hauptmimiken gibt. Sie werden in allen Kulturkreisen angewendet und auf die gleiche Weise gedeutet. Der zugrunde liegende Bewegungsablauf ist dem Menschen angeboren. Diese Hauptmimiken sind Überraschung, Lachen, Angst, Wut, Trauer und Ekel. Diese Mimiken werden auch in den Videos aus der Cohn-Kanade-Facial-Expression- Database (siehe Kapitel 2.3) dargestellt. In unserem Projekt wurde ebenfalls an der Erkennung der sechs Hauptmimiken gearbeitet. An dieser Stelle werden kurz die wesentlichen Merkmale dieser Mimiken beschrieben, wie sie in unserem Projekt benutzt werden. Mit der Mimik Lachen ist ein offenes Lachen gemeint, nicht nur ein verhaltenes Lächeln. Die Mundwinkel werden dabei deutlich sichtbar nach oben gezogen. Die Augen verkleinern sich automatisch. Es bilden sich mehr oder weniger stark ausgeprägte Fältchen an den Augenwinkeln. Im Moment der stärksten Ausprägung sind bei Überraschung Mund und Augen weit geöffnet und die Augenbrauen in Richtung Stirn gezogen. Bei der Darstellung von Angst wird der Mund leicht geöffnet und in die Breite gezogen, die Augen sind geweitet oder auch leicht zusammengekniffen. Wut ist durch zusammengekniffene Lippen gekennzeichnet. Die Kinnpartie schiebt sich nach vorn, die Augen werden zusammengezogen. Trauer wird durch nach unten gezogene Mundwinkel dargestellt. Ekel lässt sich am besten mit einem starken Naserümpfen beschreiben. Den zeitlichen Verlauf einer Mimik kann man in drei Phasen einteilen: Aufbauphase, Haltephase und Abbauphase. In der Aufbauphase finden die Muskelbewegungen statt. Der entstandene Gesichtsausdruck wird anschließend für eine Weile gehalten. In der Abbauphase entspannen sich die Muskeln wieder Die Cohn-Kanade-Facial-Expression-Database Das Videomaterial, welches diesem Projekt als Grundlage dient, stammt aus der Cohn- Kanade-Facial-Expression-Database [1]. Diese Datenbank ist eine Sammlung von Videos, in denen die sechs Hauptmimiken von Ekman und Friesen (siehe Kapitel 2.2) Überraschung, Lachen, Angst, Wut, Trauer und Ekel von circa 100 Personen im Alter von 18 bis 30 Jahren dargestellt werden. Jedes Video umfasst zwischen 15 und 30 Einzelbilder und zeigt ausgehend vom neutralen Gesichtsausdruck die Aufbau- und Haltephase einer Mimik. Die Personen wurden in gleichem Abstand zur Kamera aufgenommen. Neben den gezeigten Mimiken gibt es keine weiteren Bewegungen (Bewegungen im Hintergrund, Kopfbewegungen). Die Merkmale einer Mimik lassen sich somit gezielt analysieren. Allerdings muss man diesen Faktor bedenken, wenn man Mimiken außerhalb des Labors in natürlichen Umgebungen erkennen will. Es wurden Videos aus der Datenbank entfernt, die eine sehr schwach ausgeprägte oder für uns nicht eindeutig zu erkennende Mimik zeigten. 4

6 Insgesamt werden für unser Projekt 372 Videos verwendet, die uns zu Trainings- und Evaluationszwecken dienen Optical Flow Mimiken entstehen durch das Zusammenspiel verschiedener Muskelbewegungen im Gesicht. Ekman und Friesen schlagen 1978 ein System zur Bestimmung zusammengesetzter Gesichtsbewegungen vor, das Facial Action Coding System (FACS) [7]. Sie stützen sich dabei auf die anatomischen Merkmale des Gesichts, indem sie einzelne Muskelgruppen zu sogenannten Action Units zusammenfassen. Eine Gesichtsbewegung lässt sich nach FACS dadurch beschreiben, welche Action Units in welchem Ausmaß an der Bewegung beteiligt sind. Verfahren aus der Bildverarbeitung bilden die Basis zur Mimikerkennung durch den Computer. Es wurden spezielle Algorithmen entwickelt, die Gesichter in Videobildern finden und über eine Sequenz von Bildern hinweg verfolgen. In dem gefundenen Gesichtsbereich im Bild werden die Merkmale extrahiert, die zur Erkennung von Mimiken von Bedeutung sind. In unserem Projekt wird der Optical Flow als Merkmal für die Muskelbewegung im Gesicht und damit für die Mimiken gewählt. Optical Flow entsteht durch die Bewegung eines Objektes relativ zum Betrachter. Das Phänomen des Optical Flows kann man in alltäglichen Situationen beobachten. Wenn man beispielsweise mit dem Auto fährt, bewegen sich Objekte am Straßenrand scheinbar in die entgegengesetzte Richtung. Betrachtet man zwei Momentaufnahmen und analysiert die Bewegung jedes einzelnen Punktes, ergibt sich eine Menge von Bewegungsvektoren. Dabei ist die Bewegung am Rand des Gesichtsfeldes stärker als im Zentrum. Optical Flow kommt in verschiedenen Bereichen der Bildverarbeitung zum Einsatz. Bei der Auswertung von Bildfolgen können bewegte Objekte mittels Optical Flow von unbewegtem Hintergrund unterschieden werden. In unserem Projekt wird Optical Flow benutzt, um Muskelbewegungen innerhalb eines Gesichtes zu erkennen. Abbildung 2.1 zeigt zwei Beispiele. Jede Mimik bildet ein charakteristisches Bewegungsmuster. Durch Lachen (Abbildung 2.1, links) entsteht Optical Flow vor allem in der Mundregion. Die Richtung des Optical Flow zeigt, wie die Mundwinkel auseinander und nach oben gezogen werden. Bei Überraschung (Abbildung 2.1, rechts) ist aus dem Optical Flow deutlich die Bewegung der Augenbrauen und des Mundes zu erkennen. Der Optical Flow gibt nicht nur die Richtung der Muskelbewegungen an, sondern auch deren Intensität. Abbildung 2.1: Optical Flow, links: Lachen, rechts: Überraschung 5

7 2.5. Hauptachsentransformation Die Hauptachsentransformation (engl. PCA Principal Component Analysis) wird zur Datenkomprimierung und zum Finden von Hauptachsen, das sind Achsen entlang der wichtigsten Komponenten, in mehrdimensionalen Datensätzen benutzt. Sie berechnet für eine Menge von Punkten in einem n-dimensionalen Raum ein neues Koordinatensystem und gibt eine Matrix an, mit der die Koordinaten des einen Raumes in Koordinaten des anderen Raumes transformiert werden können. Die Achsen des transformierten Koordinatensystems stehen grundsätzlich senkrecht aufeinander. Es verändert sich nicht nur die Richtung, sondern auch der Mittelpunkt der Koordinatenachsen. Beispiel: Man betrachtet einen zweidimensionalen Raum mit einer Punktwolke, die sich von unten links nach oben rechts erstreckt, siehe Abbildung 2.2, links. Abbildung 2.2: Beispiele für zweidimensionale Punktmengen Die beiden Koordinaten der Punkte in Abbildung 2.2, links, sind statistisch gesehen nicht voneinander unabhängig. Je größer die x-koordinate eines Punktes ist, desto größer ist im Durchschnitt auch dessen y-koordinate. Eine Verteilung, bei der das nicht gilt, ist in Abbildung 2.2, rechts, dargestellt. Die Hauptachsentransformation errechnet ein Koordinatensystem, bei dem die Achsen möglichst unabhängig voneinander sind, so dass also die Wahl der ersten Koordinate wenig über die Wahl der zweiten aussagt. Die erste Achse liegt entlang der wichtigsten Richtung der Punktmenge, die zweite Achse entlang der zweitwichtigsten Richtung und so weiter. Im Beispiel aus Abbildung 2.2, links, liefert die Hauptachsentransformation ein Ergebnis wie in Abbildung 2.3 veranschaulicht. Abbildung 2.3: Ergebnis der Hauptachsentransformation 6

8 Folgendermaßen wird eine Hauptachsentransformation erstellt. Den Ausgangspunkt bilden n Vektoren der Dimension m. Zunächst bestimmt man den Durchschnittsvektor µ. Aus den Datensätzen und dem Durchschnittsvektor wird die Kovarianzmatrix berechnet. Ein Eintrag in der Kovarianzmatrix an der Stelle (x,y) entspricht dabei der Formel cov( x, y) = n i= 0 ( x i x)( y n 1 i y) wobei x i und y i für die Werte im i-ten Vektor in den Dimensionen x und y mit x, y { 1, K, m} stehen und x bzw. y für die Durchschnitte in diesen Dimensionen. Für die Kovarianzmatrix ergibt sich eine Größe von m m, da die Kovarianz zwischen allen Paaren von Dimensionen betrachtet wird. Die resultierende Matrix enthält an der Stelle (x,y) die Kovarianz zwischen den Dimensionen x und y. Ein positiver Wert bedeutet dabei, dass ein Anstieg der Werte der einen Dimension auch einen Anstieg der Werte in der zweiten Dimension bedingt. Ein negativer Wert sagt aus, dass mit dem Wachstum der Werte in der einen Dimension die Werte der anderen Dimension fallen. Ist die Kovarianz null, sind die Dimensionen unabhängig voneinander. Die Kovarianzmatrix ist symmetrisch und enthält auf der Hauptdiagonalen die Varianzen in den einzelnen Dimensionen. Von der Kovarianzmatrix berechnet man alle Eigenvektoren und alle zu den Eigenvektoren gehörenden Eigenwerte. Die Eigenvektoren werden nach der Größe der zugehörigen Eigenwerte sortiert. Multipliziert man einen Vektor im ursprünglichen Raum mit dem Eigenvektor, der den größten Eigenwert besitzt, erhält man die Koordinate auf der Hauptachse im transformierten Raum, multipliziert man ihn mit dem Eigenvektor, der dem zweitgrößten Eigenwert zugeordnet ist, so erhält man die Koordinate auf der zweitwichtigsten Achse, analog für alle m Eigenvektoren. Bildet man aus allen Eigenvektoren eine Matrix, so entspricht die Multiplikation eines Vektors mit der Transponierten dieser Matrix einer vollständigen Transformation: Sei Γ die Matrix der Eigenvektoren v γ i der Kovarianzmatrix, geordnet nach den zugehörigen Eigenwerten, v γ 1 entspricht dem höchsten Eigenwert v v v Γ = γ γ Lγ ), ( 1 2 n dann folgt die Transformation der Formel: v T v x = Γ x, wobei x v einem m -dimensionalen Vektor entspricht, bei dem die Mittelwerte abgezogen wurden. Eigenvektoren, deren Eigenwerte sehr klein sind, können weggelassen werden. Auf diese Weise kann man eine verlustbehaftete Datenkomprimierung realisieren. Diese Komprimierung kann man anhand der Rücktransformation nachvollziehen. Dazu wird ein Punkt betrachtet, bei dem alle Komponenten außer der wichtigsten auf null stehen, und die Rücktransformation durchgeführt. Variiert man die wichtigste Koordinate, wandert der Punkt auf der Hauptachse entlang, seine Koordinaten im Ursprungsraum ändern sich dabei alle. Der Punkt wandert auf der Achse, die die Lage des Punktes im Raum am besten beschreibt. Mit 7

9 der Änderung einer Zahl im transformierten Raum ändern sich alle Koordinaten im Ursprungsraum, und zwar in der Art und Weise, wie sie voneinander abhängig sind Klassifikation Klassifizieren bedeutet, eine Menge von Daten in festgelegte Klassen einzuteilen. Dabei sollen die Merkmale innerhalb einer Klasse möglichst ähnlich sein, sich aber von denen anderer Klassen unterscheiden. Um die Merkmale, die aus den Videos extrahiert werden, einer der sechs Mimiken zuzuordnen, werden mit Hilfe des Klassifikationstools WEKA ([8]) Klassifikatoren erstellt. WEKA ist ein Programmpaket zur Unterstützung von Data-Mining- Aufgaben und beinhaltet eine Menge von Klassifikationsalgorithmen. Es wird ein Algorithmus benutzt, der einen binären Entscheidungsbaum generiert und in WEKA die Bezeichnung J48 trägt. J48 ist eine Erweiterung des Klassifikationsalgorithmus C4.5. Der Algorithmus verfährt wie folgt: Er findet heraus, bei welchem Vektorelement und welchem Schwellwert sich die Datenmenge am besten in zwei Teile teilen lässt, die die gewünschten Klassen beinhalten. Die Anfrage Ist ein Vektorelement größer als der Schwellwert? bildet den Wurzelknoten. Die Menge aller Vektorelemente, für die die Anfrage mit Ja beantwortet wird, bildet ein Kind im Baum, die Menge der Vektorelemente, für die die Anfrage mit Nein beantwortet wird, bildet das andere Kind. An beiden Kindern wird der Algorithmus erneut durchlaufen. Das Verfahren wird solange fortgesetzt, bis eine vorher bestimmte Menge an Elementen pro Kind erreicht ist oder alle Elemente in der Kindmenge dieselbe Klasse haben. Um den Klassifikator zu trainieren, wird eine Trainingsmenge zur Verfügung gestellt, bei der die zu klassifizierenden Datensätze mit der Klasse versehen werden, der sie angehören. Gestestet wird ein Klassifikator mittels einer Testmenge, die nicht gelernt wurde. Für unsere Klassifikatoren bilden zwei Drittel der Videos aus der Cohn-Kanade-Facial-Expression- Database die Trainingsmenge. Die Evaluation erfolgt mittels Kreuzvalidierung mit zehn Faltungen. Kreuzvalidierung funktioniert nach folgendem Prinzip: Der Datensatz wird in zehn gleichgroße Teile geteilt. Jeweils einer dieser Teile wird als Testmenge zurückbehalten. Mit den restlichen neun Teilen wird ein Klassifikator erstellt, der dann am zehnten Teil getestet wird. Der Klassifikator wird aus den Einzelklassifikatoren zusammengesetzt, wobei die Gesamtgenauigkeit der Durchschnitt aus den Einzelgenauigkeiten der einzelnen Faltungen ist. Neben der Erkennungsrate, die ein Klassifikator auf der gesamten Datenmenge erreicht, ist für die Beurteilung der Qualität des Klassifikators von Interesse, wie sich die Ergebnisse in den einzelnen Klassen zusammensetzen. Einen schnellen Überblick darüber geben Konfusionsmatrizen. Ein Eintrag in der Konfusionsmatrix an der Stelle (X,Y) besagt, wie viele Datensätze der Klasse X als zur Klasse Y gehörig eingestuft werden. Ein idealer Klassifikator hat von null verschiedene Einträge nur auf der Hauptdiagonale. 8

10 3. Unsere Vorgehensweise 3.1. Das Gesichtsmodell Um das Gesicht zu Beginn einer Videosequenz im Bild zu finden und es über die einzelnen Bilder hinweg zu verfolgen werden bereits am Lehrstuhl vorhandene Algorithmen benutzt. Wenn das Gesicht gefunden ist, wird ein zweidimensionales Gesichtsmodell generiert. Das Modell besteht aus 134 Punkten, deren Anordnung die Lage von Augenbrauen, Augen, Nase und Mund im Gesicht sowie die Gesichtskontur beschreibt. Abbildung 3.1: Gesichtsmodell Das Gesichtsmodell beinhaltet 17 Parameter, die die Deformation des Gesichtes beschreiben. Dazu gehören beispielsweise die Drehung des Kopfes, der Grad der Öffnung des Mundes oder die Richtung, in die die Augen blicken. Ausgehend vom Gesichtsmodell wird ein dynamisches Gitter, bestehend aus 14 Reihen mit jeweils 10 Punkten, berechnet. Die Anzahl der Gitterpunkte bleibt konstant bei 140, jedoch ändern sich die Abstände zwischen den Gitterpunkten mit der Änderung des Gesichtsmodells. Ein feststehendes, regelmäßiges Gitter erweist sich an dieser Stelle als unbrauchbar, da es speziell links und rechts des Kinnes über das Gesicht hinausragt und somit sehr empfindlich auf Bewegung im Hintergrund reagiert. Um dieses Problem zu umgehen, wird das von uns verwendete Gitter durch die Gesichtskonturen begrenzt. Der linke und rechte Rand des Gitters wird an Punkten des Gesichtsmodells festgemacht. Da die Gesichtskontur im Bereich oberhalb der Wangenknochen endet, werden vier Reihen des Gitters im Bereich der Augenbrauen und der Stirn erweitert Merkmalsextraktion und Verarbeitung An den Gitterpunkten wird der Optical Flow bestimmt. Da eine Mimik nicht von Bild zu Bild entsteht, sondern über das gesamte Video hinweg aufgebaut wird, wird der Optical Flow über alle Einzelbilder des Videos aufsummiert. Um kleinere Fehler auszugleichen, die der 9

11 Algorithmus verursacht, der das Gesichtsmodell in die Kamerabilder einpasst, wird das erste Bild jedes Videos mit einer Groundtruth versehen, das bedeutet, das Gesichtsmodell im ersten Bild wird manuell angepasst, indem die Punkte an die richtige Position gezogen werden. Dies führt zu erheblichen Verbesserungen, da der Algorithmus umso besser arbeitet, je besser das initiale Gesichtsmodell passt. Ein Problem ergibt sich aus den unterschiedlichen Gesichtern: Wenn ein Mensch beispielsweise ein besonders großes Gesicht hat, dann öffnet sich der Mund beim Lachen absolut betrachtet weiter als bei einem Menschen mit kleinerem Gesicht. Bei unterschiedlichen Menschen kann es somit bei einer gleichen Mimik, die auch gleich stark dargestellt wird, zu unterschiedlich großem Optical Flow kommen. Um das auszugleichen, wird eine Normierung durchgeführt, ehe die Werte in die Hauptachsentransformation eingehen. Die x-komponente des Optical Flows werden ins Verhältnis zur Breite des Gesichts gesetzt und die y-komponente ins Verhältnis zur Höhe des Gesichts. Im Weiteren wird nicht mehr mit den absoluten Werten des Optical Flows gearbeitet, sondern mit den normierten Werten. Abbildung 3.2 zeigt den absoluten Optical Flow und den normierten Optical Flow am Ende eines Videos. Einem Pixel normierten Optical Flow entsprechen dabei 0.25% der Gesichtsbreite bzw. -höhe. Abbildung 3.2: aufsummierter Optical Flow absolut (links) und im Verhältnis zur Gesichtsgröße (rechts) Die Werte für den Optical Flow und die Parameter des Gesichtsmodells bilden den Merkmalsvektor. Dieser hat die Dimension 297: 140 x-komponenten des Optical Flows, 140 y-komponenten des Optical Flows und 17 Parameter des Gesichtsmodells. Am Ende jedes Videos wird ein Merkmalsvektor erstellt. Die Aufgabe besteht darin, in den gesammelten Datensätzen Zusamenhänge zu finden, die auf die in den Videos dargestellten Mimiken schließen lassen. Mit den erstellten Merkmalsvektoren wird zunächst eine Hauptachsentransformation durchgeführt. Der Durchschnitt in der jeweiligen Dimension wird als null angenommen und nicht beachtet. Als Ergebnis der Hauptachsentransformation erhält man eine Matrix, die aus den Eigenvektoren der Kovarianzmatrix, sortiert nach den zugehörigen Eigenwerten besteht. Diese Matrix bildet die Transformationsmatrix zur Gewinnung der Merkmale, die in die Klassifikation eingehen. Das folgende Beispiel erläutert das Ergebnis der Hauptachsentransformation auf unseren Datensätzen. Angenommen die Videos zeigen nur eine Mimik, beispielsweise Lachen. Dann liegen die Datenpunkte nicht gleichverteilt im Raum, sondern es gibt eine Punktwolke an der 10

12 Stelle im Raum, an der großer Optical Flow im Bereich des Kinns und der Stirn auftritt, möglicherweise noch eine Punktwolke dort, wo nur Optical Flow im Bereich des Kinns auftritt. Die Dimensionen, die diese Zusammenhänge innerhalb des Optical Flows ausdrücken, sind also voneinander abhängig. Die wichtigste Hauptachse ist dann die Intensität des Lachens. Wahrscheinlich ist die Koordinate auf der wichtigsten Achse umso größer, je größer der Optical Flow ist, also, umso stärker das Lachen ist. Andererseits kann man daraus folgern, dass eine hohe wichtigste Koordinate im transformierten Raum auf ein starkes Lachen hindeutet. Ein komplexer Zusammenhang zwischen mehreren Werten für den Optical Flow wird also auf eine einfache Zahl abgebildet. Betrachtet man zwei Mimiken, wird erwartet, in der ersten Koordinate die wichtigere, also häufiger vertretene oder aussagekräftigere Mimik zu finden und auf dem zweiten Platz die weniger wichtige. Die transformierten Daten sind somit eine gute Grundlage zur Erstellung von Klassifikatoren. Tatsächlich kann man feststellen, dass die Hauptkomponente der transformierten Werte eine Mimik ergibt, und zwar Lachen. Diese Mimik ist offensichtlich die eindeutigste. Die weiteren Komponenten sind nicht mehr so einfach zu deuten Erstellung der Klassifikatoren Grundsätzliche Vorgehensweise Zwei Drittel der Videos aus der Cohn-Kanade-Facial-Expression-Database werden als Trainingsmenge für die Klassifikation benutzt. Zur Erstellung der Klassifikatoren wird am Ende jedes Videos ein Merkmalsvektor erstellt. Dieser wird mit der Transformationsmatrix multipliziert. Die transformierten Werte werden zur Erstellung der Klassifikatoren benutzt. Die zur Klassifikation benutzten Entscheidungsbäume werden mittels des Programmes WEKA erzeugt. Insgesamt werden sieben Klassifikatoren erstellt, die durch Variationen der ausgewählten Merkmale entstehen. Nachfolgend werden diese beschrieben und evaluiert. Tabelle 3.1 gibt einen Überblick über alle erstellten Klassifikatoren und die verwendeten Merkmale. Für einige Klassifikatoren werden sechs Hauptachsentransformationen durchgeführt. Der Hintergrund ist, dass es bei einer Hauptachsentransformation keine gleichwertigen Komponenten gibt, man aber eigentlich keine Mimik der anderen vorziehen will. Diese Überlegung führt zu folgendem Vorgehen: Die Videos werden in Mengen mit gleichen dargestellten Mimiken aufgeteilt, und pro dargestellter Mimik wird eine Hauptachsentransformation durchgeführt. Unsere Absicht ist, dass jede der Transformationen als Indikator für eine der Mimiken fungiert. Die Verwendung der Standardabweichung bedeutet, dass die Werte für den Optical Flow mit ihrer Standardabweichung normiert werden, um sie im Wertebereich den Parametern des Gesichtsmodells anzupassen. Eine eventuelle Über- oder Unterbewertung des Optical Flows oder der Parameter aus dem Gesichtsmodell durch die Hauptachsentransformation soll damit vermieden werden. Die Parameter des Gesichtsmodells können sich theoretisch über einen Bereich von -3 bis 3 erstrecken, die Werte für den Optical Flow dagegen von -100 bis +100 in jeder Dimension. Das heißt veranschaulicht, die Punktwolke liegt sehr nahe an einer oder auch an mehreren Koordinatenachsen und kann sehr langgestreckt sein. Die einzelnen Dimensionen sind also rein von den Zahlenwerten her nicht gleichberechtigt. In jeder Dimension wird die Standardabweichung bestimmt, und die einzelnen Werte werden durch die Standardabweichung geteilt, bevor eine Hauptachsentransformation durchgeführt wird und ein Klassifikator erstellt wird. Die Parameter des Gesichtsmodells sind die 17 Parameter, die 11

13 Deformationen des Gesichts beschreiben. Die Differenzen dieser Parameter werden aus den Werten des ersten und des letzten Bildes eines Videos gebildet. Grauwertintegrale werden als Merkmale aufgenommen, um Faltenbildung bei der Darstellung der Mimiken zu erfassen. Eine genaue Beschreibung dieser Vorgehensweise wird unter gegeben. Klassifikator Anzahl Transformationen Optical Flow Standardabweichung verwendete Merkmale Parameter des Gesichtsmodells Differenzen der Parameter des Gesichtsmodells Grauwertintegrale u. Differenzen der Grauwertintegrale Classifier1 6 X - X - - Classifier2 1 X X X - - Classifier3 1 X - - X - Classifier4 1 X X - X - Classifier5 1 X - X - - Classifier6 6 X X X - - Classifier7 1 X - X X X Tabelle 3.1: Übersicht über die Klassifikatoren Die nachfolgend vorgestellten Klassifikatoren werden in Kapitel 4.1 verglichen Classifier1 Für diesen Klassifikator werden die Daten getrennt nach Mimiken gesammelt und für jede der sechs Mimiken eine eigene Hauptachsentransformation durchgeführt wie in Kapitel beschrieben. Eine Übersicht über den Verlauf der Eigenwerte, die die sechs Hauptachsentransformationen liefern, findet sich in Abbildung surprise laughing fear anger sadness disgust Abbildung 3.4: Verlauf der 12 höchsten Eigenwerte für PCAs getrennt nach Mimiken 12

14 Eigenwert surprise laughing fear anger sadness disgust ,02 256,33 286,48 211,41 142,63 214, ,31 280,98 316,24 224,97 151,21 240, ,17 327,56 389,48 280,09 165,69 289, ,28 372,27 455,95 348,43 200,80 324, ,82 387,34 550,18 359,94 253,21 391, ,02 431,30 739,76 414,03 306,17 420, ,64 633,46 821,74 434,36 384,42 570, ,66 742, ,31 696,25 609,32 969, , , ,30 811,56 697,82 992, , , ,52 858, , , , , , , , , , , , , , ,69 Tabelle 3.2: Übersicht über die 12 höchsten Eigenwerte der nach Mimiken getrennten Hauptachsentransformationen Zur Klassifikation wird der Merkmalsvektor mit jeder der sechs Transformationsmatrizen multipliziert. Die beiden höchstwertigen Merkmale aus den Ergebnisvektoren (also diejenigen, die den höchsten Eigenwerten entsprechen) gehen in das Training des Klassifikators ein Classifier2 Diesem Klassifikator liegt eine Hauptachsentransformation zugrunde, die als Merkmale die Werte des Optical Flows an den 140 Gitterpunkten und die Parameter aus dem Gesichtsmodell verwendet. Die Werte für den Optical Flow werden mit der Standardabweichung normiert, wie in Kapitel beschrieben. In den Klassifikator gehen die zwölf Merkmale aus dem Ergebnisvektor, die den höchsten Eigenwerten entsprechen, nach der Multiplikation mit der Transformationsmatrix ein Classifier3 Hier wird wiederum eine Transformationsmatrix benutzt. Die Merkmale für die Hauptachsentransformation sind die Werte des Optical Flows sowie anstelle der Absolutwerte der Parameter aus dem Gesichtsmodell die Differenzen dieser Parameter vom ersten Bild des Videos zum letzten Bild des Videos. Die Aufnahme der Differenzen aus den Gesichtsmodell- Parametern in den Merkmalsvektor folgt folgender Überlegung: Da sich die Parameter des Gesichtsmodells nach dem Gesicht der betreffenden Person richten, Menschen aber unterschiedliche Gesichter haben, kann es auch hier schnell zu Fehlinterpretationen kommen. Angenommen der Klassifikator findet heraus, dass ein breites Gesicht auf ein Lachen hindeutet, da sich der Mund und damit das ganze Gesicht in die Breite zieht. Ein Mensch mit sehr breitem Gesicht würde damit immer als lachend erkannt, auch wenn er gerade nicht lacht. In die Erstellung des Klassifikators gehen 12 Werte aus dem Transformationsergebnis ein. 13

15 Classifier4 Bei Classifier4 entspricht die Vorgehensweise der von Classifier2, das heißt, die Wertebereiche von Optical Flow und Parametern des Gesichtsmodells werden angeglichen, indem die Werte im Merkmalsvektor mit der Standardabweichung in der jeweiligen Dimension dividiert werden. Anstelle der Parameter aus dem Gesichtsmodell werden jedoch, wie bei Classifier3 beschrieben, die Differenzen der Parameter des Gesichtsmodells verwendet Classifier5 Für Classifier5 werden die Merkmale verwendet, ohne sie zu modifizieren. Der Merkmalsvektor enthält die Werte für den Optical Flow am Ende des Videos sowie die Parameter aus dem Gesichtsmodell Classifier6 Für diesen Klassifikator werden sechs Transformationsmatrizen verwendet. Er folgt in seinem Aufbau Classifier1, wobei die Werte für den Optical Flow mit der Standardabweichung über die jeweilige Dimension normiert werden wie bei Classifier2 beschrieben. Ebenso wie bei Classifier1 werden zwei transformierte Werte pro Transformationsmatrix als Klassifikationsmerkmale verwendet Classifier7 Bei Betrachtung des Optical Flows in den Videos ergibt sich, dass sich die Bewegungsmuster bei einigen Personen bei der Darstellung unterschiedlicher Mimiken gleichen, zum Beispiel bei Lachen und Angst. Bei einigen Mimiken ist der Optical Flow generell nicht so stark ausgeprägt, ein Beispiel hierfür ist Traurigkeit. Eine weitere Idee, die umgesetzt wird, ist die, dass auch die Faltenbildung Aufschluss über eine Mimik geben kann. Beispielsweise bilden sich Stirnfalten beim Naserümpfen, was beim Klassifizieren von Ekel hilfreich sein kann. Falten treten als Kanten im Bild auf. Daher werden zunächst zwei weitere Bilder aus dem Originalbild berechnet, eines in dem die Kanten in y-richtung extrahiert werden und eines, in dem die Kanten in x-richtung extrahiert werden. Anschließend werden Quadrate um die Gitterpunkte gelegt, so dass die Grenzen der Rechtecke in einer Zeile genau zusammenstoßen. Innerhalb dieser Quadrate wird der mittlere Farbwert der Kantenbilder ausgerechnet, indem ein Integralbild des jeweiligen Kantenbildes erstellt wird. In einem Integralbild hat jedes Pixel den Wert der Summe der Helligkeiten aller Pixel im Originalbild, die rechts und oberhalb des Pixels liegen. Die Summe aller Helligkeitswerte in einem Rechteck erhält man, indem man die Werte der Pixel links oben und rechts unten im Integralbild addiert und die Werte der Pixel links unten und rechts oben abzieht. Da die Breite des Quadrates bekannt ist, kann die berechnete Summe durch die Anzahl an Pixeln im Quadrat geteilt werden. Auf diese Weise erhält man den durchschnittlichen Helligkeitswert im Originalbild in diesem Quadrat. Es besteht wiederum das Problem, dass es Menschen mit mehr und Menschen mit weniger Falten gibt. Interessant ist nicht, wie viele Falten ein Mensch hat, sondern, welche Falten hinzukommen. Daher werden nicht nur die absoluten Integralwerte in den Merkmalsvektor 14

16 aufgenommen, sondern auch die Differenz zwischen den Werten zu Beginn und zum Ende des Videos. Der Merkmalsvektor umfasst in diesem Fall 140 x-komponenten für den Optical Flow, 140 y-komponenten für den Optical Flow, 17 Parameter aus dem Gesichtsmodell, 17 Differenzwerte der Parameter des Gesichtsmodells, 140 Integralwerte ausgehend von vertikalen Kantenbildern, 140 Differenzwerte vertikal, 140 Integralwerte ausgehend von horizontalen Kantenbildern und 140 Differenzwerte horizontal. Bei der Klassifikation werden 12 transformierte Werte betrachtet Schwierigkeiten bei der Klassifikation vor der Live-Kamera Die vorgestellten Klassifikatoren wurden auf Videos aus der Cohn-Kanade-Facial- Expression-Database entwickelt und mit Erfolg getestet. Eigentliches Ziel der Entwicklung von Systemen zur Mimikerkennung ist es, sie im Zusammenhang mit Live-Kameras einzusetzen, vor allem in Hinblick auf interaktive Systeme. Die von uns entwickelten Algorithmen sind entsprechend performant, um die Verarbeitung der Einzelbilder und die Klassifikation in Echtzeit durchzuführen. Probleme ergeben sich bei zu starken und sich schnell ändernden Kopfbewegungen, da hierbei der Optical Flow, der aus der Mimik entsteht, von jenem überlagert wird, der aus der Bewegung des gesamten Gesichtes herrührt. Die Mimiken Überraschung und Lachen zeigen sich gegenüber Gesichtsbewegungen relativ robust, wohingegen Mimiken, die selbst geringen Optical Flow erzeugen (hier ist vor allem Traurigkeit zu nennen), schlecht erkannt werden. Der von uns implementierte Live- Klassifikator unterscheidet daher nur die Mimiken Überraschung, Lachen und neutral. Die Basis für diesen Klassifikator bildet Classifier1 mit der Durchführung von sechs Transformationen, da dieser die beste Erfolgsrate bei Kreuzvalidierung aufweist. Er wird dahingehend modifiziert, dass nicht nur am Ende jedes Videos Daten zur Klassifikation gesammelt werden, sondern die ersten Bilder jedes Videos als neutral markiert werden und der letzte Teil eines Videos einer Mimik zuordnet wird. Genaue Tests zur Evaluierung des Live-Klassifikators wurden aus Zeitgründen nicht durchgeführt. Eine weitere Schwierigkeit für die Live-Klassifikation ergibt sich aus der Tatsache, dass in den Videos der Cohn-Kanade- Facial-Expression-Database die Abbauphasen der Mimiken fehlen. 15

17 4. Evaluation 4.1. Unsere Ergebnisse Tabelle 4.1 zeigt die Erfolgsraten der von uns erstellten Klassifikatoren im Überblick. Die Ergebnisse der Klassifikatoren beim Erkennen der einzelnen Mimiken sind im Detail aus den zugehörigen Konfusionsmatrizen (siehe Anhang) zu ersehen. Klassifikator Erfolgsrate unter Verwendung von Kreuzvalidierung Classifier1 76,2980 % Classifier2 72,3992 % Classifier3 53,1148 % Classifier4 50,8197 % Classifier5 48,0263 % Classifier6 51,6260 % Classifer7 50,8306 % Tabelle 4.1: Ergebnisse der Klassifikatoren im Überblick Classifier1 erreicht die größte Erkennungsrate. Für diesen Klassifikator werden sechs Hauptachsentransformationen, eine für jede Mimik, verwendet. Tatsächlich erweist sich diese Methode als erfolgreich. Der Grund dafür lässt sich am zweidimensionalen Fall demonstrieren: Abbildung 3.3: alternative Achsen Achse 1 in Abbildung 3.3 liegt so, wie der Algorithmus die erste Hauptachse wählen würde, entlang der größten Varianz, also der größten Punktwolke. Da die zweite Achse senkrecht auf der ersten steht, wird Achse 2 als zweite Achse gefunden. Führt man aber mehrere Hauptachsentransformationen aus, so erhält man eine, in der weiterhin Achse 1 die Hauptachse ist und eine, in der Achse 3 die Hauptachse ist. Man muss dabei bedenken, dass in der einen Transformation nur die eine Punktwolke und in der anderen nur die andere Punktwolke ist. Achse 3 beschreibt aber die zweite Punktwolke deutlich besser als Achse 2. Daher ist die Koordinate, die diese Achse repräsentiert auch aussagekräftiger. Ebenfalls eine gute Erkennungsrate erreicht Classifier2, bei dem die Normierung der Werte 16

18 für den Optical Flow mit der Standardabweichung durchgeführt wird. Das Ergebnis ist deutlich besser als bei Classifier5, bei dem diese Normierung nicht durchgeführt wird, die verwendeten Merkmale aber ansonsten gleich sind. Interessant ist, dass eine Kombination von sechs Hauptachsentransformationen und der Normierung des Optical Flows mit der Standardabweichung (Classifier6) nicht nochmals zu einer Verbesserung der Erkennungsrate führt. Die Erkennungsrate von Classifier6 liegt sogar unter denen von Classifier1 und Classifier2. Classifier5, bei dem die verwendeten Merkmale nicht modifiziert werden, erreicht die niedrigste Erkennungsrate im Vergleich. Aus der Konfusionsmatrix zu Classifier1 (Anhang, Tabelle A.1) geht hervor, dass die Mimiken Lachen und Angst auffallend häufig miteinander verwechselt werden, zehn (9,6 Prozent) der Videos, die Lachen darstellen, werden als Angst klassifiziert, umgekehrt werden 14 Videos (21,5 Prozent), die Angst darstellen, als Lachen klassifiziert. Hier spiegeln sich die teilweise ähnlich ablaufenden Bewegungen in der Mundregion wider. Betrachtet man die Konfusionsmatrix zu Classifier2 (Anhang, Tabelle A.2), fällt auch hier die verstärkte Falschklassifikation von Lachen als Angst auf, umgekehrt wird hier weniger oft Angst fälschlicherweise als Lachen klassifiziert als bei Classifier1. Auffällig ist das schlechte Ergebnis bei Wut. An dieser Stelle bleibt zu erwähnen, dass für die Mimik Wut weniger Videosequenzen zur Verfügung stehen als für die übrigen Mimiken Vergleich mit anderen Arbeiten Im Vergleich präsentiert sich Classifer1 mit einer etwas besseren Erkennungsrate als das von Schweiger, Bayerl, Neumann ([2]) publizierte Verfahren. Schweiger, Bayerl und Neumann arbeiten ebenfalls mit Optical Flow in Videos aus der Cohn-Kanade-Facial-Expression- Database, die Ergebnisse sind daher direkt vergleichbar. Zur Klassifikation verwenden sie ein neuronales Netz. klassifiziert als surprise laughing anger disgust sadness fear Erkennungsrate surprise ,83% laughing ,17% anger ,61% disgust ,00% sadness ,47% fear % gesamt 72,96% Tabelle 4.2: Konfusionsmatrix von Schweiger, Bayerl und Neumann, nach [2] 17

19 klassifiziert als surprise laughing anger disgust sadness fear Erkennungsrate surprise ,40% laughing ,00% anger ,55% disgust ,50% sadness ,57% fear ,54% gesamt 76,30% Tabelle 4.3: Classifier1 Michel und El Kaliouby ([3]) verfolgen die Änderungen von 22 im Gesicht festgelegten Merkmalen (spezielle Punkte um Mund, Augen und Nase) und verwenden Support Vector Maschines für die Klassifikation. Die von ihnen publizierten Ergebnisse für die Cohn- Kanade-Facial-Expression-Database beschränken sich auf Paare unbewegter Bilder, die jeweils einen neutralen Gesichtsausdruck und einen Gesichtsausdruck, der eine Mimik darstellt, beinhalten. Beim Übergang zu Videobildern erhalten sie folgende Erkennungsraten: Wut: 66,7%, Ekel: 64,3%, Angst: 66,7%, Freude: 91,7%, Trauer: 62,5%, Überraschung 83,3% ( [3], Tabelle 5). 18

20 5. Zusammenfassung Das hier beschriebene Systementwicklungsprojekt lässt sich in das Forschungsgebiet der Mensch-Maschine-Schnittstellen einordnen. Im Rahmen unseres Projektes wurde ein Verfahren entwickelt, das mittels Optical Flow die sechs Hauptmimiken nach Ekman und Friesen Überraschung, Lachen, Angst, Wut, Traurigkeit und Ekel in Videobildern erkennt. Dabei wird ein zweidimensionales Gesichtsmodell und ein dynamisch angepasstes Gitter mit 140 Gitterpunkten verwendet. Mittels spezieller Algorithmen wird an den Gitterpunkten der Optical Flow berechnet, aus dem die Bewegung der Gitterpunkte zwischen zwei aufeinander folgenden Bildern im Video hervorgeht. Für jede Mimik ergibt sich daraus ein charakteristisches Bewegungsmuster. Zur Datenreduktion und Extraktion typischer Merkmale einer Mimik aus diesem Bewegungsmuster wird eine Hauptachsentransformation durchgeführt. Unter Hinzunahme und Modifikation weiterer Merkmale werden verschiedene Klassifikatoren erstellt und mittels Videos aus der Cohn-Kanade-Facial-Expression-Database evaluiert. Es wurde auch eine Live-Demonstration durchgeführt. Dazu wurde der Klassifikator, der die besten Erkennungsraten in den Videos aus der Cohn-Kanade-Facial- Expression-Database erreichte, eingesetzt. Das Erkennungssystem wurde unter anderem an Personen getestet, die mit dem Umgang mit dem System nicht vertraut waren. Der Versuch ergab, dass sich Kopfbewegungen besonders auf die Klassifikation auswirken. Die Mimiken Lachen und Überraschung zeigen sich relativ robust gegenüber solchen Kopfbewegungen. 19

21 6. Ausblick Aus den Schwierigkeiten, die sich vor allem bei der Implementierung eines Klassifikators für ein Live-Szenario ergeben, lassen sich Vorschläge für weiterführende Arbeiten ableiten. Ein Ansatz ist der Übergang von einem zweidimensionalen zu einem dreidimensionalen Gesichtsmodell, um Ungenauigkeiten, die durch die Projektion entstehen, zu entgehen. Ein von uns nicht betrachtetes Merkmal einer Mimik ist die Zeitspanne, die Aufbau-, Halte- und Abbauphase benötigen. Die Betrachtung des zeitlichen Verlaufs sollte sinnvoll in das Modell einbezogen werden, um Bewegungen, die bei Mimiken entstehen von denen zu unterscheiden, die beim Sprechen auftreten. Um die Klassifikationsergebnisse noch zu verbessern, wäre eine Veränderung des Gitters möglich. Eventuell würde ein verfeinertes Optical-Flow-Muster der Augenpartie durch ein engmaschigeres Gitter in dieser Gesichtsregion eine noch bessere Unterscheidbarkeit der Mimiken erzeugen. Denkbar wäre auch das Einbeziehen zusätzlicher Merkmale, Tian, Kanade, Cohn betrachten beispielsweise die Veränderung von Falten im Gesicht, um die Bewegung einzelner Gesichtsregionen zu erkennen [6]. Ein Ansatz in diese Richtung wird mit Classifier7 aufgestellt, dessen Ergebnisse allerdings nicht den gewünschten Erfolg aufweisen. Möglicherweise kann das Verfahren an dieser Stelle noch verbessert werden. 20

22 A. Anhang a b c d e f <-- classified a b c d e f <-- classified as as a = surprise a = surprise b = laughing b = laughing c = anger c = anger d = disgust d = disgust e = sadness e = sadness f = fear f = fear TabelleA.1: Classifier1: Konfusionsmatrix, Tabelle A.2: Classifier2:Konfusionsmatrix (Kreuzvalidierung, Erkennungsrate: 76,3%) (Kreuzvalidierung, Erkennungsrate: 72,4%) a b c d e f <-- classified a b c d e f <-- classified as as a = surprise a = surprise b = laughing b = laughing c = anger c = anger d = disgust d = disgust e = sadness e = sadness f = fear f = fear TabelleA.3: Classifier3: Konfusionsmatrix, (Kreuzvalidierung, Erkennungsrate: 53,11%) Tabelle A.4: Classifier4: Konfusionsmatrix (Kreuzvalidierung, Erkennungsrate:50,82%) a b c d e f <-- classified a b c d e f <-- classified as as a = surprise a = surprise b = laughing b = laughing c = anger c = anger d = disgust d = disgust e = sadness e = sadness f = fear f = fear TabelleA.5: Classifier5: Konfusionsmatrix, (Kreuzvalidierung, Erkennungsrate: 48,03%) Tabelle A.6: Classifier7: Konfusionsmatrix (Kreuzvalidierung, Erkennungsrate:50,83%) 21

23 Literaturverzeichnis [1] Kanade, T., Cohn, J. F., Tian, Y.: Comprehensive database for facial expression analysis. In: Int. Conference on Automatic Face and Gesture Recognition, March 2000, France, pages [2] Schweiger, R., Bayerl, P., Neumann, H.: Neural Architecture for Temporal Emotion Classification. In: E. André et al. (Hrsg.): ADS 2004, LNAI 3068, S , Springer, Kloster Irsee, Juni 2004 [3] Michel, Ph., El Kaliouby, R.: Real Time Facial Expression Recognition in Video using Support Vector Machines, Fifth International Conference on Multimodal Interfaces, Nov. 2003, Vancouver, S [4] Sun, Y., Sebe, N., Lew, M. S., Gevers, T.: Authentic Emotion Detection in Real-Time Video. In: International Workshop on Human-Computer Interaction, Lecture Notes in Computer Science, vol. 3058, Springer, 2004, S [5] Essa, I. A., Pentland, A. P.: Facial Expression Recognition using a Dynamic Model and Motion Energy, M.I.T. Media Laboratory Perceptual Computing Section Technical Report No. 307 [6] Tian, Y., Kanade, T., Cohn, J. F.: Recognizing Action Units for Facial Expression Analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, Feb. 2001, S [7] Ekman, P., Friesen, W. V.: The Facial Action Coding System: A Technique for The Measurment of Facial Movement, Consulting Psychologists Press, Palo Alto, 1978 [8] WEKA Data Mining Software in Java [9] Was Lügner entlarvt, aus der ZDF-Sendung Joachim Bublath: Die Kunst des Lügens vom [10] Universität des Saarlandes, Institut für Mimik- und Verhaltensforschung: Online-Test zur Erkennung von Mimiken in Einzelbildern [11] Arbeitsgemeinschaft der Bayerischen Forschungsverbünde, News-Archiv, Ausgabe 4/ [12] Tagesspiegel Online: Digitale Tränen von Jasdan Joerges, [13] Prof. Dr. Dirk M. Reichhardt: Emotional IT Computer mit Gefühl, Akademietag der Berufsakademie Stuttgart, Workshop Nr. 4 Informationstechnik, Elektrotechnik, 22

24 23. Juli 2004, Emotional_IT-Computer_mit_Gef_hl.pdf,