Projektdokumentation Gesichtserkennung per Eigengesichtsanalyse

Transkript

1 Hochschule RheinMain Master Informatik Digitale Bildanalyse bei Prof. Dr. U. Schwanecke Projektdokumentation Gesichtserkennung per Eigengesichtsanalyse von Florian Feuerstein (florian 25. Juli 2011

2

3 Inhaltsverzeichnis Inhaltsverzeichnis I 1 Projektbeschreibung 1 2 Eigengesichtsanalyse Erkennung von Gesichtern Klassifikation von Gesichtern Berücksichtigung mehrerer Größen von Gesichtern Dokumentation der Funktionalitäten Laden von Bilddateien Erstellung und Bearbeitung von Gesichtsklassen Speichern und Laden von gelernten Gesichtsklassen Erkennung und Klassifikation von Gesichtern Editieren fehlerhafter Erkennungen und Klassifikationen I

4

5 Kapitel 1 Projektbeschreibung Im Rahmen des Moduls Digitale Bildanalyse wurde das Programm GESEPE (Gesichts- Erkennung per Eigengesichtsanalyse) zur Erkennung und Klassifikation von Gesichtern in Bildern entwickelt. Hierbei sollte das Verfahren mittels Eigengesichtsanalyse nach Turk und Pentland 1 angewendet werden. Das Programm wurde mit Python 2 realisiert, wobei die externen Bibliotheken PIL 3 und numpy 4 verwendet werden durften. Es folgt ein Überblick der umgesetzten Funktionalitäten aus Benutzersicht: Laden von Bildern über einen Dateidialog und Darstellung dieser im Programmfenster. Erstellung und Bearbeitung von Gesichtsklassen durch unterschiedliche Bilder desselben Gesichts. Speichern und Laden von gelernten Gesichtsklassen. Erkennung und Klassifikation von Gesichtern unterschiedlicher Größe in einem geladenen Bild. Hierbei lässt sich die Größe der zu suchenden Gesichter einstellen. Außerdem wird die entsprechende Gesichtskarte dargestellt (siehe Abbildung 1.1). Zusätzlich wird zwischen bekannten und unbekannten Gesichtern unterschieden. Editieren von fehlerhaften Erkennungen und Klassifikationen. Gleichzeitig verringern die vorgenommenen Korrekturen die Fehleranfälligkeit von GESEPE. 1 M. Turk and A. Pentland. Eigenfaces for recognition. J. Cognitive Neuroscience, 3:71-86, January

6 1. Projektbeschreibung Abbildung 1.1: Überblick des Programms: Zu sehen ist ein Bild mit mehreren Gesichtern, die bereits von GESEPE erkannt und klassifiziert wurden. Im unteren Fenster ist die passende Gesichtskarte dargestellt. Dunkle Bereiche weisen auf ein Gesicht hin. 2

7 Kapitel 2 Eigengesichtsanalyse Dieses Kapitel fasst die wichtigsten Punkte des Verfahrens der Eigengesichtsanalyse nach Turk und Pentland 1 zusammen. 2.1 Erkennung von Gesichtern Um in einem Bild Gesichter zu erkennen, müssen dem Verfahren zuerst andere Gesichter gezeigt werden. Das bedeutet, es wird eine Trainingsmenge an Bildern mit verschiedenen 1 M. Turk and A. Pentland. Eigenfaces for recognition. J. Cognitive Neuroscience, 3:71-86, January Abbildung 2.1: Die Menge aller Gesichter spannen einen kleineren Bereich des gesamten Raumes auf. Man sieht einen anschaulicheren Fall im dreidimensionalen Raum. 3

8 2. Eigengesichtsanalyse Abbildung 2.2: Projektion in den Gesichtsraum: Die Linearkombination der Eigengesichter mit den Gewichten eines projizierten Bildes, addiert mit dem Durchschnittsgesicht sollte dem ursprünglichen Bild ähneln. Gesichtern gelernt. Das Verfahren ermittelt dann signifikante Merkmale der Gesichter und kann so später andere Bilder nach diesen Merkmalen durchsuchen. Hierfür werden nur Graustufenbilder benötigt, da die Farbe eines Pixels keine Rolle spielt und eher irritert. Die Form eines Gesichtes wird durch ihre Schattierung bestimmt, also den Intensitätswert des Lichtes an jedem Pixel. Die Grundidee hinter dem Verfahren ist es, das Bild eines Gesichtes als einen Vektor aufzufassen, welcher den Punkt dieses Gesichtes in einem mehrdimensionalen Raum angibt. Dabei füllt die Menge aller Gesichter nicht den ganzen Raum aus, sondern spannt einen kleineren Bereich darin auf (siehe Abbildung 2.1). Ein Bild wird dann als Gesicht erkannt, wenn sich der jeweilige Vektor in dem Bereich befindet. Liegt ein Vektor außerhalb der Grenze, so handelt es sich sehr wahrscheinlich um kein Gesicht. Der Raum ist für schnelle Berechnungen jedoch zu groß, weshalb alle Gesichter in einen wesentlich kleineren Unterraum projiziert werden. Bei einem quadratischen Bild mit einer Kantenlänge von 128 Pixeln hätte der genannte Raum bereits Dimensionen. Die Anzahl der Dimensionen des Unterraums lässt sich durch das Verfahren beliebig festlegen. Für das hier entwickelte Programm werden 15 Dimensionen benutzt. In dem Unterraum steht nun eine Dimension nicht mehr für den Wert eines Pixels, sondern für ein ganzes Bild, welches auch Eigengesicht genannt wird. Ein Eigengesicht beinhaltet wesentliche Merkmale der Gesichter aus der Trainingsmenge. Bei der Projektion eines Bildes in den Unterraum entsteht also ein kleiner mehrdimensionaler Vektor, wobei jeder Wert das Gewicht für das entsprechende Eigengesicht angibt. Addiert man alle Eigengesichter, gewichtet mit den dazugehörigen Werten des projizierten Bildes, und addiert 4

9 2.1. Erkennung von Gesichtern Abbildung 2.3: Gesichtserkennung: Zu sehen sind zwei Bilder (links) und ihre Projektionen in den Gesichtsraum (rechts). Die euklidische Distanz des Gesichtsbilds (oben) und dessen Projektion ist wesentlich geringer als die des anderen Bildes (unten). Auf diese Weise lassen sich Gesichter von anderen Bildern unterscheiden. darauf wieder das Durchschnittsgesicht der Trainingsmenge, so sollte das Ergebnis dem ursprünglichen Bild ähneln (siehe Abbildung 2.2). Durch die Reduktion der Dimensionen entsteht bei der Projektion eines Bildes in den Unterraum ein Fehler. Das rekonstruierte Bild, welches in den sogenannten Gesichtsraum projiziert wird, ist demnach nicht gleich dem ursprünglichen Bild. Zeigt das Eingangsbild jedoch ein Gesicht, so wird auch das Ergebnis diesem ähneln. Das heißt, die euklidische Distanz der beiden Bilder ist relativ gering. Zeigt das Eingangsbild kein Gesicht, so wird das Ergebnis weder einem Gesicht, noch dem Eingangsbild entsprechen. Die euklidische Distanz wird relativ hoch ausfallen. Mithilfe dieser Methode und einem entsprechenden Schwellenwert, kann für ein Bild entschieden werden, ob es sich um ein Gesicht handelt oder nicht. Abbildung 2.3 zeigt zwei Bilder und ihre Projektionen in den Gesichtsraum. 5

10 2. Eigengesichtsanalyse 2.2 Klassifikation von Gesichtern Um ein erkanntes Gesicht zu klassifizieren müssen zuerst Gesichtsklassen gebildet werden. Eine Gesichtsklasse besteht aus mehreren Bildern des selben Individuums. Umso mehr Bilder gelernt werden, desto stabiler ist auch das Verfahren. Besonders eignen sich Bilder mit unterschiedlichen Lichtsituationen und Blickwinkeln. Jedes Bild einer Gesichtsklasse wird in den kleineren Unterraum projiziert und der durchschnittliche Vektor der Gewichte gebildet. Dieser Vektor repräsentiert die Gesichtsklasse. Der Vektor eines erkannten Gesichts kann dann mit jeder Gesichtsklasse verglichen werden. Die Gesichtsklasse deren Vektor die kleinste Distanz zum Eingangsvektor hat, wird als die Klasse des neuen Gesichts angenommen. Zusätzlich lässt sich ein weiterer Schwellwert festlegen, der die maximale Distanz zu einer Gesichtsklasse angibt. Liegen die Distanzen aller Klassen über dem Schwellwert, so wurde das Bild zwar als Gesicht erkannt, kann jedoch keiner Klasse zugeordnet werden. Auf diese Weise lassen sich bekannte von unbekannten Gesichtern unterscheiden. 2.3 Berücksichtigung mehrerer Größen von Gesichtern Das oben erläuterte Verfahren funktioniert nur unter der Bedingung, dass alle Bilder der Trainingsmenge und die zu untersuchenden Bilder die selbe Größe besitzen. Haben die Bilder eine unterschiedliche Breite oder Höhe, so haben ihre linearisierten Vektoren nicht die gleiche Dimension und die Berechnung kann nicht durchgeführt werden. Ein Gesicht kann allerdings verschieden große Bereiche in einem Bild einnehmen. Um dies zu berücksichtigen, muss man das Verfahren für die gleiche Trainingsmenge mehrmals durchführen. Dabei werden die Bilder jedes Mal auf eine andere Größe skaliert. Für das Programm GESEPE werden die Bilder beispielsweise auf eine Kantenlänge von 512, 256, 128, 64 und 32 Pixeln gebracht und dafür jeweils das Durchschnittsgesicht, die Eigengesichter und Klassenvektoren berechnet. Dabei muss man beachten, dass das Verfahren nicht skalierungsinvariant ist. Das heißt, umso größer ein Bild ist, desto größer ist auch die Distanz zum Gesichtsraum und zu einer Gesichtsklasse, da das Bild mehr Pixel hat für die ein Fehler entstehen kann. Um die Schwellwerte zur Erkennung und Klassifikation unabhängig von der Größe eines Bildes festzulegen, wurden verschiedene Bilder mit unterschiedlicher Auflösung getestet (siehe Abbildung 2.4). Für jede Auflösung wurde dann die Distanz zum Gesichtsraum mit jeweils zwei Methoden und die Distanz zur nahsten Gesichtsklasse ermittelt. Es stellte sich heraus, dass eine Normierung der Distanzen durch die Division der quadratischen oder der einfachen Kantenlänge möglich ist. 6

11 2.3. Berücksichtigung mehrerer Größen von Gesichtern Abbildung 2.4: Berücksichtigung mehrerer Größen von Gesichtern. 7

12

13 Kapitel 3 Dokumentation der Funktionalitäten In diesem Kapitel wird auf die Implementation der verschiedenen Funktionen genauer eingegangen. 3.1 Laden von Bilddateien Über einen Dateidialog lassen sich Bilddateien in das Programm laden. Diese werden in Graustufenbilder konvertiert, da das Programm nur diese Informationen benötigt und damit arbeitet. Ein geladenes Bild wird im Programmfenster angezeigt. 3.2 Erstellung und Bearbeitung von Gesichtsklassen Ist ein quadratischen Bild in GESEPE geladen, so lässt sich über das Menü eine neue Gesichtsklasse mit diesem Bild anlegen. Dafür gibt der Benutzer einen entsprechenden Namen für die Klasse an. Über einen weiteren Menüeintrag lassen sich quadratische Bilder bereits vorhandenen Gesichtsklassen hinzufügen. Alle Änderungen an den Daten stehen noch nicht bei der Erkennung und Klassifikation von Gesichtern zur Verfügung. Dafür müssen die Änderungen zuerst gespeichert werden. Beim Aufbau von Gesichtsklassen wird für jede Klasse ein separater Ordner in der Datenbank mit dem jeweiligen Namen angelegt. In einem Klassenordner wiederum wird jedes Bild in den vom Programm festgelegten Dimensionen abgespeichert (hier die Kantenlängen: 512, 256, 128, 64, 32). Den Aufbau der Datenbank zeigt Abbildung

14 3. Dokumentation der Funktionalitäten Abbildung 3.1: Aufbau der Datenbank. 3.3 Speichern und Laden von gelernten Gesichtsklassen Um Gesichter zu erkennen und zu klassifizieren müssen wie in Kapitel 2 erklärt pro Dimension ein Durchschnittsgesicht, die Eigengesichter und alle Klassenvektoren berechnet werden. Damit dieser aufwändige Prozess nicht bei jeder Änderung durchgeführt wird, passiert dies erst beim Speichern der Daten. Der Benutzer wählt hierfür eine beliebige Datei, in der alle Daten bezüglich des Gesichtsraums gespeichert werden (siehe Abbildung 3.2). Zusätzlich wird für jede Gesichtsklasse eine weitere Datei im entsprechenden Klassenordner angelegt, welche pro Dimension den Klassenvektor enthält. Auf diese Weise können verschiedene Speicherdateien erstellt werden, die unterschiedliche Gesichtsräume umfassen, aber alle auf die selbe Datenbank zugreifen. Beim Laden dieser Dateien steht der betreffende Gesichtsraum wieder zur Verfügung und alle Erkennungen und Klassifikationen finden darin statt. 3.4 Erkennung und Klassifikation von Gesichtern Zur Erkennung und Klassifikation von Gesichtern in Bildern kann der Benutzer entweder ein quadratisches Bild direkt klassifizieren oder ein beliebig großes Bild nach einem oder mehreren Gesichtern durchsuchen lassen. Im ersten Fall wird das Bild auf die nahste Kantenlänge skaliert, die das Programm unterstützt, und danach der Vektor des Bildes im Unterraum bestimmt. Dieser Vektor wird dann mit allen geladenen Klassenvekto- 10

15 3.4. Erkennung und Klassifikation von Gesichtern Abbildung 3.2: Speichern der Daten. ren verglichen und die Klasse, dessen Vektor die kürzeste Distanz zum Bildvektor hat, als Gesichtsklasse angenommen. Liegt die Distanz zu allen Klassenvektoren über dem Schwellwert, wird das Bild als unbekannt markiert. Im zweiten Fall wählt der Benutzer eine Kantenlänge in Pixeln aus, für die Gesichter im Bild gesucht werden. Man kann nur Kantenlängen selektieren, die das Programm unterstützt. Darauf wird für jedes Pixel im Bild ein quadratisches Teilbild mit der ausgewählten Kantenlänge ausgeschnitten und die Distanz zum Gesichtsraum berechnet. Die Distanz wird an jedem Pixel in einem weiteren Graustufenbild, der Gesichtskarte, abgespeichert. Ist der Prozess durch jedes Pixel gelaufen, so ist die Gesichtskarte vollständig, wobei dunkle Bereiche auf ein Gesicht hinweisen und helle auf eine große Distanz zum Gesichtsraum. Danach wird die Gesichtskarte nach Pixeln durchsucht, die lokale Maximas sind und unter dem Schwellwert liegen. Jedes dazugehörige Teilbild dieser Pixel kann nun als Gesicht markiert werden. Als letztes wird jedes gefundene Gesicht wie im ersten Fall klassifiziert. Abbildung 3.3 zeigt das Ergebnis einer Suche. Mit gefundenen Gesichtern lassen sich ebenfalls neue Gesichtsklassen erstellen oder bestehende Gesichtsklassen erweitern. 11

16 3. Dokumentation der Funktionalitäten Abbildung 3.3: Erkennung und Klassifikation mehrerer Gesichter in einem Bild. Gefundene Gesichter werden mit einem Rahmen und der entsprechenden Gesichtsklasse markiert. Durch einen Mausklick in den betreffenden Bereich lässt sich dann ein Gesicht auswählen um weitere Operationen durchzuführen. 12

17 3.5. Editieren fehlerhafter Erkennungen und Klassifikationen 3.5 Editieren fehlerhafter Erkennungen und Klassifikationen Um fehlerhafte Erkennungen und Klassifikationen zu beheben und damit gleichzeitig die Fehleranfälligkeit zu senken, gibt es einen Editiermodus. Es können verschiedene Fehlerklassen behoben werden. Ist im Bild ein Bereich als Gesicht markiert, der kein Gesicht ist, so lässt sich der Bereich auswählen und über den geeigneten Menüeintrag entfernen. Dabei wird der Schwellwert der maximalen Distanz zum Gesichtsraum verringert, da er Bilder als Gesicht zulässt, die keines sind. Entgegengesetzt verhält es sich, wenn ein Gesicht im Bild nicht als dieses ausgezeichnet wurde. Der Benutzer kann nun einen Auswahlrahmen um das Gesicht ziehen, um es dann selbst zu klassifizieren. Dabei wird der Schwellwert zum Gesichtsraum erhöht. Ist ein unbekanntes Gesicht als ein bekanntes klassifiziert worden, so verringert der Klick auf den passenden Menüeintrag die maximale Distanz zu einer Gesichtsklasse. Zusätzlich wird der Benutzer gebeten einen Namen für die neue Gesichtsklasse einzugeben, welche aus dem ausgewählten Gesicht gebildet wird. Konträr dazu erhöht die Fehlerbehebung die Distanz zu einer Gesichtsklasse, wenn ein bekanntes Gesicht als unbekannt markiert wurde. Außerdem wird der Benutzer dazu aufgefordert die korrekte Klasse auszuwählen, zu der das Teilbild hinzugefügt wird. Wird ein Gesicht der falschen Klasse zugeordnet, so muss der Benutzer nur die korrekte Klasse selektieren, um diese durch das Gesicht zu erweitern. 13