Friedrich-Schiller-Universität Jena. Angewandte Biometrie Modul 9 Gesichtserkennung. Dr. Andreas Wolf

Transkript

1 Friedrich-Schiller-Universität Jena Angewandte Biometrie Modul 9 Gesichtserkennung Dr. Andreas Wolf

2 Aufbau Gesichtserkennung Technischer Ablauf Bekannte Algorithmen Anwendungen

3 DoD Report

4 DoD Report

5 Geschichte

6 Geschichte

7 Gesichtserkennung, Definitionen Biologische Gesichtserkennung Die Fähigkeit zur Erkennung und Unterscheidung von Gesichtern wird vom menschlichen Gehirn innerhalb der ersten Lebensmonate erworben. Sie ist an Funktionen des Großhirns gebunden. Technische Gesichtserkennung In technischem Zusammenhang zählt Gesichtserkennung zu den biometrischen Verfahren. Sie wird sicherheitstechnisch, kriminalistisch und forensisch eingesetzt, zum Zweck der Identifikation oder Verifikation (Authentifizierung) natürlicher Personen. Typischerweise dient die technische, computergestützte Gesichtserkennung zur Zutrittskontrolle zu sicherheitsempfindlichen Bereichen und zur Suche nach Dubletten in Datenbanken, beispielsweise in Melderegistern zur Vermeidung von Identitätsdiebstahl.

8 Gesichtserkennung, Definitionen 2D-Verfahren zweidimensionale geometrische Vermessung besonderer Merkmale, z.b. Augen, Nase, Mund Bestimmung von deren Position, Abstand und Lage zueinander Heutige Verfahren verwenden meist komplexe Berechnungen wie die Waveletanalyse (z.b. mittels Gabor-Transformation) oder Hauptkomponentenanalyse. 3D-Verfahren dreidimensionale Erfassung des Gesichts, z.b. mittels Streifenprojektion oder durch die Verwendung von zwei Kameras. Potenziell höhere Erkennungsgenauigkeit, bessere Posenunabhängigkeit und Überwindungssicherheit. Das stimmt in der Praxis allerdings noch nicht.

9 3D-Gesichtserkennung Stereoskopische Aufnahme Strukturiertes Licht

10 Vorteile und Nachteile Vorteile: Natürlich: Menschen erkennen einander am Gesicht Berührungslos, unaufdringich, non-intrusive, Sensor verschmutzt nicht, hygienisch Relativ geringe Anpassung des Menschen an das System erforderlich Einbettbarkeit in vorhandene Infrastrukturen: Video-Überwachung, Web-Cams, etc. Leichte Interpretierbarkeit der Rohdaten durch den Menschen (Backup, Protokollierung von Angriffen) Gesichtserkennung kann schnell und diskret erfolgen, beispielsweise mit bereits installierten Kameras oder mit versteckten Kameras. Kameras sind Massenware und werden deshalb immer preiswerter. Templates zur Beschreibung eines Gesichtes sind häufig recht klein, etwa 3-4 kbyte reichen oft aus.

11 Vorteile und Nachteile Nachteile: Relative hohe Fehlerraten Hoher Schutzbedarf der Rohdaten Unbemerkte Anwendbarkeit Manche Kulturen verbergen das Gesicht Manche Kulturen erlauben nicht das Fotografieren von Gesichtern Gesicher verändern sich ständig (Bart, Make-up, Stimmungen, Brillen, lange Flüge, Blinzeln, Lachen, offener Mund) Altern führt zu Veränderungen Zwillinge lassen sich kaum unterscheiden Ungünstige Lichtverhältnisse erschweren die Erkennung (Schattenwurf, Gegenlicht, ungünstiges Umgebungslicht) Position der zu erkennenden Person beeinflusst Erkennungsleistung (Kopfwinkel, Blickrichtung) Angriffsversuche (Foto, Maske, Video) sind möglich

12 Verwendungsmöglichkeiten Zugangskontrolle zu Gebäuden oder einzelnen Räumen, vorwiegend bei hohem Sicherheitsbedarf Flughäfen Banken Forschungszentren Zugangskontrolle zu Computern Desktop-Kamera, ermöglicht ständige Anfrage, ob auch tatsächlich der betreffende Benutzer anwesend ist Elektronischer Handel (e-commerce, e-trade) als Ergänzung zu PIN- Systemen. Polizeiliche Datenbanken. Moldavien hat etwa ein vollständiges Bürgerregister mit erkennungstauglichen Gesichtsbildern. Soft Access Control Zugangskontrolle zu Casinos Ermittlung der Herkunft von Asylbewerbern

13 Verwendungsmöglichkeiten Gesichtstracking werden bei Video-Konferenzen eingesetzt Kamera zeigt immer den aktuellen Sprecher Gefühlslagen-Analyse, Erkennung von Schmerzen (evtl. auch Müdigkeit oder Krankheiten) Wird die Person bedroht?

14 Verwendungsmöglichkeiten In Fahrzeugen: Steuerung des Airbags Überwachung des Beifahrersitzes und der anderen Sitze Lidschlagsensor zur Ermittlung der Ermüdung des Fahrers Überprüfung der Identität des Fahrers Personalisierung (Sitze, Spiegel, Temperatur, Audio) Kombination mit üblicher Wegfahrsperre Vorteil: Die Personen befinden sich immer an definierten Positionen in definiertem Abstand von der Kamera Zumindest der Fahrer blickt auch fast immer in eine genau definierte Richtung Probleme: Ständig veränderlicher Hintergrund. Draußen kann es viele andere Gesichter geben oder Strukturen, die wie Gesichter aussehen (2000 auf Papierpaket!) Umgebungslicht im Auto ist nicht kontrollierbar. Finden einer geeigneten Position der Kamera (Fahrer: Armaturenbrett?)

15 Standardisierter Ablauf Gesichtsdetektion Gesichtslokalisierung Lokalisierung der Augen Normierung des Gesichtes Berechnung der zur Erkennung verwendeten Merkmale Berechnung der Ähnlichkeit Vergleich mit gegebenem Schwellwert

16 Technischer Ablauf Gesichtsdetektion und Gesichtslokalisierung Bestimmung von Position, Größe und Orientierung der in einem Bild enthaltenen Gesichter (des Gesichtes) (Meist) Lokalisierung der Augen, Normalisierung Ausschneiden, Skalierung und Drehung des Gesichtes Merkmalsextraktion Ermitteln der nach dem verwendeten Verfahren erforderlichen Features

17 Technischer Ablauf Referenzdatensatz-Erzeugung Zusammenfassung der Daten aus möglicherweise mehreren Bildern Vergleich Zusätzlich: liveness test Kopfbewegung, Mundbewegung, Zwinkern, Haut-Textur

18 Gesichtsfinder Befindet sich an einem bestimmten Punkt p eines Bildes ein Gesicht? Verfahren: Bildpyramide Festes Mustergesicht ( Template ) (häufig 10x10 Pixel)

19 Gesichtsfinder Bildkopien in vielen verschiedenen Vergrößerungen Muster über Bildausschnitte wandern lassen: Binäres (lineares) Klassifikationsproblem Nach dieser Vorsortierung (typischerweise werden 90-95% der Ausschnitte aussortiert) genauere, aber langsamere Verfahren: quadratische Klassifikatoren, Abstandsmaße, etc.

20 Algorithmen Merkmalsbasierte Gesichtserkennung einzelne Merkmale des Gesichtes werden extrahiert und ein Gesicht wird anhand dieser Merkmale klassifiziert Elastic Bunch Graph Matching Gesichtserkennung mittels geometrischer Merkmale Ganzheitlicher Ansatz Betrachtung und Klassifikation anhand des vollständigen Gesichtes Template Matching Fourier-Transformation Eigenface Viele reale Implementierungen kombinieren mehrere Ansätze.

21 Algorithmen Template Matching Gesichtserkennung mittels geometrischer Merkmale Gesichtserkennung mittels 2-dimensionaler diskreter Fourier- Transformation Gesichtserkennung mit neuronalen Netzen Elastic Bunch Graph Matching Eigenfaces (Eigengesichter, Principal Components Analysis PCA) Linear Discriminant Analysis LDA (Supportvektormaschinen) (Hidden Markov Models)

22 Template Matching Berechnung der Ähnlichkeit zwischen einem aktuell gegebenen Bild I und einem Template t Ein Template ist eine vorgegebene Maske, die einem Bild oder einem Teil eines Bilds ähnlich ist.

23 Template Matching Einfachste Form: Vergleich eines Bildes mit einem Template, das das ganze Gesicht repräsentiert Verbessert: Vergleich mit mehreren Templates, die jeweils andere Teile des Gesichts repräsentieren Beispiel: Vier Templates für Augen, Mund, Nase und gesamtes Gesicht

24 Template Matching Identifikation eines Gesichtes: Vergleich dieses Gesichts mit allen Bildern der Datenbank Ergebnis ist ein Vektor, der die Ähnlichkeit zu den Merkmalen des jeweiligen Templates enthält Identifikation der unbekannten Person über die größte Ähnlichkeit aller Merkmale (z.b. über die quadratische Abweichung) Die Qualität der Ergebnisse hängt stark von der Qualität der verwendeten Template-Masken ab. Die Masken müssen bei möglichst vielen unterschiedlichen Personen ähnlich sein und sollten unabhängig von Beleuchtung und Bildkontrast sein Rechenaufwändig Verfahren

25 Geometrische Merkmale Extraktion von geometrischen Merkmale des Gesichts Position von Nase, Augen und Mund relative Position der Merkmale zueinander Anforderungen an den Merkmalsvektor: Möglichst einfache Merkmalsextraktion geringe Abhängigkeit vom Umgebungslicht geringe Abhängigkeit von kleineren Änderungen in einem einzelnen Gesicht hoher Informationsgehalt Vorstufe für die eigentliche Gesichtserkennung: Normierung des Gesichts

26 Geometrische Merkmale Merkmalsextraktion unter Beachtung von Randwerten: Die Augen liegen nebeneinander Die Nase liegt unter den Augen Der Mund liegt unter der Nase Mund und Nase sind weitgehend mittig im Gesicht Gleiche Grundarchitektur von Gesichtern, erleichtert die Merkmalsextraktion, erschwert aber die Klassifikation Gesichtsverletzungen brechen aus dem normalen Schema aus, solche Personen sind mit diesem Verfahren schwerer zu unterscheiden

27 Geometrische Merkmale Technik für die Extraktion der Merkmale: integrale Projektion Aufsummieren der Grauwerte einer Spalte bzw. einer Zeile des Bildes Darstellung in einem Histogramm Gut geeignet, wenn der Bildausschnitt klein genug ist Vorherige Lageabschätzung der verschiedenen Merkmale erforderlich (vertikale bzw. horizontale integrale Projektion im Rechteck [x1,x2]x[y1,y2])

28 Geometrische Merkmale Ablauf der Merkmalsextraktion: Extraktion eines vertikalen und eines horizontalen Gradientenbildes Bestimmung der Lage der Augen mittels Template Matching Extraktion der anderen Merkmale unter Zuhilfenahme des allgemeinen Gesichts-"Layouts"

29 Geometrische Merkmale Abschätzung der ungefähren vertikalen Position aus Durchschnittswerten für menschliche Gesichter Suche nach einem Maximum im horizontalen Kantenbild im Bereich der geschätzten Nasenposition (= Nasenspitze) Suche nach einem Minimum im vertikalen Kantenbild im Bereich der geschätzten Mundposition (= Linie zwischen den Lippen). Minima und Maxima werden bewertet (Größe, Abstand von geschätzter Lage), daraus wird die Lage von Mund und Nase bestimmt. Analoge Bestimmung der Breite der Nase und der Höhe des Mundes. Analoge Bestimmung der Positionen und Dicke der Augenbrauen. Berechnung des Umrisses des Gesichtes.

30 Geometrische Merkmale Beispielhafte extrahierte Merkmale (je nach Verfahren können das auch andere sein) Vertikale Nasenposition, Nasenbreite Vertikale Mundposition, Mundbreite und Mundhöhe Vertikale Augenbrauenposition, Dicke der Augenbrauen über der Augenmitte diverse Radien zur Beschreibung der Kinnform Gesichtsbreite an der Nasenunterkante Gesichtsbreite auf der Augenhöhe Diverse Radien zur Beschreibung der Augenbrauenbögen

31 Geometrische Merkmale Ermittlung der Ähnlichkeit zweier Bilder durch Vergleich der so ermittelten Merkmalsverktoren (wobei der der Referenzdaten natürlich sinnvollerweise vorab berechnet wurde) Häufig wird die "Nearest Neighbour" Regel zur Berechnung der Ähnlichkeit verwendet (Summe der quadratischen Abweichungen) Vorteil Relativ einfache Berechnung der Merkmale aus einem gegebenen Gesicht Problem: Weniger robust gegenüber Lageänderungen des Gesichtes Normierung der Lage des Gesichtes ist erforderlich, um Drehungen herauszurechnen Dazu werden Messwerte aus dem Gesicht benutzt (Kopf schräg = Augen schräg, Mund schräg, Ohren schräg) Andere Winkel sind schwerer zu behandeln

32 Zweidimensionale diskrete Fourier-Transformation Grundidee: Man transformiere Orignal- und Vergleichsbild durch Fourier- Transformation in den Frequenzraum Man vergleiche die Spektren der Bilder Fourier-Transformation (DTF): Funktion auf dem gesamten Eingabebild (globaler Operator) Digitale (Bilder!) 2-dimensionale Signale werden in den Frequenzbereich transformiert Man hat beobachtet, dass offenbar der Hauptteil der Bildinformationen in den niedrigen Frequenzen enthalten ist.

33 Fouriertransformation

34 Fouriertransformation Berechnung der Varianzen für Real- und Imaginärteil In der Praxis hat sich gezeigt, dass Informationen über Bildunterschiede (welche letztendlich für die Gesichtserkennung herangezogen werden) vor allem in den Fourier-Koeffizienten niedriger Ordnung enthalten sind. Anordnung der Fourier-Koeffizienten entsprechend ihres Informationsgehalts Verwendung der n ersten Koeffizienten. Klassifikation der Gesichter Ein Bild-Vergleich erfolgt anhand der Abstandsbestimmung (z.b. euklidisch) der Vektoren der betreffenden Bilder Wie üblich sind Schwellwerte sinnvoll Unterschied zum Template Matching: Vergleich der Koeffizienten nach Transformation in den Frequenzbereich Meist kommt man mit weniger Koeffizienten (= kürzeren Feature- Vektoren) aus

35 Neuronale Netze Künstliche neuronale Netze bestehen aus Neuronen Neuronen reagieren auf Eingabeimpulse und geben Ausgabeimpulse aus Neuronale Netze sind lernfähig. Sie können Funktionen lernen. Es gibt keine einheitliche Meinung darüber, welcher Typ neuronaler Netze am Besten für Gesichtserkennung geeignet ist. Es gibt auch Meinungen, die den Ansatz komplett für suboptimal halten. Hier seien mehrschichtige Perzeptron-Netze gemeint, wann immer von neurnalen Netzen die Rede ist.

36 Neuronale Netze Kleinste Einheit: Neuron Neuronen werden schichtweise zusammengefasst Schichten sind miteinander verbunden Verbindungen können mit Gewichten versehen sein Ausgabe eines Neurons:

37 Neuronale Netze Gewichtete (mit w ij ) Summation der Eingaben o j Addition eines Bias-Wertes θ i Transfer-Funktion f x i ist die Ausgabe häufig nimmt man die Sigmoid-Funktion als Transferfunktion Ein mehrschichtiges Perzeptron besteht aus einer Eingabeschicht, aus verdeckten Zwischenschichten und aus einer Ausgabeschicht

38 Neuronale Netze Vorverarbeitungsschritte Normierung der Trainingsgesichter auf passende Größe und passende Orientierung Herausrechnen von Beleuchtungsunterschieden Unterteilung in spezielle Trainingsmengen (die geschickte Auswahl der Trainingsmenge entscheidet über die Qualität des Verfahrens, oft mehr als die Struktur des Netzes) Lernprozess Netz berechnet einen Ist-Wert, der mit dem Soll-Wert verglichen wird Anpassung der Gewichte des Netzes zur Verbesserung der Leistung Dazu gibt es diverse Lernverfahren, die hier nicht besprochen werden sollen. Verifikation: Im Lernprozess wird immer besser die Trainingsmenge gelernt. Es ist wichtig, dass immer eine Verifikationsmenge zur Verfügung steht, anhand derer geprüft werden kann, ob ein allgemeines Ergebnis gelernt wurde Häufig Kombination mit anderen Verfahren

39 Elastic Graph Matching Elastic-Graph-Matching Von der Malsburg (Bochum) Flexibles Gitter über das Gesichtsbild legen, Anpassungen sind in bestimmtem Maße möglich (Kopfneigung etc.) Vergleich der Gitterstrukturen

40 Elastic Graph Matching Ruhr-Universität Bochum Wiskott, Fellous, Krüger, von der Malsburg Zuordnung eines Gitternetzes zu einem Gesicht (labelled graph) An den Knoten dieses Gitters werden bestimmte Merkmale des Gesichtes berechnet Vergleich zweier Gesichter durch Erzeugung eines Gitters auf einem neuen Bild und Vergleich mit dem hinterlegten Gitter Extraktion der Merkmale durch an signifikanten Punkten des Gesichtes angebrachte Jets Die Jets bestehen aus Gabor Wavelets

41 Elastic Graph Matching Gabor Wavelet Bei diesem Wavelet handelt es sich um eine ebene Welle mit der Frequenz k, die von einem Gauß-Fenster begrenzt wird. 2D und 3D, links im Ortsrechts im Frequenzbereich

42 Elastic Graph Matching Warum nimmt man Gabor Wavelets? robust bei Helligkeits- und Kontraständerungen Akzeptiertes Modell für das menschliche Sehen Positionierung eines Wavelets an die Stelle x eines Bildes Wavelet-Komponente J k mit Grauwertverteilung I(x) kann dann berechnet werden Berechnung von 40 komplexen Werten für jedes Pixel (entsprechend 40 Gabor-Wavelets: fünf Größen, acht Orientierungen) Diese 40 Koeffizienten bilden den Jet. Dieser Vektor beschreibt die lokalen Bildmerkmale in der Umgebung der Stelle x

43 Elastic Graph Matching Beschreibung eines Gesichts durch ein beschriftetes Gitternetz (labeled graph) Knoten: signifikante Punkte des Gesichts (Landmarks), z.b. Nasenspitze, Mundwinkel, Augenwinkel, Kinn. Beschriftung der Knoten mit Jets Beschriftung der Kanten mit Abständen Vergleich von Gesichtern: Elastic Bunch Graph Matching Der Face Bunch Graph enthält an den Landmarks, mehrere verschiedene Jets Die Jets können unabhängig voneinander ausgewählt und zu einem neuen Gitter zusammengesetzt werden Jets des neuen Bildes werden mit allen Jets des Bunch Graphen verglichen, die besten werden ausgewählt

44 Elastic Graph Matching Gesichtserkennung in drei Schritten Lokalisierung des Gesichts Lokalisierung der Landmarks Vergleich der Graphen Lokalisierung des Gesichts: Vergleich des Bildes mit verschiedenen Bunch Graphen verschiedener Posen und Größen Gefundenes Gesicht wird in der Größe normiert Suche der Landmarks Erstellung eines Bunch Graphen Vergleich mit den anderen Graphen der Referenzbilder Schwellwert sinnvoll

45 Elastic Graph Matching

46 Eigenfaces Projektion auf Eigenfaces Sirovich/Kirby, 90er Jahre, MIT Media Lab Turk/Pentland werden auch manchmal als Väter dieses Ansatzes genannt Linearkombination von Basisgesichtern Etwa 100 Basisgesichter werden verwendet Genaue Normalisierung erforderlich: Annotation der Lage von Augen, Nasenspitze (oft auch Nasenränder) und Mundmitte (oft auch Mundränder)

47 Eigenfaces Auf der Hauptkomponentenanalyse basierendes Verfahren zur Gesichtserkennung. Trainingsbilder der Gesichter werden in lexikografischer Reihenfolge eingelesen und in Vektoren gespeichert. Aus dem Trainingsset wird ein Durchschnittsgesicht gebildet: Von jedem wird ein Differenzgesicht gebildet:

48 Eigenfaces Mit Hilfe der Differenzbilder wird eine Kovarianzmatrix C erstellt: wobei ist. Die Eigenvektoren der Matrix C sind die Hauptkomponenten, die wegen ihres gesichtsähnlichen Aussehens Eigenfaces genannt werden. Das Berechnen der Eigenvektoren aus C ist in dieser Form mit sehr großem Speicherbedarfs verbunden.

49 Eigenfaces Es gibt einen effizienteren Weg, da es nur M 1 wichtige Eigenvektoren gibt. Dazu wird die neue Matrix L berechnet: Die Eigenvektoren v l von L können leichter berechnet werden, da L von viel kleinerer Dimension ist. Nun wird berechnet: oder anders

50 Eigenfaces Die so erhaltenen Vektoren u l sind die Eigenvektoren von C. Praktisch relevant sind die M Vektoren u * mit den höchsten Eigenwerten. Diese u * müssen noch normiert werden. Mit Hilfe der ermittelten Eigengesichter u * kann ein Bild im Gesichtsraum mit Koordinaten versehen werden. Der so erhaltene Vektor kann von einem Mustererkennungs-Algorithmus für eine Gesichtswiedererkennung benutzt werden. Die Abstände verschiedener Gesichter (Es gibt Scharen von Abstandsmaßen, jeder Hersteller schwört darauf, dass sein Maß das Beste sei!) bestimmen die Ähnlichkeit.

51 Eigenfaces durchschnittliches Gesicht und die ersten vier Eigengesichter Eigengesichter der Ordnung 15, 100, 200, 250, 300 Eigengesichter der Ordnung 400, 450, 1000, 2000

52 Linear Discriminant Analysis

53 Herausforderungen und Zukunft Gegenlicht Wechselnde Lichtverhältnisse Schatten im Gesicht Zu viele Gesichter im Bild Fake detection (Masken, Bilder, Videos) 2.5D und 3D-Gesichtserkennung

54 Hersteller Cognitec (Dresden) L1 (Bochum/USA) Neurotechnology (Russland) NEC (Japan) Morpho (Frankreich) Und natürlich viele andere!

55 Ende Modul 9