Multi-Biometrische Gesichtserkennung Hochschule Darmstadt - CASED Christoph Busch BSI-Kongress, Mai 2013

Transkript

1 HDA COG IGD BKA L1S PLY ULD ULD Multi-Biometrische Gesichtserkennung Hochschule Darmstadt - CASED Christoph Busch BSI-Kongress, Mai 2013

2 Multi-Biometrische Gesichtserkennung n Ein Bericht über das Projekt GES-3D n Autoren des Beitrages: Christoph Busch, Arslan Brömme, Anika Pflug Xuebing Zhou, Michael Dose, Michael Brauckmann, Frank Weber, Alexander Opel, Peter Neugebauer, Katja Leowsky GES-3D BSI-Kongress, Mai

3 GES-3D: Multi-Biometrische Gesichtserkennung n GES-3D: Multi-Biometrische Gesichtserkennung n Projektlaufzeit: 01/ /2014 Gefördert wird das Projekt durch das BMBF im Rahmen des Programms der Bundesregierung "Forschung für die zivile Sicherheit" als Teil der Hightech-Strategie GES-3D BSI-Kongress, Mai

4 Projektpartner L1S Konsortium Industriepartner Wissenschaftliche Partner Endanwender L-1 Identity Solutions AG IGD Fraunhofer IGD BKA Bundeskriminalamt PLY Polymetric GmbH (KMU) HDA Hochschule Darmstadt COG Cognitec Systems GmbH (KMU) ULD Unabhängiges Landeszentrum für Datenschutz Schleswig- Holstein GES-3D BSI-Kongress, Mai

5 GES-3D: Multi-Biometrische Gesichtserkennung Ist dies ein und dieselbe Person? GES-3D BSI-Kongress, Mai

6 GES-3D: Multi-Biometrische Gesichtserkennung Und welche Beweise haben Sie dafür? GES-3D BSI-Kongress, Mai

7 GES-3D: Multi-Biometrische Gesichtserkennung GES-3D BSI-Kongress, Mai

8 GES-3D: Feasibility-Studie Aktuelles Szenario: 2D gegen 2D Fragestellung: Inwiefern kann zusätzliche 3D- Information die Genauigkeit verbessern? GES-3D BSI-Kongress, Mai

9 GES-3D: Feasibility-Studie GES-3D BSI-Kongress, Mai

10 GES-3D: Multi-Biometrische Gesichtserkennung GES-3D BSI-Kongress, Mai

11 GES-3D: Multi-Biometrische Gesichtserkennung Datenaufnahme GES-3D Enrolment BSI-Kongress, Mai 2013 Personensuche 11

12 GES-3D: Multi-Biometrische Gesichtserkennung n Erfassung ED ID n 5-teilige Aufnahmen n 3D-Scans Datenaufnahme n Verschlüsselte Übertragung der Daten GES-3D BSI-Kongress, Mai

13 3D-Scanner n Kombination aktiver (Streifenprojektion) und passiver Methoden (Stereo), um schnell und genau zu sein n Kompensation von Bewegungsartefakten bei Mehrbildaufnahmen n Einfache Handhabung des intelligenten Sensors GES-3D BSI-Kongress, Mai

14 3D-Scanner n Bisherige Ergebnisse n Registrierung der Bilddaten: Verrechnung mehrerer 3D-Scans zu einem 3D-Kopfscan n erste Version des 3D-Scanners verfügbar GES-3D BSI-Kongress, Mai

15 Test-Datenbank HQ 3D-Models Surveillance Videos Portrait Images GES-3D BSI-Kongress, Mai

16 GES-3D: Multi-Biometrische Gesichtserkennung Enrolment Personensuche n Verschlüsselte Übertragung der Daten n Suchanfragen unter Nutzung tatrelevanter Bilder und Videos GES-3D BSI-Kongress, Mai

17 Architekturansatz Selektion von Keyframes Vergleich mit gerenderten Ansichten aus 3D Fusion von Ohren- und Gesichtsfeatures 2D Videodaten Anpassung 3D- Modell an Bilddaten 3D- Probe 3D- Comparator 3D-Bild DB Score Fusion Posenschätzer Erzeugen diskreter 2D- Ansichten 2D- Comparator GES-3D BSI-Kongress, Mai

18 Multi-Biometrische Personensuche Gesichtserkennung n Diskrete gerenderte Posen als Proben mit 2D-Video vergleichen n Probe aus 3D-Rekonstruktion aus Video mit 3D-Modell vergleichen GES-3D BSI-Kongress, Mai

19 Multi-Biometrische Personensuche 3D Landmarken aus Gradientenbildern oder Krümmung der Oberfläche Gesichtsfeatures aus Histogramm der Tiefeninformation oder Local-Binary-Pattern GES-3D BSI-Kongress, Mai

20 Multi-Biometrische Personensuche Ohrenerkennung n Detektion von Ohren im Video und Qualitätskontrolle n Detektion von Landmarken n Vergleich mit Landmarken aus gerenderten Tiefenbildern und Auswahl des besten Scores n Vergleich mit weiteren Features aus diesem Bild GES-3D BSI-Kongress, Mai

21 Multi-Biometrische Personensuche 3D-Ohrenerkennung n Abgleich mit der forensischen Methoden-Praxis in der Personenidentifikation n Detektion des Ohres in Tiefenbildern n Verschiedene Konzepte zur Feature Extraktion GES-3D BSI-Kongress, Mai

22 Multi-Biometrische Personensuche Normalisierung der Pose Krümmungen berechnen und Kandidaten definieren Ohrregion markieren GES-3D BSI-Kongress, Mai

23 Multi-Biometrische Personensuche Ohrenerkennung n Finden und markieren von Ohr-Regionen in 2D-Bildern n Features auf Basis von extrahierten Umrissen aus der Detektion GES-3D BSI-Kongress, Mai

24 Multimodale Fusion n Fusion der Gesichtserkennung von COG und L1S mit 3D-Ohrenerkennung n Realisierung bedingter Fusion (nicht jedes biometrische Verfahren liefert immer ein Ergebnis) n Berücksichtigung von Konfidenzwerten der jeweiligen Verfahren GES-3D BSI-Kongress, Mai

25 Untersuchungen der rechtlichen Rahmenbedingungen n Analyse der datenschutzrechtlichen Rahmenbedingungen für die Gestaltung und den Einsatz des biometrischen Personenerkennungssystems: Für welche Zwecke und unter welchen Voraussetzungen kann das biometrische Personenerkennungssystem nach geltendem Recht eingesetzt werden? n Analyse der Anforderungen an die technische Gestaltung des Systems aus datenschutzrechtlicher Sicht. n Erarbeitung technologiegestaltender Lösungen im Hinblick auf die Datenschutzanforderungen. GES-3D BSI-Kongress, Mai

26 Überblick und Zusammenfassung n Mobiles 3D-Erfassungssystem n 3 verschiedene Pipelines inkl. Automatischer Ohrenerkennung n Rechtliche Begleitung durch unabhängige Institution --> Erster Demonstrator in Jahresmitte GES-3D BSI-Kongress, Mai

27 Vielen Dank! GES-3D BSI-Kongress, Mai