Viola-Jones Gesichtserkennung mit WebGL

Transkript

1 Viola-Jones Gesichtserkennung mit WebGL Tobias Groß, Björn Meier Hardware/Software Co-Design, University of Erlangen-Nuremberg 18. Juli 2013

2 Outline Motivation Viola-Jones Funktionsweise Blockbewertung Integralbild Phasen Implementierung GPU Einschränkungen und Besonderheiten von WebGL Implementierung mit WebGL Evaluierung Beispiele Auswertung Fazit 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 2

3 Motivation Verwendung von Gesichtserkennung: Bei der Fotografie (Fokussierung) Zuordnung von Personen auf Bildern Automatisierte Überwachung Herausforderungen: Fehlerkennung vermeiden Laufzeit der Erkennung verringern Lösungsansatz: Viola Jones zur Gesichtserkennung einsetzen Algorithmen auf der GPU ausführen 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 3

5 Funktionsweise Bild wird blockweise untersucht (hier Blockgröße von 24x24px) Dabei ist jeder Block ein potentielles Gesicht Um Gesichter unterschiedlicher Größe zu erkennen, wird das Bild skaliert. Blockgröße bleibt konstant! Training Trainingsalgorithmus ermittelt Werte für Schwellenwerte, Filter, etc. Hier wurde keine Trainingsalgorithmus implementiert. Es wurden schon berechnete Werte verwendet. 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 5

6 Skalierung while image_size >= block_window_size do calculate integralimage for all stages do stage_sum = 0 for all filter in stage do filter_value = calculate filter if filter_value > filter_threshold then stage_sum += filter_alpha2 else stage_sum += filter_alpha1 if stage_sum < stage_threshold face = -1 break else face = 1 if face == 1 face detected scale image 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 6

7 Blockbewertung Haar Filter Bestehen aus 2 bis 4 Flächen Flächenwert berechnet sich aus Pixelwertsumme Wert eines Filters berechnet sich, indem die hellen Flächen von den dunklen subtrahiert werden Filter wird positiv gewertet, wenn festgelegter Schwellenwert überschritten ist Haar Filter ermöglichen es, entweder Kanten oder Helligkeitsunterschiede zu erkennen 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 7

8 Integralbild Wofür wird es benötigt? Ermöglicht die Berechnung der Pixelwertsumme einer Fläche durch die Betrachtung von 4 Werten Dies ist deutlich performanter, als das Aufsummieren aller Pixel einer Teilfläche Aufbau: Abbildung: Quelle: Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 8

9 Integralbild Pixelwertsummenberechnung Benötigte Fläche S: S = B C D + A 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 9

10 Filterberechnung while image_size >= block_window_size do calculate integralimage for all stages do stage_sum = 0 for all filter in stage do filter_value = calculate filter if filter_value > filter_threshold then stage_sum += filter_alpha2 else stage_sum += filter_alpha1 if stage_sum < stage_threshold face = -1 break else face = 1 if face == 1 face detected scale image 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 10

11 Phasen Eine Phase gruppiert mehrere Haar Filter Jeder Filter wird hierbei gewichtet (je ein Wert für positive/negative Erkennung) Summe dieser Werte ergibt den Wert der Phase Dieser Wert wird mit dem Schwellenwert verglichen und entscheidet über die positive oder negative Erkennung eines Gesichts in einem Block Wird eine Phase als negativ gewertet, wird der gesamte Block sofort verworfen Bei positiver Bewertung wird die nächste Phase ausgeführt Werden alle Phasen positiv durchlaufen, befindet sich ein Gesicht im aktuellen Block 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 11

12 Phasen 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 12

13 Phasen while image_size >= block_window_size do calculate integralimage for all stages do stage_sum = 0 for all filter in stage do filter_value = calculate filter if filter_value > filter_threshold then stage_sum += filter_alpha2 else stage_sum += filter_alpha1 if stage_sum < stage_threshold face = -1 break else face = 1 if face == 1 face detected scale image 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 13

15 Einschränkungen und Besonderheiten von WebGL Frei lesbarer Speicher Zusätzliche Daten werden im Shader durch Texturpuffer bereitgestellt. Diese bestehen jedoch aus vec4 (4 Bytes). Werte, die nicht in ein Byte passen, müssen geteilt und in den 4 Bytes kodiert werden. Lesen vom Texturpuffer und Schreiben von Ergebnissen erzeugt durch die Kodierung/Dekodierung zusätzlichen Overhead. Undefiniertes Verhalten Browser verhalten sich nicht gleich Genauigkeit highp wird nicht von jeder/m Hardware/Treiber unterstützt Überlauf 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 15

16 Einschränkungen und Besonderheiten von WebGL Schleifengrenzen müssen statisch sein Provisorische Lösung: for ( int i = 0; i < 300; ++ i) { if (i >= act_num_filter ) { break; }... } Keine Bitoperatoren verfügbar Die Bitoperatoren und (&), oder ( ), exklusives oder (^), nicht (~), rechts schieben (> >), links schieben (< <) sind nicht verfügbar multiply bug 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 16

17 Implementierung mit WebGL 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 17

18 Integralberechnung GPU Zwei Phasen: Reihenweise Addition Spaltenweise Addition Problem: Es können keine umliegenden Werte verändert werden. Für jeden zu ändernden Wert muss ein Shader aufgerufen werden. Jeder Shader muss alle benötigten Werte berechnen. Es werden Werte vielfach berechnet. 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 18

19 Parallele Erkennung Jede Blockposition ist eine eigene Aufgabe: Anzahl Blockpositionen: (Breite Blockbreite + 1) (Höhe Blockhöhe + 1) Jeder Block wird in einem eigenem Shader berechnet. Problem: Die Größe des Speicherbereichs mit den Ergebnissen entspricht der Anzahl Blöcke. Jedoch: gefundene Gesichter Speicherbereich Der gesamte Speicherbereich muss zur Auswertung auf den Host kopiert werden. unnötige Daten müssen zwischen Host und GPU kopiert werden. 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 19

21 Beispiele Hardware: Intel Core i5 CPU 2.67GHz ATI Radeon HD 5850 Beispiel 1: Pixel 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 21

22 CPU: 2609 ms und 307 Treffer Schritt Integral Detektion Gesamt ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms GPU: 2175 ms und 277 Treffer Schritt Host-GPU Integral Detektion GPU-Host Gesamt ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 22

23 Beispiel 2: Pixel 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 23

24 CPU: 514 ms und 24 Treffer GPU: 640 ms und 25 Treffer Schritt Integral Detektion Gesamt ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms Schritt Host-GPU Integral Detektion GPU-Host Gesamt ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 24

25 Beispiel 3: Pixel 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 25

26 CPU: ms und 1111 Treffer GPU: ms und 1097 Treffer Schritt Integral Detektion Gesamt ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms Schritt Host-GPU Integral Detektion GPU-Host Gesamt ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms ms 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 26

27 Auswertung Speedup S: 0.8 < S < 1.5 Identifizierte Probleme Host - GPU Kopieroperationen Größe der Speicherbereiche für Ergebnisse Umrechnung von 4 Byte Vektoren in Integer und umgekehrt Um Werte zu schreiben muss ein Shader aufgerufen werden Verbesserungsmöglichkeiten Bildskalierung auf der GPU ab Schritt 2 entfällt die Kopieroperation auf die GPU Block skalieren statt dem Bild erneute Integralberechnung entfällt 18. Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 27

28 References [1] 5KK73 GPU kk73 gpu assignment 2012, [Online; accessed 19-Jul-2013]. [2] Paul Viola and Michael Jones. Robust real-time face detection. International Journal of Computer Vision, 57: , Juli 2013 Tobias Groß, Björn Meier Hardware/Software Co-Design Viola-Jones mit WebGL 28