PRIP-Preis. Effizientes Object Tracking durch Programmierung von Mehrkernprozessoren und Grafikkarten

Transkript

1 PRIP-Preis Effizientes Object Tracking durch Programmierung von Mehrkernprozessoren und Grafikkarten Michael Rauter Pattern Recognition and Image Processing Group Institute of Computer Aided Automation Betreuer: Martin Kampel Kontakt: michael.rauter@chello.at

2 Motivation und Zielsetzung 1 Performance Optimierung Bessere Tracking-Ergebnisse, dank höherer Videoauflösungen mehr Details, kleinere Objekte können erkannt werden höherer Bildwiederholraten zu trackende Objekte örtlich näher in aufeinanderfolgenden Bildern Mehr Zeit für andere Berechnungsschritte Komplexere Algorithmen möglich Michael Rauter

3 Motivation und Zielsetzung 2 Object tracking für PAL D1 Video ( fps Video < fps: CPU Ressourcen werden frei Einsatz von state-of-the-art Algorithmen Echtzeitfähigkeit (gemäß obiger Def.) bei konventioneller serieller CPU Programmierung nicht gegeben (< 3 fps) Argument des Wartens auf bessere Hardware in der Industrie nicht haltbar (Zeitdruck) keine zusätzlichen Kosten (etwa durch DSPs, Spezialhardware) repräsentative Algorithmen (modularisiert austauschbar) Michael Rauter

4 Methoden und Lösungsansätze 1 Ausgelagerte Algorithmen, Berechnungen auf dem Grafikprozessor (GPU) Multi-Threading für die Ausnutzung mehrerer CPU- Kerne einer Multi-Core CPU Bestmögliche Verwendung beider Prozessoren Auswahl geeigneter Algorithmen für Umsetzung auf der GPU Restliche Algorithmen, weitere Berechnungen auf der CPU Verfolgen des Ansatzes einer ineinander verzahnten Abarbeitungsreihenfolge durch Multi-Threading Michael Rauter

5 Methoden und Lösungsansätze 2 Warum wurde dieser Ansatz verfolgt? Bisher: Performance-Steigerung eines Bildverarbeitungssystems durch gemeinsame Nutzung von Grafikkarten und Multi-Threading nicht untersucht Bedarf an wissenschaftlicher Abhandlung des Themas Ansatz für einen industriellen Einsatz interessant Brachliegende Ressourcen nutzen (Grafikkarte, CPU-Kerne) Kostenersparnis Absolviertes Praktikum am PRIP zum Thema Bildverarbeitung auf der Grafikkarte als Ausgangsbasis für die Masterarbeit Michael Rauter

6 Verwendung der Grafikkarte Effiziente Nutzung der Grafikkarte für: Bewegungserkennung + Schatten/Glanzlicht Detektion Post-processing: Morphologische Operationen Pre-processing für den Tracking Algorithmus Momentbild-Berechnung für Integralbild-basierenden Mean Shift Tracker Michael Rauter

7 Verwendung der CPU CPU wird für alle restlichen Aufgaben verwendet Datenerfassung Object tracking auf den GPU-verarbeiteten Bildern Mean Shift Tracker basierend auf Integralbildern Data association inklusive der Regionsbestimmung Suche neuer Objekte im gesamten Bild (keine Portale) Visualisierung der Ergebnisse Michael Rauter

8 Bewegungserkennung Algorithmen 1 Hintergrund-Modellierung im IHLS-Farbraum ermöglicht Klassifizierung von Pixel eines neuen Bildes in Vordergrund- oder Hintergrundpixel Schatten- und Glanzlicht-Erkennung und Entfernung Michael Rauter

9 Object Tracking Algorithmen 2 Mean Shift Tracker basierend auf Integralbildern Mean Shift Iteration: nur 10 arithmetischen Operationen und 12 Array-Zugriffen nötig Integralbild-Berechnung nur einmal pro Bild Connected Components Analysis Algorithmus Regions-Segmentierung und -Labeling Region-Labeling mittels Konturverfolgung lineare Laufzeit Ergebnis ist eine Liste von Regionen + Attribute (id, Position, Breite, Höhe, Pixelanzahl) Michael Rauter

10 Multi-Threading 1 Implementierung des Multi-Threaded Systems Pipeline model (Fließbandarbeit) festgelegte Verarbeitungskette Thread reicht Rechenergebnis nächstem Thread weiter Zusammenspiel der Threads im System Michael Rauter

11 Multi-Threading 2 Vergleich: Verarbeitung der Input-Bilder Serielle Abarbeitung der Berechnungsschritte Parallele Abarbeitung der Berechnungsschritte Michael Rauter

12 Programmiersprachen und Bibliotheken Programmierung: C, C++ Graphics-API: OpenGL Shader-Programmierung: Cg Bibliotheken Glut, Glew (OpenGL-Context, -Extensions) Boost::Thread (Multi-Threading) OpenCV (grundlegende Bild/Videoverarbeitung) Gtk+ (Graphical User Interface) unter Windows XP entwickelt, aber alle tools & libraries auch für Linux erhältlich Michael Rauter

13 Resultate Das Object Tracking System Video zur Demo-Applikation Michael Rauter

14 Resultate - Performance 1 Trackt 100+ Objekte in Echtzeit Suche für neue Objekte im ganzen Bild Mehr als 30 fps für ein Video mit pixel und 3 Farbkanälen (CPU-Last: ~64%) (Testsystem: Intel Core2 6300, Geforce 7950 GT) Speed-up um mehr als den Faktor 9.5 (im Vergleich zur optimierten (OpenCV-SSE- Unterstützung) Single-Core CPU Implementierung) Michael Rauter

15 Resultate - Performance 2 Michael Rauter

16 Resultate - Performance 3 Michael Rauter

17 Resultate - Performance 4 Michael Rauter

18 Ausblick und mögliche Verbesserungen Zu erwartende Hardwareentwicklungen Mehr Flexibilität bei der GPU-Programmierung Bessere Performance sowohl bei CPUs als auch GPUs mehr CPU-Kerne pro CPU (Multi-Threading zwingend nötig) Verbesserungspotential noch komplexere Algorithmen einsetzen gaussian mixture model für Hintergrund-Modellierung occlusion handling: Verdeckungsprobleme lösen multi-model approach multi-camera approach Michael Rauter