ENTWICKLUNG EINER HARDWARE-UNTERSTÜTZTEN CMOS-BILDSENSOR BASIERTEN PRÄSENZDETEKTION

Transkript

1 ENTWICKLUNG EINER HARDWARE-UNTERSTÜTZTEN CMOS-BILDSENSOR BASIERTEN PRÄSENZDETEKTION ITG-Fachgruppentreffen, Dresden, 12. Oktober 2012 Jens Döge und Peter Reichel, Fraunhofer IIS/EAS Dresden Fraunhofer

2 Grundlagen für die Präsenzdetektion im Projekt ENLIGHT Ziel: Optische Erkennung der Anzahl, Position und Bewegungsrichtung von Objekten in einem definierten Bereich. Probleme Dunkle, kontrastreiche sowie sich ändernde Beleuchtungsverhältnisse Veränderliche und sich bewegende Objekte (z.b. Ventilator, Fernseher) Zuordnung Objekte Menschen bei unterschiedlichem Aussehen (Kleidung, Hüte) Voraussetzungen für den Einsatz Privatspäre, d.h. keine Bilddaten dürfen den Sensor verlassen Sehr geringe Leistungsaufnahme (Norm: <100 mw) Geringe Kosten Anwendungen Energieeffizienz und -management (Beleuchtung) Sicherheit (Gefahrensituationen, Einbrüche) Komfort (Automatische Steuerung von Elektronik) 2

3 Algorithmischer Lösungsansatz Multimodaler Ansatz mit Merkmalen auf der Grundlage der Bildstruktur absolut unabhängig von Helligkeit / Schatten zeitlicher Wahrscheinlichkeitsverteilungen stochastisch oder zyklisch Programmierbare hochparallele Merkmalsextraktion im Bildsensor Ereignisgesteuerte Bildanalyse Low Power / Low Data Rate Extrem effiziente analoge Signalverarbeitung Low Power A / D -Wandlung nur im Bedarfsfall (1 mw bei VGA) Low Power Hintergrundmodell und Erkennung von Ereignissen Low Power Microcontroller mit universellen Schnittstellen (I²C, SPI) 3

4 Entwurfsschritt 1: Implementierung des Algorithmus Proof of Concept Image Source Camera Videofile Image Sequence Synthetic Data Algorithm Matlab Python C++ Java User Space Kernel Driver Network GP-I/O Environment 4

5 Synthetische Bilddaten 5

6 Entwurfsschritt 2: Partitionierung des Algorithmus Proof of Concept Image Source Algorithm Camera Videofile Image Sequence Synthetic Data Matlab Python C++ Java User Space Kernel Driver Network GP-I/O Environment Dataflow Image Source Camera Videofile Image Sequence Synthetic Data Estimation of alg. Complexity Filter 1 Filter 2 Filter n C++ C++ C++ User Space Kernel Driver Phys. Network I/O-Hardware Environment 6

7 Multimodales Hintergrundmodell Ventilator (drehend/schwenkend) Person 2 Person 1 7

8 Entwurfsschritt 3: Modellierung der Komponenten Dataflow Image Source Camera Videofile Image Sequence Synthetic Data Estimation of alg. Complexity Filter 1 Filter 2 Filter n C++ C++ C++ User Space Kernel Driver Phys. Network I/O-Hardware Environment Rapid Prototyping (HiL) Image Source Cam Disk Data CISModel SystemC Processing pipeline Mod 1 Mod 2 Mod n SystemC SystemC SystemC Firmware for Target MCU Phys. Network I/O-Hardware Environment 8

9 Generische Sensorarchitektur und Softwaremodell Sensor Matrix A C D P P1 + P2 Row and Column Control + P3 Y Analog Processing Unit Microcoded Sequencer Reconfigurable A / D Converter TX (SPI) RAM Program Microcontroller 9

10 Algorithmen zur Verarbeitung im Bildfeld t t t Auslesen t 1D Faltung Normal oder Fensterung t t Wichtung Anhebung Absenkung oder Adaption Glättung oder Kantendetektion t t Zeitliche Filterung m. Zeilenwichtung mit / ohne Reset der Pixel 10

11 Modellierung des Mikroprogrammsteuerwerks Sensor Matrix A C D P P1 + P2 Row and Column Control + P3 Y Analog Processing Unit Microcoded Sequencer Reconfigurable A / D Converter TX (SPI) RAM Program Microcontroller 11

12 Elektrische Modellierung des analogen Auslesepfads Sensor Matrix SI Load Pixel Reset A C D P P1 + P2 Row and Column Control + P3 Y SI Leakage Column Leakage Analog Processing Unit Microcoded Sequencer Reconfigurable A / D Converter TX (SPI) RAM Program Microcontroller 12

13 Optische Modellierung der Pixelzellen Sensor Matrix A C D P P1 + P2 Row and Column Control + P3 Y Analog Processing Unit Microcoded Sequencer Abschätzung des optischen Pfades Reconfigurable A / D Converter TX (SPI) RAM Program Horizontales optisches Übersprechen Microcontroller 13

14 Entwurfsschritt 4: Umsetzung in FPGA Prototypen Rapid Prototyping (HiL) Image Source Cam Disk Data Processing pipeline CISModel SystemC Mod 1 Mod 2 Mod n SystemC SystemC SystemC Firmware for Target MCU Phys. Network I/O-Hardware Environment FPGA Camera CMOS Image Sensor FPGA Embedded Soft-CPU Image Image Acquisition Processing (VHDL) (VHDL) Firmware (Linux) Camera control Postprocessing Hardware Network GP-I/O Environment 14

15 Architektur der Steuerung im FPGA Ctrl Image Sensor Acquisition Control Events Trigger EASCBus Connection EASCBus Master IO Control ImgFIFO ImgPipeline (PreProcessing) FrameControl MemWriter MemPort StrInfo Stream MemPort StrInfo BufferCtl BufferCtl Stream BufferAcc BufferAcc FrameCtl FrameCtl TLM TLM MainMemory ExtIface TLM MemoryManager (Alloc, Dealloc,...) 15

16 Kamerademonstrator 16

17 Entwurfsschritt 5: Umsetzung in Präsenzdetektionssystem FPGA Camera FPGA CMOS Image Sensor Embedded Soft-CPU Image Image Acquisition Processing (VHDL) (VHDL) Firmware (Linux) Camera control Postprocessing Hardware Network GP-I/O Environment System in Package Image Sensor System-on-Chip Micro Controler Image Pre- Sensor Focal Plane Processing Sensor (analog) (mixed sig.) (digital) (digital) Firmware (Linux) Camera control Postprocessing External Environment (digital) 17

18 Zusammenfassung Strukturierter und anwendungsgetriebener Entwurfsfluss eines optischen Präsenzdetektionssystem Betrachtung des Bildverarbeitungssystems als Ganzes unter Berücksichtigung der Umwelteinflüsse und Beschränkungen (Baugröße / Bauhöhe, Leistungsaufnahme, Kosten) Modellierung des Bildverarbeitungssystems auf unterschiedlichen Abstraktionsebenen zielgerichtete Exploration des Entwurfsraumes, schrittweise Verfeinerung der Modelle, Rückführung von Erkenntnissen aus Testchips (z.b. Nicht-Idealitäten), eine parallele Entwicklung von SW und HW gegen goldene Referenz Aktueller Testchip ChRISP.1 derzeit in Fertigung vollständiges SystemC Modell von Bildsensor und Kamera FPGA Implementierung des zugehörigen Testsystem in Entwicklung 18

19 Thank you! 19