Entwurf eines Generators zur Erzeugung von Hard- und Software-Beschreibungen für Bildverarbeitungspipelines

Transkript

1 Entwurf eines Generators zur Erzeugung von Hard- und Software-Beschreibungen für Bildverarbeitungspipelines Verteidigungsvortrag zur Studienarbeit Ludger Irsig Fraunhofer IIS/EAS

2 Digitale Kameras allgemein Szene Objektiv Sensor Serialisierung und und A/D-Wandlung Nachverarbeitung KUKA Roboter GmbH [1] André Karwath [2] "Filya1" [3] Fraunhofer IIS/EAS Ludger Irsig von 20

3 Machine Vision Bsp. für Low-Level: High-Level Intermediate-Level Low-Level Recognition Classification Segmentation... Preprocessing nach Donald G. Bailey: Design for Embedded Image Processing on FPGAs [4] Defektpixelkorr. Binning Region of Interest Kontrastanpassung Fraunhofer IIS/EAS Ludger Irsig von 20

4 Machine Vision mittels VSoC am Fraunhofer IIS Pixelzelle analoge Verarbeitung digitales SIMD-Array FPGA Software Vision-System-on-Chip (Eigenentwicklung) Zynq (Xilinx) Jens Döge et al. [5] Gareth Halfacree [6] Fraunhofer IIS/EAS Ludger Irsig von 20

5 Motivation der Studienarbeit unterschiedliche Probleme erfordern unterschiedliche Verarbeitungsprozesse lassen sich in wiederkehrende Elemente zerlegen Problem: händisches Zusammenfügen ist zeitaufwändig und fehleranfällig; häufig Iterationen nötig Lösung: Generatorwerkzeug + Bibliothek von Blöcken Fraunhofer IIS/EAS Ludger Irsig von 20

6 Was ist zu tun? Fraunhofer IIS/EAS Ludger Irsig von 20

7 Pipelinedatenformat Pixeldatenstrom, mit Pausen Metadaten als Header (3 Takte) 16 Bit Daten, 3 Bit Tag, 1 Bit Valid CLK VALID DATA TAG META0 META1 META2 DATA LOL DATA LOF META1 Fraunhofer IIS/EAS Ludger Irsig von 20

8 Pipelineelemente Blöcke = VHDL-Entities erweitert um Annotationen Gruppen von Signalen Parameter Implementierung: Stream Processing generisch, Wiederverwendung Fraunhofer IIS/EAS Ludger Irsig von 20

9 Parametrierung Bsp.: Region of Interest Parameteränderung stört Datenstrom Zwischenpuffer für Parameter automatisch anlegen x_low = 04 x_high = y_low = 04 y_high = Fraunhofer IIS/EAS Ludger Irsig von 20

10 Pipelinebeschreibung eigenes Format führt Elemente auf gibt Verbindungen an legt Generics fest Fraunhofer IIS/EAS Ludger Irsig von 20

11 Was tut der Generator? (I) zweistufig: analysiere Elemente und ihre Schnittstellen setze Pipeline zusammen Fraunhofer IIS/EAS Ludger Irsig von 20

12 Was tut der Generator? (II) testet Kompatibilität der Schnittstellen Bsp.: std_logic std_logic_vector ( G_STREAM_BITS 1 downto 0 ) std_logic_vector ( min(16, C_META_SIZE) 1 downto 0 ) Fraunhofer IIS/EAS Ludger Irsig von 20

13 Was tut der Generator? (III) master Verbinden der Parameter-Schnittstellen mux2 CBus mux2 mux4 ein Master bis zu 32 Komponenten mux4 dezentrale Adressierung durch eindeutige IDs stub register_connector Adressraum aufteilen DPC BIN ROI CON LUT Fraunhofer IIS/EAS Ludger Irsig von 20

14 Software-Schnittstelle C++-Bibliothek, Abstraktionsschicht vorher: Zugriff über Komponenten-ID und Adresse z.b. write ( 0x10, 0x0001, 0x ) jetzt: Zugriff über Namen des Elements und des Parameters z.b. write ( roi_i, x_low, ) behält auch nach Änderung Gültigkeit! Synchronisation Fraunhofer IIS/EAS Ludger Irsig von 20

15 Nutzen des Generatorwerkzeugs massiv verkürzte Schreibweise (Faktor 10) keine weniger Copy-Paste-Fehler reproduzierbar, Versionskontrolle Einbindung in automatisierten Workflow möglich Fraunhofer IIS/EAS Ludger Irsig von 20

16 Vielen Dank! Insbesondere an die Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur der TU Dresden unter Prof. Spallek und die Arbeitsgruppe Optische Sensorik des Fraunhofer IIS/EAS Fraunhofer IIS/EAS Ludger Irsig von 20

17 Demonstration Zynq-Prozessor Personal Computer Webcam Mensch VHDL C++ Zynq-FPGA unter Nutzung von openclipart.org [7] Bilddaten Konfigurationsdaten Fraunhofer IIS/EAS Ludger Irsig von 20

18 Backup: Parsen der VHDL-Grammatik EBNF: Pyparsing: Ergebnis in XML: Fraunhofer IIS/EAS Ludger Irsig von 20

19 Backup: Annotiertes Pipelineelement Fraunhofer IIS/EAS Ludger Irsig von 20

20 Bildquellen [1] KUKA Roboter GmbH, (gemeinfrei) [2] André Karwath, (Creative Commons) [3] "Filya1", (Creative Commons) [4] nach Bailey, Donald G.: Design for Embedded Image Processing on FPGAs. John Wiley & Sons, 2011 [5] Döge, Jens; Hoppe, Christoph; Reichel, Peter; Peter, Nico: A 1 Megapixel HDR Image Sensor SoC with Highly Parallel Mixed-Signal Processing. In: 2015 International Image Sensor Workshop (IISW), 2015 [6] Gareth Halfacree, (Creative Commons) [7] (gemeinfrei) Fraunhofer IIS/EAS Ludger Irsig von 20