Anwendungsorientierte Bildverarbeitung

Transkript

1 Anwendungsorientierte Bildverarbeitung SoSe 2009

2 Bildverarbeitungssysteme Bildverarbeitung ist ein Prozess Funktion wird erreicht durch verschiedene Algorithmen Verschaltung Parameter Prozess-Ablauf linear parallel feedback zyklisch

3 Ein integriertes System Ein bildverarbeitendes System aus vielen Modulen Ein Framework ist notwendig Datenaustausch (Bilder, Zwischenergebnisse) Koordination Eingabe, Ausgabe Ziele (Fokus: Forschung) Wiederverwendbarkeit Modularität Entwickler-Unterstützung Lern-Kurve Debugging Ausprobieren / Evaluation Effizienz

4 icewing - A graphical Plugin Shell

5 IceWing icewing: integrated communication environment which is not Gesten C/C++ (wrapper für MatLab, Python,...) Fokus auf (soft-)realtime-bildverarbeitung Plugins implementieren einzelne Algorithmen icewing verschaltet diese Plugins einfache (GTK-) GUI, Previews, Grabbing Kameras (USB, FireWire, V4L) Bilder (png, jpeg, pnm) Videos (avi: ffmpeg) Anbindung an XCF ( framework

6 icewing Live Aufruf (Kommandozeile) -h Hilfe -l Plugin -a Argumente -sp / -sg grabbing GUI Preview-Fenster Parameter Datenaustausch Speichern / Laden Parameter Sessions

7 Heute Datenrepräsentationen (Bilder und XML) icewing Programmierung xmltio + Plugins

8 Daten in icewing Bilder (Farbe, div. Formate,...) strukturierte (symbolische?) Daten -> XML Warum? Bilder sind in XML recht ineffizient aber zum Glück auch meist ähnlich schlicht strukturiert Alle(?) anderen Daten in XML -> später

9 Bildrepräsentationen Ein (Grauwert-)Bild ist eine Matrix Mathematisch: f : M x N zweidimensionales Array: char image[m][n]; Achtung: In Bilder meist vertauschte Koordinaten Der Pixel an der Stelle (x,y): image[y][x];

10 Effizientere Darstellung image[][] ist ein Array von Arrays => verteilt im Speicher Fragmentierung Cache besser: zwei-dimensionales Array plattdrücken : image[] statt image[y][x], dann image[y*n+x] auch für Pixel-OPs praktischer 1

11 Farbbilder 1 Farbbilder sind übereinandergelagerte Grauwertbilder meist 3-dimensionales Array, bzw. Tensor Farbräume RGB YUV HSI...

12 Plane-orientierte Repräsentation 1 Im Speicher liegen alle Pixel einer Farbe zusammen P unabhängige planes dreidimensionales Array: char image[p][m][n] Vorteil: jede plane: eigenständiges Grauwert-Bild Ergänzung um weitere planes Standard, den icewing verwendet serialisierte Form möglich

13 Pixel-Packed Repräsentation 1 Alle P Farbwerte liegen zusammengepackt im Speicher dreidimensionales Array: char image[m][n][p] Vorteil: effizienter Zugriff auf den Farbwert Übliches Kameraformat auch wieder als ein Speicherblock serialisierbar in icewing auch verfügbar

14 Weiteres zur Bildrepräsentation 1 Zusätzliche Kanäle/Planes alpha Tiefeninformation Interleaved char image[m][p][n] Standard-Bild in icewing: typedef struct iwimage { guchar **data; int planes; int width, height; int rowstride; iwcoltab ctab; } iwimage; Farbräume RGB: Bildschirme HSV/HSI: Bildbearbeitung YUV: PAL norm, Kameras, icewing ;-) CMY & CMYK: Drucker

15 Strukturierte Daten mit XML 1 Alle anderen Daten in XML Stichwort: Information-driven Integration Unsere Verwendung von XML... vermindert Problems des Versionings reduziert Aufwand bei der Wiederverwendbarkeit ermöglicht kooperative Plugins ist deklarativ (und menschenlesbar) wird durch das framework (XCF) unterstützt

16 XML 1 extended Markup Language XML-Dokumente als erweiterbare, strukturierte Datentypen XML-Dokumente sind grundsätzlich hierarchisch strukturiert (sogenannter DOM-Tree) Serialisierung mit dem XML-Infoset möglich und wichtig! Anstelle von fest eincompilierten struct oder Klassen verwenden wir XML Dokumente XPath zum Adressieren von Sub-Strukturen (e.g. /OBJECT/RECTANGLE/@x) Ziel: kompatible und kooperative Plugins, die auch mit Teil- Informationen umgehen können

17 Kooperative Plugins 1 Goal: Build vision systems from combination of plugins ( out of the box ) Daten-Austausch sollte generisch sein XML data structures Images (iwimage) Regionen, Merkmale, Segmente, Polygone => XML XML Infrastructure plugins sind verfügbar (XMLFileReader, XMLFileWriter)

18 Beispiel: Object Recognition <?xml version="1.0" encoding="utf-8"?> <OBJECT xmlns=" xmlns:xsi=" xsi:schemalocation=" objects.xsd"> <HYPOTHESIS> <GENERATOR>Object Recognizer BU(N)</GENERATOR> <TYPE>OR_RESULT</TYPE> <TIMESTAMPS> <CREATED value=" "/> <UPDATED value=" "/> </TIMESTAMPS> <RATING> <RELIABILITY value="0.6"/> </RATING> </HYPOTHESIS> <CLASS id="3">cup</class> <REGION image="img_office210703_122"> <CENTER x="" y=""/> <RECTANGLE x="335" y="245" w="65" h="80"/> </REGION> <EVIDENCES> <EXISTENCE value="0.8"/> <HANDCLOSE value="0.4"/> <POINTED value="0.1"/> </EVIDENCES> </OBJECT> 1

19 Generic data blocks 1 Flömker et al. ICVS 2006

20 xmltio 2 XML Template-based Input/Output verwendet XPath für Zugriff Analogie zu strukturierten Datentypen (`/` statt `.`) Doku unter Überladung von convert-methode und extract- Template-Klasse

21 2 Information-driven Integration with icewing plugins HowTo

22 Information-Driven Integration Manifesto 2 Focus on the information generated in a system to facilitate efficient software integration in cognitive systems and the construction of loosely coupled, modular architectures with particular support for memory and learning.

23 IceWing Architektur Shared Objects (Endung.so) Informations-orientierte Integration und Daten Management Daten haben identifier und reference-counting Plugins registrieren sich auf Daten 2

24 Plugin Interface DoxyGen Documentation: Implementieren das Interface ICEWING::Plugin iwimage Identifier image (YUV) oder image_rgb (RGB) Daten Management Funktionen comm_8h.html Registrierung: plug_observ_data Publish: plug_data_set plugdatadestroyfunc als Destruktor der Daten GUI Interface opts_*_create Funktionen modifizieren members Variablen asynchron prev_new_window prev_draw_buffer 2

25 Installiert als /vol/ai/releases/hardy/bin/icewing Global installierte Plugins: /vol/ai/release/hardy/icewing/lib*.so eigenen Suchpfad erweitern (in.bashrc): export PATH= /vol/ai/releases/hardy/bin icewing -h für Hilfe icewing -l <libpluginname> -a <plugin-instance> -h /vol/semaobi als Projekt-Volume 2 Doku vor allem unter icewing.sf.net

26 Plugin- Wizard 2 /vol/ai/releases/hardy/bin/... icewing-plugingen -cxx hurga erzeugt lauffähiges Plugin Makefile hurga.cxx hurga.h make übersetzt das Plugin neu make depend ist notwendig, wenn neue Bibliotheken dazukommen make clean entfernt alle generierten (nicht Source) Dateien

27 Nächste Schritte 2 Login ausprobieren Hausaufgabe: Plugin-Wizard verwenden Ein erstes Miniplugin bauen Fragen zur Aufgabe konkret überlegen (Fragestunde) Welche Daten braucht ihr? Welche Daten werden geliefert? Was ist unklar? Einstieg in die Design-Phase