Automatisierte Objektaufnahme für Bilddatenbanken - Vortrag zum Farbworkshop 2008 - Wolfram Hans, Dietrich Paulus {hans, paulus}@uni-koblenz.de Institut für Computervisualistik Universität Koblenz-Landau 02. Oktober 2008 (-- Druckversion --) Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 1
Agenda Motivation Objekterkennung Realisierung Bilddatenbank Bildaufnahmesystem Systembeschreibung Vorgehen Zusammenfassung Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 2
Objekterkennung Einleitung Für die ansichtenbasierte Objekterkennung braucht man Objekte Trainingsdaten Testbilder in möglichst hohem Umfang. Außerdem sind Kenntnisse über die Bildentstehung nötig, wie Lichtquellen Kamerakennlinien Objektoberflächen Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 3
Objekterkennung Objekterkennung Modellbasierte Objekterkennung [Win94] geometrische Formen deren Beziehungen zueinander Ansichtenbasierte Objekterkennung [Dei05, Grz07] Bildpunktbasiert statistische Eigenschaften Kanten, Farbe... Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 4
0.003 0.0025 0.002 0.0015 0.001 0.0005 0 Schätzung des Beleuchtungsspektrums Original Schätzung -0.0005 400 450 500 550 600 650 700 Wellenlänge [nm] 1 0.8 0.6 0.4 0.2 Schätzung der Reflektivität Original Schätzung 0 400 450 500 550 600 650 700 Wellenlänge [nm] ] 8000 7000 6000 5000 4000 3000 2000 1000 0 Linear transformierte Sensor-Empfindlichkeit -1000 400 450 500 550 600 650 700 Wellenlänge [nm] Objekterkennung Bildaufnahme Z «f (k) (x c ) = F k t b l(x w ) n(x w ) E(x w, λ) ρ(x w, λ) R k(λ,e(λ))dλ λ s Farbtextur-Analyse in medizinischen Anwendungen Reflektivitätsschätzung Ergebnisse Reflektivität S J18, grün ( E = 3.31) Durchschnittl. Rekonstruktionsfehler Reflektivität Bildpunkt Farbtextur-Analyse in medizinischen Anwendungen Beleuchtungsschätzung - Ergebnis Bestrahlungsstärke [W/(sr*m^2)] Ergebnis (NCC=0.99) Schätzung mittels - Minimalen Vorhersagefehlers - Glattheitsbedingung - Rangeinschränkung Sensorkalibrierung - Ergebnisse Farbtextur-Analyse in medizinischen Anwendungen Empfindlichkeit R0 R G B Bild Lichtquelle Objektoberfläche Optimales Ergebnis Linear transformiert R Sensitivität -1 RM Vereinfacht: f (k) (x c ) = R λ Ekonstant (x w, λ) ρ(x w, λ) R k(λ) dλ Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 5
Objekterkennung Aufgabenstellung Modellierung einer Bilddatenbank für farbbasierte Objekterkennung. Schaffen eine kontrollierten Umgebung zur Aufnahme von möglichst vielen Objektbildern. Automatisierung der Befüllung der Datenbank mit Objektbildern. Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 6
Bilddatenbank Exisitierende Bilddatenbanken Bilddatenbank Farbe div. Blickwinkel div. Beleuchtung div. Kamera Objektmaske COIL-20 Columbia Object Image Library COIL-20 SOIL-47 Surrey Object Image Library SOIL-47 COIL-100 Columbia Object Image Library COIL-100 ETH-80 Europäisches Cognitive Vision Systems Projekt ETH-80 ALOI Amsterdam Library of Object Images ALOI KOIDB Bilddatenbank Universität Koblenz-Landau KOIDB Kalibriermuster Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 7
Bilddatenbank Designentscheidungen Schwerpunkt Objekterkennung Berücksichtigung der Bildentstehung Detaillierte Objektbeschreibungen Organisation in Projekten Strukturieren von Experimenten Mehrfachnutzung Flexibel (EAV) Benutzerdefinierte Felder Angepasste Information Binärbilder in Datenbank Konsistente Datenhaltung Einheitliche Benutzerverwaltung Schnittstelle C++ Anbindung Kommandozeile GUI Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 8
Bilddatenbank Realisierte Bilddatenbank Kalibrierung Spektrum Partition Objekt Kamera Lichtquelle Projekt Szene Bildobjekt 1..n 1 Bild 1 1..n Binärdaten + 0..n 0..n Bildobjekt Meta-Information Bild Meta-Information Datentyp Aufbau der Bilddatenbank Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 9
Bildaufnahmesystem Komponenten des Bildaufnahmesystems Drehteller Beleuchtung Kamera Greifarm Datenbank Benutzerschnittstelle Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 10
Bildaufnahmesystem Drehteller Präzise Steuerung Beliebiger Drehwinkel Anzahl der Bilder Bereichsbegrenzung Bekannte Technik aber auch für große Objekte [1] Steuerung über serielle Schnittstelle des Schrittmotors [1] http://www.bwb.org/02db022000000001/currentbaselink/w273fc54109infode?open&lang=de Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 11
Bildaufnahmesystem Beleuchtung Bekannte Leuchtmittel Bekannte Geometrie Mischlicht möglich Kontollierte Umgebung Steuerung mit IO-Warrior und 4fach Relaiskarte Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 12
Bildaufnahmesystem Kamera Bekannte Kameras Unterstütze Schnittstellen: USB / Firewire Steuerung über Betriebssystem / Treiber Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 13
Bildaufnahmesystem Greifarm Zusätzliche Automatisierung Objektposition festgelegt Objektreihenfolge festgelegt Steuerung mit 8fach Relaiskarte Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 14
Bildaufnahmesystem Datenbank Einfache Bedienung Drag & Drop Bonding-Box Editor EAV-Editor Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 15
Bildaufnahmesystem Bildaufnahmesystem Einfache Bedienung Direkter Datenbankzugriff Konfiguration der Aufnahme Objektmaskenerstellung Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 16
Vorgehen Vorbereitung Auswählen von Kameras Lichtquellen Objekte Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 17
Vorgehen Konfiguration Drehbereich festlegen Hintergrungbild aufnehmen Objektbild aufnehmen Differenzbild/Maske prüfen ggf. Schwellwert anpassen Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 18
Vorgehen Durchlauf Schalten der ersten Lichtquelle Aufwärmphase Rotation des Drehtellers Automatische Maskenerstellung Wechsel der Lichtquelle Aufwärmphase und drehen auf Ausgang... Wechsel der Kamera... Wechsel des Objekts Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 19
Ausblick Systemerweiterungen und Ergänzungen Robotersteuerung Kameraanordnung Weitere Objekte Kennlinien ergänzen ColorChecker c lokalisieren Kalibiriermuster ausblenden [CPT04] Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 20
Mehrwert Vorteile Einfache Konfiguration Auswahl von Licht, Kameras und Objekten Automatisierte Objektaufnahme Reduzierter manueller Aufwand zur Gewinnung umfangreicher Bilddatensätze Zeitaufwand reduziert Konfigurationssequenzen laufen automatisch Geringe Fehleranfälligkeit Vermeiden von Tippfehlern oder Fehlselektion bei Datenbankeinträgen Datenbankschnittstelle Nutzen der verfügbaren Information in anderen Anwendungen Spezialisierung auf Farbobjekterkennung Zusatzinformationen wie Objektmasken, Boundingboxen und Kenntnis der Bildentstehung stehen zur Verfügung Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 21
Mehrwert...und da gibt s noch mehr von! Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 22
Literatur A. Criminisi, P. Perez, and K. Toyama. Region filling and object removal by exemplar-based image inpainting. IEEE Transactions on Image Processing, 13(9), 9 2004. Frank Deinzer. Optimale Ansichtenauswahl in der aktiven Objekterkennung. Logos Verlag, Berlin, 2005. Marcin Grzegorzek. Appearance-Based Statistical Object Recognition Including Color and Context Modeling. PhD thesis, Technische Fakultät der Universität Erlangen-Nürnberg, 2007. Andreas Winzen. Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 22
Automatische Erzeugung dreidimensionaler Modelle für Bildanalysesysteme. PhD thesis, Friedrich-Alexander-Universität Erlangen-Nürnberg, Univ. Erlangen-Nürnberg, Erlangen, 1994. Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 22