Automatisierte Objektaufnahme für Bilddatenbanken

Transkript

1 Automatisierte Objektaufnahme für Bilddatenbanken - Vortrag zum Farbworkshop Wolfram Hans, Dietrich Paulus {hans, paulus}@uni-koblenz.de Institut für Computervisualistik Universität Koblenz-Landau 02. Oktober 2008 (-- Druckversion --) Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 1

2 Agenda Motivation Objekterkennung Realisierung Bilddatenbank Bildaufnahmesystem Systembeschreibung Vorgehen Zusammenfassung Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 2

3 Objekterkennung Einleitung Für die ansichtenbasierte Objekterkennung braucht man Objekte Trainingsdaten Testbilder in möglichst hohem Umfang. Außerdem sind Kenntnisse über die Bildentstehung nötig, wie Lichtquellen Kamerakennlinien Objektoberflächen Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 3

4 Objekterkennung Objekterkennung Modellbasierte Objekterkennung [Win94] geometrische Formen deren Beziehungen zueinander Ansichtenbasierte Objekterkennung [Dei05, Grz07] Bildpunktbasiert statistische Eigenschaften Kanten, Farbe... Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 4

5 Schätzung des Beleuchtungsspektrums Original Schätzung Wellenlänge [nm] Schätzung der Reflektivität Original Schätzung Wellenlänge [nm] ] Linear transformierte Sensor-Empfindlichkeit Wellenlänge [nm] Objekterkennung Bildaufnahme Z «f (k) (x c ) = F k t b l(x w ) n(x w ) E(x w, λ) ρ(x w, λ) R k(λ,e(λ))dλ λ s Farbtextur-Analyse in medizinischen Anwendungen Reflektivitätsschätzung Ergebnisse Reflektivität S J18, grün ( E = 3.31) Durchschnittl. Rekonstruktionsfehler Reflektivität Bildpunkt Farbtextur-Analyse in medizinischen Anwendungen Beleuchtungsschätzung - Ergebnis Bestrahlungsstärke [W/(sr*m^2)] Ergebnis (NCC=0.99) Schätzung mittels - Minimalen Vorhersagefehlers - Glattheitsbedingung - Rangeinschränkung Sensorkalibrierung - Ergebnisse Farbtextur-Analyse in medizinischen Anwendungen Empfindlichkeit R0 R G B Bild Lichtquelle Objektoberfläche Optimales Ergebnis Linear transformiert R Sensitivität -1 RM Vereinfacht: f (k) (x c ) = R λ Ekonstant (x w, λ) ρ(x w, λ) R k(λ) dλ Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 5

6 Objekterkennung Aufgabenstellung Modellierung einer Bilddatenbank für farbbasierte Objekterkennung. Schaffen eine kontrollierten Umgebung zur Aufnahme von möglichst vielen Objektbildern. Automatisierung der Befüllung der Datenbank mit Objektbildern. Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 6

7 Bilddatenbank Exisitierende Bilddatenbanken Bilddatenbank Farbe div. Blickwinkel div. Beleuchtung div. Kamera Objektmaske COIL-20 Columbia Object Image Library COIL-20 SOIL-47 Surrey Object Image Library SOIL-47 COIL-100 Columbia Object Image Library COIL-100 ETH-80 Europäisches Cognitive Vision Systems Projekt ETH-80 ALOI Amsterdam Library of Object Images ALOI KOIDB Bilddatenbank Universität Koblenz-Landau KOIDB Kalibriermuster Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 7

8 Bilddatenbank Designentscheidungen Schwerpunkt Objekterkennung Berücksichtigung der Bildentstehung Detaillierte Objektbeschreibungen Organisation in Projekten Strukturieren von Experimenten Mehrfachnutzung Flexibel (EAV) Benutzerdefinierte Felder Angepasste Information Binärbilder in Datenbank Konsistente Datenhaltung Einheitliche Benutzerverwaltung Schnittstelle C++ Anbindung Kommandozeile GUI Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 8

9 Bilddatenbank Realisierte Bilddatenbank Kalibrierung Spektrum Partition Objekt Kamera Lichtquelle Projekt Szene Bildobjekt 1..n 1 Bild 1 1..n Binärdaten + 0..n 0..n Bildobjekt Meta-Information Bild Meta-Information Datentyp Aufbau der Bilddatenbank Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 9

10 Bildaufnahmesystem Komponenten des Bildaufnahmesystems Drehteller Beleuchtung Kamera Greifarm Datenbank Benutzerschnittstelle Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 10

11 Bildaufnahmesystem Drehteller Präzise Steuerung Beliebiger Drehwinkel Anzahl der Bilder Bereichsbegrenzung Bekannte Technik aber auch für große Objekte [1] Steuerung über serielle Schnittstelle des Schrittmotors [1] Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 11

12 Bildaufnahmesystem Beleuchtung Bekannte Leuchtmittel Bekannte Geometrie Mischlicht möglich Kontollierte Umgebung Steuerung mit IO-Warrior und 4fach Relaiskarte Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 12

13 Bildaufnahmesystem Kamera Bekannte Kameras Unterstütze Schnittstellen: USB / Firewire Steuerung über Betriebssystem / Treiber Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 13

14 Bildaufnahmesystem Greifarm Zusätzliche Automatisierung Objektposition festgelegt Objektreihenfolge festgelegt Steuerung mit 8fach Relaiskarte Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 14

15 Bildaufnahmesystem Datenbank Einfache Bedienung Drag & Drop Bonding-Box Editor EAV-Editor Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 15

16 Bildaufnahmesystem Bildaufnahmesystem Einfache Bedienung Direkter Datenbankzugriff Konfiguration der Aufnahme Objektmaskenerstellung Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 16

17 Vorgehen Vorbereitung Auswählen von Kameras Lichtquellen Objekte Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 17

18 Vorgehen Konfiguration Drehbereich festlegen Hintergrungbild aufnehmen Objektbild aufnehmen Differenzbild/Maske prüfen ggf. Schwellwert anpassen Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 18

19 Vorgehen Durchlauf Schalten der ersten Lichtquelle Aufwärmphase Rotation des Drehtellers Automatische Maskenerstellung Wechsel der Lichtquelle Aufwärmphase und drehen auf Ausgang... Wechsel der Kamera... Wechsel des Objekts Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 19

20 Ausblick Systemerweiterungen und Ergänzungen Robotersteuerung Kameraanordnung Weitere Objekte Kennlinien ergänzen ColorChecker c lokalisieren Kalibiriermuster ausblenden [CPT04] Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 20

21 Mehrwert Vorteile Einfache Konfiguration Auswahl von Licht, Kameras und Objekten Automatisierte Objektaufnahme Reduzierter manueller Aufwand zur Gewinnung umfangreicher Bilddatensätze Zeitaufwand reduziert Konfigurationssequenzen laufen automatisch Geringe Fehleranfälligkeit Vermeiden von Tippfehlern oder Fehlselektion bei Datenbankeinträgen Datenbankschnittstelle Nutzen der verfügbaren Information in anderen Anwendungen Spezialisierung auf Farbobjekterkennung Zusatzinformationen wie Objektmasken, Boundingboxen und Kenntnis der Bildentstehung stehen zur Verfügung Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 21

22 Mehrwert...und da gibt s noch mehr von! Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 22

23 Literatur A. Criminisi, P. Perez, and K. Toyama. Region filling and object removal by exemplar-based image inpainting. IEEE Transactions on Image Processing, 13(9), Frank Deinzer. Optimale Ansichtenauswahl in der aktiven Objekterkennung. Logos Verlag, Berlin, Marcin Grzegorzek. Appearance-Based Statistical Object Recognition Including Color and Context Modeling. PhD thesis, Technische Fakultät der Universität Erlangen-Nürnberg, Andreas Winzen. Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 22

24 Automatische Erzeugung dreidimensionaler Modelle für Bildanalysesysteme. PhD thesis, Friedrich-Alexander-Universität Erlangen-Nürnberg, Univ. Erlangen-Nürnberg, Erlangen, Automatisierte Objektaufnahme für Bilddatenbanken W. Hans, D. Paulus Folie 22