16. SpectroNet Collaboration Forum. Christian Negara Fraunhofer IOSB Abteilung Sichtprüfsysteme (SPR)

Transkript

1 16. SpectroNet Collaboration Forum Innovative framework for the storage of multispectral data Christian Negara Fraunhofer IOSB Abteilung Sichtprüfsysteme (SPR) On-line visualization and analysis of multispectral data in industry Stephan Irgenfried, Karlsruher Institut für Technologie Institut für Prozessrechentechnik, Automation und Robotik (IPR) Fraunhofer IOSB 1

2 Warum hyperspektrale Bildverarbeitung? Talk Dolomit Talk (1253 nm) 1310 nm 2010 nm Wellenlängenabhängige Intensität der Reflexion weil Materialien Eigenschaften im Bereich des nicht-sichtbaren Lichts besitzen können, die ihre Erkennung und Sortierung wesentlich vereinfachen! Fraunhofer IOSB 2

3 Einleitung Steigende Qualitätsanforderungen beim Recycling, bei der Rohstoffgewinnung und bei der Lebensmittelverarbeitung Hyperspektrale Spektroskopie wird seit langem in der Ernährungsindustrie und bei der Prozessanalytik eingesetzt Bei Klassifikationsproblemen mit zwei oder drei Klassen genügen oft wenige Spektralbänder Kamera 1 RGB Datenstrom Kamera 2 (NIR,...) Cam Mux Datenstrom PC Auflicht Förderband Ventile Fraunhofer IOSB 3

4 Unser Ansatz Bestehende Insellösungen für Teilaufgaben zur Datenakquise, Analyse und Datamining habe zahlreiche Nachteile: Inkompatible Datenformate Schlechte Durchsuchbarkeit Messergebnisse oft nicht vergleichbar Große Datenbanken für industrielle Werkstoffe sind noch rar Ziele: Durchgängiger Workflow von der Messung über die Speicherung bis zur Analyse und Applikation Automatisierung von Teilschritten Bereitstellen einer öffentlichen Datenbank für Materialsignaturen Fraunhofer IOSB 4

5 Datenakquisition Komponenten der hyperspektralen NIR-Werkbank Lineartisch (1) Hyperspektrale NIR-Kamera (2) RGB-Kamera (3) Rechner mit Aufnahmesoftware (4) Fraunhofer IOSB 5

6 Datenvorverarbeitung Die Datenvorverarbeitung umfasst folgende Arbeitsschritte: Aufnahme des Prüfobjektes und einer Referenzmessung (für den Weißabgleich) Annotation mit Metadaten Transfer der Roh- bzw. Metadaten in die Datenbank Berechnung des Weißabgleichs Registrierung von heterogenen Sensordaten Segmentierung von registrierten Datenblöcken Fraunhofer IOSB 6

7 Weißabgleich (1) Zum Vergleich von Hyperspektralbildern ist ein Weißabgleich notwendig Dunkelstrom ist von Integrationszeit abhängig Vier Aufnahmen pro Messung: I R (Originalbild), I R (weißabgeglichen), I W (Bild des Weißabgleichstabs), I BR / I BW (Dunkelstrombilder), t W / t R (Integrationszeiten) I R (x, y, w) = I R x, y, w I W x, w I BR (x, w) I BW (x, w) t W t R 1 S(x, w) Fraunhofer IOSB 7

8 Weißabgleich (2) Der Weißabgleich wird mit zwei Referenzmessungen berechnet Fest montierter Weißabgleichsstab Aufnahme bei jeder Messung Unterschiedliche Integrationszeiten Kalibrierter Weißabgleichsstab sterile Handhabung wird selten durchgeführt Erfassung der defekten Sensorflächen / -pixel Fraunhofer IOSB 8

9 Registrierung (1) Aufnahmen mehrerer Kameras müssen zueinander registriert werden Semiautomatisches Registrierungsverfahren Benutzer wählt manuell mehrere korrespondierende Datenpunkte aus Mögliche Abbildungsmatrizen enthalten Scherung und Skalierung Zeilensensoren Fraunhofer IOSB 9

10 Registrierung (2) Automatische Feinjustierung der Kontrollpunkte, durch Maximierung der Kreuzkorrelation über die Kantenbilder NIR VIS A = c x a t x 0 c y t y manuell (grob) Kreuzkorrelation c x a t x A = 0 c y t y automatisch (exakt) Fraunhofer IOSB 10

11 Segmentierung (1) Semiautomatisches, multimodales Segmentierungsverfahren Alle Bilder werden zu einem Datenblock zusammengefasst Ein Energieminimierungsverfahren berechnet eine Vordergrund- / Hintergrundsegmentierung Energiepotential E x, y = E s x + αe d x, y soll minimiert werden Hintergrund- und Vordergrundpixel werden manuell markiert x = min x E(x, y) Fraunhofer IOSB 11

12 Segmentierung (2) Der Datenterm beschreibt, wie gut das Spektrum eines Pixels zu den markierten Vordergrund- bzw. Hintergrundpixel passt. E x = k, y = log p(x i = k i ) k i i Pixel Vordergrund, Hintergrund Der Glättungsterm definiert Stellen mit Diskontinuitäten (Wechsel zwischen Vorderund Hintergrund) E s x = k = (i,j) N c I i 0 I(j), k i = k j, sonst Markierte Hintergrundpixel Testpixel Markierte Vordergrundpixel Fraunhofer IOSB 12

13 Multispektrale Datenbank Datenbank für Materialsignaturen Speichern der wellenlängenabhängigen Reflexionseigenschaften Langzeitspeicherung von Roh-Messdaten Zusatzinformation zu Messvorgang, Weißabgleich, Umgebungsbedingungen Segmentierungsinformationen für Materialproben Verwaltung für Messplätze, Personal, Sensorik u.a. Import / Export-Schnittstellen Browser-basiert Service-Schnittstelle für Anwendungen, z.b. Matlab Fraunhofer IOSB 13

14 Datenbank-Features Web basierter Daten-Upload Performante Speicherung Relationale Datenbank Externe Binärdateien Abfrage-Interface Anbindung von Applikationen Direkter Zugriff auf einzelne Messwerte in den Binärdateien Fraunhofer IOSB 14

15 Web-basierte Visualisierung und Analyse Materialsuche / -auswahl Benutzer- / Rechteverwaltung Interaktive Visualisierung Fraunhofer IOSB 15

16 Suche & Anzeige von Rohdaten Materialsuche / -auswahl Wellenlängen Originalaufnahme Segmentierte Objekte Auswahl der Messungen / Dateien Schnellauswahl der Wellenlänge Fraunhofer IOSB 16

17 Segmentierungsinformationen RGB-Falschfarben Materialsuche / -auswahl Falschfarbenbild Segmentierte Objekte Auswahl der Messungen / Dateien Zuweisung Wellenlänge -> RGB Fraunhofer IOSB 17

18 Visueller Vergleich von Materialien und Messreihen Material 1 Material 2 Fraunhofer IOSB 18

19 Vergleich der Reflexions-Intensität von Materialproben über der Wellenlänge Material 1 (Glas) Material 2 (Kunststoff) Fraunhofer IOSB 19

20 Histogramme der Reflexions-Intensität für auswählbare Wellenlängen Material 1 (Glas) Material 2 (Steinpilze) Fraunhofer IOSB 20

21 Von der Messung zur Applikation Messen Speichern Analysieren Spektralbereiche für Klassifikationen identifizieren Optische Filter entwerfen Sortieranlage bauen Datenaquise Aufbereitung Speicherung Analyse Applikation Fraunhofer IOSB 21

22 Vorteile unseres Workflows Standardisierter Messprozess garantiert gleichbleibende Datenqualität Vergleichbare Messergebnisse werden erzielt Langzeit-Speicherung von Roh-Messdaten und Aufbau einer breiten Datenbasis Datenfusion von Messungen aus unterschiedlichen Quellen Import / Export-Funktion für Messdaten im Rahmen von Kooperationen oder Aufträgen vorhanden Daten-Upload und -Analyse sind unabhängig von proprietärer Software möglich Daten stehen unmittelbar nach dem Messvorgang für Analyse und Vergleich zur Verfügung Realisierbarkeit einer Anlage für ein gegebenes Sortierproblem kann schnell abgeschätzt werden Relevante Spektralbereiche können zuverlässig identifiziert werden Fraunhofer IOSB 22

23 Anwendungsbeispiele Qualitätsprüfung in der Kunststoff-Produktion Trennung von Glassorten im Recycling-Prozess Schüttgutsortierung für Mineralien Fremdkörper-Erkennung in der Lebensmittel-Produktion Fraunhofer IOSB 23

24 Zusammenfassung Durchgehender Workflow für die Erfassung, Aufbereitung, Speicherung und Analyse hyperspektraler Materialeigenschaften Optimierung der Arbeitsabläufe durch (semi-) automatische Datenaufbereitung Langzeit-Speicherung und Durchsuchbarkeit des Datenbestandes Webbasierte Datenpflege und Analyse Offen für Kooperationen Beschleunigung der Anwendungsentwicklung von den Vorversuchen über die Machbarkeitsanalyse bis hin zur Realisierung Fraunhofer IOSB 24

25 Vielen Dank für Ihre Aufmerksamkeit! Mehr Infos: Fraunhofer IOSB 25