Objektsegmentierung von kompaktem Schüttgut für die technische Erkennung

Transkript

1 Objektsegmentierung von kompaktem Schüttgut für die technische Erkennung Dissertation zur Erlangung des akademischen Grades Doktoringenieur (Dr.-Ing.) vorgelegt der Fakultät für Maschinenbau der Technischen Universität Ilmenau von Herrn Dipl.-Ing. Steffen Lerm geboren am in Wittenberg/Deutschland Gutachter: Univ.-Prof. Dr.-Ing. habil. Gerhard Linß Univ.-Prof. Dr.-Ing. habil. Mathias Weiß Dr. rer. nat. Günther Notni Tag der Einreichung: Tag der wissenschaftlichen Aussprache:

2 Inhaltsverzeichnis Kurzfassung Abstract Inhaltsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis Danksagung I II III VIII XIII XIV 1 Einleitung und Motivation 1 A Stand der Technik von Segmentierungsverfahren von kompakten Schüttgut für die technische Erkennung 3 2 Untersuchungen zum aktuellen Entwicklungsstand von Verfahren zur Qualitätsüberwachung von Getreide mittels Bildverarbeitungssystemen Stand der Technik von Verfahren zur Qualitätsüberwachung von Getreide mittels Bildverarbeitungssystemen Patentrecherche zu Verfahren zur Qualitätsüberwachung von Getreide mittels Bildverarbeitungssystemen Marktrecherche zu Verfahren zur Qualitätsüberwachung von Getreide mittels Bildverarbeitungssystemen Prototypische automatisierte Verfahren zur Qualitätsüberwachung von Getreide mittels Bildverarbeitungssystemen Verfahren zur Qualitätsüberwachung von Getreide ohne Bildverarbeitungssysteme Schüttgut Definition von Schüttgut Einteilung von Schüttgut Natürliches Schüttgut Der Prozess der technischen Erkennung bei der Analyse von Bilddaten Allgemeiner Ablauf einer Bildanalyse mittels technischer Erkennung Beschreibung der Funktionsgruppen eines Bildaufnahmesystems Der Segmentierungsprozess für die technische Erkennung Merkmalsextraktion Klassifikation Objektsegmentierung 22 III

3 2.5.1 Ziele der Objektsegmentierung Darstellung der Einzelschritte einer Segmentierung Bildvorverarbeitung Postsegmentierung Einteilung von Segmentierungsverfahren in der Bildverarbeitung Pixelbasierte Segmentierungsverfahren Regionenorientierte Segmentierungsverfahren Kantenbasierte Segmentierungsverfahren Vlodellbasierte Segmentierungsverfahren Texturbasierte Segmentierungsverfahren Hybride Segmentierungsverfahren 33 3 Präzisierung der Aufgabenstellung 34 B Theoretische Untersuchungen zur Segmentierung von kompaktem Schüttgut für die technische Erkennung 37 4 Analyse der Anforderungen für die Aufnahme und Auswertung von Bilddaten von Getreidekörnern im kompakten Volumenstrom Gerätetechnische und algorithmische Anforderungen an einen Versuchsaufbau zur Erfassung und Erkennung von Schüttgut im kompaktem Volumenstrom Anforderungen an den Aufbau eines Bildaufnahmesystems zur Erfassung von Schüttgut im kompaktem Volumenstrom Gerätetechnische Anforderungen für das Aufnahmeprinzip kompakter Volumenstrom" Softwaretechnische Anforderungen für das Aufnahmeprinzip kompakter Volumenstrom" Zusammenfassung des Bildaufnahmeprinzips kompakter Volumenstrom" Untersuchungen zum Einfluss einzelner Hardwarekomponenten auf die Qualität der Bilddaten des Bildverarbeitungssystems zur Qualitätssicherung von Getreide Aufbau des Bildverarbeitungssystems Untersuchungen zum Einfluss der Kamera auf die Bilddaten und deren Eignung für die technische Erkennung Untersuchung zum Einfluss des Objektivs auf die Bilddaten und deren Eignung für die technische Erkennung Untersuchungen zum Einfluss der Beleuchtung auf die Bilddaten und deren Eignung für die technische Erkennung Zusammenfassung der Untersuchungen zum Einfluss der Hardwarekomponenten auf die Bilddaten 54 IV

4 4.3 Auswahl der Hardwarekomponenten eines geeigneten Bildaufnahmesystems Auswahl des Kamerasystems Auswahl der Beleuchtungskomponenten Dom-Beleuchtung Diffuse Flat-Dome-Beleuchtung Strahlteilerbeleuchtung Direktes Ringlicht Zusammenfassung zur Auswahl der Hardwarekomponenten Softwaretechnische Analyse von Bilddaten des Schüttgutes Getreide im kompakten Volumenstrom Farbmodel 1-basierte Analysen Filter-basierte Analysen Bilddatenanalyse mittels Standardsegmentierungsverfahren Wasserscheidentransformation Konturbasierte Segmentierung Zusammenfassung der Bilddatenanalyse 73 5 Theoretische Untersuchungen zur Segmentierung von Bildern von kompaktem Schüttgut innerhalb der Verarbeitungskette der technischen Erkennung Algorithmen zur Vorverarbeitung und Bildverbesserung fur Bilddaten von kompakten Schüttgut Ziele der Vorverarbeitung Ausgewählte Algorithmen zur Bildvorverarbeitung Algorithmen zur Bildvorverarbeitung mit Referenzaufnahme Vorverarbeitung mittels Maximalgrauwert Vorverarbeitung mittels mittlerem Grauwert Algorithmen zur Bildvorverarbeitung ohne Referenzaufnahme Zusammenfassung der Algorithmen zur Bildvorverarbeitung Untersuchte Verfahren zur Segmentierung von Schüttgutbilddaten Schwellwertbasierte Segmentierungsverfahren Modifiziertes dynamisches schwellwertbasiertes Segmentierungsverfahren unter Zuhilfenahme eines Füllfaktors Modifiziertes dynamisches schwellwertbasiertes Segmentierungsverfahren unter Zuhilfenahme eines Mittelwertfilters Analyse der erreichten Segmentierungsperformanz Erarbeitung eines Verfahrens zur automatisierten Bewertung von Segmentierungsergebnissen 92 V

5 Motivation und Anforderungen an ein Verfahren zur automatisierten Bewertung von Segmentierungsergebnissen Erstellung einer Methode zum Vergleich von Segmentierungsergebnissen mit einem manuell erstellten Goldstandard Identifizierung der Hauptfehlerquellen des Segmentierungsverfahrens Zusammenfassung über das softwaretechnische Verfahren zur automatisierten Bewertung von Segmentierungsergebnissen Theoretische Untersuchungen zur weiteren Optimierung des Segmentierungsverfahrens an die Charakteristik des Schüttgutes Getreide Optimierung des Segmentierungsverfahrens unter Zuhilfenahme eines Farbkantenfilters Modellbasierte Nachsegmentierung der segmentierten Regionen der Bilddaten Größenabhängige Verarbeitung segmentierter Regionen Vergrößerung der isolierten Regionen durch Dilatation Schließen innerer Löcher ptionale Verbesserungen segmentierter Regionen Verarbeitung von Objekten am Bildrand Konvexe Hülle Zusammenfassung 116 C Experimentelle Untersuchungen zur Segmentierung von kompakten Schüttgütern für die technische Erkennung Experimentelle Optimierung des Hardwareaufbaus zur Bildaufnahme von Schüttgut im kompakten Volumenstrom Hardwaretechnische Optimierung des Versuchsaufbaus zur Erfassung von Getreide im kompakten Volumenstrom Experimentelle Untersuchungen zur Verbesserung der Bildqualität durch Anpassung des Fenstermaterials im Versuchsaufbau Softwaretechnische Optimierung des Versuchsaufbaus zur Auswertung von Bildern von Getreide im kompakten Volumenstrom Vorstellung eines Fusionsalgorithmus zur Minimierung des Keimfurchenproblems Laufzeitoptimierung des gesamten Segmentierungsverfahrens Analyse der laufzeitkritischen Stellen des Gesamtsegmentierungsverfahrens Auslagerung der kritischen Teilschritte aus MATLAB in C++ implementierte Module Nutzung der GPU zur Berechnung parallelisierbarer Teile des Algorithmus VI

6 7 Praktische Erprobung des entwickelten Verfahrens zur Segmentierung von Bilddaten von Schüttgut für die technische Erkennung Integration des Segmentierungsverfahrens in ein Bildauswertesystem zur technischen Erkennung und Qualitätssicherung von Getreide Anforderungen an die Überführung der segmentierten Objekte an die nachfolgenden Module innerhalb der Verarbeitungskette der technischen Erkennung Der Ausschneidealgorithmus von Regionen aus dem Originalkamerabild für die anschließende Merkmalsextraktion Organisation von Farbbild-AOI in C und MATLAB Übergeben von dynamischen Einzelobjektfarbbilddaten im MATLAB - Format an HALCON Überblick über die entwickelten Softwaremodule Das Hauptprogramm QID-Modul MATLAB -Modul HALCON-Modul TeachGrain Parameteroptimierung des Segmentierungsverfahrens innerhalb der gesamten Verarbeitungskette der technischen Erkennung Beschreibung des Optimierungsproblems Auswahl von Standardtestbildern zur Ermittlung der Segmentierungsperformanz Optimierung der Parameter des Segmentierungsverfahrens mittels Standardtestbildern und eines automatisierten Analyse-Tools Zusammenfassung der erreichten Segmentierungsergebnisse Zusammenfassung 151 Literaturverzeichnis 155 Erklärung gemäß Promotionsordnung 162 VII