2.7 Bildauswertung. Dieses Skript ist eine Ergänzung zu der Vorlesung Technische Bildverarbeitung. Es ist kein Lehrbuch.

Transkript

1 2.7 Bildauswertung Dieses Skript ist eine Ergänzung zu der Vorlesung Technische Bildverarbeitung. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 05 Tel.: dirk.mohr@hs-bochum.de Bochum, den Kapitel 2.7 Seite 123

2 2.7.1 Funktionen zur Bildauswertung Kapitel 2.7 Seite 124

3 Histogramm Bevor die Bildauswertung beginnt, ist es wichtig, die Bilderfassung zu optimieren. Wichtig ist ein guter Kontrast, also die Ausnutzung des gesamten Messbereichs (Helligkeitsstufen) und die Trennung von Bildhintergrund und auszuwertendem Merkmal. Um den Kontrast numerisch zu beschreiben, wird oftmals ein Histogramm berechnet und dargestellt. Beim Histogramm wird die Häufigkeit der einzelnen Graustufen dargestellt. Bild zu dunkel schlechter Kontrast sehr guter Kontrast Bild zu hell schlechter Kontrast Kapitel 2.7 Seite 125

4 Grauwertbereich spreizen Besonders bei der Visualisierung kann es sinnvoll sein, den Wertebereich des Bildes (Grauwerte) an die Möglichkeiten des darstellenden Gerätes anzupassen. Bei dem folgenden Beispiel aus der Medizin wird das Originalbild mit fast ausschließlich Informationen im GW- Bereich auf den Darstellungsbereich umgerechnet (gespreizt). Im gespreizten Bild lassen sich deutlich mehr Details erkennen. Solche Operationen lassen sich idealer weise hardwaretechnisch über eine LUT (Look-Up-Table) lösen. Kapitel 2.7 Seite 126

5 Binarisierung Bei der Binarisierung wird eine neue Zuordnung der Grauwerte vorgenommen. Grauwerte unter einem Schwellwert (Threshold) werden auf 0 (255) über dem Schwellwert auf 255 (0) gesetzt. Die Wahl des Schwellwert ist wesentlich für das erzielte Binärbild. So erhält man ein Bild mit zwei Grauwerten. Die Definition von z.b. Kanten für Messaufgaben ist dann einfach. Bei manchen Anwendungen ist es auch sinnvoll zwei Schwellwerte festzulegen. Mit steigendem Schwellwert (40 -> 80 -> 200) werden dunklere Objekte dem Grauwert 0 zugeordnet und werden unsichtbar. Kapitel 2.7 Seite 127

6 Zuordnung der Grauwerte bei der Binarisierung Eventuell auch in Hardware (LUT) realisierbar Kapitel 2.7 Seite 128

7 Filteroperationen Durch Filteroperation in der Bildvorverarbeitung ist es möglich, die Bildqualität zu verbessern. So ist es z.b. möglich, Rauschanteile zu minimieren oder Kanten hervorzuheben. Eine vollständige Aufzählung von möglichen Filteroperationen ist hier nicht möglich. An Beispielen soll ein Einblick gegeben werden. Verbesserung verrauschter (salt and pepper noise) Bilder durch Median- bzw. Mittelwertfilter Bilder erstellt mit der AdOculos Student Version Fa. The Imaging Source Originalbild + Rauschen Nach Medianfilter Nach Mittelwertfilter Mittelwertfilter (box filter) : Jedes Pixel wird durch den Mittelwert seiner Nachbarpixel ersetzt. Die Größe der Nachbarschaft ist einstellbar (3*3,9*9...) Medianfilter : Rangordnungsfilter bei dem jedes Pixel durch den Median (geometrische Mittelwert einer geordneten Liste) seiner Nachbarpixel ersetzt wird (s. nächste Seite). Kapitel 2.7 Seite 129

8 Durch die Filteroperation wir der Originalbildinhalt verändert (transformiert). In Abhängigkeit von der Applikation und der zur Verfügung stehenden Rechenzeit lassen sich Filter unterschiedlicher Güte realisieren. Kapitel 2.7 Seite 130

9 Kantenverstärkung durch Laplace - Transformation Bilder erstellt mit der AdOculos Student Version Fa. The Imaging Source Durch sog. Kantenverstärker wie z.b. den Laplace Operator lassen sich Grauwertübergänge detektieren, markieren und somit hervorheben. Der Bildinhalt wird auf die Grauwertübergänge (Gradienten) verdichtet also komprimiert. Die Definition von Messaufgaben oder Aufgaben zur Objektfindung werden vereinfacht. Kapitel 2.7 Seite 131

10 Morphologische Operationen Die Morphologie ist die Lehre der Formen (nicht zu verwechseln mit morphen). Die Morphologische Bildverarbeitung wendet Methoden der Nachbarschaftsfindung an um Bilder zu manipulieren. Quelle : Prof. Dr.-Ing. Heinz-Georg Fehn, Fachhochschule Münster Kapitel 2.7 Seite 132

11 Linienprofile Linienprofile zeigen die Grauwerte entlang einer Linie (Gerade, Kreis, Kreisbogen...). Die Grauwerte können auf ihre Intensität (Max-, Min- und Mittelwert) untersucht werden. Es können aber auch Merkmale z.b. Kanten gesucht werden um so Objekte zu finden und z.b. ihre Anzahl zu bestimmen. Hier im Beispiel werden die 2,5 mm Einteilungsstriche als Objekte detektiert. Kapitel 2.7 Seite 133

12 Blob Analyse Die Blobanalyse analysiert Bildbereiche, in denen benachbarte Pixel gleiche oder ähnliche Grauwerte aufweisen. So lassen sich Objekte finden, zählen und Objektmerkmale wie z.b. Fläche und Durchmesser der Objekte, Positionsangabe des Objektes, Schwerpunkt der Objekte, Umschreibendes Rechteck, Erstes und zweites Moment des Objekts und die Koordinaten der konvexen Hülle bestimmen. Durch Festlegung und Tolerierung der Parameter für z.b. Ähnlichkeit und Nachbarschaft der Grauwerte kann ein Kompromiss aus Robustheit und Genauigkeit der Algorithmen gefunden werden. Der Begriff wurde in Anlehnung an den Begriff Binary Large Object aus der Datenbanktechnik gewählt. Im ersten Beispiel werden vier Blobs gefunden aber nur einer entspricht den Vorgaben (weiss markiert). Bei diesem Blob wird auch die Orientierung festgestellt und angezeigt. Im zweiten Beispiel wird eine Vollständigkeitskontrolle von Tabletten vorgenommen. Da eine Tablette nicht die vorgeschriebene Grösse / Form hat werden nur drei Blobs gefunden und somit die fehlerhafte Palette detektiert. Quelle: DVT Corporation, SmartImage Sensor Installation & User Guide Kapitel 2.7 Seite 134

13 Vermessung Bei der Vermessung von z.b. Abständen, Radien, Winkeln ist es entscheidend, dass die Parameter für die Messung optimal bestimmt werden. Da Messoperation oftmals an Kanten (Grauwertübergänge über einen Schwellwert) definiert werden, ist die Wahl des Schwellwerts mitbestimmend für die Genauigkeit der Messung. Für eine hohe Genauigkeit werden oftmals Subpixelverfahren (s.kap ), Pixelclock und Telezentrische Objektive (s.kap ) verwendet. Vermessung des Elektrodenabstands bei einer Zündkerze Quelle : National Instruments Image Analysis and Processing Tutorial Abhängigkeit des Messergebnis vom Schwellwert trotz Subpixelauflösung Kapitel 2.7 Seite 135

14 Lagebestimmung Oftmals ist es im Produktionsprozess nicht möglich, dem optischen Kontrollsystem die zu kontrollierenden Teile in der gleichen Lage zuzuführen. Dann muss vor der eigentlichen Kontrolle die Position des Teils festgestellt werden. Die einzelnen Kontrollaufgaben werden dann relativ zu der gefundenen Lage ausgeführt. Bestimmung der Lage durch Antasten und Finden von Kanten Quelle : National Instruments Image Analysis and Processing Tutorial Kapitel 2.7 Seite 136

15 Mustervergleich, Mustererkennung (Pattern Matching, Pattern Recognition)) Beim Mustervergleich werden Objekte mit definierten oder erlernten Mustern (Referenz) mit neuen Objekten verglichen (korreliert) und der Grad der Übereinstimmung festgestellt. Der Vergleich muss robust gegenüber verschiedenen Einflüssen wie z.b. Lagetoleranzen, Helligkeitsschwankungen... sein. Bei einem Übereinstimmungsgrad von 100 % sind die Muster identisch, bei 0 % besteht keinerlei Ähnlichkeit. In der Praxis wird meist bei % eine Gleichheit angenommen. Wenn die Anforderungen höher sind (z.b. Unterscheidung sehr ähnlicher Muster) muss diese Prozentzahl höher gesetzt werden. Anwendung findet die Mustererkennung z.b. bei der Zeichenerkennung (OCR Optical character recognition) oder bei der Suche nach Strukturfehlern bei z.b. Stoffen, Papieren, Fußbodenbelägen) Auch das menschliche Bildverarbeitungssystem führt Mustervergleiche durch: Afugrnud enier Sduite an enier Elingshcen Unvirestiät ist es eagl, in wlehcer Rienhnelfoge die Bcuhtsbaen in eniem Wrot sethen, das enizg wcihitge dbaei ist, dsas der estre und lzete Bcuhtsbae am rcihgiten Paltz snid. Der Rset knan ttolaer Bölsdinn sien, und du knasnt es torztedm onhe Porbelme lseen.das ghet dseahlb, wiel wir nchit Bcuhtsbae für Bcuhtsbae enizlen lseen, snodren Wröetr als Gnaezs. Kapitel 2.7 Seite 137

16 Farbbildverarbeitung Die Farbbildverarbeitung verwendet ähnliche (teilweise gleiche) Algorithmen wie die Grauwert- und Binärbildverarbeitung. Durch die Berücksichtigung der Farbanteile nimmt die Datenmenge und damit auch die benötigte Rechenleistung zu. Durch die Farbbildverarbeitung lassen sich jetzt auch Operationen an Objekten durchführen, die im Grauwertbild den gleichen Grauwert zeigen. Detektion von Farbstreifen auf der Lauffläche von Autoreifen Prüfmerkmale: Anzahl der Farbstreifen Farben der Streifen Abstand der Streifen zueinander Positionierung des Streifenbildes auf der Lauffläche Kapitel 2.7 Seite 138 Quelle : Fachhochschule Bochum, FB M, Labor für Informatik (LFI)

17 Prüfung des Anschlusssteckers von Airbags Prüfmerkmale: Korrekte Farbe der einzelnen Litzekombinationen im Gehäuse für bis zu 32 Farbzusammenstellungen Korrekte Steckergehäuse-Kombination gegenüber des gewählten Programmrezeptes Abisolierungslänge der einzelnen Litze Crimplänge der einzelnen Kontakte Präsenzkontrolle der Ferritkerne mit Dimensionsprüfung Stecker-Gehäuse Dimensionsprüfung als globale Plausibilitätsprüfung Prüfung der Anschlusskabel an Kleinmotoren Prüfmerkmale: Präsenzkontrolle der (manuell montierten) Anschlussdrähte Korrekte Farbe der Anschlussdrähte Kontrolle erfordert Robustheit gegenüber Positioniertoleranz und Farbabweichungen Besondere Schwierigkeit : schwarzes Kabel vor dunklem Hintergrund Beispiele für den Einsatz von Farbbildverarbeitung Quelle : Matsushita Electric Works Deutschland GmbH Applikationsbeispiele für die Farbbildverarbeitungssysteme AX30 und AX40 Kapitel 2.7 Seite 139

18 2.7.2 Erstellung von Software zur Technischen Bildverarbeitung Bei der Technischen Bildverarbeitung müssen folgende Aufgabenstellungen softwaregesteuert gelöst werden Parametrierung der Bilderfassung Die softwaregesteuerte Parametrierung (Belichtungszeit, Verstärkung...) erfolgt meist über eine Schnittstelle, die der jeweilige Hersteller offen legt oder für die er Treiber mitliefert. Bildeinzug Verfügt die Kamera über keine standardisierte Schnittstelle (z.b. DCAM, GigE...) wird die Bildübertragung vom Sensor zur Recheneinheit meist mit Treibern realisiert, die der Hersteller der Kameras mitliefert. Bei der Programmierung wird dieser Treiber als Schnittstelle genutzt. Es können teilweise auch Schnittstellen des Betriebssystems (Direct X, Direct Show) verwendet werden. Bildvorverarbeitung Zur Verbesserung der Bildqualität können Operationen wie z.b. die Filterung der Bilddaten (s Filteroperationen) ausgeführt werden. Diese Operationen können selbst programmiert werden (z.b: in C++) oder man greift auf sog. Bibliotheken zurück. Bildverarbeitung Zur Verarbeitung der Bilddaten können Algorithmen programmiert werden oder es werden bei (Standard-) Aufgabenstellungen Bibliotheken genutzt. Prozesskommunikation Für einen prozessgerechten Einsatz der Technischen Bildverarbeitung muss das optische System mit dem Prozess kommunizieren. Die Auslösung einer Aufnahme (Triggerung) und die Reaktion auf die Bildauswertung (Aussortieren, Markieren...) kann nur in Abstimmung mit dem Prozess erfolgen. Die Kommunikation kann über diverse Schnittstellen erfolgen (z.b. Schaltsignale, Feldbusschnittstelle). Dazu müssen in der Bildverarbeitungssoftware meist weitere Treiber integriert werden. Mensch-Maschine-Kommunikation (HMI Human Machine Interface) In einem Pflichtenheft für ein Technisches Bildverarbeitungssystem steht oftmals die Anforderung an eine prozessgerechte Mensch-Maschine- Schnittstelle. Die Ausprägung dieser Schnittstelle ist prozessabhängig und kann von Einstellmöglichkeiten des Systems, Wechsel von Kontrollprogrammen bis zur optischen Darstellung von Statistiken reichen. Die Programmierung wir i.d.r. applikationsspezifisch erfolgen. Die hier dargestellte Aufgabenteilung entfällt oftmals bei der Verwendung von Komplettsystemen eines Herstellers. Diese Systeme lassen sich oftmals nur über eine herstellerspezifische Software konfigurieren. Kapitel 2.7 Seite 140

19 Die Erstellung von Software für die Technischen Bildverarbeitung ist in höheren Programmiersprachen möglich. Meist wird in diesem Bereich die Programmiersprache C++ verwendet. Die Funktionen können komplett programmiert werden oder es können Funktionen aus zugekauften Bibliotheken eingebunden werden (die natürlich auch einmal programmiert wurden). Genauso ist es möglich komplette Anwendungen (runtimes) aus Bibliotheken aufzubauen. Im folgenden werden die Vor- und Nachteile dieser Verfahren gegenüber gestellt. Verwendung von in Hochsprache programmierter Funktionen + Individuell und applikationsspezifisch + Umfang entspr. spezieller Anforderung + Voller Zugriff auf alle Funktionen (editieren, anpassen, korrigieren) -Programmierung zeitaufwändig und kostenintensiv -Fehlerfreiheit der Routinen evtl. erst nach mehreren Iterationen bei der Entwicklung Verwendung von Bibliotheksfunktionen + Routinen können abgerufen werden + Kaum Fehler da bewährte Funktionen + Dokumentation wir mitgeliefert -Kosten für Entwicklung (Development) und Laufzeit (Runtime) -Installation bzw. Integration der kompletten Bibliothek obwohl nur Teile gebraucht werden - Abhängigkeit vom Hersteller (Entwickler) der Bibliothek Diese Gegenüberstellung ist sehr verallgemeinert. Die Gewichtung der einzelnen Punkte ist von verschiedenen Einflussgrößen und Vorgaben wie z.b. Anforderung an die Applikation, Zeitraum für die Entwicklung, Qualität der Programmierer, verwendete Bibliothek abhängig. Es ist eine große Anzahl von Bibliotheken erhältlich. Diese unterscheiden sich hinsichtlich des Funktionsumfangs, der Integration und des Preises. Kapitel 2.7 Seite 141

20 Die Kosten für die Erstellung einer Bildverarbeitungsapplikation setzen sich aus mehreren Punkten zusammen. Oftmals unterschätzt werden die sog. Nebenkosten (Handhabung, Schulung, Integration...) Kapitel 2.7 Seite 142

21 Weitere Informationen finden Sie hier : - /* kostenlose Software */ - /* Hard- und Software, Ressource Kit!! */ /* Software der Fa. Matrox Imaging */ - /*Software der Fa. MVTec Software GmbH */ - /* Software CVB Common Vision Blox */ Kapitel 2.7 Seite 143