Software in der Industriellen Bildverarbeitung

Transkript

1 Software in der Industriellen Bildverarbeitung Technologieentwicklung am Beispiel Pattern Matching Dr. Olaf Munkelt MVTec Software GmbH

2 MVTec Software GmbH Firma konzentriert sich auf Building Vision for Business Entwicklung von Standard Softwareprodukten für die industrielle Bildverarbeitung Kundenspezifische Lösungen Produkte HALCON Umfassende Software für die industrielle Bildverarbeitung ActivVisionTools Der schnelle Weg zur Bildverarbeitungslösung Firmensitz München, Germany

3 Der Bildverarbeitungsprozess (1996) Illumination Optics Camera Image Acquisition Device Software Frame Grabber Image in memory Result Hole Radius mm mm mm Object Analog video signal Application CCD sensor Digital video signal

4 Der Komponentenmarkt 1996 Beleuchtung Neonlichtkörper Optik Optische Auflösung Kamera CCD Interlaced Frei laufend VGA 640 x 480 Framegrabber PCI Bus Durchsatz im Dauerbetrieb: 50MB/sec Software Erste Standard-Software Pakete verfügbar

5 Software Entwicklung (1996) Augenmerk lag auf der richtigen Auswahl der Komponenten Optimierung des Bildverarbeitungsprozess stand im Vordergrund Der getriggerte Bildeinzug war eine Herausforderung Anforderungen an die Software waren einfacher Natur: Programmierung einer 1D Kantenantastung Beleuchtungskorrektur mittels einer globalen Schwelle Blob Analyse mittels Label-Bildern Aufwand und Nutzen der Softwareentwicklung für eine Machine Vision Anwendung waren skalier- und berechenbar

6 Anwendung Kontrolle von Spritzgussteilen (1996) Standard-Software umfasste Verfahren wie 3D Kamerakalibrierung Subpixelgenaue Kantenextraktion Binärbildverarbeitung und Regionenbildverarbeitung (blob analysis) Schnelle Morphologie

7 Anwendung Flascheninspektion (1998) Wo befindet sich das zu messende Objekt im Bild? Festlegen von Messlinien Ausrichten der Messlinien an der Position von Bildkanten

8 Anwendung Positionserkennung (1999) Finden eines vorgegebenen Musters im Bild: Pattern Matching Verfahren der Wahl: Grauwertkorrelation

9 Beispiel Grauwertkorrelation (1999) Eingabebild und Muster Winkel 145º Winkel 288º Winkel 33º

10 Grauwertbasiertes Pattern Matching Grenzen des Verfahrens: Verdeckungen des Musters im Bild Unscharfes Bild Nicht-linearen Beleuchtungsänderungen, d.h. große Variationen der Grauwerte des Musters im Bild oder große Variation der Grauwerte in der Nähe des Musters Problemstellung: Wie lassen sich die Grenzen des grauwertbasierten Pattern Matching überwinden?

11 Pattern Matching (2000) Lösung Beschreibung des Objekts im Muster durch Merkmale führen zu einem Modell Ableitung von Merkmalen aus dem Muster, die das Objekt beschreiben und damit das Modell bilden sind z.b. Signifikante Grauwerte Homogen oder feste Struktur Grauwertkante am Objektrand beschreibt die Form bzw. die Geometrie des Objekts Merkmale an den Objekträndern erhöhen die Signifikanz der Beschreibung

12 Robustes Pattern Matching Die Erkennung des Objekts ist invariant gegenüber Positionsänderungen Verdeckungen Beleuchtungsänderungen Unschärfe

13 Kompensationsleistung Pattern Matching Illumination Optics Camera Image Acquisition Device Software FG/CL Image in memory Result Hole Radius mm mm mm Object Analog video signal Application CCD sensor Digital video signal

14 Beispiel 3D Kamerakalibrierung Objektive auch telezentrische haben nicht-lineare Verzerrungen Die Sensorebene in einer Kamera muss parallel zur Messebene ausgerichtet werden, damit die Messung korrekt ist Messungen werden deshalb bevorzugt in der Bildmitte ausgeführt

15 Kompensationsleistung 3D Kamerakalibrierung Illumination Optics Camera Image Acquisition Device Software FG/CL Image in memory Result Hole Radius mm mm mm Object Analog video signal Application CCD sensor Digital video signal

16 Live Vorführungen Pattern Matching zur Druckbildkontrolle Schwierigkeit: Beliebiges Muster Kompensationsleistung: Helligkeitsänderungen Messung von Kreisenradien Schwierigkeit: Kreise sind nicht vollständig Kompensationsleistung: Unscharfes Bild Helligkeitsänderungen

17 Der Bildverarbeitungsprozess (2006) Illumination Optics Camera Acquisition / Communication Software USB/1394/GigE FG I/O Image in memory Result Hole Radius mm mm mm Object Pixel stream Application CCD/CMOS sensor Image to main memory

18 Partnerfirmen für den Bildeinzug MVTec Produkte unterstützen mehr als 60 verschiedene Bildeinzugsgeräte von nahezu 30 Firmen oder Organisationen Damit können Bilder alle gängigen Kameras in der IBV in MVTec Produkten mit minimalen Integrationsaufwand verarbeitet werden

19 Der Komponentenmarkt 2006 Beleuchtung Für jede Anwendung Optik Für jede Kamera verfügbar Kamera CCD/CMOS Progressive Scan 640 x x 2000 pixel Image Acquisition Devices GigE, USB 2.0, IEEE 1394 a/b Hohe Datenrate werden mit CL erreicht: > 600MB/sec Software Ausgereifte Standard-Software Pakete zu akzeptablen Preisen verfügbar

20 Komponente CPU DSPs MIPS/RISC Hyperthreading Mehrkern- CPUs 64bit CPUs Standard- Software Linux/UNIX Mehrere CPUs Windows

21 Verschiedene CPUs: HALCON Embedded

22 Software Entwicklung (2006) Komponenten müssen zueinander passen Integrationsaufwand der Komponenten minimal Konzentration auf die Anwendung Anforderungen an die Software haben sich geändert: Ermittlung von subpixelgenauen 2D Konturverläufen Korrektur nicht-linearer Beleuchtungsschwankungen Blob Analyse unabhängig von der Anzahl der betrachteten Vordergrundobjekte Unabhängigkeit der Messaufgabe von Einflussfaktoren wie Beleuchtungänderungen Verschiebung, Rotation, Größenänderungen Verdeckung, Perspektivischen Verzerrungen Aufwand und Nutzen bei einer Eigenentwicklung müssen mit Standard-Softwareprodukten verglichen werden

23 Zusammenfassung Standards ermöglichen heute, dass Komponenten zueinander kompatibel sind Zum Lösen einer Bildverarbeitungsaufgabe müssen alle Komponenten betrachtet werden Standard-Software für die Industrielle Bildverarbeitung erbringt eine Kompensationsleistung, die Einsparpotentiale erschliesst