Bildverarbeitung Anwendungsentwicklung

Transkript

1 Bildverarbeitung Anwendungsentwicklung Konfigurieren statt Programmieren

2 Die neue Art Bildverarbeitungs-Aufgaben zu lösen Während die Kosten für Hardware-Komponenten in der Bildverarbeitung generell sinken, bleiben die Entwicklungskosten für die Bildverarbeitungs-Software selbst immer noch hoch. Daraus entsteht der Wunsch nach neuen Wegen bei der Softwareentwicklung: weg von der zeitaufwändigen und kostenintensiven Programmierung in Hochsprachen, hin zu Entwicklungstools, die eine einfache Konfiguration der Anwendung ermöglichen. Der Matrox Design Assistant für die intelligente Kamera Matrox Iris GT ist die Antwort hierauf. Programmierer werden entlastet und auch nicht-programmierer in die Lage versetzt, BV-Applikationen umzusetzen. Bisherige Softwarelösungen zur grafischen oder visuellen Anwendungsentwicklung standen immer vor 3 Problemen: die Übersichtlichkeit auch bei komplexeren Aufgaben zu wahren, die Möglichkeit ein kundenspezifisches User- Interface zu erzeugen und die Freiheit, bei Bedarf den bestehenden Funktionsumfang schnell und einfach zu erweitern. Matrox Design Assistant Der Matrox Design Assistant (DA) ist eine integrierte Software-Entwicklungsumgebung (IDE), die diese Limitierungen überwindet und eine neue Art der Anwendungsentwicklung ermöglicht. Er ist eine Entwicklungssoftware zur interaktiven Entwicklung und Konfiguration von vollständigen Bildverarbeitungs-Applikationen und den dazugehörigen User-Interfaces. Hierfür bietet der Design Assistant zwei komfortable Werkzeuge: ein Tool um das Flussdiagramm (Flowchart) zur Ablaufsteuerung zu entwerfen und einen HTML-Editor zur Erstellung des Benutzer-Interfaces (Operator View). Flow Control stellt die Steps zur Verfügung um den Ablauf des Flussdiagramms zu steuern: Entscheidungen und Verzweigungen, Erzeugen und Beenden weiterer Programmschleifen sowie die Möglichkeit den Programmablauf zu pausieren, fortzusetzen oder ganz zu beenden. Das Flussdiagramm Im Flussdiagramm wird der logische Ablauf der Bildverarbeitungs-Anwendung beschrieben. Es besteht aus einzelnen Aktionsblöcken (Steps), die miteinander verknüpft und dann zur Laufzeit sequentiell abgearbeitet werden. Der Design Assistant bietet einen großen Vorrat an konfigurierbaren Steps, die sich in die fünf Funktionsgruppen Image, Analysis&Processing, Flow Control, Communication und Utilities einteilen lassen. Image enthält die Bildaufnahme bzw. das Laden abgespeicherter Bilder. Analysis&Processing beinhaltet Module für unterschiedlichste Bildverarbeitungsaufgaben. Alle Algorithmen stammen aus der felderprobten Matrox Imaging Library (MIL) und garantieren höchste Leistungsfähigkeit, Genauigkeit und Performance, wie schon weltweit in unzähligen Anwendungen unter Beweis gestellt wurde. Matrox Design Assistant Immer übersichtlich Flussdiagramm, Kamerabild und Konfigurationsmasken auf einen Blick

3 Konfigurieren statt Programmieren Entwicklung und Konfiguration des Flussdiagramms Das Flussdiagramm wird aus den o.g. Steps zusammengesetzt und innerhalb einer Hauptschleife sequentiell abgearbeitet (siehe Bild oben). Bereits während man das Flussdiagramm Stück für Stück aufbaut ist jeder einzelne Aktionsblock interaktiv parametrisier- und testbar. Matrox Design Assistant Die Aktionsblöcke (Steps) bilden das Flussdiagramm Übersichtliche Konfigurationsmasken erlauben das einfache Parametrisieren jedes Steps, parallel dazu wird eine kurze Online-Hilfe mit den wichtigsten Einstellmöglichkeiten angezeigt wird. Die Konfigurationsmasken überlagern weder das Flowchart noch das Kamerabild mit den aktuellen Messergebnissen. Damit bleibt der gesamte Design-Prozess selbst bei großen und verzweigten Flussdiagrammen stets sehr übersichtlich Communication bündelt Funktionen, um Ergebnisse der Außenwelt mitzuteilen bzw. um im Flussdiagramm auf externe Ereignisse zu reagieren: digitale User-I/Os, serielle RS-232, Netzwerk, Maus- und Tastatureingaben, bis hin zu Industrieprotokollen wie Ethernet/IP und ModBus. Utilities bietet u.a. Zähler, Variablen zum Speichern beliebiger Daten, das Erzeugen von Logfiles, das Verwalten und Auswerten von Timestamps. Mit 38 verschiedenen Aktionsblöcken lassen sich unterschiedlichste Anwendungen von der einfachen Anwesenheitskontrolle bis hin zur komplexen Messaufgabe schnell, sicher und komfortabel umsetzen. Die mächtigen und robusten BV-Funktionen aus der MIL bilden zusammen mit den einfachen und flexiblen Kommunikationsmöglichkeiten innerhalb des Flussdiagramms, zum Benutzerinterface und zu den externen Peripheriegeräten über die verschiedenen Schnittstellen eine stabile Basis für alle Anwendungen. grenzenlose Erweiterbarkeit mit Custom Steps Sollten sich Anforderungen ergeben, die mit dem bestehen den Funktionsvorrat nicht abgedeckt sind, besteht selbst für diese Spezialfälle die Möglichkeit mit dem Custom Step SDK schnell und einfach eigene Funktionen (Custom Steps) zu entwickeln und in den DA einzubinden. Diese neuen, selbsterzeugten Aktionsblöcke integrieren sich nahtlos in den DA und können dann genau wie die bestehenden Steps interaktiv und ohne Programmier- Know-how verwendet werden. Diese Customs Steps werden mit Microsoft C# programmiert, optional kann dabei auf den vollen Funktions- und Leistungsumfang der MIL zugegriffen werden. Beispiele aus der Praxis für von Kunden erstellte Aktionsblöcke sind u.a. ein FTP-Client zum Übertragen von Fehlerbildern per FTP, ein Parser von Konfigurations-Files und spezielle Berechnungsmodule.

4 die wichtigsten Aktionsblöcke auf einen Blick Analysis & Blob Analysis Erkennen, Zählen und Vermessen von Objekten (Blobs) Processing Code Reader Lesen von 1D- und 2D-Codes (Barcode, Datamatrix, Composite,...) Edge Locator Intensity Checker Metrology Model Finder Pattern Matching Kantenantastung zur Positionsbestimmung Berechnung und statistische Analyse der Helligkeitswerte im Bild bzw. in einem Bildbereich Vollständige Vermessung von 2D-Objekten inkl. Toleranzen Rotations- und größenunabhängige Mustererkennung auf Basis der Objektkonturen Grauwertbasierte Mustererkennung String Reader Lesen von Klarschrift, unabhängig von Verzerrung, Skalierung, Degradierung,... Image Processing Bildfilter, arithmetische, geometrische, morphologische Operationen, LUT, Binarisierung,... Image Camera Bildaufnahme, Trigger, Strobe, Bild laden, ROI,... Calibration Pixel-zu-Welt Kalibrierung, Korrektur von Perspektive, Verzerrung,... Image Writer Speichern des aktuellen Kamerabildes zur Archivierung auf der Iris E oder über Netzwerk Communication TCP/IP, TCP/UDP Ethernet-Kommunikation über TCP mit frei definierbaren Zeichenketten Ethernet/IP Feldbus-Steuerung über Ethernet/IP Modbus over TCP/IP Feldbus-Steuerung über TCP/IP mit Modbus Protokoll Serial Port I/O-Reader I/O-Writer Operator-Inputs RS-232 Steuerung 4 digitale Inputs (opto-entkoppelt) 4 digitale Outputs (open-collector, 24 V, bis 100 ma) Auswerten und Verarbeiten von Benutzereingaben im Benutzer-Interface / Operator View Utilities Counter Zähler Store Speicherung und Aufbereitung von Messwerten, Bildern, Zeichenketten,... Text Writer Time Stamp User LED Speichern von Logfiles in freien Formaten auf der Kamera oder über Netzwerk Hardware-Zeitstempel setzen und auswerten direktes Ansteuern einer LED auf der Iris GT Flow Control Halt / Continue Flussdiagramm anhalten und weiter ausführen Loop / Break Condition Sub-Flowcharts Unterschleifen beginnen und verlassen Auswerten von Bedingungen, Verzweigen im Flussdiagramm Strukturieren und Vereinfachen komplexer Flussdiagramme Custom Steps eigene Entwicklung Einbinden eigener, in C# programmierter Aktionsblöcke

5 Erzeugen des Operator View Eine weitere Stärke des Design Assistant ist die strenge Trennung der Logik der BV-Applikation (=Flussdiagramm) von dem User-Interface, das der Anwender zur Laufzeit der Anwendung sieht (=Operator View). Während das Flussdiagramm den logischen Ablauf repräsentiert, ist der Operator View die Benutzeroberfläche für den Anwender zur Visualisierung und ggf. Parametrisierung des Prüfprogramms. Zusammenfassung Der Design Assistant ist ein mächtiges Werkzeug für die schnelle Applikationsentwicklung. Mit der komfortablen, übersichtlichen und leicht zu bedienenden Entwicklungsumgebung lassen sich in allen Branchen unterschiedlichste Bildverarbeitungsaufgaben ohne jede Programmierung in kürzester Zeit lösen. Gleichzeitig bringt er ein Höchstmaß an Flexibilität und Konfigurierbarkeit mit sich und sogar eigene, spezifische Algorithmen können direkt eingebunden werden. In Verbindung mit der intelligenten Kamera Matrox Iris GT, die in einem kompakten IP67 Gehäuse dank des Intel Atom 1.6GHz Prozessors höchste Performance liefert eröffnet er OEMs Systemhäusern und Endanwendern die Möglichkeit sehr schnell und flexibel Lösungen zu entwickeln und dabei die zeitaufwändige Programmierung einzusparen. Matrox Design Assistant Operator-View zur Laufzeit angezeigt über den Internet Explorer Der Operator View wird innerhalb des Design Assistant mit einem grafischen Editor erzeugt. Alle graphischen Bedienelemente der Bildverarbeitungsanwendung werden hier angelegt und mit den entsprechenden logischen Einund Ausgaberoutinen des Flussdiagramms verknüpft. Zur Verfügung stehen Ein-/Ausgabefelder, Buttons, Anzeigen für das Kamerabild und graphische Elemente. In der Regel ist der Operator View eine Webseite, die dann zur Laufzeit von jedem PC aus angezeigt werden kann. Darüber hinaus besteht die Möglichkeit vergleichbar zum Custom Step SDK das GUI für spezifische Anforderungen z.b. mit z.b. Visual Basic.NET umzusetzen. Johann-G.-Gutenberg-Str. 20 D Olching Telefon / Fax / info@rauscher.de

6

7 Smart Kamera Matrox Iris GT Applikation: Flaschenboden Inspektion

8 Flaschenboden-Inspektion In einer Fertigungsstraße zur Produktion von Glasflaschen für die Getränkeindustrie arbeiten gleichzeitig mehrere parallele Pressformen. Um für fehlerhafte Flaschen eine Rückverfolgbarkeit zu gewährleisten, trägt jede Flasche am Boden eine eindeutige Nummer, über die die herstellende Pressform identifiziert und dort gegebenenfalls das Werkzeug ausgetauscht oder repariert werden kann. Mit einem Bildverarbeitungssystem soll die in den Flaschenboden eingepresste Nummer eindeutig gelesen werden. Aufgrund der Materialbeschaffenheit und der gewölbten Oberflächengeometrie kann kein konstanter Bildeindruck erzielt werden. Die eingepresste Nummer ist von Bild zu Bild unterschiedlich hell und unterschiedlich kontrastreich, wirkt stark verwaschen und verzerrt. Aufgrund der kurzen Taktzeiten in der Flaschenherstellung ist zusätzlich eine Verarbeitungsgeschwindigkeit von 30 Flaschen pro Sekunde gefordert. Diese Aufgabe ist unzweifelhaft eine Herausforderung für jedes OCR System. Umsetzung auf Smart-Kamera Neben der Aufgabe, einen geeigneten Algorithmus für das Dekodieren zu entwickeln, war es auch Ziel eine möglichst kompakte Plattform für die Integration vorzuschlagen. Obwohl üblicherweise intelligente Kameras eher für einfachere Aufgaben mit einfachen Algorithmen eingesetzt werden (z.b. 2D-Code, Vollständigkeitskontrolle, Mustererkennung) fiel die Wahl auf die Matrox Iris GT. Diese neue Smart-Kamera ist ausreichend performant, diesen komplexen Algorithmus innerhalb der geforderten 30 ms abzuarbeiten, bietet ein kompaktes, robustes, spritzwassergeschütztes IP67 Gehäuse mit industriellen M12 Steckverbindern und arbeitet in einem Temperaturbereich von 0 50 C. Eine schnelle Umsetzung der gesamten Applikation wird erreicht durch die flussdiagramm-basierte Parametrisierung der Kamera mit dem Matrox Design Assistant. Dieser macht die klassische Anwendungs-Programmierung vollkommen überflüssig. Die Idee Mit geeigneten Algorithmen aus der Matrox Imaging Library (MIL) kann die Bildverarbeitungsaufgabe trotz der schwankenden Bildqualität äußerst robust und in hoher Geschwindigkeit gelöst werden. Als zentrales Tool dient der MIL String Reader, ein sehr robustes OCR-Tool für Texterkennung unter schwierigen Bedingungen. Im Gegensatz zu klassischen OCR- Algorithmen basiert der String Reader nicht auf einem Template-Ansatz sondern auf geometrischen Features der einzelnen Zeichen und toleriert damit auch stark degradierte Fonts sowie nicht-lineare Skalierungen und Verzerrungen und vieles mehr. Alle Bilder werden mittels einer Blob Analyse und verschiedenen morphologischen, arithmetischen und geometrischen Operationen vorverarbeitet und dann dem String Reader zum Lesen der Nummer übergeben. Kamera-Hardware Herzstück der robusten Kamera-Hardware ist der brandneue Intel Atom Prozessor mit 1.6 GHz Taktfrequenz, der bisher hauptsächlich in Sub-Notebooks (Netbooks) verwendet wird und eine hervorragende Performance für Embedded-Geräte bietet. Zusammen mit einem internen FPGA, schnellen PCI-Express Lanes und dem Echtzeitbetriebssystem Windows CE 6.0 sorgt der Prozessor dafür, dass die Iris GT im Vergleich zum Vorgänger um über 300% schneller geworden ist. CCD Sensoren der neuesten Generation mit 640x480 Pixeln bei 110 Bilder/s (Kodak KAI-0340S) und x 960 Pixeln bei 22,5 Bilder/s (Sony ICX445AL) decken ein breites Anwendungsspektrum ab. Für die Kommunikation mit der Außenwelt gibt es flexible Möglichkeiten wie 10/100/1000 Mbit Ethernet, VGA, USB (für Tastatur, Maus und Touchpad), RS-232, opto-entkoppelte Trigger- und Strobe-Signale sowie einen stromgeregelten Ausgang zum direkten Betrieb von LED Beleuchtungen. Stufen des Algorithmus Die Bilder werden mittels einer Blob Analyse und verschiedenen morphologischen, arithmetischen und geometrischen Operationen vorverarbeitet und dann dem String Reader zum Lesen der Nummer übergeben Beispiele für geprägte und gelesene Nummern

9 Matrox Design Assistant flussdiagramm-basierte Entwicklung Die Anwendungsentwicklung erfolgt mit der integrierten Entwicklungsumgebung des Design Assistant, der die direkte Konfiguration der Bildverarbeitungsanwendung auf der Kamera ganz ohne klassische Programmierung erlaubt. Mit zwei zentralen Tools innerhalb des Design Assistant wird die Anwendung entwickelt: dem Flussdiagramm und dem Editor für das Benutzer-Interface (Operator View). Das Flussdiagramm beschreibt den logischen Ablauf der Vision-Anwendung. Hier wird graphisch beschrieben welche Prozessschritte wann ausgeführt werden und wie die Ergebnisse der Bildverarbeitung ausgewertet und ausgegeben werden. Bereits während man das Flussdiagramm Stück für Stück aufbaut, ist jeder einzelne Aktionsblock interaktiv konfigurierbar. Zur Verfügung stehen alle Verarbeitungs- und Analysemodule aus der weltweit eingesetzten und praxiserprobten MIL. Trotz der umfangreichen Möglichkeiten bleibt der gesamte Designprozess stets sehr übersichtlich, da der Design Assistant alle wichtigen Infos (Flussdiagramm, Konfigurationsmasken, Online-Hilfe, Debug-Infos) auf einen Blick zeigt ohne andere Information zu überlagern. User Interface für Webbrowser Während das Flussdiagramm den logischen Ablauf repräsentiert, ist der Operator View die Benutzeroberfläche des Prüfprogramms. Der Operator View ist eine Webseite, die ebenfalls interaktiv innerhalb des Design Assistant erstellt wird. Alle benötigten graphischen Elemente (z.b. Bildanzeige mit frei definierbaren Overlays, Schaltflächen, Radiobuttons, Textfelder, Grafiken,...) zur Ein- bzw. Ausgabe von Ergebnissen und Parametern werden mit der Maus positioniert und mit dem Flussdiagramm verknüpft. Die erzeugte Benutzeroberfläche kann von jedem PC aus mit einem Webbrowser wie dem Microsoft Internet Explorer aufgerufen werden. In zwei Tagen zur fertigen Anwendung Die Lösung der herausfordernden OCR-Aufgabe besteht aus einem robusten Algorithmus auf Basis der felderprobten Matrox Imaging Library zusammen mit einer leistungsfähigen und kompakten Hardware-Plattform für raue Umgebungsbedingungen. Die schnelle, übersichtliche und eingängige Entwicklung von Applikation und User Interface mit dem Design Assistant sorgt für eine kurze Time-to- Market. Zusammenfassend ist diese Anwendung ein sehr gutes Beispiel für die Matrox Iris GT, die alle Vorteile einer voll industrietauglichen intelligenten Kamera zusammen mit einem einzigartigen Konzept zur komfortablen Softwareentwicklung vereint. Matrox Iris GT Herzstück der robusten Iris GT ist der brandneue Intel Atom Prozessor mit 1.6 GHz Taktfrequenz Matrox Design Assistant Die Anwendungsentwicklung erfolgt mit der integrierten Entwicklungsumgebung des Design Assistant, der die direkte Konfiguration der Bildverarbeitungsanwendung erlaubt Johann-G.-Gutenberg-Str. 20 D Olching Telefon / Fax / info@rauscher.de