eine Kooperation Von: Ins tut für industrielle Informa onstechnik Ins tute Industrial IT GET Lab Universität Paderborn Paderborn University 2016 Bildverarbeitung in der Automation 1. Dezember 5. Jahreskolloquium «Bildverarbeitung in der Automation» Volker Lohweg, Bärbel Mertsching (Hrsg.)
Vorwort Das 5. Jahreskolloquium Bildverarbeitung in der Automation (BVAu 2016) ist ein Forum für Wissenschaft und Industrie im deutschsprachigen Raum für alle technisch/wissenschaftlichen Fragestellungen rund um die industrielle Bildverarbeitung und Mustererkennung. Ausrichter sind die beiden Forschungseinrichtungen Institut für industrielle Informationstechnik (init) der Hochschule OWL und GET Lab Technische kognitive Systeme der Universität Paderborn. Die industrielle Bildverarbeitung und Mustererkennung sind Schlüsseltechnologien für die Produkte von morgen und die Basis intelligenter Qualitätssicherungssysteme in produzierenden Unternehmen. Interdisziplinäre Ansätze aus Technik, Biologie und Psychologie ermöglichen neue zukunftsweisende Lösungen. Durch den vermehrten Einsatz von Bildverarbeitung ergeben sich neue Möglichkeiten in rasanter Geschwindigkeit, gleichzeitig aber auch neue zu lösende Herausforderungen. Die Veranstaltungsreihe weist einen klaren aktuellen fachlichen Fokus und eine entsprechende Detailtiefe auf. Hierzu vermitteln die Fachbeiträge und die Keynote einen guten Überblick zum momentanen Stand der Technik und zu aktuellen Innovationen im Bereich der industriellen Bildverarbeitung und Musterekennnug. Wir möchten uns an dieser Stelle bei allen Autoren und Koautoren für ihre qualitativ hochwertigen Beiträge bedanken. Außerdem geht ein herzliches Dankeschön an die Mitglieder des Programm- und Organisationskomitees für ihr Engagement. Die Tagungsleitung Prof. Dr. V. Lohweg init Institut für industrielle Informationstechnik Prof. Dr. B. Mertsching GET Lab, Universität Paderborn 3
Tagungsleitung & Programmkomitee Tagungsleitung Prof. Dr. V. Lohweg (init) Prof. Dr. B. Mertsching (GET Lab) Programmkomitee Dr. U. Büker (Delphi Deutschland) Dr. H. Dörksen (init) Dr. O. Enge-Rosenblatt (Fraunhofer EAS, Dresden) Prof. Dr. U. Heinkel (TU Chemnitz) Prof. Dr. M. Hübner (Ruhr-Universität Bochum) Dr. U. Mönks (init) Prof. Dr. O. Niggemann (init) Dr. S. Priesterjahn (Diebold Nixdorf, Paderborn) Prof. Dr. R. Salomon (University of Rostock) Prof. Dr. K. Schaschek (Stuttgart Media University) Organisationskomitee Alexander Fritze (init) Elke Jaschinski (init) Jasmin Zilz (init) Benedikt Lücke (init) Jan Leif Hoffmann (init) Jessica Zimmermann (CIIT) 5
Programm 09:30 Uhr Keynote - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Multispektral-Imaging. Neue Methoden und Technologien für die Inspektion, Analyse und Diagnose im Maschinen- und Anlagenbau, für Lebensmittel und in der Medizin Dipl.-Phys. Bernd Stöber (Stemmer Imaging GmbH, Puchheim, Germany) 10:15 Uhr Session 1: Platforms and Methods for Image Processing - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Session Chair: Prof. Dr. Karl Schaschek (Stuttgart Media University, Germany) Mouse-Pi: A Platform for Monitoring In-Situ Experiments Ralf Joost, Daniel Ziese, Alexander Hawlitschka and Ralf Salomon (University of Rostock, Germany) Abstract: In many cases, medical research observes the behavior of animals under various conditions, such as medication or surgery. Some research in the field of Parkinson s Disease monitors when and how often rats spin around their own center within a small container. Normally, the monitoring system consists of a thin wire and an external rotary encoder. This experimental setup imposes significant stress on the subjects, and has very limited resolution in time. The present paper investigates the utility of state-of-the-art embedded systems as a core of a vision based monitoring systems. It turns out that low-cost platforms, such as the Raspberry Pi, work well in this application field. However, the chosen approach behaves sensitive to the chosen colors, the ambient light condition, and the subject s fur. Design and Implementation for Authenticating Commercial Raster Printing Using Cost-Effective Hardware Anton Pfeifer and Volker Lohweg (OWL University of Applied Sciences, Lemgo, Germany) Abstract: Although more and more electronic payment options are available, the amount of transactions conducted by cash is increasing continuously in most countries. As cash transactions are essential for the global economy, this leads to demands for future electronic payment systems. An important aspect of such systems is that complex authentication algorithms run on cost-effective hardware.in previous work we established a prototypical low-cost demonstrator, which is able to handle image processing algorithms for banknote authentication. 6
Based on the results the authentication of commercial raster printing is identified as a critical part in terms of overall evaluation time. Therefore, we propose a re-design of the authentication module. The module focuses on the detection of commercial offset printing by analysing an image to have periodic printing patterns. Without compromising the reliability of the authentication method, the re-design significantly reduces evaluation time. GPU-beschleunigte Simulation von Lasertriangulationssensoren Steffen Sauer, Peter Guttek and Dirk Berndt (Fraunhofer IFF, Magdeburg, Germany) Abstract: Die CAD-Modell-gestützte Inspektionsplanung stellt einen wichtigen Beitrag bei der Auslegung von optischen Inspektionssystemen und der Durchführung von Prüfungen dar. In dieser Arbeit wird ein neuer Ansatz vorgestellt, mit dem durch Simulation die Prüfplanung unterstützt werden kann. Es wird gezeigt, wie die synthetische, CAD-basierte Erzeugung von Messdaten eines Laserlichtschnittsensors vollständig auf der GPU ablaufen kann und dass dadurch mit enormer Geschwindigkeit realitätsnahe Simulationsdaten erzeugt werden können. 12:00 Uhr Ausstellung - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Stemmer Imaging GmbH, Puchheim, Germany 7
13:15 Uhr Session 2: Image Processing Algorithms - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Session Chair: Dr. Uwe Mönks (OWL University of Applied Sciences, init Institute Industrial IT, Lemgo, Germany) Intelligente Korrektur eines Schweißroboters Marc-Oliver Schierenberg, Hannes Wilmsmeyer and Martin Flasskamp (Bielefeld University of Applied Sciences and CITEC, Bielefeld University, Germany) Abstract: Die Robotertechnik findet für viele Aufgaben in der Industrie selbstverständlichen Einsatz. Für diese Aufgaben werden die Roboter geteacht. Dafür müssen die zu bearbeitenden Bauteile sowohl geringe Toleranzen, als auch eine hohe Positioniergenauigkeit vorweisen. Bei kleineren Bauteilen, wie beispielsweise in der Automobilindustrie, kann diese Genauigkeit durch Einspannvorrichtungen erreicht werden. In der Bauindustrie sollen Robotersysteme ebenfalls mehr Anwendung finden, um die Verarbeitung zu beschleunigen und die Herstellungskosten zu minimieren. Die üblichen Toleranzen liegen im cm-bereich. Der Roboter-Einsatz setzt Selbstkorrektur-Strategien voraus, welche mit geeigneten Sensoren und parametrisierbaren Prüfprogrammen die Abweichungen identifizieren. Die oft nichtlinearen Abweichen gegenüber den CAD-Daten können mit den beschränkten Möglichkeiten der bisher merkmalbasierten Systeme zur Selbstkorrektur nur vereinfacht abgebildet werden. Daher kommt es zu Schweißnähten, die keine Qualität hoher Güte aufweisen. Die Aufarbeitung von Ausschussteilen erfordert manuelle und kostenintensive Reparaturarbeiten. Aus diesem Kontext ergibt sich ein Handlungsbedarf, bestehende Selbstkorrektur- Strategien zu optimieren. Die vorliegende Arbeit beschreibt das Konzept einer CAD-basierten Korrekturstrategie, welche eine höhere Genauigkeit bietet als die bisher eingesetzten Systeme. Mit einer am Roboter montierten optischen 3D-Sensorik kann die äußere Form des zu schweißenden Bauteils ermittelt, und anschließend auf die CAD-Daten projiziert werden. Eine selektive Form des CAD-Messdaten- Vergleichs minimiert den Einfluss von störenden Einspannvorrichtungen und erhöht die Genauigkeit der ermittelten Korrekturen. Gegenüber der bisher merkmalbasierten Selbstkorrektur sinkt der Aufwand zum Parametrisieren des Prüfprogramms und Teachen des Roboters deutlich. Im Rahmen eines Projekts im Spitzencluster intelligente technische Systeme Ostwestfalen-Lippe konnte die Integration einer 3D-Sensorik am Schweißroboter evaluiert werden. 8
Schätzung von Gasgeschwindigkeiten aus Differenzbildserien einer Infrarotkamera zur Gasvisualisierung Sören Dierks and Andreas Kroll (University of Kassel, Germany) Abstract: Für die Bestimmung von Bewegungsgeschwindigkeiten aus Bildserien existiert eine Vielzahl von Algorithmen. Diese werden jedoch meist auf Szenen angewendet, in welchen sich Objekte bewegen, deren Geometrie sich mit der Zeit nicht ändert. In dieser Arbeit werden Bildserien einer Fluidströmung in Form eines Gasgemisches aus Luft und Methan betrachtet. Die Herausforderung besteht dabei in der Änderung von Form, Größe und Orientierung der beobachtbaren Strukturen einer turbulenten Strömung. In dieser Arbeit werden verschiedene Verfahren zur Bestimmung des optischen Flusses auf Differenzbildserien einer Infrarotkamera zur Gasvisualisierung (sog. Gaskamera) angewendet. Die verwendeten Bildserien wurden mittels eines Laboraufbaus aufgenommen. Aus ihnen soll die Strömungsgeschwindigkeit einer turbulenten Methan-Luft-Strömung bestimmt werden. Zur Beurteilung der Messergebnisse wird eine anemometrisch gemessene Geschwindigkeit der Gasströmung als Referenz verwendet. The influence of printing technologies on QR-code recognition Tahir Terzi and Karl Schaschek (Stuttgart Media University, Germany) Abstract: More or less all industries need a way to label their products to enable identification for internal or external purposes. Automatic reading of these labels facilitates the process and increases its security. The introduction of 1Dcodes (bar codes), which could be read by special devices (scanner), provided means to access multi digit numbers. Induced by the boost of performance of computers and cameras 2D-codes (Data-Matrix-, Quick-Response-(QR)-codes, etc. ) were developed and introduced. Nowadays CPU performance of smart phones suffices to use these devices as 2D-code readers. Beside the initial use of labeling goods while adding more information, now these 2D-codes are used to gain access to internet sites. This link feature opens new possibilities of customer dealer interaction. The QR-code was developed by DENSO WAVE INCOR- PORATED and released in 1994. DENSO WAVE retains the patent rights to the QR Code, but declared that it would not exercise them. The details of the structure of QR-codes is outlaid in ISO 18004 (QR code 2005 bar code symbology specification) also explaining the de- and encoding and error correction algorithms used. The QR-code is the most frequently used in public life. It can be found on products like packed goods, brochures, magazines, billboards, large area prints and newspapers. For this reason the current study deals with QR-codes on printed matter analyzing the influence on recognition due to different printing 9
10 technologies (electro photography, flexography, ink jet, offset and rotogravure). All Samples were printed on paper or foil. The later one being a white on with low opacity. In practice QR-codes will be scanned by special scanners or by a smart phone using the build in camera system. There are a lot of apps available that perform this task. A special feature of the QR-code technology makes it more or less impossible to use these apps directly to quantitatively analyze the prints: An error detection and correction algorithm is used. Thus errors to a certain limit are suppressed, even those imposed by printing. Therefore a way had to be found to perform this task independent of the regular used devices. A flat bed scanner with a physical resolution of 2400 dpi was used to acquire the raw data. This procedure eliminates possible errors of cameras taken images like improper positioning and cushion distortion. The pictures were analyzed by an ImageJ plugin developed for this purpose. It was incorporated according to the standard scheme for developing plugins for ImageJ using the Eclipse Java IDE. The basic idea of this procedure is to use the Analyse particles to identify the tag and its modules. Special care was taken to reduce artifacts being introduced by intermediate process steps. After proper alignment and identification of the outer skirt, the tag is cropped. The tag is identified by the three finder pattern. The alignment pattern were not used, but could be implemented easily. After identification of the finder pattern firstly the QR-code is rotated to match the inherent axes and secondly the linear number of modules is calculated. Based upon this the image is scaled to a nxn matrix, where n is the number of modules per edge. A histogram of the gray scales of this images shows the distribution of black and white modules. The distance of peak positions in comparison to the variance are a means to characterize the chance of recognition. To reduce the influence of arbitrary deviations multiple QR-codes of the same kind (printing technology, resolution, paper) were scanned and analyzed. The final check calculates the number of misinterpreted modules by comparing the beforehand known pattern with the analyzed one. Finally a recognition test was undertaken using two smart phone models varying the distance of image capture and the size of the tag. As expected results not only vary with the model used, but also depend on the app being used. Even though these test were done briefly, it was obvious that some apps are able to correct slightly deformed tags or cushion and or trapezoidal distortion. This may be an indication, that QR-code Level 2 corrections, i.e. using the alignment pattern, are applied. Furthermore the influence of the quiet zone was studied. The finding is, that some apps savely detect QR-codes even without any quiet zone and even with a surrounding of high contrast. Regarding resolution the classical printing technologies pose no obstacles. Thus tags can be outlaid comparatively compact, but the tiny size restricts recognition by smart phones. The linear size of an individual module should be mapped to several pixel of the camera. Depth of field restricts getting closer to the object. So called digital Printing still has some more difficulties to achieve
high resolution and evenness of print. Especially ink jet samples showed an artifact called zigzag contours. Therefore the recognition level is reduced as pixel are mistakenly assigned to modules. Furthermore using light colors yield in modules that are not evenly filled, but covered with dots. These samples could not be analyzed by the developed software. The analysis of printed QR-codes was based on a newly developed tool. A correlation of the recognition level to the print method was used to show the inherent differences. Nonetheless a future field study seems to be meaningful to firstly give an overview of capabilities smart phones possess (wide angle lenses yield cushion distortion, auto focus capabilities may be slow or inefficient, automatic white balance can result in a weak contrast in the target area) and secondly to the placement of QR-codes on non-flat surfaces. The later yields in a distorted projection (trapezoidal distortion) of the image. Only a few of the briefly inspected apps could handle this to a limited extend. Future development of the QR-tool should include corrections for printed matter with curved surface. This would also help to correct the shape distortions mentioned above. Finally an app could be developed that helps judging the feasibility of new print designs and their application in production runs. In this regard another road map could be chosen and available packages might be used, for example the ZXing ( Zebra Crossing ) project. Thus the development would then focus on image enhancement and methods to correlate print quality and QR-code recognition. Accelerating Image Processing Algorithms for the RADIO Project s Assistant Robot System Fynn Schwiegelshohn, Muhammed Al Kadi, Philipp Wehner, Philipp Smoluk, Diana Göhringer, Michael Hübner (Ruhr-Universität Bochum, Germany) Abstract: This paper presents an acceleration method for an image processing algorithm from the RADIO EU project. The algorithm was profiled and the compute intensive tasks were then mapped on programmable hardware. The accelerator design was done with Vivado HLS. The accelerator implements the image processing algorithm as OpenCL kernel and optimizes its performance based on the analysis of the generated hardware. However, the OpenCL code does not reach acceptable speedups when implemented as is. For better performance, several optimizations steps have to be exceuted. The results show that software generated as hardware on programmable hardware can reach a speedup of up to 1.32. For this, further knowledge of the underlying hardware is required. 11
15:30 Uhr Session 3: Industrial Image Processing Systems - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - Session Chair: Dr. Helene Dörksen (OWL University of Applied Sciences, init Institute Industrial IT, Lemgo, Germany) Prozessintegrierte Bildverarbeitung im pharmazeutischen Umfeld Karl Voth, Matthias Hellmich and Wolfram Acker (Gerresheimer Bünde GmbH, Bünde, Germany) Abstract: In dieser anwendungsorientierten Arbeit wird einführend auf den Prozess zur Herstellung von Glasspritzen eingegangen. Anschließend wird ein im Hause entwickeltes Kamerasystem zur prozessintegrierten Inspektion geometrischer und kosmetischer Parameter vorgestellt. Es folgt ein Beispiel zur Identifizierung von Einflussfaktoren mittels Analyse der Inspektionsergebnisse. Vernetzte Qualitätssicherung in der bahnverarbeitenden Industrie Michael Dattner and Daniel Bohn (BST eltromat International GmbH, Bielefeld and University of Wuppertal, Germany) Abstract: Qualitätssicherung in der bahnverarbeitenden Industrie basiert grundlegend auf industrieller Bildverarbeitung, da eine schnell bewegte Materialbahn nicht mit dem bloßen Auge überwacht bzw. manuell gesteuert werden kann. Aktuell liegen die größten Potentiale in der Vernetzung sämtlicher qualitätssichernder Systeme in Kombination mit der Maschinenanbindung entlang der gesamten Wertschöpfungskette. 12
Notizen 13
14 Notizen
Notizen 15
Impressum 5. Jahreskolloquium «Bildverarbeitung in der Automation» (BVAu 2016) 1. Dezember 2016 Lemgo AUFLAGE 50 Exemplare ISBN 978-3-9814062-7-6 Herausgeber Prof. Dr. Volker Lohweg Prof. Dr. Bärbel Mertsching Kontakt Hochschule Ostwestfalen-Lippe BVAu 2016 c/o Institut für industrielle Informationstechnik (init) Langenbruch 6 32657 Lemgo Telefon: 05261-702 2400 Fax: 05261-702 2409 Internet: www.init-owl.de