Bildverarbeitung in der Qualitätskontrolle. Sebastian Zambal LEADING INNOVATIONS

Transkript

1 Bildverarbeitung in der Qualitätskontrolle Sebastian Zambal LEADING INNOVATIONS

2 Überblick Profactor Grundlagen Bildverarbeitung HW, SW, Methoden Inspektion Gussteilen Inspektion CFK, GFK Projekte EMVA-Studie: Europäischer Markt

3 Profactor Produktionsforschung seit 1995 Standorte: Steyr und Wien ca. 85 Mitarbeiter Seite 3

4 Profactor Funktionale Oberflächen und Nanostrukturen (FON) Innovative Energiesysteme (IES) Robotik und Adaptive Systeme (RAS) Bildverarbeitung (BV)

5 Bildverarbeitung

6 Was ist Bildverarbeitung? Begriffe: Bildverarbeitung Bildverstehen Maschinelles Sehen Machine Vision Computer Vision Klassische Probleme der Computer Vision: 3D Scene Reconstruction Event Detection Object Tracking Object Recognition Segmentation Klassifikation

7 Bildverarbeitung: Verwandte Gebiete Modell z.b: 3D Struktur, Fehlertyp Computer Graphics Computer Vision Computer Grafik und Visualisierung Signalverarbeitung Künstliche Intelligenz und Maschinelles Lernen Automatisierung & Robotik Biologisches Sehen Quelle:

8 Bildverarbeitungssystem: Komponenten Kamera: Matrixkamera Zeilenkamera Contact Image Sensor (CIS) Thermokamera Beleuchtung: Kaltlichtquelle, LED Beleuchtung, Diffus (Dom), Gerichtet, Hintergrund, Auswerteeinheit z.b. Industrie-PC Alternativ: Intelligente Kameras Basler Zeilenkamera

9 Beispiel Segmentierung

10 Ein Bild sagt mehr als tausend Worte... Interpretation der Merkmale Mülleimer oder Briefkasten? wenig Information Segmentierung & Extraktion von Merkmalen Vorverarbeitung Bild viel Information

11 Beispiel einer Bildverarbeitungskette Merkmale: Fläche, Umfang, mittlerer Grauwert, Entscheidung: Gut/schlecht? Art des Fehlers? Originalbild Hintergrund entfernt Segmentierung (Schwellwert)

12 Merkmale Textural Features Corresponding to Visual Perception, Tamura et al., 1978 Coarseness Mittelwerte von gegenüberliegenden quadrat. Bereichen Differenz dieser Mittelwerte Bestimme Größe des Bereichs mit maximaler Differenz! Mittelwert dieser Bereichsgrößen in einer bestimmten Umgebung Schwellwert Originalbild Feature: Tamura Coarseness Schwellwert Feature

13 Interpretation der Features: Machine Learning F2 +? in Ordnung Defekt F1

14 Interpretation der Features: Linear Separation F2 in Ordnung Defekt F1

15 Interpretation der Features: Decision Tree F2 in Ordnung Defekt < a > a Defekt < b > b a Defekt in Ordnung b F1

16 Interpretation der Features: Underfitting, Overfitting F2 in Ordnung Defekt F1

17 BV Software OpenCV: C/C++ Frei Verfügbar von Intel initiiert heute: Willow Garage Basis-Datentyp: cv::mat Unterstützt ein sehr breites Spektrum an Algorithmen für Bildverarbeitung und Maschinelles Lernen Matlab Image Processing Toolbox Neural Network Toolbox GigE Vision + GenICam Beispiel!

18 Oberflächeninspektion (Gussteile)

19 3D Information in der Oberflächeninspektion Shape from Shading Bestimmung der Form aus der Helligkeit Beleuchtungsmodell, Reflexionsmodell

20 3D Information in der Oberflächeninspektion Grundidee: Hell Dunkel Dunkel Hell Lunker Schmutz Verfärbung

21 3D Information in der Oberflächeninspektion Beispielbilder Lunker: 4 Teilbilder mit unterschiedlichen Beleuchtungsrichtungen

22 Oberflächeninspektion (CFK, GFK)

23 CFK Oberflächen Beispiel CFK Gewebe/Gelege schwarz & glänzend Karbonfaser: ca. 5-8µm Durchmesser (menschl. Haar: ca. 50µm) ca. 1K-24K Einzelfasern bilden ein Bündel (Roving)

24 Faserwinkelsensor

25 Faserwinkelsensor im Testbetrieb

26 Fiber Orientation Sensor Seite 26

27 CFK Lichtreflexion c: Kamera l 1, l 2 : Lichtquellen Photometric stereo on carbon fiber surfaces, W. Palfinger et al

28 Faserwinkelsensor

29 Faserwinkelbilder Faserwinkel kodiert als Grauwert

30 Gelegeprüfung - Gap/Histogramm 31

31 Segmentierung von Faserwinkelbildern

32 Segmentierung von Faserwinkelbildern a) Resin (Harz) auf Oberfläche b) Dadurch: Fehler in Segmentierung c) Korrekte Segmentierung durch Anpassung der Schrittweite d), e) Endgültige Segmentierung mit Scan-lines

33 Faserwinkelsensor: Auswertungen

34 Faserwinkelsensor: Vertikale Ausrichtung der Fasern Polare Bilder mit klassifizierten Segmenten

35 3D Ansicht (rekonstruiert) Z-Koordinaten um Faktor 4 vergrößert!

36 Machine Vision Markt Marktstudie d. European Machine Vision Association (EMVA)

37 Umsatz: BV-Systeme nach Branche

38 Umsatz: BV-Systeme nach Applikation

39 BV-Komponenten nach Herkunft

40 Zukünftige Herausforderung: Mülltrennung (EMVA Prognose) Quelle: EMVA

41 Danke für Ihre Aufmerksamkeit! Sebastian Zambal PROFACTOR GmbH Im Stadtgut A Steyr-Gleink Tel.: +43(0) Fax.: +43(0)