Bild-Erkennung & -Interpretation

Transkript

1 Kapitel I Bild-Erkennung & -Interpretation FH Aachen / Jülich, FB 9 Prof. Dr. rer.nat. Walter Hillen (Dig Img I) 1

2 Einführung Schritte zur Bilderkennung und Interpretation: Bild-Erfassung Vorverarbeitung z.b.: Punkttransformationen, Filterung,... Segmentierung Merkmals-Erkennung z.b.: Objekt-Fläche, Kanten-Länge,... Beschreibung, Interpretation, Klassifikation Automatische Bildanalyse Industrielle Bildverarbeitung (Machine Vision) (Dig Img I) 2

3 Beispiel: Industrielle Bildverarbeitung Fertigungskontrolle (U-Scheiben) Bilderfassung: Digitalkamera (Nikon D1) Beleuchtung: Transmission Vorverarbeitung: lineare LUT zur Dynamikanpassung (8-Bit Dynamik) Bild einer fehlerfreien U-Scheibe (Referenz) Defekt (Dig Img I) 3

4 Beispiel: Fertigungskontrolle (U-Scheiben) Segmentierung: Bimodalitätsanalyse zur Trennung von Objekt und Hintergrund. Schwelle T Merkmalsextraktion:Objektgröße (# Pixel im Bereich [0,T]). Bei bekannter Pixelgröße wird daraus die Objektgröße (Fläche) in mm 2 bestimmt. (Dig Img I) 4

5 Beispiel: Fertigungskontrolle (U-Scheiben) Analyse: U-Scheibe mit defektem Rand Frage? Anz Wie verhält sich die Fläche von unbekannten Scheiben im Vergleich zur Verteilung der Flächen fehlerfreier Exemplare? Verteilung der Fläche der Scheiben 261 A/[mm²] Wie kann aus dieser Information auf einen Defekt geschlossen werden? Referenzscheiben unbekannte Scheiben Klassenbreite 3 mm² (Dig Img I) 5

6 Extraktion von Objekt - Merkmalen Schritt 1: Schritt 2: Schritt 3: Typische Objektmerkmale: Segmentierung => Definition des Objektbereichs Merkmalsextraktion. => Eigenschaften des Objekts Klassifikation. => Übereinstimmung mit (in industriellen Anwendungen) vorbestimmten Objektmerkmalen Fläche, Form, geom. Parameter, Farbe, Textur,... (Dig Img I) 6

7 Extraktion von (einfachen) Objekt - Merkmalen Flächeninhalt: Verfahren: Bimodalitätsanalyse (vergl. Vorlesung Bildsegmentierung) Mittlerer Grauwert (Farbwert): Verfahren: Bestimmung des mittleren Grauwertes (bei Farbe: Mittelwert der RGB-Anteile) innerhalb des Objektes. Schwerpunkt (beim Binärbild): Verfahren: Mittelwert der x- (bzw. y-) Koordinaten der Objektbildpunkte (Dig Img I) 7

8 Extraktion von Objekt Merkmalen (Kontur) Objekt-Kontur: Verfahren: Kontur - Verfolgung (vergl. Vorlesung Bildsegmentierung, => Verbindung von Gradienten ) Kontur-Bestimmung in Binärbildern: Verfahren: Für jedes Pixel des Objekts (Vordergrundfarbe) wird geprüft, ob (mindestens) ein benachbarter Bildpunkt (4er-Umgebung, oben,unten,rechts,links) zum Hintergrund gehört. Diese Bildpunkte behalten ihre Vordergrundfarbe; alle anderen Bildpunkte werden auf die Hintergrundfarbe gesetzt. (Dig Img I) 8

9 Extraktion von Objekt Merkmalen (Kontur) Kontur-Bestimmung in Binärbildern: Originalbild Vordergrundfarbe (Objekt): schwarz Konturbild (Dig Img I) 9

10 Extraktion von Objekt Merkmalen (Kontur) Konturen als Kettencode: Datenstruktur des Kettencodes: 1. Anzahl der Konturpunkte (=> Objekt-Umfang!). 2. x-, y-koordinaten eines Konturpunktes. 3. Richtungsangabe zum vorhergehenden Konturpunkt. Anfangspunkt (x=3, y=5) Richtungsparameter (Dig Img I) 10

11 Kontur-bezogene Merkmale (I) Definition: Formfaktor 4p * Fläche Umfang 2 F = ( Für Kreis: F = 1 ) Beispiel: Trennung von kreisförmigen, rechteckigen und unregelmäßigen Objekten (Dig Img I) 11

12 Kontur-bezogene Merkmale (II) Polarer Abstand: In festen Winkelschritten von 0 bis 2π wird der Abstand zwischen Objektschwerpunkt und Objektkontur aufgetragen. Aussagen: - Anzahl der Maxima => Anzahl der Ecken. - Winkelposition der Maxima => Lage / Orientierung des Objektes (=> Fertigungsmontage!). Exzentrizität: Verhältnis von max. zu min. polarem Abstand. (Dig Img I) 12

13 Textur Merkmale (vergl. Vorlesung Bildsegmentierung) Verfahren (Analyse von lokalen Bereichen): - Statistische Verfahren Grauwertstreuung (Varianz) => Rauhigkeit - Kantenverteilung / Vorzugsrichtung Kantendichte / Kantenorientierung - lokale Fourier-Spektren Periodische Strukturen (Peaks im Fourier-Spektrum) (Dig Img I) 13

14 Klassifikation: Merkmalsvektor Klassifikation: Übereinstimmung mit vorbestimmten Merkmalen von Referenzobjekten. Merkmalsvektor: Die zur Beschreibung eines Objekts relevanten Merkmale werden zu einem Merkmalsvektor M zusammengefasst. M = ( M 1, M 2, M 3,..., M n ) Bem.: Die Lage des Merkmalsvektors im n-dim. Merkmalsraum charakterisiert das Objekt. (Dig Img I) 14

15 Klassifikation: Ermittlung von Clustern Cluster: In einer Einlernphase wird eine repräsentative Stichprobe von Objekten, die zur gleichen Objektklasse gehören, analysiert. Merkmal 2 Im Merkmalsraum bilden diese Objekte ein für die Objektklasse typisches Cluster. Cluster der Objekt-Klasse A Merkmal 1 Cluster der Objekt-Klasse B (Dig Img I) 15

16 Klassifikation: Cluster-Zentren Cluster-Zentren: Von jedem Cluster einer Objektklasse wird das Cluster- Zentrum bestimmt (Prototyp der Klasse). Das Cluster-Zentrum ist der Mittelwert der Merkmalsvektoren von einem Cluster. Merkmal 2 Zentrum von Klasse A M klasse = 1/N klasse * S M i (klasse) Merkmal 1 Summation erfolgt über alle Merkmalsvektoren der Klasse. N klasse : Anzahl der Objekte einer Klasse Zentrum von Klasse B (Dig Img I) 16

17 Klassifikation: Minimum-Distance Verfahren Minimum Distance Classifier: Von einem unbekannten Objekt M objekt wird der Abstand d klasse zum Zentrum jeder Klasse bestimmt. Merkmal 2 Zentrum A unbekanntes Objekt d klasse = M objekt - M klasse Zentrum B... ist der Euklidische Abstand zwischen dem Merkmalsvektor des unbekannten Objekts und dem Prototyp der Klasse. Das unbekannte Objekt wird der Klasse zugeordnet, bei der der Abstand am geringsten ist. Größte Ähnlichkeit zum Prototyp der Klasse. Merkmal 1 (Dig Img I) 17

18 Klassifikation: Zurückweisung Zurückweisung von Objekten: Eine Zuordnung eines unbekannten Objekts zu einer Objektklasse kann nur dann erfolgen, wenn der Abstand d klasse zum Zentrum der Klasse kleiner als ein gegebener Grenzwert ist. Merkmal 2 Zentrum A mit Zurückweisungsbereich unbekanntes Objekt (zurückgewiesen!) Ist das bei keiner Klasse der Fall, wird das Objekt zurückgewiesen. (=> Zurückweisungsklasse) Zentrum B mit Zurückweisungsbereich Merkmal 1 Die Zurückweisungs-Radien werden proportional zur Streuung innerhalb eines Clusters gewählt. (Dig Img I) 18

19 Bilderkennung durch Differenzbild-Analyse Referenz-Bild Prüfobjekt Prinzip: Das Bild des zu prüfenden Objektes wird mit dem Bild eines Referenzobjektes verglichen. Aus Abweichungen im Differenzbild wird auf Fehler geschlossen. Fehler Differenzbild (Absolutbetrag der Differenz) (Dig Img I) 19

20 Bilderkennung durch Differenzbild-Analyse Voraussetzung: Die Differenzbild-Analyse verlangt konstante Beleuchtungsverhältnisse und eine exakt reproduzierbare Bildposition. Beispiel: Differenzbild bei einem leichten Versatz des Prüfobjektes Prüfobjekt Fehler Differenzbild bei nicht exakter Bildposition (Dig Img I) 20

21 Differenzbild-Analyse bei Binärbildern Prinzip: Das Binärbild des zu prüfenden Objektes wird mit dem Binärbild des Referenzobjektes durch eine Exklusiv- OR-Operation verbunden. Referenz-Bild Prüfobjekt 1 (leichter Versatz zum Referenz-Objekt) Differenz-Bild Bem.: Mit morphologischen Operationen kann der Versatz eliminiert werden ( Öffnen ) Prüfobjekt 2 Differenz-Bild (Dig Img I) 21