Prof. J. Zhang Universität Hamburg. AB Technische Aspekte Multimodaler Systeme. 20. Januar 2004

Transkript

1 Universität Hamburg AB Technische Aspekte Multimodaler Systeme

2 Inhaltsverzeichnis 6. Bildverarbeitung Aufbau eines Bildverarbeitungssystems Bildaufnahme Bildvorverarbeitung Lokale Operatoren Symmetrie Merkmale Mustererkennung Binäre Bildverarbeitung

3 Bildverarbeitung Grundlage für alle Verfahren mit Sichtsystemen Bildverarbeitung schwierig: Mensch nutzt Kontext und Weltwissen. In der Vorverarbeitung schon Nutzung von präattentiven Effekten (Gestaltgesetze). Im Folgenden nur ein kurzer Einblick in die Bildverarbeitung. Details in entsprechenden Vorlesungen. Seite 415

4 Abschnitt: Aufbau eines Bildverarbeitungssystems Aufbau eines Bildverarbeitungssystems Bildaufnahme Bildverarbeitung Segmentierung Aufnahme Abbildung Digitalisierung Normierung Filterung Kanten Regionen Symmetrie Interpretation Symbolische Beschreibung der Szene Klassifikation Symbolische Beschreibung der Bildprimitive Merkmalsextraktion Kennzahlen Merkmale Textur Seite 416

5 Abschnitt: Bildaufnahme Bildaufnahme Ziel: Abbildung einer dreidimensionalen Szene in ein digitales Bild. Sichtbarmachung: Nutzung physikalischer Prozesse Reflexion (Photographie) Absorbtion (Röntgenaufnahme) Emmission (Radioastronomie) Sichtbares Licht: 400 nm bis 800 nm (kontinuierliches Spektrum) Farbräume: RGB, HSI, YUV, etc. Abbildung: Kameramodelle (z.b. Lochkameramodell) Digitalisierung: Abtastung und Quantisierung Seite 417

6 Abschnitt: Bildaufnahme RGB-Farbraum/CMY-Farbraum Seite 418

7 Abschnitt: Bildaufnahme HSV-Farbraum Seite 419

8 Abschnitt: Bildaufnahme HLS-Farbraum Seite 420

9 Abschnitt: Bildvorverarbeitung Bildvorverarbeitung (1) Bildverbesserung: Variierende Parameter werden auf Normwert transformiert. Intensität z.b. Normierung der Gesamtintensität E auf Normwert E n : E = M 1 i=0 N 1 j=0 f ij wobei f ij 0 i, j (Intensität eines Pixels) h ij = f ij E n E Größe wobei h ij neuer Intensitätswert für Pixel Lage von Objekten (Nutzung von Bildmomenten) Seite 421

10 Abschnitt: Bildvorverarbeitung Bildvorverarbeitung (2) Definition: Moment eines Bildes: m pq := M 1 x=0 N 1 y=0 f xy x p y p mit p, q 0 Seite 422

11 Abschnitt: Bildvorverarbeitung Bildvorverarbeitung (3) Schwerpunkt: x s = m 10 m 00 und y s = m 01 m 00 Seite 423

12 Abschnitt: Bildvorverarbeitung Bildvorverarbeitung (4) Winkel der Hauptträgheitsachse: tan 2α = 2m 11 m 20 m 02 mit α [0, 2π] Seite 424

13 Abschnitt: Bildvorverarbeitung Bildvorverarbeitung (5) Y Y X X Seite 425

14 Abschnitt: Bildvorverarbeitung Bildvorverarbeitung (6) Segmentierung: Unterteilung von Bildern in bedeutungsvolle Bereiche etablierte Primitiva: Konturen lokale Diskontinuitäten - Kanten - Ecken - Symmetrien Regionen homogene Bildbereiche Faltungsmasken zur Bestimmung lokaler Diskontinuitäten Seite 426

15 Abschnitt: Lokale Operatoren Lokale Operatoren Seite 427

16 Abschnitt: Lokale Operatoren Kantenoperatoren (1) Gradient: Vertikale und horizontale Faltungsmasken zur Bestimmung des Gradientenbildes (Prewitt-Operator). 1. Ableitung des Bildes Diskrete Differenz erster Ordnung. Seite 428

17 Abschnitt: Lokale Operatoren Kantenoperatoren (2) Glättung: Diskrete Gaussglocke als 3 3-Glättungsmaske. Ableitungsmasken auf Bilder sind störanfällig. Häufig vorherige Glättung mit diskreter Gaussglocke. Auch: Direkte Kombination der Filtermasken Sobel-Operator. Seite 429

18 Abschnitt: Lokale Operatoren Kantenoperatoren (3) Sobel-Operator: Vertikaler und horizontaler Sobel-Operator. 1. Ableitung des Bildes + Glättung Seite 430

19 Abschnitt: Lokale Operatoren Kantenoperatoren (4) Laplace-Operator: Laplace-Operator. 2. Ableitung des Bildes. Diskrete Differenz zweiter Ordnung. Breite Kanten können unterdrückt werden. Störanfällig, daher meist in Verbindung mit einer Glättung. Seite 431

20 Abschnitt: Lokale Operatoren Beispiel: Lenna - Miss November 1972 (1) Original- und Graustufenbild. Seite 432

21 Abschnitt: Lokale Operatoren Beispiel: Lenna - Miss November 1972 (2) Vertikaler und horizontaler Gradient (Prewitt-Operator). Seite 433

22 Abschnitt: Lokale Operatoren Beispiel: Lenna - Miss November 1972 (3) Geglättet mit Gauss-Filter. Seite 434

23 Abschnitt: Lokale Operatoren Beispiel: Lenna - Miss November 1972 (4) Vertikaler und horizontaler Sobel-Filter. Seite 435

24 Abschnitt: Lokale Operatoren Beispiel: Lenna - Miss November 1972 (3) Laplace-Filter. Seite 436

25 Abschnitt: Symmetrie Symmetrie (1) Symmetrie ist eine wichtige Eigenschaft in Bildern. Symmetrien werden von Menschen besonders gut wahrgenommen. Das Bild zeigt die Blickbewegungen eines Menschen für zwei unterschiedliche Objekte. Beim symmetrischen Objekt wird nur eine Hälfte betrachtet. Seite 437

26 Abschnitt: Symmetrie Symmetrie (2) Eine der wichtigsten Symmetrien ist die Spiegelsymmetrie. Im Folgenden Beschränkung auf horizontale und vertikale Symmetrie. Für die horizontale Symetrie werden nur Pixel einer Bildzeile, für die vertikale nur Pixel einer Bildspalte betrachtet. Harte Symmetrie: Es muß g i j = g i+j mit 0 j d für eine Umgebung E(i, d) = [p i d, p i+d ] um einen Punkt p i gelten, wobei g i der Grauwert von p i ist. Seite 438

27 Abschnitt: Symmetrie Symmetrie (3) Bei wechselnden Lichtverhältnissen oder verrauschten Bildern lassen sich kaum große symmetrische Regionen bestimmen. Weiche Symmetrie: Eine Umgebung E(i, d) ist symmetrisch, wenn gilt: 0 g i j g i+j ɛ mit 0 j d Die symmetrische Umgebung von p i ist dann: S i = arg max d E(i, d) Seite 439

28 Abschnitt: Symmetrie Symmetrie (4) Beipielbild ( Pixel) Seite 440

29 Abschnitt: Symmetrie Symmetrie (5) Erste Reihe: Horizontale Symmetrie mit ɛ = 30, ɛ = 60 und ɛ = 100 sowie d 125. Zweite Reihe: Peaks der Bilder aus der ersten Reihe. Seite 441

30 Abschnitt: Symmetrie Symmetrie (6) Üblich ist die Verwendung einer festen Maskenbreite m. Die Symmetrie einer Umgebung E(i, m) eines Punktes p i berechnet sich dann wie folgt: s(i, m) = 1 1 m σ(j, m) (g i j g i+j ) 2 C m j=1 wobei C eine vom Farbraum abhängige Konstante ist (z.b. 255 für Graustufenbilder) und σ(j, m) eine radiale Gewichtungsfunktion ist. Beispiel: Triangulare Gewichtung σ(j, m) = 1 j m Seite 442

31 Abschnitt: Symmetrie Symmetrie (7) Erste Reihe: Horizontale Symmetrie mit m = 10, m = 50 und m = 100. Zweite Reihe: Peaks der Bilder aus der ersten Reihe. Seite 443

32 Abschnitt: Merkmale Merkmale Empirische oder symbolische Beschreibung von Eigenschaften des Bildes. Merkmale können auf Bildprimitiven (z.b. Regionen, Kanten) oder auf dem ganzen Bild bestimmt werden. Beispiele: Texturen abgeleitete Texturmerkmale: Energie, Kontrast, Homogenität Bewegung, z.b. mit Hilfe des optischen Flusses Tiefe (Entfernung), z.b. mit Stereo-Bildverarbeitung Hauptkomponenten-Analyse (engl. Principal Component Analysis (PCA)), z.b. Eigenfaces (PCA auf Gesichtsbildern) weitere einfache Merkmale später... Seite 444

33 Abschnitt: Mustererkennung Mustererkennung Muster: Anordnung aus einfachen Merkmalen, die in ihrer Beziehung einen bestimmten Sinn ergeben. Musterklassifikation: Muster als Gesamtheit wird einer Klasse ω i zugeordnet (Menge der Klassen: Ω = {ω 1,..., ω k }). Musteranalyse: Komplexe Muster werden symbolisch beschrieben. Mustererkennung = Musterklassifikation + Musteranalyse Seite 445

34 Abschnitt: Binäre Bildverarbeitung Binäre Bildverarbeitung Einfachste Form der Bildverarbeitung auf Binärbildern. Einsatzgebiet vor allem in industriellen Anwendungen. Originalbilder werden über einen Schwellwert in Binärbilder umgewandelt. In industriellen Anwendungen gilt es zumeist herauszufinden: ob ein Objekt existiert, ob es an der richtigen Position liegt, ob es die richtige Orientierung hat, ob es das gewünschte Objekt ist, und was für ein Objekt es ist. Seite 446

35 Abschnitt: Binäre Bildverarbeitung Beispiele für binäre Bildverarbeitung (1) In welchem Winkel liegt die Schere? Seite 447

36 Abschnitt: Binäre Bildverarbeitung Beispiele für binäre Bildverarbeitung (2) Welche Uhrzeit wird angezeigt? Seite 448

37 Abschnitt: Binäre Bildverarbeitung Beispiele für binäre Bildverarbeitung (3) Erkennung und Ortung von Werkstücken Seite 449

38 Abschnitt: Binäre Bildverarbeitung Merkmale eines Objektes in binärer Darstellung U. a. werden die folgenden Merkmale verwendet: Massenverteilung (engl. Distribution of mass) - eine Funktion des Abstands links und rechts vom Schwerpunkt Abstand des weitesten Punktes vom Schwerpunkt Abstände der Grenzpunkte zum Schwerpunkt als eine Funktion der Polarwinkel (polar coding oder die Variante circular coding) Verhältnis F läche / Umfang 2 Anzahl der Löcher Anzahl der Buchten (betrachte das Objekt als eine Insel)... Seite 450

39 Abschnitt: Binäre Bildverarbeitung Literatur [1] Machine Vision: A Brief Introduction. vision tutorial/mv Introduction.html. [2] Huebner, Kai: Methods for Range Estimation and Situation Recognition using an Omnidirectional Vision System for Mobile Robots - Symmetry as a Natural Feature, November khuebner/diploma/pdf/index d.html. [3] Jaehne, Bernd: Digitale Bildverarbeitung. Springer-Verlag, fünfte Auflage, Juni Seite 451