Graphische Datenverarbeitung und Bildverarbeitung

Transkript

1 Graphische Datenverarbeitung und Bildverarbeitung Hochschule Niederrhein Merkmale und Klassifikation Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 1 Einordnung in die Inhalte der Vorlesung Einführung mathematische und allgemeine Grundlagen Hardware für Graphik und Bildverarbeitung Graphische Grundalgorithmen (Zeichnen graphischer Primitive, Methoden für Antialaising, Füllalgorithmen) Bildaufnahme (Koordinatensysteme, Transformation) Durchführung der Bildverarbeitung und -analyse Fourier Transformation Bildrestauration Bildverbesserung (Grauwertmodifikation, Filterverfahren) Segmentierung Morphologische Operationen Merkmalsermittlung und Klassifikation Erzeugung von Bildern in der Computergraphik Geometrierepräsentationen Clipping in 2D und 3D Hidden Surface Removal Beleuchtungsberechnung Shading Schattenberechnung Volumenrendering als Beispiel für die Nutzung beider Gebiete Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 2

2 Wiederholung wichtiger Begriffe Erosion und Dilatation Opening und Closing Hit-or-Miss-Operatoren Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation Merkmale Die Klassifikation in Bildern erfolgt anhand von Merkmalen Merkmale können sein: - Eigenschaften des Bildpunktes - Eigenschaften von Segmenten Bildpunkt Bounding Box eines Segments Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 4

3 Entwurf eines Erkennungssystems Aufgabe: Einteilung der Segmente eines Bildes in Klassen Problemanalyse Merkmalsauswahl Auswahl des Klassifikationsverfahrens Qualitätsanalyse Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 5 Merkmal: Skalar, das einen bestimmten Aspekt des Segments beschreibt Merkmale des Segmentinneren Merkmale des Segmentrandes Merkmale über Abhängigkeiten zwischen benachbarten Segmenten Merkmalsvektor: lineare Anordnung von n quantitativen Merkmalen T m = m, m,.., ) ( 1 2 Merkmale m n Merkmalsraum: Zuordnung jedes Merkmals zu einer Achse des m n-dimensionalen Raumes 2 m = ( m1, m2, m3) m 3 Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 6 m 1

4 Anforderungen an die Merkmale Gute Unterscheidungsmöglichkeiten Hohe Zuverlässigkeit Unabhängigkeit Geringe Anzahl Gewinnung von Merkmalen häufig heuristisch mit anschließender systematischer Auswahl geeigneter Merkmale Nutzung von normierten Merkmalen Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 7 Postulate der numerischen Klassifikation Es steht eine repräsentative Stichprobe zur Verfügung. Ein Muster besitzt Merkmale, die für seine Zugehörigkeit zu seiner Klasse charakteristisch sind. Die Merkmale bilden für Muster einer Klasse einen einigermaßen kompakten Bereich im Merkmalsraum. Die Bereiche verschiedener Klassen sind getrennt. Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 8

5 16.2 Merkmale von Bildpunkten Grauwerte, Farbwerte Interessant für Segmentierung in mehrkanaligen Bildern, z.b. bilden Farbkanäle einen dreidimensionalen Merkmalsraum Originalbild Blauer Kanal Grüner Kanal Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation Merkmale von Segmenten Grauwertmerkmale: mittlerer Grauwert, Streuung der Grauwerte, minimaler und maximaler Grauwert Texturmerkmale: Merkmale aus der Co-Occurence-Matrix, Merkmale aus dem Frequenzspektrum Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 10

6 Merkmale von Segmenten Einfache Formbasierte Merkmale: Flächeninhalt F, Umfang U, Ausdehnung des Segmentes entlang seiner Hauptachsen, Größe des kleinsten umschließenden Rechtecks, Flächendifferenz zwischen der Segmentfläche und ihrer konvexer Hülle, Kreisähnlichkeit ( (4Fπ)/U 2 ) Längste Diagonale Bounding Box Differenz zur konvexen Hülle Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 11 Merkmale von Segmenten Kettencode: Berechnung von Krümmungsmerkmalen Relativer Kettencode: Abweichung der Richtung um ein Vielfaches von 45 im Uhrzeigersinn (-) oder entgegengesetzt (+) Fourierdeskriptoren: a r n n 2 n m= 1 2 n nm 2πi L 1 L 1 L = xme bn = y L 1 L 1 = a + b w n rn = r 1 m= 1 nm 2πi L 1 Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 12 m e

7 Merkmale von Segmenten Topologische Merkmale: Sie ändern sich auch dann nicht, wenn sich die Form des Objekt verändert, solange es nicht zerrissen oder geklebt wird. Beispiele: Anzahl der Löcher L Anzahl C der verbundenen Teile eines Objekts Eulerzahl: E=C-L E=0 E=-1 Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation Welche Merkmale sind geeignet? Merkmale dienen der Unterscheidung zwischen unterschiedlichen Segmenten. Falls möglich, sollten Merkmale aus den vermuteten Objekteigenschaften abgeleitet werden. Wenn n Objekttypen unterschieden werden sollen, dann muß das m- dimensionale Histogramm des Merkmalsraums wenigstens n unterscheidbare Häufungspunkte enthalten. Aus der Nähe im Merkmalsraum sollte auf Ähnlichkeit der Objekte geschlossen werden. Die Unterscheidbarkeit nach Merkmalswerten nimmt nicht ab, wenn die Dimension des Merkmalsraums erweitert wird. Je weniger Merkmale zur Unterscheidung notwendig sind, desto effektiver wird die Entscheidungsfindung sein. Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 14

8 16.5 Dimensionsreduktion im Merkmalsraum Klassifikation wird aufwendiger, je größer die Dimension des Merkmalsraumes ist. Vorhandene Information durch den höherdimensionalen Merkmalsraum wird reduziert Wann kann auf diese Information verzichtet werden? Wenn die Klassifizierung auch nach der Reduktion möglich ist. Durchschnittliche Abweichung von der Richtung der größten Ausdehnung des Merkmals Gesucht: Richtung der größten Ausdehnung durchschnittliche Abweichung davon Kovarianz im Merkmalsraum Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 15 Kovarianzmatrix im Merkmalsraum Die Kovarianzmatrix C ist eine quadratische, symmetrische Matrix bestehend aus allen Varianzen und Kovarianzen zwischen Vektoren m(x 1,...,x n ) im n-dimensionalen Merkmalsraum: c C = cn 1 c = ij M 1 m = i M 11 1 c M m k= 0 i, j... c ( )( ) ik nn m i m M: Anzahl der Trainingsdaten i,j: betrachtetes Merkmal i m j m j Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 16

9 m 1 Eigenvektoren und Eigenwerte der Kovarianzmatrix Eigenvektoren e und Eigenwerte λ einer Matrix M sind diejenigen, für die gilt: r r r r M e = λe λ = m 0 ( M λi) e = 0 det( M I) 0 Die Eigenwerte beschreiben die Varianz der Werte entlang der jeweiligen Achse Sortierung nach der Größe Die zu den Eigenwerten korrespondierenden Eigenvektoren der Kovarianzmatrix beschreiben in absteigender Reihenfolge eine Reihe von senkrecht aufeinander stehenden Achsen durch den Schwerpunkt des Systems Karhunen-Loeve-Transformation Hauptachsentransformation Hotelling-Transformation Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 17 Hauptachsentransformation Praktische Berechnung: 1. Berechnung der Kovarianzmatrix C der Merkmalsvektoren m der Testdaten 2. Berechnung der Eigenwerte λ und Eigenvektoren e von C 3. Umordnen der Eigenwerte, so dass gilt: λ λ gleichfalls Umordnung der Matrix E der Eigenvektoren e 4. Falls ein Eigenwert λ n =0 ist, kann die betreffende Hauptachse gestrichen werden. Falls ein Eigenwert λ n nahe Null liegt, kann sie unter Informationsverlust gestrichen werden 5. Berechnung der neuen unkorrelierten Merkmale: m r unkorr = m r korr E λ N 1 Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 18

10 Hauptachsentransformation Resultat der Hauptachsentransformation: Dimensionsreduktion, Dekorrelation der Merkmale m 2 m neu2 m 1 Achtung! m neu1 Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation Merkmalsbasierte Klassifikation Annahme: Wenn die Merkmale von Objekten aus unterschiedlichen Klassen sich unterscheiden, dann sollte dies im Merkmalsraum sichtbar sein Häufigkeit Fläche Klassifikation: Entscheidungsfunktion auf den Merkmalsvektoren D(m 1,...,m n ) = i Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 20

11 Merkmalsbasierte Klassifikation - Mehrdimensionaler Merkmalsraum Häufigkeit Häufigkeit Fläche Exzentrizität ,2 0.4,4 0.6,6 0.8,8 1 Exzentrizität 0,8 0,6 0,4 0,2 0 Zweidimensionale Verteilung Fläche Ziel: Cluster identifizieren, in denen sich die Merkmalsverktoren einzelner Klassen befinden Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 21 Varianten eines Klassifizierungssystems bekannte Stichprobe oder Clusteralgorithmus t Realisierungen k i der Klassen K i, i=0,..,t-1 Verbesserung von k j unbekannter Merkmalsvektor Minimum-Distance Bayes scher Klassifikator neuronale Netze Klassifizierung zur Klasse K j Strategien der numerischen Klassifikation: fest dimensionierte überwachte Klassifikation fest dimensionierte unüberwachte Klassifikation überwacht lernende Klassifikation unüberwacht lernende Klassifikation Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 22

12 Quadermethode Direkter Weg für zweidimensionale Merkmalsräume: Die Grenzen der Cluster um ein Clusterzentrum werden interaktiv bestimmt. Exzentrizität 0,8 0,6 0,4 0,2 0 Fläche Linsen Pfeffer Sonnenblumenkerne Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 23 Quadermethode Sonnenblumenkerne Linsen Pfeffer sonstiges Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 24

13 Minimum-Distanz-Klassifikator 0,8 0,6 Exzentrizität 0,4 0,2 0 Fläche Jeder Merkmalsvektor wird demjenigen Cluster zugeordnet, zu dessen Zentrum er am nächsten liegt. Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 25 Algorithmus Gegeben: klassifizierte Stichprobe Vorgehensweise: 1. Berechne die Klassenmittelpunkte im Merkmalsraum für alle in der Stichprobe vorkommenden Klassen. 2. Berechne für zu klassifizierende Objekte anhand des ermittelten Merkmalsvektors den Abstand zu allen Klassenmittelpunkten. 3. Ordne das Objekt der Klasse zu, zu der der kürzeste Abstand auftrat. Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 26

14 Gegeben: klassifizierte Stichprobe Regel: knn-klassifikation (k-nearest Neighbour Classification) Ordne das Muster der Klasse zu, zu der sein nächster Nachbar auch gehört bzw. die Mehrzahl seiner k nächsten Nachbarn Vorteil: Man erhält im allgemeinen relativ komplizierte nichtlineare Trennflächen Nachteil:hoher Speicher und Berechnungsaufwand knn - Klassifikator Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation Klassifikationsfehler Merkmal 2 Merkmal 1 Fehler 1. Art: Bereich, der zum Muster gehört, aber nicht in der Stichprobe erfaßt wurde Fehler 2. Art: Bereich, der nicht zum Muster gehört, aber in der Stichprobe erfaßt wurde Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 28

15 Clustering durch Agglomeration (Bottom-up, Merging) Annahmen: Die Anzahl der Cluster ist nicht bekannt. Distanz zum Cluster-Zentrum soll minimiert werden Gesucht: Anzahl der Cluster und Lage der Cluster-Zentren 1. Schritt: Jeder Merkmalsvektor bildet das Zentrum eines Clusters 2. Schritt: Suche die beiden am dichtesten liegende Clusterzentren und vereinige die beiden Cluster. Berechne ein neues Clusterzentrum Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 29 Clustering durch Agglomeration Wiederhole Schritt 2 solange, bis nur noch ein Cluster übrigbleibt. Speichere die Zusammenfassung der Cluster in einem Baum Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 30

16 Clustering durch Agglomeration Resultat der vorletzten Stufe der Clustering-Hierarchie Hierarchisches Clustering Verfahren: Auswahl der Anzahl der Cluster durch Wahl der Hierarchiestufe Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation Divisives Clustering Verfahren (Top-down, Splitting) Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 32

17 Partitional Clustering Annahmen: Gesucht: Die Anzahl der Cluster ist in der Regel bekannt. Distanz zum Cluster-Zentrum soll minimiert werden Lage der Cluster-Zentren (kein Aufbau einer Hierarchie) Initialisierung: Cluster-Zentren setzen (beliebig oder anhand von identifizierten Segmenten/Pixeln Iterationsschritt: Berechne für jeden Merkmalsvektor das am dichtesten liegende Clusterzentrum, klassifiziere es entsprechend, berechne neue Clusterzentren. Abbruchbedingung: keine Neu- oder Umklassifizierungen beim Iterationsschritt Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 33 Zusammenfassung Klassifikation Ziel einer Klassifikation ist die Zuordnung von Bedeutung anhand ausgewerteter Merkmale Quader-Methode, Minimum-Distanz- Klassifikation, knn-klassifikation Die Klassifikation ist umso einfacher, je geringer die Anzahl der Merkmale ist Eine Merkmalsreduktion kann mit Hilfe der Karhunen-Loeve-Transformation erfolgen, wobei zu beachten ist, daß nur die Repräsentation aller Klassen, nicht aber die Trennbarkeit der Klassen optimiert wird. Die Zuordnung nach Klassen kann auch durch einer Cluster-Analyse erfolgen. Cluster sind Gebiet im Merkmalsraum, in denen eine Häufung von Merkmalsvektoren vorliegt. Clustering-Verfahren können (müssen aber nicht) die Kenntnis der Anzahl der Klassen voraussetzen. Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 34

18 Stufen der Bildverarbeitung Graphische DV und BV, Regina Pohle, 16. Merkmale und Klassifikation 35