Technische Universität

Transkript

1 Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik IX Grundlagen der Klassifikation Proseminar Grundlagen der Bildverarbeitung Christina Katz Betreuer: Dr. Michael Roth Abgabetermin: 13. April 2006

2 Inhaltsverzeichnis 1 Einleitung 2 2 Merkmale Regionenbasierte Merkmale Formbasierte Merkmale Geometrische Merkmale Kettencode Klassifikationsverfahren Bayes scher Klassifikator A-Priori-Wahrscheinlichkeit und Merkmalsverteilungsfunktion Direkte Schätzung der A-Posteriori-Wahrscheinlichkeit und NN-Klassifikation Lineare Entscheidungsfunktion Klassifikation durch Entscheidungsbäume Clustering-Methoden Agglomeratives Clustering Partitionierendes Clustering Hard c-means (HCM) Fuzzy c-means (FCM) Zusammenfassung 20 Literaturverzeichnis 21 1

3 Kapitel 1 Einleitung Bei der Bildanalyse ist man nicht nur an der Segmentierung eines Bildes, also der Erzeugung von inhaltlich zusammenhängenden Regionen, interessiert, sondern auch an einer Interpretation des Bildes. Eine solche Interpretation kann zum Beispiel darin bestehen, die im Bild gefundenen Segmente anhand von Merkmalen in Klassen einzuteilen. Mit dem menschlichen Auge ist solch eine Interpretation meist einfach, möchte man dies jedoch vom Computer durchführen lassen, benötigt man hierfür Algorithmen und Modelle, welche diesen Interpretationsprozess simulieren können. Diese Arbeit stellt hierfür die wichtigsten Klassifizierungsmethoden vor. Um die Segmente bestimmten Klassen zuordnen zu können, benötigt man für jedes Segment eine Anzahl an charakteristischen Merkmalen. Daher wird zu Beginn der Begriff des Merkmals eingeführt und einige Methoden zur Merkmalsfindung vorgestellt. Hierbei wird im Besonderen auf regionenbasierte und formbasierte Merkmale eingegangen. Ausgehend von einem segmentierten, merkmalsbehafteten Bild wird die merkmalsbasierte Klassifikation erläutert. Hier wird eine Berechnung der A-Posteriori-Wahrscheinlichkeit durch den Satz von Bayes und eine direkte Schätzung durch das Nearest-Neighborhood- Verfahren sowie die Bestimmung der A-Priori-Wahrscheinlichkeit vorgestellt. Clustering ist oft eine Vorstufe der Klassifikation. Durch geeignete Merkmalsfindung kann die Klassifikation durch vorheriges Clustering sehr vereinfacht werden. Hierfür werden einige Clustering-Methoden vorgestellt. 2

4 Kapitel 2 Merkmale Nach DIN ist ein Merkmal eine Eigenschaft zum Erkennen oder zum Unterscheiden von Einheiten. Werden also für jedes Segment eines Bildes Merkmale berechnet, so kann das Bild in verschiedene Klassen unterteilt werden. Hierfür wird ein Modell benötigt, welches für jede Klasse charakteristische Merkmalswerte enthält. Der Klassifikator bestimmt dann, zu welchen Modellmerkmalen die berechneten Segmentmerkmale am ähnlichsten sind und ordnet das jeweilige Segment der entsprechenden Klasse zu. Ein Merkmal ist hierbei ein Skalar, welches ein Segment durch das Segmentinnere (regionenbasiert) oder den Segmentrand (formbasiert) näher beschreibt. Handelt es sich bei dem zu interpretierenden Bild um ein farbiges Bild, so könnte man als Merkmal eines Segments auch dessen Farbe berücksichtigen. Alle Merkmale eines Segments werden dann zu einem M-dimensionalen Merkmalsvektor m = m 1,..., m M zusammengefasst. Die Merkmale aller Segmente spannen einen M- dimensionalen Merkmalsraum auf. Die Merkmale eines bestimmten Segments s werden im Merkmalsraum über den Merkmalsvektor m(s) abgebildet. Die Wahl der Merkmale ist dann besonders gut, wenn die Merkmale der Segmente einer Klasse im Merkmalsraum besonders nah beieinander liegen und die Merkmale der Segmente von verschiedenen Klassen weit voneinander getrennt sind. Die Streuung der erstgenannten Menge wird auch Within-Class-Scatter genannt, die der letztgenannten Between-Class-Scatter. Je größer man die Dimension für den Merkmalsraum wählt, desto größer wird in der Regel der Between-Class-Scatter. Jedoch steigt mit zunehmender Dimension auch der Berechnungsaufwand für die Merkmale, so dass man versucht, möglichst wenige Merkmale mit einem möglichst geringen Within-Class-Scatter zu bestimmen. Existiert eine repräsentative Trainingsmenge T = t 0,..., t T 1 von bereits klassifizierten Segmenten, kann man den Within- und Between-Class-Scatter berechnen. Die Trainingsmenge besteht hierbei aus in Klassen c 0,..., c K 1 segmentierte disjunkte Teilmengen T 0,..., T K 1. Der Within-Class-Scatter S w ist die durchschnittliche Varianz der Merkmale jeder Klasse, 3

5 KAPITEL 2. MERKMALE 4 Abbildung 2.1: Co-Occurrence-Matrizen für verschiedene Gebiete in einem Grauwertbild der Between-Class-Scatter S b ist der durchschnittliche Abstand zwischen den Mittelwerten der Merkmale der einzelnen Klassen: S w = 1 K 1 ( m(s) µ k ) 2 T s T k k=0 S b = 1 K 1 K 2 k=0 K 1 l=0 ( µ k µ l ) 2 mit µ k = 1 T k s T k m(s). Eine mögliche Wahl an Merkmalen könnten zum Beispiel die Anzahl der Löcher eines Segmentes oder dessen Kreisähnlichkeit sein. Möchte man Schrauben von Muttern unterscheiden, würde sich diese Repräsentation anbieten. 2.1 Regionenbasierte Merkmale Dem menschlichen Auge fällt es meist nicht schwer, komplizierte Texturen zu erkennen und voneinander zu unterscheiden. Da hier jedoch oft subjektive Kriterien eine Rolle spielen, muss man bei der quantitativen Beschreibung zu einigen mathematischen Hilfsmitteln greifen. So können zum Beispiel der durchschnittliche Grauwert eines Segments, die Varianz, die Haralick schen Texturmaße aus verschiedenen Co-Occurrence-Matrizen oder die Merkmale aus einer Frequenzraumrepräsentation ein Segment repräsentieren. Abbildung 2.1 zeigt die Co-Occurrence-Matrizen für die Klassen Himmel (1,2,3),

6 KAPITEL 2. MERKMALE 5 Gebäude (4,5,6) und Wasser (7,8,9) eines Grauwertbildes. Man erkennt, dass sich die drei Klassen sehr deutlich voneinander abheben, so dass eine Klassifikation hier gut möglich sein sollte. Die Probleme der regionenbasierten Merkmale sind eine große Redundanz zwischen den Segmenten und eine sehr hohe Dimension des Merkmalsraums (bei einer Abtastung durch 20 x 20 Pixel entsteht ein 400-dimensionaler Merkmalsraum). Zur Dekorrelation der Merkmale kann man eine Trainingsmenge benutzen, indem man zum Beispiel die Hauptachsentransformation oder die independent component analysis auf die Merkmalswerte anwendet und als resultierende Merkmale lediglich die ersten Modi verwendet. Diese Methoden werden an dieser Stelle jedoch nicht weiter behandelt. 2.2 Formbasierte Merkmale Im Gegensatz zu regionenbasierten Merkmalen, welche sich über das Segmentinnere definieren, ist für formbasierte Merkmale der Objektrand von besonderer Relevanz. Da die Anfälligkeit für Fehler durch Artefakte hier meist größer ist als bei regionenbasierten Merkmalen, muss der Objektrand bei komplexeren Formmerkmalen möglichst genau erfasst werden Geometrische Merkmale Um die Fehleranfälligkeit auszugleichen, kann man den Objektrand mit Hilfe von geometrischen Maßen interpretieren. Mögliche geometrische Maße, welche hier in Betracht gezogen werden können, sind zum Beispiel: Flächeninhalt F (s) und Umfang, d. h. die Länge des Randes L(s) des Segments s die Ausdehnung des Segments entlang seiner kürzesten und längsten Achse die Größe des kleinsten, achsenparallelen, umschließenden Rechtecks, der sogenannten Bounding Box (Achtung: dieses Maß ist abhängig von der Orientierung des Segments) die Flächendifferenz zwischen der Segmentfläche und ihrer konvexen Hülle die Kreisähnlichkeit, d. h. (F (s) 4π)/L(s) Abbildung 2.2 zeigt einige einfache Formmerkmale für Segmente. Im linken Teil des Bildes sind der Umfang des Segments und dessen Bounding Box dargestellt, im rechten Teil

7 KAPITEL 2. MERKMALE 6 Abbildung 2.2: Verschiedene einfache Formmerkmale für Segmente sieht man die längsten Diagonalen des Segments und dessen konvexe Hülle. Neben geometrischen Maßen können auch topologische Maße als Formmerkmale interpretiert werden. Dies könnten zum Beispiel die Anzahl der Löcher eines Objekts sein Kettencode Versucht man nur mit oben genannten Formmerkmalen ein Objekt zu beschreiben, ist das nicht immer hinreichend genau zur Unterteilung in verschiedene Objektklassen. Um eine genauere Beschreibung eines Objekts zu erhalten, kann man seine Kontur beschreiben, indem man die Punkte des Objektrandes auf eine Funktion abbildet und deren Eigenschaften berechnet. Die Funktion gibt die Krümmung kr(r) in Abhängigkeit von der Randlänge r wieder. Hierbei wird jedem Pixel des Objektrandes eine Richtungsänderung zugewiesen. Diese Richtungsänderung wird mit Hilfe von Indizes klar gekennzeichnet. Im Falle eines Rasters mit quadratischen Einheiten gäbe es zum Beispiel 8 mögliche Nachfolgepositionen für eine Pixelposition: x Möchte man nun ein Objekt mit Hilfe des Kettencodes beschreiben, bestimmt man einen Startpunkt und verfolgt von diesem aus die Richtungsänderungen, bis man wieder dort angelangt ist. Der Kettencode (0,0)( ) zum Beispiel beschreibt ein Rechteck, dessen rechte untere Ecke den Startpunkt bildet. Vor dem eigentlichen Kettencode

8 KAPITEL 2. MERKMALE 7 Abbildung 2.3: Absoluter und relativer Kettencode wird die Position des Startpunkts angegeben, dadurch wird der Kettencode positionsunabhängig. Im Beispiel wäre das (0,0). Einen orientierungsunabhängigen Kettencode kann man durch eine relative Richtungsänderung anstelle einer absoluten darstellen. Hier werden für das Startpixel Position und Richtung angegeben. Die Richtung wird hier in Vielfachen von 45 indiziert, nach links in positiven, nach rechts in negativen Zahlen. Somit wäre in unserem Beispiel der relative Kettencode (0,0),(1)( ). Ein komplexeres Beispiel zeigt Abbildung 2.3. Die Änderung der Werte des relativen Kettencodes bilden die Funktionswerte der gesuchten Krümmungsfunktion kr(r).

9 Kapitel 3 Klassifikationsverfahren 3.1 Bayes scher Klassifikator Ein Bayes scher Klassifikator (benannt nach Thomas Bayes, englischer Mathematiker und presbyterianischer Pfarrer; * ca in London, 17. April 1761 in Tunbridge Wells) basiert auf der statistischen Entscheidungstheorie. Der Klassifikator berechnet die sogenannte A-Posteriori-Wahrscheinlichkeit P (s = c i m(s)), dass ein Segment s mit den Merkmalen m(s) der Klasse c i angehört. Ist diese Wahrscheinlichkeit gleich 1, heißt das, dass die Fehlerwahrscheinlichkeit dieser Zuordnung bei 0% liegt. Würde der Klassifikator also für jedes Segment genau eine Klasse mit einer Zuordnung von 1 finden, wäre er perfekt. Da dies leider meistens nicht der Fall ist, sollte der Klassifikator die Fehlerquote so weit wie möglich minimieren. Dies geschieht indem für ein Segment diejenige Klasse gewählt wird für die P (s = c i m(s)) > P (s = c j m(s)) i j gilt. Die Entscheidungsgrenze und die Relevanz einer Gewichtung bei einer Klassifikation sind in Abbildung 3.1 dargestellt. Um die A-Posteriori-Wahrscheinlichkeit berechnen zu können, werden die sogenannten A-Priori-Wahrscheinlichkeiten P (s = c i ) und die Merkmalsverteilungsfunktionen als bekannt vorausgesetzt. Auf diese Wahrscheinlichkeiten wird im folgenden Abschnitt näher eingegangen. Der Satz von Bayes, welcher die A-Posteriori-Wahrscheinlichkeiten berechnet, lautet dann wie folgt: P (s = c i m(s)) = P ( m(s) s = c i)p (s = c i ) K 1 k=0 P ( m(s) s = c k). Der Nenner dient hierbei lediglich der Normalisierung, um einen Wert zwischen 0 und 1 (100%) zu erhalten. 8

10 KAPITEL 3. KLASSIFIKATIONSVERFAHREN 9 Abbildung 3.1: Zwei Merkmalsverteilungsfunktionen für zwei Klassen c 1 und c 2 (gestrichelt). Die durchgezogenen Linien sind die mit der A-Priori-Wahrscheinlichkeit gewichteten Merkmalswahrscheinlichkeiten, die Entscheidungsgrenze ist der Schnittpunkt der gewichteten Verteilungen. Es wird sehr klar deutlich, dass eine Minimierung der Fehlklassifizierung erst bei einer gewichteten Verteilung vorgenommen werden kann 3.2 A-Priori-Wahrscheinlichkeit und Merkmalsverteilungsfunktion Da im Normalfall weder die A-Priori-Wahrscheinlichkeit noch eine Merkmalsverteilungsfunktion gegeben ist, müssen diese geschätzt werden. Dies geschieht wieder mit Hilfe einer bereits klassifizierten Trainingsmenge T = T 1 T 2... T K. Jede dieser disjunkten Teilmengen T k besteht aus N(k) Segmenten. Die A-Priori-Wahrscheinlichkeit gibt die Wahrscheinlichkeit der Zuordnung eines Segments s zu einer Klasse c i unabhängig von der Kenntnis der Merkmale für s an. Sie ist oft aufgrund von Vorwissen oder aus der Anwendung heraus bekannt, andernfalls kann man sie aus der Trainingsmenge schätzen. Das Schätzen der Merkmalsverteilungsfunktion ist nicht so einfach. Hier muss für jede Klasse eine M-dimensionale Funktion geschätzt werden. Liegen unkorrelierte Merkmale vor, kann man die Funktion aus dem Histogramm der Merkmalswerte der Segmente einer Klasse c bestimmen. Hierfür wird für jedes Merkmal m i (s) ein Histogramm aufgestellt, aus welchem die Verteilungsfunktion P (m i s = c) geschätzt werden kann. Die Gesamtwahrscheinlichkeit P ( m(s) s = c) berechnet sich dann aus dem Produkt der Einzelwahrscheinlichkeiten. Zur Bestimmung der Histogramme wird die Definitionsmenge der Merkmale in B Intervalle zerlegt. B gibt die Genauigkeit dieser Schätzung an. Als Faustregel gilt für unkorrelierte Merkmale, dass B = N sein sollte, wobei N die Anzahl der Stichproben ist. Liegen jedoch korrelierte Merkmale vor, muss die Gesamtwahrscheinlich-

11 KAPITEL 3. KLASSIFIKATIONSVERFAHREN 10 Abbildung 3.2: Schätzung der Merkmalsverteilung anhand der Blau- und Rotwerte der Pixel zur Klassifikation in Vorder- und Hintergrund eines Bildes. Da hier genug Stichproben (ca Pixel je Klasse) vorliegen, ist eine Schätzung hier gut möglich. Das Histogramm unten links zeigt die Pixelhäufigkeiten an. keit direkt geschätzt werden. Hier liegt ein guter Wert für B bei N 1/(M+1), was schon bei einer kleinen Merkmalsdimension sehr groß werden kann. Ist die Charakteristik einer Verteilung bekannt, vereinfacht dies die Schätzung. Sind die Merkmale zum Beispiel unkorreliert und normalverteilt, so reicht es für jedes Merkmal seinen Erwartungswert und die Varianz zu schätzen. Hat man eine zu geringe Menge an klassifizierten Stichproben vorliegen, kann man der Einfachheit halber annehmen, dass alle Klassen die gleiche A-Priori-Wahrscheinlichkeit haben und dass die Verteilungen für die Merkmalswahrscheinlichkeiten umgekehrt proportional zum Abstand vom Erwartungswert sinken. Somit muss für jede Klasse nur ein durchschnittlicher Merkmalsvektor berechnet werden. Liegt ein unbekanntes Segment vor, wird es der Klasse zugeordnet, deren mittlerer Merkmalsvektor seinem Merkmalsvektor am nächsten liegt. Die Vorteile des Bayes schen Klassifikators liegen darin, dass die Trainingsdaten nur ein-

12 KAPITEL 3. KLASSIFIKATIONSVERFAHREN 11 mal durchlaufen werden müssen und fehlende Daten einfach ignoriert werden können. Nachteile jedoch sind, dass die Merkmale unkorreliert und diskret sein müssen, damit eine effiziente Klassifizierung möglich ist. 3.3 Direkte Schätzung der A-Posteriori- Wahrscheinlichkeit und NN-Klassifikation Möchte man nur ein einzelnes Segment klassifizieren, so ist es zu aufwändig, die A- Posteriori-Wahrscheinlichkeiten für alle Merkmalskombinationen zu berechnen. In diesem Fall ist es, bei gut gewählten Merkmalen, schneller und einfacher, die A-Posteriori- Wahrscheinlichkeit des gegebenen Segments direkt zu schätzen. Dies geschieht mittels der Formel P (s = c i m(s)) {t j t j T i m(t j ) m(s) < ε} {t l t l T m(t l ) m(s) < ε}, wobei s das gegebene Segment mit Merkmalsvektor m(s) ist, für welches die A-Posteriori- Wahrscheinlichkeit geschätzt wird, mit der s der Klasse c i zugeordnet werden kann. T = T 1 T 2... T K ist hierbei wieder eine bereits klassifizierte Trainingsmenge, t eine Stichprobe dieser Trainingsmenge in einem gegebenen Intervall mit Radius ε. Da diese Schätzung jedoch bei einer größeren Umgebung sehr ungenau wird und eventuell sogar eine Gleichverteilung ergibt, ist es sinnvoller die Nächster Nachbar Klassifikation (NN-Klassifikation) zu verwenden. Gegeben ist hier wieder eine bereits klassifizierte Trainingsmenge T und ein zu klassifizierendes Segment s. Die Klasse des zu klassifizierenden Segments s ergibt sich als die Klasse der Stichprobe, deren Merkmalsvektor dem von s am nächsten ist. Gibt es jedoch Ausreißer in der Trainingsmenge, so ist die einfache NN-Klassifikation sehr fehleranfällig. In diesem Fall werden die nächsten k Nachbarn des zu klassifizierenden Segments s betrachtet und das Segment der Klasse zugeordnet, deren Merkmalsvektor am häufigsten am nächsten an dem von s lag. Je größer k gewählt wird, desto genauer wird der Klassifikator und desto mehr nähert er sich dem Bayes schen Klassifikator an. Allerdings sollte k auch nicht zu groß gewählt werden und immer deutlich unter der Anzahl der Stichprobenanzahl liegen. Die Vorteile des NN-Klassifikators liegen darin, dass die Merkmale kontinuierlich und bei geeigneter Metrik korreliert sein dürfen. Nachteile jedoch sind, dass die Trainingsdaten bei jedem Test erneut durchlaufen werden müssen und Merkmalsvektoren mit fehlenden Werten nur bedingt verwendet werden können.

13 KAPITEL 3. KLASSIFIKATIONSVERFAHREN Lineare Entscheidungsfunktion Das Testen der Merkmalsvektoren aller vorhandenen Segmente zur Klassifikation ist meist eine sehr zeitaufwendige Arbeit. Stellt man sich die durch gute Merkmale repräsentierten Segmente in einem Koordinatensystem vor, so stellt man nach einer erfolgreichen Klassifikation fest, dass die einzelnen Klassen durch Grenzen voneinander getrennt sind. Nun kann man versuchen, anstatt eine langwierige Klassifikation zu durchlaufen, gleich die Klassengrenzen zu berechnen. Dies geschieht mithilfe der sogenannten Entscheidungsfunktion (decision boundary), welche aus den Trainingsdaten ermittelt werden kann. Die tatsächliche Grenze zwischen den Klassen ist meist eine aufwendige Funktion, welche sehr komplex ist. Daher berechnet man nur eine Annäherung an diese Grenze, wobei die Wahl einer linearen Entscheidungsfunktion hier die einfachste Art und Weise ist. Hat man eine Klassifikation in zwei Klassen, so lautet die Entscheidungsfunktion für den Merkmalsvektor m(s) folgendermaßen: D( m) = w 0 + w 1 m w K m M. Für alle Segmente s der Klasse c 1 gilt dann D( m(s)) < 0, für alle Segmente der Klasse c 2 gilt D( m(s)) > 0. Existiert eine solche Grenze, so heißt das Klassifizierungsproblem separierbar. Entscheidend bei der Funktion sind die Gewichtungen w 0,..., w K. Diese bestimmt man durch iterative Anpassung. Die Gewichte werden mit Zufallswerten initialisiert, anschließend werden Stichproben aus der bereits klassifizierten Trainingsmenge in die Funktion eingesetzt. Entspricht das Ergebnis der erwarteten Klasse, geschieht nichts, andernfalls wird die Grenze angepasst. Dies geschieht solange bis die Klassen linear separierbar sind oder der Klassifikationsfehler unter eine angegebene Schranke gesunken ist. Existieren mehr als zwei Klassen, so muss eine Entscheidungsfunktion für je zwei Klassen berechnet werden. Je größer die Anzahl der Klassen ist, desto komplizierter wird dieses Verfahren also. Abbildung 3.3 zeigt die Skizze einer Anpassung der linearen Entscheidungsgrenze für zwei Klassen. 3.5 Klassifikation durch Entscheidungsbäume Klassifikatoren wie der NN-Klassifikator oder der Bayes sche Klassifikator betrachten immer alle M Dimensionen der Merkmalswerte gleichzeitig. Je nach Problemstellung ist es jedoch einfacher und sinnvoller, eine hierarchische Struktur in die Klassifikation zu bringen und einzelne Komponenten des Merkmalsvektors einzeln hintereinander zu betrachten. So wird die Anzahl der zur Verfügung stehenden Klassen immer weiter eingeschränkt, bis man schließlich bei der gesuchten Klasse angelangt ist.

14 KAPITEL 3. KLASSIFIKATIONSVERFAHREN 13 Abbildung 3.3: Anpassung einer linearen Entscheidungsgrenze für ein Zwei-Klassen- Problem Abbildung 3.4 verdeutlicht leicht die Vorgehensweise bei der hierarchischen Klassifikation anhand zweier (funktional) äquivalenter Entscheidungsbäume, welche ein Lebewesen als Fisch, Vogel, Mensch, Katze oder Pferd klassifizieren. Ein Segment hat hier einen 2-dimensionalen Merkmalsvektor bestehend aus den Komponenten h > 0, welche die Körpergröße (in Metern) angibt und b {0, 2, 4}, welche die Anzahl der Beine ist. Der hierarchische Klassifikator betrachtet nun nacheinander die beiden Komponenten der Merkmalsvektoren und schränkt so schon im ersten Schritt die Anzahl der möglichen Klassen deutlich ein. Für jedes Problem mit mehr als zwei Merkmalswerten pro Segment gibt es mindestens zwei verschiedene, jedoch funktional äquivalente Entscheidungsbäume. Für welchen Baum man sich entscheidet, hängt von verschiedenen Kriterien ab. Möchte man mit so wenig Vergleichen wie möglich auskommen, so würde man in unserem Beispiel sicher den unteren Baum wählen, weil dieser eine geringere Tiefe als der obere Baum vorweist. Möchte man jedoch im ersten Schritt schon so viele Klassen wie möglich ausschließen, so würde man sich für den oberen Baum entscheiden, weil dieser eine geringere Anzahl an Kindern pro Blatt hat.

15 KAPITEL 3. KLASSIFIKATIONSVERFAHREN 14 b=0 b=2 b=4 Fisch h<=1m h>1m h<=1m h>1m Vogel Mensch Katze Pferd h<=1m h>1m b=0 b=2 b=4 b=0 b=2 b=4 Fisch Vogel Katze Fisch Mensch Pferd Abbildung 3.4: Zwei (funktional) äquivalente Entscheidungsbäume

16 Kapitel 4 Clustering-Methoden Als eine Vorstufe der Klassifikation kann man die Datenmenge clustern. Auch für das Clustern benötigt man repräsentative Merkmale der Segmente. Sind diese Merkmale geeignet gewählt, so dass sich die Segmente einer Klasse im Merkmalsraum an einem bestimmten Ort häufen, erreicht man durch ein Clustering ebenfalls eine Klassifikation. Beim Clustering gilt, ebenso wie bei der Klassifikation, dass bei einer guten Wahl der Merkmale die Segmente innerhalb eines Cluster einen besonders kleinen und zwei Segmente unterschiedlicher Cluster einen besonders großen Abstand zueinander haben sollten. 4.1 Agglomeratives Clustering Das agglomerative Clustering ist eine hierarchische Clusteringmethode. Dargestellt werden die Cluster durch eine Partitionsmenge Γ, welche für jeden Cluster die zu ihm gehörigen Segmente enthält. Zu Beginn des Algorithmus stellt jedes Segment einen einzelnen Cluster dar, also Γ 0 = s 1,..., s n. In jedem Schritt des Algorithmus werden immer die zwei Cluster zu einem größeren Cluster zusammengefasst, welche den geringsten Abstand zueinander besitzen. Dies geschieht solange bis eine angegebene Clusteranzahl erreicht wurde oder der gesamte Datensatz zu einem einzigen Cluster zusammengefasst wurde. Der Abstand kann hierbei durch drei Verschiedene Methoden berechnet werden: Minimalabstand (Single Linkage) d(c a, C b ) = min x C a,y C b x y 15

17 KAPITEL 4. CLUSTERING-METHODEN 16 Abbildung 4.1: Einfaches Beispiel des agglomerativen Clusterings. Es werden so lange Cluster zusammengefügt, bis die erwünschte Anzahl an Clustern erreicht wurde oder der gesamte Datensatz einem einzigen Cluster zugeordnet wurde. Maximalabstand (Complete Linkage) d(c a, C b ) = mittlerer Abstand (Average Linkage) d(c a, C b ) = max x y x C a,y C b 1 C a C b x C a,y C b x y Abbildung 4.1 verdeutlicht das agglomerative Clustering exemplarisch an einem Beispiel. Eine andere Alternative des agglomerativen Clustering, auf die hier jedoch nicht näher eingegangen wird ist das sogenannte divisive Clustering, bei welchem in der Initialisierung alle Segmente einem Cluster zugeordnet werden. Bei diesem Algorithmus werden die Cluster dann durch Dichteschätzer sukzessive aufgeteilt, bis die gewünschte Anzahl an Clustern vorhanden ist oder alle Segmente einen einzelnen Cluster darstellen.

18 KAPITEL 4. CLUSTERING-METHODEN Partitionierendes Clustering Beim partitionierenden Clustering wird für eine gegebene Anzahl an Clustern die Zugehörigkeit der einzelnen Segmente zu den Clustern berechnet und optimiert. Die zwei bedeutendsten Algorithmen des partitionierenden Clusterings sind das hard c-means (HCM) und das fuzzy c-means (FCM), welche in den nächsten beiden Abschnitten näher betrachtet werden Hard c-means (HCM) Um zu bestimmen, welche Segmente welchen Clustern angehören, benötigt man eine Partitionsmatrix U, welche für jedes Segment s angibt, zu welchem der c Cluster dieses zugeordnet wird. Die Matrix U besteht aus den Elementen { 1, fallss k C i u ik = 0, fallss k / C i. Da jedes Cluster immer mindestens ein Element besitzt und alle Cluster disjunkt sind, gilt für die Partitionsmatrix n u ik > 0, i = 1,..., c und k=1 c u ik = 1, k = 1,..., n. Zusätzlich zur Partitionsmatrix U existiert in HCM ein Vektor i=1 V = v 1,..., v c, welcher die Prototypen der Cluster, das heißt die Clusterzentren, enthält. Die Zuordnung der Segmente zu den c Clustern kann zum Beispiel über die bereits in Abschnitt 3.3 vorgestellte Nearest-Neighbor-Regel erfolgen, das heißt s k gehört genau dann zu Cluster k, wenn s k v i = min j=1,...,c s k v j. Die Berechnung der Clusterzugehörigkeiten erfolgt durch alternierende Optimierung, das heißt es werden abwechselnd U und V neu bestimmt. Die Neubestimmung der Clusterzentren entspricht hier einer Berechnung der Schwerpunkte aller Punkte jedes Clusters, die Neubestimmung der Zugehörigkeiten kann, wie oben bereits beschrieben, durch die Nearest-Neighbor-Regel erfolgen. Als Kostenfunktion wird die Summe der quadratischen

19 KAPITEL 4. CLUSTERING-METHODEN 18 Abstände zwischen den Clusterzentren und den zugehörigen Segmenten minimiert. Zu Beginn des Algorithmus werden die Clusterzentren V zunächst zufällig initialisiert und nach jeder Neuberechnung von U und V jeweils geprüft, ob die Änderungen in V unterhalb einer Abbruchgrenze ɛ liegen. Ist dies der Fall oder die maximale Zahl an Iterationen wurde erreicht, so stoppt der Algorithmus. In Abbildung 4.2 wird an einem kleinen Beispiel das Verfahren der alternierenden Optimierung für c-means-clustering erläutert Fuzzy c-means (FCM) Im Prinzip sind HCM und FCM vom Algorithmus her gleich. Es gibt jedoch zwei entscheidende Unterschiede der beiden Verfahren, auf welche hier näher eingegangen wird. Ein wichtiger Unterschied zwischen HCM und FCM ist der, dass beim FCM anstatt harten Zugehörigkeiten, das heißt 0 oder 1, unscharfe Zugehörigkeiten der Segmente zu den Clustern betrachtet werden. Durch die Partitionsmatrix wird nun angegeben, zu welchem Grad ein Segment s k einem Cluster C i angehört. Die Werte einer solchen kontinuierlichen Partitionsmatrix sind = 0, fallss k / C i u ik = 1, fallss k C i (0, 1), sonst. Außerdem gehen in die Berechnung der Kostenfunktion und die Bestimmung von U und V ein Parameter m (1, ) ein, welcher angibt, wie große die Unschärfe der Cluster sein soll. Wählt man m = 1, so geht FCM in HCM über. Ein häufig verwendeter Wert ist m = 2.

20 KAPITEL 4. CLUSTERING-METHODEN 19 Abbildung 4.2: Beispiel des c-means-clusterings mit 2 Clusterzentren. Zu Beginn werden zufällig zwei Clusterzentren initialisiert und in einer alternierenden Optimierung solange neu zugeordnet bis eine Abbruchgrenze ɛ oder die maximale Zahl an Iterationen erreicht wurde.

21 Kapitel 5 Zusammenfassung In dieser Arbeit wurde der wesentliche Prozess der Klassifikation an einigen Methoden von der Merkmalsfindung über die Klassifikation bis hin zu der Vorstufe des Clusterings vorgestellt. Um eine Klassifikation durchführen zu können, benötigt man repräsentative Merkmale für die einzelnen Segmente. Hierfür wurde der Begriff des Merkmals eingeführt und im Speziellen auf regionen- und formbasierte Merkmale eingegangen. Bei der Klassifikation werden die vorhandenen Daten mit einem Modell verglichen und anhand der Resultate eine Zuordnung durchgeführt. Für solch eine Zuordnung wurden vier wesentliche Verfahren der Klassifikation eingeführt. Neben dem Bayes schen Klassifikator, der direkten Schätzung einer Klassifikation und einer Approximation der Grenzen zwischen verschiedenen Klassen wurde eine hierarchische Methode mit Hilfe von Entscheidungsbäumen vorgestellt. Das Clustering, eine mögliche Vorstufe der Klassifikation, bestimmt Häufungen von Segmenten im Merkmalsraum. Mit den geeigneten Merkmalen kann diese sogar eine Klassifikation ersetzen. Es wurden zwei Typen, das agglomerative und das partitionierende Clustering, vorgestellt. 20

22 Literaturverzeichnis [Run00] Thomas A. Runkler. Information Mining. Vieweg Verlagsgesellschaft, [Tö05] Klaus D. Tönnies. Grundlagen der Bildverarbeitung. Pearson Studium,