Versuch zur Ziffernerkennung 9. April 2008

Transkript

1 1 Zielsetzung Versuch zur Ziffernerkennung 9. April 2008 In diesem Praktikumsversuch sollen Sie die grundlegenden Konzepte der Mustererkennung kennenlernen. Als einführendes Problem dient die Unterscheidung von handschriftlichen Ziffern. Dazu werden Sie einen Satz an Daten erstellen, indem Sie eingescannte handschriftliche Ziffern auswählen. Diese Ziffern werden einem Vorverarbeitungsschritt unterzogen, bei dem beispielsweise die Größe der Ziffern normalisiert wird auf Sie sollen anschließend einen Satz an Merkmalen (engl. features) berechnen, anhand derer man die Ziffern unterscheiden kann. Wir beschränken uns der Einfachheit halber mit dem Problem zwei Klassen von Ziffern zu unterscheiden, beispielsweise Fünfer von Zweiern. Als nächstes werden Sie jeweils zwei Merkmale auswählen und damit versuchen ihre Daten möglichst eindeutig zu klassifizieren, d.h. der richtigen Ziffernklasse zuzuordnen. Zur Klassifizierung verwenden Sie den SVM-Algorithmus (s.u.), einer der besten derzeit verfügbaren Klassifikatoren. Um die Güte der ausgewählten Merkmale zu untersuchen, werden Sie eine Vergleichsprüfung durchführen. Dazu werden die Eingangsdaten in zwei Datensätze unterteilt, in den sdatensatz und den datensatz. Mit dem sdatensatz werden die Parameter für die SVM bestimmt und mit dem datensatz wird der Klassifizierungsfehler berechnet. Der Klassifizierungsfehler ist der Prozentsatz an falsch klassifizierten Ziffern. 2 Vorbereitung Lesen Sie die Kurzanleitung zu Matlab und machen Sie sich mit den Befehlen vertraut. Zur Überprüfung Ihrer Vorbereitung befinden sich Fragen am Ende der Kurzanleitung, die Sie zuhause bearbeiten sollen. Lesen Sie den kompletten Aufgabentext sorgfältig durch. Haben Sie Fragen zum Verständnis, stellen Sie diese gleich zu Beginn des Praktikums. Bringen Sie keinen fertigen Code zum Praktikum mit. Im Praktikum erhalten Sie einen Benutzernamen und ein Passwort, womit Sie sich auf dem Praktikumsrechner einloggen können. Danach startet die grafische Benutzeroberfläche. Beantworten Sie die Fragen der Installation einfach mit OK. Mit einem Rechtsklick auf den Desktop öffnen Sie ein Menü, in dem Sie den Punkt Terminal auswählen. Wechseln Sie in den Ordner digit mit dem Befehl cd digit und starten Sie MatLab indem Sie im Terminal matlab2006a eingeben. 3 Merkmalsextraktion und -Auswahl Bei der Merkmalsextraktion geht es darum Merkmale aus den puren Daten zu gewinnen, die zu einer möglichst guten Unterscheidbarkeit der Klassen führt. Wenn man schon ein gewisses Vorwissen für die Daten besitzt, kann man dieses nutzen um Image and Pattern Analysis Group 1 Jörg Kappes

2 gute Merkmale zu extrahieren. Ein Merkmal ist dabei nichts anderes als eine Zahl, die man aus den Daten ableitet. Sie sollen zunächst einige vorgegebene Merkmale berechnen (s.u.) und sich anschließend ein Merkmal selbst überlegen. Häufig möchte man die Anzahl an Merkmalen gering halten, um den Berechnungsaufwand möglichst klein zu halten. Gleichzeitig soll das Klassifizierungsergebnis dabei nicht verschlechtert werden. Sie werden empirisch die beste Auswahl an Merkmalen finden, die Ihre Klassen voneinander trennt. 4 Klassifizierung Zur Klassifizierung verwenden Sie den SVM-Algorithmus. Das Verfahren wurde 1992 von Boser, Guyon und Vapnik vorgeschlagen und zählt seither zu den leistungsfähigsten Klassifikatoren. Allgemein geht es bei Klassifizierungsalgorithmen stets darum, eine Abbildung f von einem Merkmalsraum X auf eine diskrete Menge von Klassenlabels Y zu finden. Bei der überwachten Klassifizierung, mit der wir uns hier ausschließlich beschäftigen wollen, ist dabei Eingabe eine smenge X X,Y Y und Ausgabe eine Entscheidungsfunktion f X Y. Im allgemeinen werden wir nicht alle denkbaren Abbildungen von X auf Y als Entscheidungsfunktionen zulassen, sondern bestimmte Anforderungen (Glattheit, Stetigkeit, ität) an f stellen. In diesem Praktikum werden wir Entscheidungsfunktionen untersuchen, die entweder linear sind oder als Summe bestimmter Gaussfunktionen dargestellt werden können. Die Menge zulässiger Entscheidungsfunktionen wird häufig als Hypothesenraum H bezeichnet. Konkret können wir uns die smenge häufig als Punktwolken vorstellen. Im zweidimensionalen Fall (X = R 2 ) und für affine Entscheidungsfunktionen (d.h. lineare Funktionen, die nicht durch den Ursprung gehen müssen) finden Sie in Abbildung 1 eine Visualisierung: Die Gerade, die die beiden Punktwolken trennt, ist durch {x R 2 : f(x) = 0} beschrieben und zeichnet sich dadurch aus, dass sie die Gerade mit dem breitest möglichen Rand zwischen den Punktwolken ist. Führt man ein ähnliches Experiment mit einem anderen Hypothesenraum durch, erhält man wiederum eine Trennline mit breitem Rand (Abb. 2). Es wird klar: Der wichtigste Parameter einer SVM ist die Wahl des Hypothesenraums H. Macht man hier einen Fehler, kann es sein, dass man keine Entscheidungsfunktion findet (Abb. 2) oder die Entscheidungsfunktion unnötig kompliziert ist. Eine Gefahr von sehr komplizierten Entscheidungsfunktionen ist die Überanpassung (engl. over-fitting): Statt die allgemeine Struktur der Punkte im Merkmalsraum zu erfassen, lernt der Klassifikator lediglich die Daten auswendig. Erscheinen später neue, unbekannte Daten, kann er nicht auf diese verallgemeinern. Um die Verallgemeinerungsfähigkeit eines Klassifikators f zu bestimmen, trennt man den Datensatz (X, Y ) häufig auf in einen sdatenatz und einen datensatz. Mittels des sdatensatzes wird ein f H gewählt. Mit dem datensatz bestimmt man anschließend, wie gut f auf unbekannten Daten abschneidet. Man spricht in diesem Zusammenhang häufig von s- und fehler. In der Praxis stellt man oft fest, dass ein einfacher Klassifikator, der auf den sdaten einige Klassifizierungsfehler macht, auf den daten besser abschneidet als ein komplizierter Klassifikator, der die sdaten perfekt klassifiziert. Image and Pattern Analysis Group 2 Jörg Kappes

3 Abbildung 1: Entscheidungsfunktion einer SVM. Der Merkmalsraum X ist hier R 2, die Klassenlabels sind Y = {, } der Hypothesenraum H ist die Menge aller affinen Funktionen auf X. Abbildung 2: Entscheidungsfunktion einer nichtlinearen SVM. Die Punkte sind linear nicht trennbar. Im Hypothesenraum H der überlagerten Gaussfunktionen ergibt sich jedoch eine elegante, glatte Trennfunktion. Beachte, dass ein Punkt (oben) falsch klassifiziert wird. Image and Pattern Analysis Group 3 Jörg Kappes

4 Deshalb gibt es bei SVMs einen zweiten Parameter, der Einfachheit von Klassifizierungsfunktionen gegen Anzahl der Fehler auf dem sdatensatz abwägt. Im Praktikum werden Sie sich intensiv mit diesem Parameter beschäftigen. 5 Aufgaben 1. Merkmalsextraktion. Laden Sie die Dateien feature/feature X.m, X {1,...,4} in den Editor. Geben Sie dazu auf dem Matlab Prompt folgendes ein: edit feature/feature_x Darin finden Sie schon jeweils ein Funktionsgerüst, das Sie vervollständigen sollen. Jeder Funktion wird jeweils ein Grauwertbild übergeben (normalisierte Ziffer). Programmieren Sie die folgenden Merkmale: (a) Mittlerer Grauwert des Eingabebildes. (b) Entropie über die Spaltenstatistik. Allgemein gilt: Die Entropie H(X) einer diskreten Zufallsvariable X ist ein Maß ihrer Zufälligkeit. Die Entropie ist definiert als H(X) := N p(x n )log p(x n ), n=1 wobei p(x n ) die Wahrscheinlichkeit für ein Ereignis X = x n ist. Vereinbarungsgemäß setzt man falls p(x n ) = 0 auch p(x n )log p(x n ) = 0. Für die Aufgabe gilt: Betrachten Sie nun den Vektor s R 16 der Spaltensummen, d.h., den Vektor, der angibt, wieviele weiße Pixel in jeder Spalte des Eingabebilds stehen. Berechnen Sie einen normalisierten Vektor s, der zu 1 summiert: s i := s i 16 i=1 s i i {1,...,16} und betrachten Sie diesen als Wahrscheinlichkeitsverteilung: p(x i ) s i. Berechnen Sie die Entropie von s nach der Formel oben und geben Sie diese als Merkmal zurück. (c) Entropie über die Zeilenstatistik. (d) Eigenes Merkmal. Denken Sie sich selbst ein Merkmal aus, von dem Sie erwarten, dass es die Klassen gut voneinander unterscheidet. en Sie Ihre Merkmale an dem Beispielbild neun. Laden Sie dies mit load neun und rufen Sie dann feature_x(neun) auf. Sie sollten das folgende Ergebnis erhalten: Image and Pattern Analysis Group 4 Jörg Kappes

5 >> feature_1(neun) ans = >> feature_2(neun) ans = >> feature_3(neun) ans = Datensatz erstellen. Rufen Sie mit datensatz eine grafische Oberfläche auf, mit der Sie Ihren Datensatz erstellen können, siehe Abbildung 3. Geben Sie unter Bild: einen Dateinamen für ein Bild mit handschriftlichen Ziffern ein und klicken Sie auf Laden. Beispielbilder befinden sich im Unterverzeichnis images mit Namen digits 000X.pnm. Wenn Sie nun auf das Bild klicken, wird der Cursor zu einem Kreuz und Sie können einen Ausschnitt auswählen. Markieren Sie die Zahlen von links unten nach rechts oben. Nach der Auswahl erscheint dieser im Feld Ausschnitt und die normalisierte Version im Feld Normalisiert. Klicken Sie die richtige Ziffernklasse an und anschließend auf Hinzufügen. Wiederholen Sie diesen Vorgang bis Sie von zwei verschiedenen Klassen jeweils ca. 50 Beispiele im Datensatz haben. Klicken Sie anschließend auf Fertig. Die berechneten Merkmale befinden sich in der Variablen X, pro Ziffer eine Zeile. In der Variablen Y stehen die zugehörigen Zifferklassen. Nachdem Sie den Datensatz erstellt haben sollten Sie zur Sicherheit ihren Workspace sichern. Geben Sie hierzu save(workspace.mat) in der MatLab- Konsole ein. 3. Merkmalsauswahl, Klassifizierung und Vergleichsprüfung. Rufen Sie klassifizierung(x,y) in Matlab auf, siehe Abbildung 4. Das Modul trennt den übergebenen Datensatz automatisch in einen s- und einen datensatz. Wählen Sie von den vier berechneten Merkmalen nun jeweils zwei aus. Führen Sie die nachfolgende Aufgabe (Klassifizierung und Vergleichsprüfung) für alle möglichen Merkmalskombinationen durch. Das Modul zur Klassifizierung gibt bereits die Anzahl an Fehlklassifizierungen für den s- bzw. datensatz aus. Wenn Sie wollen, können sie diese noch als relativen Fehler in Prozent umrechnen. Die beiden Ziffernklassen erhalten die Label -1 und +1, wobei -1 für die Klasse mit kleinerer Ziffer vergeben wird. bedeutet daher, dass eine Ziffer aus Klasse +1 der Klasse -1 zugeordnet wird; false positive bedeutet, dass eine Ziffer der Klasse -1 als ein Element der Klasse +1 eingestuft wird. Zur Vergleichsprüfung des Klassifikators können Sie für die jeweilige Merkmalsauswahl die Tabellen am Ende der Aufgaben verwenden um Ihre Ergebnisse einzutragen. Bei sehr kleinen Werten für den Parameter Empfindlichkeit Image and Pattern Analysis Group 5 Jörg Kappes

6 Abbildung 3: Erstellung des Datensatzes Abbildung 4: Klassifizierung Image and Pattern Analysis Group 6 Jörg Kappes

7 kann es zu numerischen Instabilitäten kommen, die Matlab mit einer Warnung Warning: Working set not changed - check accuracy. Exiting. quittiert. Sie können diese ignorieren. 6 Auswertung und Dokumentation Um Ihre Ergebnisse zu dokumentieren sollen Sie zum Abschluss einen kleinen Vortrag bestehend aus maximal(!) 10 Vortragsfolien erstellen. Öffnen Sie dazu im Applikationsmenü den PunktOffice und wählen SieOpenOffice Impress aus 1. Arbeiten Sie folgende Punkte aus: 1. Was ist die Funktion des Parameters Empfindlichkeit? 2. Fassen Sie die Ergebnisse für den Klassifizierungsfehler der verschiedenen Merkmale und der beiden Hypothesenräume in einer oder mehreren Tabellen zusammen. 3. Erstellen Sie für jede Messreihe des Typs je eine Grafik, in der Sie auf der x-achse die Empfindlichkeit und auf der y-achse den sfehler und den fehler auftragen. Was stellen Sie fest? 4. Erstellen Sie eine oder mehrere Grafiken in der Sie die verschiedenen Klassifikatoren anhand des fehlers miteinander vergleichen. Was stellen Sie fest? 5. Für eine Merkmalsauswahl Ihrer Wahl, erstellen Sie für den besten und den schlechtesten Klassifizierungsfehler jeweils einen Bildschirmausdruck des Klassifizierungsmoduls und erklären Sie diese. Tun Sie dies sowohl für den Typ als auch für den Typ, d.h. insgesamt vier Bilder. Einen Bildschirmausdruck können Sie mit dem Programm ksnapshot erstellen, das sich im Menü Graphics des Desktop-Bedienfeldes befindet. 6. Sie werden merken, dass der Typ flexibler ist als der Typ. Wieso verwendet man manchmal dennoch lieber lineare Klassifikatoren? 7 Fragen (zur Vorbereitung) Beantworten Sie diese Fragen stichpunktartig bereits zu Hause. 1. Was ist der Vorteil, zwei Merkmale zu benutzen statt nur einem einzigen? 2. Was ist der Nachteil wenn man zwei Merkmale benutzt? 3. Könnte man auch mehr als zwei Merkmale verwenden? 4. Auf wieviele Arten können Sie M Merkmale aus N > M Merkmalen auswählen? Berechnen Sie die Anzahl an möglichen Kombinationen für den Fall N = 100, M = 10. Können Sie sich vorstellen warum Merkmalsauswahl als ein schwieriges Problem gilt? 1 Falls Sie Erfahrung mit L A TEX-Folien und Gnuplot haben, können Sie auch diese verwenden. Image and Pattern Analysis Group 7 Jörg Kappes

8 5. Ein Student schlägt Ihnen vor, folgende Merkmale zu benutzen: Den mittleren Grauwert des Eingabebildes. Die Anzahl der weißen Bildpunkte des Eingabebildes. Die Anzahl der schwarzen Bildpunkte des Eingabebildes. Ist das eine gute Merkmalsauswahl? Welche Probleme entstehen, wenn Sie diese Merkmale miteinander kombinieren? 6. In welchem Verhältnis stehen der sfehler und der fehler qualitativ zueinander? Was erwarten Sie, wo der Fehler in der Praxis liegen wird? Können Sie Ihre Erwartung begründen? Image and Pattern Analysis Group 8 Jörg Kappes

9 Merkmale, Empfindlichkeit Merkmale, Empfindlichkeit Merkmale, Empfindlichkeit

10 Merkmale, Empfindlichkeit Merkmale, Empfindlichkeit Merkmale, Empfindlichkeit