Einführung R. Neubecker, WS 2018 / 2019

Transkript

1 Mustererkennung Einführung R. Neubecker, WS 2018 /

2 Übersicht Hyperebenen-Mathematik Anmerkungen Zusammenfassung Mustererkennung (Pattern recognition) Mustererkennung ist die Fähigkeit, in einer Menge von Daten Regelmäßigkeiten, Wiederholungen, Ähnlichkeiten oder Gesetzmäßigkeiten zu erkennen. In unserem Kontext: Zuordnung von Ereignissen / Objekten zu einer Gruppe mit ähnlichen Eigenschaften = Klasse Machine Learning Vorhersagen aus Erfahrungen treffen = Verallgemeinern von Informationen / Eigenschaften aus einem kleinen Ensemble auf bisher unbekannte Situationen Erkennen von Mustern und Gesetzmäßigkeiten Benötigt immer Lernphase (Training) mit Trainingsdaten Ganz allgemeine Definition, umfasst die unterschiedlichsten Algorithmen Klassifikation Entscheidung, zu welcher Gruppe / Kategorie / Klasse / Typ ein Objekt gehört, von dem gewisse Merkmale bekannt sind Klassifikation = gewollter Informationsverlust: Bilddaten Merkmale Klasse 2

3 Klassifikation: Beispiele und verwandte Gebiete Gesichtserkennung Schrifterkennung (Druckschrift / Handschrift) Spracherkennung Automatische Bildauswertung in der Medizin und Mikrobiologie (DNA-Sequenzen, Röntgenbilder, Tomogramme, ) Bioinformatik Automatische Generierung von Landkarten aus Luftbildern Geoinformation, Fernerkundung Clusteranalyse Statistik Kategorisierung Psychologie der Wahrnehmung -Spamfilter Data-Mining NSA & GCHQ sehr breites Gebiet mit unterschiedlichen Schwerpunkten und Vorgehensweisen und variierendem Sprachgebrauch. Sehr viele Verfahren und Varianten, hier nur eine Einführung und Auswahl. Typische Bildverarbeitungskette Bildaufnahme Entscheidungen: Bildvorverarbeitung Segmentierung Detektion (Da ist etwas ) Merkmalsextraktion Klassifikation Klassifikation (Es ist ein...) Aktion 3

4 Merkmal (Feature) Ein Merkmal ist allgemein eine erkennbare, kennzeichnende Eigenschaft, die ein Objekt / Ereignis / Ding / Muster von anderen unterscheidet (Charakteristikum). Eigenschaft zum Erkennen oder zum Unterscheiden von Einheiten Meist stehen mehrere Merkmale zur Verfügung Für uns: nur kontinuierliche Merkmale (= reele Zahlenwerte). Möglich sich auch andere Skalen, z.b. nominale Merkmale, z.b. bei autonomem Fahren: Objekt auf Straße / auf Bürgersteig, - hat Achsen / Beine, bewegt sich / steht Quantitativ Merkmal Qualitativ kontinuierlich diskret ordinal nominal Merkmale schwanken für Objekte aus einer Klasse Grundkonzept Training Mit einer Stichprobe wird der Klassifikator trainiert = Parametrierung des Klassifikators =Festlegen der Klassengrenzen Klassifikation Anwendung des Klassifikators: Unbekanntes Objekt Anhand der Klassengrenzen wird entschieden, zu welcher Klasse es gehört 4

5 Grundkonzept Auswahl Festlegen des Klassifikator-Typs Training Mit einer Stichprobe wird der Klassifikator trainiert = Parametrierung des Klassifikators =Festlegen der Klassengrenzen Test Mit 2. Stichprobe wird getestet, wie gut sicher Klassifikation funktioniert Klassifikation Anwendung des Klassifikators: Unbekanntes Objekt Anhand der Klassengrenzen wird entschieden, zu welcher Klasse es gehört : Übersicht Klassifikatoren in dieser Veranstaltung Minimum-Distance to Mean Fisher s Lineare Diskriminante Perzeptron Support Vector-Machines Nearest Neighbours Bayes Neuronale Netze sowie Unüberwachtes Lernen (ggf. Principal Component Analysis und Eigen-Faces) 5

6 Größe Übersicht Hyperebenen-Mathematik Anmerkungen Zusammenfassung 4,50 Äpfel vs Tomaten 4,00 3,50 3,00 2,50 2,00 1,50 4,00 4,50 5,00 5,50 6,00 6,50 Rotanteil 6

7 Merkmal 2 Merkmale werden in dieser Vorlesung als gegeben angenommen: eine Vorverarbeitungsstufe liefert für jedes Objekt" im Bild eine Anzahl Merkmalswerte Merkmale können im Prinzip beliebige Einheiten haben beliebige Zahlenwerte einnehmen Merkmalsräume Ein Merkmal alleine ist selten ausreichend, oft sind mehr als 2 notwendig Mehrere (kontinuierliche) Merkmale spannen einen Merkmalsraum auf Jedem zu klassifizierenden Objekt wird pro Merkmal ein Wert zugeordnet, d.h. jedes Objekt wird durch einen Punkt im Merkmalsraum repräsentiert Punkt im (Merkmals-) Raum = N-dimensionaler (Merkmals-) Vektor Ԧx = x 1, x 2, x 3, x N t, x k : Wert des k-ten Merkmals Zusammengehörende Mitglieder einer Klasse haben ähnliche Merkmale liegen im Merkmalsraum "nahe" beieinander d.h. Abstände im Merkmalsraum spielen eine zentrale Rolle bilden Punktwolken! Merkmalsräume in grafischer Darstellung Klassifizierung ist scheinbar offensichtlich *) Zu welcher Klasse gehört? Merkmal 1 *) aber nur in 2D, vielleicht noch in 3D visuell-subjektive Klassifikation hat Grenzen 7

8 Merkmalsräume: Im Rechner Klasse Tomaten Klasse Äpfel Merkmal 1 Merkmal 2 Merkmal 1 Merkmal 2-1,2512 2,146-0,9344-1,8776-0,9941 2,176 0,7027-2,5058 0,3085 1,4699-1,4639-0,8791-0,244 2,0781 0,1629-1,2258-0,7574 2,2507 2,5386-0,978-2,6581 0,4758-0,9976-1,7088-1,4672-0,3234 3,1418-1,7921-1,4053 1,16 0,9055-1,5747-0,822 1,3343 0,126-0,765-1,2413 2,2192 2,7372 0,4153-0,7191 0,6611 1,802-2,623-0,6962-0,5973 2,725-1,9554-0,5785 2,3731 1,5636-0,9665-0,8915 3,2705 0,2968-1,4442-0,5153 0,5576 2,9497-2,5626-1,3333 1,1691-0,0116-1,7516 wie finde ich daraus die Lage meiner Klassengrenze? Grundproblem beim Trainieren eines Klassifikators: Aus einer Liste von Merkmalsdaten die Parameter (= Lage der) Klassengrenze zu finden Klassengrenzen Klassengrenzen können theoretisch beliebig komplex sein. Sinnvoll? Bildquelle: Duda, Hart, Stork, Pattern Classification 8

9 Klassengrenzen Klassengrenzen können theoretisch beliebig komplex sein. Sinnvoll? Bei zu komplexen Klassengrenzen besteht die Gefahr, dass sie zu sehr an die spezifischen Trainingsdaten angepasst sind und nicht allgemein für beliebige Daten funktionieren (Overfitting) Je komplexer die Klassengrenze, desto mehr freie Parameter (Koeffizienten). Im einfachsten Fall Klassengrenze = Gerade (bzw. Hyperebene) "Linear separierbar" Bildquelle: Duda, Hart, Stork, Pattern Classification Qualität einer Klassifikation Wann ist eine Klassifikation sehr gut? Simpel: wenn alles richtig klassifiziert wurde. Warum sollte das nicht einfach erreichbar sein? Problem 1: Die Klassen umschließen sich teilweise (konkave Grenzen) Problem 2: Die Klassen liegen zu nahe beieinander (Punktwolken berühren / durchdringen sich) Problem 3: Die bekannte Trainingsstichprobe unterscheidet sich zu stark von den später zu klassifizierenden Stichproben Allgemein: Maß für die Qualität eines Klassifikators = Häufigkeit Fehlklassifikationen Nie vergessen: Entscheidend für gute Klassifizierbarkeit ist die Wahl der Merkmale! 9

10 Übersicht Hyperebenen-Mathematik Anmerkungen Zusammenfassung Hyperebenen Geraden, Ebenen und Hyperebenen Alles lineare Funktionen der Koordinaten: 2-dimensionaler Raum: Gerade 3-dimensionaler Raum: Ebene 4- N-dimensionaler Raum: Hyperebene (Hyper-) ebene Klassifikationsgrenzen Ausgangssituation: Gegeben: Trainingsstichprobe (mit 2 bekannten Klassen) Vorgegeben: Klassifikationsgrenze = Hyperebene Gesucht: Lage der Klassifikationsebene (im Merkmalsraum), damit die beiden gegebenen Klassen optimal getrennt werden Freie Parameter: Richtung der Ebene und Lage relativ zum Ursprung Effizient: Beschreibung mit Normalenvektor und Abstand Lotpunkt-Ursprung Am Beispiel einer Geraden im 2D-Merkmalsraum 10

11 Geradengleichungen Hyperebenen (der Anschaulichkeit halber: hier 2D-Merkmalsraum) Die Geradengleichung in Hesse-Normalform w 0 + w 1 x 1 + w 2 x 2 = 0 führt direkt auf die Vektordarstellung w t Ԧx = w 0, mit w = w 1, w 2 Ԧx umfasst hier alle Punkte, die auf der Geraden liegen, w ist der Normalenvektor. Wichtig am Normalenvektor w ist vor allem seine Richtung. Die Länge des Normalenvektors (auch sein Vorzeichen) sind noch unbestimmt. Zusammenhang mit klassischer Geradengleichung: Abstände x 2 = m x 1 + b z.b. mit w 2 = 1 w 1 = m, w 0 = b Wenn man nur den Einheits-Normalenvektor Ԧe w = w w betrachtet, dann ist Ԧe w t Ԧx = w 0 w = a der kleinste Abstand der Geraden zum Koordinatenursprung. Hyperebenen Skalarprodukt x 1 Skalarprodukt zweier Vektoren = Projektion eines Vektors auf die Richtung des anderen: w t Ԧx = w Ԧx cos α Länge des in Richtung von w projizierten Ԧx : Ԧx cos α = Ԧe w t Ԧx = wt w Ԧx Ԧx cos α w Ԧx x 2 11

12 Vektorielle Beschreibung einer Ebene Hyperebenen x 1 Alle Vektoren Ԧx e, die auf der Geraden (in der Hyperebene) liegen, erfüllen die Bedingung w t Ԧx e = const = w 0 w = w Ԧe w, mit w = w und Ԧe w : Normalenvektor der Ebene. a = w 0 /w w Ԧx e a = w 0 /w = (kleinster) Abstand der Ebene zum Koordinatenursprung x 2 Hyperebenen Klassifikation mit Hyperebenen Hyperebene = Klassengrenze. (in 2D: (trennende) Gerade) Klassifikation = Liegt ein beliebiger Punkt Ԧx u ober- oder unterhalb der Klassengrenze? Wenn man den Vektor Ԧx u, der auf diesen Punkt zeigt, auf die Normalenrichtung projiziert (=Skalarprodukt mit Ԧe w ), dann ist der Abstand zum Ursprung c = Ԧe w t Ԧx u. Der Abstand zur Geraden ergibt sich, wenn man davon den Abstand Ursprung- Gerade abzieht: d = c a = Ԧe w t Ԧx u w 0 w = 1 w wt Ԧx u + w 0 (das Vorzeichen von w 0 ist negativ gewählt, weil w t Ԧx e = w 0 ) g Ԧx u = d ist eine Diskriminanzfunktion. Alternativ aber auch g Ԧx u = w d = w t Ԧx u + w 0. Für eine Klassifizierung ist nur das Vorzeichen entscheidend. Es reicht also, nur w t Ԧx u + w 0 auszurechnen. 12

13 Hyperebenen Abstand zur Ebene d Ԧx u Abstand d eines beliebigen Vektors zur Ebene d = 1 w wt Ԧx u + w 0 w 0 / w w Länge des Normalenvektors w = w ist ein lästiger zusätzlicher Parameter erlaubt aber beliebig lange w (nur die Richtung ist relevant) Übersicht Hyperebenen-Mathematik Anmerkungen Zusammenfassung 13

14 Anmerkungen: Indizierungen Viele Indices N-dimensionaler Merkmalsraum, Merkmalsvektoren Ԧx = x 1, x 2, x 3, x N t L Klassen ω i, i = 1 L Jede Klasse ω i kann durch eine Stichprobe von M i Merkmalsvektoren Ԧx ik, k = 1 M i repräsentiert werden Vorsicht mit den Indices von x ijk, Ԧx ik Zugehörigkeit zur Klasse ω i Index in der Stichprobe Vektorelement / Merkmal Anmerkungen: Diskriminanzfunktionen Mehr als 2 Klassen: Diskriminanzfunktion / Trennfunktion Jedem Merkmalsvektor Ԧx wird ein Wert g i ( Ԧx) zugeordnet, der von der Klasse ω i abhängt. Durch Vergleich dieser Werte wird entschieden, zu welcher Klasse er gehört g i > g j für alle j i Ԧxε ω i Wenn die zu zwei Klassen ω i, ω j gehörenden Werte gleich sind, liegt der Merkmalsvektor genau auf der Klassengrenze. Die Bedingung g i Ԧx = g j Ԧx definiert also die Hyperfläche im Merkmalsraum, welche die beiden Klassen voneinander trennt. Diskriminanzfunktion im einfachen 2-Klassen-Fall Eine einzige Funktion g ( Ԧx) ausreichend g > 0 Ԧxε ω 1 g < 0 Ԧxε ω 2 Klassengrenze g( Ԧx) = 0 Allereinfachste Diskriminanzfunktion g Ԧx = 0 definiert eine Kurve / Fläche im Merkmalsraum Einfachster Fall: lineare Funktion = Gerade / Ebene / Hyperebene 14

15 Erstellen eines Klassifikators Anmerkungen: Vorwissen Meist: Trainieren anhand einer typischen Stichprobe = Trainingsdatensatz Vorinformationen über Stichprobe Klassenzugehörigkeit bekannt Überwachtes Lernen (Supervised Learning) ohne Information über Klassenzugehörigkeit Unüberwachtes Lernen (Unsupervised Learning) erfordert Identifikation von Klassen Clustering Vorwissen über (Wahrscheinlichkeits-) Verteilung der Merkmale Form der Verteilung vorgegeben Schätzung der Verteilungsparameter Form und Parameter der Verteilung unbekannt Parametrische Verfahren Anmerkungen: Alternativen (Andere) Arten von Klassifikationsverfahren Statistisch Berechnung von Wahrscheinlichkeiten, dass Objekte zu Klassen gehören Syntaktisch Darstellung des Muster durch Folge von Symbolen (funktioniert bei attributiven Merkmalen) formale Grammatik Strukturell Kombination aus mehreren syntaktischen / statistischen Verfahren Andere Arten von Mustererkennung Simpel: Template Matching Komplexer: SIFT (Scale-Invariant Feature Transform), SURF ( Speeded Up Robust Features) Identifizieren besondere Punkte ( Keypoints ) im Bild und weisen diesen Merkmale zu Wiedererkennung von Objekten anhand korrespondierender Keypoints 15

16 Übersicht Hyperebenen-Mathematik Anmerkungen Zusammenfassung Merkmalsextraktion Zusammenfassung Merkmalsextraktion = (gewollter) Informationsverlust / Abstraktion Gute Wahl der Merkmale ist entscheidend! Wenn die Merkmale zur Trennung in verschiedene Klassen nicht geeignet sind, kann kein noch so guter Klassifikator erfolgreich sein Wenige automatische Verfahren, oft menschliche Kompetenz gefragt Ggf. Merkmalsreduktion, Verzicht auf redundante, nicht trennfähige Merkmale Konstruktion eines Klassifikators i) Wahl der Klassifikationsmethode ii) Training iii) Test der Leistungsfähigkeit Qualität eines Klassifikators: Geringe Fehlklassifikationsrate Leicht - / effizient zu trainieren Wenig Rechenaufwand / schnell Anmerkung: es gibt nicht den optimalen Klassifikator, es gibt kein Patentrezept für die Auswahl des besten (=problem-angepassten) Klassifikators 16

17 Training, Test und Nutzung Zusammenfassung Wahl des Klassifikator-Typs Form der Klassengrenzen Verfahren, um (Parameter der) Klassengrenzen festzulegen Trainingsstichprobe Klassifikator trainieren Klassifikator fertig Klassifikator testen Klassifikator benutzen PS: Nicht alle Klassifikatoren müssen trainiert werden Training, Test und Nutzung Zusammenfassung Wahl des Klassifikator-Typs Form der Klassengrenzen Verfahren, um (Parameter der) Klassengrenzen festzulegen Einer der Schwerpunkte dieser Veranstaltung: Wie passe ich eine Klassengrenze an meine Trainingsstichprobe an? Trainingsstichprobe Klassifikator trainieren Klassifikator fertig Klassifikator testen Klassifikator benutzen PS: Nicht alle Klassifikatoren müssen trainiert werden 17

18 18