Wenn PCA in der Gesichtserkennung eingesetzt wird heißen die Eigenvektoren oft: Eigenfaces

Transkript

1 EFME-Zusammenfassusng WS11 Kurze Fragen: Wenn PCA in der Gesichtserkennung eingesetzt wird heißen die Eigenvektoren oft: Eigenfaces Unter welcher Bedingung konvergiert der Online Perceptron Algorithmus? Was macht dieser Algorithmus wenn diese Bedingung nicht erfüllt ist? Im Fall von linear separierbaren Daten. Der Algorithmus terminiert nicht bei nicht linear separierbaren Daten. Welche der beiden Kurvenpaare stellt die a posteriori Wahrscheinlichkeiten für ein Klassifikationsproblem mit 2 Klassen dar? Kurve a: Die Summe der beiden Funktionen muss an jedem Punkt 1 betragen Was versteht man unter Bias und Varianz (0,5P) Bias und Varianz geben die Güte eines Klassifikators an. Ist der Bias hoch wurde der Klassifikator zu einfach gewählt. Ist die Varianz hoch, wurde der Klassifikator zu komplex gewählt. Design Cycle Collect Data Choose features (prior knowledge) Choose model (prior knowledge) Train classifier Evaluate classifier Was versteht man unter Parametrischen und nicht-parametrischen Lernverfahren?(0,5P) parametrisches Verfahren Wir machen am Anfang eine Annahme über die Form der pdf Funktion, z.b. dass es eine Gaussien Kurve ist. Wir schätzen die Parameter der Kurve. nicht-parametrisches Verfahren Wir machen keine Annahme über die pdf Funktion. Zeichnen Sie die Orientierung des Haupteigenvektors und zweiten Eigenvektorsfür den folgenden Datensatz. In welche Richtung zeigt der Haupteigenvektor? 1

2 Eulersche Zahl Die Anzahl von Komponenten K minus die Anzahl von Löchern L. Die Euler Zahl verändert sich nicht als der Blob gestreckt wird (Topologische Merkmal). Was ist eine Lineare Maschine Eine Lineare Maschinen ist beispielsweise eine lineare Diskriminantenfunktion. Sie bildet einen linenaren Klassifikator. Sie wird z.b. in mehrlagigen künstlichen Neuronalen Netzen in den verborgenen Einheiten verwendet. Falls σmn = 0 dann sind die Zufallsvariablen: a) m und n unabhängig b) m und n unkorreliert b => m,n unabhägnig => Kovarianz σmn = 0 aber wenn σmn = 0 m,n unabhängig Der k-nn Klassifikator ist ein parametrisches oder ein nicht parametrisches Verfahren? Begründung Er ist ein nicht parametrisches Verfahren. Es wird keine Annahme über die Form der pdf gemacht. Die a posteriori kann direkt aus den Trainingsset abgelesen werden. Was ist hamming distanz? Der Unterschied zwischen 2 Binärcodes ist der Anteil der ungleichen Bits (Hamming Distanz) Code1: Code2: HD=2/6 = 1/3, Wird beim Iris Vergleich eingesetzt Ist k-means unüberwacht oder überwacht? k-means ist ein unüberwachtes Verfahren weil die Klassenlabels des Trainingssets nicht bekannt sind Welche der folgenden Funktionen können in einem Backpropagation neuronalen Netz als Aktivierungsfunktion verwendet werden? (0,5P) Welches sind die am häufigsten verwendeten Minutiae features von Fingerabdrücken? ridge ending (linie endet) und die bifurcation (gabelung) Was versteht man unter curse of dimensionality? (0,5P) Im Allgemeinen soll man nicht so viele Merkmale wie möglich in den Merkmalsvektor stellen. Zusätzliche Merkmale können die Leistung eines Klassifikators vermindern, wenn die Anzahl der Trainingsbeispiele gering ist. Dieses Verhalten wird als Peaking Phenomenon oder Curse of Dimensionality bezeichnet. Was ist die Syntaktische Mustererkennung? (0,5P) Objekten werden durch Primitiven und die Verhältnisse zwischen den Primitiven beschrieben. Die Gruppe von Regeln, wie man Objekte aus Primitiven erstellen kann, nennt man eine Grammatik. Jede Klasse hat eine eigene Grammatik. Wie ist die Varianz der Summe zweier Zufallsvariablen definiert 2

3 b Die Menge aller Punkte für die die Mahalanobis Distanz gleich einer Konstanten c ist, ist durch ein Hyperelipsoid mit Mittelpunkt p gegeben. (0,5P) Welche 2 Arten von Identifizierung in biometrischen Systemen gibt es? Verifizierung und Erkennung Verifizierung => Authentifizierung von einer Identität. Ich bin Helmut Huber (Richtig oder Falsch?) Solche Systeme bestehen aus zwei Etappen: Registrierung (Enrollment) und Verifizierung Erkennung => Das System stellt die Identität von einer Person fest, mit Hilfe einer Datenbank von Personen. Wer bin ich? Rechenbeispiele: Schätzen Sie die pdf für die Merkmalausprägung x unten mittels des einfachen Nicht parametrischen Verfahrens. Benutzen Sie Vx als die Länge der Linie und k=3. Schreiben Sie die berechneten Werte in die Tabelle zeichnen Sie die pdf. Nicht vergessen di Achsen zu beschriften Der Formafaktor von einem 2 dimensionalen Objekt S ist so definiert (4πA(S))/(P(S)²), wobei A(S) die Fläche und P(S) der Umfang vom Objekt S sind. Schreiben Sie den Wert vom Formfaktor für: a) einen Kreis mit Radius R b) Ein Quadrat mit Kantenlänge l 3

4 w1 = weiß w2 = schwarz x1 x2 x1 x

5 Sie wollen PCA auf folgenden Vektoren anwenden x1= (2 3) x2=(4 5) x3=(6 1) a)berechnen Sie dei geschätzte Kovarianzmatrix C. b)berechnen Sie die Eigenwerte dieser Kovarianzmatrix C mit λ₁ > λ₂ Detaillierte Fragen: Erklären warum die Kurve (aus den kurzen Fragen) die a posteriori ist Wie wird ein Klassifikator als eine Gruppe von Diskriminantenfunktionen dargestellt? Was sind Entscheidungsregionen und Entscheidungsgrenzen? Wie werden diese anhand der Diskriminantenfunktionen definiert? Zeichnen Sie ein 2-Dimensionales Beispiel mit 3-Klassen worin diese Definitionen klar erklärt werden. Mit jeder Klasse wird eine Funktion verbunden. Ein Merkmalsvektor x wird durch die Klasse zugeordnet, wenn Bei c gegebenen Klassen teilen die Diskriminatnenfunktionen den Merkmalsraum in c Entscheidungsregionen: R1, R2,... Rc Wenn, dann ist und gehört zur Klasse Regionen sind durch Entscheidungsgrenzen getrennt. Die Entscheidungsgrenze zwischen den Klassen gegeben. und ist durch die Gleichung Beschreiben Sie das Single Linkage Hierarchical Clustering Verfahren. Wie funktioniert der Algorithmus? Erklären Sie mittels einem 2-dimensionalen Beispiel. SLHC ist ein Agglomeratives Clusteringverfahren bei dem ein Dendogramm erstellt wird. 1) Am Anfang ist jeder Punkt ein Cluster 2) Die ähnlichsten 2 Cluster werden gefunden. (kleinster Abstand - SLC, größter Abstand - Complete LC, mittlerer Abstand - ALC) 3) Diese 2 Cluster werden in einem MutterCluster fusioniert 4) Schritte 2 und 3 werden wiederholt bis alle Datenpunkt in einem Cluster sind oder abgebrochen wird. Das Ergebnis ist ein Dendogram (Verzweigungsbaum) 5

6 Wie wird die Klassifikation anhand der Mahalanobis Distanz durchgeführt? Schreiben Sie den Ausdruck für die Mahalanobis Distanz. Wie werden die Parameter während der Trainingsphase geschätzt? Auf dem Diagramm sind Trainingsvektoren, die zu einer Klasse gehören geplottet. Zeichnen Sie ein paar Konturlinien, die einem konstanten Wert für die Mahalanobis Distanz ab dieser Klasse entsprechen (die Konturlinien sollen ungefähr die richtige Form zeigen, aber müssen nicht genau sein) Die Mahalanobis Distanz ist ein Distanzmaß zwischen Punkten in einem mehrdimensionalen Vektorraum. Sie ist skalen- und translationsinvariant. Man ordnet das beobachtete Objekt der Gruppe zu, bei der die Distanz des Merkmalvektors x zu dem Erwartungsvektor minimal wird. Der Mahalanobis Distanz Klassifikator bestimmt die kleinste Distanz zu den Clusterzentren 6

7 Was bedeuted die impurity (Unreinheit) eines Knotens in einem Entscheidungsbaum? Warum ist die entropy impurity ein geeignetes Maß für die impurity eines Knotens? Besprechen Sie nur den Fall mit einer Entscheidung zwischen 2 Klassen (Zur Erinnerung P(wj) gibt den Anteil der Muster im Knoten N, die zur Klasse wj gehören an). Die impurity gibt an, wie uneindeutig ein Knoten einer Klasse zugeordnet werden kann. Sie ist 0 wenn alle Knoten einer einzigen Klasse zugeordnet werden können bzw. 1 wenn jeder Klasse gleich viele Knoten zugeordnet werden können. Wenn gilt: dann ist die Impurity 1 Die Unreinheit einer Stichprobe ist minimal, wenn nur Elemente aus einer einzigen Klasse vertreten sind. Sie ist maximal, wenn Elemente aus allen möglichen Klassen mit der gleichen Häufigkeit auftreten. Der Wert der Entropy Impurity liegt im Intervall [0,1] und kann deshalb als geeignetes Maß angesehen werden. (3x gekommen) Aufsätze: parametrische / nicht-parametrische Verfahren k-means CART, 5 Fragen und kurze Antworten dazu Neural Networks Backward Propagation Perceptron PCA in der Gesichtserkennung 7