Principal Component Analysis (PCA)
|
|
- Hermann Fertig
- vor 7 Jahren
- Abrufe
Transkript
1 Principal Component Analysis (PCA) Motivation: Klassifikation mit der PCA Berechnung der Hauptkomponenten Theoretische Hintergründe Anwendungsbeispiel: Klassifikation von Gesichtern Weiterführende Bemerkungen Birgit Möller & Denis Williams AG Bioinformatik & Mustererkennung Institut für Informatik Martin-Luther-Universität Halle-Wittenberg
2 Motivation Rückblick: Klassifikation von Mustern Allgemeine Vorgehensweise: 1. Berechnung von geeigneten Merkmalen aus den Mustervektoren 2. Training eines Klassifikators, z.b. NN-Klassifikator 3. Zuordnung neuer Merkmalsvektoren zu einer Klasse offene Frage: Wie findet man geeignete Merkmale zur Klassifikation? für Bilder als Mustervektoren bewährt: Hauptkomponentenanalyse (PCA) Angewandte Bildverarbeitung, WS
3 Motivation Grundidee: Ermögliche Klassifikation durch Transformation der Mustervektoren in einen niedriger-dimensionalen Unterraum, in dem der Hauptteil der Datenvariation liegt. Annahme dabei: Variation in den Daten entspricht einem hohen Informationsgehalt! Angewandte Bildverarbeitung, WS
4 Algorithmus gegeben seien mittelwert-freie Mustervektoren x α, α = 1... N, x α R d : Algorithmus: 1 N N α=1 xα = 0 1. berechne die Autokorrelationsmatrix C xx der Datenmenge: C xx ij = 1 N N x α i x α j (1) α=1 C xx ist positiv-definit und symmetrisch. 2. berechne die Eigenwerte λ i und die Eigenvektoren ˆv i von C xx : C xx ˆv i = λ i ˆv i (Eigenwertgleichung) (2) aufgrund der Symmetrie gilt: ˆv i ˆv j := δ ij die Eigenvektoren bilden eine Orthonormal-Basis des R d Angewandte Bildverarbeitung, WS
5 Es gilt nun: jeder Datenvektor x α besitzt die Eigenvektorzerlegung x α = d t α i ˆv i t α j = x α ˆv j (3) i=1 die t α i sind zentriert und paarweise unkorreliert die Eigenwerte λ i liefern die Varianz in den t α i : 1 N N t α i t α j = λ i δ ij, (4) α=1 denn 1 N N t α i t α j = 1 N α=1 N α=1 ˆv i x α ( x α ) T ˆv j = ˆv i C xx ˆv j = λ i δ ij (5) Angewandte Bildverarbeitung, WS
6 Interpretation die Eigenvektorzerlegung beschreibt jeden Vektor x α durch einen neuen Parametervektor (Merkmalsvektor!) t α = (t α 1, t α 2,, t α d ) T die t α i gehen durch lineare Transformation aus den xα hervor: t α j = x α ˆv j die Eigenwerte λ i liefern die Varianzen in den einzelnen t α i Dimensionsreduktion durch Auswahl einer Teilmenge der Basisvektoren bei der Transformation Angewandte Bildverarbeitung, WS
7 Dimensionsreduktion die Eigenwerte seien absteigend sortiert: λ 1 λ 2 λ d Abbruch der Eigenvektorzerlegung nach dem k-ten Term liefert Approximation x α für x α : Approximationsfehler δ x α : x α = k t α j ˆv j j=1 δ x α = x α x α = d j=k+1 t α j ˆv j Angewandte Bildverarbeitung, WS
8 Statistische Analyse Frage: Wie groß ist der Approximationsfehler im Mittel? Berechnung des Erwartungswertes des quadratischen Fehlers: < (δ x α ) 2 > α = 1 N = 1 N = 1 N = 1 N (δ x α ) 2 α t α i t α j ˆv iˆv j α i>k j>k t α i t α j δ ij α i>k α j>k i>k(t α i ) 2 = i>k < (t α i ) 2 > α = i>k λ i der mittlere Approximationsfehler ist gleich der Summe unberücksichtigter Eigenwerte! Angewandte Bildverarbeitung, WS
9 Statistische Analyse Fazit: Mitnahme der k größten Eigenvektoren führt zu Minimierung des mittleren Approximationsfehlers unter allen Projektionen auf k-dimensionale Unterräume Dimensionsreduktion auch bekannt als Karhunen-Loeve-Entwicklung Offene Frage: Wie wählt man k geschickt?! anhand der Eigenwertverteilung von C xx Angewandte Bildverarbeitung, WS
10 Zwischenfazit Eigenwertanalyse gibt Aufschluß über intrinsische Datendimensionalität PCA macht keine Aussage über semantischen Gehalt der Daten Achtung bei starkem Rauschen in den Daten!!! Fazit: PCA fokussiert durch Dimensionsreduktion auf spezifische Charakteristika der zu klassifizierenden Daten der entstehende (niedrig-dimensionale) Datenraum beschreibt die Mustercharakteristik optimal bei gewählter Dimension k Angewandte Bildverarbeitung, WS
11 Eigenfaces Klassifikation von Gesichtern - Eigenfaces Grundidee: Repräsentation der gesicht-spezifischen Merkmale von Bildern in einem geeigneten Unterraum Klassifikation eines unbekannten Musters durch Auswertung seiner Projektion in den gewählten Unterraum Der Klassifikator unterscheidet zwei Modi: 1. Systeminitialisierung: Training des Klassifikators auf einer Trainingsmenge 2. Arbeitsphase: Klassifikation unbekannter Muster (mit optionalem Update) Angewandte Bildverarbeitung, WS
12 Phase I - Initialisierung gegeben eine Menge von M Trainingsmustern x α R N 2, α = 1 M (fasse N N-dimensionales Bild als N 2 -dimensionalen Vektor auf) berechne Facespace durch Auswahl von L Eigenvektoren der Korrelationsmatrix C xx als Basis des gesuchten Unterraums R L berechne Merkmalsvektoren ω α der Trainingsvektoren x α als Repräsentanten der einzelnen Klassen Ω i (NN-Klassifikator) Berechnung der Eigenvektoren: C xx = 1 M M x α ( x α ) T = 1 M A AT mit A = [ x 1 x M ] (6) α=1 Problem: x i R N 2, d.h. für Bilder der Größe folgt N 2 = und A R N 2 N 2!!! Angewandte Bildverarbeitung, WS
13 Phase I - Initialisierung Trick 17 : Ist die Anzahl der Datenpunkte M sehr viel kleiner als ihre Dimension N 2, dann lassen sich nur maximal M 1 aussagekräftige Eigenvektoren finden! leite Eigenvektoren aus niedrig-dimensionalem Unterraum ab! die Eigenvektoren ˆv i von A T A sind gegeben durch A T Aˆv i = λ iˆv i ferner gilt: AA T Aˆv i = λ i Aˆv i die Aˆv i entsprechen den Eigenvektoren û i von C xx = AA T A T A hat die Dimension M M, mit (A T A) mn = x T m x n Angewandte Bildverarbeitung, WS
14 Phase I - Initialisierung Algorithmus - auf einen Blick: 1. berechne Matrix A T A 2. berechne die Eigenvektoren ˆv i von A T A 3. berechne die Eigenvektoren u i von AA T ( Eigenfaces ) aus u i = Aˆv i 4. projiziere die Trainingsmuster x α in den Unterraum ( Facespace ) und verwende deren Projektionen ω α als Repräsentanten für einen intuitiven Klassifikator Angewandte Bildverarbeitung, WS
15 Phase II - Klassifikation Gegeben ein unbekanntes Muster x. berechne die Eigenvektorzerlegung des Eingabemusters (Projektion in den Facespace ) t k = û k ( x x) mit x = 1 M M x α α=1 klassifiziere über Distanzen zu den Repräsentanten: ɛ i = t ω i 2 < θ 1 mit ω i Repräsentant der Klasse Ω i Problem: auch Nicht-Gesichter werden unter Umständen auf Merkmalsvektoren nahe den Repräsentanten abgebildet! Angewandte Bildverarbeitung, WS
16 Phase II - Klassifikation Rückweisungskriterium: ψ = x x 2 > θ 2 mit x = L t x i û i i=1 Damit resultieren drei Fälle, die zu unterscheiden sind: a) ψ > θ 2 : Rückweisung b) ψ < θ 2, ɛ > θ 1 : unbekanntes Gesicht c) ψ < θ 2, ɛ < θ 1 : bekanntes Gesicht Angewandte Bildverarbeitung, WS
17 Abschliessende Bemerkungen Trainingsmenge: je größer, desto besser, aber auch desto aufwändiger! (30 bis 40 Bilder) Eigenfaces sind nicht skalierungsinvariant Ausschnitte gleicher Größe verwenden oder explizit skalieren! (erst Lokalisation anhand alternativer Kriterien, dann Skalierung) beleuchtungsinvariant zu große Varianz in der Beleuchtung vermeiden! weiteres Problem: Hintergrund! je mehr Varianz dort, desto störender! (einfarbigen Hintergrund verwenden oder Randbereiche maskieren) Angewandte Bildverarbeitung, WS
18 Abschliessende Bemerkungen Suche nach Gesichtern in großen Bildern: projiziere jeweils Ausschnitte in den Facespace und klassifiziere gemäß ψ = x x 2 > θ 2 mit x = L t x i û i i=1 Aber Achtung: mitunter sehr aufwändig!!! Verbesserungen: Offline-Berechnung einzelner Terme Auflösungspyramide Groblokalisation, z.b. durch Farbe, dann Verifikation Kalmanfilter beim Tracking Angewandte Bildverarbeitung, WS
Unüberwachtes Lernen
Unüberwachtes Lernen Mustererkennung und Klassifikation, Vorlesung No. 12 M. O. Franz 17.01.2008 Übersicht 1 Hauptkomponentenanalyse 2 Nichtlineare Hauptkomponentenanalyse 3 K-Means-Clustering Übersicht
MehrTracking. Einführung. Allgemeiner Systemaufbau. Objektlokalisation: Template-Matching. Prädiktionsfilter: Kalman
Tracking Einführung Allgemeiner Systemaufbau Objektlokalisation: Template-Matching Prädiktionsfilter: Kalman Birgit Möller & Denis Williams AG Bioinformatik & Mustererkennung Institut für Informatik Martin-Luther-Universität
MehrKapitel 5. Eigenwerte. Ein Leontief-Modell für eine Volkswirtschaft heißt geschlossen, wenn der Konsum gleich der Produktion ist, d.h. wenn.
Kapitel 5 Eigenwerte Josef Leydold Mathematik für VW WS 2016/17 5 Eigenwerte 1 / 42 Geschlossenes Leontief-Modell Ein Leontief-Modell für eine Volkswirtschaft heißt geschlossen, wenn der Konsum gleich
MehrKapitel 5. Eigenwerte. Josef Leydold Mathematik für VW WS 2017/18 5 Eigenwerte 1 / 42
Kapitel 5 Eigenwerte Josef Leydold Mathematik für VW WS 2017/18 5 Eigenwerte 1 / 42 Geschlossenes Leontief-Modell Ein Leontief-Modell für eine Volkswirtschaft heißt geschlossen, wenn der Konsum gleich
Mehr1 Einleitung Definitionen, Begriffe Grundsätzliche Vorgehensweise... 3
Inhaltsverzeichnis 1 Einleitung 1 1.1 Definitionen, Begriffe........................... 1 1.2 Grundsätzliche Vorgehensweise.................... 3 2 Intuitive Klassifikation 6 2.1 Abstandsmessung zur Klassifikation..................
MehrMustererkennung. Merkmalsreduktion. R. Neubecker, WS 2016 / Übersicht
Mustererkennung Merkmalsreduktion R. Neubecker, WS 2016 / 2017 Übersicht 2 Merkmale Principal Component Analysis: Konzept Mathematische Formulierung Anwendung Eigengesichter 1 Merkmale 3 (Zu) Viele Merkmale
MehrEigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection
Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection P. Belhumeur, J. Hespanha, D. Kriegman IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, July
MehrLineare Algebra und Datenwissenschaften in Ingenieur- und Informatikstudiengängen
Lineare Algebra und Datenwissenschaften in Ingenieur- und Informatikstudiengängen Heiko Knospe Technische Hochschule Köln heiko.knospe@th-koeln.de 6. September 26 / 2 Einleitung Das Management und die
Mehr42 Orthogonalität Motivation Definition: Orthogonalität Beispiel
4 Orthogonalität 4. Motivation Im euklidischen Raum ist das euklidische Produkt zweier Vektoren u, v IR n gleich, wenn die Vektoren orthogonal zueinander sind. Für beliebige Vektoren lässt sich sogar der
MehrSelbstständiges Lernen
Kapitel 5 Spezialvorlesung Modul 10-202-2206 (Fortgeschrittene Methoden in der Bioinformatik) Jana Hertel Professur für Bioinformatik Institut für Informatik Universität Leipzig Machine learning in bioinformatics
Mehr2. Isotropie. Beweis: (i) (ii): β U ist nicht ausgeartet. U U = {0} (ii) (iii): β U ist nicht ausgeartet. Da β nicht ausgeartet ist, gilt U = U:
2. Isotropie Im folgenden sei V ein K-Vektorraum der Dimension n. Es sei q eine quadratische Form darüber und β die zugehörige symmetrische Bilinearform. Zudem gelte in K: 1 + 1 0. Notation 2.0: Wir nennen
MehrEinführung in die Hauptkomponentenanalyse
Einführung in die Hauptkomponentenanalyse Florian Steinke 6. Juni 009 Vorbereitung: Einige Aspekte der multivariaten Gaußverteilung Definition.. Die -D Gaußverteilung für x R ist ( p(x exp (x µ σ. ( Notation:
MehrPCA based feature fusion
PCA based feature fusion Seminar Inhaltsbasierte Bildsuche WS 04/05 Übersicht Motivation: PCA an einem Beispiel PCA in der Bildsuche Tests Zusammenfassung / Ausblick Diskussion / Demo 2 Motivation: PCA
MehrKlausurenkurs zum Staatsexamen (WS 2015/16): Lineare Algebra und analytische Geometrie 3
Dr. Erwin Schörner Klausurenkurs zum Staatsexamen (WS 205/6): Lineare Algebra und analytische Geometrie 3 3. (Herbst 997, Thema 3, Aufgabe ) Berechnen Sie die Determinante der reellen Matrix 0 2 0 2 2
MehrMultivariate Verfahren
Multivariate Verfahren Oliver Muthmann 31. Mai 2007 Gliederung 1 Einführung 2 Varianzanalyse (MANOVA) 3 Regressionsanalyse 4 Faktorenanalyse Hauptkomponentenanalyse 5 Clusteranalyse 6 Zusammenfassung Komplexe
MehrLösung 23: Sylvesters Trägheitssatz & Singulärwertzerlegung
D-MATH Lineare Algebra I/II HS 07/FS 08 Dr Meike Akveld Lösung 3: Sylvesters Trägheitssatz & Singulärwertzerlegung Wir wissen, dass eine Basis B von R n existiert, sodass p [β Q ] B I I q 0 n p q gilt
MehrNichtlineare Klassifikatoren
Nichtlineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 11 1 M. O. Franz 12.01.2008 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht
MehrLösungen zur Prüfung Lineare Algebra I/II für D-MAVT
Prof. N. Hungerbühler ETH Zürich, Winter 6 Lösungen zur Prüfung Lineare Algebra I/II für D-MAVT. Hinweise zur Bewertung: Jede Aussage ist entweder wahr oder falsch; machen Sie ein Kreuzchen in das entsprechende
MehrKorrelationsmatrix. Statistische Bindungen zwischen den N Zufallsgrößen werden durch die Korrelationsmatrix vollständig beschrieben:
Korrelationsmatrix Bisher wurden nur statistische Bindungen zwischen zwei (skalaren) Zufallsgrößen betrachtet. Für den allgemeineren Fall einer Zufallsgröße mit N Dimensionen bietet sich zweckmäßiger Weise
Mehrund Unterdeterminante
Zusammenfassung: Determinanten Definition: Entwicklungssätze: mit und Unterdeterminante (streiche Zeile i & Spalte j v. A, bilde dann die Determinante) Eigenschaften v. Determinanten: Multilinearität,
Mehrund Unterdeterminante
Zusammenfassung: Determinanten Definition: Entwicklungssätze: mit und Unterdeterminante (streiche Zeile i & Spalte j v. A, bilde dann die Determinante) Eigenschaften v. Determinanten: Multilinearität,
MehrExtremalprobleme mit Nebenbedingungen
Extremalprobleme mit Nebenbedingungen In diesem Abschnitt untersuchen wir Probleme der folgenden Form: g(x 0 ) = inf{g(x) : x Ω, f(x) = 0}, (x 0 Ω, f(x 0 ) = 0). (1) Hierbei sind Ω eine offene Menge des
MehrHauptachsentransformation: Eigenwerte und Eigenvektoren
Hauptachsentransformation: Eigenwerte und Eigenvektoren die bisherigen Betrachtungen beziehen sich im Wesentlichen auf die Standardbasis des R n Nun soll aufgezeigt werden, wie man sich von dieser Einschränkung
MehrKlausur zur Vorlesung Analyse mehrdimensionaler Daten, Lösungen WS 2010/2011; 6 Kreditpunkte, 90 min
Klausur, Analyse mehrdimensionaler Daten, WS 2010/2011, 6 Kreditpunkte, 90 min 1 Prof. Dr. Fred Böker 21.02.2011 Klausur zur Vorlesung Analyse mehrdimensionaler Daten, Lösungen WS 2010/2011; 6 Kreditpunkte,
MehrKlausurenkurs zum Staatsexamen (SS 2015): Lineare Algebra und analytische Geometrie 3
Dr. Erwin Schörner Klausurenkurs zum Staatsexamen (SS 205): Lineare Algebra und analytische Geometrie 3 3. (Herbst 997, Thema 3, Aufgabe ) Berechnen Sie die Determinante der reellen Matrix 0 2 0 2 2 2
MehrSupport Vector Machines (SVM)
Universität Ulm 12. Juni 2007 Inhalt 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor-
MehrAusgewählte Lösungen zu den Übungsblättern 9-10
Fakultät für Luft- und Raumfahrttechnik Institut für Mathematik und Rechneranwendung Vorlesung: Lineare Algebra (ME), Prof. Dr. J. Gwinner Dezember Ausgewählte Lösungen zu den Übungsblättern 9- Übungsblatt
MehrLineare Algebra und Numerische Mathematik für D-BAUG
P Grohs T Welti F Weber Herbstsemester 215 Lineare Algebra und Numerische Mathematik für D-BAUG ETH Zürich D-MATH Beispiellösung für Serie 12 Aufgabe 121 Matrixpotenzen und Eigenwerte Diese Aufgabe ist
MehrLineare Algebra II (SS 13)
Lineare Algebra II (SS 13) Bernhard Hanke Universität Augsburg 03.07.2013 Bernhard Hanke 1 / 16 Selbstadjungierte Endomorphismen und der Spektralsatz Definition Es sei (V,, ) ein euklidischer oder unitärer
MehrWS 2012/2013. Hinweise
Lehrstuhl C für Mathematik (Analysis Prof. Dr. Y. Guo Aachen, den.. Trainingsklausur zur Höheren Mathematik I WS / Hinweise Zugelassene Hilfsmittel: Als Hilfsmittel zugelassen sind handschriftliche Aufzeichnungen
MehrLösungen der Aufgaben zu Kapitel 11
Lösungen der Aufgaben zu Kapitel Vorbemerkung: Zur Bestimmung der Eigenwerte (bzw. des charakteristischen Polynoms) einer (, )-Matrix verwenden wir stets die Regel von Sarrus (Satz..) und zur Bestimmung
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Sparse PCA. Tobias Scheffer Michael Großhans Paul Prasse Uwe Dick
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Sparse PCA obias Scheffer Michael Großhans Paul Prasse Uwe Dick Vektorraummodell Jedes Dokument wird als Vektor dargestellt, beispielsweise
MehrAdaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Mehrere Neuronen, Assoziative Speicher und Mustererkennung Prof. Dr. rer. nat. Nikolaus Wulff Modell eines Neuron x x 2 x 3. y y= k = n w k x k x n Die n binären Eingangssignale x k {,}
MehrStatistik, Datenanalyse und Simulation
Dr. Michael O. Distler distler@kph.uni-mainz.de Mainz, 5. Juli 2011 Zunächst: PCA (Hauptkomponentenanalyse) ist eine mathematische Prozedur, die eine Anzahl von (möglicherweise korrelierten) Variablen
MehrVariante A. Hinweise
Lehrstuhl C für Mathematik (Analsis Prof. Dr. Y. Guo Aachen, den 6..3 Klausur zur Höheren Mathematik I WS /3 Variante A Hinweise Zugelassene Hilfsmittel: Als Hilfsmittel zugelassen sind handschriftliche
MehrLineare Algebra II Lösungen der Klausur
Prof Dr K Doerk 673 Jens Mandavid Christian Sevenheck Lineare Algebra II Lösungen der Klausur (a Diese Aussage ist richtig, sie stimmt nämlich für k = Sei nämlich n N beliebig und bezeichne N die Menge
MehrBerechnung der Determinante
Berechnung der Determinante Verhalten der Determinante unter elementaren Zeilenoperationen: Das Vertauschen zweier Zeilen/Spalten der Matrix A ändert nur das Vorzeichen der Determinante, d.h: i, j {1,...,
MehrModulprüfung Mathematik I Fachrichtung: Computer Science in Engineering, Computervisualistik, Informatik, Wirtschaftsinformatik WS 2013/
Fakultät für Mathematik Institut für Algebra und Geometrie Prof. Dr. Martin Henk, Dr. Michael Höding Modulprüfung Mathematik I Fachrichtung: Computer Science in Engineering, Computervisualistik, Informatik,
MehrMathematische Werkzeuge R. Neubecker, WS 2016 / 2017
Mustererkennung Mathematische Werkzeuge R. Neubecker, WS 2016 / 2017 Optimierung: Lagrange-Funktionen, Karush-Kuhn-Tucker-Bedingungen Optimierungsprobleme Optimierung Suche nach dem Maximum oder Minimum
Mehr(a), für i = 1,..., n.
.4 Extremwerte Definition Sei M R n eine Teilmenge, f : M R stetig, a M ein Punkt. f hat in a auf M ein relatives (oder lokales) Maximum bzw. ein relatives (oder lokales) Minimum, wenn es eine offene Umgebung
MehrSerie 1: Eigenwerte & Eigenvektoren
D-MATH Lineare Algebra II FS 2017 Dr. Meike Akveld Serie 1: Eigenwerte & Eigenvektoren 1. Beweisen oder widerlegen Sie, dass die folgenden Paare von Matrizen über dem angegebenen Körper zueinander ähnlich
MehrMathematische Werkzeuge R. Neubecker, WS 2018 / 2019 Optimierung Lagrange-Funktionen, Karush-Kuhn-Tucker-Bedingungen
Mustererkennung Mathematische Werkzeuge R. Neubecker, WS 018 / 019 Optimierung Lagrange-Funktionen, Karush-Kuhn-Tucker-Bedingungen 1 Optimierung Optimierungsprobleme Suche nach dem Maximum oder Minimum
Mehr5.Tutorium Multivariate Verfahren
5.Tutorium Multivariate Verfahren - Hauptkomponentenanalyse - Nicole Schüller: 27.06.2016 und 04.07.2016 Hannah Busen: 28.06.2016 und 05.07.2016 Institut für Statistik, LMU München 1 / 18 Gliederung 1
Mehr4 Lineare Abbildungen Basisdarstellungen
4 Lineare Abbildungen Basisdarstellungen (4.1) Seien V,W endlich dimensionale K-Vektorräume, und sei T : V W linear. Sei {v 1,...,v } Basis von V und {w 1,...,w M } Basis von W. Sei T (v j ) = M a kj w
Mehr3.7 Eigenwerte und Eigenvektoren
3.7. EIGENWERTE UND EIGENVEKTOREN 123 3.7 Eigenwerte und Eigenvektoren Wir wollen jetzt lineare Endomorphismen durch Matrizen besonders übersichtlicher Gestalt (u.a. mit möglichst vielen Nullen) beschreiben,
Mehr4.2 Die adjungierte Abbildung
4.2. DIE ADJUNGIERTE ABBILDUNG 177 4.2 Die adjungierte Abbildung Die Vektorräume dieses Paragraphen seien sämtlich euklidisch, die Norm kommt jetzt also vom inneren Produkt her, v = v v. Zu f Hom R (V,
Mehr47 Singulärwertzerlegung
47 Singulärwertzerlegung 47.1 Motivation Wir haben gesehen, dass symmetrische Matrizen vollständig mithilfe ihrer Eigenwerte und Eigenvektoren beschrieben werden können. Diese Darstellung kann unmittelbar
MehrEigenwerte. Vorlesung Computergestützte Mathematik zur Linearen Algebra. Lehrstuhl für Angewandte Mathematik Sommersemester 2009
Eigenwerte Vorlesung Computergestützte Mathematik zur Linearen Algebra Lehrstuhl für Angewandte Mathematik Sommersemester 2009 25. Juni + 2.+9. Juli 2009 Grundlagen Definition Ist für A C n,n, Ax = λx
MehrMustererkennung. Bayes-Klassifikator. R. Neubecker, WS 2016 / Bayes-Klassifikator
Mustererkennung Bayes-Klassifikator R. Neubecker, WS 2016 / 2017 Bayes-Klassifikator 2 Kontext Ziel: Optimaler Klassifikator ( = minimaler Klassifikationsfehler), basierend auf Wahrscheinlichkeitsverteilungen
MehrKlausur zur Vorlesung Lineare Algebra B im SS 2002 an der Universität Hannover
Dozent: Prof. Dr. Wolfgang Ebeling Übungsleiter: Dr. Detlef Wille Klausur zur Vorlesung Lineare Algebra B im SS an der Universität Hannover Joachim Selke 9. Februar Lineare Algebra B SS Klausur zur Vorlesung
MehrT := {σ S 4 σ 3 = Id}. a) Es seien V ein Vektorraum und Φ ein Endomorphismus von V, sodass
I. a) Es sei (G, ) eine abelsche Gruppe mit neutralem Element e G. Zeigen Sie, dass U := {g G g 3 = e G } eine Untergruppe von G ist. b) In der symmetrischen Gruppe S 4 definieren wir analog zu a) die
Mehr1. Referenzpunkt Transformation
2.3 Featurereduktion Idee: Anstatt Features einfach wegzulassen, generiere einen neuen niedrigdimensionalen Featureraum aus allen Features: Redundante Features können zusammengefasst werden Irrelevantere
Mehr9. Vorlesung Lineare Algebra, SVD und LSI
9. Vorlesung Lineare Algebra, SVD und LSI Grundlagen lineare Algebra Vektornorm, Matrixnorm Eigenvektoren und Werte Lineare Unabhängigkeit, Orthogonale Matrizen SVD, Singulärwerte und Matrixzerlegung LSI:Latent
MehrEFME Aufsätze ( Wörter) Der Aufbau von Entscheidungsbäumen...1
EFME Aufsätze (150 200 Wörter) Der Aufbau von Entscheidungsbäumen...1 PCA in der Gesichtserkennung... 2 Bias, Varianz und Generalisierungsfähigkeit... 3 Parametrische und nicht-parametrische Lernverfahren:
MehrMustererkennung. Übersicht. Unüberwachtes Lernen. (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren Gaussian-Mixture Modelle
Mustererkennung Unüberwachtes Lernen R. Neubecker, WS 01 / 01 Übersicht (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren 1 Lernen Überwachtes Lernen Zum Training des Klassifikators
Mehr(also ) Oft wird Zusammenhang zwischen und mit einem Index angedeutet, z.b. wird der Eigenvektor v. durch gekennzeichnet.
L7 Diagonalisierung einer Matrix: Eigenwerte und Eigenvektoren Viele Anwendungen in der Physik: z.b. Bestimmung der - Haupträgheitsmomente eines starren Körpers durch Diagonalisierung des Trägheitstensors
MehrKlausur zur Vorlesung Lineare Algebra II, SoSe 2016,
Klausur zur Vorlesung Lineare Algebra II, SoSe 6, 6.7.6 Vokabelbuch In diesem Teil soll getestet werden, inwieweit Sie in der Lage sind, wichtige Definitionen und Sätze aus der Vorlesung korrekt zu formulieren
MehrKonvexe Menge. Eine Menge D R n heißt konvex, wenn für zwei beliebige Punkte x, y D auch die Verbindungsstrecke dieser Punkte in D liegt, d.h.
Konvexe Menge Eine Menge D R n heißt konvex, wenn für zwei beliebige Punkte x, y D auch die Verbindungsstrecke dieser Punkte in D liegt, dh Kapitel Extrema konvex: h x + h y D für alle h [0, ], und x,
MehrLinear nichtseparable Probleme
Linear nichtseparable Probleme Mustererkennung und Klassifikation, Vorlesung No. 10 1 M. O. Franz 20.12.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht
MehrKlausurenkurs zum Staatsexamen (SS 2015): Lineare Algebra und analytische Geometrie 2
Dr. Erwin Schörner Klausurenkurs zum Staatsexamen (SS 25): Lineare Algebra und analytische Geometrie 2 2. (Frühjahr 29, Thema 3, Aufgabe 3) Gegeben sei die reelle 3 3 Matrix 4 2 A = 2 7 2 R 3 3. 2 2 a)
MehrInhalt. Mathematik für Chemiker II Lineare Algebra. Vorlesung im Sommersemester Kurt Frischmuth. Rostock, April Juli 2015
Inhalt Mathematik für Chemiker II Lineare Algebra Vorlesung im Sommersemester 5 Rostock, April Juli 5 Vektoren und Matrizen Abbildungen 3 Gleichungssysteme 4 Eigenwerte 5 Funktionen mehrerer Variabler
MehrMultivariate Verteilungen. Gerhard Tutz LMU München
Multivariate Verteilungen Gerhard Tutz LMU München INHALTSVERZEICHNIS 1 Inhaltsverzeichnis 1 Multivariate Normalverteilung 3 Wishart Verteilung 7 3 Hotellings T Verteilung 11 4 Wilks Λ 14 INHALTSVERZEICHNIS
MehrDie Klassifikation der sieben Friesgruppen
Mathematisches Institut Heinrich-Heine Universität Düsseldorf Dr. Steffen Kionke Proseminar: Kristallographische Gruppen WS 2014/15 Die Klassifikation der sieben Friesgruppen Dieser Text behandelt die
MehrEigenwerte (Teschl/Teschl 14.2)
Eigenwerte (Teschl/Teschl 4.2 Ein Eigenvektor einer quadratischen n nmatrix A ist ein Vektor x R n mit x, für den Ax ein skalares Vielfaches von x ist, es also einen Skalar λ gibt mit Ax = λ x Ax λ x =
Mehr6 Symmetrische Matrizen und quadratische Formen
Mathematik für Ingenieure II, SS 009 Dienstag 3.6 $Id: quadrat.tex,v.4 009/06/3 4:55:47 hk Exp $ 6 Symmetrische Matrizen und quadratische Formen 6.3 Quadratische Funktionen und die Hauptachsentransformation
MehrKlausur Sommersemester 2011 Tensorrechnung für Ingenieure Musterlösung
Klausur Sommersemester 2011 Tensorrechnung für Ingenieure Musterlösung Prof Dr-Ing Ch Tsakmakis Dipl-Ing J Frischmann FB 13, FG Kontinuumsmechanik Aufgabe 1 (Klausuraufgabe) Seien drei Vektoren u, v, w
MehrSerie 10: Inverse Matrix und Determinante
D-ERDW, D-HEST, D-USYS Mathematik I HS 5 Dr Ana Cannas Serie 0: Inverse Matrix und Determinante Bemerkung: Die Aufgaben dieser Serie bilden den Fokus der Übungsgruppen vom und 5 November Gegeben sind die
Mehr2. Dezember Lineare Algebra II. Christian Ebert & Fritz Hamm. Skalarprodukt, Norm, Metrik. Matrizen. Lineare Abbildungen
Algebra und Algebra 2. Dezember 2011 Übersicht Algebra und Algebra I Gruppen & Körper Vektorräume, Basis & Dimension Algebra Norm & Metrik Abbildung & Algebra I Eigenwerte, Eigenwertzerlegung Singulärwertzerlegung
Mehrj 1,m 1 ;j 2,m 2 J 2 1,2 j 1, m 1 ; j 2, m 2 = j 1,2 (j 1,2 + 1) j 1, m 1 ; j 2, m 2, (3)
Vorlesung Drehimpulsaddition Wir betrachten ein mechanisches System, das aus zwei unabhängigen Systemen besteht. Jedes der zwei Subsysteme besitzt einen Drehimpuls. Der Drehimpuls des ganzen Systems ist
MehrKontrollfragen und Aufgaben zur 3. Konsultation
1 Technische Universität Ilmenau Fakultät für Mathematik und Naturwissenschaften Institut für Mathematik Prof. Dr. Michael Stiebitz Kontrollfragen und Aufgaben zur 3. Konsultation Termin: Ort: Determinante
MehrEigenwerte (Teschl/Teschl 14.2)
Eigenwerte Teschl/Teschl 4. Ein Eigenvektor einer quadratischen n nmatrix A ist ein Vektor x R n mit x 0, für den Ax ein skalares Vielfaches von x ist, es also einen Skalar λ gibt mit Ax = λ x Ax λ x =
MehrKapitel 11 Eigenwerte und Eigenvektoren
Kapitel Eigenwerte und Eigenvektoren. Problem der Diagonalisierbarkeit Es sei wieder K gleich R oder. Eine n n)-matrix A mit Koeffizienten aus K wird als diagonalisierbar bezeichnet, wenn es eine invertierbare
MehrÜbungen zur Vorlesung Grundlagen der Bilderzeugung und Bildanalyse (Mustererkennung) WS 05/06. Musterlösung 11
ALBERT-LUDWIGS-UNIVERSITÄT FREIBURG INSTITUT FÜR INFORMATIK Lehrstuhl für Mustererkennung und Bildverarbeitung Prof. Dr.-Ing. Hans Burkhardt Georges-Köhler-Allee Geb. 05, Zi 0-09 D-790 Freiburg Tel. 076-03
MehrWenn PCA in der Gesichtserkennung eingesetzt wird heißen die Eigenvektoren oft: Eigenfaces
EFME-Zusammenfassusng WS11 Kurze Fragen: Wenn PCA in der Gesichtserkennung eingesetzt wird heißen die Eigenvektoren oft: Eigenfaces Unter welcher Bedingung konvergiert der Online Perceptron Algorithmus?
MehrDie wichtigste Klasse von Funktionen zwischen Vektorräumen sind die linearen Abbildungen.
Definition: Lineare Abbildung Lineare Abbildungen Die wichtigste Klasse von Funktionen zwischen Vektorräumen sind die linearen Abbildungen. 8.1 Definition: Lineare Abbildung Eine Funktion f : V Ñ W zwischen
MehrVorlesung Digitale Bildverarbeitung Sommersemester 2013
Vorlesung Digitale Bildverarbeitung Sommersemester 2013 Sebastian Houben (Marc Schlipsing) Institut für Neuroinformatik Inhalt Crash-Course in Machine Learning Klassifikationsverfahren Grundsätzliches
MehrAufgaben und Lösungen zur Klausur Lineare Algebra im Frühjahr 2009
I. (4 Punkte) Gegeben sei die Menge Aufgaben und Lösungen zur Klausur Lineare Algebra im Frühjahr 9 G := { a c b a, b, c R }. (a) Zeigen Sie, dass G zusammen mit der Matrizenmultiplikation eine Gruppe
MehrBegleitmaterial zur Vorlesung Numerik linearer Gleichungssysteme
Begleitmaterial zur Vorlesung Numerik linearer Gleichungssysteme Andreas Meister Universität Kassel, AG Analysis und Angewandte Mathematik Andreas Meister (Universität Kassel) Begleitmaterial Numerik 1
MehrÜbungen zu M1 WS 2007/2008
Übungen zu M1 WS 2007/2008 1. Welche der folgenden Mengen sind Vektorräume über R und in welchem Sinn? a {f : R n R f stetig} b {x R n n i=1 (x i 2 = 1} = S n 1 c {f : R R f (streng monoton steigend} 2.
MehrT2 Quantenmechanik Lösungen 7
T2 Quantenmechanik Lösungen 7 LMU München, WS 7/8 7.. Lineare Algebra Prof. D. Lüst / Dr. A. Schmidt-May version: 28.. Gegeben sei ein komplexer Hilbert-Raum H der Dimension d. Sei { n } mit n,..., d eine
MehrLineare Regression. Volker Tresp
Lineare Regression Volker Tresp 1 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M
MehrKlausurenkurs zum Staatsexamen (SS 2016): Lineare Algebra und analytische Geometrie 6
Dr. Erwin Schörner Klausurenkurs zum Staatsexamen (SS 6): Lineare Algebra und analytische Geometrie 6 6. (Herbst, Thema, Aufgabe 4) Der Vektorraum R 4 sei mit dem Standard Skalarprodukt versehen. Der Unterraum
MehrBZQ II: Stochastikpraktikum
BZQ II: Stochastikpraktikum Block 3: Lineares Modell, Klassifikation, PCA Randolf Altmeyer January 9, 2017 Überblick 1 Monte-Carlo-Methoden, Zufallszahlen, statistische Tests 2 Nichtparametrische Methoden
Mehr40 Lokale Extrema und Taylor-Formel
198 VI. Differentialrechnung in mehreren Veränderlichen 40 Lokale Extrema und Taylor-Formel Lernziele: Resultate: Satz von Taylor und Kriterien für lokale Extrema Methoden aus der linearen Algebra Kompetenzen:
MehrMustererkennung. Support Vector Machines. R. Neubecker, WS 2018 / Support Vector Machines
Mustererkennung R. Neubecker, WS 018 / 019 (SVM) kommen aus der statistischen Lerntheorie gehören zu den optimalen Klassifikatoren = SVMs minimieren nicht nur den Trainingsfehler, sondern auch den (voraussichtlichen)
MehrEigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection
Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection Peter N. Belhumeur, João P. Hespanha, David J. Kriegman IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.
MehrGeometrische Deutung linearer Abbildungen
Geometrische Deutung linearer Abbildungen Betrachten f : R n R n, f(x) = Ax. Projektionen z.b. A = 1 0 0 0 1 0 0 0 0 die senkrechte Projektion auf die xy-ebene in R 3. Projektionen sind weder injektiv
MehrHinweis: Die Klausur Lineare Algebra 2 für die Fachrichtung Informatik besteht aus den Aufgaben 2.1 bis 2.4.
Hinweis: Die Klausur Lineare Algebra 2 für die Fachrichtung Informatik besteht aus den Aufgaben 2.1 bis 2.4. Aufgabe 2.1 (8 Punkte) Es sei K ein Körper, n N, V ein 2n-dimensionaler K -Vektorraum und U
Mehr11 Untermannigfaltigkeiten des R n und lokale Extrema mit Nebenbedingungen
11 Untermannigfaltigkeiten des R n und lokale Extrema mit Nebenbedingungen Ziel: Wir wollen lokale Extrema von Funktionen f : M R untersuchen, wobei M R n eine k-dimensionale Untermannigfaltigkeit des
Mehrx, y 2 f(x)g(x) dµ(x). Es ist leicht nachzuprüfen, dass die x 2 setzen. Dann liefert (5.1) n=1 x ny n bzw. f, g = Ω
5. Hilberträume Definition 5.1. Sei H ein komplexer Vektorraum. Eine Abbildung, : H H C heißt Skalarprodukt (oder inneres Produkt) auf H, wenn für alle x, y, z H, α C 1) x, x 0 und x, x = 0 x = 0; ) x,
MehrSparse Hauptkomponentenanalyse
Sparse Referent: Thomas Klein-Heßling LMU München 20. Januar 2017 1 / 36 1 Einführung 2 3 4 5 2 / 36 Einführung Ziel: vorhandene Datenmenge verstehen Daten komprimieren Bei der Sparse (SPCA) handelt es
MehrLineare Algebra. 9. Übungsstunde. Steven Battilana. stevenb student.ethz.ch battilana.uk/teaching
Lineare Algebra 9. Übungsstunde Steven Battilana stevenb student.ethz.ch battilana.uk/teaching November, 07 Erinnerung Ein Skalarprodukt ist eine Abbildung, : E n E n E, (v, w) v, w n k v kw k so dass:
MehrModulteilprüfung Geometrie (BaM-GS), Probeklausur
HRZ-Benutzername: Modulteilprüfung Geometrie (BaM-GS), Probeklausur Dr. Patrik Hubschmid // SoSe 2013, 4. Juli 2013 Kontrollieren Sie, ob Sie alle Blätter (8 einschlieÿlich zweier Deckblätter) erhalten
MehrMethoden zur Erzeugung von Kernen
Methoden zur Erzeugung von Kernen Stefan Frommer 03.07.2007 1. Theoretische Konstruktion von Kernen 1.1 Wiederholung: Kerne 1.2 Auswahl eines Kerns 1.3 Kern-Kompositionen 2. Rechenbeispiele für Kerne 2.1
MehrFallstudien der mathematischen Modellbildung Teil 3: Quanten-Operationen. 0 i = i 0
Übungsblatt 1 Aufgabe 1: Pauli-Matrizen Die folgenden Matrizen sind die Pauli-Matrizen, gegeben in der Basis 0, 1. [ [ [ 0 1 0 i 1 0 σ 1 = σ 1 0 = σ i 0 3 = 0 1 1. Zeigen Sie, dass die Pauli-Matrizen hermitesch
MehrLineare Klassifikatoren
Lineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 8 1 M. O. Franz 06.12.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht 1 Nächste-Nachbarn-
Mehr