Vorlesung 11. Unüberwachtes Lernen II
|
|
|
- Leander Thomas
- vor 6 Jahren
- Abrufe
Transkript
1 Vorlesung 11 Unüberwachtes Lernen II Martin Giese
2 Übersicht Diskriminanzanalse Lernen spärlicher Repräsentationen Nichtnegative Matrifaktorisierung (NMF
3 I. Diskriminanzanalse
4 Kanonische Variaten (z.b. McLachlan & Krishnan 1996; Riple 1996 Bekannt auch als Fishers lineare Diskriminanten Ziel: Konstruktion von Richtungen die günstig für Klassifikation sind Nutzung der Klassenlabel Gegeben: Daten i und Zughörigkeit zu g verschiedenen Klassen Problem: Finden von Richtungen im Datenraum die Varianz zwischen Klassen maimieren Varianz innerhalb der Klassen maimieren
5 Kanonische Variaten Mittelwerte innerhalb einer Klasse µ k g 1 Mittelwert aller Klassen: µ = µ Kovarianzmatri zwischen den Klassen: g 1 C= ( µ g 1 k= 1 k µ ( µ k µ Kovarianzmatri innerhalb einer Klasse Σ (hier als gleich angenommen für alle Klassen g k= 1 T k Σ = cov( X = Für Zufallsvektor X {( X E{ X}( X E{ X T } E }
6 Kanonische Variaten Sei n ein Richtungsvektor dann definiert = n T ein Merkmal entlang einer Richtung im Datenraum Merkmalsvarianz (falls E{}=0: Var( = n T E{ T } n Eine optimale Merkmalsrichtung ist gegeben durch die Bedingung: T n Cn Varianz zwischen den Klassen n* = arg sup = T n 0 n Σn Varianz innerhalb der Klasse n Der Vektor n kann beliebig skaliert werden z.b. so dass n T Σn = 1.
7 Kanonische Variaten Optimierungsproblem: minimiere: n T Cn unter der NB n T Σn = 1 Lagrange-Funktion: T T L( n λ = n Cn + λ( n Σn 1 Optimalitätsbedingung: 1 2 L( n λ n = Cn + λσn = 0 Verallgemeinertes Eigenvektorproblem Normales Eigenvektor-Problem falls Σ invertierbar; sonst spezielle numerische Techniken ( MATLAB; Golub & van Loan 1989
8 Kanonische Variaten Nach Bestimmung der besten Richtung Iteration: nächste dazu orthogonale Richtung finden usw. Falls Σ invertierbar ist einfach die grössten Singulärwerte nehmen (korresppondieren zu orthogonalen Richtungen mit grösster Varianz s.o.
9 Fisher-Gesichter (Belhumeur et al Vergleich: Eigen-Gesichter vs. Fisher- Gesichter Yale + Harvard Gesichtsdatenbasen Beleuchtungsvariationen verschiedene Gesichtsaudrücke Verdeckungen
10 Fisher-Gesichter (Belhumeur et al Fehler Beleuchtung: normal etrem 1 etrem 2 Klassifikation von Gesichtern Fisher-Gesichter (FG mehr robust gegen Beleuchtungsvariationen
11 Fisher-Gesichter (Belhumeur et al Fehler FG weniger sensitiv gegen Variation des Gesichtsausdruckes
12 Fisher-Gesichter (Belhumeur et al Fisher-Gesicht für Brillenträger FG robust gegen Verdeckungen durch Brille
13 Fisher-Gesichter (Belhumeur et al Fisher-Gesichter nicht abhängig von Zahl der Hauptkomponenten PCA schlecht wenn zu viele Komponenten verwendet werden
14 II. Lernen spärlicher Repräsentationen
15 Approimation durch Basisfunktionen Ziel: Repräsentation von Bildern I( durch Basisfunktionen g k ( Bilder approimiert durch Linearkombination: I( = K k= 1 w g k k ( Gewichte w k werden für jedes Bild neu geschätzt. Basisfindungsproblem: Bestimme die optimalen g k ( so dass Bilder im Mittel gut approimiert werden.
16 Wörterbuch (dictionar Bilder I( sind Zufallsvariable. Die Funktionen g k ( 1 k K definieren ein Wörterbuch (dictionar Ziel: Wörter sollten vollständigen Code liefern und Code mit minimaler Redundanz (d.h. ohne Wiederholungen Annahme: Bilder können durch Kombination weniger Wörter dargestellt werden (Spärlichkeit
17 Spärlichkeit (sparseness Minimale Redundanz: g k orthogonal und erklären maimale Varianz; paarweise dekorrelierte Gewichte: E{w k w l } = E{w k } E{ w l } für k l PCA Nur Statistik 2. Ordnung modellierbar. Nur wenige Gewichte w k 0 spärliche Kodierung Auch Statistik höherer Ordnung modellierbar.
18 Lernalgorithmus Spärlichkeitsmass: Funktion S(w die für grosse w immer langsamer ansteigt Lösungen mit vielen kleinen Gewichten bestraft. Minimierung des Kostenfunktionals: S( w S( w = e w 2 = log(1 + w 2 K 2 K = gk ] I( wk gk ( d( S( wk k= 1 k= 1 V[ w g λ Approimation Spärlichkeit λ bestimmt Trade-off zwischen Spärlichkeit und Appro. Vgl. Regularisierung!!!
19 Lernalgorithmus Die Bilder I( und die Gewichte w k sind Zufallsvariable. Minimierung durch stochastischen Gradientenabstieg: 1. Für jedes Bild Optimierung der Gewichte w k. 2. Gemittelt über viele Bilder Optimierung der Basisfunktionen g k (.
20 Optimierung der Gewichte Annahme: Bild I( konstant Kostenfunktion kompakt geschrieben: Zeitliche Änderung in Richtung des Abfalls von V: mit ( ' 2 1 w Cw b w w S V + = = & = + + = K k k T T T K w S I I g g V ( d( ( ( d( ( ( 2 d( ( ]... [ w g g w g w w d( ( ( I b = g d( ( ( T = g g C
21 Optimierung nach den Basisfunktionen Sei das rekonstruierte Bild. Über die Bilder gemittelte Kostenfunktion: (Langsame zeitliche Änderung in Richtung des Abfalls von <V>: = + = K k k w S I I V 1 2 ( d( ˆ( ( unabhängig von g( ( ˆ( ( 2 ( ( I I w g V g k k k = = & τ = = K k k k w g I 1 ( ˆ ˆ( Mittelwert über Bilder Zeitkonstante
22 Interpretation als Neuronales Netz w k g k ( Iˆ ( I(
23 Eperimente Natürliche Bilder: Landschaftsaufnahmen Piel Hohe Ähnlichkeit der lokalen Bildstatistik Vorfilterung (pre-whitening Unterfenster Piel Zufällig gewählte Ausschnitte Ca Trainingsbilder
24 Spärliche Codierung Lokalisierte Filter ( Rezeptive ˆ g k ( Felder Veschiedene Frequenzbänder Verschiedene Ortslokalisation Parameter ähnlich kortikalen Neuronen Simple cells visueller Korte (Olshausen & Field1996 (Daugman 1989
25 PCA PCs geordnet nach Varianz Keine Lokalisierung! Ordnung nach Frequenzbändern (Olshausen & Field1996
26 III. Nichtnegative Matrifaktorisierung (NMF
27 Lernen von Objektteilen Viele natürliche Objekte bestehen aus Teilen Ziel: unüberwachtes Lernen von Teilen Teile als Wörterbuch (Augen Mund Bilder I( repräsentiert durch Basisfunktionen g k ( K I( = w g ( (s.o. k= 1 Einschränkung: Gewichte nie negativ: w k 0 Analog zu neuronaler Aktivität k k
28 Matrifaktorisierung Gegeben: Datenmatri X = [ 1 L ] mit ij 0 (Helligkeitswerte positiv oder Null Ziel: Faktorisierung der Datenmatri in der Form X = U W d.h. i = U w i Basisbilder / Prototpen Gewichte (Bilder als Überlagerung von Basisbildern
29 Matrifaktorisierung Durch verschiedene NB für U und W ergeben sich verschiedene Lernverfahren: 1. w i Einheitsvektoren Vektorquantisierung 2. Spalten von U orthonormal; Zeilen von W orthogonal PCA 3. Alle Einträge von U und W nichtnegativ Nichtnegative Matrifaktorisierung Keine gegenseitige Kompensation positiver und negativer Terme möglich!
30 Generatives Modell Approimation der Bildmatri X: X ˆ = UW Probabilistisches generatives Modell für die Bilder Xˆ ist eine Zufallsvariable w 1 w L U 1 E{ } = Uw N (Lee & Seung 1999
31 Kostenfunktion Optimales generatives Modell minimiert Abweichung zwischen X und Xˆ Divergenz (unsmmetrische Distanz zwischen X und Xˆ : D( X Xˆ = m n mn log ˆ mn mn mn + ˆ mn Entspricht sog. Kullback-Leibler-Divergenz falls m n = mn ˆ m n mn = 1 (d.h. ij definiert diskrete Verteilung Minimierung unter den Nebenbedingungen u ij w ij 0 Annahme: Xˆ poissonverteilt
32 Lernalgorithmus Iteration mit multiplikativen Updates Abwechselnd U und W optimiert mq umn umn wnq q (UW mq qn wmn wmn uqm q (UW qn Zusätzlicher Normalisierungschritt (sonst unterbestimmt u mn q u u Konvergenz kann bewiesen werden: D( X Xˆ nimmt immer ab es sei denn lokales Minimum ist erreicht. mn qm
33 Resultate 2429 Gesichtsbilder piel 49 Basisbilder U Ca. 500 Iterationen Spärlichkeit bei NMF! Nur NMF liefert lokalisierte Komponenten!!! U (Lee & Seung 1999 w
34 Wichtige Punkte Fisher-Gesichter / Diskriminanzanalse Spärliche neuronale Codierung Lernen von rezeptiven Feldern Nichtnegative Matrifaktorisierung
35 Literatur Belhumeur P.N. Hespanha J. P. & Kriegman D.J (1997 Eigenfaces vs. Fisherfaces: Recognition using class specific linear projection. IEEE Transactions on Pattern Recognition and Machine Intelligence Cherkassk V. Mulier F. (1998. Learning From Data. John-Wile & Sons Inc New York. Duda R.O. Hart P.E. Stork D.G. (2001. Pattern Classification. John-Wile & Sons Inc New York. Forsth D.A. & Ponce J. (2003. Computer Vision: A modern Approach. Prentice-Hall. Upper Saddle River NJ. Golub G. & van Loan C. (1996 Matri Computations. The Johns Hopkins Universit Press Baltimore. Lee D.D & Seung H S. (1999 Learning the parts of objects b non-negative matri factorization. Nature
Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection
Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection Peter N. Belhumeur, João P. Hespanha, David J. Kriegman IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.
Reduced-Rank Least Squares Modelle
16.12.2008 Wiederholung Gegeben: Matrix A m n Paar Rechter Eigenvektor x, Eigenwert λ: A x = λ x mit x R n \ 0, λ N Paar Linker Eigenvektor y, Eigenwert λ: y T A = λ y T Singulärwertzerlegung (SVD): A
(x, x + y 2, x y 2 + z 3. = e x sin y. sin y. Nach dem Umkehrsatz besitzt f dann genau auf der Menge
ÜBUNGSBLATT 0 LÖSUNGEN MAT/MAT3 ANALYSIS II FRÜHJAHRSSEMESTER 0 PROF DR CAMILLO DE LELLIS Aufgabe Finden Sie für folgende Funktionen jene Punkte im Bildraum, in welchen sie sich lokal umkehren lassen,
Theorie Parameterschätzung Ausblick. Schätzung. Raimar Sandner. Studentenseminar "Statistische Methoden in der Physik"
Studentenseminar "Statistische Methoden in der Physik" Gliederung 1 2 3 Worum geht es hier? Gliederung 1 2 3 Stichproben Gegeben eine Beobachtungsreihe x = (x 1, x 2,..., x n ): Realisierung der n-dimensionalen
Wissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial
QR-Zerlegung Allgemeines. Householder-Spiegelung. Givens-Rotation. Gram-Schmidt-Orthogonalisierung. Fazit. QR-Zerlegung.
20.0.2011 Inhaltsverzeichnis 1 2 3 4 1 2 3 4 der Matrix A R mxn, m n A = Q R Matrix Q: Q R nxn orthogonale Matrix (Spalten paarweise orthogonal) Q Q T = E Matrix R: R R mxn obere Dreiecksmatrix r 11 r
Vorlesung Wissensentdeckung
Vorlesung Wissensentdeckung Stützvektormethode Katharina Morik, Uwe Ligges 23.5.2013 1 von 48 Gliederung 1 Geometrie linearer Modelle: Hyperebenen Einführung von Schölkopf/Smola 2 Lagrange-Optimierung
Bootstrap-Methoden zur Ermittlung kritischer Werte für asymptotische FWER-Kontrolle
Bootstrap-Methoden zur Ermittlung kritischer Werte für asymptotische FWER-Kontrolle [Dudoit, van der Laan, Pollard: Multiple Testing. Part I Single-Step Procedures for Control of General Type-I-Error Rates]
Vorlesung 2. Maschinenlernen: Klassische Ansätze I
Vorlesung 2 Maschinenlernen: Klassische Ansätze I Martin Giese Martin.giese@tuebingen.mpg.de Übersicht! Statistische Formulierung des überwachten Lernproblems! Einfache Klassifikatoren! Regression I. Statistiche
5.Tutorium Multivariate Verfahren
5.Tutorium Multivariate Verfahren - Hauptkomponentenanalyse - Nicole Schüller: 27.06.2016 und 04.07.2016 Hannah Busen: 28.06.2016 und 05.07.2016 Institut für Statistik, LMU München 1 / 18 Gliederung 1
Mathematische Werkzeuge R. Neubecker, WS 2016 / 2017
Mustererkennung Mathematische Werkzeuge R. Neubecker, WS 2016 / 2017 Optimierung: Lagrange-Funktionen, Karush-Kuhn-Tucker-Bedingungen Optimierungsprobleme Optimierung Suche nach dem Maximum oder Minimum
Überblick. Überblick. Bayessche Entscheidungsregel. A-posteriori-Wahrscheinlichkeit (Beispiel) Wiederholung: Bayes-Klassifikator
Überblick Grundlagen Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes-Klassifikator
BZQ II: Stochastikpraktikum
BZQ II: Stochastikpraktikum Block 3: Lineares Modell, Klassifikation, PCA Randolf Altmeyer January 9, 2017 Überblick 1 Monte-Carlo-Methoden, Zufallszahlen, statistische Tests 2 Nichtparametrische Methoden
Numerisches Rechnen. (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang. Institut für Geometrie und Praktische Mathematik RWTH Aachen
Numerisches Rechnen (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang Institut für Geometrie und Praktische Mathematik RWTH Aachen Wintersemester 2011/12 IGPM, RWTH Aachen Numerisches Rechnen
1 Multivariate Zufallsvariablen
1 Multivariate Zufallsvariablen 1.1 Multivariate Verteilungen Definition 1.1. Zufallsvariable, Zufallsvektor (ZV) Sei Ω die Ergebnismenge eines Zufallsexperiments. Eine (univariate oder eindimensionale)
Neural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Session 02 Julia Kreutzer 8. November 2016 Institut für Computerlinguistik, Heidelberg 1 Overview 1. Recap 2. Backpropagation 3. Ausblick 2 Recap
Inhaltsverzeichnis. 4 Statistik Einleitung Wahrscheinlichkeit Verteilungen Grundbegriffe 98
Inhaltsverzeichnis 1 Datenbehandlung und Programmierung 11 1.1 Information 11 1.2 Codierung 13 1.3 Informationsübertragung 17 1.4 Analogsignale - Abtasttheorem 18 1.5 Repräsentation numerischer Daten 20
4. Verteilungen von Funktionen von Zufallsvariablen
4. Verteilungen von Funktionen von Zufallsvariablen Allgemeine Problemstellung: Gegeben sei die gemeinsame Verteilung der ZV en X 1,..., X n (d.h. bekannt seien f X1,...,X n bzw. F X1,...,X n ) Wir betrachten
Methode der kleinsten Quadrate DSV2, 2007, Least-Squares, Rumc, 1
Methode der kleinsten Quadrate DSV2, 2007, Least-Squares, Rumc, 1 Problem der linearen Annäherung im Skalarprodukt-Raum Finde für einen beliebigen Vektor y eine Linearkombination y e der Vektoren 1, 2,...,
Principal Component Analysis (PCA)
Principal Component Analysis (PCA) Motivation: Klassifikation mit der PCA Berechnung der Hauptkomponenten Theoretische Hintergründe Anwendungsbeispiel: Klassifikation von Gesichtern Weiterführende Bemerkungen
Pareto optimale lineare Klassifikation
Seminar aus Maschinellem Lernen Pareto optimale lineare Klassifikation Vesselina Poulkova Betreuer: Eneldo Loza Mencía Gliederung 1. Einleitung 2. Pareto optimale lineare Klassifizierer 3. Generelle Voraussetzung
2. Prinzipien der Datenreduktion
2. Prinzipien der Datenreduktion Man verwendet die Information in einer Stichprobe X 1,..., X n, um statistische Inferenz über einen unbekannten Parameter zu betreiben. Falls n groß ist, so ist die beobachtete
Aufgabensammlung aus Mathematik 2 UMIT, SS 2010, Version vom 7. Mai 2010
Aufgabensammlung aus Mathematik 2 UMIT, SS 2, Version vom 7. Mai 2 I Aufgabe I Teschl / K 3 Zerlegen Sie die Zahl 8 N in ihre Primfaktoren. Aufgabe II Teschl / K 3 Gegeben sind die natürliche Zahl 7 und
Tensoren in der Datenanalyse
Tensoren in der Datenanalyse Edgar Tretschk Universität des Saarlandes 2. Dezember 2015 1 Inhalt 1 Grundlagen 2 Singulärwertzerlegung 3 Ziffernerkennung 4 Bewegungsabläufe 2 Tensoren als mehrdimensionale
Euklidische und unitäre Vektorräume
Kapitel 7 Euklidische und unitäre Vektorräume In diesem Abschnitt ist der Körper K stets R oder C. 7.1 Definitionen, Orthonormalbasen Definition 7.1.1 Sei K = R oder C, und sei V ein K-Vektorraum. Ein
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Tobias Scheffer Thomas Vanck
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Thomas Vanck Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer
Vorlesung 4b. Die Varianz
Vorlesung 4b Die Varianz 1 X sei reellwertige Zufallsvariable mit endlichem Erwartungswert µ. Die Varianz von X ist definiert als Var X := E[(X µ) 2 ], die erwartete quadratische Abweichung der Zufallsvariablen
7.2 Moment und Varianz
7.2 Moment und Varianz Def. 21 Es sei X eine zufällige Variable. Falls der Erwartungswert E( X p ) existiert, heißt der Erwartungswert EX p p tes Moment der zufälligen Variablen X. Es gilt dann: + x p
Projektive Geometrie
Projektive Geometrie Einleitung Was ist projektive Geometrie? eine alternative algebraische Repräsentation von geometrischen Objekten (Punkt, Gerade,...) und Transformationen (Translation, Rotation,...)
kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Übersicht Neuronale Netze Motivation Perzeptron Grundlagen für praktische Übungen
Multivariate Verfahren
Multivariate Verfahren Oliver Muthmann 31. Mai 2007 Gliederung 1 Einführung 2 Varianzanalyse (MANOVA) 3 Regressionsanalyse 4 Faktorenanalyse Hauptkomponentenanalyse 5 Clusteranalyse 6 Zusammenfassung Komplexe
Eine Zufallsvariable wird als diskret bezeichnet, wenn sie nur endlich viele oder abzählbar unendlich viele Werte annimmt.
Statistik I Sommersemester 009 Aufgabenlösung Übung 4: Diskrete Zufallsvariablen Aufgabe 5.. (Blatt ) ine Zufallsvariable bildet den reignisraum eines Zufallsvorgangs ab. Dieser bestimmt den Definitionsbereich
5 Optimale erwartungstreue Schätzer
33 5 Optimale erwartungstreue Schätzer 5.1 Definition Seien X 1,..., X n reelle Zufallsvariablen, T T (X 1,..., X n ) reellwertige Statistik. T heißt linear : c 1,..., c n R mit T n c j X j 5.2 Satz Seien
Clusteranalyse: Gauß sche Mischmodelle
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse: Gauß sche Mischmodelle iels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer
1 Einleitung Definitionen, Begriffe Grundsätzliche Vorgehensweise... 3
Inhaltsverzeichnis 1 Einleitung 1 1.1 Definitionen, Begriffe........................... 1 1.2 Grundsätzliche Vorgehensweise.................... 3 2 Intuitive Klassifikation 6 2.1 Abstandsmessung zur Klassifikation..................
Sensorische Informationsverarbeitung und Haupkomponentenanalyse
Sensorische Informationsverarbeitung und Hauptkomponentenanalyse 5 deg 5 deg 5 deg Rezeptive Felder von Neuronen im primären visuellen Korte (DeAngelis, Ohzawa, Freeman, 1995) http://www.cns.unibe.ch/~wsenn/#teaching
Sparse Hauptkomponentenanalyse
Sparse Referent: Thomas Klein-Heßling LMU München 20. Januar 2017 1 / 36 1 Einführung 2 3 4 5 2 / 36 Einführung Ziel: vorhandene Datenmenge verstehen Daten komprimieren Bei der Sparse (SPCA) handelt es
Statistik II. IV. Hypothesentests. Martin Huber
Statistik II IV. Hypothesentests Martin Huber 1 / 22 Übersicht Weitere Hypothesentests in der Statistik 1-Stichproben-Mittelwert-Tests 1-Stichproben-Varianz-Tests 2-Stichproben-Tests Kolmogorov-Smirnov-Test
Adaptive Systeme. Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Evolutionäre Algorithmen: Überlebenskampf und Evolutionäre Strategien Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff Überblick Einleitung Adaptive Filter Künstliche
Die Lagrange-duale Funktion
Die Lagrange-duale Funktion Gregor Leimcke 21. April 2010 1 Die Lagrangefunktion Wir betrachten das allgemeine Optimierungsproblem wobei minimiere f 0 über D sodass f i 0, i = 1,..., m 1.1 D = h i = 0,
Kapitel III Selektieren und Sortieren
Kapitel III Selektieren und Sortieren 1. Einleitung Gegeben: Menge S von n Elementen aus einem total geordneten Universum U, i N, 1 i n. Gesucht: i-kleinstes Element in S. Die Fälle i = 1 bzw. i = n entsprechen
Quantenmechanik-Grundlagen Klassisch: Quantenmechanisch:
Quantenmechanik-Grundlagen HWS DPI 4/08 Klassisch: Größen haben i. Allg. kontinuierliche Messwerte; im Prinzip beliebig genau messbar, auch mehrere gemeinsam. Streuung nur durch im Detail unbekannte Störungen
Kuhn-Tucker-Bedingung
Kuhn-Tucker-Bedingung Ist x ein lokales Minimum einer skalaren Funktion f unter den Nebenbedingungen g i (x) 0 und sind die Gradienten der aktiven Gleichungen g i (x ) = 0, i I, linear unabhängig, dann
47 Singulärwertzerlegung
47 Singulärwertzerlegung 47.1 Motivation Wir haben gesehen, dass symmetrische Matrizen vollständig mithilfe ihrer Eigenwerte und Eigenvektoren beschrieben werden können. Diese Darstellung kann unmittelbar
Kapitel 2.1: Die stochastische Sicht auf Signale Georg Dorffner 67
Kapitel 2.1: Die stochastische Sicht auf Signale 215 Georg Dorffner 67 Stochastische Prozesse Stochastische Prozesse sind von Zufall geprägte Zeitreihen x n f x, n 1 xn2,... n vorhersagbarer Teil, Signal
5. Lernregeln für neuronale Netze
5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1
Teil I. Lineare Optimierung
Teil I Lineare Optimierung 5 Kapitel 1 Grundlagen Definition 1.1 Lineares Optimierungsproblem, lineares Programm. Eine Aufgabenstellung wird lineares Optimierungsproblem oder lineares Programm genannt,
Optimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum
13 Mehrdimensionale Zufallsvariablen Zufallsvektoren
3 Mehrdimensionale Zufallsvariablen Zufallsvektoren Bisher haben wir uns ausschließlich mit Zufallsexperimenten beschäftigt, bei denen die Beobachtung eines einzigen Merkmals im Vordergrund stand. In diesem
Kapitel 12 Erwartungswert und Varianz
Kapitel 12 Erwartungswert und Varianz Vorlesung Wahrscheinlichkeitsrechnung I vom 4/10. Juni 2009 Lehrstuhl für Angewandte Mathematik 1 FAU 12.1 Der Erwartungswert Der Erwartungswert einer Zufallsvariablen
Lagrange-Multiplikatoren
Lagrange-Multiplikatoren Ist x eine lokale Extremstelle der skalaren Funktion f unter den Nebenbedingungen g i (x) = 0, dann existieren Lagrange-Multiplikatoren λ i, so dass grad f (x ) = λ i grad g i
Neuronale Netze. Christian Böhm.
Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch
Wahrscheinlichkeiten und Dichten. Interpretation von Wahrscheinlichkeiten. Einige Definitionen und Gesetze
Wahrscheinlichkeitstheorie: Grunlagen un Definitionen Wahrscheinlichkeiten un Dichten Interretation von Wahrscheinlichkeiten Einige Definitionen un Gesetze PD Dr. Martin Stetter Siemens AG Wahrscheinlichkeitstheorie:
Anwendungen der Hauptkomponentenanalyse. Volker Tresp vertreten durch Florian Steinke
Anwendungen der Hauptkomponentenanalyse Volker Tresp vertreten durch Florian Steinke 1 Dimensionsreduktion für Supervised Learning 2 Beispiel: Kaufentscheidung 3 Verbesserte Abstandsmaße durch Hauptkomponentenanalyse
Parameterschätzung. Kapitel 14. Modell Es sei {P θ θ Θ}, Θ R m eine Familie von Verteilungen auf χ (sog. Stichprobenraum),
Kapitel 14 Parameterschätzung Modell Es sei {P θ θ Θ}, Θ R m eine Familie von Verteilungen auf χ (sog. Stichprobenraum), = ( 1,..., n ) sei eine Realisierung der Zufallsstichprobe X = (X 1,..., X n ) zu
Computer Vision: Kalman Filter
Computer Vision: Kalman Filter D. Schlesinger TUD/INF/KI/IS D. Schlesinger () Computer Vision: Kalman Filter 1 / 8 Bayesscher Filter Ein Objekt kann sich in einem Zustand x X befinden. Zum Zeitpunkt i
Multivariate Verteilungen
Multivariate Verteilungen Zufallsvektoren und Modellierung der Abhängigkeiten Ziel: Modellierung der Veränderungen der Risikofaktoren X n = (X n,1, X n,2,..., X n,d ) Annahme: X n,i und X n,j sind abhängig
Statistik und Wahrscheinlichkeitsrechnung
Statistik und Wahrscheinlichkeitsrechnung Dr. Jochen Köhler 1 Inhalt der heutigen Vorlesung Statistik und Wahrscheinlichkeitsrechnung Zusammenfassung der vorherigen Vorlesung Übersicht über Schätzung und
Mustererkennung. Merkmalsreduktion. R. Neubecker, WS 2016 / Übersicht
Mustererkennung Merkmalsreduktion R. Neubecker, WS 2016 / 2017 Übersicht 2 Merkmale Principal Component Analysis: Konzept Mathematische Formulierung Anwendung Eigengesichter 1 Merkmale 3 (Zu) Viele Merkmale
Multimedia-Metadaten und ihre Anwendung
Multimedia-Metadaten und ihre Anwendung 14.02.2006 Automatische Gesichtserkennung Dominikus Baur Gesichtserkennung in MPEG-7 MPEG-7 bietet Face Descriptor zur Beschreibung von Gesichtern Im Folgenden:
Vorlesung 4b. Die Varianz
Vorlesung 4b Die Varianz 1 X sei reellwertige Zufallsvariable mit endlichem Erwartungswert µ Die Varianz von X ist definiert als Var[X] := E[(X µ) 2 ], die erwartete quadratische Abweichung der Zufallsvariablen
Eigenwerte und Diagonalisierung
Eigenwerte und Diagonalisierung Wir wissen von früher: Seien V und W K-Vektorräume mit dim V = n, dim W = m und sei F : V W linear. Werden Basen A bzw. B in V bzw. W gewählt, dann hat F eine darstellende
Teil VIII. Zentraler Grenzwertsatz und Vertrauensintervalle. Woche 6: Zentraler Grenzwertsatz und Vertrauensintervalle. Lernziele. Typische Situation
Woche 6: Zentraler Grenzwertsatz und Vertrauensintervalle Patric Müller ETHZ Teil VIII Zentraler Grenzwertsatz und Vertrauensintervalle WBL 17/19, 29.05.2017 Wahrscheinlichkeit
Erzeugendensystem und Basis
Erzeugendensystem und Basis Definition Erzeugendensystem und Basis eines Unterraums Sei S F n 2 ein Unterraum. Eine Menge G = {g 1,..., g k } S heißt Erzeugendensystem von S, falls jedes x S als Linearkombination
d x 2 = 1 y ' x 2 d x 2
2. Variationsrechnung 2.1. Variation ohne Nebenbedingungen Eine Funktion y = y(x) ordnet jedem x-wert eine Zahl (den y-wert) zu. In der Variationsrechnung betrachtet man Funktionale, die jeder Funktion
Support Vector Machines (SVM)
Universität Ulm 12. Juni 2007 Inhalt 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor-
Vorlesung Wissensentdeckung
Vorlesung Wissensentdeckung Klassifikation und Regression: nächste Nachbarn Katharina Morik, Uwe Ligges 14.05.2013 1 von 24 Gliederung Funktionsapproximation 1 Funktionsapproximation Likelihood 2 Kreuzvalidierung
Prof. Dr. Fred Böker
Statistik III WS 2004/2005; 8. Übungsblatt: Lösungen 1 Prof. Dr. Fred Böker 07.12.2004 Lösungen zum 8. Übungsblatt Aufgabe 1 Die Zufallsvariablen X 1 X 2 besitzen eine gemeinsame bivariate Normalverteilung
Vorlesung Einführung in die Mathematische Optimierung (Wintersemester 2013/14)
Vorlesung Einführung in die Mathematische Optimierung (Wintersemester 3/) Kapitel : Optimierung ohne Nebenbedingungen Volker Kaibel Otto-von-Guericke Universität Magdeburg (Version vom. Oktober 3) Gliederung
Singulärwertzerlegung
LMU München Centrum für Informations- und Sprachverarbeitung WS 10-11: 13.12.2010 HS Matrixmethoden im Textmining Dozent: Prof.Dr. Klaus U. Schulz Referat von: Erzsébet Galgóczy Singulärwertzerlegung 1
Angewandte Stochastik
Angewandte Stochastik Dr. C.J. Luchsinger 13 Allgemeine Theorie zu Markov-Prozessen (stetige Zeit, diskreter Zustandsraum) Literatur Kapitel 13 * Grimmett & Stirzaker: Kapitel 6.9 Wie am Schluss von Kapitel
Grundgesamtheit und Stichprobe
Grundgesamtheit und Stichprobe Definition 1 Die Menge der Untersuchungseinheiten {U 1,U 2,...,U N } heißt Grundgesamtheit. Die Anzahl N der Einheiten ist der Umfang der Grundgesamtheit. Jeder Einheit U
9. Vorlesung Lineare Algebra, SVD und LSI
9. Vorlesung Lineare Algebra, SVD und LSI Grundlagen lineare Algebra Vektornorm, Matrixnorm Eigenvektoren und Werte Lineare Unabhängigkeit, Orthogonale Matrizen SVD, Singulärwerte und Matrixzerlegung LSI:Latent
Nicht-negative Matrix-Faktorisierung (NMF) für die Mustererkennung
Ncht-negate Matrx-Faktorserung (NMF) für de Mustererkennung Alexander Gloye 11. Februar 2005 11. Februar 2005 Alexander Gloye 2 Überblck Motaton Datenaufberetung Matrxfaktorserung Methodenerglech Algorthmus
Lösungen zur Klausur GRUNDLAGEN DER WAHRSCHEINLICHKEITSTHEORIE UND STATISTIK
Institut für Stochastik Dr. Steffen Winter Lösungen zur Klausur GRUNDLAGEN DER WAHRSCHEINLICHKEITSTHEORIE UND STATISTIK für Studierende der INFORMATIK vom 17. Juli 01 (Dauer: 90 Minuten) Übersicht über
Übung 5, Analytische Optimierung
Übung 5, 5.7.2011 Analytische Optimierung Aufgabe 5.1 Bei der Herstellung von Konserven werden für Boden und Deckel bzw. für den Konservenmantel verschiedene Materialien verwendet, die g 1 = bzw. g 2 =
13 Grenzwertsätze Das Gesetz der großen Zahlen
13 Grenzwertsätze 13.1 Das Gesetz der großen Zahlen Der Erwartungswert einer zufälligen Variablen X ist in der Praxis meist nicht bekannt. Um ihn zu bestimmen, sammelt man Beobachtungen X 1,X 2,...,X n
EXKURS: MATRIZEN UND LINEARE GLEICHUNGSSYSTEME
EXKURS: MATRIZEN UND LINEARE GLEICHUNGSSYSTEME In diesem Abschnitt wiederholen wir zunächst grundlegende Definitionen und Eigenschaften im Bereich der Matrizenrechnung, die wahrscheinlich bereits in Ansätzen
Grundgesamtheit und Stichprobe
Grundgesamtheit und Stichprobe Definition 1 Die Menge der Untersuchungseinheiten {U 1,U 2,...,U N } heißt Grundgesamtheit. Die Anzahl N der Einheiten ist der Umfang der Grundgesamtheit. Jeder Einheit U
1 Diskriminanzanalyse
Multivariate Lineare Modelle SS 2008 1 Diskriminanzanalyse 1. Entscheidungstheorie 2. DA für normalverteilte Merkmale 3. DA nach Fisher 1 Problemstellungen Jedes Subjekt kann einer von g Gruppen angehören
Numerische Methoden und Algorithmen in der Physik
Numerische Methoden und Algorithmen in der Physik Hartmut Stadie, Christian Autermann 15.01.2009 Numerische Methoden und Algorithmen in der Physik Christian Autermann 1/ 47 Methode der kleinsten Quadrate
Maschinelles Lernen: Neuronale Netze. Ideen der Informatik
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale
2 Multivariate Normalverteilung
2 Multivariate Normalverteilung 2. Multivariate Normalverteilung Definition 2.. Normalverteilung Eine univariat normalverteilte Zufallsvariable X besitzt ie Dichte ) (x µ)2 f (x) = exp ( x R. 2π σ 2σ 2
Zufallsvariablen. Diskret. Stetig. Verteilung der Stichprobenkennzahlen. Binomial Hypergeometrisch Poisson. Normal Lognormal Exponential
Zufallsvariablen Diskret Binomial Hypergeometrisch Poisson Stetig Normal Lognormal Exponential Verteilung der Stichprobenkennzahlen Zufallsvariable Erinnerung: Merkmal, Merkmalsausprägung Deskriptive Statistik:
Quadratische Formen. und. Symmetrische Matrizen
Quadratische Formen und Symmetrische Matrizen 1 Ouverture: Lineare Funktionen von R n nach R 1 2 Beispiel: n = 2 l : (x 1, x 2 ) T 0.8x 1 + 0.6x 2 = < x, g > mit g := (0.8, 0.6) T. Wo liegen alle x = (x
Varianz und Kovarianz
KAPITEL 9 Varianz und Kovarianz 9.1. Varianz Definition 9.1.1. Sei (Ω, F, P) ein Wahrscheinlichkeitsraum und X : Ω eine Zufallsvariable. Wir benutzen die Notation (1) X L 1, falls E[ X ]
Exponentialabbildung für Matrizen und Systeme von Differentialgleichungen
Proseminar Lineare Algebra SS10 Exponentialabbildung für Matrizen und Systeme von Differentialgleichungen Simon Strahlegger Heinrich-Heine-Universität Betreuung: Prof. Dr. Oleg Bogopolski Inhaltsverzeichnis:
Mustererkennung. Übersicht. Unüberwachtes Lernen. (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren Gaussian-Mixture Modelle
Mustererkennung Unüberwachtes Lernen R. Neubecker, WS 01 / 01 Übersicht (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren 1 Lernen Überwachtes Lernen Zum Training des Klassifikators
kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer
Facetten der Codierungstheorie
. p. 1/15 Facetten der Codierungstheorie Axel Kohnert, Alfred Wassermann Aachen SPP 1489 Februar 2011 http://codes.uni-bayreuth.de Universität Bayreuth axel.kohnert@uni-bayreuth.de . p. 2/15 Facetten Kombinatorische
2. Stochastische ökonometrische Modelle. - Modelle der ökonomischen Theorie an der Wirklichkeit überprüfen
.1. Stochastische ökonometrische Modelle.1 Einführung Ziele: - Modelle der ökonomischen Theorie an der Wirklichkeit überprüfen - Numerische Konkretisierung ökonomischer Modelle und deren Analse. . Variierende
Abhängigkeitsmaße Seien X 1 und X 2 zwei Zufallsvariablen. Es gibt einige skalare Maße für die Abhängigkeit zwischen X 1 und X 2.
Abhängigkeitsmaße Seien X 1 und X 2 zwei Zufallsvariablen. Es gibt einige skalare Maße für die Abhängigkeit zwischen X 1 und X 2. Lineare Korrelation Annahme: var(x 1 ),var(x 2 ) (0, ). Der Koeffizient
Lineare Regression. Christian Herta. Oktober, Problemstellung Kostenfunktion Gradientenabstiegsverfahren
Lineare Regression Christian Herta Oktober, 2013 1 von 33 Christian Herta Lineare Regression Lernziele Lineare Regression Konzepte des Maschinellen Lernens: Lernen mittels Trainingsmenge Kostenfunktion
OLS-Schätzung: asymptotische Eigenschaften
OLS-Schätzung: asymptotische Eigenschaften Stichwörter: Konvergenz in Wahrscheinlichkeit Konvergenz in Verteilung Konsistenz asymptotische Verteilungen nicht-normalverteilte Störgrößen zufällige Regressoren
Überbestimmte Gleichungssysteme
Siebente Vorlesung, 8. Mai 2008, Inhalt Überbestimmte Gleichungssysteme Kleinste Quadrate: einfaches Beispiel, elementare Herleitung Normalengleichungen Transformation mit QR-Zerlegung und SVD Nichtlineare
Modellbildung und Simulation
Modellbildung und Simulation 6. Vorlesung Wintersemester 2007/2008 Klaus Kasper Value at Risk (VaR) Gaußdichte Gaußdichte der Normalverteilung: f ( x) = 1 2π σ x e 2 2 x ( x µ ) / 2σ x Gaußdichte der Standardnormalverteilung:
Übersicht Kapitel 9. Vektorräume
Vektorräume Definition und Geometrie von Vektoren Übersicht Kapitel 9 Vektorräume 9.1 Definition und Geometrie von Vektoren 9.2 Teilräume 9.3 Linearkombinationen und Erzeugendensysteme 9.4 Lineare Abhängigkeiten
Statistik II. Lineare Regressionsrechnung. Wiederholung Skript 2.8 und Ergänzungen (Schira: Kapitel 4) Statistik II
Statistik II Lineare Regressionsrechnung Wiederholung Skript 2.8 und Ergänzungen (Schira: Kapitel 4) Statistik II - 09.06.2006 1 Mit der Kovarianz und dem Korrelationskoeffizienten können wir den statistischen
Methode der kleinsten Quadrate
Versus QR Matrizen mit vollem Rang 27. Mai 2011 Versus QR Inhaltsverzeichnis 1 2 3 Beispiel 4 Beispiel 5 6 Versus QR Kondition Vergleich Beispiel Versus QR Zu finden: Gerade, die den Punkten (0, 6), (1,
5 Konfidenzschätzung. 5.1 Einige Grundbegriffe zur Konfidenzschätzung
5 Konfidenzschätzung 5. Einige Grundbegriffe zur Konfidenzschätzung Diesem Kapitel liegt das parametrische Modell {X, B X, P } mit P {P Θ} zugrunde. {Θ, B Θ } sei ein Meßraum über Θ und µ ein σ-finites