Mathematische Werkzeuge R. Neubecker, WS 2016 / 2017

Transkript

1 Mustererkennung Mathematische Werkzeuge R. Neubecker, WS 2016 / 2017

2 Optimierung: Lagrange-Funktionen, Karush-Kuhn-Tucker-Bedingungen

3 Optimierungsprobleme Optimierung Suche nach dem Maximum oder Minimum (ist äquivalent) einer skalaren Zielfunktion J( r) (Fehler, Kosten, Risiko, ) unter Variation von unabhängigen Variablen r 1, r 2, r n = r Stationäre Punkte: Punkte für welche die Bedingung r J r = 0 erfüllt ist. Das können Extremwerte (Min./Max.) sein, aber auch Sattelpunkte Hilfreiche Vorstellung: Zielfunktion stellt ein Gebirge über den unabhängigen Ortskoordinaten dar, Suche nach Tal (bzw. Gipfel) Häufiges Problem: mehrere lokale Minima r 0j (erfüllen alle r J r = 0, aber nur im globalen Minimum r 0g liegt der kleinste Funktionswert vor J r 0g < J r 0j Oft keine exakte algebraische Lösung möglich numerische Verfahren (sehr viele Algorithmen verfügbar) Allgemein: Wahl der Startwerte? Konvergenz? Zusätzliche Erschwernis Es können auch Nebenbedingungen g j r = 0 vorgegeben sein, die zusätzlich erfüllt werden müssen Lagrange Multiplikatoren!

4 Problemstellung Lagrange Multiplikatoren Minimiere die Zielfunktion f( x) Min f x 1, x 2, x 3, Min unter Einhaltung der Nebenbedingung(en) g i x = 0 g 1 x 1, x 2, x 3, = 0 g 2 x 1, x 2, x 3, = 0 g 3 x 1, x 2, x 3, = 0 Lösung Zusammenfassen in eine einzige (Lagrange-) Funktion mithilfe der Lagrange- Multiplikatoren Minimumsuche über Ableiten nach allen Variablen x j, λ i L x, λ i = f x + (wobei die Ableitungen nach den λ i gerade wieder zu den Nebenbedingungen führen). i λ i g i ( x) Min N.b.: Die Lagrange-Multiplikatoren λ i müssen nicht ausgerechnet werden, bzw. können durch Einsetzen eliminiert werden ( undetermined multiplier ). x L = 0 λ L = 0 L = 0 x 1 L = 0 x 2 L = 0 λ 1 L = 0 λ 2

5 Anschaulich Lagrange Multiplikatoren Maximiere die Zielfunktion f(x, y) Min unter Einhaltung der Nebenbedingung(en) g x, y = c f x, y beschreibt ein Gebirge über den Koordinaten x, y g x, y = c beschreibt einen Pfad in x, y Für einen Lösungspunkt muss gelten: Der Pfad g(x, y) = c liegt tangential zu einer Höhenlinie f(x, y) = const, sonst könnte man durch kleine Bewegung auf dem Pfad f ändern (auch vergrößern). Mathematisch: Die Gradienten von f und g müssen (anti-)parallele Vektoren sein f x, y = λ g x, y, mit f x, y = f x, f y g, g x, y = x, g y oder: L = f x, y + λ g x, y c und L = L x, L y, L λ = 0 Bildquelle: Wikipedia

6 Karush-Kuhn-Tucker-Bedingungen (KKT) Verallgemeinerung der Methode der Lagrange-Multiplikatoren für Nebenbedingungen, die (auch) Ungleichungen umfassen. Erweiterte Problemstellung Minimiere die Zielfunktion f( x) Min f x 1, x 2, x 3, Min unter Einhaltung der Nebenbedingung(en) h k x 0 h 1 x 1, x 2, x 3, 0 h 2 x 1, x 2, x 3, 0 h 3 x 1, x 2, x 3, 0 und g i x = 0 g 1 x 1, x 2, x 3, = 0 g 2 x 1, x 2, x 3, = 0 g 3 x 1, x 2, x 3, = 0 Lösungsansatz Aufstellen einer verallgemeinerten Lagrange-Gleichung L x, λ i, μ k = f x + i λ i g i x + k α k h k ( x) Min mit den Lagrange-Multiplikatoren λ i und α k

7 Fallunterscheidung Karush-Kuhn-Tucker-Bedingungen (KKT) Der gesuchte stationäre Punkt ( x 0 mit x f x 0 = 0) liegt a) im Bereich h k x 0 < 0 : Nebenbedingung inaktiv, können ignoriert werden α k = 0 b) auf h k x 0 = 0 : Nebenbedingung aktiv in jedem Fall gilt α k h k = 0 Richtung Die Richtung der Gradienten ist entscheidend (müssen aus dem Gebiet h k 0 herausweisen) Vorzeichen der Lagrange-Multiplikatoren wird festgelegt für Maximierungsprobleme (L Max): λ k, α k 0 für Minimierungsprobleme (L Min): λ k, α k 0 (bzw. λ k λ k ; α k α k ) Lösung Minimums-Suche wieder über partielles Ableiten und =0 setzen (wie bei Lagrange) Zusätzlich: die KKT-Bedingungen (α k 0 und α k h k x 0 = 0) müssen erfüllt sein

8 Eigenwerte und Eigenvektoren

9 Eigenwerte und Eigenvektoren Eigenwerte Definition: u ist Eigenvektor der Matrix A zum Eigenwert λ, wenn gilt A u = λ u Berechnung: Eigenwerte sind Lösung der charakterist. Gleichung det A λ1 = 0 Anzahl Eigenwerte λ i 0 = Rang der Matrix A Dimension der Matrix Länge der Eigenvektoren u ist unbestimmt (sinnvoll: Normierung auf u = 1) Zu einem ("entarteten") Eigenwert λ i können auch mehrere Eigenvektoren gehören Eigenschaften: Spur A = λ i det A = A = λ i Besondere Eigenschaften für reelle, symmetrische Matrizen: Eigenwerte sind reell Eigenvektoren sind zueinander orthogonal: u t 1 für i = j i u j = δ ij = { 0 für i j

10 Normalverteilung

11 Normalverteilung Normalverteilungen Gaußsche Glockenkurve, sehr weit verbreitet, auch aus theoretischen Erwägungen bedeutsam (Zentraler Grenzwertsatz: Summe einer großen Anzahl von Zufallsvariablen ist annähernd normalverteilt). Univariate Normalverteilung Eine unabhängige Variable x Normalverteilung N μ, σ 2 = 1 2π σ exp [ 1 x μ 2 ] 2 σ ist vollständig definiert durch Mittelwert μ = E(x) und Varianz σ 2 = E x μ 2

12 Multivariate Normalverteilung Normalverteilungen Normalverteilung im N-dimensionalen Raum x 1 N μ, K = 2π N K exp [ 1 2 x μ t K 1 x μ ] Mittelwert μ = N-dimensionaler Vektor μ = E( x) Kovarianzmatrix K = NxN Matrix der (Ko-) Varianzen K = mit σ ij 2 = E x i μ i x j μ j Eigenschaften der Kovarianzmatrix 2 σ 11 2 σ 12 2 σ 21 2 σ 22 K ist symmetrisch, d.h. σ ij 2 = σ ji 2 Diagonalelement σ ii 2 ist die Varianz des i-ten Merkmals σ ij 2, i j ist die Kovarianz zwischen i-ten und j-tem Merkmal ( Korrelation) Wenn die Zufallsvariablen / Merkmale x i und x j statistisch unabhängig sind: Kovarianzen verschwinden σ ij 2 = 0 für i j N μ, K = Produkt der n 1D Normalverteilungen Notation: K = Determinante, K 1 = Inverse

13 Normalverteilungen Eigenschaften der (multivariaten) Normalverteilung Der größte Wert von liegt bei x = μ (Zentrum, Schwerpunkt) Die Form der Verteilung wird von der Kovarianzmatrix K bestimmt. Punkte mit gleichem Wert N μ, K = const formen Hyperellipsoide. Die Hauptachsen der Ellipsoide liegen parallel zu den Eigenvektoren von K, Länge der Halbachsen = zugehörigen Eigenwerte von K. K = σ 0 0 σ K = σ σ 2 K = σ 11 σ 12 σ 21 σ 22