Mathematische Werkzeuge R. Neubecker, WS 2018 / 2019 Optimierung Lagrange-Funktionen, Karush-Kuhn-Tucker-Bedingungen

Transkript

1 Mustererkennung Mathematische Werkzeuge R. Neubecker, WS 018 / 019 Optimierung Lagrange-Funktionen, Karush-Kuhn-Tucker-Bedingungen 1

2 Optimierung Optimierungsprobleme Suche nach dem Maximum oder Minimum (ist äquivalent) einer skalaren Zielfunktion J(Ԧr) (Fehler, Kosten, Risiko, ) unter Variation von unabhängigen Variablen r 1, r, r n = Ԧr Gesucht: Stationäre Punkte= Punkte, für die die Bedingung Ԧr J Ԧr = 0 erfüllt ist. Hilfreiche Vorstellung: Zielfunktion stellt ein Gebirge über den unabhängigen Ortskoordinaten dar, Suche nach einem Tal Oft keine exakte algebraische Lösung möglich numerische Verfahren (sehr viele Algorithmen verfügbar) Zusätzliche Erschwernis Es können auch Nebenbedingungen g j Ԧr = 0 vorgegeben sein, die zusätzlich erfüllt werden müssen Lagrange Multiplikatoren! Problemstellung Lagrange Multiplikatoren Minimiere die Zielfunktion J( Ԧr) Min J r 1, r, r 3, Min unter Einhaltung der Nebenbedingung(en) g i Ԧr = 0 g 1 r 1, r, r 3, = 0 g r 1, r, r 3, = 0 g 3 r 1, r, r 3, = 0 Lösung Zusammenfassen in eine einzige (Lagrange-) Funktion mithilfe der sogenannten Lagrange-Multiplikatoren λ i L Ԧr, λ i = J Ԧr + λ i g i (Ԧr) Min Minimumsuche über Ableiten nach allen Variablen r j, λ i (wobei die Ableitungen nach den λ i gerade wieder zu den Nebenbedingungen führen) zurück geführt auf eine einzige Optimierungsaufgabe N.b.: Die Lagrange-Multiplikatoren λ i müssen nicht ausgerechnet werden, bzw. können durch Einsetzen eliminiert werden ( undetermined multiplier ). i r L = 0 λ L = 0 L = 0 r 1 L = 0 r L = 0 λ 1 L = 0 λ

3 Lagrange Multiplikatoren Anschaulich Minimiere die Zielfunktion J(x, y) Min unter Einhaltung der Nebenbedingung g x, y = c J x, y beschreibt ein Gebirge über den Koordinaten x, y g x, y = c beschreibt einen Pfad in x, y Für einen Lösungspunkt muss gelten: Der Pfad g (x, y) = c liegt tangential zu einer Höhenlinie J(x, y) = const, sonst könnte man durch kleine Bewegung auf dem Pfad auch J ändern (z.b. vergrößern). Mathematisch: Die Gradienten von J und g müssen (anti-)parallele Vektoren sein J x, y = λ g x, y, mit J x, y = J x, J y g, g x, y = x, g y oder: L = J x, y + λ g x, y c und L = L x, L y, L λ = 0 Bildquelle: Wikipedia Noch komplizierter Karush-Kuhn-Tucker-Bedingungen (KKT) Verallgemeinerung der Methode der Lagrange-Multiplikatoren für Nebenbedingungen, die (auch) Ungleichungen enthalten Anschaulich: Gehe nicht auf dem Pfad, sondern bleibe im Bereich rechts/links daneben Erweiterte Problemstellung Minimiere die Zielfunktion J( Ԧr) Min J r 1, r, r 3, Min unter Einhaltung der Nebenbedingung(en) h k Ԧr 0 h 1 r 1, r, r 3, 0 h r 1, r, r 3, 0 h 3 r 1, r, r 3, 0 und ggf. auch noch g i Ԧr = 0 g 1 r 1, r, r 3, = 0 g r 1, r, r 3, = 0 g 3 r 1, r, r 3, = 0 Lösungsansatz Aufstellen einer verallgemeinerten Lagrange-Gleichung L Ԧr, λ i, α k = J Ԧr + λ i g i Ԧr + α k h k (Ԧr) Min mit den Lagrange-Multiplikatoren λ i und α k i k 3

4 Karush-Kuhn-Tucker-Bedingungen (KKT) Fallunterscheidung Der gesuchte stationäre Punkt ( Ԧr 0 mit r J Ԧr 0 = 0) liegt a) im Bereich h k Ԧr 0 < 0 : Nebenbedingung inaktiv, kann ignoriert werden α k = 0 b) auf h k Ԧr 0 = 0 : Nebenbedingung aktiv in jedem Fall gilt α k h k = 0 Richtung Die Richtung der Gradienten ist entscheidend (müssen aus dem Gebiet h k 0 herausweisen) Vorzeichen der Lagrange-Multiplikatoren wird festgelegt für Maximierungsprobleme (L Max): λ k, α k 0 für Minimierungsprobleme (L Min): λ k, α k 0 Lösung Minimums-Suche wieder über partielles Ableiten und = 0 setzen (wie bei Lagrange) Zusätzlich: die KKT-Bedingungen (α k 0 und α k h k Ԧx 0 = 0) müssen erfüllt sein Eigenwerte und Eigenvektoren 4

5 Eigenwerte Eigenwerte und Eigenvektoren Definition: u ist Eigenvektor der Matrix A zum Eigenwert λ, wenn gilt A u = λ u Berechnung: Eigenwerte sind Lösung der charakterist. Gleichung det A λ1 = 0 Anzahl Eigenwerte λ i 0 = Rang der Matrix A Dimension der Matrix Länge der Eigenvektoren u ist unbestimmt (sinnvoll: Normierung auf u = 1) Zu einem ("entarteten") Eigenwert λ i können auch mehrere Eigenvektoren gehören Eigenschaften: Spur A = λ i det A = A = ς λ i Besondere Eigenschaften für reelle, symmetrische Matrizen: Eigenwerte sind reell Eigenvektoren sind zueinander orthogonal: u t 1 für i = j i u j = δ ij = { 0 für i j Normalverteilung 5

6 Normalverteilungen Normalverteilung Gaußsche Glockenkurve, sehr weit verbreitet, auch aus theoretischen Erwägungen bedeutsam (Zentraler Grenzwertsatz: Summe einer großen Anzahl von Zufallsvariablen ist annähernd normalverteilt). Univariate Normalverteilung Eine unabhängige Variable x Normalverteilung N μ, σ = 1 π σ exp [ 1 x μ ] σ ist vollständig definiert durch Mittelwert μ = E(x) und Varianz σ = E x μ Multivariate Normalverteilung Normalverteilungen Normalverteilung im N-dimensionalen Raum Ԧx 1 N Ԧμ, K = π N K exp [ 1 Ԧx Ԧμ t K 1 Ԧx Ԧμ ] Mittelwert Ԧμ = N-dimensionaler Vektor Ԧμ = E( Ԧx) Kovarianzmatrix K = NxN Matrix der (Ko-) Varianzen K = mit σ ij = E x i μ i x j μ j Eigenschaften der Kovarianzmatrix σ 11 σ 1 σ 1 σ K ist symmetrisch, d.h. σ ij = σ ji Diagonalelement σ ii ist die Varianz des i-ten Merkmals σ ij, i j ist die Kovarianz zwischen i-ten und j-tem Merkmal ( Korrelation) Wenn die Zufallsvariablen / Merkmale x i und x j statistisch unabhängig sind: Kovarianzen verschwinden σ ij = 0 für i j N Ԧμ, K = Produkt der n 1D Normalverteilungen Notation: K = Determinante, K 1 = Inverse 6

7 Normalverteilungen Eigenschaften der (multivariaten) Normalverteilung Der größte Wert von liegt bei Ԧx = Ԧμ (Zentrum, Schwerpunkt) Die Form der Verteilung wird von der Kovarianzmatrix K bestimmt. Punkte mit gleichem Wert N Ԧμ, K = const formen Hyperellipsoide. Die Hauptachsen der Ellipsoide liegen parallel zu den Eigenvektoren von K, Länge der Halbachsen = zugehörigen Eigenwerte von K. K = σ 0 0 σ K = σ σ K = σ 11 σ 1 σ 1 σ 7