1 Singulärwertzerlegung und Pseudoinverse

Transkript

1 Singulärwertzerlegung und Pseudoinverse Singulärwertzerlegung A sei eine Matrix mit n Spalten und m Zeilen. Zunächst sei n m. Bilde B = A A. Dies ist eine n n-matrix. Berechne die Eigenwerte von B. Diese sind nicht-negativ und werden in der Reihenfolge λ λ λ k > λ k+ = = λ n = nummeriert. Als Kontrolle kann möglicherweise benutzt werden, dass k der Rang der Matrix A (und auch der Rang von A A) ist. Bilde eine ON-Basis v,..., v n des R n. Dabei ist v i Eigenvektor zum Eigenwert λ i. V := [ v,, v n ] ist dann eine orthogonale Matrix (V = V ). 4 Die singulären Werte von A sind als s i = λ i definiert. Die Matrix S = (s ij ) ist eine Matrix vom Diagonaltyp, d.h. für i j ist s ij =. S hat dieselbe Form wie A, also n Spalten und m Zeilen. Die Diagonalelemente sind durch die singulären Werte gegeben: s ii = s i. 5 Für i k definiere die Vektoren u i = λi A v i. Diese Vektoren bilden ein Othonormalsystem. Ergänze diese Vektoren zu einer ON-Basis u,..., u m des R m und fasse sie in der Matrix U = [ u,, u m ] zusammen. 6 Die Singulärwertzerlegung von A ist dann singulären Werte Diagonaltyp Singulärwertzerlegung A = USV. Eigenschaften der Singulärwertzerlegung: Zerlegung von A A = USV A = V S U Ist A invertierbar, so ist A = US V (beachte: U = U und V = V ). Die erste Regel nutzt man aus, wenn n > m ist (die Matrix ist breiter als hoch). Dann geht man so vor: Setze A = A und zerlege A = U S V. Die Zerlegung von A ist dann A = USV mit U = V, S = S und V = U. Für die meisten Rechnungen braucht man weder die Eigenvektoren von A A zum Eigenwert λ = noch die in 5 ergänzten Vektoren u k+ bis u m explizit. Man erhält die Sparversion der Singulärwertzerlegung, wenn die Einträge in diesen Vektoren einfach durch ersetzt werden. Sparversion

2 Beispiel : Singulärwertzerlegung von A = Da n = < m = ist, kann man direkt losrechnen: Es ist B = A A. [ ] [ ] 5 = B Mit p(λ) = λ 7λ + 6 = (λ 6)(λ ) ist λ = 6 und λ =. [ ] [ ] Eigenvektor zu λ = 6: Es ist B 6E =, also ist v 4 = Eigenvektor. [ ] Entweder berechnet man analog v = als Eigenvektor zu λ = oder man nutzt die Tasache aus, dass die Eigenvektoren der symmetrischen Matrix B zu verschiedenen eigenwerten orthogonal sind. V ist nun die Matrix der normierten Eigenvektoren: V = [ 5 4 S enthält auf der Diagonalen die Wurzeln der Eigenwerte von B: S = 5 Es ist u = A v = 6 5 und u = A v =. 5 Um u und u zu einer ON-Basis des R zu ergänzen, kann man ] 6. entweder das Gram-Schmidt-Verfahren verwenden: u und u sind ja schon zueinander senkrecht und normiert, man lässt also das Orthonormalisierungsverfahren auf einen beliebigen davon linear unabhängigen Vektor des R los, z.b. auf e, weil dann das Skalarprodunkt mit u schon Null ist: w =, 5 5 = 5 5 = 6 Man erhält u = w w =. 6

3 oder man nutzt die Tatsache aus, dass die Rechnung im R stattfindet und berechnet u = u u. 5 6 Damit wird U = Die Singulärwertzerlegung von A ist A = USV = wegge- Bei der Sparversion wird der rechenaufwändige Basisergänzungsschritt in lassen und man hat 5 6 A = USV = Man sieht dass beim Ausmultiplizieren die -Werte gerade mit den Nullen der S - Matrix multipliziert werden. Beispiel : Singulärwertzerlegung von A = [ ] Da die Matrix A breiter als hoch ist, wird eine Zerlegung von A = A vorgenommen. Man sieht B = A A = AA = [9]. λ = 9 ist der einzige Eigenwert dieser -Matrix. v = [] ist eine ONB des R, V = []. 4 S =.

4 5 u = A v =. Statt u mit dem Gram-Schmidt-Verfahren zu einer ON-Basis des R zu ergänzen, benutzen wir wieder das Kreuzprodukt: sicher steht w = auf u senkrecht, und w = = steht auf 4 beiden senkrecht. Damit muss man w und w nur noch normieren: U = [ ] u u u = 4 6 Damit ist A = U S V = 4 und A = A = V SU = [] [ ] [] 4 In der Sparversion hat man 5 u =, u =, u = und U = und damit A = U S V = [] Man kann die Singulärwertzerlegung von A natürlich auch direkt berechnen: Es ist B = A A =

5 Hier sieht man, wo der größere Aufwand steckt: das charakteristische Polynom ist p(λ) = λ + 9λ, also λ = 9, λ = λ =. Mit etwas Mühe und dem Gauss-Algorithmus berechnet man v = als Eigenvektor zu λ = 9 und genaus wie oben z.b. v = und v = als Eigenvektoren zu λ = λ =. 4 4 In S stehen wieder die Wurzeln der Eigenwerte: S =. 5 U ist diesmal die -Matrix, die nur aus u = A v = [] = [] besteht. 6 A = USV hat damit dieselben Komponenten wie oben. Pseudoinverse, Moore-Penrose-Inverse, Pseudonormallösung Ist S = (s ij ) eine n m-matrix vom Diagonaltyp, so definiert man die m n-matrix S + = (s + ji ) durch s+ ij = falls s ii s ii. Das heisst, dass S + aus S dadurch sonst entsteht, dass S transponiert wird und die Nicht-Null-Elemente auf der Diagonalen durch ihre Kehrwerte ersetzt werden. Ist A = USV, so ist die Moore-Penrose-Inverse oder Pseudoinverse A + von A durch A + = V S + U definiert. A = USV A + = V S + U Hier reicht die Sparversion der Singulärwertzerlegung. (A + ) = (A ) +, A existiert A = A + Achtung: im allg. ist (AB) + B + A +. Ist A x = b ein (möglicherweise mehrdeutig lösbares oder unlösbares) lineares Gleichungssystem, so ist die Pseudonormallösung x + definiert als x + = A + b. x + ist dadurch charakterisiert, dass gilt: (i) Die Norm des Fehlers A x + b ist minimal und 5

6 (ii) die Norm von x + ist minimal. Insbesondere ist im Fall eine eindeutig lösbaren Systems x + die Lösung und in mehrdeutig lösbaren Systemen die Lösung mit der kleinsten Norm. Ein wichtiger Spezialfall ist: Ist A injektiv (d.h. rang A = n), so sind A + und x + ohne Singulärwertzerlegung bestimmbar: A + = (A A) A und x + ist eindeutige Lösung von A A x + = A b. Beispiel : Pseudoinverse von A = und Pseudonormallösung von A x = Da der Rang von A zwei ist, kann man die Formel oben anwenden: [ ] B = A 5 A = B = [ ] A + = B A = [ ] 5 Damit berechnet man sofort die Pseudonormallösung [ ] [ x + = A + b = = 5 ] [ Wenn man die Pseudoinverse nicht benötigt, berechnet man noch schneller A 5 b = ] und x + als Lösung von [ ] [ 5 x + 5 =. ] Die Berechnung von A + = V S + U über die Singulärwertzerlegung bzw. die Sparversion ist mühsamer (liefert aber natürlich dasselbe Ergebnis): 5 5 A + = = Beispiel 4: Pseudonormallösung von [ ] x = [4] Da die Matrix nicht Rang hat, kann man die obige Formel nicht direkt verwenden. 6

7 Allerdings hat A = den Rang und deshalb ist ( [ (A ) + ] = ) = [ ]. 9 Mit Hilfe der Formel (A ) + = (A + ), also A + = ((A ) + ) folgt A + = und x + = A + b = [4] = Anwendung: Numerischer Rangabfall Von numerischem Rangabfall spricht man, wenn eine Matrix A sehr nahe an einer mit kleinerem Rang liegt. Dies führt dazu, dass die Konditionszahl ( A A ) sehr groß wird. Kleine Abweichungen in den Daten des linearen Gleichungssystems A x = b führen zu großen Abweichungen in der Lösung x. Beispiel 5: A x = 4 b mit A = 4. und b = 4 5 Man sieht leicht (oder rechnet nach), dass A invertierbar ist. Die Lösung x ist also eindeutig bestimmt: Die exakte Lösung ist x =. Allerdings ist z.b. y =.5 eine fast genau so.5 gute Lösung: Es ist A y =.5. Wenn man die Lösung des leicht gestörten Systems A x = b mit b =.9 berechnet, erhält man x =... Der Schlüssel zu dieser Problematik liegt in der Singulärwertzerlegung von A: Es ist A = USV mit S =.87.8 und unitären Matrizen U und V.. Man sieht, dass A einen sehr kleinen singulären Wert hat. Die singulären Werte von A sind die Kehrwerte der singulären Werte von A und der größte davon ist

8 In solchen Fällen kann man so vorgehen: Zerlege A = USV. Die Matrix S entsteht, indem in S alle singulären Werte, die kleiner als eine vorgegebene Zahl ε > sind, durch Null ersetzt werden. Statt der Lösungen von A x = b bestimme die Pseudonormallösungen von A x = b durch x + = A + b = V S + U b In diesem Beispiel ersetzt man den dritten singulären Wert duch Null und erhält S =.87.8 und S + = Damit wird und x + = A A + = = und x + = A+.9 = Anwendung: Ausgleichsrechnung Andere Bezeichnungen: Gaußsche Methode der kleinsten Quadrate, Ausgleichspolynome, Ausgleichsgerade, Regressionsgerade Ausgleichsgerade Wichtigster Fall: Ausgleichsgerade Gegeben sind n > Punktepaare (x i, y i ), wobei mindestens zwei verschiedene x- Koordinaten auftreten sollen. Gesucht ist eine Gerade y = ax + b, die diese Punkte bestmöglich annähert, d.h. Zahlen a und b, so dass der quadratische Fehler n ( ) (ax i + b) y i möglichst klein wird. i= Die Lösung dieses Problems wird gegeben durch die Pseudonormallösung des folgenden Gleichungssystems: b + ax = y [ ] x y. b., also A = y mit A =.. a.. und y =.. b + ax n = y n x n y n 8

9 Da die Matrix A injektiv [ ist, läßt sich die Pseudonormallösung mit Hilfe der Transponierten berechnen: = (A b a] A) A y. Der Korrelationskoeffizient r ist ein Maß für die Güte der Approximation durch die Ausgleichsgerade. Stets ist r, und je näher r bei ist, desto stärker ist die (lineare) Abhängigkeit der y- von den x-werten. Korrelationskoeffizient Berechnung Die Berechnung beruht [ ] auf der Anwendung der Cramerschen Regel auf das Gleichungssystem A A = A b a y. Der Einfachheit halber sind die Summationsgrenzen weggelassen. Alle Summen laufen von i = bis n. Berechne = n x i ( x i ) Die Ausgleichsgerade y = ax + b hat die Koeffizienten a = (n x i y i x i yi ) und b = ( x i yi x i y i xi ). Es ist r = n x i y i x i yi ( n )( x i ( x i ) n ) yi ( y i ) Praktische Durchführung: Die Werte werden in eine Tabelle eingetragen, die von außen nach innen ausgefüllt wird. Beispiel 6: n = 5 mit den Wertepaaren (, ), (, ), (, 5), (4, 4) und (5, 6). Die Starttabelle wird ausgefüllt. In die letzte Zeile werden die Summen eingetragen. Eine Spalte mit yi braucht man nur, wenn auch der Korrelationskoeffizient bestimmt werden soll. x i x i x i y i y i y i wird zu x i x i x i y i yi y i

10 Damit wird = 5 49 = = 76 a = 76 (5 6 8) = ( 4) = und 76 b = ( ) = (88 86) = Die Ausgleichsgerade ist also y = x +. y y = x x Der Korrelationskoeffizient ist r = (5 49 )( ) = Allgemeines Grundproblem der Ausgleichsrechnung Gegeben sind n Datenpaare (x i, y i ), i =,..., n und k < n Funktionen f bis f k. k Gesucht ist eine Linearkombination f(x) = α j f j (x) dieser f j, so dass die Summe der quadrierten Abweichungen von f an den Stellen x i zu y i minimal wird: F = n (f(x i ) y i ) = i= i= j= n ( k )! α j f j (x i ) y i = Min. Die Lösung dieses Problems wird durch die Pseudonormallösung des folgenden Gleichungssystems gegeben: Löse A a = y. Dabei enthält a = (α,..., α k ) die gesuchten Koeffizienten, f (x ) f (x ) f k (x ) y f (x ) f (x ) f k (x ) y A =..... und y =... f (x n ) f (x n ) f k (x n ) y n j= Allgemeines Grundproblem Beispiel 7: Approximation von x an den Stellen,,, und durch eine Funktion der Form f(x) = α + α x Es ist f (x) = und f (x) = x. Gesucht ist die Pseudonormallösung von y y = 7 x + 5 α +4α = (x = ) α +α = (x = ) α = (x = ) α +α = (x = ) α +4α = (x = ) x

11 4 Mit A = und [ ] [ ] b = 5 berechnet man A A = A 6 b = und damit α = 4 7 = 5 und α = 7 = 7. Das Ausgleichspolynom ist also y = 7 x + 5. Linearisierung und Gewichte Die Ausgleichsrechnung (insbesondere Die Ausgleichsgerade) läßt sich mit den obigen Methoden nur finden, wenn die unbekannten Paramerter α bis α k als Koeffizienten einer Linearkombination auftreten. Einige andere Fälle lassen sich durch Linearisierung darauf zurückführen: Linearisierung Typ y = ae bx Mit z = ln y erhält man z = ln a + bx. Man ermittelt also eine Ausgleichgerade z = c + dx für die (x i, z i ) = (x i, ln y i )-Punkte und findet so Werte für a = e c und b = d. Dieser Fall enthält auch Funktionen des Typs y = ab cx, da sich dies wegen b cx = e c ln bx wie oben schreiben läßt. Typ y = cx d Wegen x d = e d ln x ergibt Logarithmieren von x und y die Beziehung ln y = ln c + d ln x. Hat also die Ausgleichsgerade für die Wertepaare (w i, z i ) = (ln x i, ln y i ) die Form z = α + βw, so ist die Ausgleichsfunktion der Originaldaten y = e α x β. Typ y = ax + b Für z = y sucht man die Ausgleichsgerade für die Wertepaare (x i, z i ) in der Form z = ax + b. Die Ausgleichsfunktion ist dann y = ax + b. Ein gewichtetes Ausgleichsproblem liegt vor, wenn die Quadrate von (ax i + b) y i nicht gleichgewichtet eingehen, sondern wenn das Minimum einer Funktion der Form n F = γ i ((ax i + b) y i ) (γ i > ) i= gesucht wird. Die Zahlen γ i sind die Gewichte. gewichtetes Ausgleichsproblem Gewichte

12 Ist A x = y das Gleichungssystems des ungewichteten Ausgleichsproblems, so entstehen A und y dadurch, dass für k = bis n die k-te Zeile von A und der k-te Eintrag in y mit γ k multipliziert werden. Die Lösung des gewichteten Systems ist die Pseudonormallösung von (A A ) x = A y. In vielen Fällen ist A A invertierbar und das Problem hat eine eindeutige Lösung. Beispiel 8: Die Ausgleichsfunktion vom Typ y = ax + b (x, y ) = (, ), (x, y ) = (, ) und (x, y ) = (, 4 ). zu den Punkten Rückführung auf Ausgleichsgerade: mit z = y ist z = z =, z = 4. [ b Das Gleichungssystem A = z ist a] =. 4 Mit der Tabelle erhält man x i x i x i z i z i also = 5 4 = 4 α = = 8 4 = 4 7, α = = 4 4 = 6 7 Die Ausgleichsfunktion des Ausgabgsproblems ist also y = z = 7 6x + 4. Beispiel 9: Die Ausgleichsgerade zu den Punkte (, ), (, ) und (, 4) mit und ohne den Gewichten γ = γ = und γ =. Die Ausgleichsgerade für den Fall ohne Gewichte ist in Beispiel 7 schon berechnet worden: y = 6 7 x Die Matrizen erhält man durch Abwandlung des Systems aus Beispiel 8: [ ] b A = y a [ 6 b = a]. 4

13 [ ] [ ] Es ist A A = und A 9 y =. Daraus liest man die Lösung 8 b = 6 4 = 8 und a = 4 4 = ab. Die Ausgleichsgerade des gewichteten 4 Problems ist also y = 4 x + 4. Warnungen: (i) Die Matrix A A in Beispiel 9 ist nur zufällig symmetrisch, i.allg. ist das nicht so. (ii) Die in Beispiel 8 berechnete Ausgleichsfunktion löst nicht das nichtlineare Problem γ i ( ax i + b y i)! = Min, das mit Hilfe der mehrdimensionalen Differen- i= tialrechnung bearbeitet werden kann. Die Lösung ist ungefähr y = und ist in der Skizze dünn gestrichelt..7x +.96 y y = x z 4 z = x z = x x x