Lineares Gleichungssystem

Transkript

1 Lineares Gleichungssystem Ein System von m linearen Gleichungen in n Unbekannten besteht aus einer Menge von algebraischen Relationen der Form n a ij x j = b i, i =,...,m, j= wobei a ij R, i m, j n, die vorgegebenen Koeffizienten dessystemssindundb i, i m, diekomponentenderrechtenseite. Die x j, i n, stellen die gesuchten Unbekannten dar. Ein solches System kann in Matrixform beschrieben werden als: Ax = b, mit A = (a ij ) R m n Koeffizientenmatrix, b = (b i ) R m rechte Seite x = (x j ) R n Lösungsvektor. Typeset by FoilTEX

2 Existenz und Eindeutigkeit der Lösung Falls A R n n und b R n n, d.h. m = n, so sind folgende Eigenschaften äquivalent: Es existert genau eine Lösung x R n zum linearen Gleichungssystem Ax = b, A ist invertierbar A hat vollen Rang Alle Eigenwerte von A sind ungleich Null. Das homogene System Ax = hat nur die triviale Lösung. Typeset by FoilTEX

3 Wie löst man ein lineares Gleichungssystem? Betrachte das lineare Gleichungssystem Ax = b. Die dazu verwendeten Lösungsverfahren lassen sich grob in zwei Klassen einteilen: Ein direktes Verfahren zur Lösung von Ax = b ist ein Algorithmus, der (bei Vernachläßigung von Rundungsfehlern) in endlich vielen Schritten die Lösung x liefert; Ein iteratives Verfahren zur Lösung von Ax = b erzeugt im Gegensatz dazu eine Folge von Vektoren (x (m) ) m N, die im Limes für m immer bessere Approximationen der Lösung x liefern (im Fall der Konvergenz). Typeset by FoilTEX 3

4 Besonderes leicht lösbare Systeme: Dreiecksmatrizen Sei U R n n eine nicht-singuläre obere Dreiecksmatrix:, d.h., u ii u u u 3 u n u u 3 u n U = u 33 u 3n... u nn Dann kann das System U x = b mit der sogenannten Rückwärtssubstitution direkt gelöst werden: x n = b n u nn x i = u ii ( Aufwand: O(n )-Operationen. b i n j=i+ u ij x j ), i = n,...,. Typeset by FoilTEX 4

5 Verschiedene direkte Löser: MATLAB Aus der Matlab Dokumentation: Direkte Löser Typeset by FoilTEX 5

6 Gauß-Algorithmus () Grundidee: Reduziere das System Ax = b auf ein äquivalentes System der Form Ux = b, wobei U eine obere Dreiecksmatrix ist und b eine modifizierte rechte Seite. Die Umformungen werden durch geschickte Zeilenmodifikationen in n Schritten erhalten. Startend mit A () := A wird im k.-ten Schritt eine modifizierte Matrix A (k+) erzeugt. Sei a (k) kk das Pivotelement im k.-ten Schritt. Definiere den Skalierungsfaktor m ik und setze m ik = a(k) ik a (k+) ij b (k+) i a (k) kk, i = k +,...,n = a (k) ij m ik a (k), i,j = k +,...,n kj = b (k) i m ik b (k) k, i = k +,...,n Bemerkung: Das Verfahren schlägt fehl, falls ein Pivotelement gleich Null ist. Typeset by FoilTEX 6

7 Gauß-Algorithmus () Die im letzten Schritt erhaltene Matrix A (n) ist jetzt eine obere Dreiecksmatrix und das lineare Gleichungssystem lautet: a () n a () a () n a nn (n) a () a () x x.. x n = b () b ().. b (n) n Aufwand: O(n 3 )-Operationen bei einer vollbesetzten Matrix. Die Struktur von Bandmatrizen kann ausgenutzt werden und reduziert den Aufwand. Innerhalb der Bandstrucktur kann es zum Fill-in kommen. Die Nulleinträge ausserhalb bleiben erhalten. Problematik: Eine Pivotsuche, z.b. Spaltenpivotsuche, umgeht das Problem, dass einzelne Pivotelemente Null sein können. Dadurch wird nicht nur ein möglicher Abbruch verhindert, sondern auch der Einfluss von Rundungsfehlern reduziert. Bei bestimmten Klassen von Matrizen, z.b. symmetrische positiv definite Matrizen, ist keine Pivotsuche erforderlich. Typeset by FoilTEX 7

8 Beispiel : Elektrischer Schaltkreis R R R R R I I I U I I 3 Gegeben: Klemmspannung U, Widerstände R,...,R 5 Gesucht: Ströme I,...,I 5 Typeset by FoilTEX 8

9 Elektrischer Schaltkreis lin. Gleichungssystem Kirchhoffsche Gesetze, Ohmsches Gesetz führen auf Ax = b mit A = R R 4 R 5, x = R R R 3 I I I 3 I 4 I 5, b = U. Typeset by FoilTEX 9

10 Elektrischer Schaltkreis Gauß Algorithmus A = A () = R R 4 R 5 R R R 3 A () = R R 4 R 5 R +R R 3 R Typeset by FoilTEX

11 A () = R R 4 R +R 5 R +R +R 3 R R +R A (3) = R R 4 R +R 5 R R 4 (+ R R + R 3 R ) R 3 R 5 (+ R R + R 3 R ) A (4) = R R 4 R +R 5 R R 3 (R 4 +R 5 )(+ R R + R 3 R ) Typeset by FoilTEX

12 Elektrischer Schaltkreis, Gauß Algorithmus A = LU mit L = R R R +R + R R + R 3 R R R 4 (+ R R + R 3 R ) und U = A (4) = R R 4 R +R 5 R R 3 (R 4 +R 5 )(+ R R + R 3 R ) Typeset by FoilTEX

13 Einfluss von Rundungsfehlern Beispiel: Löse das LGS Ax = b mit Gauß Elimination (Rechengenauigkeit fünf Dezimalstellen) A := ( ) , b := ( ) Richtige Lösung x := Gauß Elimination ohne Pivotsuche: A := ( ) ( ) ( ) x op := ( ) Typeset by FoilTEX 3

14 Gauß Elimination mit Pivotsuche: ( ) ( ) x op x = ( ).5353 x mp :=.7864 ( ).36, x. mp x = ( ).. Verfahren mit Pivotsuche genauer! Typeset by FoilTEX 4

15 LU-Zerlegung: Einführung Löse das LGS Ax = b mit A R n n nicht singulär. Der Gauß-Algorithmus kann als LU-Zerlegung (auch LR-Zerlegung genannt) interpretiert werden. Dies ist eine Zerlegung der nicht-singulären Matrix A in das Produkt einer linken unteren Dreiecksmatrix L und einer rechten oberen Dreiecksmatrix U, d.h. A = LU, wobei U = A (n). Die Lösung x zum LGS kann schnell durch Lösung der folgenden linearen Dreiecks- Gleichungsysteme Ly= b, (Vorwärtssubstitution) berechnet werden. U x= y, (Rückwärtssubstitution) Typeset by FoilTEX 5

16 LU-Zerlegung: Algorithmus Gesucht sind die Matrizen L,U R n n, so dass a ij = n l ik u kj, k= i,j =,...,n, mit L = (l ij ) untere Dreiecksmatrix und U = (u ij ) obere Dreiecksmatrix. Setze l ii = für alle i =,...,n. Definiere: ( l ij = a ij u jj u ij = a ij i k= j k= l ik u kj, l ik u kj ), i =,...,n, j =,...,i, i =,...,n, j = i,...,n. Typeset by FoilTEX 6

17 LU-Decomposition Visualizer () X A () = A () L A () = A () = A * = * = L X = L X f () = f () * = * 5 = 7 9 Typeset by FoilTEX 7

18 LU-Decomposition Visualizer () X A () = A (3) L 3 A (3) = A * = * = L X = L 3 X f () = f (3) * = * = 9 8 Typeset by FoilTEX 8

19 Einfluss der Bandstruktur auf Fill-In Permutationsmatrizen P erlauben die Vertauschung der Zeilen (bei Multiplikation von links) und der Spalten (bei Multiplikation von rechts) einer Matrix A. Für diese gelten P = P. Ax = b (PA)x = Pb, AP Px = b (AP )ˆx = b mit ˆx = Px. Die Bandstruktur der Matrix A bleibt bei der LU-Zerlegung erhalten, d.h. außerhalb der Bandstruktur treten keine weiteren Einträge auf, jedoch können die Nulleinträge innerhalb der Bandstruktur verschwinden (Fill-In). Ziel: Finden von geeigneten Permutationen der Matrix A, so dass möglichst geringe Bandbreite entsteht. Hierzu gibt es Minimierungsalgorithmen z.b. von Cuthill-McKee. Typeset by FoilTEX 9

20 LU-Zerlegung und Fill-In 3 4 D-Poisson Matrix spy(p) LU-Zerlegung der Poisson Matrix spy(l P ) spy(u P ) nz = nz = 99 Matrix A spy(a) LU-Zerlegung der Matrix A spy(l A ) nz = nz = 74 Typeset by FoilTEX

21 LU-Zerlegung Pivotsuche Löse das LGS Ax = b mit ( ) ε A :=, b := ( ). Gauß Elimination ohne Pivotsuche: ( )( ) ε A = L U = ε. ε Gauß Elimination mit Pivotsuche: ( )( ) PA = L U =. ε ε κ(u i ) in Abhängigkeit von ε 4 κ(u ) ohne PS κ(u ) mit PS Kondition wird durch Pivotsuche verbessert Typeset by FoilTEX

22 LU-Zerlegung, Pivotsuche Vergleich mit Lösung auf 4 signifikante Stellen: ε x ( exakt ) x (ohne PS) x (mit PS) ohne PS mit PS 8 rel. Residuum := A x b 6 b Verfahren ohne Pivotsuche kann komplett falsche Ergebnisse liefern (Fehler > %) Typeset by FoilTEX

23 Cholesky-Zerlegung: Einführung Definition: Eine Matrix A R n n heißt positiv definit, wenn x Ax >, x R n \{}. Satz: Sei A R n n symmetrisch und positiv definit. Dann existiert genau eine untere Dreiecksmatrix L = R n n, so dass A = LL T. Rechenaufwand: O(n 3 ) und ist etwa halb so viel wie die LR-Zerlegung. Typeset by FoilTEX 3

24 Cholesky-Zerlegung: Algorithmus Gesucht ist die Matrix L R n n, so dass a ij = i l ik l kj, k= i,j =,...,n, mit L = (l ij ) untere Dreiecksmatrix. Setze l = a /. Rechne: l ii = ( a ii i k= ( l ji = a ij l ii l ik) /, i =,...,n, i k= l ik l jk ), i < j n. Typeset by FoilTEX 4

25 Gegeben sei Cholesky-Zerlegung: Beispiel A = 5 Dann ist die Cholesky-Zerlegung von A gegen durch A = 3 3 Bemerkung: Das Produkt LL T ist immer symmetrisch und positiv definit, obwohl die Matrix L nur eine Nährung an den exakten Cholesky-Faktor ist. Wird hingegen die LU-Zerlegung einer symmetrischen, positiv definiten Matrix berechnet, dann ist aufgrund der Rundungsfehler nicht gewährleistet, dass das Produkt LR wieder symmetrisch und positiv definit ist. Typeset by FoilTEX 5

26 QR-Zerlegung: Einführung Definition: Eine Matrix Q R n n heißt orthogonal, wenn QQ T = I. Satz: Sei A R n n invertierbar. Dann besitzt A genau eine QR-Zerlegung, wobei Q R n n ist orthonormal; R R n n ist eine invertierbare obere Dreiecksmatrix. Berechnung: Es gibt mehrere Möglichkeiten, wie z.b. durch den Gram-Schmidt Orthogonalizationsverfahren; durch Givens-Rotationen; durch Housholder-Transformationen. Typeset by FoilTEX 6

27 QR-Zerlegung mit Givens-Rotationen Zerlegung einer Matrix A R n m in A = QR mit orthonormaler Matrix Q R n n, d.h. Q Q = I, und oberer Rechtecksmatrix R R n m. Q T = Q n Q Q, Q k = G (k,k+) k G (k+,k+) k G (n,n) k. Für die Rotation G (j,j) k, j > k, gilt G (j,j) k.... a k... a j a j... = Typeset by FoilTEX 7

28 Givens-Rotation G (l,m) G (l,m).. x ṃ. x l = Id l m c s Id s c.. x ṃ Id. x l =. l.. c = cos(ϕ) = s = sin(ϕ) = x l x m +x l x m x m +x l = x l r, = x m r. Givens Rotation entspricht Drehung auf die Richtung (,...,,,,...,) Typeset by FoilTEX 8

29 Q Id QR-Zerlegung mit Givens (Algorithmus) for k=,...,m- { for i=m,...,k+ { Bestimme G (i,i) k, so dass A G (i,i) k A Q G (i,i) k Q } } Q Q ( G (i,i) k ) A i,k = Typeset by FoilTEX 9

30 QR-Zerlegung mit Householder Zerlegung einer Matrix A R n m in A = QR mit orthonormaler Matrix Q R n n, d.h. Q Q = I, und oberer Rechtecksmatrix R R n m. Q = Q n Q n Q Q Für den k-ten Schritt gilt Q k.... a a n k = Typeset by FoilTEX 3

31 Householder-Transformation a = (.8,.5).5 β = a + a sign(a )e v = ( ) a+ a sign(a )e β a H = (.6) Q = Id ( vv ) v v ( ) = Qa = (.7, ) v Qa Householder-Transformation entspricht Spiegelung an Hyperebene Typeset by FoilTEX 3

32 Householder-Transformation (Algorithmus) function [A] = qr house(a) % [Q,R] = qr house(a) berechnet die QR Zerlegung einer 3 % quadratischen Matrix A mittels Householder Transformationen. 4 % Die Vektoren vk, die die Householder Transformationen generieren, sind in 5 % dem unteren Teil der Matrix A gespeichert (mit der ersten Eintrag gleich 6 % ) und die obere Dreiecksmatrix R ist in dem oberen Teil gespeichert. 7 8 for k = :n 9 % Definition des ersten Einheitsvektors mit Laenge n+ k e = zeros(n+ k,); e() = ; % Householder Vektor so, dass v()= v = A(k:n,k)+sign(A(k,k))*norm(A(k:n,k),).*e; 3 v = v./v(); 4 % a = A(k:n,j) fuer alle j=k,...,n 5 % Qk(v)a = [I /(v'v)*(vv')]a = a v*[(v'*a)/(v'*v)] 6 % Schleife ueber die Spalten von A 7 for j=k:n 8 A(k:n,j) = A(k:n,j) *((v'*a(k:n,j))/(v'*v))*v; 9 end % Speichern des Vektors v in die k te Spalte von A A(k+:n,k) = v(:end,); end Typeset by FoilTEX 3

33 Vergleich LU mit QR Zerlegung Die Wilkinson-Matrix Löse das LGS Wx = b, W R n n, mit W := , b := ṇ. n n, mit LU Zerlegung und mit QR Zerlegung. (Exakte Lösung: x = ( n,..., n, n )T ) Typeset by FoilTEX 33

34 Vergleich LU mit QR Zerlegung Konditionszahl und Residuum 5 κ(w) κ(u) 5 4 κ(u) nn κ(w) Residuum LU 5 Fehler LU Residuum QR Fehler QR rel. Residuum := W x b b Schlechte Kondition der Rückwärtssubstitution (κ(w) κ(u)); QR robuster Typeset by FoilTEX 34

35 Vergleich LU mit QR Zerlegung Nachiteration LU-Zerlegung: Die Rundungsfehler führen zu großen Abweichungen der Lösung. Ausweg: LGS Wx = b 5 Fehler LU mit Nach It. x mittels LU Zerlegung berechnete Lösung Löse W x = b Ax (mit derselben LU-Zerlegung) 6 Fehler QR x := x + x Nachiteration verbessert die Robustheit der LU-Zerlegung als Löser. Typeset by FoilTEX 35