Einführung in numerische Methoden für Ingenieure (nach A. Quarteroni, F. Saleri: Wissenschaftliches Rechnen mit MATLAB)

Einführung in numerische Methoden für Ingenieure (nach A. Quarteroni, F. Saleri: Wissenschaftliches Rechnen mit MATLAB) Prof. R. Leithner, Dipl. Phys. E. Zander Wintersemester 2010/2011

Kapitel 5 Lineare Systeme Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/2

Lineare Systeme Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/3

Lineare Systeme Viele Probleme in angewandten Wissenschaften führen auf die Lösung linearer Systeme Ax = b A = (a ij ) quadratische Matrix n n, x und b Spaltenvektoren Komponentenweise Form: a 11 x 1 + a 12 x 2 + + a 1n x n = b 1 a 21 x 1 + a 22 x 2 + + a 2n x n = b 2... a n1 x 1 + a n2 x 2 + + a nn x n = b n Numerische Verfahren zur Lösung von linearen Systemen notwendig Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/4

Beispiel 1: Hydraulik Hydraulisches System, Quelle mit konstantem Druck p = 10 bar Durchflussmenge Q j durch Rohr j abhängig von der Druckdifferenz p j k j L j Q j = p j k j hydraulischer Widerstand, L j Rohrlänge (Achtung: gilt nur für laminare Strömungen!) Quelle: A. Quarteroni, F. Saleri Austritt bei Atmosphärendruck (vereinbart auf 0 bar) Massenbilanz Summe der Durchflussmengen Null in jedem Knoten Beispiel: Knoten 1 (hineingehender Strom negativ) Q 1 + Q 2 + Q 3 + Q 4 = 0 Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/5

Beispiel 1: Hydraulik Einsetzen führt auf c 1 (p 1 10) + c 2 p 2 p 1 ) +c 3 (p 4 p 1 ) + c 4 (p 3 p 1 ) = 0 mit c i = 1/(k i L i ) (k i und L i siehe Quarteroni) Umformen oder (c 1 + c 2 + c 3 + c 4 )p 1 + c 2 p 2 + c 4 p 3 + c 3 p 4 = 10c 1 2.73p 1 + 20p 2 + 20p 3 + 14.3p 4 = 2 Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/6

Beispiel 2: Spektrometrie Betrachte Gasgemisch aus n verschiedenen Komponenten Gesucht: Partialdruck p j von Komponente j Untersuchung mit Massenspektrometer (Galvanometer): zeigt verschiedene Ausschläge h i je nach Masse/Ladungsverhältnis n s ij p j = h i j=1 Sensitivitätskoeffizienten s ij bestimmt an reinen Gasen Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/7

Wirtschaft: Input-Output-Analyse Betrachte n Fabriken, Fabrik i erzeugt x i Einheiten von Gut i Verbrauch von Gut i am Markt ist b i Verbrauch von Gut i durch Fabrik j ist c ij x j (zur Erzeugung von x j Einheiten von Gut j) Quelle: A. Quarteroni, F. Saleri Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/8

Wirtschaft: Input-Output-Analyse Für das einzelne Gut i gilt im Gleichgewicht von Angebot und Nachfrage n x i = c ij x j + b i j=1 Definiere C = (c ij ) b = (b i ) A = I C Für die Gesamtproduktion x gilt dann: Ax = b Anmerkung: dieses Modell wird auch als Leontief-Modell bezeichnet (Nobel-Preis 1973) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/9

Lösung linearer Systeme Lösung von Ax = b existiert genau dann, wenn A nicht singulär ist (d.h. det(a) 0) Versuch: Berechnung mit Cramerscher Regel x i = det(a) det(a i ) wobei A i aus A entsteht indem die i-te Spalte durch b ersetzt wird Berechnung der Determinanten einer n n Matrix mit Hilfe der Laplace-Entwicklung erfordert 2n! Operationen Für alle zusammen 2(n + 1)! Operationen Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/10

Lösung linearer Systeme Zeitbedarf für die Lösung von Ax = b mit der Cramerschen Regel auf einem Computer mit 10 9 flops: n = 15 12 Stunden n = 20 3240 Jahre n = 100 10 143 Jahre nicht effizient genug für praktische Anwendungen Anmerkung: die Laplace-Entwicklung zur Berechnung der Determinanten ist numerisch nicht stabil, sollte daher nicht verwendet werden Folgerung: bessere Verfahren werden benötigt Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/11

LU-Faktorisierung Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/12

LU-Faktorisierung Grundidee: der LU-Faktorisierung 1 Zerlege Matrix A in eine untere (Engl. lower L) und eine obere (Engl. upper U) Dreiecksmatrix A = LU 2 Dann löse hintereinander Ly = b Ux = y Hintergrund: Lösung der Gleichungssysteme mit oberer/unterer Dreiecksmatrix ist einfach und schnell durchzuführen Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/13

LU-Faktorisierung Lösung des Systems Ly = b Form der unteren Dreiecksmatrix L l 11 0 0 0 l 21 l 22 0 0 l 31 l 32 l 33 0....... l n1 l n2 l n3 l nn Führt auf die Gleichungen l 11 y 1 = b 1 l 21 y 1 + l 22 y 2 = b 2 l 31 y 1 + l 32 y 2 + l 33 y 3 = b 3 Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/14

LU-Faktorisierung - Vorwärtseinsetzung Lösung durch Vorwärtseinsetzung y 1 = 1 b 1 l 11 y i = 1 i 1 b i l ij y j l ii für i = 2,..., n j=1 Benötigte Operationen für Unbekannte y i : i 1 Additionen, i 1 Multiplikationen, 1 Division Operationen insgesamt: n n 1 + 2 (i 1) = n 2 i=1 i=1 Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/15

LU-Faktorisierung - Rückwärtseinsetzung Lösung von Ux = y durch Rückwärtseinsetzung x n = 1 y n u nn x i = 1 n y i u ij x j u ii für i = n 1,..., 1 j=i+1 Rückwärtseinsetzen benötigt ebenfalls n 2 Operationen Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/16

LU-Faktorisierung Gesucht: Algorithmus um L und U aus A zu berechnen Berechnung am Beispiel A R 2 2 Gleichung A = LU äquivalent zu [ ] [ ] [ ] l11 0 u11 u 11 a11 a = 12 l 21 l 22 0 u 22 a 21 a 22 Daraus folgt: l 11 u 11 = a 11 l 11 u 12 = a 12 l 21 u 11 = a 21 l 21 u 12 + l 22 u 22 = a 22 Gleichungen sind unterbestimmt: mehr Unbekannte als Gleichungen Diagonalelemente l ii werden willkürlich auf 1 gesetzt Gleichungen können dann nach u 11, u 12, l 21, u 22 aufgelöst werden Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/17

LU-Faktorisierung Für eine 3 3 Matrix ergibt sich: l 11 u 11 = a 11 l 11 u 12 = a 12 l 11 u 13 = a 13 l 21 u 11 = a 21 l 21 u 12 + l 22 u 22 = a 22 l 21 u 13 + l 22 u 23 = a 23 l 31 u 11 = a 31 l 31 u 11 + l 32 u 22 = a 32 l 31 u 13 + l 32 u 23 + l 33 u 33 = a 33 Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/18

LU-Faktorisierung Vorgehen für Matrix beliebiger Dimension n Elemente von L und U erfüllen min(i,j) l ir u rj = a ij r=1 für i, j = 1,..., n System ist unterbestimmt (n 2 Gleichungen, n 2 + n Unbekannte) Setze Diagonalelemente von L gleich 1 Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/19

LU-Faktorisierung - Gauß-Algorithmus Dann berechne mit Gauß-Algorithmus (setze a (1) ij = a ij ) für i = k + 1,..., n l ik = a (k) ik /a(k) kk für j = k + 1,..., n Pivotelemente a (k) kk a (k+1) ij = a (k) ij l ik a (k) kj müssen von Null verschieden sein Obere Dreiecksmatrix U gegeben durch u ij = a (i) ij Gauß-Faktorisierung benötigt 2n 3 /3 Operationen Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/20

LU-Faktorisierung - Speicheroptimierung Matrizen A (k) müssen nicht extra gespeichert werden Speicherschema nach Schritt k im Gauß-Algorithmus: a (1) 11 a (1) 12......... a (1) l 21 a (2) 1n 22... a (2) 2n........ l k1... l k,k 1 a (k) kk... a (k) kn.... l n1... l n,k 1 a (k) nk... a (k) nn A (k) (eingerahmt) werden in der Ursprungsmatrix A gespeichert Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/21

LU-Faktorisierung - Implementierung function A= lu_gauss (A) [n,m]= size (A); if n~=m; error ( A ist keine quadratische Matrix ); else for k = 1:n -1 if A(k,k )==0, error ( Pivot ist null ); end for i = k +1: n A(i,k) = A(i,k)/A(k,k); for j = k +1: n A(i,j) = A(i,j) - A(i,k)*A(k,j); end end end end Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/22

LU-Faktorisierung - Beispiel Beispiel: LU-Zerlegung einer 4 4-Matrix und Lösung durch Vorwärtsbzw. Rückwärtseinsetzen >> A= hilbert (4); >> A= lu_gauss (A); >> y (1)= b (1); for i =2: 4; y = [y; b(i)-a(i,1:i -1)* y (1:i -1)]; end >> x (4)= y (4)/ A (4,4); >> for i = 3: -1:1; x(i)= (y(i)-a(i,i +1:4)* x(i +1:4))/ A(i,i); end Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/23

LU-Faktorisierung - Aufwand Aufwand für die Faktorisierung mit dem Gauß-Algorithmus für n n-matrizen mit n = 10, 20,..., 100 Quelle: A. Quarteroni, F. Saleri Verlauf entspricht sehr genau dem theoretischen Aufwand von 2n 3 /3 Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/24

LU-Faktorisierung Gauß-Faktorisierung wird in Matlab in folgenden Befehlen benutzt [L,U]=lu(A) berechnet die LU-Zerlegung von A inv(a) berechnet die inverse Matrix A 1 Achtung: dies ist numerisch selten sinnvoll! A\b löst das lineare System Ax = b det(a) berechnet die Determinante von A Berechnung der Determinanten mit Hilfe der LU-Zerlegung aufgrund n det(a) = det(lu) = det(l) det(u) = k=1 u kk Matlab benutzt intern die sehr effiziente Bibliothek LAPACK (lineare Algebra Routinen in FORTRAN) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/25

LU-Faktorisierung - Probleme Gesucht: Lösung des linearen Systems 1 1 ɛ 3 5 ɛ A = 2 2 2, b = 6 3 6 4 13 für ɛ R Lösung x = (1, 1, 1) T unabhängig von ɛ LU-Faktorisierung für ɛ = 1: 1 0 0 1 0 3 L = 2 1 0, U = 0 2 4 3 3 1 0 0 7 Für ɛ = 0: Gauß-Algorithmus nicht durchführbar, da Division durch 0 (obwohl die Matrix nicht singulär ist!) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/26

LU-Faktorisierung Für welche Matrizen existiert die Gauß-Faktorisierung? Satz (Existenz der Gauß-Faktorisierung) Für eine gegebene Matrix A R n n existiert seine Gauß-Faktorisierung genau dann, wenn alle Hauptuntermatrizen A i von A der Ordnung i = 1,..., n 1 (also A eingeschränkt auf die i ersten Zeilen und Spalten) nichtsingulär sind. Klassen von Matrizen, für die der Satz erfüllt ist: Symmetrisch positiv definite Matrizen Diagonaldominante Matrizen Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/27

Cholesky-Faktorisierung Falls A symmetrisch positiv definit ist, existiert eine besonders effiziente Zerlegung A = HH T dabei ist H untere Dreiecksmatrix Anzahl Operationen für die Cholesky-Faktorisierung n 3 /3 Berechnung: setze h 11 = a 11 ( ) h ij = 1 j 1 a ij h ik h jk h jj i 1 h ii = aii k=1 In Matlab mit chol(a) k=1 h 2 ik Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/28

Pivotisierung Betrachte Matrix A: 1 1 3 A = A (1) = 2 2 2 3 6 4 Nach dem ersten Schritt des Gauß-Algorithmus erhalten wir: 1 1 3 A (2) = 2 0 4 3 3 5 Problem: Pivotelement a 2 22 ist null Idee: Zeilen 2 und 3 vertauschen 1 1 3 A (2) = 3 3 5 2 0 4 Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/29

Pivotisierung Folgerung: auch Matrizen für die die Voraussetzungen nicht gelten, können faktorisiert werden, wenn die Matrix entsprechend permutiert wird Problem: richtige Permutation nicht a priori bekannt aber: Permutation kann während des Prozesses durchgeführt werden P wird am Anfang gleich der Einheitsmatrix gesetzt. Wenn bei der Faktorisierung Zeilen r und s von A vertauscht werden, tauscht man die Spalten r und s von P, so dass gilt: PA = LU Dann löst man Ly = Pb Ux = y Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/30

Pivotisierung - Beispiel Betrachte folgende Matrix: 1 1 + 0.5 10 15 3 A = 2 2 20 3 6 4 Zerlege mit Programm lu Gauss in Faktoren L und Ũ Die Faktoren sind sehr ungenau: 0 0 0 A LŨ = 0 0 0 0 0 4 Alle Pivotelemente bei der Zerlegung sind ungleich Null Allerdings: manche Pivotelemente sehr klein Auslöschung Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/31

Pivotisierung Lösung: Zeilenpivotisierung 1 Suche in jedem Schritt k das betragsmäßig größte Pivotelement a (k) ik (mit i = k,..., n) 2 Dieses sei in Zeile r 3 Vertausche Zeile k mit Zeile r 4 Merke die Vertauschung in einer Permutationsmatrix P In Matlab: Befehl lu berechnet Gauß-Faktorisierung mit Zeilenpivotisierung Aufruf: [L,U,P]=lu(A), dann gilt L*U=P*A Hinweis: beim verkürzten Aufruf [M,U]=lu(A) gilt M=P *L Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/32

Pivotisierung - Algorithmus Gauß-Algorithmus mit Zeilenpivotisierung: für i = k + 1,..., n finde r, so dass a (k) rk = max j=k,...,n a(k) jk, vertausche Zeile k mit Zeile r l ik = a (k) ik /a(k) kk für j = k + 1,..., n a (k+1) ij = a (k) ij l ik a (k) kj Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/33

Konditionszahl Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/34

Genauigkeit der Faktorisierung Produkt LU nicht exakt gleich A (Rundungsfehler) Dämpfung mit Pivotisierung, aber: Wie genau ist das Verfahren? Beispiel: Faktorisierung der Hilbert-Matrix mit Elementen a ij = 1/(i + j 1) der Dimension n. Beispiel mit n = 3: 1 1/2 1/3 A 3 = 1/2 1/3 1/4 1/3 1/4 1/5 Wähle b n so dass x n = (1, 1,..., 1) T ist (d.h. berechne b n = A n x n ) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/35

Genauigkeit der Faktorisierung Berechne relativen Fehler in der Lösung E n = x n x n / x n in Abhängigkeit von n (siehe Abbildung, durchgezogene Linie) Quelle: A. Quarteroni, F. Saleri Fehler größer 1000% für n 13 (Aber: R n = L n U n P n A n gleich Nullmatrix, gestrichelte Linie ) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/36

Störungsrechnung Annahme: numerische Lösung des Systems Ax = b ist die exakte Lösung des gestörten Systems (A + δa) x = b + δb (*) δa und δb hängen vom speziellen Verfahren ab Untersuche erst einfachen Fall: δa = 0 und δb 0 Weitere Annahme: A symmetrisch positiv definit (d.h. A = A T und x T Ax > 0 für alle x 0) Aus (*) und Ax = b folgt x x = A 1 δb somit für den relativen Fehler E rel = x x / x = A 1 δb / x Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/37

Störungsrechnung A laut Annahme symmetrisch positiv definit Eigenvektoren v i bilden Orthonormalbasis von R n Es gilt also Av i = λ i v i vi T v j = δ ij Es lässt sich folgern (Eigenwertgleichung) (Orthonormalität) Aw λ max w, A 1 w 1 λ min w Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/38

Beweis der Abschätzung Beweis von Aw λ max w. Es gilt: Aw 2 = (Aw, Aw) n = (A w i v i, A = ( = i=1 n λ i w i v i, i=1 n w j v j ) j=1 n λ j w j v j ) j=1 n λ i λ j w i w j (v i, v j ) i,j=1 Definition der Norm Entwicklung von w in der Eigenvektorbasis v i Eigenvektoren: Av i = λ i v i Ausklammern und umstellen = n i=1 λ2 i wi 2 Orthogonalität (v i, v j ) = δ ij λ 2 n max i=1 w2 i = λ 2 max w 2 Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/39

Konditionszahl Beweis von A 1 w 1 λ min w folgt ähnlich Damit A 1 δb 1 λ min δb und Ax = b λ max x : x x E rel = = A 1 δb λ max δb x x λ min x Konstante K(A) = λ max λ min heißt spektrale Konditionszahl der Matrix A Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/40

Kondition - Beispiel >> A =[1 2; 2 5] A = 1 2 2 5 >> lambda = eig (A) lambda = 0. 17157 5. 82843 >> lambda (2)/ lambda (1) ans = 33. 971 >> cond (A) ans = 33. 971 Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/41

Konditionszahl Faustregel 1: Kondition klein Ax = b leicht zu lösen Kondition groß Aufwand sehr hoch, geringe Genauigkeit der Lösung Faustregel 2: bei einer Konditionszahl K(A) = 10 k verliert beim lösen des Gleichungssystems k Stellen an numerischer Genauigkeit In Matlab mit cond(a) für dünnbesetzte Matrizen mit condest(a) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/42

Kondition - Beispiel Vergleich der Konditionszahl mit tatsächlichem Fehler Beispiel: Berechne Hilbert-Matrix 1/1 1/2 1/n 1/2 1/3 1/(n + 1) A n =...... 1/n 1/(n + 1) 1/(2n 1) Kondition K(A n ) der Hilbert-Matrix steigt exponentiell mit n Vergleiche für verschiedene n den Fehler x x mit dem erwarteten Verlust an numerischer Genauigkeit ɛ M K(A n ) Standardtrick: wähle die Lösung x als bekannt (z.b. x = (1,..., 1) T ) und berechne damit die rechte Seite b = Ax Fehler x x kann genau berechnet werden Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/43

Kondition und Fehler N =3:10; for n=n x= ones (n,1); A= hilb (n); b=a*x; xn=a\b; err (n)= norm (x-xn ); cnd (n)= cond (A)* eps ; end semilogy ( N, err (N), x-, N, cnd (N), o -. ) legend ({ Fehler, Kondition * eps }, Location, best ) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/44

Kondition und Fehler Vergleich Kondition und Fehler: Fehler x n x n liegt immer unter der Abschätzung ɛ M K(A n ) 10 2 10 4 10 6 10 8 10 10 10 12 10 14 Fehler Kondition*eps 10 16 3 4 5 6 7 8 9 10 Quelle: eigenes Bild Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/45

Residuum als Fehlerschätzer Für das Residuum gilt: r = b A x Falls x exakte Lösung, dann Residuum r ist null, andernfalls ungleich null Residuum r möglicher Fehlerschätzer für x x Aus δb = A( x x) = A x b = r folgt: x x K(A) r x b Wenn K(A) klein ist gilt: kleines Residuum kleiner Fehler Diese Folgerung gilt nicht, wenn K(A) groß ist (1) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/46

Tridiagonale Systeme Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/47

Lösen tridiagonaler Systeme Viele Anwendungen führen auf Matrizen der Form a 1 c 1 0. A = e 2 a.. 2... cn 1 0 e n a n Matrix heißt tridiagonal, da nur Elemente auf der Haupt- und den beiden Nebendiagonalen ungleich Null sind Gauß-Faktorisierung ergibt bidiagonale Matrizen L und U 1 0 0 α 1 c 1 0. L = β 2 1...... U = 0 α.. 2. 0.. cn 1 0 β n 1 0 0 α n Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/48

Lösen tridiagonaler Systeme Bestimmung der Koeffizienten α i und β i über die Gleichung LU = A Wir erhalten für i = 2,..., n α 1 = a 1 β i = e i α i 1 α i = a i β i c i 1 Jetzt Vorwärtseinsetzen (Ly = b) y 1 = b 1, y i = b i β i y i 1 (i = 2,..., n), dann Rückwärtseinsetzen (Ux = y) x n = y n /α n, x i = (y i c i x i+1 )/α i (i = n 1,..., 1) Rechenaufwand ist linear Algorithmus benötigt O(n) Operationen Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/49

Thomas-Algorithmus - Laufzeitanalyse time = [ ]; N= round ( linspace (200,100000,40)) for n = N n b= ones (n,1); a =2* b; c =3* b; T= spdiags ([b a c], -1:1,n,n); rhs = T* ones (n,1); tic ; x=t\ rhs ; time = [time, toc ]; end plot ( N, time, o- ) xlabel ( n ) ylabel ( time ) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/50

Thomas-Algorithmus - Laufzeitanalyse Matlab benutzt automatisch den Thomas-Algorithmus zur Lösung tridiagonaler Systeme, erkennbar an der linearen Laufzeit 0.035 0.03 0.025 0.02 time 0.015 0.01 0.005 0 0 1 2 3 4 5 6 7 8 9 10 n x 10 4 Quelle: eigenes Bild Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/51

Zusammenfassung Die LU-Faktorisierung von A besteht in der Berechnung einer unteren Dreiecksmatrix L und einer oberen Dreiecksmatrix U, so dass A = LU; Die LU-Faktorisierung ist, falls sie existiert, nicht eindeutig und wird bestimmt, indem zusätzlich n Koeffizienten von L oder von U fixiert werden. Setzt man etwa alle Diagonalkoeffizienten von L gleich 1, erhält man die sogenannte Gauß-Faktorisierung; Die Gauß-Faktorisierung kann nur dann berechnet werden, falls die Hauptuntermatrizen der Ordnung 1 bis n 1 nichtsingulär sind; andernfalls ist mindestens ein Pivotelement gleich null; sie ist überdies eindeutig, falls det(a) = 0; Falls ein Pivotelement gleich null erzeugt wird, können wir ein neues Pivotelement erhalten, indem wir in geeigneter Weise zwei Zeilen oder Spalten miteinander vertauschen (Pivotisierung); Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/52

Zusammenfassung Zur Berechnung der Faktoren L und U sind etwa 2n 3 /3 Operationen notwendig. Im Fall tridiagonaler Matrizen ist der Rechenaufwand hingegen nur mehr von der Ordnung n Operationen; Auf symmetrische, positiv definite Matrizen können wir die Cholesky-Faktorisierung A = HH T anwenden, wobei H eine untere Dreiecksmatrix ist. Der Rechenaufwand ist von der Ordnung n 3 /3 Operationen; Die Empfindlichkeit der Lösung eines linearen Gleichungssystems gegenüber Störungen in den Daten hängt von der Konditionszahl der Matrix ab. Falls diese groß ist, können kleine Störungen in den Koeffizienten der Matrix und der rechten Seite sehr ungenaue Lösungen bewirken. Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/53

Iterative Verfahren Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/54

Iterative Verfahren Idee iterativer Verfahren: Konstruiere eine Folge von Vektoren x (k) mit k = 0, 1,..., die gegen die exakte Lösung konvergiert, d.h.: lim k x(k) = x Mögliche Strategie: wähle geeignete Matrix B (abhängig von A) und Vektor g (abhängig von A, B und b) und berechne: x (k+1) = Bx (k) + g (*) Für x = A 1 b muss folgende Konsistenzbedingung erfüllt sein: x = Bx + g (**) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/55

Iterative Verfahren Fehler im k-ten Schritt e (k). Aus (*) und (**) folgt nun: e (k+1) = Be (k) B heißt Iterationsmatrix des Verfahrens Falls B symmetrisch positiv definit gilt e (k+1) = Be (k) ρ(b) e (k) ρ(b) heißt Spektralradius von B, maximaler Betrag der Eigenwerte von B Von e (0) an k mal iterieren liefert: e (k) ρ(b) k e (0) Wenn ρ(b) < 1, dann e (k) 0, d.h. das Verfahren konvergiert Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/56

Iterative Verfahren Theorem (Konvergenz iterativer Verfahren) Notwendige und hinreichende Bedingung zur Konvergenz eines iterativen Verfahrens der Form x (k+1) = Bx (k) + g mit Startwert x (0), dass die Konsistenzbedingung x = Bx + g (*) (**) erfüllt, ist, dass ρ(b) < 1 ist. Überdies, je kleiner ρ(b), desto geringer ist die Anzahl notwendiger Iterationen, damit sich der Anfangsfehler um einen gegebenen Faktor verkleinert. Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/57

Konstruktion iterativer Verfahren Bisher: Konstruktion einer geeigneten Iterationsmatrix offen gelassen Allgemeine Technik: additive Zerlegung (oder Splitting) der Matrix A A = P + (A P) P heißt Vorkonditionierer (engl. preconditioner) von A Es gilt dann: Px = (P A)x + b Die allgemeine Form (*) des Iterationsverfahrens erhält man, indem man setzt. B = P 1 (P A) = I P 1 A g = P 1 b und Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/58

Konstruktion iterativer Verfahren Die Iterationsvorschrift für ein Splittingverfahren ist also Px (k+1) = (P A)x (k) + b daraus folgt P(x (k+1) x (k) ) = r (k) wobei r (k) = b Ax (k) das Residuum in der k-ten Iteration ist In jedem Schritt muss ein lineares System der Form Pz (k) = r (k) gelöst werden. Die neue Iterierte ist dann x (k+1) = x (k) + z (k). Matrix P so wählen, dass das Lösen von (*) schnell geht (*) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/59

Das Jacobi-Verfahren Wenn Diagonaleinträge von A groß sind gegen die Nichtdiagonaleinträge wähle: a 11 0 P = D =... 0 a nn Die Iterationsvorschrift wird damit Dx (k+1) = b (A D)x (k) Iterationsmatrix des Jacobi-Verfahrens 0 a 12 /a 11 a 1n /a 11 B = D 1 a 21 /a 22 0 a 2n /a 22 (D A) =..... a n1 /a nn a n2 /a nn 0 Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/60

Konvergenz des Jacobi-Verfahrens Theorem (Konvergenz Jacobi-Verfahrens) Falls die Matrix A des linearen Gleichungssystems Ax = b streng zeilendiagonaldominant ist, konvergiert das Jacobi-Verfahren. Beweis: Wir müssen zeigen, dass dann ρ(b) < 1 ist Sei λ Eigenwert von B und v zugehöriger Eigenvektor, dann: n b ij v j = λv i j=1 Annahme: max k v k = 1 (geht immer, Eigenvektoren können beliebig skaliert werden), dann: n λ = b ij v j = n n b ij v j a ij a ii 1 j=1 j=1,j i j=1,j i Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/61

Das Jacobi-Verfahren Iterationsvorschrift komponentenweise für i = 1,..., n x (k+1) i = 1 n b i a ij x (k) j a ii j=1,j i mit Startvektor x (0) = (x (0) 1,..., x(0) n ) T Entspricht der üblichen Implementierung des Jacobi-Verfahrens Löse nacheinander für i = 1,..., n Zeile i nach x i auf Achtung: Implementierung in Matrix-Form (siehe nächste Folie) nicht effizient, nur zu Demonstrationszwecken Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/62

Implementierung Jacobi-Verfahren function [x, iter ]= jacobi (A,b,x0, maxiter, reltol ) D= diag ( diag (A )); x=x0; r=b-a*x; for norm_r0 = norm (r); iter =1: maxiter z=d\r; x=x+z; r=b-a*x; errest = norm (r)/ norm_r0 ; if errest < reltol ; break ; end end if errest > reltol warning ( Jacobi did not converge... ); end Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/63

Das Gauß-Seidel Verfahren Iterationsvorschrift für das Jacobi-Verfahren x (k+1) i = 1 n b i a ij x (k) j a ii j=1,j i benutzt bereits berechnete Werte x (k+1) j für j < i nicht Vermutung: höhere Konvergenzgeschwindigkeit, wenn diese Werte benutzt werden x (k+1) i = 1 a ii i 1 b i j=1 a ij x (k+1) j Dieses Verfahren heißt Gauß-Seidel-Verfahren n j=i+1, a ij x (k) j Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/64

Gauß-Seidel-Verfahren Aktualisierung der Komponenten beim Gauß-Seidel-Verfahren sequentiell Dagegen: beim Jacobi-Verfahren ist parallele Abarbeitung möglich Vorkonditioniermatrix beim Gauß-Seidel-Verfahren: P = D + E hier: E untere Dreicksmatrix mit e ij = a ij für i > j. Iterationsmatrix B = (D + E) 1 (P A) Verallgemeinerung: Relaxationsverfahren mit P = 1 ω D + E Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/65

Konvergenz des Gauß-Seidel-Verfahrens Das Gauß-Seidel-Verfahren konvergiert sicher für streng zeilendiagonaldominante Matrizen symmetrisch positive definite Matrizen Gauß-Seidel-Verfahren oft, aber nicht immer schneller als das Jacobi-Verfahren aber: kein allgemeines Resultat, nur für Spezialfälle bewiesen Beispiel: tridiagonale Matrizen Jacobi- und Gauß-Seidel-Verfahren entweder beide divergent oder beide konvergent Wenn konvergent: Gauß-Seidel-Verfahren konvergiert schneller Spektralradius der Iterationsmatrix bei Gauß-Seidel gleich dem Quadrat des Spektralradius bei Jacobi Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/66

Abbruch iterativer Verfahren Wann soll ein iteratives Verfahren abgebrochen werden? Theoretisch: unendlich viele Iterationen notwendig Praktisch: nicht sinnvoll und nicht nötig Es genügt oft eine Approximation x (k), wenn der Fehler kleiner als Toleranz ɛ ist Fehler unbekannt: a-posteriori-fehlerschätzer wird benötigt Abschätzung (nach oben) des Fehlers aus bekannten Größen Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/68

Fehlerschätzer für iterative Verfahren Erste Möglichkeit: Residuum r (k) = b Ax (k) Breche Verfahren nach Schritt k min ab, wenn r (k min) ɛ b Mit der bereits früher hergeleiteten Abschätzung x x K(A) r x b und x = x (kmin) sowie r = r (kmin) folgt e (kmin) ɛk(a) x Abschätzung für den relativen Fehler nur sinnvoll, wenn die Konditionszahl K(A) klein ist Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/69

Fehlerschätzer für iterative Verfahren Alternative Möglichkeit: Verwendung des Inkrements δ (k) = x (k+1) x (k) und Abbruch wenn δ (k min) ɛ b Wenn die Iterationsmatrix B symmetrisch positiv definit ist, gilt e (k) = e (k+1) δ (k) ρ(b) e (k) + δ (k) Da ρ(b) < 1 für konvergente Verfahren, folgt: e (k) 1 1 ρ(b) δ(k) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/70

Beispiel: Fehlerschätzer Betrachte folgende tridiagonale 50 50-Matrix 2001 1 0 0 1 2001 1. A =. 0 1..... 0.... 1 0 0 1 2001 Löse mit Jacobi- und Gauss-Seide-Verfahren und Toleranz 10 5 und Abbruchkriterium, dass auf den Fehlerschätzer basierend auf dem Inkrement benutzt Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/71

Beispiel: Fehlerschätzer Abbruch nach ca. 1600 Iterationen mit Fehler 0.0029 Fehler deutlich größer als vorgegebene Toleranz von 10 5! Grund: Spektralradius der Iterationsmatrix ρ(b) = 0.9952 sehr nah bei 1 und Faktor 1/(1 ρ) im Fehlerschätzer Anderes Beispiel: Matrix mit 3 auf der Diagonalen statt 2001 Konvergiert nach 17 Iterationen, Fehler ca. 10 5 wie per Toleranz vorgegeben Grund: Spektralradius für diese Matrix 0.4428, Fehlerschätzer funktioniert deutlich besser Anmerkung: bei beiden Matrizen konvergiert Gauss-Seidel doppelt so schnell wie Jacobi, da A streng diagonaldominant ist Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/72

Beispiel: Fehlerschätzer Quelle: A. Quarteroni, F. Saleri Fehlers (durchgezogen) bzw. Residuum (gestrichelt) logarithmisch aufgetragen über der Anzahl der Iterationen für das vorige Beispiel Trotz starker Reduktion des Residuums, keine Abnahme des Fehlers Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/73

Gradientenverfahren Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/74

Stationäre und instationäre iterative Verfahren Betrachte das Verfahren P(x (k+1) x (k) ) = r (k) und führe den Faktor α (k) ein P(x (k+1) x (k) ) = α (k) r (k) Wenn α (k) konstant ist, heißt das Verfahren stationär (z.b. Jacobi oder Gauß-Seidel) Wenn α (k) variiert, heißt das Verfahren instationär Matrix P heißt auch hier Vorkonditionierer Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/75

Stationärer Fall Betrachte stationären Fall, d.h. α (k) = const. Annahme: A und P symmetrisch und positiv definit, dann gilt: Das Verfahren P(x (k+1) x (k) ) = αr (k) konvergiert genau dann, wenn 0 < α < 1/λ max (P 1 A) Das optimale α opt, für das der Spektralradius der Iterationsmatrix B ein Minimum annimmt, ist 2 α opt = λ min + λ max Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/76

Gradientenverfahren Sei z (k) = P 1 r (k) das sogenannte vorkonditionierte Residuum und A und P wiederum symmetrisch und positiv definit Ferner werde α (k) folgendermaßen gewählt α (k) = (z(k) ) T r (k) (z (k) ) T Ar (k) Dann konvergiert das Verfahren P(x (k+1) x (k) ) = α (k) r (k) Dieses heißt vorkonditioniertes Gradientenverfahren Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/77

Gradientenverfahren In beiden der vorigen Fälle (stationär und instationär) gilt die Konvergenzabschätzung ( K(P e (k) 1 ) k A) 1 A K(P 1 A) + 1 Hierbei ist v A = v T Av die sogenannte (zur Matrix A gehörige ) Energienorm Kleinster und größter Eigenwert von P 1 A unbekannt daher ist das instationäre dem stationären Verfahren vorzuziehen Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/78

Implementierung des Gradientenverfahrens Sei ein beliebiger Startvektor x (0) gegeben, berechne r (0) = b Ax (0) und dann für jede Iteration Pz (k) = r (k) α (k) = (z(k) ) T r (k) (z (k) ) T Ar (k) x (k+1) = x (k) + α (k) z (k) r (k+1) = r (k) + α (k) Az (k) Das stationäre Verfahren erhält man, indem man α (k) durch ein konstantes α ersetzt Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/79

Vorkonditionierung Konvergenzgeschwindigkeit ist sehr gering, wenn P 1 A schlecht konditioniert ist Gilt selbst, wenn α = α opt, da ρ(b αopt ) 1 Daher besonders wichtig: geeignete Wahl der vorkonditionierenden Matrix Schwieriger Kompromiss zwischen guter Dämpfung der Konditionszahl einerseits und nicht zu hohem Aufwand beim Lösen mit dem Vorkonditionierer Entwicklung guter Vorkonditionierer ist immer noch aktuelles Forschungsthema Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/80

Vergleich Konvergenzverhalten Vergleich der Konvergenzverhaltens des Jacobi-, Gauß-Seidel- und Gradientenverfahrens Betrachte lineares System [ ] [ ] 2 1 1 x = 1 3 0 mit Startvektor x (0) = [1, 1/2] T Matrix ist symmetrisch und positiv definit Exakte Lösung ist x = [3/5, 1/5] T Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/81

Vergleich Konvergenzverhalten Quelle: A. Quarteroni, F. Saleri Relatives Residuum r (k) / r (0) (vertikal) über Anzahl Iterationen (horizontal) Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/82

Zusammenfassung Ein iteratives Verfahren zur Lösung eines linearen Systems konstruiert, ausgehend von einem Startvektor x (0), eine Folge von Vektoren x (k), von denen man verlangt, daß sie gegen die exakte Lösung für k konvergieren; Hinreichende und notwendige Bedingung für die Konvergenz eines iterativen Verfahrens für jedes beliebig gewählte x (0) ist, dass der Spektralradius der Iterationsmatrix kleiner als 1 ist; Die klassischen Iterationsverfahren sind das Jacobi- und das Gauß-Seidel-Verfahren. Hinreichend für die Konvergenz dieser Verfahren ist, dass die Matrix des zu lösenden Systems streng diagonaldominant ist (im Fall des Gauß-Seidel-Verfahrens auch symmetrisch und positiv definit); Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/83

Zusammenfassung Im Richardson-Verfahren wird die Konvergenz beschleunigt, indem in jedem Iterationsschritt ein Parameter und (eventuell) eine geeignete vorkonditionierende Matrix eingeführt wird; Es gibt zwei mögliche Abbruchkriterien für ein iteratives Verfahren: die Kontrolle des Residuums und die Kontrolle des Inkrements. Ersteres ist aussagekräftig, falls die Matrix des Systems gut konditioniert ist, das zweite, falls der Spektralradius der Iterationsmatrix strikt kleiner als 1 ist. Prof. R. Leithner, E. Zander Einführung in numerische Methoden für Ingenieure 5/84