Die Folien der vierten Vorlesung sind, weil großteils noch nicht behandelt,hier nochmal enthalten:

Transkript

1 Fünfte Vorlesung, 18. März 2010, Inhalt Gleichungssysteme Die Folien der vierten Vorlesung sind, weil großteils noch nicht behandelt,hier nochmal enthalten: Matrizenrechnung Lineare Gleichungssysteme: Einführung, Lösbarkeit, MATLAB-Befehle, Fehler- Empfindlichkeit Neue Folien (21 26): Iterative Verfahren: Jacobi, Gauß-Seidel, SOR 1

2 Lineares Gleichungssystem in n Gleichungen und Unbekannten. a 11 x 1 +a 12 x a 1n x n = b 1 a 21 x 1 +a 22 x a 2n x n = b 2... a n1 x 1 +a n2 x a nn x n = b n In Matrixschreibweise: Ax = b. Gleichungssysteme lassen sich in Matrix-Schreibweise übersichtlich und prägnant formulieren. Machen Sie sich mit den Bezeichnungen und Regeln der Matrizenrechnung vertraut! 2

3 Einheitsmatrix, Inverse und Transponierte Die 3 3-Einheitsmatrix. Wichtige Eigenschaft: A I = I A = A Ein recht simples Beispiel: Das Magische Quadrat der Ordnung 3 I = M = Die Inverse von M. Wichtige Eigenschaft: M M 1 = M 1 M = I M 1 = Die transponierte Matrix M T M T = MATLAB: eye(3), m=magic(3), inv(m), m 3

4 Matrix-Algebra: Produkt von Matrizen A B = C Element c ij ist (Skalar-)Produkt der i-ten Zeile von A mit der j-ten Spalte von B. A : (l m)-matrix B : (m n)-matrix C : (l m) (m n) (l n)-matrix Spaltenanzahl von A und Zeilenanzahl von B müssen übereinstimmen! Im Allgemeinen nicht kommutativ: A B B A! 4

5 Matrizenrechnung in MATLAB A Matrixtransposition A T A+B, A-B Matrixaddition, -subtraktion A.*B, A./B elementweise Multiplikation, Division A*B Matrixmultiplikation A/B sehr schräge Schreibung: Division A B 1 A\B noch schräger: Division A 1 B Wichtiger Befehl: x=a\b liefert Lösung des Gleichungssystems A x = b (aber nicht in der Form x = A 1 b, sondern durch Gauß-Elimination. 5

6 Gleichungssysteme: Aufgabenstellung Eine der wichtigsten Aufgaben bei technisch-wissenschaftlichen Berechnungen ist das Lösen linearer Gleichungssysteme. Ax = b AX = B XA = B gegeben: A,b. gesucht: Vektor x allgemeiner: B und X können auch Matrizen sein diese Schreibweise kommt selten vor Die Matrix A ist oft quadratisch und man sucht eine eindeutige Lösung. Ist A eine m n-matrix mit m > n (mehr Zeilen als Spalten, d.h. mehr Gleichungen als Unbekannte): überbestimmtes System, man kann Lösung mit kleinsten Fehlerquadrat suchen. Ist m < n: unterbestimmtes System. Gesucht: ein- oder mehrparametrige Lösungsschar 6

7 Einige wichtige Themen bei großen linearen Gleichungssystemen Rechenzeit und Speicherplatz: Speicherbedarf für volle Matrix O(N 2 ), Rechenzeit O(N 3 ) Über-, unterbestimmte oder schlecht konditionierte Systeme: Eindeutige Lösung nicht möglich oder extrem fehlerempfindlich. Dünn besetzte Matrizen: Oft sind nur wenige % der Matrixelemente 0. Spezielle Datenstrukturen und Algorithmen benötigen signifikant weniger Speicherplatz und Rechenzeit. Direkte Verfahren sind Varianten des Gaußschen Eliminationsverfahrens (LR-Zerlegung, Cholesky-Zerlegung). Üblich bis n Iterative Verfahren finden schrittweise verbesserte Näherungslösungen. Üblich nur für dünn besetzte Matrizen, ab n

8 Fallunterscheidungen bei Gleichungssystemen Vorübung: eine Gleichung, eine Unbekannte Die lineare Gleichung ax = b a,b gegeben, x gesucht hat eine eindeutige Lösung genau dann, wenn a 0 unendlich viele Lösungen genau dann, wenn a = b = 0 keine Lösung genau dann, wenn a = 0,b 0 Bei Systemen linearer Gleichungen treten diese Fälle in ganz ähnlicher Weise auf. 8

9 Zwei Gleichungen, zwei Unbekannte [ ] [ ] x y = [ ] 1 2 eindeutige Lösung x = 0 y = 1/2 [ ] [ ] x y = [ ] 1 3 viele Lösungen x = 0, 1, 2, 3,... y = 1/2, 0 1/2, 1,... [ ] [ ] x y = [ ] 1 2 keine Lösung Die Determinante determiniert: Im ersten Fall ist deta 0, in den anderen beiden Fällen ist deta = 0 9

10 Gleichungssysteme Ax = b mit quadratischer Matrix Ein lineares Gleichungssystem mit quadratischer n n-matrix ist genau dann eindeutig lösbar, wenn ranga = n (det(a) 0). Andernfalls gibt es keine eindeutige (wenn ranga = rang[a,b]), oder überhaupt keine Lösung (wenn ranga rang[a,b]). Der Fall det(a) 0 ist (algebraisch) gleichbedeutend mit Alle n Zeilen von A sind linear unabhängig (ebenso die Spalten). rang(a) = n Wissen Sie, was der Rang einer Matrix ist? A ist nichtsingulär, A ist regulär MATLAB: x=a\b findet die eindeutige Lösung, falls deta 0 10

11 Sonderfall 1 bei singulärer quadratischer Matrix, det(a) = 0 A = ,b = Die Zeilen von A sind linear abhängig: A(3,:) = 2A(2,:) A(1,:) Dieselbe Abhängikeit gilt auch, wenn man die rechte Seite miteinbezieht Wenn Matrix und erweiterte Matrix gleichen Rang haben, ranga = rang[a,b] = k < n, dann hat das System eine (n k)-parametrige Lösungsschar. x = 1/3+z 2/3 2z z In diesem Beispiel: ranga = rang[a,b] = 2, daher (3 2) = 1-parametrige Lösungsschar; z ist freier Parameter MATLAB: x=a\b gibt eine Warnung. Findet (manchmal) eine Lösung, in der möglichst viele Komponenten = 0 sind. Für dieses Beispiel x 1 = 1 3,x 2 = 2 3,x 3 = 0 11

12 Sonderfall 2 bei singulärer quadratischer Matrix, det(a) = 0 A = ,b = Die Zeilen von A sind linear abhängig. Das gilt aber nicht mehr für die erweiterte Matrix [A, b]. Das Doppelte von Gl.2, minus Gl.1 liefert Gl.3 mit anderer rechter Seite Widerspruch! Wenn der Rang der Matrix ungleich dem Rang der erweiterten Matrix ist, ranga rang[a,b], dann hat das System keine (exakte) Lösung. MATLAB: x=a\b gibt eine Warnung. Findet keine Lösung, oder eine Lösung mit völlig falschen Zahlenwerten. 12

13 MATLAB-Befehle für quadratische Systeme Ax = b x=a\b berechnet mit einem Eliminationsverfahren für nichtsinguläre Matrizen die eindeutige Lösung. für singuläre Matrizen, wenn eine Lösungsschar existiert, manchmal eine Lösung mit möglichst vielen Null-Komponenten, für singuläre Matrizen, wenn keine Lösung existiert, meistens Unsinn. x=pinv(a)*b berechnet mit Hilfe der Pseudoinversen für nichtsinguläre Matrizen mit unnötig hohem Aufwand die eindeutige Lösung. für singuläre Matrizen, wenn eine Lösungsschar existiert, eine Lösung mit minimaler 2-Norm. für singuläre Matrizen, wenn keine Lösung existiert, die am wenigsten falsche Lösung : jene, für die der Rest-Vektor r = Ax b am kleinsten ist. Kleinste- Quadrate-Lösung Ax b 2 min! 13

14 MATLAB-Befehle für quadratische Systeme Ax = b rank(a) und rank([a,b]) geben MATLABs Meinung zum Rang von Matrix und erweiterter Matrix. Linear unabhängige Matrixzeilen können durch beliebig kleine Änderungen in den Koeffizienten (z. B. aufgrund von Rundungsfehlern) abhängig werden. Rangbestimmung ist daher numerisch heikel und von einer Fehlertoleranz abhängig. MATLABs rank-funktion verwendet Singulärwertzerlegung, ein aufwendiges, aber verlässliches Verfahren. rref([a,b]) berechnet mit einem speziellen Eliminationsverfahren (Gauß- Jordan) eine reduzierte Treppenform des Systems (reduced row echelon form), aus der alle Lösungsfälle abgelesen werden können. 14

15 Beispiele zu rref A = ,b = 23 61, rref([a,b]) = Eindeutige Lösung; links die Einheitsmatrix, rechts der Lösungsvektor A = ,b = 1, rref([a,b]) = Zwei Nullzeilen in Matrix und erweiterter Matrix: Rang = n-2, zweiparametrige Lösungsschar: wähle x 3 und x 4 beliebig, bestimme x 1 und x 2 aus den ersten beiden Gleichungen. x 1 = 2+x 3 +2x 4, x 2 = 1 2x 3 +3x 4 15

16 Mit derselben Matrix wie vorhin, aber anderer rechter Seite A = ,b = 1, rref([a,b]) = Zwei Nullzeilen in Matrix, aber nur eine in erweiterter Matrix: keine Lösung.

17 Gleichungssysteme nicht durch Multiplikation mit Inverser lösen! Die Gleichung 7x = 13 lösen Sie ja auch nicht, indem sie zuerst 7 1 = 0,1429 berechnen und dann x = 0, auswerten. Sie formen die Gleichung natürlich um und rechnen x = 13/7. MATLABs Befehl für Gleichungslösen ist \ und nicht inv( ). In MATLAB differieren inv(7)*13 und 7\13 um 2, Berechnung der Inversen und anschließende Multiplikation ist sehr viel rechenaufwändiger und anfälliger gegen Rundungsfehler als direktes Gleichungslösen! 16

18 Fehlerempfindlichkeit, Konditionszahl Die Konditionszahl κ(a) einer Matrix A misst für das Gleichungssysten Ax = b, wie empfindlich der relative Fehler von x von kleinen relativen Änderungen in A und b abhängt. ( δx δa x κ(a) A + δb ) b mit κ(a) = A A 1 Der relative Fehler in x kann also κ(a) mal größer als der relative Fehler in A und b sein. 17

19 Determinante, Rang und Konditionszahl Das Kriterium det A 0 für die Lösbarkeit eines Gleichungssystems ist nur bei Matrizen mit wenigen Zeilen und kleinen ganzzahligen Elementen angebracht. Ansonsten können Rundungsfehler das Ergebnis verfälschen. MATLAB-Beispiel: A=gallery( rosser ) liefert 8 8-Matrix, det(a)= (korrekt wäre 0!). Der Rang einer Matrix wird in MATLAB numerisch verlässlicher berechnet. Das Kriterium ranga = n ist besser geeignet, um Lösbarkeit festzustellen. Im obigen Beispiel rechnet MATLAB (korrekt): rank(a)=7 Die Konditionszahl lässt besser abschätzen, ob eine Matrix singulär oder nahezu singulär ist. MATLAB liefert cond(a)=4.7886e+016. Bei 16-stelliger Genauigkeit bedeutet das: A ist numerisch singulär! Der MATLAB-Operator \ zum Gleichungslösen macht automatisch eine Schätzung der reziproken Konditionszahl und liefert Warnung. >> A\b Warning: Matrix is close to singular or badly scaled. Results may be inaccurate. RCOND = e

20 Konditionszahl, Beispiel 4 4 Hilbertmatrix H H = , H 1 = Zeilensummennorm von Matrix und Inverser: H = 2,08; H 1 = 13620; κ(h) = Störungen in den Daten werden fach verstärkt. 19

21 4 4 Hilbertmatrix H, rechte Seite b = (1,1,1,1) T Exakte Lösung ist x = Ändere das Element h 44 : addiere 1/1000. Lösung ändert sich auf x = 1, , , ,

22 Lösungsverfahren für lineare Gleichungssysteme Direkte Verfahren sind Varianten des Gaußschen Eliminationsverfahrens (LR-Zerlegung). Üblich bis n Unbekannten. Direkte Verfahren sind allgemeiner anwendbar und rechnen zumeist schneller, sofern die Matrix im schnell zugänglichen Speicher des Rechners Platz hat. Iterative Verfahren finden schrittweise verbesserte Näherungslösungen. Üblich für n Iterative Methoden sind nur für spezielle Matrixtypen anwendbar, die beispielsweise bei partiellen Differentialgleichungen auftreten. 21

23 Jacobi-Verfahren salopp: Löse jede Gleichung nach ihrem Diagonal-Term auf, setze Startwerte ein, iteriere. Komponentenweise Schreibung (3 3-Beispiel) x 1 = (b 1 a 12 x 2 a 13 x 3 )/a 11 x 2 = (b 2 a 21 x 1 a 23 x 3 )/a 22 x 3 = (b 3 a 31 x 1 a 32 x 2 )/a 33 Matrix-Schreibweise: Jacobi-Verfahren entsteht aus Fixpunkt-Iteration A = D +E, Ax = b umformen x = D 1 (b Ex) 22

24 Weitere Schreibweisen des Jacobi-Verfahrens Schreibung mit Indizes für i = 1,...,n Matlab x (k+1) i = b i i 1 j=1 a ij x (k) j umständlich und unübersichtlich; nicht merken! n j=i+1 a ij x (k) j /a ii übersichtliche Matrix-Schreibweise D=diag(diag(A)); E = A-D; x = D\(b-E*x); 23

25 Konvergenz des Jacobi-Verfahrens Das Jacobi-Verfahren konvergiert bei Gleichungssystemen mit stark diagonaldominanter Matrix für beliebige Startwerte zur exakten Lösung. Eine n n-matrix A = (a ij ) ist stark diagonaldominant, wenn a ii > n j=1,j i a ij für i = 1,2,...,n Weil Matrizen aus Anwendungen das oft nicht erfüllen, gibt es allgemeinere Fassungen der Konvergenzbedingung. Trotzdem: Jacobi-Verfahren konvergiert in der Regel viel zu langsam für praktischen Einsatz! 24

26 Iterationsschritt des Gauß-Seidel-Verfahrens salopp: Im Prinzip wie das Jacobi-Verfahren, nur: setze neue Werte, soweit verfügbar, schon im aktuellen Schritt ein. Matrix-Schreibweise (L ist Diagonale + Einträge darunter in A) Komponentenweise Schreibung Matlab setze A = L+E, iteriere x (k+1) = L 1 (b Ex (k) ) für i = 1,...,n : L = tril(a) ; E = A-L; x = L\(b-E*x); x (k+1) i = bi umständlich und unübersichtlich; nicht merken! i 1 j=1 a ij x j (k+1) n j=i+1 a ij x (k) j /aii übersichtliche Matrix-Schreibweise 25

27 Iterationsschritt des SOR-Verfahrens salopp: Jeweils neuer Näherungswert zuerst als Zwischenresultat y (k+1) i aus Gauß- Seidel-Schritt; endgültiger Näherungswert durch Extrapolation (Überrelaxation) aus alter Näherung und Zwischenresultat. Matrix-Schreibweise: Analog zu Jacobi- und Gauß-Seidel-Verfahren; ersetze dort D bzw. L durch L+( 1 ω 1)D. Komponentenweise Schreibung umständlich und unübersichtlich; nicht merken! für i = 1,...,n y (k+1) i = bi i 1 j=1 a ij x (k+1) j n j=i+1 a ij x (k) j /aii x (k+1) i = ωy (k+1) i +(1 ω)x (k) i Theorie: 1 ω < 2, eher in der Nähe von 2. Für ω = 1 reduziet sich SOR auf Gauß-Seidel. 26