2 Lineare Gleichungssysteme

Transkript

1 Beispiel.5: Funktion von Runge (V) Beispiel Martin-Luther-Universität Halle-Wittenberg, NWF III, Institut für Mathematik Martin Arnold: Grundkurs Numerische Mathematik (WiS 27/8) Abbildung.3: Interpolation der Funktion von Runge: Φ (8) (x), Tschebyscheff Stützstellen. 2 Lineare Gleichungssysteme 2. Gaußscher Algorithmus Bemerkung 2. (Aufgabenstellung) geg.: A R n n, b R n, n =... 7 ges.: Lösung x des linearen Gleichungssystems Ax = b formal x = A b, numerisch ungeeignet (Rechenaufwand zur Auswertung von A ) Lösbarkeit x R n genau dann eindeutig bestimmt, wenn A regulär n = 2, n = 3 Lösung mittels Cramerscher Regel Bemerkung 2.2 (Lineare Netzwerkmodelle) Modellbildung komplexer Systeme (Technik, Umwelt) Basisbausteine, verknüpft durch Ein-/Ausgangsbeziehungen und Erhaltungsgrößen 7

2 Beispiel elektrische Schaltungen, Chip-Design Basisbaustein: Widerstand Ohmsches Gesetz U i = R i I i, ( i =, 2,..., 6 ). Kirchhoffsche Regel In jedem Knoten: Summe der zufließenden gleich Summe der abfließenden Ströme 2. Kirchhoffsche Regel In jeder Masche: Summe der Spannungsabfälle gleich Summe der Quellspannungen Ergebnis Lineares Gleichungssystem [, 4, 3 ] [ 2, 3, 4 ] R R 4 R 6 [, 2, 4 ] R 2 R 5 R 6 [, 2, 3 ] R 3 R 4 R 5 R R 2 R 3 I I 2 I 3 I 4 I 5 I 6 = U U Streicht man die redundanten Gleichungen 4 = 2 3 und [, 2, 3 ] = [, 4, 3 ] + [ 2, 3, 4 ] + [, 2, 4 ], so ergibt sich Ax = b mit A R 6 6, x = (I, I 2,..., I 6 ) R 6, b = (,,, U,, ) R 6. Beachte Anteil der Nichtnullelemente in A gering schwach besetzte Matrizen Position der Nichtnullelemente a ij in A ergibt sich aus der sog. Topologie der Schaltung 8

3 Bemerkung 2.3 (Gestaffelte Gleichungssysteme) Spezialfall Rx = z mit regulärer oberer Dreiecksmatrix R = (r ij ) R n n, d. h., r ii, r ij =, ( i =,..., n; j =,..., i ). r x + r 2 x r n x n = z r 22 x r 2n x n = z 2. Rx = z... =. r nn x n = z n Beispiel x 7x 2 + x 3 = 7 2.5x x 3 = x 3 = 6.2 x 3 = =, x 2 = =, x = ( ) = x = (,, )... Rückwärtssubstitution allgemein x n = z n r nn, x i = z i n j=i+ r ij x j r ii, ( i = n, n 2,..., ) Algorithmus for i = n : : s := z i for j = (i + ) : n s := s r ij x j x i := s/r ii Matlab Code x = zeros(size(z)); x(n) = z(n)/r(n,n); for i=n-:-:, x(i) = ( z(i) - r(i,i+:n) x(i+:n) ) / r(i,i); end; 9

4 analog Lx = z mit regulärer unterer Dreiecksmatrix L = (l ij ) R n n, d. h., l ii, l ij =, ( i =,..., n; j = i +,..., n ) Vorwärtssubstitution. Bemerkung 2.4 (Gaußscher Algorithmus) Idee Gleichungssystem Ax = b in äquivalentes gestaffeltes Gleichungssystem umformen durch Multiplikation einer Gleichung mit einer von Null verschiedenen Zahl, Addition des Vielfachen einer Gleichung zu einer anderen Gleichung und / oder Vertauschung von Gleichungen. Beispiel x 7x 2 = 7 3x + 2x 2 + 6x 3 = 4 5x x 2 + 5x 3 = 6 Schritt k Addiere Vielfache der k-ten Gleichung zu den Gleichungen k +,..., n, so dass in der k-ten Spalte unterhalb der Hauptdiagonale die Nichtnullelemente eliminiert werden engl.: Gaussian elimination k = x 7x 2 = 7 II = + 3.x 2 + 6x 3 = 6. III = 5 2.5x 2 + 5x 3 = 2.5 k = 2 x 7x 2 = 7.x 2 + 6x 3 = 6. III = +25 II + III : 55x 3 = 55 Rücksubstitution x = (,, ). Problem Hauptdiagonalelement a (k) kk = im k-ten Eliminationsschritt Lösung Vertauschung der k-ten Gleichung mit einer der Gleichungen k +,..., n so, dass Pivotelement a (k) kk (stets möglich, falls A regulär). Strategie Bestimme im k-ten Eliminationsschritt p { k, k +,..., n } so, dass a (k) pk = max { a(k) : l = k, k +,..., n } und vertausche k-te und p-te Gleichung (Spalten) Pivotisierung auch vorteilhaft zur Verringerung des Einflusses von Rundungsfehlern lk 2

5 Beispiel k = 2, tausche Gleichungen II III Algorithmus x 7x 2 = 7 ĨI = III : 2.5x 2 + 5x 3 = 2.5 ĨII = II :.x 2 + 6x 3 = 6. x 7x 2 = 7 2.5x 2 + 5x 3 = 2.5 ĨII = + 25 ĨI + ĨII : 6.2x 3 = 6.2 for k = : n p := k; s := a kk for i = k + : n if a ik > s then p := i ; s := a ik for j = k : n s := a kj ; a kj := a pj ; a pj := s s := b k ; b k := b p ; b p := s for i = k + : n l ik := a ik /a kk ; b i := b i l ik b k for j = k + : n a ij := a ij l ik a kj Bemerkung 2.5 (LU Zerlegung) k-ter Eliminationsschritt A (k) A (k+) mit k n k+ A (k) =... A (k+) = in Matrixschreibweise (ohne Pivotisierung) k n k+, A (k+) = l k+,k.... l n,k 2. n k n k A (k) = (I L (k) )A (k)

6 Bemerkung 2.4: Gaußscher Algorithmus Martin-Luther-Universität Halle-Wittenberg, NWF III, Institut für Mathematik Martin Arnold: Grundkurs Numerische Mathematik (WiS 27/8) Abbildung 2.: Gaußscher Algorithmus. mit L (k) =... l k+,k.... l n,k, A () := A, A (n) =: U (obere Dreiecksmatrix), Auflösen nach A Wegen L (i) L (j) =, ( i j ), ist (I L (n ) ) (I L () )A = U. A = LU mit L := (I L () ) (I L (n ) ). (I L (i) )(I + L (i) ) = I L (i) + L (i) = I (I L (i) ) = (I + L (i) ). Außerdem erhält man (I + L (i) )(I + L (j) ) = I + L (i) + L (j), ( i j ), also insgesamt L = (I + L () ) (I + L (n ) ) = I + L () + L (2) L (n )... untere Dreiecksmatrix. Ergebnis Gauß Algorithmus berechnet LU Zerlegung von A: A = L U mit der oberen Dreiecksmatrix U aus dem gestaffelten linearen Gleichungssystem und der unteren Dreiecksmatrix L, die die Eliminationskoeffizienten l ik enthält und deren Hauptdiagonalelemente = sind. 22

7 praktisch Abspeicherung der Nicht Diagonalelemente von L unterhalb der Hauptdiagonalen von A. Pivotisierung Spaltenpivotisierung LU = P A mit Permutationsmatrix P Beispiel wie oben = /2 3/ / P A L U Lösung linearer Gleichungssysteme Schritt Berechne mittels Gauß Algorithmus mit Spaltenpivotisierung die LU Zerlegung P A = LU. Für jede rechte Seite: Schritt 2 Vorwärtssubstitution Ly = P b y Schritt 3 Rückwärtssubstitution Ux = y x Software Matlab Kommando lu LAPACK (FORTRAN, C), über DGETRF, DGETRS Rechenaufwand Gemessen in flops... Floating point operations ( Gleitpunktaddition, Gleitpunktmultiplikation) Schritt n O(n2 ) Rechenoperationen, vgl. Bemerkung.7 Schritt 2+3 jeweils n2 2 +O(n) Rechenoperationen n2 +O(n) Rechenoperationen pro linearem Gleichungssystem Bemerkung 2.6 (Symmetrische Koeffizientenmatrizen, Cholesky Zerlegung) Wichtiger Spezialfall: Ax = b mit A = A, insbesondere auch symmetrische, positiv definite Koeffizientenmatrizen A, d. h. A = A x Ax >, ( x R n \ {} ). Gauß Algorithmus ohne Pivotisierung A = L U Sei D := diag u ii D U ist obere Dreiecksmatrix mit Hauptdiagonalelementen =. i n A = (L D D U) = (D U) DL Aus der Eindeutigkeit der LU Zerlegung (!) folgt D U = L, also A = LDL. Berechnung mit n3 6 + O(n2 ) Rechenoperationen möglich. Pivotisierung: gleichzeitiger Zeilen- und Spaltentausch, um Symmetrie zu erhalten. 23

8 A symmetrisch, positiv definit Man zeigt, dass der Gauß Algorithmus ohne Pivotisierung stets durchführbar ist. Wegen < y Ay für y := (L ) x ist < y Ay = ((L ) x) (LDL )((L ) x) = (L (L ) x) D(L (L ) x) = x Dx, also ist auch D positiv definit: D = diag d i mit d i >. i n Cholesky Zerlegung von A A = ˆLˆL mit ˆL := L D /2, D /2 = diag i di a a 2 a n a 2 a 22 a 2n... a n a n2 a nn = ˆl ˆl2. ˆl ˆln ˆln2 ˆlnn ˆl ˆl2 ˆln ˆl22 ˆln2.... ˆlnn Algorithmus for k = : n ( k ) /2 ˆlkk := a kk ˆl2 kj j= for i = (k + ) : n ˆl ( k ) ik := a ik ˆlijˆlkj / ˆl kk j= Vorwärts- / Rückwärtssubstitution wie im allgemeinen Fall, beachte jedoch, dass nur ˆL, nicht ˆL abgespeichert wird. Rechenaufwand n3 6 + O(n2 ) Rechenoperationen, n Quadratwurzeln 2.2 Lineare Ausgleichsrechnung Bemerkung 2.7 (Methode der kleinsten Quadrate) geg.: ges.: A R m n, m > n, rank (A) = n, b R m Lösung x Rn von Ax = b Methode der kleinsten Quadrate (Gauß) Da i. Allg. keine klassische Lösung x R n mit Ax b = existiert, sucht man als verallgemeinerte Lösung ein x R n so, dass Ax b 2 min. ( ) 24

9 Hierbei bezeichnet v 2 := ( m ) /2 v v = vi 2 die euklidische Vektornorm des Vektors v = (v i ) m i= R m, vgl. Abschnitt 3.2. Eigenschaft: Für Vektoren y = (y i ) R n, z = (z i ) R m n gilt ( ) y n m n 2 2 = yi 2 + zi 2 = y z 2 2. z Das Kleinste Quadrate Problem ( ) ist äquivalent zu m ( n ) 2 Ax b 2 2 = a ij x j b i min. i= i= i= Notwendige Bedingung für Minimum =! m ( n Ax b 2 2 = 2 a ij x j b i )a ik, ( k =,..., n ), x k i= m ( n ) a ik a ij x j = i= j= j= j= i= m a ik b i, ( k =,..., n ), i= Gaußsche Normalgleichungen A Ax = A b Wegen A A = (A A) R n n und rank (A) = n ist A A symmetrisch und positiv definit: ξ R n \ {} ξ (A A)ξ = (ξ A )(Aξ) = (Aξ) (Aξ) = Aξ 2 2 >, denn Aξ wegen ξ und rank (A) = n. Lösung der Normalgleichungen mittels Cholesky Zerlegung Problem Bei Verwendung der Gaußschen Normalgleichungen reagiert die numerische Lösung oft sehr empfindlich auf Rundungsfehler. Alternative Orthogonalisierungsverfahren, vgl. Bemerkung 2.. Beispiel 2.8 (Lineare Regression) 25

10 geg.: ges.: Messdaten (x i, y i ), ( i =,..., m ), mit Messfehlern behaftet Gerade y = a + bx, die die Messwerte möglichst gut approximiert: y i a + bx i, ( i =,..., m ) Ansatz m (a + bx i y i ) 2 min i= Matrixschreibweise A ( ) a = y mit y = (y b,..., y m ) R m, A = x x 2.. x m Rm 2, n = 2 Normalgleichungen A A m m j= x j m j= m x 2 j j= ( ) a = A y b x j ( ) a = b m y j j= m x j y a, b R j j= Bemerkung 2.9 (Orthogonale Transformationen) Idee Verwende orthogonale Transformationen, um lineare Gleichungssysteme und lineare Ausgleichsprobleme in äquivalente Probleme einfacherer Gestalt umzuformen. n = 2 Drehungen, Spiegelungen hier Drehmatrizen ( cos θ sin θ Q = sin θ cos θ ) Literatur zu Spiegelungsmatrizen: Stoer, Deuflhard/Hohmann allgemein Givens Drehungen, Householder Spiegelungen 26

11 hier Givens Drehungen G kl =... c s... s c... l k R m m l k mit c = cos θ, s = sin θ, c 2 + s 2 =. Bestimme θ so, dass ( G kl A ) kl = : a kl sa ll + ca kl! = und c 2 + s 2 =. a kl > a ll : τ := a ll a kl, s := a kl a ll : τ := a kl a ll, c := + τ 2, + τ 2, c := s τ s := c τ Bemerkung 2. (QR Zerlegung) geg.: A R m n, m n, rank (A) = n Schrittweise Elimination der Nichtnullelemente a ij, ( j < i ) mittels Givens Drehungen: A G 2 A G 3 G 2 A... G m G 3 G 2 A G 32 G m G 3 G 2 A... R mit G mn G m,n G n+,n G m,n G 32 G m G 3 G 2 A = R = ( ) R n n m n QR Zerlegung A = QR mit der orthogonalen Matrix Q := G 2G 3 G m,n G n+,n G m,n. Wegen n = rank (A) = rank (R) = rank ( R) ist R R n n regulär. 27

12 Lösung regulärer linearer Gleichungssysteme. QR Zerlegung mittels Givens Drehungen, 2 3 n3 + O(n 2 ) Rechenoperationen 2. Ax = b QRx = b Rx = z, Qz = b 2a) z = Q b = G n,n (G n,n 2 (G n,n 2 ( G 3 (G 2 b) ))) Berechnung durch sukzessive Auswertung von Matrix Vektor Produkten G kl w, keine explizite Berechnung von Q 2b) Löse Rx = z mittels Rücksubstitution. Besonders geeignet für Gleichungssysteme Ax = b, deren Lösung sehr empfindlich gegenüber Rundungsfehlern ist, und zur numerischen Rangbestimmung von A. Lösung von Kleinste Quadrate Problemen Wegen w 2 2 = w w ist w 2 invariant gegenüber orthogonalen Transformationen: Qw 2 2 = (Qw) (Qw) = w (Q Q)w = w w = w 2 2 Ax b 2 2 = QRx b 2 2 = Q(Rx Q b) 2 2 = Rx Q b 2 2 = Rx z z ( ) z mit Q n b = R m. z 2 m n Lösung: Berechne Q b und löse Rx = z mittels Rücksubstitution. Beispiel 2. (Neuronale Netze) Idee Entscheidungen fällen auf Grundlage einer Vielzahl von Einzelinformationen in Anlehnung an Entscheidungsprozesse im menschlichen Hirn. Beispiel Technik Wäsche in Waschmaschine stark verschmutzt Messung der Wassertemperatur und Wassertrübung an verschiedenen Punkten Grundlage der Entscheidung: Erfahrung Konsequenz einer Fehlentscheidung: Lerneffekt Neuronales Netz (Ein Schicht Modell, linear) Verhalten des Netzes bestimmt durch Gewichte w,..., w n 28

13 3. Rechnerarithmetik und Rundungsfehler Beispiel Zahlendarstellung in Matlab >> format long e % Datenausgabe mit vielen Dezimalstellen >> % Exakte Darstellung ganzer Zahlen ans = >> % Exakte Arithmetik für ganze Zahlen ans = >> - +.e-5 % Beim Rechnen mit reellen Zahlen können ans =.e-5 % Rundungsfehler auftreten, müssen aber nicht. >> +.e-5 ans = e-5 % Reihenfolge der Rechenschritte ist wesentlich >> +.e-8 - ans = e-9 % Groessenordnung der Rundungsfehler: ca..e-6 >> sqrt(2)^2 2 ans = e-6 >> factorial(7) ans = e+36 >> factorial(7) ans = Inf % Groessenordnung der Rundungsfehler: ca..e-6 % Darstellbarer Zahlenbereich nach oben beschraenkt % Zahl 7! uebersteigt darstellbaren Zahlenbereich Martin-Luther-Universität Halle-Wittenberg, NWF III, Institut für Mathematik Martin Arnold: Grundkurs Numerische Mathematik (WiS 27/8) Abbildung 3.: Rechnen in Gleitpunktarithmetik: Beispiel Matlab. Training des Netzes Wähle w,..., w n so, dass eine große Zahl von Tests mit vorgegebenen Eingangsdaten (x (j),..., x (j) n ) und bekannten Resultaten y (j) möglichst gut wiedergegeben wird: n x (j) i w i y (j), ( j =,..., m ) i= überbestimmtes lineares Gleichungssystem, Bestimmung von (w,..., w n ) als Kleinste Quadrate Lösung praktisch Lösung der Normalgleichungen oder Lösung mittels QR Zerlegung. 3 Rechnerarithmetik und Rundungsfehler 3. Gleitpunktarithmetik Bemerkung 3. (Gleitpunktzahlen) a) Ganzzahlige Datentypen (INTEGER) mit exakter Arithmetik z. B. für Indizes in Laufanweisungen. MaxInt,...,,,,..., MaxInt, b) Normalisierte Gleitpunktdarstellung (engl.: floating point numbers) zur Darstellung reeller Zahlen F := { y : y = ± m β e t } R 29