2. Direkte Verfahren zur Lösung. linearer Gleichungssysteme

Transkript

1 2. Direkte Verfahren zur Lösung linearer Gleichungssysteme 1

2 Einleitung (1) Eine zentrale Rolle bei numerischen Berechnungen spielen lineare Gleichungssysteme Es sind die am häufigsten auftretenden numerischen Probleme Anwendungsgebiete sind z.b. * fast alle naturwissenschaftlich-technischen Problemstellungen vom Wetterbericht bis zur Wärmeentwicklung auf einer Kochplatte oder der Planung der Leiterbahnen auf Mikrochips, * Bildverarbeitung oder z.b Beleuchtungsprobleme in der Computergrafik, * wirtschaftlichen Fragestellungen wie Versicherungskosten oder Börsenkursvorhersage. 2

3 Einleitung (2) Lösungsverfahren Die direkten Verfahren liefern eine mit Rundungsfehlern behaftete Lösung nach endlich vielen Schritten. Die iterativen Verfahren beginnen mit einer Anfangsnäherung und produzieren eine verbesserte Näherungslösung nach endlich vielen Schritten. Falls möglich wird das Problem mit einem direkten Verfahren berechnet und anschließend werden die Rundungsfehler mit einem iterativen Verfahren verringert. 3

4 Einleitung (3) Problemstellung: Berechne den Vektor x = (x 1,x 2,...x n ) aus a 1,1 x 1 +a 1,2 x 2 + a 1,n x n = b 1 a 2,1 x 1 +a 2,2 x 2 + a 2,n x n = b 2 a n,1 x 1 +a n,2 x 2 + a n,n x n = b n oder in Matrix-Schreibweise Ax = b Bemerkung: Vektoren werden hier ohne Vektorpfeil geschrieben 4

5 Einleitung (4) Es existieren entweder keine, eine oder unendlich viele Lösungen. Das Gleichungssystem hat eine Lösung, wenn die Inverse Matrix A 1 zu A existiert. Die Lösung kann mit Hilfe von A 1 : A 1 Ax = A 1 b = x. Dieses ist der Fall, wenn die Matrix nicht singulär ist, d.h. die Determinante ungleich Null ist (Leibniz-Formel) deta = π S n (sign π )a 1,π(1) a 2,π(2)...a n,π(n). * π(1),...π(n) bedeutet eine Permutation der Zahlen 1 bis n. * sign π ist der Vorzeichen der Permutation * π S n bedeutet die Summe über alle Permutationen Es wird im folgenden vorausgesetzt, dass die Matrizen nicht singulär sind. 5

6 Gauß-Verfahren (1) Das Gauß-Eliminationsverfahren ist bekannt aus der Mathematikvorlesung Dieses direkte Lösungsverfahren bringt das Gleichungssystem in Dreiecksform und berechnet den Lösungsvektor. Schulbeispiel E 1 : x 1 + x 2 + 3x 4 = 4 E 2 : x 2 x 3 5x 4 = 7 E 3 : 4x 2 x 3 7x 4 = 15 E 4 : 3x 2 + 3x 3 + 2x 4 = 8 6

7 Gauß-Verfahren (2) Matrix A: A = , Determinante: deta = a 1,1 a 2,2 a 3,3 a 4,4 a 1,1 a 2,2 a 3,4 a 4,3 a 1,1 a 2,3 a 3,2 a 4,4 +a 1,1 a 2,3 a 3,4 a 4,2 + a 1,1 a 2,4 a 3,2 a 4,3 a 1,1 a 2,4 a 3,3 a 4,2 = = 39 7

8 Gauß-Verfahren (3) Erlaubte Transformationen zur Lösung des Gleichungssystems Multiplizieren einer Zeile (Gleichung) mit einer Zahl verschieden von Null Addieren eines Vielfachen einer Zeile zu einer anderen Zeile Vertauschen von Zeilen (Gleichungen) bzw. Spalten (Unbekannten, entspricht Umnummerierung) Mit Hilfe der Transformationen reduziere Gleichungssystem auf ein Dreieckssystem. 8

9 Gauß-Verfahren (4) Durchlaufe alle Zeilen. Bei jeder Zeile j unterhalb der aktuellen Zeile i ersetzt die Elementen durch Zeile j Zeile j - Zeile i (a j,i /a i,i ) Ersetze b j ebenfalls durch b j b j b i a j,i /a i,i Dieser Schritt ändert den Lösungsvektor nicht! Es führt dazu, dass alle Elemente der i-ten Spalte unterhalb der i-ten Zeile zu Null werden. a j,i = a j,i a i,i (a j,i /a i,i ) = 0 für j > i 9

10 Gauß-Verfahren (5) Reihe i Reihe j 0 a j,i Spalte i 10

11 Gauß-Verfahren (6) Zweite Spalte des Schulbeispiels: x 1 x 2 x 3 x 4 = a 3,i = a 3,i a 3,2 /a 2,2 a 2,i b 3 = b 3 a 3,2 /a 2,2 b 2 a 4,i = a 4,i a 4,2 /a 2,2 a 2,i b 4 = b 4 a 4,2 /a 2,2 b 2 11

12 Gauß-Verfahren (7) Allgemein: 1. Die Matrix A ändert sich mit jedem Eliminationsschritt 2. Starte mit der Ursprungsmatrix A (1) = A 3. Führe die nachfolgenden Schritte für alle Zeilen k = 1,...,n 1 zur Berechnung einer veränderten Matrix A (k+1) aus A (k) durch, die in der Spalte unter dem Diagonalelement a k,k nur Nullen stehen hat 4. Berechnet die Zahlen l i,k aus dem Quotienten der Elemente a (k) i,k und a (k) k,k nach l i,k = a(k) i,k a (k) k,k, i = k +1,...,n 12

13 Gauß-Verfahren (8) 5. Bestimme die veränderte Matrizen A (k+1) = a (k+1) i,j, die sich aus dem k-ten Schritt des Gauß-Verfahrens ergibt durch a (k+1) i,j = a (k) i,j l i,ka (k) a (k) i,j k,j, i = k +1,...,n; j = k,...,n sonst 6. Verändere die Vektor b (k) unverändert bleibt, gemäß b (k+1) i = i b (k) i b (k) i zu b (k+1) i, so dass der Ergebnisvektor l i,k b (k) k, i = k +1,...,n sonst 13

14 Gauß-Verfahren (9) C-Code // for each row "k" except the last for (k=0; k<n-1; k++) { // step through subsequent rows "i" for (i=k+1; i<n; i++) l[i][k] = a[i][k]/a[k][k]; // step through subsequent rows "i" for (i=k+1; i<n; i++) { // step through subsequents cols "j" of "i" for (j=k; j<n; j++) // modified n-k-1 elements of row "i" a[i][j] = a[i][j] - l[i][k]*a[k][j]; // modify right side b[i] = b[i] - l[i][k]*b[k];}} Für j = k gilt a[i][k] = a[i][k] - (a[i][k]/a[k][k]) * a[k][k] = 0; d.h. die Spalte a[i][k] mit i>k wird auf 0 gesetzt. 14

15 Gauß-Verfahren (10) Schulbeispiel wird zu oder allgemein E 1 : x 1 + x 2 + 3x 4 = 4 E 2 : x 2 x 3 5x 4 = 7 E 3 : 3x x 4 = 13 E 4 : 13x 4 = 13 a 1,1 a 1,2 a 1,n a 2,2 a 2,n.... a n,n x 1 x 2. x n = b 1 b 2. b n 15

16 Gauß-Verfahren (11) Ein Dreieckssystem ist leicht zu lösen. Aus E 4 : x 4 = 1 x 4 einsetzten in E 3 : 3x = 13 x 3 = 0 x 3,x 4 einsetzten in E 2 : x 2 5 = 7 x 2 = 2 x 2,x 3,x 4 einsetzten in E 1 : x = 4 x 1 = 1 16

17 Gauß-Verfahren (12) Allgemein: Ausgehend von einer Dreiecksmatrix A gilt bzw. x n = 1 a n,n b n x n 1 = für k = n,...,1. x k = 1 a k,k 1 ( ) b n 1 a n 1,n x n, a n 1,n 1 b k n j=k+1 a k,j x j Wichtig: Die Diagonalelemente a kk, die Pivotelemente müssen 0 sein bzw. det(a) = a 11 a a nn 0. 17

18 Gauß-Verfahren (13) Ordnung des Gauß-Algorithmus Eliminationsschritt: Es müssen für k = n,,1 neue Werte für k 2 Matrixeinträge berechnet werden, insgesamt n k=1 k 2 = n(n+1)(2n+1)/6 n 3 /3 Lösung des Dreiecks-Gleichungssystem: Es müssen zur Berechnung der k-ten Unbekannten k Terme zusammengefasst werden, insgesamt n k=1 Ordnung insgesamt O(n 3 ). k = n(n+1)/2 n 2 /2 18

19 Pivotsuche (1) Problem: 1. Die Pivotelemente a (k) k,k sein. können in jedem Schritt gleich Null 2. Ist das Pivotelemente a (k) k,k viel kleiner als a(k) i,k, wird l i,k = a(k) i,k sehr groß und Rundungsfehler zerstören die Lösung a (k) k,k Beispiel: Berechne mit 4-stelliger Gleitpunktarithmetik x 1 = x

20 Pivotsuche (2) Lösung mit Gauß-Algorithmus: mit der Lösung x = (0,1) Berechne das gleiche System mit vorheriger Vertauschung der Zeilen 1 und 2: mit der Lösung x = ( 0.5,1) Exakte Lösung: x = ( , ) 20

21 Pivotsuche (3) Ausweg aus beiden Problemen: 1. Spaltenpivotsuche: Bestimme das betragsmäßig größte Element a (k) r,k,k r n und vertausche Zeile r mit Zeile k und b (k) r mit b (k) k, falls r k. 2. Zeilenpivotsuche: Bestimme das betragsmäßig größte Element a (k) k,r,k r n und vertausche Spalte r mit Spalte k, falls r k. Dies entspricht einer Umnummerierung des Lösungsvektors. 3. Totalpivotsuche: Das ist die Kombination aus Zeilen- und Spaltenpivotsuche. 21

22 Pivotsuche (4) Algorithmus für Spaltenpivotsuche: for k = 1 to n 1 do bestimme s mit a s,k = max{ a i,k,i = k,...,n} vertausche Zeilen s und k von A. Praxis: Die Zeilen werden nicht vertauscht, sondern über einen Indexvektor angesprochen oder die Zeiger auf die Zeilen umgehängt, um Speicherzugriffe und eventuell Kommunikation zu sparen. 22

23 Pivotsuche (5) Algorithmus mit Indexvektor: Indexvektor ind(i) = i,i = 1,...,n for k = 1 to n 1 do bestimme s mit a ind(s),k = max{ a ind(i),k,i = k,...,n} vertausche ind(s) mit ind(k) for i = k +1 to n do for j = k to n do a ind(i),j = a ind(i),j l ind(i),k a ind(k),j In C einfach a[k] a[s] Es gibt viele Lösungen im Netz, z.b. unter 23

24 Kondition einer Matrix (1) Der Einfachheit halber sei A exakt gegeben Ungenaue Eingabe in B: b Ungenaue Ausgabe in x: x Zu berechnen: x / x Aus Ax = b folgt A(x+ x) = b+ b oder A x = b und aus x = A 1 b A 1 b b = Ax A x folgt x x A 1 A b b κ(a) = A 1 A muss klein sein. Was ist unter A zu verstehen? 24

25 Kondition einer Matrix (2) Vektornorm: Unterschiedliche Definitionen von Normen sind möglich. 1-Norm: x 1 = n i=1 x i 2-Norm oder euklidische Norm: x 2 = n x 2 i i=1 -Norm: x = max i=1,...n x i Analog für Matrizen, über Spaltensumme, Spektralradius bzw. Zeilensumme. Diese Größen sollten vor der Lösung des Systems berechnet werden. 25

26 Kondition einer Matrix (3) Analog ohne Beweise: 1-Norm, Spaltennorm: A 1 = max j=1,...n n i=1 a i,j 2-Norm, Spektralnorm: A 2 = max x 0 Ax x -Norm, Zeilensummennorm: = ρ(a T A) A = max i=1,...n n j=1 a i,j Gauß-Elimination mit Pivotsuche gilt als numerisch stabil! 26

27 LU (LR)-Zerlegung (1) Die Matrix A lässt sich als Produkt zweier Dreiecksmatrizen schreiben: A = LU Das Verfahren wird als LU-Zerlegung bezeichnet und entspricht der Gauß-Elimination. Es gilt L = l 2, l 3,1 l 3, l n,1 l n,2 l n,3 1 U = a (n) 1,1 a(n) 1,2 a(n) 1,3 0 a (n) 2,2 a(n) 2,3 a(n) 1,n a(n) 2,n 0 0 a (n) 2,3 a(n) 2,n a (n) n,n 27

28 LU-Zerlegung (2) Ohne Beweis: Die Matrixeinträge l i,j von L sind die Gewichte der Gauß-Elimination und Einsen auf der Diagonalen. Unser Schulbeispiel: =

29 LU-Zerlegung (3) Vorteil: Ist A einmal zerlegt, lässt sich das System Ax = b für alle b schnell lösen, ohne das noch einmal eine Gauß-Elimination durchgeführt werden muss. Ax = LUx = b Löse zuerst Ly = b und anschließend Ux = y. Beides sind Probleme mit Dreiecksmatrizen und damit von der Ordnung O(n 2 ). 29

30 HPL Der HPL-Benchmark der TOP500 Liste für die weltweit leistungsfähigsten Rechner ist Lösung eines linearen Gleichungssystems über eine LU-Zerlegung mit Spaltenpivotsuche. 1. Das Programm ist mit MPI (siehe Masterveranstaltung Parallel Computing) geschrieben. 2. Es fasst zur Beschleunigung, d.h. zur Optimierung des Speicherzugriffs mehrere Spalten in Blöcken zusammen. 3. Es verwendet BLAS Bibliotheksfunktionen (Basic Linear Algebra Subprograms). 30

31 Cholesky-Zerlegung Für sogenannte symmetrische und positiv definite Matrizen, also Matrizen, für die gilt A T = A und x T Ax > 0 gibt es eine rechts-obere Dreiecksmatrix R mit r ii < 0 und A = R T R Der zugehörige Algorithmus ist ca. doppelt so schnell wie die Gauß- Elimination. Solche Matrizen kommen in der Praxis sehr häufig vor, z.b. bei im Bereich der Computergraphik. 31

32 QR-Zerlegung (1) Bei der QR-Zerlegung A = QR handelt es sich um eine Zerlegung in 2 Matrizen, von denen eine eine sogenannte orthogonale Matrix ist, also Q 1 = Q T und die andere eine rechts-obere Dreiecksmatrix R Vorteil: Die Gauß-Elimination bzw. LR-Zerlegung kann die Kondition der Matrix stark ändern, so dass es trotz Pivot-Suche zu hohen Rundungsfehlern kommen kann. Die QR-Zerlegung kann auch auf nicht-quadratische Matrizen angewandt werden, so wie sie bei Ausgleichsrechnungen vorkommen. Es lassen sich über die QR-Zerlegung die Eigenwerte der Matrix berechnen. 32

33 QR-Zerlegung (1) Nachteil: Das Verfahren ist aufwändiger als die LR-Zerlegung Ist das System einmal zerlegt Ax = QRx = b, dann löse zuerst Qy = b über y = Q 1 b = Q T b und anschließend Rx = y. Beides sind Probleme von der Ordnung O(n 2 ). 33

34 Beispiel einer großen Matrix: Das Radiosity-Verfahren (1) Globales Beleuchtungsmodell Berechnung der diffus abgestrahlten Energie zwischen Objekten einer Szene Energieerhaltung: Summen der abgestrahlten und aufgenommenen Energien sind gleich Lichtquellen sind auch Objekte der Szene Das entstehende Gleichungssystem wird aus Zeitgründen meist iterativ und nicht mit dem Gauß-Verfahren gelöst. siehe 34

35 Beispiel: Radiosity-Verfahren (2) N Objekte in einer Szene Größe Bedeutung A i Oberfläche von Objekt i B i Von i abgestrahlte Leistung/Oberfläche F i,j Formfaktor: Anteil, der von B i auf A j trifft E i von i erzeugte Strahlungsleistung/Fläche Reflektionskoeffizient von i R i Gesamte Strahlungsleistung von Objekt j, die das Objekt i trifft ist damit B j A j F j,i Gesamte abgestrahlte Energie pro Oberfläche ist die Summe aus der erzeugten und der reflektierten Energie. 35

36 Beispiel: Radiosity-Verfahren (3) Energiebilanz: B i = E i + n j=1,j i R i (B j A j F j,i )/A i Der Lichtweg ist umkehrbar F j,i A j = F i,j A i Es findet keine Absorption statt F i,i = 0 Energiebilanz: B i = E i + n j=1 R i (B j A j F j,i )/A i Gleichungssystem: E i = n j=1 (δ i,j R i F i,j )B j oder Matrix: A i,j = δ i,j R i F i,j 36

37 Ergänzung: Eigenwerte (1) Ein Gleichungssystem hat eine eindeutige Lösung, wenn die Matrix A nicht singulär ist, d.h. A 1 existiert. Dies ist der Fall, wenn die Determinante ungleich Null oder alle Eigenwerte der Matrix ungleich Null sind. Eine n n Matrix A führt bei Multiplikation mit einem Vektor x diesen in einen Vektor y über. Sind x und y parallel ist x ein Eigenvektor von A zum Eigenwert λ Ax = y = λx 37

38 Eigenwerte (2) Die Eigenwerte können bestimmt werden über das charakteristische Polynom, da (A λi)x = 0 P(λ) = det(a λi) = det a 1,1 λ a 1,2 a 1,n a 2,1 a 2,2 λ a 2,n..... a n,1 a n,n λ = 0, wobei I die Einheitsmatrix ist. x ist nur bis auf eine Konstante definiert Die Eigenwerte können komplex sein Die Matrix (A λi) ist singulär 38

39 Eigenwerte (3) Eigenwerte und Eigenvektoren haben vielfältige Anwendungen in z.b. Physik (Schwingungen, Drehungen, Quantenmechanik) Maschinenbau (Festigkeitslehre und Knicklasten), Biologie und Wirtschaftswissenschaften (Entwicklung eines biologischen bzw. wirtschaftlichen Systems über Wahrscheinlichkeitsmatrizen bzw. Markov-Ketten), Bildbearbeitung, z.b. Objektausrichtung PageRank einer Homepage als Eigenvektor der Google-Matrix Regelungstechnik und vielem mehr, denn sie beschreiben die wesentlichen Eigenschaften eines Systems. 39

40 Eigenwerte (4) Drei einfache Lösungsansätze: Bei kleinen Systemen kann die Eigenwertgleichung direkt berechnet werden. Große Systeme sind meist symmetrisch, d.h. A = A T. Dann existieren verschiedene schnelle Verfahren zur Berechnung der Eigenwerte über die QR-Zerlegung. Wird nur eine wesentliche Eigenschaft benötigt, z.b. der größte Eigenwert, kann dieser leicht durch die Potenzmethode bestimmt werden. 40

41 Eigenwerte (5) Potenzmethode: Voraussetzung (normalerweise gültig): Alle Eigenvektoren sind linear unabhängig. Dann lässt sich ein beliebiger Vektor x schreiben als x = n j=1 a j v (j) Annahme: Die Eigenvektoren v (j) gehören zu den der Größe nach sortierten Eigenwerten λ 1 > λ 2... λ j... λ n 0 und der größte Eigenwert kommt nur einmal vor. Dann gilt Ax = n j=1 a j Av (j) = n j=1 a j λ j v (j) 41

42 Eigenwerte (6) Dieser Ausdruck wird nun immer wieder mit A multipliziert: A 2 x = A k x = n j=1 n = λ k 1 j=1 n a j A 2 v (j) = a j A k v (j) = j=1 λ k j a j λ k v (j) 1 lim k Ak x = lim λ k 1 a k 1v (1) n j=1 n j=1 a j λ 2 j v(j) a j λ k j v(j) Daraus kann der größte Eigenwert mit dem zugehörigen Eigenvektor gewonnen werden. 42