6.3. Iterative Lösung linearer Gleichungssysteme. Großes lineares dünnbesetztes Gleichungssystem A x = b

Transkript

1 6.3. Iterative Lösung linearer Gleichungssysteme Großes lineares ünnesetztes Gleichungssystem A Gauss-Elimination nutzt in er Regel ie Dünnesetztheit nicht aus un führt meist auf Kosten On 3 ; Im Gegensatz azu ist oft nur On Speicherearf für Matri A Iee: Formuliere iteratives Verfahren, as in jeem Schritt nur Matri*Vetor erechnet, so ass ie Iterierten gegen ie Lösung von A onvergieren. Gesamtosten: #Iterationen * On. Effizient, falls schnelle Konvergenz vorliegt! Einfach parallelisierar! 39

2 6.3.. Stationäre Methoen: Richarson-Verfahren: Formulierung eines passenen Fipuntprolems A A I I A : Φ Daraus ergit sich ie Iteration: I A A Φ mit Resiuum r. Frage: Wann onvergiert ie ausgehen von einem efinierte Folge gegen ie gesuchte Lösung A? Betrachte azu en Fehler im -ten Schritt: r 4

3 Ergit in er Norm A A A A I I A I A I A un aher Daher liegt Konvergenz vor für I A <. Dies entspricht er Kontrationseingung für ie Iterationsfuntion Φ: Φ Φ y I A y Richarsonverfahren ist aher nur sinnvoll, wenn A I! Geschicter: 4

4 Wene as Verfahren auf as moifizierte Prolem an: D iag A; D A D A Die Beingung D A I ist esser erfüllt! ~ ~ Bezeichnung: A D A un D ergit neues Gleichungssystem A ~ ~. Richarson für as tile-system liefert ann: ~ ~ A D A oer D D A D A Dies ist as Jacoiverfahren zur iterativen Lösung von A Wesentliche Kosten in jeem Schritt: A 4

5 Konvergent, falls I D A < Notwenig: Diagonalmatri D regulär! Allgemeinere Iee zur Formulierung einer Iterationsfuntion: Matri-splitting L : Unteriagonalteil von A U : Oeriagonalteil von A A L D U L D U führt auf Iteration L D U A L D L D A 43

6 Dies ist as Gauss-Seiel-Verfahren A D L I D L A D L In jeem Schritt ist aei nur ein Dreiecsgleichungssystem zu lösen. Das Verfahren ist onvergent, falls < A D L I Gauss-Seiel ist äquivalent zu Richarson angewenet auf A D L A D L NEU: Komponentenweise Formel für Jacoi un GS! 44

7 6.3.. Nichtstationäre Verfahren: Das Graientenverfahren für symmetrisch positiv efinite Matri A: Betrachte Funtion F: R n R n F A, F eschreit einen Paraoloi im R n : -Eene -graf 45

8 Minimum ieser Funtion ist wieer er Punt mit waagrechter angente, also ie Stelle mit Graient gleich Null: F A A Stelle, an er er Paraoloi sein Minimum annimmt ist gleich gesuchte Lösung es Gleichungssystems! Betrachte Minimierungsaufgae! Von atueller Stelle aus soll ie nächste Iterierte so gewählt weren, ass sie näher am Minimum liegt. mit Suchrichtung un Schrittweite. Fine Suchrichtung so, ass Funtionswerte leiner weren: 46

9 Astiegsrichung ist gegeen urch Richtung es negativen Graienten! Denn Richtungsaleitung in Richtung n ist gleich F n, un wir am etragsgrößten für n F, nämlich F! Daher ist n F loal ie Richtung es steilsten Astiegs zum Minimum. Daher verleinern sich ie Funtionswerte auf jeen Fall, wenn man in iese Astiegsrichtung geht. Also wähle: F A Noch zu estimmten ist optimale Schrittweite, ie am nähesten ans Minimum führt! 47

10 Betrachte azu ein-imensionale Minimierung: A A A A F g min min min : min mit Lösung A, :-A Insgesamt: A A A A A 48

11 Dazugehörige Fipuntgleichung ist A Φ : A A A A mit Fipunt A. Ergit Verfahren es steilsten Astiegs steepest escent oer Graientenverfahren Nachteil: Bei star verzerrtem Paraoloien ergit sich sehr langsame Konvergenz. 49

12 Für A I ist er Paraoloi unverzerrt, ie Höhenlinien fast reisförmig schnelle Konvergenz! 5

13 Daher versucht man, A zu präonitionieren: Ersetze A urch M - A M - mit M A I Bessere Variante eines Graientenverfahren: Verfahren er onjugierten Graienten, urz cg-verfahren. Suchrichtung nicht er negative Graient selst, sonern ie Projetion es Graienten, so ass alle Suchrichtungen in gewisser Weise orthogonal zueinaner sin Genauer: Suchrichtungen seien A-onjugiert,.h. A j für j Damit ergit sich iteratives Verfahren, as nach Schritten jeweils ie este Näherung an ie Lösung in einem -imensionalen Unterraum liefert, un aher nach n Schritten fertig ist in eater Arithmeti. NEU: Norm-Minimierung, Unterraum Krylov 5

14 6.4. Eigenwerte un Vetoriteration Eigenvetor v un Eigenwert λ einer quaratischen Matri A erfüllen ie Gleichung A v λ v Daher ist ie urch en Vetor v estimmte Gerae urch en Nullpunt eine sog. Figerae er urch A efinierten Ailung. Für eine symmetrische Matri A gilt: Die Eigenvetoren er n Eigenwerte von A ilen eine Orthonormalasis es R n. Eigenvetormatri V liefert eine Diagonalisierung er Matri A. Die urch A efinierte Ailung wir in ieser Basis trivial: A v λ v A V V Λ, 5

15 Λ ist Diagonalmatri, mit en Eigenwerten als Diagonaleinträge V A V Λ iagλ,, λ n Ein Eigenwert erfüllt ie Gleichung eta - λi, a A - λi singulär: A - λi v Also sin Eigenwerte genau ie Nullstellen es charateristischen Polynoms pλ : eta - λi. Eigenwerte von A Nullstellen eines Polynoms p Die Matri : n n a a a a A L O M M O O M O L 53

16 hat as charateristisches Polynom n n a a a p n K n. Daher lassen sich Nullstellen von Polynomen erechnen, inem man ie Eigenwerte er oigen Matri A erechnet! Eigenwerterechnung ist numerisch stailer als Nullstellenerechnung ei Polynomen! Vetoriteration ist eine einfache Fipuntiteration zur Berechnung es etragsgrößten Eigenwerts einer Matri: Sei A symmetrisch positiv efinit A > ; 54

17 Start mit, : A A ; Die Iterationsfuntion: v Φ Av A hat Fipunt v, wenn.h. v ist Eigenvetor von A zu Eigenwert λ Av, enn ann gilt : A v Av *v. Av A Offensichtlich ist ann const * A Außerem ann in er Basis er Eigenvetoren argestellt weren: c v K c v m m woei λ maimaler Eigenwert von A zu Eigenvetor v ist. 55

18 Daher gilt j j j v Av λ un / v c v c c v v c v c v A c v A c A m m m m m m m m λ λ λ λ λ λ K K K ist normierter Vetor zu A. Dann leit in nur ie Komponente zum stärsten Eigenwert ürig, nämlich v. Also const v onvergiert gegen Eigenvetor, un aher auch A λ onvergiert gegen größten Eigenwert. 56

19 Ähnliches gilt für allgemeine Matrizen, solange Die Matri einen eineutigen etragsgrößten Eigenwert hat also z.b. nicht : ±λ sin eie Eigenwerte Beispiel: / ist Eigenvetor zu Eigenwert λ 57