Inexakte Krylov-Raum-Verfahren
|
|
|
- Alma Fischer
- vor 6 Jahren
- Abrufe
Transkript
1 Inexakte Krylov-Raum-Verfahren Jens-Peter M. Zemke Institut für Numerische Simulation Technische Universität Hamburg-Harburg TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 1 / 66
2 Übersicht Grundlagen Motivation Problemstellung TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 2 / 66
3 Übersicht Grundlagen Motivation Problemstellung Inexakte Krylov-Raum-Verfahren GMRes FOM Richardson-Iteration Chebyshev-Iteration Konjugierte Gradienten TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 2 / 66
4 Übersicht Grundlagen Motivation Problemstellung Inexakte Krylov-Raum-Verfahren GMRes FOM Richardson-Iteration Chebyshev-Iteration Konjugierte Gradienten Bemerkungen zu Eigenwertaufgaben TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 2 / 66
5 Übersicht Grundlagen Motivation Grundlagen Motivation Problemstellung Inexakte Krylov-Raum-Verfahren GMRes FOM Richardson-Iteration Chebyshev-Iteration Konjugierte Gradienten Bemerkungen zu Eigenwertaufgaben TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 3 / 66
6 Motivation Grundlagen Motivation Häufig ist die Matrix-Vektor-Multiplikation eine der teuersten Operationen in einem Krylov-Raum-Verfahren und man versucht billigere Approximationen zu verwenden, ohne aber die Konvergenzeigenschaften negativ zu beeinflussen. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 4 / 66
7 Motivation Grundlagen Motivation Häufig ist die Matrix-Vektor-Multiplikation eine der teuersten Operationen in einem Krylov-Raum-Verfahren und man versucht billigere Approximationen zu verwenden, ohne aber die Konvergenzeigenschaften negativ zu beeinflussen. Ein Beispiel hierfür ist durch sogenannte inner outer -Iterationen gegeben, siehe [18, 15, 19, 20], in denen die Matrix A implizit präkonditioniert wird, heutzutage oft wieder durch ein Krylov-Raum-Verfahren. Diese Verfahren sind auch unter dem Schlagwort zwei-stufiges Iterationsverfahren zu finden, siehe [22, 26, 24, 25, 14]. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 4 / 66
8 Motivation Grundlagen Motivation Häufig ist die Matrix-Vektor-Multiplikation eine der teuersten Operationen in einem Krylov-Raum-Verfahren und man versucht billigere Approximationen zu verwenden, ohne aber die Konvergenzeigenschaften negativ zu beeinflussen. Ein Beispiel hierfür ist durch sogenannte inner outer -Iterationen gegeben, siehe [18, 15, 19, 20], in denen die Matrix A implizit präkonditioniert wird, heutzutage oft wieder durch ein Krylov-Raum-Verfahren. Diese Verfahren sind auch unter dem Schlagwort zwei-stufiges Iterationsverfahren zu finden, siehe [22, 26, 24, 25, 14]. Ein anderes Beispiel ist es, wenn die Matrix A selber gar nicht gegeben ist, sondern das Produkt von A mit einem Vektor jedesmal teuer aus Messungen oder als Funktion einer Matrix berechnet werden muss. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 4 / 66
9 Motivation Grundlagen Motivation Häufig ist die Matrix-Vektor-Multiplikation eine der teuersten Operationen in einem Krylov-Raum-Verfahren und man versucht billigere Approximationen zu verwenden, ohne aber die Konvergenzeigenschaften negativ zu beeinflussen. Ein Beispiel hierfür ist durch sogenannte inner outer -Iterationen gegeben, siehe [18, 15, 19, 20], in denen die Matrix A implizit präkonditioniert wird, heutzutage oft wieder durch ein Krylov-Raum-Verfahren. Diese Verfahren sind auch unter dem Schlagwort zwei-stufiges Iterationsverfahren zu finden, siehe [22, 26, 24, 25, 14]. Ein anderes Beispiel ist es, wenn die Matrix A selber gar nicht gegeben ist, sondern das Produkt von A mit einem Vektor jedesmal teuer aus Messungen oder als Funktion einer Matrix berechnet werden muss. Der Fall der Funktion einer Matrix ist z. B. beim sog. Dirac Overlap-Operator in der Quantenchromodynamik (QCD) gegeben, siehe [32, 1, 10, 9]. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 4 / 66
10 Motivation Grundlagen Motivation Die Auswirkungen einer Approximation der Matrix-Vektor-Multiplikation (MVM) lassen sich mathematisch mit der Ersetzung der exakten MVM w = Aq (1) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 5 / 66
11 Motivation Grundlagen Motivation Die Auswirkungen einer Approximation der Matrix-Vektor-Multiplikation (MVM) lassen sich mathematisch mit der Ersetzung der exakten MVM durch eine inexakte MVM beschreiben, w = Aq (1) w = (A + A)q = Aq + g (2) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 5 / 66
12 Motivation Grundlagen Motivation Die Auswirkungen einer Approximation der Matrix-Vektor-Multiplikation (MVM) lassen sich mathematisch mit der Ersetzung der exakten MVM durch eine inexakte MVM w = Aq (1) w = (A + A)q = Aq + g (2) beschreiben, wobei g = Aq die Abweichung beschreibt. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 5 / 66
13 Motivation Grundlagen Motivation Die Auswirkungen einer Approximation der Matrix-Vektor-Multiplikation (MVM) lassen sich mathematisch mit der Ersetzung der exakten MVM durch eine inexakte MVM w = Aq (1) w = (A + A)q = Aq + g (2) beschreiben, wobei g = Aq die Abweichung beschreibt. Die naheliegende Frage ist die nach der maximal erlaubten Norm der Störung A (oder äquivalent dazu, g), welche die Konvergenzeigenschaften nicht oder nur marginal beeinflusst. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 5 / 66
14 Motivation Grundlagen Motivation Die Auswirkungen einer Approximation der Matrix-Vektor-Multiplikation (MVM) lassen sich mathematisch mit der Ersetzung der exakten MVM durch eine inexakte MVM w = Aq (1) w = (A + A)q = Aq + g (2) beschreiben, wobei g = Aq die Abweichung beschreibt. Die naheliegende Frage ist die nach der maximal erlaubten Norm der Störung A (oder äquivalent dazu, g), welche die Konvergenzeigenschaften nicht oder nur marginal beeinflusst. Eine Verfeinerung dieser Frage ist die, ob die Störung in der Norm konstant bleiben oder im Verlaufe der Iteration angepasst werden kann/sollte. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 5 / 66
15 Historisches Grundlagen Motivation Da die Matrix-Vektor-Multiplikation nicht exakt ausgeführt wird, werden diese Verfahren unter dem Schlagwort inexakte Verfahren zusammengefaßt, in unserem Falle handelt es sich also um inexakte Krylov-Raum-Verfahren. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 6 / 66
16 Historisches Grundlagen Motivation Da die Matrix-Vektor-Multiplikation nicht exakt ausgeführt wird, werden diese Verfahren unter dem Schlagwort inexakte Verfahren zusammengefaßt, in unserem Falle handelt es sich also um inexakte Krylov-Raum-Verfahren. Untersuchungen zu inexakten Verfahren gab es bereits vorher im Bereich der inexakten Newton-Verfahren ([11, 12, 23, 8]) und im Bereich der inexakten klassischen Iterationsverfahren ([16, 17]). TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 6 / 66
17 Historisches Grundlagen Motivation Da die Matrix-Vektor-Multiplikation nicht exakt ausgeführt wird, werden diese Verfahren unter dem Schlagwort inexakte Verfahren zusammengefaßt, in unserem Falle handelt es sich also um inexakte Krylov-Raum-Verfahren. Untersuchungen zu inexakten Verfahren gab es bereits vorher im Bereich der inexakten Newton-Verfahren ([11, 12, 23, 8]) und im Bereich der inexakten klassischen Iterationsverfahren ([16, 17]). Im Newton-Verfahren muss in jedem Schritt ein Gleichungssystem gelöst werden. Da diese Gleichungssysteme sehr groß werden können, liegt es nahe, die Lösung nur approximativ zu berechnen. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 6 / 66
18 Historisches Grundlagen Motivation Da die Matrix-Vektor-Multiplikation nicht exakt ausgeführt wird, werden diese Verfahren unter dem Schlagwort inexakte Verfahren zusammengefaßt, in unserem Falle handelt es sich also um inexakte Krylov-Raum-Verfahren. Untersuchungen zu inexakten Verfahren gab es bereits vorher im Bereich der inexakten Newton-Verfahren ([11, 12, 23, 8]) und im Bereich der inexakten klassischen Iterationsverfahren ([16, 17]). Im Newton-Verfahren muss in jedem Schritt ein Gleichungssystem gelöst werden. Da diese Gleichungssysteme sehr groß werden können, liegt es nahe, die Lösung nur approximativ zu berechnen. Im Falle der inexakten Newton-Verfahren muss die Genauigkeit beim Lösen des Gleichungssystemes nahe bei der gesuchten Lösung (Nullstelle, stationärer Punkt) erhöht werden, große Anfangsfehler stören eventuell lokal die Konvergenz und verändern lokal die Konvergenzgeschwindigkeit, verändern aber nicht die erreichbare Genauigkeit und stören nicht das lokal-quadratische Konvergenzverhalten. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 6 / 66
19 Historisches Grundlagen Motivation Bei den inexakten klassischen Iterationsverfahren wird, genau wie im Fall der Krylov-Raum-Verfahren, die Matrix-Vektor-Multiplikation ungenau ausgeführt; der Grund liegt auch hier in der nur approximativen Lösung der durch Präkonditionierung entstandenen Gleichungssysteme (Splitting). TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 7 / 66
20 Historisches Grundlagen Motivation Bei den inexakten klassischen Iterationsverfahren wird, genau wie im Fall der Krylov-Raum-Verfahren, die Matrix-Vektor-Multiplikation ungenau ausgeführt; der Grund liegt auch hier in der nur approximativen Lösung der durch Präkonditionierung entstandenen Gleichungssysteme (Splitting). Im Bereich der inexakten klassischen Iterationsverfahren sieht die Sache ähnlich aus wie bei den inexakten Newton-Verfahren; allerdings konvergieren diese Verfahren durchweg linear, also sollte im Allgemeinen mit Hinblick auf eine Minimierung des Gesamtaufwandes die Auswertungsgenauigkeit zumindest konstant gehalten werden. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 7 / 66
21 Historisches Grundlagen Motivation Bei den inexakten klassischen Iterationsverfahren wird, genau wie im Fall der Krylov-Raum-Verfahren, die Matrix-Vektor-Multiplikation ungenau ausgeführt; der Grund liegt auch hier in der nur approximativen Lösung der durch Präkonditionierung entstandenen Gleichungssysteme (Splitting). Im Bereich der inexakten klassischen Iterationsverfahren sieht die Sache ähnlich aus wie bei den inexakten Newton-Verfahren; allerdings konvergieren diese Verfahren durchweg linear, also sollte im Allgemeinen mit Hinblick auf eine Minimierung des Gesamtaufwandes die Auswertungsgenauigkeit zumindest konstant gehalten werden. Erste theoretische Untersuchungen zum Richardson-Verfahren zweiter Ordnung und der Chebyshev-Beschleunigung wurden 1982 ([16], nur die Richardson-Iteration) und 1988 ([17], für beide Varianten) von Golub und Overton durchgeführt. Es wurden auch bereits Tests an einem inexaktem CG-Verfahren ausgeführt, allerdings mit fester Auswertungsgenauigkeit. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 7 / 66
22 Grundlagen Motivation Historisches; inexakte Krylov-Raum-Verfahren Bouras und Frayssé (und später Giraud) untersuchten im Jahre 2000 die Konvergenz verschiedener inexakter Krylov-Raum-Verfahren ([4, 5, 7], siehe auch [3]) und bald stellte sich heraus, dass diese aus dem Rahmen fielen. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 8 / 66
23 Grundlagen Motivation Historisches; inexakte Krylov-Raum-Verfahren Bouras und Frayssé (und später Giraud) untersuchten im Jahre 2000 die Konvergenz verschiedener inexakter Krylov-Raum-Verfahren ([4, 5, 7], siehe auch [3]) und bald stellte sich heraus, dass diese aus dem Rahmen fielen. In den Krylov-Raum-Verfahren muss anfangs äußerst akkurat gerechnet werden, und in der Phase der Konvergenz kann die Genauigkeitsanforderung relaxiert werden, bis eigentlich nur noch mit Fehlern gerechnet wird. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 8 / 66
24 Grundlagen Motivation Historisches; inexakte Krylov-Raum-Verfahren Bouras und Frayssé (und später Giraud) untersuchten im Jahre 2000 die Konvergenz verschiedener inexakter Krylov-Raum-Verfahren ([4, 5, 7], siehe auch [3]) und bald stellte sich heraus, dass diese aus dem Rahmen fielen. In den Krylov-Raum-Verfahren muss anfangs äußerst akkurat gerechnet werden, und in der Phase der Konvergenz kann die Genauigkeitsanforderung relaxiert werden, bis eigentlich nur noch mit Fehlern gerechnet wird. In vielen Fällen konvergiert das inexakte Verfahren dennoch bis auf die gewünschte Genauigkeit gegen die Lösung. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 8 / 66
25 Grundlagen Motivation Historisches; inexakte Krylov-Raum-Verfahren Bouras und Frayssé (und später Giraud) untersuchten im Jahre 2000 die Konvergenz verschiedener inexakter Krylov-Raum-Verfahren ([4, 5, 7], siehe auch [3]) und bald stellte sich heraus, dass diese aus dem Rahmen fielen. In den Krylov-Raum-Verfahren muss anfangs äußerst akkurat gerechnet werden, und in der Phase der Konvergenz kann die Genauigkeitsanforderung relaxiert werden, bis eigentlich nur noch mit Fehlern gerechnet wird. In vielen Fällen konvergiert das inexakte Verfahren dennoch bis auf die gewünschte Genauigkeit gegen die Lösung. Der erste in einem Journal erschienene Artikel [6] von Bouras und Frayssé zu dem Thema der inexakten Krylov-Raum-Verfahren benötigte allerdings so lange bis zum Erscheinen, dass die beiden ersten theoretischen Arbeiten zu inexakten Krylov-Raum-Verfahren von van den Eshof & Sleijpen ([34]) und Szyld & Simoncini ([30]) vor diesem erschienen. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 8 / 66
26 Grundlagen Motivation Historisches; inexakte Krylov-Raum-Verfahren Es gibt zwei Arbeiten, beide im Bereich inexakter Verfahren zur Approximation von Eigenpaaren, die gewissermaßen als Vorarbeiten zu den experimentellen Untersuchungen von Bouras und Frayssé verstanden werden können. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 9 / 66
27 Grundlagen Motivation Historisches; inexakte Krylov-Raum-Verfahren Es gibt zwei Arbeiten, beide im Bereich inexakter Verfahren zur Approximation von Eigenpaaren, die gewissermaßen als Vorarbeiten zu den experimentellen Untersuchungen von Bouras und Frayssé verstanden werden können. Eine erste Anmerkung zu dem erwarteten Verhalten im Falles des inexakten Lanczos-Verfahrens zur Berechnung eines Eigenwertes findet sich in einem eher philosophisch gehaltenen Artikel von Golub, Zhang und Zha von TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 9 / 66
28 Grundlagen Motivation Historisches; inexakte Krylov-Raum-Verfahren Es gibt zwei Arbeiten, beide im Bereich inexakter Verfahren zur Approximation von Eigenpaaren, die gewissermaßen als Vorarbeiten zu den experimentellen Untersuchungen von Bouras und Frayssé verstanden werden können. Eine erste Anmerkung zu dem erwarteten Verhalten im Falles des inexakten Lanczos-Verfahrens zur Berechnung eines Eigenwertes findet sich in einem eher philosophisch gehaltenen Artikel von Golub, Zhang und Zha von Dort wird auf Basis des exakten symmetrischen Lanczos-Verfahrens untersucht, für welche Störungen sich der gewünschte Eigenwert der konstruierten Tridiagonalmatrix robust verhält. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 9 / 66
29 Grundlagen Motivation Historisches; inexakte Krylov-Raum-Verfahren Es gibt zwei Arbeiten, beide im Bereich inexakter Verfahren zur Approximation von Eigenpaaren, die gewissermaßen als Vorarbeiten zu den experimentellen Untersuchungen von Bouras und Frayssé verstanden werden können. Eine erste Anmerkung zu dem erwarteten Verhalten im Falles des inexakten Lanczos-Verfahrens zur Berechnung eines Eigenwertes findet sich in einem eher philosophisch gehaltenen Artikel von Golub, Zhang und Zha von Dort wird auf Basis des exakten symmetrischen Lanczos-Verfahrens untersucht, für welche Störungen sich der gewünschte Eigenwert der konstruierten Tridiagonalmatrix robust verhält. Quintessenz: bei schneller Konvergenz der exakten Version kann gegen Ende stärker gestört werden. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 9 / 66
30 Grundlagen Motivation Historisches; inexakte Krylov-Raum-Verfahren Es gibt zwei Arbeiten, beide im Bereich inexakter Verfahren zur Approximation von Eigenpaaren, die gewissermaßen als Vorarbeiten zu den experimentellen Untersuchungen von Bouras und Frayssé verstanden werden können. Eine erste Anmerkung zu dem erwarteten Verhalten im Falles des inexakten Lanczos-Verfahrens zur Berechnung eines Eigenwertes findet sich in einem eher philosophisch gehaltenen Artikel von Golub, Zhang und Zha von Dort wird auf Basis des exakten symmetrischen Lanczos-Verfahrens untersucht, für welche Störungen sich der gewünschte Eigenwert der konstruierten Tridiagonalmatrix robust verhält. Quintessenz: bei schneller Konvergenz der exakten Version kann gegen Ende stärker gestört werden. Ungefähr zeitgleich erschien eine Arbeit von Smit & Paardekooper, in der die inexakte inverse Iteration und eine inexakte Rayleigh-Quotienten-Iteration (inexakte RQI) für reelles symmetrisches A verglichen wurden. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 9 / 66
31 Grundlagen Motivation Historisches; inexakte Krylov-Raum-Verfahren Es gibt zwei Arbeiten, beide im Bereich inexakter Verfahren zur Approximation von Eigenpaaren, die gewissermaßen als Vorarbeiten zu den experimentellen Untersuchungen von Bouras und Frayssé verstanden werden können. Eine erste Anmerkung zu dem erwarteten Verhalten im Falles des inexakten Lanczos-Verfahrens zur Berechnung eines Eigenwertes findet sich in einem eher philosophisch gehaltenen Artikel von Golub, Zhang und Zha von Dort wird auf Basis des exakten symmetrischen Lanczos-Verfahrens untersucht, für welche Störungen sich der gewünschte Eigenwert der konstruierten Tridiagonalmatrix robust verhält. Quintessenz: bei schneller Konvergenz der exakten Version kann gegen Ende stärker gestört werden. Ungefähr zeitgleich erschien eine Arbeit von Smit & Paardekooper, in der die inexakte inverse Iteration und eine inexakte Rayleigh-Quotienten-Iteration (inexakte RQI) für reelles symmetrisches A verglichen wurden. Die Quintessenz dieser Arbeit ist, dass die Genauigkeit bei der inexakten inversen Iteration erhöht und bei inexakter RQI die Genauigkeit konstant gewählt werden sollte, wobei Genauigkeit die Größe des jeweiligen Residuums meint. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 9 / 66
32 Übersicht Grundlagen Problemstellung Grundlagen Motivation Problemstellung Inexakte Krylov-Raum-Verfahren GMRes FOM Richardson-Iteration Chebyshev-Iteration Konjugierte Gradienten Bemerkungen zu Eigenwertaufgaben TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 10 / 66
33 Problemstellung Grundlagen Problemstellung In den genannten Fällen hat man Kontrolle über die Größen der auftretenden Fehler, also die Normen der Matrizen A k, oder, vergleichbar, die Normen der Vektoren g k = A k q k im Produkt w k = (A + A k )q k = Aq k + g k. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 11 / 66
34 Problemstellung Grundlagen Problemstellung In den genannten Fällen hat man Kontrolle über die Größen der auftretenden Fehler, also die Normen der Matrizen A k, oder, vergleichbar, die Normen der Vektoren g k = A k q k im Produkt w k = (A + A k )q k = Aq k + g k. Da ein kleinerer Fehler einen größeren Arbeitsaufwand bedeutet, liegt die Frage nahe, wieviel Ungenauigkeit man zu welcher Zeit erlauben kann, um immer noch ein schnell gegen eine approximative Lösung x konvergentes Verfahren zu bekommen. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 11 / 66
35 Problemstellung Grundlagen Problemstellung In den genannten Fällen hat man Kontrolle über die Größen der auftretenden Fehler, also die Normen der Matrizen A k, oder, vergleichbar, die Normen der Vektoren g k = A k q k im Produkt w k = (A + A k )q k = Aq k + g k. Da ein kleinerer Fehler einen größeren Arbeitsaufwand bedeutet, liegt die Frage nahe, wieviel Ungenauigkeit man zu welcher Zeit erlauben kann, um immer noch ein schnell gegen eine approximative Lösung x konvergentes Verfahren zu bekommen. Die auf Beispielen aufbauenden Arbeiten von Bouras und Frayssé benutzen Termini wie den normweisen relativen Rückwärtsfehler, und arbeiten deshalb in natürlicher Weise mit den Normen der Fehlermatrizen A k. Auch in der Arbeit [30] von Simoncini und Szyld werden diese Fehlermatrizen verwendet. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 11 / 66
36 Problemstellung Grundlagen Problemstellung In den genannten Fällen hat man Kontrolle über die Größen der auftretenden Fehler, also die Normen der Matrizen A k, oder, vergleichbar, die Normen der Vektoren g k = A k q k im Produkt w k = (A + A k )q k = Aq k + g k. Da ein kleinerer Fehler einen größeren Arbeitsaufwand bedeutet, liegt die Frage nahe, wieviel Ungenauigkeit man zu welcher Zeit erlauben kann, um immer noch ein schnell gegen eine approximative Lösung x konvergentes Verfahren zu bekommen. Die auf Beispielen aufbauenden Arbeiten von Bouras und Frayssé benutzen Termini wie den normweisen relativen Rückwärtsfehler, und arbeiten deshalb in natürlicher Weise mit den Normen der Fehlermatrizen A k. Auch in der Arbeit [30] von Simoncini und Szyld werden diese Fehlermatrizen verwendet. Die auf Theorie gründende Arbeit [34] von van den Eshof und Sleijpen verwendet hingegen die Normen der Vektoren g k. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 11 / 66
37 Problemstellung Grundlagen Problemstellung In den genannten Fällen hat man Kontrolle über die Größen der auftretenden Fehler, also die Normen der Matrizen A k, oder, vergleichbar, die Normen der Vektoren g k = A k q k im Produkt w k = (A + A k )q k = Aq k + g k. Da ein kleinerer Fehler einen größeren Arbeitsaufwand bedeutet, liegt die Frage nahe, wieviel Ungenauigkeit man zu welcher Zeit erlauben kann, um immer noch ein schnell gegen eine approximative Lösung x konvergentes Verfahren zu bekommen. Die auf Beispielen aufbauenden Arbeiten von Bouras und Frayssé benutzen Termini wie den normweisen relativen Rückwärtsfehler, und arbeiten deshalb in natürlicher Weise mit den Normen der Fehlermatrizen A k. Auch in der Arbeit [30] von Simoncini und Szyld werden diese Fehlermatrizen verwendet. Die auf Theorie gründende Arbeit [34] von van den Eshof und Sleijpen verwendet hingegen die Normen der Vektoren g k. Wir gehen im Folgenden zuerst auf die Arbeit von Bouras und Frayssé, danach auf die Arbeit von van den Eshof und Sleijpen ein. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 11 / 66
38 Grundlagen Problemstellung Problemstellung; Bouras & Frayssé; Hintergrund Der normweise relative Rückwärtsfehler einer approximativen Lösung x eines linearen Gleichungssystemes Ax = r 0 ist definiert als die kleinste Zahl η, so dass (A + A) x = r 0, A η A (3) gilt. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 12 / 66
39 Grundlagen Problemstellung Problemstellung; Bouras & Frayssé; Hintergrund Der normweise relative Rückwärtsfehler einer approximativen Lösung x eines linearen Gleichungssystemes Ax = r 0 ist definiert als die kleinste Zahl η, so dass (A + A) x = r 0, A η A (3) gilt. Der (normweise relative) Rückwärtsfehler gibt also an, um wieviel die Matrix A (in der Norm, relativ) gestört werden muss, damit die berechnete Lösung x die tatsächliche Lösung eines in der Nähe liegenden Gleichungssystemes ist. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 12 / 66
40 Grundlagen Problemstellung Problemstellung; Bouras & Frayssé; Hintergrund Der normweise relative Rückwärtsfehler einer approximativen Lösung x eines linearen Gleichungssystemes Ax = r 0 ist definiert als die kleinste Zahl η, so dass (A + A) x = r 0, A η A (3) gilt. Der (normweise relative) Rückwärtsfehler gibt also an, um wieviel die Matrix A (in der Norm, relativ) gestört werden muss, damit die berechnete Lösung x die tatsächliche Lösung eines in der Nähe liegenden Gleichungssystemes ist. Theorem (Rigal und Gaches; 1967) Der normweise relative Rückwärtsfehler η aus (3) läßt sich berechnen durch η = r 0 A x A x. (4) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 12 / 66
41 Problemstellung Grundlagen Problemstellung Bouras und Frayssé streben an, eine approximative Lösung x mit einem Rückwärtsfehler der gegebenen Größe η zu erzielen. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 13 / 66
42 Problemstellung Grundlagen Problemstellung Bouras und Frayssé streben an, eine approximative Lösung x mit einem Rückwärtsfehler der gegebenen Größe η zu erzielen. Bei gegebener Größe η des Rückwärtsfehlers suchen wir eine Folge {ɛ k } k=1 von Schranken; ɛ k ist die Schranke für den erlaubten relativen Fehler in der Matrix-Vektor-Multiplikation im kten Schritt, A k ɛ k A. (5) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 13 / 66
43 Problemstellung Grundlagen Problemstellung Bouras und Frayssé streben an, eine approximative Lösung x mit einem Rückwärtsfehler der gegebenen Größe η zu erzielen. Bei gegebener Größe η des Rückwärtsfehlers suchen wir eine Folge {ɛ k } k=1 von Schranken; ɛ k ist die Schranke für den erlaubten relativen Fehler in der Matrix-Vektor-Multiplikation im kten Schritt, A k ɛ k A. (5) Bouras und Frayssé haben mit der aus experimentiellen Studien gewonnenen Wahl ( ) η ɛ k = min min( r k 1, 1), 1 (6) gearbeitet, wobei r k 1 = r 0 Ax k 1 das tatsächliche Residuum bezeichnet. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 13 / 66
44 Problemstellung Grundlagen Problemstellung Bouras und Frayssé streben an, eine approximative Lösung x mit einem Rückwärtsfehler der gegebenen Größe η zu erzielen. Bei gegebener Größe η des Rückwärtsfehlers suchen wir eine Folge {ɛ k } k=1 von Schranken; ɛ k ist die Schranke für den erlaubten relativen Fehler in der Matrix-Vektor-Multiplikation im kten Schritt, A k ɛ k A. (5) Bouras und Frayssé haben mit der aus experimentiellen Studien gewonnenen Wahl ( ) η ɛ k = min min( r k 1, 1), 1 (6) gearbeitet, wobei r k 1 = r 0 Ax k 1 das tatsächliche Residuum bezeichnet. Dieses ist selbstverständlich normalerweise nicht verfügbar. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 13 / 66
45 Übersicht Inexakte Krylov-Raum-Verfahren GMRes Grundlagen Motivation Problemstellung Inexakte Krylov-Raum-Verfahren GMRes FOM Richardson-Iteration Chebyshev-Iteration Konjugierte Gradienten Bemerkungen zu Eigenwertaufgaben TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 14 / 66
46 GMRes Inexakte Krylov-Raum-Verfahren GMRes Wir betrachten die Ergebnisse von Bouras und Frayssé für GMRes. Um unsere im Folgenden verwendete Notation einzuführen, geben wir eine nochmalige kurze Herleitung des GMRes-Verfahrens von Saad und Schultz. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 15 / 66
47 GMRes Inexakte Krylov-Raum-Verfahren GMRes Wir betrachten die Ergebnisse von Bouras und Frayssé für GMRes. Um unsere im Folgenden verwendete Notation einzuführen, geben wir eine nochmalige kurze Herleitung des GMRes-Verfahrens von Saad und Schultz. GMRes basiert auf der Methode von Arnoldi zur Bestimmung einer Orthonormalbasis eines Krylovraumes, welche in der Krylov-Zerlegung AQ k = Q k+1 H k (7) resultiert, wobei A C (n,n) eine gegebene Matrix eines Gleichungssystemes Ax = r 0 ist und die Methode von Arnoldi mit dem Startvektor q 1 = r 0 / r 0 begonnen wurde. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 15 / 66
48 GMRes Inexakte Krylov-Raum-Verfahren GMRes Wir betrachten die Ergebnisse von Bouras und Frayssé für GMRes. Um unsere im Folgenden verwendete Notation einzuführen, geben wir eine nochmalige kurze Herleitung des GMRes-Verfahrens von Saad und Schultz. GMRes basiert auf der Methode von Arnoldi zur Bestimmung einer Orthonormalbasis eines Krylovraumes, welche in der Krylov-Zerlegung AQ k = Q k+1 H k (7) resultiert, wobei A C (n,n) eine gegebene Matrix eines Gleichungssystemes Ax = r 0 ist und die Methode von Arnoldi mit dem Startvektor q 1 = r 0 / r 0 begonnen wurde. Nach Konstruktion ist Q k+1 C (n,k+1) orthonormal, die Spalten sind gerade die orthonormalen Basisvektoren des Krylovraumes K k+1. Die rechteckige Matrix H k C (k+1,k) ist eine um eine zusätzliche, unten angefügte Zeile erweiterte unreduzierte Hessenbergmatrix. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 15 / 66
49 GMRes Inexakte Krylov-Raum-Verfahren GMRes Die Spalten der Matrix Q k sind die Basisvektoren des kten Krylovraumes K k, also läßt sich jeder Vektor x K k mittels gewisser Koeffizienten z C k durch die Gleichung x = Q k z eindeutig parametrisieren. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 16 / 66
50 GMRes Inexakte Krylov-Raum-Verfahren GMRes Die Spalten der Matrix Q k sind die Basisvektoren des kten Krylovraumes K k, also läßt sich jeder Vektor x K k mittels gewisser Koeffizienten z C k durch die Gleichung x = Q k z eindeutig parametrisieren. GMRes ist dadurch definiert, dass im kten Schritt diejenige approximative Lösung des Gleichungssystemes mit minimalem Residuum berechnet wird. Diese Approximation aus dem kten Krylovraum wird im Folgenden mit x k, der zugehörige Parametervektor mit z k bezeichnet. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 16 / 66
51 GMRes Inexakte Krylov-Raum-Verfahren GMRes Die Spalten der Matrix Q k sind die Basisvektoren des kten Krylovraumes K k, also läßt sich jeder Vektor x K k mittels gewisser Koeffizienten z C k durch die Gleichung x = Q k z eindeutig parametrisieren. GMRes ist dadurch definiert, dass im kten Schritt diejenige approximative Lösung des Gleichungssystemes mit minimalem Residuum berechnet wird. Diese Approximation aus dem kten Krylovraum wird im Folgenden mit x k, der zugehörige Parametervektor mit z k bezeichnet. Da Q k+1 orthonormal ist und der Vektor x k K k das Residuum r k = r 0 Ax k minimieren soll, läßt er sich mittels r 0 Ax k = q 1 r 0 AQ k z k = Q k+1 (e 1 r 0 H k z k ) (8) = e 1 r 0 H k z k = min (9) beschreiben, existiert also immer, und ist somit eindeutig festgelegt durch z k = H k e 1 r 0. (10) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 16 / 66
52 GMRes Inexakte Krylov-Raum-Verfahren GMRes In der inexakten Variante wird gemäß der Wahl von Bouras und Frayssé im kten Schritt eine Fehlermatrix A k der relativen Norm ɛ k konstruiert, wobei ɛ k = A ( ) k η = min A min( r k 1, 1), 1. (11) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 17 / 66
53 GMRes Inexakte Krylov-Raum-Verfahren GMRes In der inexakten Variante wird gemäß der Wahl von Bouras und Frayssé im kten Schritt eine Fehlermatrix A k der relativen Norm ɛ k konstruiert, wobei ɛ k = A ( ) k η = min A min( r k 1, 1), 1. (11) Damit ist der relative Fehler von A garantiert im Intervall [η, 1]. In Matlab kann man eine Fehlermatrix mit derselben Besetztheitsstruktur wie die Matrix A mittels sprand(a) erzeugen. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 17 / 66
54 GMRes Inexakte Krylov-Raum-Verfahren GMRes In der inexakten Variante wird gemäß der Wahl von Bouras und Frayssé im kten Schritt eine Fehlermatrix A k der relativen Norm ɛ k konstruiert, wobei ɛ k = A ( ) k η = min A min( r k 1, 1), 1. (11) Damit ist der relative Fehler von A garantiert im Intervall [η, 1]. In Matlab kann man eine Fehlermatrix mit derselben Besetztheitsstruktur wie die Matrix A mittels sprand(a) erzeugen. Die Krylov-Zerlegung wird zur perturbierten Krylov-Zerlegung AQ k + F k = Q k+1 H k, (12) wobei die Perturbation F k C (n,k) die folgende Gestalt hat, F k = G k = ( A 1 q 1,..., A k q k ). (13) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 17 / 66
55 Inexakte Krylov-Raum-Verfahren GMRes; Algorithmus GMRes Ein Algorithmus für GMRes sieht folgendermaßen aus: Gegeben A,r0 Setze x0 = o, beta = norm(r0); q(:,1) = r0/beta; for j = 1,2,... w = A*q(:,j); for i = 1:j % Modifiziertes Gram-Schmidt-Verfahren h(i,j) = q(:,i) *w; w = w - q(:,i)*h(i,j); end h(j+1,j) = norm(w); q(:,j+1) = w/h(j+1,j); z(1:j,j) = h(1:j+1,1:j)\eye(j+1,1)*beta; x(:,j) = q(:,1:j)*z(1:j,j); Teste auf Konvergenz end TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 19 / 66
56 Inexakte Krylov-Raum-Verfahren GMRes; Algorithmus GMRes Ein Algorithmus für inexaktes GMRes sieht folgendermaßen aus: Gegeben A,r0,eta Setze x0 = o, beta = norm(r0); q(:,1) = r0/beta; for j = 1,2,... Berechne den Fehlerterm DeltaAj w = (A+DeltaAj)*q(:,j); for i = 1:j % Modifiziertes Gram-Schmidt-Verfahren h(i,j) = q(:,i) *w; w = w - q(:,i)*h(i,j); end h(j+1,j) = norm(w); q(:,j+1) = w/h(j+1,j); z(1:j,j) = h(1:j+1,1:j)\eye(j+1,1)*beta; x(:,j) = q(:,1:j)*z(1:j,j); r(:,j) = r0-a*x(:,j); Teste auf Konvergenz end TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 19 / 66
57 GMRes; exakt Inexakte Krylov-Raum-Verfahren GMRes Berechnete und wirkliche Residuen mit Fehlerschranken 10 0 GMRes exakt für ARC130 vom Matrix Market Residuum GMRes exakt Rückwärtsfehler GMRes exakt Anzahl der Schritte / Matrix Vektor Multiplikationen TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 20 / 66
58 Inexakte Krylov-Raum-Verfahren GMRes; inexakt, η = GMRes Berechnete und wirkliche Residuen mit Fehlerschranken 10 0 GMRes inexakt für ARC130 vom Matrix Market Residuum GMRes exakt Rückwärtsfehler GMRes exakt Residuum GMRes inexakt Rückwärtsfehler GMRes inexakt gewünschter Rückwärtsfehler Auswertungsgenauigkeit Anzahl der Schritte / Matrix Vektor Multiplikationen TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 21 / 66
59 Inexakte Krylov-Raum-Verfahren GMRes; inexakt, η = GMRes Berechnete und wirkliche Residuen mit Fehlerschranken 10 0 GMRes inexakt für ARC130 vom Matrix Market Residuum GMRes exakt Rückwärtsfehler GMRes exakt Residuum GMRes inexakt Rückwärtsfehler GMRes inexakt gewünschter Rückwärtsfehler Auswertungsgenauigkeit Anzahl der Schritte / Matrix Vektor Multiplikationen TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 22 / 66
60 Inexakte Krylov-Raum-Verfahren GMRes; inexakt, η = GMRes Berechnete und wirkliche Residuen mit Fehlerschranken 10 0 GMRes inexakt für ARC130 vom Matrix Market Residuum GMRes exakt Rückwärtsfehler GMRes exakt Residuum GMRes inexakt Rückwärtsfehler GMRes inexakt gewünschter Rückwärtsfehler Auswertungsgenauigkeit Anzahl der Schritte / Matrix Vektor Multiplikationen TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 23 / 66
61 Inexakte Krylov-Raum-Verfahren GMRes; inexakt, η = 10 8 GMRes Berechnete und wirkliche Residuen mit Fehlerschranken 10 0 GMRes inexakt für ARC130 vom Matrix Market Residuum GMRes exakt Rückwärtsfehler GMRes exakt Residuum GMRes inexakt Rückwärtsfehler GMRes inexakt gewünschter Rückwärtsfehler Auswertungsgenauigkeit Anzahl der Schritte / Matrix Vektor Multiplikationen TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 24 / 66
62 Inexakte Krylov-Raum-Verfahren GMRes; inexakt, η = 10 6 GMRes Berechnete und wirkliche Residuen mit Fehlerschranken 10 0 GMRes inexakt für ARC130 vom Matrix Market Residuum GMRes exakt Rückwärtsfehler GMRes exakt Residuum GMRes inexakt Rückwärtsfehler GMRes inexakt gewünschter Rückwärtsfehler Auswertungsgenauigkeit Anzahl der Schritte / Matrix Vektor Multiplikationen TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 25 / 66
63 Übersicht Inexakte Krylov-Raum-Verfahren FOM Grundlagen Motivation Problemstellung Inexakte Krylov-Raum-Verfahren GMRes FOM Richardson-Iteration Chebyshev-Iteration Konjugierte Gradienten Bemerkungen zu Eigenwertaufgaben TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 26 / 66
64 FOM Inexakte Krylov-Raum-Verfahren FOM Auch FOM von Saad und Schultz basiert auf der Krylov-Zerlegung aus der Methode von Arnoldi, AQ k = Q k+1 H k = Q k H k + q k+1 h k+1,k e T k. (14) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 27 / 66
65 FOM Inexakte Krylov-Raum-Verfahren FOM Auch FOM von Saad und Schultz basiert auf der Krylov-Zerlegung aus der Methode von Arnoldi, AQ k = Q k+1 H k = Q k H k + q k+1 h k+1,k e T k. (14) Bei FOM wird diejenige approximative Lösung x k = Q k z k aus dem kten Krylovraum K k gesucht, deren Residuum r k = r 0 Ax k auf K k senkrecht steht, o = Q H k (r 0 Ax k ) = e 1 r 0 Q H k AQ k z k (15) = e 1 r 0 Q H k Q k H k z k + Q H k q k+1 h k+1,k e T k z k (16) = e 1 r 0 H k z k. (17) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 27 / 66
66 FOM Inexakte Krylov-Raum-Verfahren FOM Auch FOM von Saad und Schultz basiert auf der Krylov-Zerlegung aus der Methode von Arnoldi, AQ k = Q k+1 H k = Q k H k + q k+1 h k+1,k e T k. (14) Bei FOM wird diejenige approximative Lösung x k = Q k z k aus dem kten Krylovraum K k gesucht, deren Residuum r k = r 0 Ax k auf K k senkrecht steht, o = Q H k (r 0 Ax k ) = e 1 r 0 Q H k AQ k z k (15) = e 1 r 0 Q H k Q k H k z k + Q H k q k+1 h k+1,k e T k z k (16) = e 1 r 0 H k z k. (17) Also existiert eine approximative Lösung nur, wenn H k regulär ist, und ist dann gegeben durch den Parametervektor z k = H 1 k e 1 r 0. (18) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 27 / 66
67 FOM; Algorithmus Inexakte Krylov-Raum-Verfahren FOM Ein Algorithmus für FOM sieht folgendermaßen aus: Gegeben A,r0 Setze x0 = o, beta = norm(r0); q(:,1) = r0/beta; for j = 1,2,... w = A*q(:,j); for i = 1:j % Modifiziertes Gram-Schmidt-Verfahren h(i,j) = q(:,i) *w; w = w - q(:,i)*h(i,j); end h(j+1,j) = norm(w); q(:,j+1) = w/h(j+1,j); z(1:j,j) = h(1:j,1:j)\eye(j,1)*beta; x(:,j) = q(:,1:j)*z(1:j,j); Teste auf Konvergenz end TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 29 / 66
68 FOM; Algorithmus Inexakte Krylov-Raum-Verfahren FOM Ein Algorithmus für inexaktes FOM sieht folgendermaßen aus: Gegeben A,r0,eta Setze x0 = o, beta = norm(r0); q(:,1) = r0/beta; for j = 1,2,... Berechne den Fehlerterm DeltaAj w = (A+DeltaAj)*q(:,j); for i = 1:j % Modifiziertes Gram-Schmidt-Verfahren h(i,j) = q(:,i) *w; w = w - q(:,i)*h(i,j); end h(j+1,j) = norm(w); q(:,j+1) = w/h(j+1,j); z(1:j,j) = h(1:j,1:j)\eye(j,1)*beta; x(:,j) = q(:,1:j)*z(1:j,j); r(:,j) = r0-a*x(:,j); Teste auf Konvergenz end TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 29 / 66
69 Inexakte Krylov-Raum-Verfahren FOM; Relaxationsstrategien FOM Bouras und Frayssé schlagen wieder die Relaxationsstrategie ɛ k = A ( ) k η = min A min( r k 1, 1), 1 (19) vor, wobei diese Mal aber die r k 1 die tatsächlichen Residuen von FOM sind. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 30 / 66
70 Inexakte Krylov-Raum-Verfahren FOM; Relaxationsstrategien FOM Bouras und Frayssé schlagen wieder die Relaxationsstrategie ɛ k = A ( ) k η = min A min( r k 1, 1), 1 (19) vor, wobei diese Mal aber die r k 1 die tatsächlichen Residuen von FOM sind. Selbstverständlich sind auch die tatsächlichen Residuen von FOM in einem realen Umfeld nicht gegeben, analog zu GMRes. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 30 / 66
71 Inexakte Krylov-Raum-Verfahren FOM; Relaxationsstrategien FOM Bouras und Frayssé schlagen wieder die Relaxationsstrategie ɛ k = A ( ) k η = min A min( r k 1, 1), 1 (19) vor, wobei diese Mal aber die r k 1 die tatsächlichen Residuen von FOM sind. Selbstverständlich sind auch die tatsächlichen Residuen von FOM in einem realen Umfeld nicht gegeben, analog zu GMRes. Da sowohl GMRes als auch FOM auf der orthogonalen Krylov-Zerlegung nach Arnoldi basieren, liegt die Frage nach einem Vergleich und Gemeinsamkeiten der beiden Relaxationsstrategien nahe. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 30 / 66
72 Inexakte Krylov-Raum-Verfahren FOM; Relaxationsstrategien FOM Bouras und Frayssé schlagen wieder die Relaxationsstrategie ɛ k = A ( ) k η = min A min( r k 1, 1), 1 (19) vor, wobei diese Mal aber die r k 1 die tatsächlichen Residuen von FOM sind. Selbstverständlich sind auch die tatsächlichen Residuen von FOM in einem realen Umfeld nicht gegeben, analog zu GMRes. Da sowohl GMRes als auch FOM auf der orthogonalen Krylov-Zerlegung nach Arnoldi basieren, liegt die Frage nach einem Vergleich und Gemeinsamkeiten der beiden Relaxationsstrategien nahe. Solch ein Vergleich wurde von van den Eshof und Sleijpen 2004 verwendet, um eine alternative, stärkere Relaxationsstrategie vorzuschlagen; diese Strategie wurde zusätzlich mit Theorie untermauert. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 30 / 66
73 Inexakte Krylov-Raum-Verfahren FOM; Relaxationsstrategien FOM Es gibt bekannte Relationen zwischen Paaren von Methoden, von denen eine auf minimalen Residuen r k (MR) und die andere auf orthogonalen Residuen r k (OR) basiert. Eine dieser Relationen hat die Form 1 r k = k (20) j=0 1/ r j 2 TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 31 / 66
74 Inexakte Krylov-Raum-Verfahren FOM; Relaxationsstrategien FOM Es gibt bekannte Relationen zwischen Paaren von Methoden, von denen eine auf minimalen Residuen r k (MR) und die andere auf orthogonalen Residuen r k (OR) basiert. Eine dieser Relationen hat die Form 1 r k = k ρ k r k. (20) j=0 1/ r j 2 Da diese Relation auch im inexakten Fall gilt, und somit wahrscheinlich die Abweichung der Basis des konstruierten Raumes vom wirklichen Krylovraum der Hauptgrund der eventuellen Nichtkonvergenz ist, liegt die folgende Relaxationsstrategie nahe, ɛ k = A k A ( ) η = min min(ρ k 1, 1), 1. (21) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 31 / 66
75 Inexakte Krylov-Raum-Verfahren FOM; Relaxationsstrategien FOM Es gibt bekannte Relationen zwischen Paaren von Methoden, von denen eine auf minimalen Residuen r k (MR) und die andere auf orthogonalen Residuen r k (OR) basiert. Eine dieser Relationen hat die Form 1 r k = k ρ k r k. (20) j=0 1/ r j 2 Da diese Relation auch im inexakten Fall gilt, und somit wahrscheinlich die Abweichung der Basis des konstruierten Raumes vom wirklichen Krylovraum der Hauptgrund der eventuellen Nichtkonvergenz ist, liegt die folgende Relaxationsstrategie nahe, ɛ k = A k A ( ) η = min min(ρ k 1, 1), 1 Das folgende Bild zeigt die beiden Relaxationsstrategien für A = randn(100)+sqrt(100)*eye(100).. (21) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 31 / 66
76 Inexakte Krylov-Raum-Verfahren FOM; inexakt, η = FOM Berechnete und wirkliche Residuen mit Fehlerschranken 10 0 FOM inexakt für eine verschobene Zufallsmatrix Residuum FOM exakt Rückwärtsfehler FOM exakt Residuum FOM inexakt (B+F) Rückwärtsfehler FOM inexakt (B+F) gewünschter Rückwärtsfehler (B+F) Auswertungsgenauigkeit (B+F) Residuum FOM inexakt (vde+s) Rückwärtsfehler FOM inexakt (vde+s) gewünschter Rückwärtsfehler (vde+s) Auswertungsgenauigkeit (vde+s) Anzahl der Schritte / Matrix Vektor Multiplikationen TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 32 / 66
77 Übersicht Inexakte Krylov-Raum-Verfahren Richardson-Iteration Grundlagen Motivation Problemstellung Inexakte Krylov-Raum-Verfahren GMRes FOM Richardson-Iteration Chebyshev-Iteration Konjugierte Gradienten Bemerkungen zu Eigenwertaufgaben TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 33 / 66
78 Inexakte Krylov-Raum-Verfahren Richardson-Iteration Richardson-Iteration Ein einfaches (leichter zu untersuchendes) klassisches Iterationsverfahren zur approximativen Lösung eines linearen Gleichungssystemes ist die Richardson-Iteration. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 34 / 66
79 Inexakte Krylov-Raum-Verfahren Richardson-Iteration Richardson-Iteration Ein einfaches (leichter zu untersuchendes) klassisches Iterationsverfahren zur approximativen Lösung eines linearen Gleichungssystemes ist die Richardson-Iteration. Man denke sich ein Gleichungssystem Ax = r 0 o = r 0 Ax, A C (n,n), r 0 C n (22) gegeben, präkonditioniere es von links mit einer Präkonditionsmatrix P, o = Pr 0 PAx (23) und addiere auf beiden Seiten die (unbekannte) Lösung dazu, x = (I PA)x + Pr 0. (24) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 34 / 66
80 Inexakte Krylov-Raum-Verfahren Richardson-Iteration Richardson-Iteration Ein einfaches (leichter zu untersuchendes) klassisches Iterationsverfahren zur approximativen Lösung eines linearen Gleichungssystemes ist die Richardson-Iteration. Man denke sich ein Gleichungssystem Ax = r 0 o = r 0 Ax, A C (n,n), r 0 C n (22) gegeben, präkonditioniere es von links mit einer Präkonditionsmatrix P, o = Pr 0 PAx (23) und addiere auf beiden Seiten die (unbekannte) Lösung dazu, x = (I PA)x + Pr 0. (24) Nun konstruiert man ausgehend von einer gegebenen Approximation x 1 eine Folge von Näherungslösungen gemäß x k+1 = (I PA)x k + Pr 0. (25) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 34 / 66
81 Inexakte Krylov-Raum-Verfahren Richardson-Iteration Richardson-Iteration Man sieht leicht, dass die Iterierten x k+1 = (I PA)x k + Pr 0. (26) genau dann gegen die Lösung konvergieren, wenn die Matrizen (I PA) k gegen die Nullmatrix O konvergieren. TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 35 / 66
82 Inexakte Krylov-Raum-Verfahren Richardson-Iteration Richardson-Iteration Man sieht leicht, dass die Iterierten x k+1 = (I PA)x k + Pr 0. (26) genau dann gegen die Lösung konvergieren, wenn die Matrizen (I PA) k gegen die Nullmatrix O konvergieren. Man spricht dann auch von einer konvergenten Matrix I PA und kann zeigen, dass I PA genau dann konvergent ist, wenn der Spektralradius von I PA kleiner als 1 ist, lim (I k PA)k = O ρ(i PA) < 1. (27) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 35 / 66
83 Inexakte Krylov-Raum-Verfahren Richardson-Iteration Richardson-Iteration Man sieht leicht, dass die Iterierten x k+1 = (I PA)x k + Pr 0. (26) genau dann gegen die Lösung konvergieren, wenn die Matrizen (I PA) k gegen die Nullmatrix O konvergieren. Man spricht dann auch von einer konvergenten Matrix I PA und kann zeigen, dass I PA genau dann konvergent ist, wenn der Spektralradius von I PA kleiner als 1 ist, lim (I k PA)k = O ρ(i PA) < 1. (27) Wir betrachten den einfachsten Fall einer positiv definiten Matrix A und eines skalaren Präkonditinierers P = ωi. Aus der Bedingung (27) folgert man, dass eine optimale Wahl für ω gegeben ist durch ω = 2 λ max + λ min. (28) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 35 / 66
84 Inexakte Krylov-Raum-Verfahren Richardson-Iteration Richardson-Iteration Wir formen die Iterationsvorschrift der Richardson-Iteration noch leicht um: x k+1 = (I ωa)x k + ωr 0 = x k + ω(r 0 Ax k ) (29) = x k + ωr k. (30) Die Residuen werden mittels eine Updates rekursiv berechnet; pro Schritt muss wieder nur eine Matrix-Vektor-Multiplikation erfolgen: r k+1 = r k ωar k. (31) TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 37 / 66
85 Inexakte Krylov-Raum-Verfahren Richardson-Iteration Richardson-Iteration Wir formen die Iterationsvorschrift der Richardson-Iteration noch leicht um: x k+1 = (I ωa)x k + ωr 0 = x k + ω(r 0 Ax k ) (29) = x k + ωr k. (30) Die Residuen werden mittels eine Updates rekursiv berechnet; pro Schritt muss wieder nur eine Matrix-Vektor-Multiplikation erfolgen: Damit lautet der vollständige Algorithmus: r k+1 = r k ωar k. (31) Gegeben A,r0,omega x(:,1) = o; r(:,1) = r0; for j = 2,3,... r(:,j) = r(:,j-1)-omega*(a*r(:,j-1)); x(:,j) = x(:,j-1)+omega*r(:,j-1); Teste auf Konvergenz end TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 37 / 66
86 Inexakte Krylov-Raum-Verfahren Richardson-Iteration Richardson-Iteration Wir formen die Iterationsvorschrift der Richardson-Iteration noch leicht um: x k+1 = (I ωa)x k + ωr 0 = x k + ω(r 0 Ax k ) (29) = x k + ωr k. (30) Die Residuen werden mittels eine Updates rekursiv berechnet; pro Schritt muss wieder nur eine inexakte Matrix-Vektor-Multiplikation erfolgen: Damit lautet der vollständige Algorithmus: r k+1 = r k ω(ar k + g k ). (31) Gegeben A,r0,omega x(:,1) = o; r(:,1) = r0; for j = 2,3,... r(:,j) = r(:,j-1)-omega*(a*r(:,j-1)); x(:,j) = x(:,j-1)+omega*r(:,j-1); Teste auf Konvergenz end TUHH Jens-Peter M. Zemke Inexakte Krylov-Raum-Verfahren Numerische Lineare Algebra 37 / 66
Iterative Verfahren, Splittingmethoden
Iterative Verfahren, Splittingmethoden Theodor Müller 19. April 2005 Sei ein lineares Gleichungssystem der Form Ax = b b C n, A C n n ( ) gegeben. Es sind direkte Verfahren bekannt, die ein solches Gleichungssystem
Klausur zur Vordiplom-Prüfung
Technische Universität Hamburg-Harburg SS 25 Arbeitsbereich Mathematik Dr. Jens-Peter M. Zemke Klausur zur Vordiplom-Prüfung Numerische Verfahren 22. Juli 25 Sie haben 9 Minuten Zeit zum Bearbeiten der
Optimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum
Nichtlineare Gleichungssysteme
Kapitel 2 Nichtlineare Gleichungssysteme Problem: Für vorgegebene Abbildung f : D R n R n finde R n mit oder ausführlicher f() = 0 (21) f 1 ( 1,, n ) = 0, f n ( 1,, n ) = 0 Einerseits führt die mathematische
Tutorium Mathematik II, M Lösungen
Tutorium Mathematik II, M Lösungen März 03 *Aufgabe Bestimmen Sie durch Hauptachsentransformation Lage und Typ der Kegelschnitte (a) 3x + 4x x + 3x 4x = 0, (b) 3x + 4x x + 3x 4x 6 = 0, (c) 3x + 4x x +
Newton-Verfahren zur gleichungsbeschränkten Optimierung. 1 Gleichungsbeschränkte Optimierungsprobleme
Newton-Verfahren zur gleichungsbeschränkten Optimierung Armin Farmani Anosheh (afarmani@mail.uni-mannheim.de) 3.Mai 2016 1 Gleichungsbeschränkte Optimierungsprobleme Einleitung In diesem Vortrag geht es
Aufgabensammlung aus Mathematik 2 UMIT, SS 2010, Version vom 7. Mai 2010
Aufgabensammlung aus Mathematik 2 UMIT, SS 2, Version vom 7. Mai 2 I Aufgabe I Teschl / K 3 Zerlegen Sie die Zahl 8 N in ihre Primfaktoren. Aufgabe II Teschl / K 3 Gegeben sind die natürliche Zahl 7 und
Mathematik für Wirtschaftswissenschaftler, WS 10/11 Musterlösungen zu Aufgabenblatt 11
Mathematik für Wirtschaftswissenschaftler, WS / Musterlösungen zu Aufgabenblatt Aufgabe 76: Bestimmen Sie mittels Gauß-Elimination die allgemeine Lösung der folgenden linearen Gleichungssysteme Ax b: a)
Lineare Gleichungssysteme (Teschl/Teschl 11.1)
Lineare Gleichungssysteme (Teschl/Teschl.) Ein Lineares Gleichungssystem (LGS) besteht aus m Gleichungen mit n Unbekannten x,...,x n und hat die Form a x + a 2 x 2 +... + a n x n b a 2 x + a 22 x 2 +...
5.1 Determinanten der Ordnung 2 und 3. a 11 a 12 a 21 a 22. det(a) =a 11 a 22 a 12 a 21. a 11 a 21
5. Determinanten 5.1 Determinanten der Ordnung 2 und 3 Als Determinante der zweireihigen Matrix A = a 11 a 12 bezeichnet man die Zahl =a 11 a 22 a 12 a 21. Man verwendet auch die Bezeichnung = A = a 11
1 Lineare Algebra. 1.1 Matrizen und Vektoren. Slide 3. Matrizen. Eine Matrix ist ein rechteckiges Zahlenschema
1 Lineare Algebra 1.1 Matrizen und Vektoren Slide 3 Matrizen Eine Matrix ist ein rechteckiges Zahlenschema eine n m-matrix A besteht aus n Zeilen und m Spalten mit den Matrixelementen a ij, i=1...n und
Kap 5: Rang, Koordinatentransformationen
Kap 5: Rang, Koordinatentransformationen Sei F : V W eine lineare Abbildung. Dann ist der Rang von F erklärt durch: rang F =dim ImF. Stets gilt rang F dimv, und ist dimv
Lösungen zum 5. Aufgabenblatt
SS 2012, Lineare Algebra 1 Die Lösungen wurden erstellt von: Isabel Voigt, Vanessa Lamm und Matthias Rehder Hinweis: Eine Liste der zur Bearbeitung verwendeten Literatur ist unter www.mathematiwelt.com
3 Nichtlineare Gleichungssysteme
3 Nichtlineare Gleichungsssteme 3.1 Eine Gleichung in einer Unbekannten Problemstellung: Gegeben sei die stetige Funktion f(). Gesucht ist die Lösung der Gleichung f() = 0. f() f() a) f ( ) 0 b) f ( )
Lineare Gleichungssysteme
Brückenkurs Mathematik TU Dresden 2016 Lineare Gleichungssysteme Schwerpunkte: Interpretation und Verständnis der Gleichungen Lösungsmethoden Prof. Dr. F. Schuricht TU Dresden, Fachbereich Mathematik unter
1 Definition. 2 Besondere Typen. 2.1 Vektoren und transponieren A = 2.2 Quadratische Matrix. 2.3 Diagonalmatrix. 2.
Definition Die rechteckige Anordnung von m n Elementen a ij in m Zeilen und n Spalten heißt m n- Matrix. Gewöhnlich handelt es sich bei den Elementen a ij der Matrix um reelle Zahlen. Man nennt das Paar
Das QZ-Verfahren. vorgelegt von Janina Gnutzmann. Erstgutachter: Prof. Dr. Steffen Börm Zweitgutachter: Dipl.-Math.
Das QZ-Verfahren Bachelor-Arbeit im 1-Fach Bachelorstudiengang Mathematik der Mathematisch-Naturwissenschaftlichen Fakultät der Christian-Albrechts-Universität zu Kiel vorgelegt von Janina Gnutzmann Erstgutachter:
Lineare Algebra und Lösung linearer zeitinvarianter Differentialgleichungssysteme
Übung Lineare Algebra und Lösung linearer zeitinvarianter Differentialgleichungssysteme Diese Übung beschäftigt sich mit Grundbegriffen der linearen Algebra. Im Speziellen werden lineare Abbildungen, sowie
Matrizen, Determinanten, lineare Gleichungssysteme
Matrizen, Determinanten, lineare Gleichungssysteme 1 Matrizen Definition 1. Eine Matrix A vom Typ m n (oder eine m n Matrix, A R m n oder A C m n ) ist ein rechteckiges Zahlenschema mit m Zeilen und n
Lineare Gleichungssysteme
Christian Serpé Universität Münster 14. September 2011 Christian Serpé (Universität Münster) 14. September 2011 1 / 56 Gliederung 1 Motivation Beispiele Allgemeines Vorgehen 2 Der Vektorraum R n 3 Lineare
9.2 Invertierbare Matrizen
34 9.2 Invertierbare Matrizen Die Division ist als Umkehroperation der Multiplikation definiert. Das heisst, für reelle Zahlen a 0 und b gilt b = a genau dann, wenn a b =. Übertragen wir dies von den reellen
Gliederung. Links-Rechts-Zerlegung Elimination faktorisiert A = L R. Determinante Inverse. Kleinste Quadrate. Lösung durch. Links-Rechts- Zerlegung
Matrixzerlegungen. 7. Vorlesung 170004 Numerische Methoden I Clemens Brand 29. April 2010 Gliederung Elimination faktorisiert A = L R Die A = L R Faktorisieren: Zerlege A in ein Produkt (einfacherer) Angenommen,
Numerische Behandlung des Eigenwertproblems
Numerische Behandlung des Eigenwertproblems Zusammenfassung Das Ziel dieses Vortrages ist, zwei gute Methoden für die numerische Bestimmung der Eigenwerte zu zeigen und wie man diese mit Matlab anwenden
Prof. Dr. G. Wagner Ingenieurmathematik Begleittext Seite 1
Prof. Dr. G. Wagner Ingenieurmathematik Begleittext Seite 1 Kapitel 3 Lineare Gleichungssysteme 3.1. Einleitung Beispiel 1 3 Kinder haben eingekauft. Franz hat 4 Lakritzen, 2 Schokoriegel und 5 Kaugummis
4 Lineare Algebra (Teil 2): Quadratische Matrizen
4 Lineare Algebra (Teil : Quadratische Matrizen Def.: Eine (n n-matrix, die also ebensoviele Zeilen wie Spalten hat, heißt quadratisch. Hat sie außerdem den Rang n, sind also ihre n Spalten linear unabhängig,
A2.3 Lineare Gleichungssysteme
A2.3 Lineare Gleichungssysteme Schnittpunkte von Graphen Bereits weiter oben wurden die Schnittpunkte von Funktionsgraphen mit den Koordinatenachsen besprochen. Wenn sich zwei Geraden schneiden, dann müssen
Die Top 10 der Algorithmen Der QR-Algorithmus
Die Top 10 der Algorithmen Der QR-Algorithmus Hans Hansen TU Chemnitz WS 04/05 17. Januar 2005 1 INHALTSVERZEICHNIS 2 Inhaltsverzeichnis 1 Geschichte 3 2 Die Grundidee 3 3 Ähnlichkeitstransformationen
7 Lineare Gleichungssysteme
118 7 Lineare Gleichungssysteme Lineare Gleichungssysteme treten in vielen mathematischen, aber auch naturwissenschaftlichen Problemen auf; zum Beispiel beim Lösen von Differentialgleichungen, bei Optimierungsaufgaben,
Algebra und Diskrete Mathematik, PS3. Sommersemester Prüfungsfragen
Algebra und Diskrete Mathematik, PS3 Sommersemester 2016 Prüfungsfragen Erläutern Sie die Sätze über die Division mit Rest für ganze Zahlen und für Polynome (mit Koeffizienten in einem Körper). Wodurch
Numerische Integration und Differentiation
Einführung Grundlagen Bemerkung (Numerische Mathematik) a) Im engeren Sinn: zahlenmäßige Auswertung mathematischer Zusammenhänge z B Lösung von linearen und nichtlinearen Gleichungssystemen Numerische
Berechnung von Eigenwerten und Eigenvektoren
Kapitel 5 Berechnung von Eigenwerten und Eigenvektoren 5.1 Einführung Bemerkung 5.1 Aufgabenstellung. Diese Kapitel behandelt numerische Verfahren zur Lösung des Eigenwertproblems. Gegeben sei A R n n.
(x 1. Vektoren. g: x = p + r u. p r (u1. x 2. u 2. p 2
Vektoren Mit der Vektorrechnung werden oft geometrische Probleme gelöst. Wenn irgendwelche Aufgabenstellungen geometrisch darstellbar sind, z.b. Flugbahnen oder Abstandsberechnungen, dann können sie mit
5 Eigenwerte und die Jordansche Normalform
Mathematik für Physiker II, SS Mittwoch 8.6 $Id: jordan.tex,v.6 /6/7 8:5:3 hk Exp hk $ 5 Eigenwerte und die Jordansche Normalform 5.4 Die Jordansche Normalform Wir hatten bereits erwähnt, dass eine n n
DEUTSCHE SCHULE MONTEVIDEO BIKULTURELLES DEUTSCH-URUGUAYISCHES ABITUR ( AUF SPANISCH )
Grundlegende Bemerkungen : Der Begriff des Vektors wurde in den vergangenen Jahren im Geometrieunterricht eingeführt und das mathematische Modell des Vektors wurde vor allem auch im Physikunterricht schon
Kapitel 2: Matrizen. 2.1 Matrizen 2.2 Determinanten 2.3 Inverse 2.4 Lineare Gleichungssysteme 2.5 Eigenwerte 2.6 Diagonalisierung
Kapitel 2: Matrizen 2.1 Matrizen 2.2 Determinanten 2.3 Inverse 2.4 Lineare Gleichungssysteme 2.5 Eigenwerte 2.6 Diagonalisierung 2.1 Matrizen M = n = 3 m = 3 n = m quadratisch M ij : Eintrag von M in i-ter
Zur Numerik großdimensionaler Eigenwertprobleme. Werner Vogt Technische Universität Ilmenau Institut für Mathematik Postfach 100565 98684 Ilmenau
Zur Numerik großdimensionaler Eigenwertprobleme Werner Vogt Technische Universität Ilmenau Institut für Mathematik Postfach 100565 98684 Ilmenau Ilmenau, den 8.11.2004 1 Einführung 1 Zusammenfassung Der
8.3 Lösen von Gleichungen mit dem Newton-Verfahren
09.2.202 8.3 Lösen von Gleichungen mit dem Newton-Verfahren Beispiel: + 2 e Diese Gleichung kann nicht nach aufgelöst werden, da die beiden nicht zusammengefasst werden können. e - - 2 0 Die gesuchten
Kapitel 5. Peter Becker (H-BRS) Operations Research I Sommersemester / 298
Kapitel 5 Dualität Peter Becker (H-BRS) Operations Research I Sommersemester 2014 241 / 298 Inhalt 5 Dualität Dualitätssätze Zweiphasen-Simplexalgorithmus Peter Becker (H-BRS) Operations Research I Sommersemester
Eigenwerte und Eigenvektoren von Matrizen
Eigenwerte und Eigenvektoren von Matrizen Das Eigenwertproblem Sei A eine quadratische Matrix vom Typ m,m. Die Aufgabe, eine Zahl λ und einen dazugehörigen Vektor x zu finden, damit Ax = λx ist, nennt
Komplexität von Algorithmen
Komplexität von Algorithmen Prof. Dr. Christian Böhm WS 07/08 in Zusammenarbeit mit Gefei Zhang http://www.dbs.informatik.uni-muenchen.de/lehre/nfinfosw Ressourcenbedarf - Größenordnungen Prozesse verbrauchen
Spezialfall: Die Gleichung ax = b mit einer Unbekannten x kann mit Hilfe des Kehrwerts 1 a = a 1 gelöst werden:
Inverse Matritzen Spezialfall: Die Gleichung ax b mit einer Unbekannten x kann mit Hilfe des Kehrwerts 1 a a 1 gelöst werden: ax b x b a a 1 b. Verallgemeinerung auf Ax b mit einer n nmatrix A: Wenn es
00. Einiges zum Vektorraum R n
00. Einiges zum Vektorraum R n In diesem einleitenden Kapitel werden die in der LV Einführung in die mathematischen Methoden erwähnten Konzepte über Vektoren (im R 2 und R 3 ) im Rahmen des n-dimensionalen
Optimale Steuerung. Sequentielle Quadratische Programmierung. Kevin Sieg. 14. Juli 2010. Fachbereich für Mathematik und Statistik Universität Konstanz
Optimale Steuerung Kevin Sieg Fachbereich für Mathematik und Statistik Universität Konstanz 14. Juli 2010 1 / 29 Aufgabenstellung 1 Aufgabenstellung Aufgabenstellung 2 Die zusammengesetzte Trapezregel
4.5 Überbestimmte Gleichungssysteme, Gauß sche Ausgleichrechnung
4.5 Überbestimmte Gleichungssysteme, Gauß sche Ausgleichrechnung In vielen Anwendungen treten lineare Gleichungssysteme auf, die eine unterschiedliche Anzahl von Gleichungen und Unbekannten besitzen: Ax
Mathematik II Frühjahrssemester 2013
Mathematik II Frühjahrssemester 2013 Prof Dr Erich Walter Farkas Kapitel 7: Lineare Algebra 73 Ergänzungen Prof Dr Erich Walter Farkas Mathematik I+II, 73 Ergänzungen 1 / 17 1 Reguläre Matrizen Prof Dr
4 Vorlesung: 21.11. 2005 Matrix und Determinante
4 Vorlesung: 2111 2005 Matrix und Determinante 41 Matrix und Determinante Zur Lösung von m Gleichungen mit n Unbekannten kann man alle Parameter der Gleichungen in einem rechteckigen Zahlenschema, einer
Lineare Ausgleichsprobleme. Lineare Ausgleichsprobleme. Normalgleichungen. Normalgleichungen
Wir betrachten in diesem Abschnitt das lineare Ausgleichsproblem Ax b 2 = min! (1) Heinrich Voss voss@tu-harburgde Hamburg University of Technology Institute for Numerical Simulation mit gegebenem A R
Brückenkurs Mathematik
Brückenkurs Mathematik 6.10. - 17.10. Vorlesung 3 Geometrie Doris Bohnet Universität Hamburg - Department Mathematik Mi 8.10.2008 1 Geometrie des Dreiecks 2 Vektoren Länge eines Vektors Skalarprodukt Kreuzprodukt
Corinne Schenka Vorkurs Mathematik WiSe 2012/13
4. Lineare Gleichungssysteme Ein lineares Gleichungssystem ist ein System aus Gleichungen mit Unbekannten, die nur linear vorkommen. Dieses kann abkürzend auch in Matrizenschreibweise 1 notiert werden:
Definitionen. Merkblatt lineare Algebra. affiner Teilraum Menge, die durch Addition eines Vektors v 0 zu allen Vektoren eines Vektorraumes V entsteht
Seite 1 Definitionen affiner Teilraum Menge, die durch Addition eines Vektors v 0 zu allen Vektoren eines Vektorraumes V entsteht ähnliche Matrizen Matrizen, die das gleiche charakteristische Polynom haben
Korrelationsmatrix. Statistische Bindungen zwischen den N Zufallsgrößen werden durch die Korrelationsmatrix vollständig beschrieben:
Korrelationsmatrix Bisher wurden nur statistische Bindungen zwischen zwei (skalaren) Zufallsgrößen betrachtet. Für den allgemeineren Fall einer Zufallsgröße mit N Dimensionen bietet sich zweckmäßiger Weise
Spezialgebiet Mathematik(Christian Behon ) 1. Matrizen. Kapitel 1 Definitionen und Herleitung von Matrizen. Kapitel 2 Matrizenoperation
. Inhaltsverzeichnis.............. Spezialgebiet Mathematik(Christian Behon ) 1 Matrizen Kapitel 1 Definitionen und Herleitung von Matrizen 1.1 Was sind Matrizen 1.2 Arten von Matrizen Kapitel 2 Matrizenoperation
KAPITEL 3. Lineare Gleichungssysteme, direkte Lösungsverfahren
KAPITEL 3. Lineare Gleichungssysteme, direkte Lösungsverfahren Beispiel 3.2. Gesucht u(x), das eine Differentialgleichung vom Typ u (x) + λ(x)u(x) = f(x), x [0,], mit den Randbedingungen u(0) = u() = 0
35 Stetige lineare Abbildungen
171 35 Stetige lineare Abbildungen Lernziele: Konzepte: Lineare Operatoren und ihre Normen Resultate: Abschätzungen für Matrizennormen Kompetenzen: Abschätzung von Operatornormen 35.1 Lineare Abbildungen.
Lösung (die Geraden laufen parallel) oder unendlich viele Lösungen.
1 Albert Ludwigs Universität Freiburg Abteilung Empirische Forschung und Ökonometrie Mathematik für Wirtschaftswissenschaftler Dr. Sevtap Kestel Winter 2008 Kapitel 16 Determinanten und inverse Matrizen
Serie 10: Inverse Matrix und Determinante
D-ERDW, D-HEST, D-USYS Mathematik I HS 5 Dr Ana Cannas Serie 0: Inverse Matrix und Determinante Bemerkung: Die Aufgaben dieser Serie bilden den Fokus der Übungsgruppen vom und 5 November Gegeben sind die
5 Iterationsverfahren für lineare Gleichungssysteme
5 Iterationsverfahren für lineare Gleichungssysteme Klassische Iterationsverfahren Sei A R N N und b R N. Wir wollen nun das LGS Ax = b iterativ lösen. Dazu betrachten wir die Komponenten m = 1,...,N:
WS 2010/ Januar Mathematisches Institut der Universität München Prof. Dr. Rudolf Fritsch
Mathematisches Institut der Universität München Prof. Dr. Rudolf Fritsch WS 2010/2011 14. Januar 2011 Geometrie mit Übungen Übungsblatt 9, Musterlösungen Aufgabe 33. Es werden Kreise in der Euklidischen
Differenzengleichungen. und Polynome
Lineare Differenzengleichungen und Polynome Franz Pauer Institut für Mathematik, Universität Innsbruck Technikerstr. 13/7, A-600 Innsbruck, Österreich franz.pauer@uibk.ac.at 1 Einleitung Mit linearen Differenzengleichungen
Einführung in die Vektor- und Matrizenrechnung. Matrizen
Einführung in die Vektor- und Matrizenrechnung Matrizen Definition einer Matrix Unter einer (reellen) m x n Matrix A versteht man ein rechteckiges Schema aus reellen Zahlen, die wie folgt angeordnet sind:
Lineare Gleichungssysteme
Fakultät Grundlagen Juli 2015 Fakultät Grundlagen Übersicht Lineare Gleichungssystem mit 2 Variablen 1 Lineare Gleichungssystem mit 2 Variablen Beispiele 2 Fakultät Grundlagen Folie: 2 Beispiel I Lineare
4.4 Orthogonalisierungsverfahren und die QR-Zerlegung
4.4 Orthogonalisierungsverfahren und die QR-Zerlegung Die Zerlegung einer regulären Matrix A R n n in die beiden Dreiecksmatrizen L und R basiert auf der Elimination mit Frobeniusmatrizen, d.h. R = FA,
entspricht der Länge des Vektorpfeils. Im R 2 : x =
Norm (oder Betrag) eines Vektors im R n entspricht der Länge des Vektorpfeils. ( ) Im R : x = x = x + x nach Pythagoras. Allgemein im R n : x x = x + x +... + x n. Beispiele ( ) =, ( 4 ) = 5, =, 4 = 0.
Dierentialgleichungen 2. Ordnung
Dierentialgleichungen 2. Ordnung haben die allgemeine Form x = F (x, x, t. Wir beschränken uns hier auf zwei Spezialfälle, in denen sich eine Lösung analytisch bestimmen lässt: 1. reduzible Dierentialgleichungen:
Die IDR(s)-Methode zur Lösung von parametrisierten Gleichungssystemen
Technische Universität Berlin Fakultät II - Naturwissenschaften und Mathematik Institut für Mathematik Die IDR(s)-Methode zur Lösung von parametrisierten Gleichungssystemen Diplomarbeit vorgelegt von Matthias
Matrizen und Determinanten
Matrizen und Determinanten 1 Matrizen und Determinanten 1 Einführung in den Matrizenbegriff Zur Beschreibung und Lösung vieler physikalischer Probleme ist die Vektorrechnung vonnöten Durch Verwendung von
6. Rechnen mit Matrizen.
6. Rechnen mit Matrizen. In dieser Vorlesung betrachten wir lineare Gleichungs System. Wir betrachten lineare Gleichungs Systeme wieder von zwei Gesichtspunkten her: dem angewandten Gesichtspunkt und dem
2 Euklidische Vektorräume
Sei V ein R Vektorraum. 2 Euklidische Vektorräume Definition: Ein Skalarprodukt auf V ist eine Abbildung σ : V V R, (v, w) σ(v, w) mit folgenden Eigenschaften ( Axiome des Skalarprodukts) (SP1) σ ist bilinear,
Principal Component Analysis (PCA)
Principal Component Analysis (PCA) Motivation: Klassifikation mit der PCA Berechnung der Hauptkomponenten Theoretische Hintergründe Anwendungsbeispiel: Klassifikation von Gesichtern Weiterführende Bemerkungen
Damit läßt sich die Aufgabe durch einfaches Rechnen zeigen: k=1
Aufgabe (4 Punte) Sei A eine n m-matrix Die Matrix A T ist die m n-matrix, die durch Vertauschen der Zeilen und Spalten aus A hervorgeht (dh: aus Zeilen werden Spalten, und umgeehrt) Die Matrix A T heißt
Optimierung für Nichtmathematiker
Optimierung für Nichtmathematiker Typische Prüfungsfragen Die folgenden Fragen dienen lediglich der Orientierung und müssen nicht den tatsächlichen Prüfungsfragen entsprechen. Auch Erkenntnisse aus den
Aufgabe 1: Bestimmen Sie Zahlen a b. ,, für die. = b. und gleichzeitig a + b + 1 = 0 gilt. Lösung zu Aufgabe 1:
WS 99/99 Aufgabe : Bestimmen Sie Zahlen a b,, für die 6 b a und gleichzeitig a + b + gilt. Lösung zu Aufgabe : WS 99/99 Aufgabe : Ein Unernehmen stellt aus ohstoffen (,,, ) Zwischenprodukte ( Z, Z, Z )
2. Stetige lineare Funktionale
-21-2. Stetige lineare Funktionale Die am Ende von 1 angedeutete Eigenschaft, die ein lineares Funktional T : D(ú) 6 verallgemeinerten Funktion macht, ist die Stetigkeit von T in jedem n 0 0 D(ú). Wenn
Lineare Algebra. Teil III. Inhaltsangabe
Teil III Lineare Algebra Inhaltsangabe 3 Lineare Algebra 22 3.1 Einführung.......................... 22 3.2 Matrizen und Vektoren.................... 23 3.3 Spezielle Matrizen...................... 24
Matrizennorm. Definition 1. Sei A M r,s (R). Dann heißt A := sup die Matrixnorm. Wir wissen zunächst nicht, ob A eine reelle Zahl ist.
Matrizennorm Es seien r,s N Mit M r,s (R bezeichnen wir die Menge der reellen r s- Matrizen (also der linearen Abbildungen R s R r, und setze M s (R := M s,s (R (also die Menge der linearen Abbildungen
KAPITEL 6. Nichtlineare Ausgleichsrechnung
KAPITEL 6 Nichtlineare Ausgleichsrechnung Beispiel 61 Gedämpfte Schwingung: u + b m u + D m u = 0, Lösungen haben die Form: u(t) = u 0 e δt sin(ω d t + ϕ 0 ) Modell einer gedämpften Schwingung y(t; x 1,
Zahlen und Gleichungen
Kapitel 2 Zahlen und Gleichungen 21 Reelle Zahlen Die Menge R der reellen Zahlen setzt sich zusammen aus den rationalen und den irrationalen Zahlen Die Mengen der natürlichen Zahlen N, der ganzen Zahlen
KLAUSUR zu Einführung in die Optimierung. Studiengang: Bachelor Master Diplom (bitte ankreuzen)
Mathematisches Institut WS 2012/13 der Heinrich-Heine-Universität 7.02.2013 Düsseldorf Prof. Dr. Achim Schädle KLAUSUR zu Einführung in die Optimierung Bitte folgende Angaben ergänzen und DEUTLICH LESBAR
Vorbereitungskurs Mathematik zum Sommersemester 2011 Tag 7
Vorbereitungskurs Mathematik zum Sommersemester 2011 Tag 7 Timo Stöcker Erstsemestereinführung Informatik TU Dortmund 22. März 2011 Heute Themen Lineare Gleichungssysteme Matrizen Timo Stöcker https://fsinfo.cs.tu-dortmund.de/studis/ese/vorkurse/mathe
Kevin Caldwell. 18.April 2012
im Rahmen des Proseminars Numerische Lineare Algebra von Prof.Dr.Sven Beuchler 18.April 2012 Gliederung 1 2 3 Mathematische Beschreibung von naturwissenschaftlich-technischen Problemstellungen führt häufig
Aufgaben zu Kapitel 14
Aufgaben zu Kapitel 14 1 Aufgaben zu Kapitel 14 Verständnisfragen Aufgabe 14.1 Haben (reelle) lineare Gleichungssysteme mit zwei verschiedenen Lösungen stets unendlich viele Lösungen? Aufgabe 14.2 Gibt
3 Matrizen und Determinanten
31 Matrizen 311 Matrizen und Gleichungssysteme Grundlegende Begriffe der linearen Algebra und linearen Optimierung sind die Begriffe Matrix, Vektor, Determinante und lineares Gleichungssystem Beispiel
Verfahren zur Berechnung der Exponentialmatrix
Verfahren zur Berechnung der Exponentialmatrix Konrad Waldherr Verfahren zur Berechnung der Exponentialmatrix p.1/14 Motivation In einem Quantensystem ist folgendes Produkt von besonderer Bedeutung: e
Aufstellen der Funktionsgleichung aus gegebenen Bedingungen
R. Brinkmann http://brinkmann-du.de Seite.0.0 Aufstellen der Funktionsgleichung aus gegebenen Bedingungen Drei unterschiedliche Punkte, die alle auf einer Parabel liegen sollen sind gegeben. Daraus soll
Technische Universität Berlin Institut für Mathematik. Bachelorarbeit im Studiengang Technomathematik
Technische Universität Berlin Institut für athematik Bachelorarbeit im Studiengang Technomathematik Vorkonditionierte Krylov-Unterraum-Verfahren zur Lösung linearer Gleichungssysteme arkus Wolff 323994
Die Taylorreihe einer Funktion
Kapitel 6 Die Taylorreihe einer Funktion Dieser Abschnitt beschäftigt sich mit Taylorreihen, Taylorpolynomen und der Restgliedabschätzung für Taylorpolynome. Die Taylorreihe einer reellen Funktion ist
Musterlösung zur Klausur Lineare Algebra II für Lehramt 30.07.2012
Musterlösung zur Klausur Lineare Algebra II für Lehramt 30.07.0 Aufgabe : Entscheiden Sie in dieser Aufgabe, ob die Aussagen wahr oder falsch sind. Begründungen sind nicht erforderlich. Ein korrekt gesetztes
(Technisch: Setze alle Skalarprodukte der allgemeinen Lösung mit den Basisvektoren des Kerns gleich Null eindeutige leastsqares Lösung)
Lineare Optimierung Unterbestimmte LGS und Optimierung Bei lösbaren unterbestimmten linearen Gleichungssystemen haben wir die Qual der Wahl in Abhängigkeit von den freien Parametern (Anzahl = Anzahl Unbekannte
Nichtlineare Optimierung ohne Nebenbedingungen
Kapitel 2 Nichtlineare Optimierung ohne Nebenbedingungen In diesem Abschnitt sollen im wesentlichen Verfahren zur Bestimmung des Minimums von nichtglatten Funktionen in einer Variablen im Detail vorgestellt
3.3 Klassifikation quadratischer Formen auf R n
3.3. Klassifikation quadratischer Formen auf R n 61 3.3 Klassifikation quadratischer Formen auf R n Wir können den Hauptsatz über symmetrische Matrizen verwenden, um uns einen Überblick über die Lösungsmengen
Determinanten. a e b f a c b d. b) x = , y = c) zu einem Spaltenvektor das Vielfache des anderen Spaltenvektors addiert wird,
Determinanten Wir entwickeln eine Lösungsformel für Gleichungssysteme mit zwei Variablen. ax + cy = e b bx + y = f a } abx bcy = be + abx + ay = af ya bc = af be Man schreibt y = af be a bc = a e b f analog
4.4. Rang und Inversion einer Matrix
44 Rang und Inversion einer Matrix Der Rang einer Matrix ist die Dimension ihres Zeilenraumes also die Maximalzahl linear unabhängiger Zeilen Daß der Rang sich bei elementaren Zeilenumformungen nicht ändert
Numerisches Lösen von Gleichungen
Numerisches Gesucht ist eine Lösung der Gleichung f(x) = 0. Das sverfahren ist eine numerische Methode zur Bestimmung einer Nullstelle. Es basiert auf dem Zwischenwertsatz: Satz (1.1.1) Zwischenwertsatz:
Am Dienstag, den 16. Dezember, ist Eulenfest. 1/48
Am Dienstag, den 16. Dezember, ist Eulenfest. 1/48 Grundbegriffe der Informatik Einheit 12: Erste Algorithmen in Graphen Thomas Worsch Universität Karlsruhe, Fakultät für Informatik Wintersemester 2008/2009
Einführung in die Informatik I
Einführung in die Informatik I Algorithmen und deren Programmierung Prof. Dr. Nikolaus Wulff Definition Algorithmus Ein Algorithmus ist eine präzise formulierte Handlungsanweisung zur Lösung einer gleichartigen
Matrizen. Aufgabe 1. Sei f R 2 R 3 definiert durch. x y x Berechnen Sie die Matrix Darstellung von f. Lösung von Aufgabe 1.
Matrizen Aufgabe Sei f R R 3 definiert durch ( x 3y x f x + y y x Berechnen Sie die Matrix Darstellung von f Lösung von Aufgabe ( f ( f 3 Die Matrix Darstellung von f ist somit A 3 Aufgabe Eine lineare
Installation. Arbeiten mit der MATLAB-Entwicklungsumgebung. MATLAB als Taschenrechner mit Matrix- und Vektorrechnung.
Installation. Arbeiten mit der MATLAB-Entwicklungsumgebung. MATLAB als Taschenrechner mit Matrix- und Vektorrechnung. Die heutige Sitzung dient dem ersten Kennenlernen von MATLAB. Wir wollen MATLAB zuerst
V DETERMINANTEN In diesem Kapitel entwickeln wir die Theorie der Determinanten Die folgenden Beispiele sollen die Einfuhrung dieses Begries motivieren
SKRIPTUM { LINEARE ALGEBRA II JB COOPER Inhaltsverzeichnis: x Determinanten x Eigenwerte x Euklidische Raume x8 Dualitat, Tensorprodukte, Alternierende Formen Anhang: ) Mengen, Abbildungen ) Gruppen )
MC-Serie 11: Eigenwerte
D-ERDW, D-HEST, D-USYS Mathematik I HS 14 Dr. Ana Cannas MC-Serie 11: Eigenwerte Einsendeschluss: 12. Dezember 2014 Bei allen Aufgaben ist genau eine Antwort richtig. Lösens des Tests eine Formelsammlung