2 Grundlagen der linearen Algebra

Ähnliche Dokumente
Iterative Verfahren, Splittingmethoden

Kapitel 3. Konvergenz von Folgen und Reihen

Vektor und Matrixnormen Vorlesung vom

6 Eigenwerte und Eigenvektoren

Euklidische und unitäre Vektorräume

Orthonormalisierung. ein euklidischer bzw. unitärer Vektorraum. Wir setzen

x, y 2 f(x)g(x) dµ(x). Es ist leicht nachzuprüfen, dass die x 2 setzen. Dann liefert (5.1) n=1 x ny n bzw. f, g = Ω

Konvergenz im quadratischen Mittel - Hilberträume

Eigenwerte und Diagonalisierung

Aussagenlogik. Lehrstuhl für BWL, insb. Mathematik und Statistik Prof. Dr. Michael Merz Mathematik für Betriebswirte I Wintersemester 2015/2016

3.6 Eigenwerte und Eigenvektoren

Klausur zur Höheren Mathematik IV

1 Lineare Algebra. 1.1 Matrizen und Vektoren. Slide 3. Matrizen. Eine Matrix ist ein rechteckiges Zahlenschema

1 Euklidische und unitäre Vektorräume

37 Gauß-Algorithmus und lineare Gleichungssysteme

6 Hauptachsentransformation

Mathematik II für Studierende der Informatik. Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2016

Technische Universität München Zentrum Mathematik. Übungsblatt 7

Der Begriff der konvexen Menge ist bereits aus Definition 1.4, Teil I, bekannt.

46 Eigenwerte und Eigenvektoren symmetrischer Matrizen

9.2 Invertierbare Matrizen

Der CG-Algorithmus (Zusammenfassung)

C orthogonal und haben die Länge 1). Dann ist die Länge von w = x u + y v gegeben durch w 2 Def. = w,w =

ist reelles lineares Funktional. x(t) ϕ(t) dt ist reelles lineares Funktional für alle ϕ L 2 (0, 1).

Musterlösungen zur Linearen Algebra II Übungsklausur

Kapitel 5. Eigenwerte. Ein Leontief-Modell für eine Volkswirtschaft heißt geschlossen, wenn der Konsum gleich der Produktion ist, d.h. wenn.

(Allgemeine) Vektorräume (Teschl/Teschl 9)

Lineare Algebra und Numerische Mathematik für D-BAUG

Seminar Einführung in die Kunst mathematischer Ungleichungen

9 Vektorräume mit Skalarprodukt

2 Euklidische Vektorräume

Topologische Begriffe

Begleitmaterial zur Vorlesung Numerik I

ε δ Definition der Stetigkeit.

Proseminar Lineare Algebra II, SS 11. Blatt

3 Elementare Umformung von linearen Gleichungssystemen und Matrizen

Kapitel 5 KONVERGENZ

5.1 Determinanten der Ordnung 2 und 3. a 11 a 12 a 21 a 22. det(a) =a 11 a 22 a 12 a 21. a 11 a 21

Wir untersuchen in diesem Abschnitt das (lokale) Newton Verfahren zur Lösung eines nichtlinearen Gleichungssystems

Lineare Ausgleichsprobleme. Jetzt: Lösung überbestimmter linearer GS, d.h. mehr Gleichungen als Unbekannte

Lineare Algebra. I. Vektorräume. U. Stammbach. Professor an der ETH-Zürich

Lösungen zu den Hausaufgaben zur Analysis II

also ist Sx m eine Cauchyfolge und somit konvergent. Zusammen sagen die Sätze 11.1 und 11.2, dass B (X) ein abgeschlossenes zweiseitiges

Satz 2.3. Jeder lineare normierte Raum wird durch Einführung einer Metrik

Rückblick auf die letzte Vorlesung. Bemerkung

Mathematik II Frühlingsemester 2015 Kapitel 8: Lineare Algebra 8.5 Eigenwerte und Eigenvektoren

35 Stetige lineare Abbildungen

Lösungen Serie 6 (Vektorräume, Skalarprodukt)

Optimale Steuerung, Prof.Dr. L. Blank 1. II Linear-quadratische elliptische Steuerungsprobleme

Mathematische Erfrischungen III - Vektoren und Matrizen

00. Einiges zum Vektorraum R n

Eigenschaften kompakter Operatoren

45 Eigenwerte und Eigenvektoren

4.3 Bilinearformen. 312 LinAlg II Version Juni 2006 c Rudolf Scharlau

Kapitel 6. Lösung linearer Gleichungssysteme II (nicht-reguläre Systeme)

Lineare Algebra für D-ITET, D-MATL, RW. Beispiellösung für Serie 10. Aufgabe ETH Zürich D-MATH. Herbstsemester Dr. V. Gradinaru D.

18 Höhere Ableitungen und Taylorformel

Vorkurs: Mathematik für Informatiker

( ) Lineare Gleichungssysteme

Zahlen und metrische Räume

Lineare Abhängigkeit

11 Logarithmus und allgemeine Potenzen

Definitionen. Merkblatt lineare Algebra. affiner Teilraum Menge, die durch Addition eines Vektors v 0 zu allen Vektoren eines Vektorraumes V entsteht

7 KONVERGENTE FOLGEN 35. inf M = Infimum von M. bezeichnet haben. Definition. Sei (a n ) n N eine beschränkte Folge in R. Dann heißt.

Matrizen, Determinanten, lineare Gleichungssysteme

Beispiel. Gegeben sei die Folge (a n ) n N mit. a n := n 2 + 5n + 1 n. Es gilt. (n 2 + 5n + 1) n 2 = n2 + 5n + 1 n) n2 + 5n n, woraus folgt

Stochastik I. Vorlesungsmitschrift

Lineare Algebra und analytische Geometrie II

Definition 3.1. Sei A X. Unter einer offenen Überdeckung von A versteht man eine Familie (U i ) i I offener Mengen U i X mit U i

i=1 i=1,...,n x K f(x).

Analysis I. 4. Beispielklausur mit Lösungen

Lösungsvorschlag zu den Hausaufgaben der 8. Übung

40 Lokale Extrema und Taylor-Formel

1 Singulärwertzerlegung und Pseudoinverse

Einführung in die Vektor- und Matrizenrechnung. Matrizen

Kapitel V. Folgen und Konvergenz. V.1 Konvergenz von Zahlenfolgen

Gleichmäßige Konvergenz und Funktionenräume

Kapitel VI. Euklidische Geometrie

3 Konvergenz von Folgen und Reihen

Lineare Gleichungssysteme - Grundlagen

Beispiele 1. Gegeben sei das lineare Gleichungssystem mit erweiterter Matrix (A

Mathematik für Informatiker II. Beispiellösungen zur Probeklausur. Aufgabe 1. Aufgabe 2 (5+5 Punkte) Christoph Eisinger Sommersemester 2011

(x, x + y 2, x y 2 + z 3. = e x sin y. sin y. Nach dem Umkehrsatz besitzt f dann genau auf der Menge

9.2. DER SATZ ÜBER IMPLIZITE FUNKTIONEN 83

Lineare Algebra I Zusammenfassung

Übungsaufgaben zu Partielle Differentialgleichungen Blatt III vom

2.9 Die komplexen Zahlen

Mathematik II für Studierende der Informatik. Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2015

Übungen zu Einführung in die Lineare Algebra und Geometrie

Spickzettel Mathe C1

Lineare Algebra. Teil III. Inhaltsangabe

Diagonalisieren. Nikolai Nowaczyk Lars Wallenborn

2. Stetige lineare Funktionale

eine Folge in R, für die man auch hätte schreiben können, wenn wir alle richtig raten, was auf dem Pünktchen stehen sollte.

Elementare Beweismethoden

4 Vorlesung: Matrix und Determinante

Beispiellösungen zur Klausur Lineare Algebra bei Prof. Habegger

6 Reelle und komplexe Zahlenfolgen

Höhere Mathematik für Physiker II

Transkript:

7 2 Grundlagen der linearen Algebra Die Herleitung und Analyse der im Folgenden betrachteten Verfahren zur Lösung linearer Gleichungssysteme basiert auf den in diesem Kapitel dargestellten Grundlagen. Wir betrachten hierbei stets Abbildungen zwischen reellen beziehungsweise komplexen linearen Räumen, die oftmals auch als Vektorräume über R respektive C bezeichnet werden. Derartige lineare Räume, wie zum Beispiel der R n oder C n stellen nichtleere Mengen dar, deren Elemente durch eine Addition verknüpft und mit Skalaren λ R oder C multipliziert werden können, die den Vektorraumaxiomen genügen. Diese Axiome garantieren lediglich, dass mit Addition, Subtraktion und Multiplikation wie gewohnt gerechnet werden kann. 2.1 Vektornormen und Skalarprodukt Notwendige Begriffe wie Orthogonalität, Länge, Abstand und Konvergenz basieren auf Skalarprodukten beziehungsweise Normen. Diese Abbildungen werden wir daher in diesem Abschnitt einführen und einige wesentliche Aussagen präsentieren. Definition 2.1 Sei X ein komplexer beziehungsweise reeller linearer Raum. Eine Abbildung. : X R mit den Eigenschaften (N1) x 0 (Positivität) (N2) x =0 x = 0 (Definitheit) (N3) α x = α x x X, α C (bzw.r) (Homogenität) (N4) x + y x + y x,y X (Dreiecksungleichung) nennt man eine Norm auf X. Ein linearer Raum X mit einer Norm heißt normierter Raum. Falls X = C n beziehungsweise X = R n gilt, so wird die Norm auch als Vektornorm bezeichnet. Die Positivität einer Norm kann hierbei auch aus den Axiomen (N3) und (N4) hergeleitet werden und bräuchte daher aus formalen Gründen nicht innerhalb der Definition aufgeführt werden. Wir verwenden dennoch die obige Formulierung, um diese Eigenschaft der Norm explizit vorliegen zu haben. Auf C n beziehungsweise R n sind Normen zum Beispiel wie folgt gegeben: (a) x 1 := n x i (Betragssummennorm) Springer Fachmedien Wiesbaden 2015 A. Meister, Numerik linearer Gleichungssysteme, DOI 10.1007/978-3-658-07200-1_2

8 2 Grundlagen der linearen Algebra ( n (b) x 2 := (c) x := x i 2 ) 1 2 max x i,...,n (Euklidische Norm) (Maximumnorm) Wir kommen nun zur Einführung des benötigten Konvergenzbegriffs. Definition 2.2 Eine Folge {x n } n N von Elementen aus einem normierten Raum X heißt konvergent mit dem Grenzelement x X, wenn zu jedem ε>0 eine natürliche Zahl N = N(ε) existiert, so dass x n x <ε n N gilt. Eine Folge, die nicht konvergiert, heißt divergent. Definition 2.3 Sei X ein normierter Raum. Eine Folge {x n } n N aus X heißt Cauchy- Folge, wenn es zu jedem ε>0 ein N = N(ε) N derart gibt, dass gilt. x n x m <ε n,m N Der anschließende Satz liefert einen generellen Zusammenhang zwischen konvergenten Folgen und Cauchy-Folgen. Satz 2.4 Sei X ein normierter Raum. Jede konvergente Folge {x n } n N eine Cauchy-Folge. aus X ist Sei ε>0 gegeben und x das Grenzelement der Folge {x n } n N ( ε N = N N mit x n x < 2) ε 2 n N x n x m x n x + x x m <ε n,m N. Definition 2.5 Sei X ein komplexer oder reeller linearer Raum. Eine Abbildung mit den Eigenschaften (.,.) : X X C (H1) (x,x) R + 0 x X (Positivität) (H2) (x,x) =0 x = 0 (Definitheit) (H3) (x,y) =(y,x) x,y X (Symmetrie) (H4) (αx + βy,z) = α(x,z)+β(y,z) x,y,z X α,β C (Linearität) heißt Skalarprodukt oder inneres Produkt auf X. Ein linearer Raum X versehen mit einem Skalarprodukt heißt Prä-Hilbert-Raum.

2.1 Vektornormen und Skalarprodukt 9 Bemerkung: Es gilt zudem (H4 ) (x,αy + βz) (H3) = (αy + βz,x) (H4) = α(y,x)+β(z,x) (H3) = α(x,y)+β(x,z). Diese Eigenschaft wird als Antilinearität bezeichnet. Satz 2.6 Auf jedem Prä-Hilbert-Raum X ist durch x := (x,x), x X eine Norm erklärt. Die ersten drei Normeigenschaften ergeben sich durch direktes Nachrechnen. Die Eigenschaft (N4) folgt durch Anwendung der Cauchy-Schwarzschen Ungleichung (x,y) x y. Üblicherweise wird auf dem C n das euklidische Skalarprodukt gemäß (x,y) 2 := genutzt. Hierbei gilt der Zusammenhang n x i y i = y x x 2 := (x,x) 2. Satz 2.7 Sei X ein normierter Raum und {x n } n N eine konvergente Folge in X, dann ist das Grenzelement eindeutig bestimmt. Seien x und y zwei Grenzelemente, d. h. gelte x n x für n und x n y für n, dann folgt 0 x y = x x n + x n y x x n + x n y n 0 n n 0 0 0 x y 0 x y =0 (N2) x y =0 x = y. Definition 2.8 Zwei Normen. a und. b auf einem linearen Raum X heißen äquivalent, wenn jede Folge genau dann bezüglich. a konvergiert, wenn sie bezüglich. b konvergiert.

10 2 Grundlagen der linearen Algebra Satz und Definition 2.9 Zwei Normen. a und. b auf einem linearen Raum X sind genau dann äquivalent, wenn es reelle Zahlen α,β > 0 gibt, so dass α x b x a β x b x X (2.1.1) gilt. Die größte derartige Zahl α und die kleinste derartige Zahl β werden als Äquivalenzkonstanten bezeichnet.. b Sei {x n } n N eine beliebige Folge mit x n x für n, dann folgt mit (2.1.1) x n x a β x n x b 0für n und somit die geforderte Konvergenz der Folge in der Norm. a. Die zweite Ungleichung in (2.1.1) liefert auf analoge Weise die Konvergenz einer Folge in der Norm. b aus der Konvergenz der Folge in der Norm. a. Annahme: Es existiert kein β R + mit x a β für alle x X mit x b =1.Dann existiert eine Folge {x n } n N mit x n a n 2 und x n b =1. Sei dann erhalten wir y n := x n n, y n a = 1 n x n a n und y n b = 1 n. (2.1.2). b Somit folgt y n 0,für n, wodurch die Folge aufgrund der vorausgesetzten Äquivalenz der Normen. a und. b auch in der Norm. a konvergiert. Hiermit ergibt sich direkt der angestrebte Widerspruch zur Eigenschaft (2.1.2). Folglich existiert ein β R + mit x a β für alle x X mit x b =1.Seinun y X \{0}, dann erhalten wir durch y a = y y y b y b = y b a y b β y b (2.1.3) a die Übertragung der Eigenschaft auf alle Vektoren aus X \{0}. Da das Nullelement stets der Gleichung (2.1.1) genügt, folgt Die zweite Abschätzung ergibt sich analog. y a β y b für alle y X. Aufgrund des Satzes 2.9 wird die Definition äquivalenter Normen oftmals auf der Basis der Ungleichungen (2.1.1) vorgenommen. Als direkte Folgerung dieser Ungleichungen erhalten wir die folgende Aussage.

2.1 Vektornormen und Skalarprodukt 11 Korollar 2.10 Die Grenzelemente einer Folge stimmen bezüglich zweier äquivalenter Normen überein. Satz 2.11 Auf einem endlichdimensionalen reellen oder komplexen linearen Raum sind alle Normen äquivalent. Für den Nachweis der obigen Behauptung genügt es zu zeigen, dass eine bestimmte Norm äquivalent zu jeder Norm ist. Sei X := span{u 1,...,u m } ein m -dimensionaler linearer Raum, dann lässt sich jedes x X in der Form m x = α i u i, α i C darstellen. Definieren wir auf X die Norm x max := max α i,,...,m dann folgt für jede weitere Norm. auf X die Abschätzung m (N4) m x = α i u i α i u i (N3) m = α i u i max,...,m α i m u i = β x max. (2.1.4) } {{ } β:= Die zweite Ungleichung werden wir mittels des folgenden Widerspruchsbeweises nachweisen. Annahme: Es existiert kein α R + mit x max α x für alle x X. Wie wir bereits in Gleichung (2.1.3) gesehen haben, ist diese Eigenschaft äquivalent zur Aussage: Es existiert kein α R + mit x max α für alle x X mit x =1. Somit existiert eine Folge {x n } n N mit Sei Wir schreiben y n := x n max n und x n =1. x n x n max, dann gilt y n max =1 für alle n N. (2.1.5) y n = m α i,n u i

12 2 Grundlagen der linearen Algebra und erhalten mit (2.1.5) max α i,n =1 für alle n N.Mit {α 1,n },...,m n N,...,{α m,n } n N liegen daher m beschränkte Folgen komplexer Zahlen vor, so dass für i = 1,...,m aufgrund des Satzes von Bolzano-Weierstraß je eine konvergente Teilfolge α i,n(j) j α i mit n(j +1)>n(j) existiert. Definieren wir m y := dann folgt für y n(j) := m α i,n(j) u i α i u i, y n(j) y max = Unter Verwendung der Ungleichung (2.1.4) erhalten wir y n(j) max α i,n(j) α i j 0. (2.1.6),...,m. y für j, so dass sich mit (2.1.5) y n(j) = x n(j) x n(j) max = 1 1 j 0 x n(j) max n(j) und folglich y = 0 ergibt. Hierdurch erhalten wir mittels y n(j) max Widerspruch zu y n max =1 für alle n N. j 0 einen Für die aufgeführten Vektornormen erhalten wir die Äquivalenzkonstanten für x R n gemäß und x 2 x 1 n x 2, (2.1.7) x x 2 n x, (2.1.8) 1 n x 1 x x 1. (2.1.9) Definition 2.12 Eine Teilmenge V eines normiertenraumes X heißtvollständig, wenn jede Cauchy-Folge aus V gegen ein Grenzelement aus V konvergiert. Ein vollständiger normierter Raum heißt Banach-Raum. Bei den betrachteten linearen Gleichungssystemen betrachten wir stets endlichdimensionale normierte Räume. Für diese Räume ergibt sich die folgende hilfreiche Eigenschaft. Satz 2.13 Jeder endlichdimensionale normierte Raum ist ein Banach-Raum. Sei X ein endlichdimensionaler normierter Raum. Laut Satz 2.11 sind auf X alle Normen äquivalent, so dass der Nachweis für eine beliebige Norm erbracht werden kann.

2.2 Lineare Operatoren, Matrizen und Matrixnormen 13 Sei X := span{u 1,...,u k },dannlässt sich jedes x X in der Form x = k α i u i mit α i C schreiben. Wir betrachten nun wiederum die Norm x max := max α i.,...,k Sei {x n } n N und erhalten eine Cauchy-Folge in X,dannschreibenwir k x n = α i,n u i mit α i,n C max,...,k α i,n α i,m = x n x m max 0für n,m. Folglich stellen die k Koeffizientenfolgen jeweils Cauchy-Folgen in C dar, so dass aufgrund der Vollständigkeit des Raumes der komplexen Zahlen α i,n n α i C für i =1,...,k gilt. Mit x = k α i u i liegt wegen der gesuchte Vektor vor. x n x max = max α i,n α i,...,k n 0 2.2 Lineare Operatoren, Matrizen und Matrixnormen Die Eigenschaften der Matrix eines linearen Gleichungssystem sind wesentlich für die Auswahl eines geeigneten iterativen Verfahrens und bestimmen in der Regel zudem das Konvergenzverhalten der gewählten Methode. Neben der Einführung spezieller Klassen von Matrizen und der Festlegung unterschiedlicher Matrixnormen werden wir in diesem Abschnitt den Spektralradius erläutern und dessen Zusammenhang zu den Matrixnormen diskutieren, der sich als fundamental für Konvergenzaussagen von Splitting-Methoden erweisen wird. Definition 2.14 Seien X,Y normierte Räume mit den Normen. X beziehungsweise. Y. Ein Operator A : X Y heißt. X (a) stetig an der Stelle x X, falls für alle Folgen {x n } n N aus X mit x n x für n. Y Ax n Ax für n folgt.

14 2 Grundlagen der linearen Algebra (b) stetig, falls A an allen Stellen x X stetig ist. (c) linear, falls gilt. A(αx + βy) =αax + βay x,y X α,β C (d) beschränkt, wenn A linear ist und ein C 0 existiert, so dass Ax Y C x X x X gilt. Jede Zahl C mit dieser Eigenschaft heißt Schranke von A. Wir beschäftigen uns im Weiteren mit sogenannten induzierten Matrixnormen, die jeweils auf der Grundlage einer Vektornorm durch den folgenden Satz festgelegt werden. Satz und Definition 2.15 Ein linearer Operator A : X Y ist genau dann beschränkt, wenn A := sup x X=1 Ax Y < gilt. A ist die kleinste Schranke von A und heißt Norm des Operators. Sei A beschränkt, dann existiert insbesondere ein C 0 mit und wir erhalten Ax Y C für alle x X mit x X =1 A = sup Ax Y C<. x X=1 Insbesondere stellt A demzufolge die kleinste Schranke von A dar. Sei A linear und gelte A < Betrachten wir ein beliebiges x X \{0}, dann folgt ( ) Ax Y = x Y x XA x X ( ) x Y = x X A x X x X sup Az Y z X=1 = x X A. Somit ist A beschränkt mit Schranke A.

2.2 Lineare Operatoren, Matrizen und Matrixnormen 15 Die Eigenschaft Ax A x wird als Verträglichkeitsbedingung bezeichnet. Stetigkeit und Beschränktheit stellen im Kontext linearer Operatoren äquivalente Begriffe dar. Diese Tatsache wird durch den folgenden Satz nachgewiesen. Satz 2.16 FüreinenlinearenOperator A : X Y sind die folgenden drei Eigenschaften äquivalent: (a) A ist stetig an der Stelle x = 0. (b) A ist stetig. (c) A ist beschränkt. (a) (b) Sei x X gegeben und {x n } n N eine beliebige Folge aus X mit x n x, n, dann folgt mit der Stetigkeit an der Stelle x = 0 und der Linearität des Operators die Gleichung Ax n = A(x n x) }{{}. Y 0, n (b) (c) Annahme: A ist stetig und nicht beschränkt. +Ax. Y Ax für n. Dann existiert eine Folge {x n } n N aus X mit x n X = 1 und Ax n Y n.wir definieren x n y n := Ax n Y und erhalten hiermit y n X = x n X Ax n Y = 1 Ax n Y 1 n. Folglich konvergiert die Folge y n in der Norm auf X gegen das Nullelement, und es folgt aus der Stetigkeit des Operators so dass ein Widerspruch zu Ay n. Y A (0) =0 für n, Ay n Y = Ax n Y Ax n Y =1für alle n N vorliegt. (c) (a) Sei A beschränkt und {x n } n N eine Folge aus X mit x n. X 0,für n.dann folgt

16 2 Grundlagen der linearen Algebra und hieraus mit Ax n Y A x n X 0für n Ax n. Y 0 = A (0) für n die Stetigkeit des Operators an der Stelle x = 0. Bei der Betrachtung von Kompositionen linearer Abbildungen erweist sich der folgende Satz zur Abschätzung der Norm der Komposition als hilfreich. Satz 2.17 Seien A : X Y und B : Y Z beschränkte lineare Operatoren, dann ist BA : X Z beschränkt mit BA B A. (2.2.1) Mit BAx Z B Ax Y B A x X folgt der Nachweis direkt aus BA = sup BAx Z sup B A x X = B A. x X =1 x X=1 Die Eigenschaft (2.2.1) wird auch als Submultiplikativität der zugrundeliegenden Norm bezeichnet. Wir werden uns im Folgenden, solange nicht ausdrücklich erwähnt, stets auf Normen beschränken, die auf der Grundlage der Definition 2.15 festgelegt sind. Im Kontext der betrachteten Matrizen sind jedoch auch hiervon abweichende Normen denkbar, die nicht der Ungleichung (2.2.1) genügen. Jede lineare Abbildung zwischen endlichdimensionalen Vektorräumen kann durch eine Matrix a 11... a 1n A =....... C m n a m1... a mn repräsentiert werden. Die Menge aller Matrizen wollen wir nun vorab in unterschiedliche Klassen unterteilen. Definition 2.18 Zu einer gegebenen Matrix heißt A = die zu A transponierte Matrix. a 11... a 1n....... a n1... a nn R n n a 11... a n1 A T =..... R n n a 1n... a nn

2.2 Lineare Operatoren, Matrizen und Matrixnormen 17 Definition 2.19 Eine Matrix A R n n (a) symmetrisch, falls A T = A gilt, heißt (b) orthogonal, falls A T A = I gilt. Definition 2.20 Zu gegebener Matrix a 11... a 1n A =..... C n n a n1... a nn heißt die zu A adjungierte Matrix. a 11... a n1 A =..... C n n a 1n... a nn Definition 2.21 Eine Matrix A C n n heißt (a) hermitesch, falls A = A gilt, (b) unitär, falls A A = I gilt, (c) normal, falls A A = AA gilt, (d) ähnlich zur Matrix B C n n, falls eine reguläre Matrix C C n n mit B = C 1 AC existiert, (e) linke untere Dreiecksmatrix, falls a ij =0 (f) rechte obere Dreiecksmatrix, falls a ij =0 j >i gilt, j <i gilt, (g) Diagonalmatrix, falls a ij =0 j i gilt. Definition 2.22 Sei X = R n beziehungsweise C n.einematrix A : X X heißt (a) positiv semidefinit, falls (Ax,x) 2 0für alle x X gilt, (b) positiv definit, falls (Ax,x) 2 > 0für alle x X\{0} gilt, (c) negativ semidefinit, falls A positiv semidefinit ist, (d) negativ definit, falls A positiv definit ist. Definition 2.23 Zwei Gleichungssysteme heißen äquivalent, wenn ihre Lösungsmengen identisch sind. Lemma 2.24 Sei P C n n regulär und A C n n, dann sind die Gleichungssysteme Ax = y und PAx = Py äquivalent.

18 2 Grundlagen der linearen Algebra Aufgrund der Regularität der Matrix P folgt Px= 0 x = 0. Damit erhalten wir die Behauptung direkt aus P (Ax y) =0 Ax y = 0. Lemma und Definition 2.25 Das lineare Gleichungssystem Ax = b mit A C m n (R m n ) ist genau dann lösbar, wenn rang(a) = rang(a,b) gilt, wobei rang(a) die Dimension des Bildes von A darstellt, das heißt rang(a) = dim bild(a) mit bild(a) ={y C m (R m ) x C n (R n )mity = Ax }. Sei Ax = b, dann gilt b bild(a). Hiermit erhalten wir rang(a) =rang(a,b). Sei rang(a) =rang(a,b), dann lässt sich b in der Form b = n x ia i mit x i C schreiben, wobei a i für i =1,...,n die i -te Spalte der Matrix A darstellt. Hieraus ergibt sich direkt Ax = b mit x =(x 1,...,x n ) T. Lemma 2.26 Seien L, L C n n linke untere und R, R C n n rechte obere Dreiecksmatrizen, dann sind L L und R R ebenfalls linke untere beziehungsweise rechte obere Dreiecksmatrizen. Sei L = ( l ij )i,j=1,...,n = L L, dann folgt für j>i l ij = n l im lmj = m=1 j 1 l im lmj m=1 }{{} =0 + n l }{{} im =0 m=j lmj =0. Analog ergibt sich die Behauptung für die rechten oberen Dreiecksmatrizen. Lemma 2.27 Seien Q, Q R n n (C n n ) orthogonale (unitäre) Matrizen, dann ist auch Q Q orthogonal (unitär).

2.2 Lineare Operatoren, Matrizen und Matrixnormen 19 Bei dem Beweis beschränken wir uns auf orthogonale Matrizen. Der Nachweis der Behauptung für unitäre Matrizen verläuft analog. Aufgrund der Orthogonalität der Matrizen Q und Q folgt ( Q Q) T Q Q = QT Q T Q Q = Q T I Q = Q T Q = I. Dem folgenden Satz können wir eine zentrale Eigenschaft unitärer respektive orthogonaler Matrizen entnehmen. Satz 2.28 Sei Q C n n (R n n ) eine unitäre (orthogonale) Matrix, dann gilt Qx 2 = x 2 für alle x C n n ( R n n). Der Nachweis ergibt sich unter Berücksichtigung von Q Q = I direkt aus Qx 2 2 =(Qx,Qx) 2 =(x,q Qx) 2 =(x,x) 2 = x 2 2. Orthogonale wie auch unitäre Matrizen repräsentieren folglich bezüglich der euklidischen Norm stets längenerhaltende Abbildungen. Wie bereits zuvor erwähnt, kann eine Matrixnorm mittels einer vorliegenden Vektornorm definiert werden. Ist A C n n und. a : C n R eine Norm, dann bezeichnet man A a := sup Ax a (2.2.2) x a=1 als die von der Vektornorm induzierte Matrixnorm. In diesem Sinne gilt für A C n n : A 1 = max k=1,...,n A = max,...,n A 2 ( n i,k=1 n n k=1 a ik 2 ) 1 2 a ik (Spaltensummennorm), a ik (Zeilensummennorm), = A F. Hierbei wird. F : C n n R als Frobeniusnorm bezeichnet. Wegen I F = n ist aus (2.2.2) sofort ersichtlich, dass die Frobeniusnorm keine induzierte Matrixnorm darstellt. Auch die durch A := max i,k=1,...,n a ik gegebene Norm besitzt keine zugehörige Vektornorm. Einfache Beispiele zeigen, dass diese Norm nicht submultiplikativ ist. Es sei an dieser Stelle nochmals betont, dass wir uns bei den folgenden Betrachtungen, solange nicht ausdrücklich erwähnt, stets auf induzierte Matrixnormen beschränken werden, obwohl einige Aussagen (zum Beispiel der Satz 2.29) allgemeine Gültigkeit besitzen. Die einzige Ausnahme bildet die im Abschnitt 5.7 betrachtete Frobenius-Norm bei der Herleitung der unvollständigen Frobenius-Inversen.

20 2 Grundlagen der linearen Algebra Satz 2.29 Eine Matrix A C n n ist in jeder Norm beschränkt. Sei x X beliebig, dann folgt mit S = max,...,n j=1 2.11) für jede beliebige Norm. Ax = max,...,n (Ax) i = max,...,n j=1 max,...,n n a ij x j j=1 n a ij x j S x n a ij. Diese Aussage gilt durch die Äquivalenz der Normen (Satz Folglich erhalten wir mit Satz 2.29 auch die Stetigkeit jeder Matrix A C n n. Definition 2.30 Eine komplexe Zahl λ C heißt Eigenwert der Matrix A C n n, falls ein Vektor x C n \{0} mit Ax = λx existiert. Der Vektor x heißt Eigenvektor zum Eigenwert λ. Die Menge wird als Spektrum von A bezeichnet. Die Zahl heißt Spektralradius von A. Die Eigenwerte λ σ (A) stellen wegen σ (A) = { λ λ ist Eigenwert von A } ρ(a) =max { λ λ σ (A) } (A λi) x = 0 mit x C n \{0} die Nullstellen des charakteristischen Polynoms p(λ) =det(a λi) dar. Da jedes Polynom über C nach dem Fundamentalsatz der Algebra in Linearfaktoren zerfällt, das heißt p(λ) = n (λ λ i) gilt, erhalten wir direkt σ (A) für alle A C n n. Der folgende Satz von Schur stellt das wesentliche Hilfsmittel zum Nachweis des Satzes 2.36 dar, wodurch in Kombination mit Satz 2.35 ein direkter Zusammenhang zwischen einer Norm und dem Spektralradius einer Matrix vorliegt. Diese Aussagen werden sich später bei der Konvergenzanalyse von Splitting-Methoden als entscheidend erweisen. Satz 2.31 Zu jeder Matrix A C n n (R n n mit σ (A) R) existiert eine unitäre (orthogonale) Matrix U C n n (R n n ) derart, dass eine rechte obere Dreiecksmatrix darstellt. U AU

2.2 Lineare Operatoren, Matrizen und Matrixnormen 21 Wir beschränken uns beim Beweis der Behauptung zunächst auf den komplexen Fall. Der Beweis wird mittels einer vollständigen Induktion geführt. Für n = 1 erfüllt U = I die Behauptung. Sei die Behauptung für j =1,...,n erfüllt, dann wähle ein λ σ(a) mit zugehörigem Eigenvektor ṽ 1 C n+1 \{0}. Durch Erweiterung von v 1 = ṽ 1 / ṽ 1 2 durch v 2,...,v n+1 zu einer Orthonormalbasis des C n+1 ergibt sich mit die Gleichung wobei e 1 =(1,0,...,0) T C n+1 V AV = C (n+1) (n+1) V =(v 1...v n+1 ) V AV e 1 = V Av 1 = V λv 1 = λe 1, λ 0.. 0 gilt. Hiermit folgt ã T à mit à Cn n und ã C n. Zu à existiert laut Induktionsvoraussetzung eine unitäre Matrix W C n n derart, dass W à W eine rechte obere Dreiecksmatrix darstellt. Mit W ist auch 1 0 0 0 W =. W 0 unitär und wir erhalten mit U := VW C (n+1) (n+1) laut Lemma 2.27 eine unitäre Matrix, für die einfaches Nachrechnen zeigt, dass U AU eine rechte obere Dreicksmatrix darstellt. Im Fall einer regulären Matrix A R (n+1) (n+1) erhalten wir wegen σ (A) R zu jedem Eigenvektor ṽ 1 C n+1 \{0} zum Eigenwert λ R wegen ṽ 1 = x 1 + iỹ 1, x 1,ỹ 1 R n+1 aus A x 1 + iaỹ 1 = Aṽ 1 = λṽ 1 = λ x 1 + iλỹ 1 die Eigenschaft A x 1 = λ x 1 sowie Aỹ 1 = λỹ 1, so dass mit x 1 oder ỹ 1 ein Eigenvektor aus R n+1 \{0} vorliegt. Unter Berücksichtigung dieser Eigenschaft ergibt sich der Nachweis im Fall einer reellen Matrix analog zum obigen Vorgehen. Lemma 2.32 Für jede hermitesche Matrix A C n n gilt σ (A) R. Sei x C n \{0} Eigenvektor zum Eigenwert λ σ (A). Dann folgt mit

22 2 Grundlagen der linearen Algebra λ x 2 = λ(x,x) 2 =(λx,x) 2 =(Ax,x) 2 =(x,ax) 2 =(x,λx) 2 = λ(x,x) 2 = λ x 2 }{{}}{{} R + R + direkt λ = λ und somit λ R. Als direkte Folgerung des letzten Satzes erhalten wir die anschließende Aussage für hermitesche und wegen Lemma 2.32 somit auch für symmetrische Matrizen. Korollar 2.33 Sei A C n n (R n n ) hermitesch (symmetrisch), dann existiert eine unitäre (orthogonale) Matrix U C n n (R n n ), derart, dass U AU =diag{λ 1,...,λ n } R n n gilt. Hierbei stellt für i =1,...,n jeweils λ i R den Eigenwert der Matrix A mit der i -ten Spalte von U als zugehörigen Eigenvektor dar. Satz 2.34 Sei A C n n, dann gilt A 2 = ρ(a A). (2.2.3) Da A A hermitesch ist, existiert laut Korollar 2.33 eine unitäre Matrix U C n n,so dass U A AU =diag{λ 1,...,λ n } R n n gilt. Jedes x C n lässt sich daher unter Verwendung der Spalten u 1,...,u n der unitären Matrix U in der Form x = n α iu i mit α i C darstellen und es gilt n A Ax = λ i α i u i. Hiermit erhalten wir Hiermit erhalten wir Ax 2 2 = (Ax,Ax) 2 =(x,a Ax) 2 ( n ) n = α i u i, λ i α i u i = = 2 n (α i u i,λ i α i u i ) 2 n λ i α i 2 (2.2.4) ρ (A A) n α i 2 = ρ (A A) x 2 2. Ax 2 2 x 2 2 ρ (A A). Die Gleichheit ergibt sich durch Betrachtung des Eigenvektors u j Eigenwert λ j. Mit (2.2.4) folgt 0 Au i 2 2 = λ i,,...,n zum betragsgrößten

2.2 Lineare Operatoren, Matrizen und Matrixnormen 23 und somit erhalten wir Au j 2 2 u j 2 2 = λ j u j 2 2 u j 2 2 = λ j = ρ (A A). Aufgrund der Eigenschaft (2.2.3) wird A 2 auch als Spektralnorm der Matrix A bezeichnet. Die folgenden zwei Sätze sind von entscheidender Bedeutung für die Konvergenzaussagen iterativer Verfahren, die auf einer Aufteilung der Matrix des Gleichungssystems beruhen. Satz 2.35 Für jede Matrix A C n n gilt (a) ρ(a) A für jede induzierte Matrixnorm, (b) A 2 = ρ(a),falls A hermitesch ist. Sei λ C der betragsgrößte Eigenwert von A zum Eigenvektor u C n \{0} für den o.b.d.a. u = 1 gilt. Dann folgt womit sich direkt ρ(a) A ergibt. A = sup Ax Au = λ u = λ, x =1 Mit Korrollar 2.33 erhalten wir für hermitesche Matrizen die Eigenschaft ρ(a 2 )=ρ(a) 2, so dass sich für hermitesche Matrizen unter Verwendung des Satzes 2.34 A 2 = ρ(a A)= ρ(a 2 )= ρ(a) 2 = ρ(a) ergibt. Satz 2.36 Zu jeder Matrix A C n n und zu jedem ε>0 existiert eine Norm auf C n n, so dass A ρ(a)+ε gilt. Für n = 1 ist die Aussage ebenso trivial wie für jede Nullmatrix A C n n. Seien daher n 2 und A ungleich der Nullmatrix. Der Satz von Schur liefert die Existenz einer unitären Matrix U C n n mit R = U AU = r 11... r 1n.... r nn, wobei λ i = r ii, i =1,...,n die Eigenwerte von A sind. Sei α := dann definieren wir zu gegebenem ε>0 max r ik > 0, i,k=1,...,n

24 2 Grundlagen der linearen Algebra Mit ( ) ε δ := min 1, > 0. (2.2.5) (n 1)α 1 D = δ... δ n 1 erhalten wir C := D 1 RD = r 11 δr 12...... δ n 1 r 1n................... δrn 1,n. Unter Verwendung der Definition (2.2.5) folgt C max,...,n r ii +(n 1)δα = ρ(a)+(n 1)δα Da D und U reguläre Matrizen darstellen, ist durch r n,n ρ(a)+ε. (2.2.6) x := D 1 U 1 x eine Norm auf C n gegeben. Sei y := D 1 U 1 x, dann folgt mit (2.2.6) A = sup Ax = sup D 1 U 1 Ax x =1 D 1 U 1 x =1 = sup D 1 U 1 AUDy y =1 = sup Cy y =1 = C ρ(a)+ε. Mit den obigen beiden Sätzen ergibt sich somit stets für alle Matrizen A und alle ε>0 die Existenz einer Norm derart, dass ρ(a) A ρ(a) +ε gilt. Hierdurch können Konvergenzaussagen, die auf der Norm einer Matrix basieren und dabei unabhängig von der speziellen Wahl der Norm sind, direkt auf den Spektralradius der Matrix übertragen werden. Betrachten wir nun normale Matrizen, so werden diese teilweise auch über ihre Diagonalisierbarkeit mittels einer unitären Matrix definiert [25]. Die Möglichkeit einer solchen Definition normaler Matrizen wird durch den folgenden Satz nachgewiesen, der uns im weiteren auch eine spezielle Darstellung der Konditionszahl solcher Matrizen ermöglicht.

2.3 Konditionszahl und singuläre Werte 25 Satz 2.37 Eine Matrix A C n n ist genau dann normal, wenn eine unitäre Matrix U C n n existiert, so dass D = U AU eine Diagonalmatrix darstellt. Mit Satz 2.31 existiert eine unitäre Matrix U derart, dass R =(r ij ) i,j=1,...,n = U AU eine rechte obere Dreiecksmatrix darstellt. Mit R R = U A UU AU = U A AU = U AA U = U AUU A U = RR ist R ebenfalls normal. Für die Diagonalelemente der Matrix B = (b ij ) i,j=1,...,n = R R = RR gilt i n r ji 2 = b ii = r ij 2. j=1 Eine sukzessive Auswertung dieser Gleichung für i =1,...,n liefert r ij =0 für alle i j. Somit stellt D = R die gesuchte Diagonalmatrix dar. Sei U C n n j=i unitär mit D =diag{d 11,...,d nn } = U AU, dann folgt A A = UD DU = UDD U = AA. 2.3 Konditionszahl und singuläre Werte Neben dem Spektralradius stellt auch die Konditionszahl einer Matrix eine interessante Größe dar, mit der Fehlereinflüsse wie auch Konvergenzgeschwindigkeiten iterativer Methoden abgeschätzt werden können. Wir werden daher in diesem Abschnitt den Begriff der Konditionszahl einführen und seine Bedeutung hinsichtlich der Lösung linearer Gleichungssysteme studieren. Es wird sich dabei zeigen, dass sich die bezüglich der Spektralnorm gebildete Konditionszahl einer normalen Matrix A R n n durch deren Eigenwerte darstellen lässt. Im allgemeinen Fall einer regulären Matrix muss hierzu ihre Singulärwertverteilung betrachtet werden. Definition 2.38 Sei A C n n regulär, dann heißt cond a (A) := A a A 1 a die Konditionszahl der Matrix A bezüglich der induzierten Matrixnorm. a. Es ist leicht ersichtlich, dass die Konditionszahl einer regulären Matrix unabhängig von der zugrundeliegenden induzierten Matrixnorm nach unten beschränkt ist. Den mathematischen Nachweis hierzu liefert das folgende Lemma.

26 2 Grundlagen der linearen Algebra Lemma 2.39 Sei A C n n regulär, dann gilt cond(a) cond(i) =1 für cond(a) = A A 1 mit einer induzierten Matrixnorm.. Der Nachweis ergibt sich direkt aus der folgenden Ungleichung cond(i) = I I 1 =1= I = AA 1 Satz 2.17 A A 1 = cond(a). Die Relevanz der Konditionszahl hinsichtlich der iterativen Lösung linearer Gleichungssysteme werden wir nun anhand zweier Sätze verdeutlichen. In praktischen Anwendungen ist es üblich, die Norm des Residuenvektors r m = b Ax m als Maß für die Güte der vorliegenden Näherungslösung innerhalb eines Iterationsverfahrens zu verwenden, da der Fehlervektor e m = A 1 b x m aufgrund der Unkenntnis über die wahre Lösung nicht zur Verfügung steht. Ein Grund hierfür liegt in der Eigenschaft, dass das Residuum analog zum Fehler genau dann identisch verschwindet, wenn die Iterierte mit der exakten Lösung übereinstimmt. Es wird sich zeigen, dass für eine kleine Konditionszahl der Matrix des linearen Gleichungssystems eine Konvergenzabschätzung auf der Basis des Residuums sinnvoll ist. Liegt jedoch eine große Konditionszahl vor, so kann trotz Verringerung des Residuums eine deutlich anwachsende Fehlernorm vorliegen. Satz 2.40 Gegeben sei ein Iterationsverfahren zur Lösung von Ax = b mit einer regulären Matrix A. Es bezeichne e k = A 1 b x k den Fehlervektor und r k = b Ax k den Residuenvektor des k-ten Iterationschritts, dann gilt 1 r k cond(a) r 0 e k e 0 cond(a) r k r 0 e k cond(a)2 e 0. (2.3.1) Mit und r k = b Ax k = Ae k A e k e k = A 1 b x k A 1 b Ax k = A 1 r k ergibt sich der erste Teil der Behauptung aus 1 r k cond(a) r 0 = 1 r k A A 1 r 0 1 A Die weiteren Ungleichungen folgen analog. r k A 1 r 0 = 1 Ae k A e 0 e k e 0. Dem obigen Satz können wir entnehmen, dass im Fall einer orthogonalen Matrix A stets e k 2 e 0 2 = r k 2 r 0 2 gilt, wodurch eine direkte Konvergenzanalyse auf der Grundlage des Residuums durchgeführt werden kann.

2.3 Konditionszahl und singuläre Werte 27 Messdaten aus physikalischen Experimenten weisen in natürlicher Weise Ungenauigkeiten auf. Die Auswirkung solcher oder anderer fehlerhafter Eingangsdaten auf die Lösung können ebenfalls unter Verwendung der Konditionszahl der Matrix abgeschätzt werden. Auch hierbei erweist sich eine kleine Konditionszahl als vorteilhaft, da sich hier kleine relative Fehler in den Daten b auch nur als kleine relative Fehler in den Lösungen x bemerkbar machen. Satz 2.41 Seien A regulär, x die Lösung des Gleichungssystems Ax = b und x+δx die Lösung von A(x +Δx) =b +Δb, dann gilt Δx x cond(a) Δb b. Aufgrund der Linearität von A folgt Hiermit erhalten wir so dass mit die behauptete Ungleichung mit Δb =(b +Δb) b = A(x +Δx) Ax = A(Δx). Δx = A 1 (Δb) A 1 Δb, b = Ax A x Δx x A 1 Δb A 1 b = cond(a) Δb b folgt. Liegt ein Gleichungssystem vor, bei dem die Matrix eine sehr große Konditionszahl besitzt, dann erweist es sich aufgrund der Sätze 2.40 und 2.41 als sinnvoll, zunächst eine Umformulierung auf ein äquivalentes System Ãx = b mit cond(ã) cond(a) vorzunehmen und anschließend ein Iterationsverfahren auf das transformierte System anzuwenden. Eine äquivalente Umformulierung kann zum Beispiel durch Multiplikation mit einer regulären Matrix P gemäß Lemma 2.24 durchgeführt werden. Hierbei stellt sich die Frage nach der Wahl der Matrix P. Die Matrix sollte aus Rechenzeitgründen einfach berechenbar sein und aus Effektivitätsgründen eine möglichst gute Approximation der Inversen der Matrix A repräsentieren, so dass cond(pa) cond(a) gilt. Solche äquivalenten Transformationen werden als Präkonditionierungen bezeichnet und ausführlich im Kapitel 5 untersucht. Es sei an dieser Stelle bereits erwähnt, dass die Stabilisierung numerischer Verfahren zwar einen Grund zur Nutzung einer Präkonditionierung darstellt, die wesentliche Zielsetzung derartiger Techniken allerdings in der Beschleunigung iterativer Verfahren liegt. Der folgende Abschnitt liefert eine Darstellung der durch die Spektralnorm gegebenen Konditionszahl einer regulären Matrix A mittels ihrer singulären Werte beziehungsweise ihrer Eigenwerte. Die Konditionszahlen hinsichtlich der Zeilen- respektive Spaltensummennorm kann anschließend über cond 2 (A) abgeschätzt werden.

28 2 Grundlagen der linearen Algebra Satz und Definition 2.42 Für jede reguläre Matrix A R n n Matrizen U,V R n n derart, dass existieren orthogonale U T AV =diag{σ 1,...,σ n } (2.3.2) mit 0 <σ 1... σ n gilt. Die aufgeführten reellen Zahlen σ i ( i =1,...,n)heißen singuläre Werte der Matrix A und genügen jeweils der Gleichung ( ) det A T A σi 2 I =0. (2.3.3) Die i -te Spalte von U bzw. V A. heißt i -ter Links- bzw. Rechtssingulärvektor der Matrix Da A regulär ist, liegt mit A T A eine symmetrische, positiv definite Matrix vor. Somit existiert laut Korollar 2.33 eine orthogonale Matrix V R n n derart, dass V T A T AV =diag{λ 1,...,λ n } mit 0 <λ 1... λ n gilt. Definieren wir σ i = ) λ i,soerhaltenwir 0<σ 1... σ n mit det (A T A σi 2I = 0. Zum Nachweis der verbleibenden Aussage (2.3.2) definieren wir U = AV D 1 mit D =diag{σ 1,...,σ n }. Wegen U T U = D T V T A T AV D 1 = D 1 diag{λ 1,...,λ n }D 1 = I repräsentiert U eine orthogonale Matrix, und wir erhalten die behauptete Darstellung durch U T AV = D T V T A T AV = D T diag{λ 1,...,λ n } = D. Satz 2.43 Sei A R n n, dann gelten mit den Bezeichnungen aus Satz 2.42 die Aussagen Ax 2 sup = σ n x 0 x 2 und Ax 2 inf = σ 1. x 0 x 2 Aus der Definition der euklidischen Norm und der Regularität von V folgt Ax 2 2 x T V T A T AV x x T V T A T UU T AV x sup x 0 x 2 = sup 2 Vx 0 x T V T = sup Vx Vx 0 x T V T Vx wegen UU T = I. Hiermit ergibt sich wegen V T V = I die erste Aussage. Analog schließt man auf die Gültigkeit der zweiten Behauptung. Nach diesen Überlegungen können wir die Spektralnorm einer regulären Matrix A und ihrer Inversen durch die singulären Werte der Matrix gemäß

2.4 Der Banachsche Fixpunktsatz 29 A 2 = σ n und A 1 2 = 1 σ 1 ausdrücken. Da normale Matrizen laut Satz 2.37 unitär diagonalisierbarsind, erhalten wir als unmittelbare Folgerung der obigen Gleichung den folgenden Zusammenhang zwischen der Konditionszahl und den singulären Werten, respektive Eigenwerten, einer regulären Matrix in der folgenden Form: Korollar 2.44 Sei A R n n regulär, dann gilt cond 2 (A) = σ n, σ 1 (2.3.4) wenn σ n der größte und σ 1 der kleinste singuläre Wert der Matrix ist. Ist A zudem normal, so gilt cond 2 (A) = λ n λ 1, (2.3.5) falls λ n den betragsgrößten und λ 1 den betragskleinsten Eigenwert der Matrix bezeichnet. Obwohl eine zum Korollar 2.44 äquivalente Aussage bezogen auf eine andere Matrixnorm im Allgemeinen nicht existiert, können Fehlerabschätzungen und Konvergenzaussagen auf die entsprechenden Konditionszahlen übertragen werden. Analog zu den Vektor- und Matrixnormen legen wir hierzu den Begriff der äquivalenten Konditionszahl fest. Definition 2.45 Seien. a und. b zwei Vektornormen auf R n. Dann heißen die Konditionszahlen cond a und cond b äquivalent, wenn es reelle Zahlen α,β > 0 gibt, so dass α cond b (A) cond a (A) βcond b (A) (2.3.6) für alle regulären A R n n gilt. Als direkte Folgerung aus den Matrix- respektive Vektornormäquivalenzen erhalten wir für jede reguläre Matrix A R n n die Ungleichungen und 1 n cond 2(A) cond 1 (A) n cond 2 (A), (2.3.7) 1 n cond (A) cond 2 (A) n cond (A) (2.3.8) 1 n 2 cond 1(A) cond (A) n 2 cond 1 (A). (2.3.9) 2.4 Der Banachsche Fixpunktsatz Viele Iterationsverfahren zur Lösung eines linearen Gleichungssystems Ax = b lassen sich in der Form

30 2 Grundlagen der linearen Algebra x n+1 = F (x n )für n =0,1,2,... (2.4.1) schreiben, wobei F eine Abbildung der betrachteten Grundmenge in sich darstellt. Die durch die Vorgehensweise (2.4.1) gesuchte Lösung muss hierbei einen Fixpunkt der Abbildung F darstellen. Die Iterationsvorschrift (2.4.1) wird daher auch als Fixpunktiteration bezeichnet. Für diese Verfahrensklasse liefert der Banachsche Fixpunktsatz Aussagen zur Existenz und Eindeutigkeit eines Fixpunktes sowie eine aprioriund eine a posteriori Fehlerabschätzung. Zunächst führen wir die hierzu notwendigen Begriffe des Fixpunktes und der Kontraktionszahl ein. Definition 2.46 Ein Element x einer Menge D X heißt Fixpunkt eines Operators F : D X X, falls F (x) =x gilt. Definition 2.47 Sei X ein normierter Raum. Ein Operator F : D X X heißt kontrahierend, wenn eine Zahl 0 q<1 mit F (x) F (y) q x y x,y D existiert. Die Zahl q heißt Kontraktionszahl des Operators F. Satz 2.48 Kontrahierende Operatoren sind stetig und besitzen höchstens einen Fixpunkt. Wir betrachten zunächst die Stetigkeit des Operators. Seien X ein normierter Raum, F : D X X ein kontrahierender Operator und {x n } n N eine Folge aus D mit x n x D für n, dann folgt mit die Stetigkeit des Operators F. 0 F (x n ) F (x) q x n x 0für n Seien x,y D Fixpunkte von F, dann erhalten wir so dass mit x y = F (x) F (y) q x y, (1 q) x y 0 }{{}}{{} >0 0 die Gleichung x y = 0 und somit x = y folgt. Satz 2.49 (Banachscher Fixpunktsatz) Sei D eine vollständige Teilmenge eines normierten Raumes X und F : D D

2.4 Der Banachsche Fixpunktsatz 31 ein kontrahierender Operator, dann existiert genau ein Fixpunkt x D von F, und die durch x n+1 = F (x n )für n =0,1,2... gegebene Folge konvergiert für jeden Startwert x 0 D gegen x. Es gelten zudem die a priori Fehlerabschätzung x n x qn 1 q x 1 x 0 und die a posteriori Fehlerabschätzung x n x q 1 q x n x n 1, wobei q die Kontraktionszahl des Operators repräsentiert. Mit x 0 D ist x n+1 = F (x n ), n =0,1,... wegen F : D D wohldefiniert. Es gilt Sei m>n, dann folgt x n+1 x n q x n x n 1... q n x 1 x 0. (2.4.2) x n x m x n x n+1 + x n+1 x n+2 +...+ x m 1 x m (2.4.2) (q n +...+ q m 1 ) x 1 x 0 q n q i x 1 x 0 i=0 = q n 1 q x 1 x 0. (2.4.3) Wegen q < 1 erhalten wir x n x m 0für n, so dass mit {x n } n N eine Cauchy-Folge vorliegt. Aufgrund der Vollständigkeit der Teilmenge D existiert ein x D mit x n x,für n.mit ( ) x = lim x n = lim F (x Satz 2.48 n 1) = F lim x n 1 = F (x) n n n ist x ein Fixpunkt von F, der nach Satz 2.48 eindeutig bestimmt ist. Aus der Gleichung (2.4.3) erhalten wir die apriorifehlerabschätzung x n x = lim x n x m (2.4.3) m q n 1 q x 1 x 0.

32 2 Grundlagen der linearen Algebra Aus x n x = F (x n 1 ) F (x n )+F (x n ) F (x) F (x n 1 ) F (x n ) + F (x n ) F (x) q x n 1 x n + q x n x ergibt sich durch einfache Umformulierung die behauptete a posteriori Fehlerabschätzung x n x q 1 q x n 1 x n. Beispiel 2.50 Gesucht sei ein x R mit x =1 sin x.wirbetrachtenmit D =[ε,1], 0 <ε 1 sin 1 < 1, eine bezüglich der Norm x = x vollständige Teilmenge des R und haben mit f(x) = 1 sinx eine beliebig oft stetig differenzierbare Funktion vorliegen, die zudem f : D D und f(x) f(y) q x y mit der Kontraktionszahl q =max x D f (x) = cos ε < 1 erfüllt. Somit besitzt f(x) genau einen Fixpunkt x D und die Iteration x n+1 = f(x n ) konvergiert für alle x 0 D gegen x. Die folgende Skizze verdeutlicht geometrisch den Verlauf der Iteration für x 0 =0.25. y 1 f(x) = 1 - sin x g(x) = x 0.5 0.5 1 1.5 x Bild 2.1 Iterationsverlauf für f(x) =1 sin x mit x 0 =0.25

2.5 Übungsaufgaben 33 2.5 Übungsaufgaben Aufgabe 1: Gegeben sei ein lineares Gleichungssystem Ax = b (1). Zeigen Sie, dass die Operationen (a) Multiplikation einer Gleichung in (1) mit einer komplexen Zahl ( 0), (b) Vertauschen zweier Gleichungen in (1) (c) Addition der j -ten Gleichung aus (1) zur i -ten Gleichung in (1), stets ein zu (1) äquivalentes Gleichungssystem liefern. Hinweis: Drücken Sie alle obigen Operationen durch eine Matrixmultiplikation aus und nutzen Sie Lemma 2.24. Aufgabe 2: Sei A =(a ij ) i,j=1,...,n R n n eine symmetrische und positiv definite Matrix. Zeigen Sie: (a) a ii > 0, i =1,...,n, (b) max a ij = max a ii. i,j=1,...,n,...,n Aufgabe 3: Beweisen Sie die Aussage: Ist A R n n eine symmetrische, streng diagonal dominante Matrix mit positiven Diagonalelementen, dann ist A positiv definit. Aufgabe 4: Es sei A C n n.zeigensie: A j 0, j ρ(a) < 1. Aufgabe 5: Sei A = ( 0.78 0.563 0.913 0.659 ). Berechnen Sie cond (A) = A A 1. Aufgabe 6: Sei A C n n regulär und U C n n unitär. Zeigen Sie: Aufgabe 7: (a) Es sei cond 2 (AU) = cond 2 (A) = cond 2 (UA). A = ( 1 2 100 0 1 4 gegeben. Bestimmen Sie ρ(a), A, A 1, A F. (b) Skizzieren Sie die Einheitskugeln im R 2 für die Vektornormen.,. 1,. 2 und bestimmen Sie die besten Äquivalenzkonstanten für diese drei Normen im R n. )

34 2 Grundlagen der linearen Algebra Aufgabe 8: Es sei X ein Banachraum und A : X X ein Operator, dessen Potenz A m für ein m N ein kontrahierender Operator ist. Beweisen Sie, dass genau ein Fixpunkt x von A existiert und dass die durch die Iterationsvorschrift erzeugte Folge {x n } n N x n = Ax n 1, n =1,2,... x 0 X beliebig gegen x konvergiert. Aufgabe 9: Sei. eine beliebige induzierte Matrixnorm auf C n n. Zeigen Sie: Es gilt für alle A C n n. ρ(a) = lim k Ak 1/k Aufgabe 10: Zeigen Sie, dass der Spektralradius keine Norm auf dem R n n definiert. Wie sieht es mit dem Raum R n n Symm der symmetrischen, reellen n n -Matrizen aus? Aufgabe 11: Gegeben sei die Funktion f mit f(x) = 0.5+sinx 2x. (a) Man zeige, dass f genau eine Nullstellen besitzt. (b) Man berechne die Nullstelle von f mit Hilfe des Fixpunktverfahrens, wobei die Voraussetzungen des Banachschen Fixpunktsatzes jeweils zu überprüfen sind. (c) Für die berechnete Näherung x 5 Fehlerabschätzung durch. führe man eine a priori und eine a posteriori Hinweis: Eine einfache Funktionsabtastung zeigt, dass sich die Nullstelle im Intervall [0.4, 0.5] befindet. Aufgabe 12: Gegeben sei die Funktion f mit f(x) = x 4 2 3lnx. (a) Man zeige, dass f genau zwei Nullstellen besitzt. (b) Man berechne die beiden Nullstellen von f mit Hilfe des Fixpunktverfahrens, wobei die Voraussetzungen des Banachschen Fixpunktsatzes jeweils zu überprüfen sind. führe man jeweils eine a priori und eine a poste- (c) Für die berechnete Näherung x 5 riori Fehlerabschätzung durch.

2.5 Übungsaufgaben 35 Hinweis: Eine einfache Funktionsabtastung zeigt, dass sich die Nullstellen im Intervall [0.5, 0.6] sowie im Intervall [56, 57] befinden. Aufgabe 13: Susanne und Frank machen ein Physik-Experiment. Sie versuchen die Parameter x 1 und zu bestimmen und kennen die funktionale Beziehung x 2 ( 6 3 1 2 ) ( a x = 1 ). Die beiden führen einen Versuch durch und messen a = 1. Als erfahrene Experimentatoren wissen Sie, dass in Experimenten immer Fehler auftauchen, haben jedoch keine Zeit,denVersuchzuwiederholen. Schätzen Sie für Susanne und Frank in Abhängigkeit vom unbekannten Messfehler ɛ den relativen Fehler Δx / x in der -Norm nach oben ab. Aufgabe 14: Berechnen Sie die Kondition der 3 3 Hilbert-Matrix 1 1/2 1/3 A = 1/2 1/3 1/4 1/3 1/4 1/5 in der - und der 1 -Norm. Wenn Sie wollen, überprüfen Sie ihr Ergebnis mit MATLAB. Nutzen Sie hierzu die Befehle cond(a,1) bzw. cond(a,inf) für die Konditionszahlen. Eine n n Hilbert-Matrix wird mittels hilb(n) erzeugt. Aufgabe 15: Gesucht sind die Lösungen des nichtlinearen Gleichungssystems x 2 + y 2 = 4, 1 16 x2 + y 2 = 1. (a) Fertigen Sie eine Skizze an, die die Lage der Lösungen verdeutlicht. Bestimmen Sie für den 1. Quadranten einen guten ganzzahligen Startwert (x 0,y 0 ). (b) Gesucht ist die Lösung im ersten Quadranten. Geben Sie eine geeignete Fixpunktgleichung an und weisen Sie hierfür die Voraussetzungen des Fixpunktsatzes von Banach nach.

http://www.springer.com/978-3-658-07199-8