Lineare Ausgleichsprobleme. Lineare Ausgleichsprobleme. Normalgleichungen. Normalgleichungen

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "Lineare Ausgleichsprobleme. Lineare Ausgleichsprobleme. Normalgleichungen. Normalgleichungen"

Transkript

1 Wir betrachten in diesem Abschnitt das lineare Ausgleichsproblem Ax b 2 = min! (1) Heinrich Voss Hamburg University of Technology Institute for Numerical Simulation mit gegebenem A R m n, m n, und b R m Dieses Problem wurde bereits in Kapitel 7 der Vorlesung Lineare Algebra behandelt Wir werden zunächst vor allem die Ergebnisse dieser Vorlesung zusammentragen Wir werden dann die Singulärwertzerlegung einer Matrix betrachten, werden dann die Pseudoinverse einer Matrix einführen und auf das Konditionsproblem für Lineare Gleichungssysteme und Ausgleichsprobleme eingehen Schließlich werden wir kurz auf das Problem der Regularisierung schlecht gestellter Probleme eingehen Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Normalgleichungen Normalgleichungen Notwendig für eine Lösung des Ausgleichsproblems (1) ist, dass der Gradient des Funktionals φ(x) = (Ax b) T (Ax b) verschwindet, dh 2A T (Ax b) = 0 oder A T Ax = A T b (2) Dass jede Lösung von (2) auch das Ausgleichsproblem (1) löst, sieht man so: Es ist für alle h R n A(x + h) b 2 2 = (Ax + Ah b) T (Ax + Ah b) = Ax b Ah h T (A T Ax A T b) = Ax b Ah 2 2 Ax b 2 2 Die Gleichungen (2) heißen die Normalgleichungen des Ausgleichsproblems (1) Schließlich ist die Matrix A T A genau dann regulär, wenn die Matrix A den Rang n besitzt Damit ist das Ausgleichsproblem genau dann eindeutig lösbar, wenn Rang(A) = n gilt Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

2 Satz 51 Normalgleichungen Die Lösungen des Ausgleichsproblems Ax b 2 = min! sind genau die Lösungen der Normalgleichungen A T Ax = A T b (1) ist genau dann eindeutig lösbar, wenn A linear unabhängige Spalten besitzt Besitzt A unabhängige Spalten, so ist die Koeffizientenmatrix A T A positiv definit, und man kann daher die Normalgleichungen unter Benutzung der Cholesky Zerlegung lösen Diese Methode erfordert zur Aufstellung der Normalgleichungen (unter Beachtung der Symmetrie von A T A) 1 2n(n + 1) + n innere Produkte von Vektoren der Länge m, also n 2 m + 3nm flops und zur Lösung der Normalgleichungen 1 3 n3 + O(n 2 ) flops Das Verfahren ist geeignet bei Problemen mit kleinem n (n = 2 oder n = 3) Bei größerem n können Stabilitätsprobleme auftreten und eines der folgenden Verfahren ist vorzuziehen Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Orthogonale Zerlegung Ist A R m n, m n, eine gegebene Matrix mit linear unabhängigen Spalten, so gibt es eine Matrix Q R m n mit orthogonalen Spalten und eine obere Dreiecksmatrix R R (n,n), so dass gilt A = QR (3) (3) heißt eine QR Zerlegung der Matrix A Wir haben bereits in der Vorlesung Lineare Algebra gesehen, dass man die QR Zerlegung einer Matrix mit Hilfe der Orthogonalisierung nach Gram Schmidt oder durch Multiplikation mit geeigneten Householder Transformationen bestimmen kann QR Zerlegung Beim Gram Schmidt Verfahren werden im j-ten Schritt, dh nachdem die ersten j 1 Spalten q 1,, q j 1 von Q bereits bestimmt wurden, von der j-ten Spalte a j von A die Anteile in Richtung von q i, i = 1,, j 1, abgezogen und der so bestimmte, zu den q i orthogonale Vektor normiert Dabei werden zugleich die Elemente r ij := (q i ) T a j bestimmt Algorithmus [Klassische Gram Schmidt Orthogonalisierung] for : n do q(:, i) = a(:, i); for j=1 : i-1 do r(j, i) = q(:, j) a(:, i); q(:, i) = q(:, i) r(j, i) q(:, j); end for r(i, i) = q(:, i) 2 ; q(:, i) = q(:, i)/r(i, i); end for Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

3 QR Zerlegung Gram-Schmidt Verfahren Wir haben vorausgesetzt, dass die Spalten von A linear unabhängig sind Ist dies nicht der Fall, so wird der Algorithmus mit r ii = 0 für ein i abbrechen Diese Abfrage wird man natürlich noch in einen Algorithmus einbauen Sind die Spalten von A nahezu linear abhängig, so ist das oben angegebene klassische Gram-Schmidt Verfahren numerisch instabil Die berechneten Vektoren q j sind also nicht orthogonal Etwas besser wird die Stabilität, wenn man die Berechnung der r ij ersetzt durch r ij = (q j ) T q i Diese dem klassischen Gram Schmidt Verfahren äquivalente Methode heißt modifiziertes Gram Schmidt Verfahren Algorithmus [Modifizierte Gram-Schmidt Orthogonalisierung] for : n do q(:, i) = a(:, i); for j=1 : i-1 do r(j, i) = q(:, j) q(:, i); q(:, i) = q(:, i) r(j, i) q(:, j); end for r(i, i) = q(:, i) 2 ; q(:, i) = q(:, i)/r(i, i); end for Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Beispiel Gram-Schmidt Verfahren Das folgende Beispiel von Björck zeigt die Überlegenheit des modifizierten Gram Schmidt Verfahrens Sei A = ε ε ε wobei ε so klein ist, dass fl(1 + ε 2 ) = 1 gilt Dann erhält man mit dem klassischen und dem modifizierten Gram Schmidt Verfahren (bis auf Normierung der Spalten) die Matrizen Q kgs = ε ε ε 0 ε 0 und Q mgs = ε ε ε/2 0 ε ε/2 0 0 ε 0 0 ε Für die minimalen Winkel ϕ kgs und ϕ mgs zwischen zwei Spalten gilt cos ϕ kgs = 1 2 und cos ϕ mgs = ε 2 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

4 Householder Matrizen Stabiler als das Gram Schmidt Verfahren sind Methoden zur Bestimmung der QR Zerlegung einer Matrix, die auf der Multiplikation von A mit geeigneten orthogonalen Matrizen beruhen Wir betrachten zunächst die Orthogonalisierung mit Hilfe von Householder Matrizen Definition Es sei w R n mit w 2 = 1 Dann heißt die Matrix H := I 2ww T Householder Matrix Die Householder Matrix H beschreibt eine Spiegelung an der Hyperebene w Offensichtlich ist H ist eine symmetrische und orthogonale Matrix, dh H T = H und H T H = H 2 = I Householder Matrizen Die explizite Matrixgestalt von H wird außerordentlich selten benötigt H = I βuu T ist vollständig charakterisiert durch einen Normalenvektor u der Hyperebene, an der gespiegelt wird, und durch den Skalierungsfaktor β = 2/ u 2 2 Sind diese beiden bekannt, so kann man eine Multiplikation eines Vektors x mit H ausführen gemäß Hx = x β(u T x)u Es sind also ein inneres Produkt und ein _axpy, dh 4n flops, erforderlich Wegen H 1 = H T = H gilt dasselbe für das Lösen eines Gleichungssystems mit der Koeffizientenmatrix H Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Householder Matrizen Um die Orthogonalisierung einer Matrix mit Householder Transformationen auszuführen, benötigen wir zu gegebenem Vektor x R n, x 0, eine Householder Matrix H mit Hx = ± x 2 e 1, e 1 = (1, 0,, 0) T In der Vorlesung Lineare Algebra wurde gezeigt (und dies rechnet man auch leicht nach), dass für den Fall, dass x kein Vielfaches von e 1 ist, die Householder Matrizen H ± = I βw ± w T ±, die durch die Normalenvektoren Householder Matrizen Ist x ein Vielfaches des ersten Einheitsvektors e 1, so ist einer der beiden Vektoren der Nullvektor, und zwar gilt w = 0 im Fall x 1 > 0 und w + = 0 im Fall x 1 < 0 Ist x ce 1, so erhält man für w im Fall c > 0 und für w + im Fall c < 0 Auslöschung Um diese zu vermeiden, wählen wir daher stets H = I 2 w w T w 2, w = x + sign(x 1 ) x 2 e 1 2 w ± = x ± x 2 e 1, bestimmt sind, das Gewünschte leisten Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

5 Householder Matrizen QR Zerlegung Damit erhalten wir den folgenden Algorithmus zur Berechnung der Matrix H = I βuu T, die x in span(e 1 ) abbildet: Algorithmus [Householder Vektor] function [u, β] = householder(x) µ = x(2 : n) x(2 : n); u = [1; x(2 : n)]; if µ == 0 then β = 0; else u(1) = x(1) + sign(x(1)) x(1) 2 + µ; β = 2/(u(1) 2 + µ); end if Wir verwenden nun Householder Matrizen, um die Matrix A orthogonal auf obere Dreiecksgestalt zu transformieren Sei dazu H 1 wie oben beschrieben gewählt, so dass H 1 a 1 = ± a 1 2 e 1 =: r 11 e 1 Dann gilt mit P 1 = H 1 (und mit einer Matrix A 1 R (m 1,n 1) ) ( ) r11 r(1, 2 : n) P 1 A = 0 A 1 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 QR Zerlegung Ist nach j Schritten, 1 j < n, die Gestalt r 11 r 12 r 1j r 1,j+1 r 1,j+2 r 1n 0 r 22 r 2j r 2,j+1 r 2,j+2 r 2n 0 0 r jj r j,j+1 r j,j+2 r j,n r j+1,j+1 r j+1,j+2 r j+1,n r m,j+1 r m,j+2 r m,n erreicht, Dann gilt P j+1 P j P 1 A = QR Zerlegung r 11 r 12 r 1j r 1,j+1 r 1,j+2 r 1n 0 r 22 r 2j r 2,j+1 r 2,j+2 r 2n 0 0 r jj r j,j+1 r j,j+2 r j,n r j+1,j+1 r j+1,j+2 r j+1,n r j+2,j+2 r j+2,n r m,j+2 r m,n so wählen wir eine Householder Matrix H j+1 R (m j,n j), so dass H j+1 r(j + 1 : m, j + 1) eine Vielfaches des ersten Einheitsvektors ist, und setzen hiermit ( ) I P j+1 = j O j,n j O m j,j H j+1 Nach n Schritten ist damit die obere Dreiecksgestalt erreicht (wobei wir vorausgesetzt haben, dass die Matrix A linear unabhängige Spalten besitzt, da sonst das Verfahren vorher abgebrochen wäre) Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

6 QR Zerlegung QR Zerlegung Setzt man Q T := P n P n 1 P 1, so ist Q eine orthogonale Matrix, und es gilt ( A = Q ) ( R = P O 1 P 2 P n m n,n ) R O m n,n Die Householder Matrizen H j (und damit die Faktoren P j in Q) sind jeweils durch Vektoren u j und Skalare β j vollständig bestimmt Die u j können (bis auf die erste Komponente) im Verlauf eines Algorithmus unterhalb der Diagonalen von A gespeichert werden Tatsächlich müssen diese Elemente wegen der Gestalt der u j nicht einmal geändert werden Die ersten Komponenten von u j und die β j müssen in einem zusätzlichen Array gespeichert werden Die Elemente von R können das obere Dreieck von A einschließlich der Diagonale überschreiben Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 QR Zerlegung mit Householder Algorithmus [QR Zerlegung mit Householder Matrizen] for : min(m-1,n) do [u, β] = householder(a(i : m, i)); a(i : m, i + 1 : n) = a(i : m, i + 1 : n) β u (u a(i : m, i + 1 : n)); a(i, i) = a(i, i) βu(1)u a(i : m, i); uu(i) = u(1); be(i) = β; end for Man zählt leicht ab, dass dieser Algorithmus im wesentlichen 2n 2 m 2 3 n3 flops benötigt für die QR Zerlegung von A Givens Matrizen Eine weitere Möglichkeit zur Bestimmung der QR Zerlegung bieten die Givens Rotationen Es ist bekannt, dass eine Rotation im R 2 um den Winkel θ gegeben ist durch ( ) cos θ sin θ x x sin θ cos θ Entsprechend kann man eine Multiplikation eines Vektors x R n mit der Matrix I i 1 0 O 0 O 0 T cos θ 0 T sin θ 0 T R(i, j, θ) = O 0 I j i 1 0 O 0 T sin θ 0 T cos θ 0 T O 0 O 0 I n j als Rotation in der von e i und e j aufgespannten Ebene auffassen Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

7 Givens Matrizen R(i, j, θ) heißt eine Givens Rotation oder seltener auch Jacobi Rotation Diese Abbildungen wurden 1958 von Givens benutzt, um eine Matrix orthogonal auf obere Dreiecksgestalt zu transformieren Jacobi verwandte diese Abbildung schon 1846 zur Lösung des vollständigen symmetrischen Eigenwertproblems Es sei nun für x R n die j-te Komponente x j von Null verschieden Wir wählen θ so, dass Dann gilt cos θ = x i xi 2 + xj 2 ( cos θ sin θ sin θ cos θ und x j sin θ = xi 2 + xj 2 ) ( ) ( xi x = i 2 + xj 2 x j 0 und daher wird in R(i, j, θ)x die j-te Komponente annulliert Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 ), Givens Rotationen Damit ist klar, wie man mit einer Folge von Multiplikationen mit Givens Rotationen eine QR Zerlegung einer Matrix A R m n bestimmen kann Man annulliert nacheinander die Elemente der ersten Spalte unterhalb der Diagonale mit geeigneten Rotationen R(1, 2, θ 12 ), R(1, 3, θ 13 ),, R(1, m, θ 1m ), und dann mit Rotationen R(i, j, θ ij ), i = 2,, n, j = i + 1,, m die Elemente der weiteren Spalten von links nach rechts und von oben nach unten Genauso kann man mit Rotationen R(m 1, m, θ m 1,m ),,R(1, 2, θ 12 ) die Elemente der ersten Spalte unterhalb der Diagonale von unten nach oben annullieren, und dann die weiteren Spalten von links nach rechts auf gleiche Weise behandeln Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Givens Reflexionen Givens Matrizen Analog kann man auch die sog Givens Reflexionen verwenden, die ausgehend von der Spiegelung ( ) cos θ sin θ x x sin θ cos θ im R 2 analog definiert werden Ein Vorteil der Verwendung von Givens Rotationen oder Reflexionen gegenüber den Householder Transformationen zur QR Zerlegung einer Matrix A besteht darin, dass man auf übersichtliche Weise gewisse Nullen in A berücksichtigen und damit die Arbeit vermindern kann Ein Nachteil ist, dass die direkte Implementierung des beschriebenen Verfahrens doppelt so teuer ist wie die QR Zerlegung mit Householder Matrizen Man beachte aber, dass Gentleman (1973) und Hammarling (1974) eine Methode, die schnelle Givens Transformation, angegeben haben, mit der der Aufwand genauso hoch ist, wie mit Householder Matrizen Diese wurde in der BLAS1 verwendet Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

8 Ist eine QR Zerlegung ( A = Q Ausgleichsproblem R O m n,n der Matrix A R m n bekannt, so ist es leicht, das lineare Ausgleichsproblem Ax b 2 = min! ) Mit folgt Q T b =: Ausgleichsproblem ( b1 b 2 ), b 1 R n, b 2 R m n Ax b 2 2 = Rx b b zu lösen Da die Multiplikation eines Vektors mit einer orthogonalen Matrix seine Euklidische Länge nicht verändert, gilt ( ) Ax b 2 = Q T (Ax b) 2 = R x Q T b O m n,n 2 Den zweiten Summanden kann man durch die Wahl von x nicht beeinflussen Daher ist die Lösung des Ausgleichsproblems und der Defekt ist b 2 x = R 1 b 1, Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Singulärwertzerlegung Beispiel Definition Sei A R m n Gilt für orthogonale Matrizen U R (m,m) und V R (n,n) und eine Diagonalmatrix Σ = (σ i δ ij ) i,j R m n A = UΣV T, (1) Ist A R (n,n) symmetrisch mit den Eigenwerten µ 1,, µ n und ist v 1,, v n ein zugehöriges System von orthonormalen Eigenvektoren, so gilt mit der Diagonalmatrix Σ := diag{µ 1,, µ n } und mit V := (v 1,, v n ) A = V ΣV T, so heißt (1) eine Singulärwertzerlegung ( SVD) von A und dies ist eine Singulärwertzerlegung von A Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

9 Singulärwertzerlegung Singulärwertzerlegung Setzt man U = (u 1,, u m ) und V = (v 1,, v n ), so ist (1) äquivalent zu { Av i σi u = i, 1,, min(m, n), (2) 0 m + 1,, n (falls n > m) Ohne Einschränkung können die σ i nichtnegativ gewählt werden Ist etwa σ j < 0, so ersetze man die j-te Spalte v j von V durch v j Ferner können wir durch Umordnung von Zeilen von V T bzw Spalten von U erreichen, dass σ 1 σ 2 gilt Wir werden nun nur noch Singulärwertzerlegungen betrachten, in denen die Diagonalelmente σ 1,, σ min(m,n) nichtnegativ und der Größe nach geordnet sind Es seien in einer Singulärwertzerlegung (1) von A R m n die Diagonalelemente σ 1,, σ min(m,n) von Σ nicht negativ Dann heißen die σ i die Singulärwerte oder die singulären Werte von A Beispiel 58 Es sei A R (n,n) symmetrisch und µ i und v i wie in Beispiel 58, wobei die Reihenfolge so gewählt ist, dass µ 1 µ 2 µ r > µ r+1 = = µ n = 0 gilt Es sei u i := v i, falls µ i 0, und u i := v i, falls µ i < 0, und hiermit U := (u 1,, u n ) Dann gilt A = UΣV T, Σ = ( µ i δ ij ), und µ 1,, µ n sind die singulären Werte von A Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Singulärwertzerlegung Singulärwertzerlegung (1) = A T = V Σ T U T (3) Besitzt also A eine Singulärwertzerlegung, so auch A T, und die von Null verschiedenen singulären Werte stimmen überein (3) kann man (entsprechend (2)) schreiben als { A T u i σi v = i, 1,, min(m, n) 0 n + 1,, m (falls m > n) (5) zeigt, dass die singulären Werte σ i eindeutig bestimmt sind, nicht aber die Matrizen U und V, da mehrfache Eigenwerte von AA T und A T A auftreten können Existenzsatz: Jedes A R m n besitzt eine Singulärwertzerlegung (1)&(3) = AT A = V Σ T ΣV T, AA T = UΣΣ T U T, (4) dh die Quadrate der singulären Werte von A (und A T ) sind Eigenwerte von A T A und AA T, und {v 1,, v n } bzw {u 1,, u m } ist ein Orthonormalsystem von Eigenvektoren von A T A bzw AA T Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

10 Satz 512 Ist die Singulärwertzerlegung von A durch (1) gegeben und gilt σ 1 σ 2 σ r > σ r+1 = = σ min(m,n) = 0, so ist (i) r der Rang von A, (ii) Kern(A) := {x R n : Ax = 0} = span{v r+1,, v n }, (iii) Bild(A) := {Ax : x R n } = span{u 1,, u r }, (iv) A = r σ i u i (v i ) T = U r Σ r V T r mit U r = (u 1,, u r ), V r = (v 1,, v r ), Σ r = diag(σ 1,, σ r ), (v) A 2 S := m j=1 n aij 2 = r σi 2, Beweis (i): Da die Multiplikation mit den regulären Matrizen U T und V den Rang nicht verändert, gilt rang(a) = rang(σ) = r (ii): Es ist V T v i = e i Somit ist Also gilt Av i = UΣV T v i = UΣe i = 0 für i = r + 1,, n v r+1,, v n Kern(A) Da dim Kern(A) = n r, bilden diese Vektoren eine Basis von Kern(A) (vi) A 2 := σ 1 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Beweis (v): Es sei A = (a 1,, a n ) Beweis (iii): Wegen A = UΣV T ist Bild(A) = U Bild(Σ) = U span(e 1,, e r ) = span(u 1,, u r ) Da die orthogonale Matrix U T die Euklidische Länge nicht verändert, gilt n n A 2 S = a i 2 2 = U T a i 2 2 = U T A 2 S (iv): Durch Block-Matrix-Multiplikation erhält man A = UΣV T = ( (v 1 ) T u 1 u m) Σ = (v n ) T r σ i u i (v i ) T Durch entsprechende Argumentation mit den Zeilen von U T A erhält man A 2 S = UT AV 2 S = Σ 2 S = r σi 2 (vi): Wegen des Beweises des Existenzsatzes ist A 2 ein singulärer Wert von A, dh A 2 σ 1, und A 2 = max{ Ax 2 : x 2 = 1} Av 1 2 = σ 1 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

11 Pseudoinverse Satz Wir betrachten erneut das lineare Ausgleichsproblem Es seien A R m n und b R m gegeben mit m n Man bestimme x R n mit Ax b 2 = min! (1) und untersuchen dieses nun mit Hilfe der Singulärwertzerlegung Wir bezeichnen in diesem ganzen Abschnitt mit σ 1 σ 2 σ r > 0 = σ r+1 = = σ n = 0 die singulären Werte von A, mit A = UΣV T eine Singulärwertzerlegung von A und mit u j bzw v k die Spalten von U bzw V Es sei c := U T b R m Dann ist die Lösungsmenge des linearen Ausgleichsproblems (1) gegeben durch L = x + Kern(A), (2) wobei x die folgende spezielle Lösung von (1) bezeichnet: x := r c i σ i v i (3) Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Beweis Da die Multiplikation mit einer orthogonalen Matrix die Euklidische Länge nicht ändert, gilt mit z := V T x Ax b 2 2 = U T (Ax b) 2 2 = ΣV T x U T b 2 2 = Σz c 2 2 = (σ 1 z 1 c 1,, σ r z r c r, c r+1,, c m ) T 2 2 Hieraus liest man die Lösung von (1) sofort ab: z i := c i σ i, i = 1,, r, und z i R beliebig für i = r + 1,, n, dh x = r c i σ i v i + n i=r+1 z i v i, z i R, i = r + 1,, n (4) Pseudonormallösung In Satz 51 wurde gezeigt (und das liest man auch aus Satz 519 ab), dass die Lösung des Ausgleichsproblems (1) genau dann eindeutig ist, wenn r = Rang(A) = n gilt Wir erzwingen nun auch im Fall r < n die Eindeutigkeit, indem wir zusätzlich fordern, dass die Euklidische Norm der Lösung möglichst klein werden soll Definition Es sei L die Lösungsmenge des Ausgleichsproblems (1) x L heißt Pseudonormallösung von (1), falls x 2 x 2 für alle x L Da die letzten n r Spalten von V den Kern von A aufspannen, kann man die Lösungsmenge L von (1) schreiben als (2), (3) Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

12 Pseudonormallösung Pseudoinverse Aus der Darstellung (4) der allgemeinen Lösung von (1) liest man ab, dass x aus (3) Pseudonormallösung von (1) ist, denn n n x + z i v i 2 2 = x z i 2 v i 2 2 x 2 2 i=r+1 i=r+1 Ferner ist die Pseudonormallösung eindeutig bestimmt, und x ist offensichtlich die einzige Lösung von (1) mit x Kern(A) L Daher gilt Satz Es gibt genau eine Pseudonormallösung x von (1) Diese ist charakterisiert durch x Kern(A) L Für jedes A R m n ist durch R m b x R n : A x b 2 Ax b 2 x R n, x 2 minimal eine Abbildung erklärt Diese ist offensichtlich linear (vgl die Darstellung von x in (3), kann also durch eine Matrix A R (n,m) dargestellt werden Definition Es sei A R m n Dann heißt die Matrix A R (n,m), für die durch x := A b für alle b R m die Pseudonormallösung des Ausgleichsproblems (1) gegeben ist, die Pseudoinverse ( oder Moore-Penrose Inverse) von A Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Bemerkung Ist Rang(A) = n, so ist das Ausgleichsproblem (1) eindeutig lösbar, und aus den Normalgleichungen folgt, dass die Lösung x = (A T A) 1 A T b ist In diesem Fall ist also A = (A T A) 1 A T Ist noch spezieller n = m und A regulär, so ist A = A 1 Die Pseudo-Inverse wird also zur " normalen Inversen", wenn diese existiert, und ist somit eine konsistente Erweiterung dieses Begriffes Aus unserer Konstruktion ergibt sich sofort im allgemeinen Fall Satz 525 Sei A R m n mit der Singulärwertzerlegung Dann gilt (i) Σ = (τ i δ ij ) j,i, τ i = A = UΣV T, Σ = (σ i δ ij ) i,j { σ 1 i, falls σ i 0 0, falls σ i = 0, (ii) A = V Σ U T Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

13 Pseudoinverse Die explizite Matrix-Darstellung der Pseudoinverse braucht man genauso häufig wie die der inversen Matrix, nämlich fast nie Aus der Darstellung der Pseudoinversen in Satz 525 (ii) folgt unmittelbar Korollar 527 Für jede Matrix A R m n gilt und A = A (A ) T = (A T ) A besitzt also die üblichen Eigenschaften der Inversen A 1 für reguläres A Es gilt jedoch ia (AB) B A Störung von Ausgleichsproblemen Wir übertragen nun den Begriff der Kondition einer Matrix auf singuläre und allgemeiner auf nicht quadratische Matrizen Es ist klar, dass für den quadratischen, nicht regulären Fall dieser verallgemeinerte Konditionsbegriff nicht mehr als Verstärkungsfaktor für die Störung linearer Systeme gedeutet werden kann Er spielt aber eine ähnliche Rolle für lineare Ausgleichsprobleme Wir beschränken uns auf die Euklidische Norm Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Störung von Ausgleichsproblemen Wir betrachten das lineare Ausgleichsproblem Ax b 2 = min! Störung von Ausgleichsproblemen Zieht man von den Normalgleichungen diejenigen des Ausgangsproblems A T Ax A T b = 0 ab und vernachlässigt man Terme zweiter Ordnung, so folgt A T A x + A T Ax + A T Ax A T b A T b = 0, mit A R m n, Rang(A) = r, und eine Störung hiervon (A + A)(x + x) (b + b) 2 = min! dh x = (A T A) 1 (A T b A T Ax) + (A T A) 1 A T (b Ax) = A ( b Ax) + (A T A) 1 A T (b Ax) Die Normalgleichungen lauten (A + A) T ((A + A)(x + x) (b + b)) = 0 Übergang zur Euklidischen Norm liefert wegen A 2 = 1 σ n (A T A) 1 2 = 1 σn 2 und x 2 1 σ n ( b 2 + A 2 x 2 ) + 1 σ 2 n A 2 Ax b 2 (1) Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

14 Störung von Ausgleichsproblemen Wir betrachten zunächst den Fall, dass nur die rechte Seite b Störungen enthält, dh A = 0 Dann gilt x 2 x 2 1 σ r b 2 x 2 Die Darstellung der Pseudonormallösung liefert x 2 2 = r c 2 i σ 2 i 1 σ 2 1 r ci 2 = 1 σ1 2 r (u i ) T bu i 2 2 Da offenbar Störung von Ausgleichsproblemen r (u i ) T bu i die Projektion von b auf den Bildbereich von A ist, folgt also für den relativen Fehler x 2 x 2 σ 1 σ r b 2 P Bild(A) b 2 = σ 1 σ r b 2 cos θ b 2 (2) wobei θ den Winkel zwischen b und seiner Projektion auf den Bildbereich von A bezeichnet Diese Ungleichung beschreibt wieder, wie sich der relative Fehler der rechten Seite eines Ausgleichsproblems auf die Lösung auswirken kann Wir definieren daher Definition: A R m n besitze die Singulärwertzerlegung A = UΣV T Dann heißt κ 2 (A) := σ 1 σ r die Kondition der Matrix A Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Störung von Ausgleichsproblemen Bemerkung: Ist A R (n,n) regulär, so stimmt diese Definition der Kondition mit der vorher gegebenen (für die Euklidische Norm) überein Bemerkung: Wegen κ 2 (A T A) = κ 2 (A) 2 und κ 2 (A) > 1 sind die Normalgleichungen eines linearen Ausgleichsproblems schlechter konditioniert als die Koeffizientenmatrix des Ausgleichsproblems Störung von Ausgleichsproblemen Wir lassen nun auch Störungen der Koeffizientenmatrix A zu, nehmen aber an, dass A linear unabhängige Spalten besitzt, dh r = n Wegen 1 σ n x 2 x 2 = κ 2(A) A 2 folgt aus der Abschätzung (1) und mit (2) erhält man x 2 x 2 ( b 2 κ 2 (A) + A ) 2 + κ 2 (A) 2 A 2 Ax b 2 A 2 x 2 A 2 A 2 A 2 x 2 ( b 2 κ 2 (A) + A ) 2 + κ 2 (A) 2 A 2 tan θ cos θ b 2 A 2 A 2 Relative Fehler der Koeffizientenmatrix werden also sogar um den Faktor κ 2 (A) 2 verstärkt, wenn das Residuum Ax b von Null verschieden ist Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

15 Regularisierung Beispiel Einige Probleme der Anwendungen (zb in der Tomographie oder bei der Ausbreitung von Rissen in den Materialwissenschaften) führen auf lineare Gleichungssysteme oder Ausgleichsprobleme mit schlecht konditionierten Koeffizientenmatrizen In diesen Fällen lassen die Störungsüberlegungen in Abschnitt 44 und 55 erwarten, dass die bisher betrachteten Verfahren zu schlechten oder gar unbrauchbaren Ergebnissen führen Das Problem, die orthogonale Projektion einer gegebenen Funktion f : [0, 1] R auf den Raum Π n 1 der Polynome vom Höchstgrad n 1 bzgl des inneren Produkts f, g := 1 0 f (x)g(x) dx zu berechnen, führt bei der Wahl der Basis {1, x,, x n 1 } auf das lineare Gleichungssystem Ay = b (1) mit der Matrix A = (a ij ) i,j=1,,n, a ij := 1 i + j 1, (2) der sogenannten Hilbert Matrix, und b R n, b i := f, x i 1 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Beispiel Wir wählen für die Dimensionen n = 10, n = 20 und n = 40 die rechte Seite von (1) so, dass y = (1,, 1) T die eindeutige Lösung ist, und behandeln (1) mit den bekannten numerischen Verfahren Unter MATLAB erhält man mit der LR-Zerlegung mit Spaltenpivotsuche (in MATLAB A\b), mit dem Cholesky Verfahren, der QR Zerlegung der Matrix A und der Singulärwertzerlegung von A die folgenden Fehler in der Euklidischen Norm: n = 10 n = 20 n = 40 LR Zerlegung 524 E E E+2 Cholesky 715 E-4 numer nicht pos def QR Zerlegung 141 E E E+3 SVD 824 E E E+2 Die Ergebnisse sind also (wenigstens für die Dimensionen n = 20 oder n = 40) unbrauchbar Beispiel Ein ähnliches Verhalten zeigt sich bei dem Ausgleichsproblem Wir betrachten für n = 10, n = 20 und n = 40 und m = n + 10 die Ausgleichsprobleme Ax b 2 = min! mit der Hilbert Matrix A R m n, wobei b so gewählt ist, dass x = (1,, 1) T die Lösung ist mit dem Residuum Ax b = 0 Die folgende Tabelle enthält wieder die Fehler in der Euklidischen Norm für die Lösung der Normalgleichungen mit der LR-Zerlegung (das Cholesky Verfahren führte schon bei n = 10 zu der Meldung, dass die Koeffizientenmatrix nicht positiv definit ist), mit der QR Zerlegung und der Singulärwertzerlegung Die Lösungen sind ebenfalls unbrauchbar n = 10 n = 20 n = 40 Normalgleichungen 291 E E E+2 QR Zerlegung 193 E E E+1 SVD 467 E E E+2 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

16 Regularisierung Regularisierung Von den Bedingungen aus Satz 529 bleiben nur Bei schlecht konditionierten Ausgleichsproblemen oder Gleichungssystemen (n = m) ist das folgende Vorgehen zu empfehlen: Bestimme die Singulärwertzerlegung A = UΣV T von A; setze { Σ σ 1 τ = diag(η i δ ji ), η i := i falls σ i τ, 0 sonst, wobei τ > 0 eine gegebene Zahl ist, A τ := V Σ τ U T, x := A τ b A τ heißt effektive Pseudoinverse von A erhalten An Stelle von AA A = A gilt nur A τ AA τ = A τ, A τ A = (A τ A) T, AA τ = (AA τ ) T AA τ A A 2 τ Das obige Verfahren nennt man eine Regularisierung Zu kleine singuläre Werte werden unschädlich gemacht, um die Kondition zu verbessern Dafür nimmt man einen Verfahrensfehler in Kauf Man löst an Stelle des Gleichungssystems Ax = b das System Ax = Pb, wobei P die orthogonale Projektion auf den Teilraum span{u i : σ i τ} bezeichnet Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Tikhonov Regularisierung Tikhonov Regularisierung Die bekannteste Regularisierung wurde unabhängig von Philips (1962) und Tikhonov (1963) eingeführt und wird als Tichonov Regularisierung bezeichnet Sie entspricht einer Dämpfung des Einflusses kleiner singulärer Werte bei der Lösung Man löst an Stelle des Systems Ax = b das Gleichungssystem (A T A + αi n )x = A T b (4) mit einem Regularisierungsparameter α > 0 Offenbar ist (4) äquivalent zu Ax b α x 2 2 = min! (5) (dies ist die übliche Formulierung der Tichonov Regularisierung) oder zu Ãx b 2 = min, à = ( ) A, b = αin ( ) b (6) 0 Diese letzte Formulierung wurde zusammen mit der QR Zerlegung der Matrix à von Golub (1965) erstmals verwendet, um die Regularisierung stabil auszuführen Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

17 Tikhonov Regularisierung Wegen ÃT à = AT A + αi n besitzt à die singulären Werte σ 2 i + α, wenn die σ i die singulären Werte von A sind, und die Kondition von (1) wird verkleinert zu σ 2 1 +α σ 2 n+α Ist β := U T b, so ist (6) wegen (4) äquivalent zu dh V (Σ T U T UΣ + αi n )V T x = V Σ T U T b = V Σ T β, x = V (Σ T Σ + αi n ) 1 Σ T β = n β i σ i σ 2 i + α v i Man benötigt also nur die Singulärwertzerlegung von A, um das regularisierte Problem für verschiedene Regularisierungsparameter α zu lösen Tikhonov Regularisierung Wir wenden auf das Gleichungssystem (1) die Regularisierungen durch Abschneiden der kleinen singulären Werte an und die verschiedenen Formen der Tichonov Regularisierungen Dabei wird der Regularisierungsparameter α jeweils so gewählt, dass der Fehler minimal wird Dies ist bei praktischen Problemen natürlich nicht möglich (die Lösung des Problems wird ja erst noch gesucht) Strategien zur Wahl des Parameters findet man in Hansen (1998), Engl (1997) oder Louis (1989) Als grobe Richtlinie kann man sagen, dass man eine numerische Lösung, die bedingt durch die schlechte Kondition eines Problems verfälscht ist, häufig daran erkennt, das sie stark oszilliert Man variiert dann interaktiv den Parameter solange, bis man die Lösung glaubt (dh bis die gefundene Lösung die physikalischen Eigenschaften des modellierten Problems richtig wiedergibt) Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Tikhonov Regularisierung Tikhonov Regularisierung Für das lineare Gleichungssystem (1), (2) erhält man die Fehler der folgenden Tabelle Dabei wurden die Normalgleichungen der Tychnow Regularisierung (3) mit der Cholesky Zerlegung gelöst (die LR-Zerlegung mit dem MATLAB Befehl \ lieferte ähnliche Ergebnisse) und das regularisierte Ausgleichsproblem (4) wurde mit der QR Zerlegung von à und der Singulärwertzerlegung von A gelöst n = 10 n = 20 n = 40 Tichonov Cholesky 141 E E E-3 Tichonov QR 350 E E E-6 Tichonov SVD 343 E E E-6 Abgeschnittene SVD 277 E E E-6 Für das Ausgleichsproblem erhält man n = 10 n = 20 n = 40 Tichonov Cholesky 385 E E E-3 Tichonov QR 224 E E E-6 Tichonov SVD 851 E E E-6 Abgeschnittene SVD 721 E E E-6 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

18 L Kurve L Kurve Ein häufig verwendetes Verfahren zur Schätzung des optimalen Regularisierungsparameters ist die L-Kurven Methode In ihr betrachtet man die Kurve α ( Ax α b 2, x α 2 ) Für Systeme, für die Koeffizienten b T u j der (ungestörten) rechten Seite bzgl der singulären Vektoren u j von A schneller abfallen als die singulären Werte σ j von A, kann man die L-Kurven Methode begründen Im allgemeinen Fall kann diese Methode aber versagen Diese sog L-Kurve hat häufig die Gestalt des Buchstaben L wie in der Skizze, wobei der Parameter α, der zu dem Knick gehört, optimal ist Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 L Kurve L Kurve 10 5 L Kurve; Hilbertmatrix der Dimension 100; Stoerung 01% x λ α=1e 16 α=1e 14 α=1e 12 Die Abbildung enthält die L-Kurve für das Gleichungssystem mit der Hilbertmatrix der Dimension 100 und der Lösung x = (1,, 1) T, wobei zusätzlich die rechte Seite mit einem zufälligen Fehler von höchstens 01% verfälscht worden ist (Für dieses Beispiel ist die im letzten Absatz genannte Bedingung übrigens nicht erfüllt) α=1e 10 α=1e 4 α=1e 6 α=1e 8 α=1e 2 α=1 Die folgende Tabelle enthält Ax α b 2, x α 2 und den Fehler x α x 2 für verschiedene Parameter α Tatsächlich ist der Fehler minimal für α = 1e 06, und bei diesem Parameter liegt auch der Knick der L-Kurve Ax λ b 2 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

19 L Kurve α Ax α b 2 x α 2 x α x 2 1e e e e+00 1e e e e+00 1e e e e+00 1e e e e-01 1e e e e-01 1e e e e-01 1e e e e-01 1e e e e-01 1e e e e+00 1e e e e+01 1e e e e+01 1e e e e+02 1e e e e+02 Heinrich Voss (Hamburg University of TechnologyInstitute for Numerical Simulation) Kapitel / 73

KAPITEL 4. Lineare Ausgleichsrechnung Beispiel 4.1. Das Ohmsche Gesetz: U = RI. Eine Meßreihe von Daten:

KAPITEL 4. Lineare Ausgleichsrechnung Beispiel 4.1. Das Ohmsche Gesetz: U = RI. Eine Meßreihe von Daten: KAPITEL 4 Lineare Ausgleichsrechnung Beispiel 41 Das Ohmsche Gesetz: Eine Meßreihe von Daten: U = RI (U i, I i ) (Spannung, Stromstärke), i = 1,, m Aufgabe: man bestimme aus diesen Meßdaten den Widerstand

Mehr

Kapitel 15. Lösung linearer Gleichungssysteme

Kapitel 15. Lösung linearer Gleichungssysteme Kapitel 15. Lösung linearer Gleichungssysteme Lineare Gleichungssysteme Wir befassen uns nun mit der Lösung im allgemeinen nichthomogener linearer Gleichungssysteme in zweifacher Hinsicht. Wir studieren

Mehr

1.9 Eigenwerte und Eigenvektoren

1.9 Eigenwerte und Eigenvektoren .9. EIGENWERTE UND EIGENVEKTOREN 0.9 Eigenwerte und Eigenvektoren Alles in diesem Abschnitt bezieht sich auf quadratische reelle oder komplexe n n-matrizen. Statt E n (n n-einheitsmatrix) wird kurz E geschrieben..

Mehr

Bestimmung einer ersten

Bestimmung einer ersten Kapitel 6 Bestimmung einer ersten zulässigen Basislösung Ein Problem, was man für die Durchführung der Simplexmethode lösen muss, ist die Bestimmung einer ersten zulässigen Basislösung. Wie gut das geht,

Mehr

Lineare Gleichungssysteme

Lineare Gleichungssysteme Lineare Gleichungssysteme Sei K ein Körper, a ij K für 1 i m, 1 j n. Weiters seien b 1,..., b m K. Dann heißt a 11 x 1 + a 12 x 2 +... + a 1n x n = b 1 a 21 x 1 + a 22 x 2 +... + a 2n x n = b 2... a m1

Mehr

u + v = v + u. u + (v + w) = (u + v) + w. 0 V + v = v + 0 V = v v + u = u + v = 0 V. t (u + v) = t u + t v, (t + s) u = t u + s u.

u + v = v + u. u + (v + w) = (u + v) + w. 0 V + v = v + 0 V = v v + u = u + v = 0 V. t (u + v) = t u + t v, (t + s) u = t u + s u. Universität Stuttgart Fachbereich Mathematik Prof. Dr. C. Hesse PD Dr. P. H. Lesky Dipl. Math. D. Zimmermann Msc. J. Köllner FAQ 3 Höhere Mathematik I 4..03 el, kyb, mecha, phys Vektorräume Vektorräume

Mehr

Gleitkommaarithmetik und Pivotsuche bei Gauß-Elimination. Lehrstuhl für Angewandte Mathematik Wintersemester 2009/10. 14.

Gleitkommaarithmetik und Pivotsuche bei Gauß-Elimination. Lehrstuhl für Angewandte Mathematik Wintersemester 2009/10. 14. Gleitkommaarithmetik und Pivotsuche bei Gauß-Elimination Vorlesung Computergestützte Mathematik zur Linearen Algebra Lehrstuhl für Angewandte Mathematik Wintersemester 2009/0 4. Januar 200 Instabilitäten

Mehr

Orthogonale Matrix. Definition 4.19

Orthogonale Matrix. Definition 4.19 Orthogonale Matrix Ausgleichsprobleme sind häufig schlecht konditioniert. Matrix des Normalengleichungssystems kann nahezu singulär sein. Spezielle Matrixzerlegung für höhere numerische Stabilität: QR-Zerlegung

Mehr

Lineare Algebra und analytische Geometrie II (Unterrichtsfach)

Lineare Algebra und analytische Geometrie II (Unterrichtsfach) MATHEMATISCHES INSTITUT DER UNIVERSITÄT MÜNCHEN Prof. Dr. D. Rost SS 0 Blatt.06.0 Übungen zur Vorlesung Lineare Algebra und analytische Geometrie II (Unterrichtsfach) Abgabe: Dienstag, 0. Juli 0, bis 4:00

Mehr

Eigenwerte und Eigenvektoren von Matrizen

Eigenwerte und Eigenvektoren von Matrizen Eigenwerte und Eigenvektoren von Matrizen Das Eigenwertproblem Sei A eine quadratische Matrix vom Typ m,m. Die Aufgabe, eine Zahl λ und einen dazugehörigen Vektor x zu finden, damit Ax = λx ist, nennt

Mehr

Methode der kleinsten Quadrate

Methode der kleinsten Quadrate Versus QR Matrizen mit vollem Rang 27. Mai 2011 Versus QR Inhaltsverzeichnis 1 2 3 Beispiel 4 Beispiel 5 6 Versus QR Kondition Vergleich Beispiel Versus QR Zu finden: Gerade, die den Punkten (0, 6), (1,

Mehr

Kapitel 2: Lineare Gleichungssysteme

Kapitel 2: Lineare Gleichungssysteme Vorlesung Höhere Mathematik: Numerik (für Ingenieure) Kapitel 2: Lineare Gleichungssysteme Jun.-Prof. Dr. Stephan Trenn AG Technomathematik, TU Kaiserslautern Sommersemester 205 HM: Numerik (SS 205), Kapitel

Mehr

Lineare Algebra. 10. Übungsstunde. Steven Battilana.

Lineare Algebra. 10. Übungsstunde. Steven Battilana. Lineare Algebra. Übungsstunde Steven Battilana stevenb@student.ethz.ch November 3, 26 Erinnerung Gram-Schmidt Verfahren Sei V ein euklidischer/unitärer Vektorraum mit dim(v ) n < Gegeben: W span{v,...,

Mehr

5 Eigenwerte und die Jordansche Normalform

5 Eigenwerte und die Jordansche Normalform Mathematik für Physiker II, SS Mittwoch 8.6 $Id: jordan.tex,v.6 /6/7 8:5:3 hk Exp hk $ 5 Eigenwerte und die Jordansche Normalform 5.4 Die Jordansche Normalform Wir hatten bereits erwähnt, dass eine n n

Mehr

Lineare Gleichungssysteme

Lineare Gleichungssysteme Brückenkurs Mathematik TU Dresden 2015 Lineare Gleichungssysteme Schwerpunkte: Modellbildung geometrische Interpretation Lösungsmethoden Prof. Dr. F. Schuricht TU Dresden, Fachbereich Mathematik auf der

Mehr

4.5 Überbestimmte Gleichungssysteme, Gauß sche Ausgleichrechnung

4.5 Überbestimmte Gleichungssysteme, Gauß sche Ausgleichrechnung 4.5 Überbestimmte Gleichungssysteme, Gauß sche Ausgleichrechnung In vielen Anwendungen treten lineare Gleichungssysteme auf, die eine unterschiedliche Anzahl von Gleichungen und Unbekannten besitzen: Ax

Mehr

3.3 Eigenwerte und Eigenräume, Diagonalisierung

3.3 Eigenwerte und Eigenräume, Diagonalisierung 3.3 Eigenwerte und Eigenräume, Diagonalisierung Definition und Lemma 3.3.1. Sei V ein K-Vektorraum, φ End K (V ), λ K. Wir defnieren den zu λ gehörigen Eigenraum von φ als Dies ist ein Unterraum von V.

Mehr

Matrizennorm. Definition 1. Sei A M r,s (R). Dann heißt A := sup die Matrixnorm. Wir wissen zunächst nicht, ob A eine reelle Zahl ist.

Matrizennorm. Definition 1. Sei A M r,s (R). Dann heißt A := sup die Matrixnorm. Wir wissen zunächst nicht, ob A eine reelle Zahl ist. Matrizennorm Es seien r,s N Mit M r,s (R bezeichnen wir die Menge der reellen r s- Matrizen (also der linearen Abbildungen R s R r, und setze M s (R := M s,s (R (also die Menge der linearen Abbildungen

Mehr

Lineare Gleichungssysteme

Lineare Gleichungssysteme Lineare Gleichungssysteme Eines der am häufigsten auftretenden Standardprobleme der angewandten Mathematik ist das Lösen linearer Gleichungssysteme, etwa zur Netzwerkberechnung in der Elektrotechnik oder

Mehr

2 Die Darstellung linearer Abbildungen durch Matrizen

2 Die Darstellung linearer Abbildungen durch Matrizen 2 Die Darstellung linearer Abbildungen durch Matrizen V und V seien Vektorräume über einem Körper K. Hom K (V, V ) bezeichnet die Menge der K linearen Abbildungen von V nach V. Wir machen Hom K (V, V )

Mehr

A Matrix-Algebra. A.1 Definition und elementare Operationen

A Matrix-Algebra. A.1 Definition und elementare Operationen A Matrix-Algebra In diesem Anhang geben wir eine kompakte Einführung in die Matrizenrechnung bzw Matrix-Algebra Eine leicht lesbare Einführung mit sehr vielen Beispielen bietet die Einführung in die Moderne

Mehr

Lösbarkeit linearer Gleichungssysteme

Lösbarkeit linearer Gleichungssysteme Lösbarkeit linearer Gleichungssysteme Lineares Gleichungssystem: Ax b, A R m n, x R n, b R m L R m R n Lx Ax Bemerkung b 0 R m Das Gleichungssystem heißt homogen a A0 0 Das LGS ist stets lösbar b Wenn

Mehr

8. Quadratische Reste. Reziprozitätsgesetz

8. Quadratische Reste. Reziprozitätsgesetz O Forster: Prizahlen 8 Quadratische Reste Rezirozitätsgesetz 81 Definition Sei eine natürliche Zahl 2 Eine ganze Zahl a heißt uadratischer Rest odulo (Abkürzung QR, falls die Kongruenz x 2 a od eine Lösung

Mehr

Mathematik für Informatiker II. Beispiellösungen zur Probeklausur. Aufgabe 1. Aufgabe 2 (5+5 Punkte) Christoph Eisinger Sommersemester 2011

Mathematik für Informatiker II. Beispiellösungen zur Probeklausur. Aufgabe 1. Aufgabe 2 (5+5 Punkte) Christoph Eisinger Sommersemester 2011 Mathematik für Informatiker II Christoph Eisinger Sommersemester 211 Beispiellösungen zur Probeklausur Aufgabe 1 Gegeben sind die Polynome f, g, h K[x]. Zu zeigen: Es gibt genau dann Polynome h 1 und h

Mehr

37 Gauß-Algorithmus und lineare Gleichungssysteme

37 Gauß-Algorithmus und lineare Gleichungssysteme 37 Gauß-Algorithmus und lineare Gleichungssysteme 37 Motivation Lineare Gleichungssysteme treten in einer Vielzahl von Anwendungen auf und müssen gelöst werden In Abschnitt 355 haben wir gesehen, dass

Mehr

KAPITEL 3. Lineare Gleichungssysteme, direkte Lösungsverfahren

KAPITEL 3. Lineare Gleichungssysteme, direkte Lösungsverfahren KAPITEL 3. Lineare Gleichungssysteme, direkte Lösungsverfahren Beispiel 3.2. Gesucht u(x), das eine Differentialgleichung vom Typ u (x) + λ(x)u(x) = f(x), x [0,], mit den Randbedingungen u(0) = u() = 0

Mehr

Lineare Ausgleichsprobleme. Jetzt: Lösung überbestimmter linearer GS, d.h. mehr Gleichungen als Unbekannte

Lineare Ausgleichsprobleme. Jetzt: Lösung überbestimmter linearer GS, d.h. mehr Gleichungen als Unbekannte Lineare Ausgleichsprobleme Bisher: Lösung linearer GS Ax = b, A R n,n, A regulär, b R n Jetzt: Lösung überbestimmter linearer GS, d.h. mehr Gleichungen als Unbekannte Ax = b mit A R m,n, b R m, m n, rg(a)

Mehr

Vorlesung 12 22. bzw. 23. Januar 2014. Determinanten 1. Cramersche Regel

Vorlesung 12 22. bzw. 23. Januar 2014. Determinanten 1. Cramersche Regel Vorlesung 2 22 bzw 23 Januar 204 Lineares Gleichungssystem a a 2 b b 2 = F a a 2 a 3 b b 2 b 3 c c 2 c 3 = V V =< a, b c > c b a b a F V Seite 70 a x + a 2 x 2 + a 3 x 3 b = 0 < a x + a 2 x 2 + a 3 x 3

Mehr

Numerische Behandlung des Eigenwertproblems

Numerische Behandlung des Eigenwertproblems Numerische Behandlung des Eigenwertproblems Zusammenfassung Das Ziel dieses Vortrages ist, zwei gute Methoden für die numerische Bestimmung der Eigenwerte zu zeigen und wie man diese mit Matlab anwenden

Mehr

1 Singulärwertzerlegung und Pseudoinverse

1 Singulärwertzerlegung und Pseudoinverse Singulärwertzerlegung und Pseudoinverse Singulärwertzerlegung A sei eine Matrix mit n Spalten und m Zeilen. Zunächst sei n m. Bilde B = A A. Dies ist eine n n-matrix. Berechne die Eigenwerte von B. Diese

Mehr

3 Matrizenrechnung. 3. November

3 Matrizenrechnung. 3. November 3. November 008 4 3 Matrizenrechnung 3.1 Transponierter Vektor: Die Notation x R n bezieht sich per Definition 1 immer auf einen stehenden Vektor, x 1 x x =.. x n Der transponierte Vektor x T ist das zugehörige

Mehr

Übungen zur Ingenieur-Mathematik III WS 2009/10 Blatt 10 21.12.2009

Übungen zur Ingenieur-Mathematik III WS 2009/10 Blatt 10 21.12.2009 Übungen zur Ingenieur-Mathematik III WS 2009/10 Blatt 10 21.12.2009 Aufgabe 35: Thema: Singulärwertzerlegung und assoziierte Unterräume Sei A eine m n Matrix mit Rang r und A = UDV T ihre Singulärwertzerlegung.

Mehr

4 Vorlesung: 21.11. 2005 Matrix und Determinante

4 Vorlesung: 21.11. 2005 Matrix und Determinante 4 Vorlesung: 2111 2005 Matrix und Determinante 41 Matrix und Determinante Zur Lösung von m Gleichungen mit n Unbekannten kann man alle Parameter der Gleichungen in einem rechteckigen Zahlenschema, einer

Mehr

Vorlesung Diskrete Strukturen Graphen: Wieviele Bäume?

Vorlesung Diskrete Strukturen Graphen: Wieviele Bäume? Vorlesung Diskrete Strukturen Graphen: Wieviele Bäume? Bernhard Ganter Institut für Algebra TU Dresden D-01062 Dresden bernhard.ganter@tu-dresden.de WS 2013/14 Isomorphie Zwei Graphen (V 1, E 1 ) und (V

Mehr

Lösungen zum 3. Aufgabenblatt

Lösungen zum 3. Aufgabenblatt SS, Lineare Algebra Die Lösungen wurden erstellt von: Isabel Voigt, Vanessa Lamm und Matthias Rehder Hinweis: Eine Liste der zur Bearbeitung verwendeten Literatur ist unter www.mathematiwelt.com aufrufbar.

Mehr

7 Rechnen mit Polynomen

7 Rechnen mit Polynomen 7 Rechnen mit Polynomen Zu Polynomfunktionen Satz. Zwei Polynomfunktionen und f : R R, x a n x n + a n 1 x n 1 + a 1 x + a 0 g : R R, x b n x n + b n 1 x n 1 + b 1 x + b 0 sind genau dann gleich, wenn

Mehr

Einführung in die Vektor- und Matrizenrechnung. Matrizen

Einführung in die Vektor- und Matrizenrechnung. Matrizen Einführung in die Vektor- und Matrizenrechnung Matrizen Definition einer Matrix Unter einer (reellen) m x n Matrix A versteht man ein rechteckiges Schema aus reellen Zahlen, die wie folgt angeordnet sind:

Mehr

Lineare Algebra und Lösung linearer zeitinvarianter Differentialgleichungssysteme

Lineare Algebra und Lösung linearer zeitinvarianter Differentialgleichungssysteme Übung Lineare Algebra und Lösung linearer zeitinvarianter Differentialgleichungssysteme Diese Übung beschäftigt sich mit Grundbegriffen der linearen Algebra. Im Speziellen werden lineare Abbildungen, sowie

Mehr

7 Die Determinante einer Matrix

7 Die Determinante einer Matrix 7 Die Determinante einer Matrix ( ) a11 a Die Determinante einer 2 2 Matrix A = 12 ist erklärt als a 21 a 22 det A := a 11 a 22 a 12 a 21 Es ist S 2 = { id, τ}, τ = (1, 2) und sign (id) = 1, sign (τ) =

Mehr

klar. Um die zweite Bedingung zu zeigen, betrachte u i U i mit u i = 0. Das mittlere -Zeichen liefert s

klar. Um die zweite Bedingung zu zeigen, betrachte u i U i mit u i = 0. Das mittlere -Zeichen liefert s Nachtrag zur allgemeinen Vektorraum-Theorie. 1.5.15. Direkte Summen. Sei V ein Vektorraum, seien U 1,..., U t Unterräume, wir schreiben V = U 1 U 2 U t = t i=1 U i falls die folgenden beiden Bedingungen

Mehr

Mathematik für Naturwissenschaftler, Pruscha & Rost Kap 7 Lösungen

Mathematik für Naturwissenschaftler, Pruscha & Rost Kap 7 Lösungen Mathematik für Naturwissenschaftler, Pruscha & Rost Kap 7 Lösungen a) Es ist < x, y > α + + β β ( + α) und y α + + β α + + ( + α) (α + α + ) 6 α + α, also α, ± 5 + ± 9 4 ± 3 Es gibt also Lösungen: α, β

Mehr

y (k) (0) = y (k) y(z) = c 1 e αz + c 2 e βz. c 1 + c 2 = y 0 k=1 k=1,...,m y k f k (x)

y (k) (0) = y (k) y(z) = c 1 e αz + c 2 e βz. c 1 + c 2 = y 0 k=1 k=1,...,m y k f k (x) 9 Ausgleichsrechnung 9.1 Problemstelllung Eine Reihe von Experimenten soll durchgeführt werden unter bekannten Versuchsbedingungen z Ê m. Es sollen Größen x Ê n bestimmt werden, für die ein Gesetz gelten

Mehr

Musterlösungen zur Linearen Algebra II Blatt 5

Musterlösungen zur Linearen Algebra II Blatt 5 Musterlösungen zur Linearen Algebra II Blatt 5 Aufgabe. Man betrachte die Matrix A := über dem Körper R und über dem Körper F und bestimme jeweils die Jordan- Normalform. Beweis. Das charakteristische

Mehr

50. Mathematik-Olympiade 2. Stufe (Regionalrunde) Klasse 11 13. 501322 Lösung 10 Punkte

50. Mathematik-Olympiade 2. Stufe (Regionalrunde) Klasse 11 13. 501322 Lösung 10 Punkte 50. Mathematik-Olympiade. Stufe (Regionalrunde) Klasse 3 Lösungen c 00 Aufgabenausschuss des Mathematik-Olympiaden e.v. www.mathematik-olympiaden.de. Alle Rechte vorbehalten. 503 Lösung 0 Punkte Es seien

Mehr

Leitfaden Lineare Algebra: Determinanten

Leitfaden Lineare Algebra: Determinanten Leitfaden Lineare Algebra: Determinanten Die symmetrische Gruppe S n. Eine Permutation σ der Menge S ist eine bijektive Abbildung σ : S S. Ist S eine endliche Menge, so reicht es zu verlangen, dass σ injektiv

Mehr

Elemente der Analysis II

Elemente der Analysis II Elemente der Analysis II Kapitel 3: Lineare Abbildungen und Gleichungssysteme Informationen zur Vorlesung: http://www.mathematik.uni-trier.de/ wengenroth/ J. Wengenroth () 15. Mai 2009 1 / 35 3.1 Beispiel

Mehr

LU-Zerlegung. Zusätze zum Gelben Rechenbuch. Peter Furlan. Verlag Martina Furlan. Inhaltsverzeichnis. 1 Definitionen.

LU-Zerlegung. Zusätze zum Gelben Rechenbuch. Peter Furlan. Verlag Martina Furlan. Inhaltsverzeichnis. 1 Definitionen. Zusätze zum Gelben Rechenbuch LU-Zerlegung Peter Furlan Verlag Martina Furlan Inhaltsverzeichnis Definitionen 2 (Allgemeine) LU-Zerlegung 2 3 Vereinfachte LU-Zerlegung 3 4 Lösung eines linearen Gleichungssystems

Mehr

Austausch- bzw. Übergangsprozesse und Gleichgewichtsverteilungen

Austausch- bzw. Übergangsprozesse und Gleichgewichtsverteilungen Austausch- bzw. Übergangsrozesse und Gleichgewichtsverteilungen Wir betrachten ein System mit verschiedenen Zuständen, zwischen denen ein Austausch stattfinden kann. Etwa soziale Schichten in einer Gesellschaft:

Mehr

Lineare Algebra. 5. Übungsstunde. Steven Battilana. battilana.uk/teaching

Lineare Algebra. 5. Übungsstunde. Steven Battilana. battilana.uk/teaching Lineare Algebra. Übungsstunde Steven Battilana stevenb@student.ethz.ch battilana.uk/teaching October 2, 207 Erinnerung Definition. Ein Skalarprodukt ist eine Abbildung, : E n E n E, v, w v, w = n k= v

Mehr

Fachschaft Mathematik und Informatik (FIM) LA I VORKURS. Herbstsemester 2015. gehalten von Harald Baum

Fachschaft Mathematik und Informatik (FIM) LA I VORKURS. Herbstsemester 2015. gehalten von Harald Baum Fachschaft Mathematik und Informatik (FIM) LA I VORKURS Herbstsemester 2015 gehalten von Harald Baum 2. September 2015 Inhaltsverzeichnis 1. Stichpunkte zur Linearen Algebra I 2. Körper 3. Vektorräume

Mehr

1 Lineare Gleichungssysteme

1 Lineare Gleichungssysteme MLAN1 1 LINEARE GLEICHUNGSSYSTEME 1 Literatur: K Nipp/D Stoffer, Lineare Algebra, Eine Einführung für Ingenieure, VDF der ETHZ, 4 Auflage, 1998, oder neuer 1 Lineare Gleichungssysteme Zu den grundlegenden

Mehr

Numerisches Programmieren

Numerisches Programmieren Technische Universität München SoSe 213 Institut für Informatik Prof. Dr. Thomas Huckle Dipl.-Inf. Christoph Riesinger Dipl.-Math. Jürgen Bräckle Numerisches Programmieren 2. Programmieraufgabe: Lineare

Mehr

3.6 Eigenwerte und Eigenvektoren

3.6 Eigenwerte und Eigenvektoren 3.6 Eigenwerte und Eigenvektoren 3.6. Einleitung Eine quadratische n n Matrix A definiert eine Abbildung eines n dimensionalen Vektors auf einen n dimensionalen Vektor. c A x c A x Von besonderem Interesse

Mehr

6 Symmetrische Matrizen und quadratische Formen

6 Symmetrische Matrizen und quadratische Formen Mathematik für Ingenieure II, SS 9 Freitag. $Id: quadrat.tex,v.5 9//5 ::59 hk Exp $ $Id: orthogonal.tex,v.4 9// ::54 hk Exp $ $Id: fourier.tex,v. 9// :: hk Exp $ Symmetrische Matrizen und quadratische

Mehr

Übungen zum Ferienkurs Lineare Algebra WS 14/15

Übungen zum Ferienkurs Lineare Algebra WS 14/15 Übungen zum Ferienkurs Lineare Algebra WS 14/15 Linearkombinationen, Basen, Lineare Abbildungen 2.1 Lineare Unabhängigkeit Sind die folgenden Vektoren linear unabhängig? (a) 1, 2, 3 im Q Vektorraum R (b)

Mehr

2. Dezember Lineare Algebra II. Christian Ebert & Fritz Hamm. Skalarprodukt, Norm, Metrik. Matrizen. Lineare Abbildungen

2. Dezember Lineare Algebra II. Christian Ebert & Fritz Hamm. Skalarprodukt, Norm, Metrik. Matrizen. Lineare Abbildungen Algebra und Algebra 2. Dezember 2011 Übersicht Algebra und Algebra I Gruppen & Körper Vektorräume, Basis & Dimension Algebra Norm & Metrik Abbildung & Algebra I Eigenwerte, Eigenwertzerlegung Singulärwertzerlegung

Mehr

Optimierungsprobleme mit Nebenbedingungen - Einführung in die Theorie, Numerische Methoden und Anwendungen

Optimierungsprobleme mit Nebenbedingungen - Einführung in die Theorie, Numerische Methoden und Anwendungen Optimierungsprobleme mit Nebenbedingungen - Einführung in die Theorie, Numerische Methoden und Anwendungen Dr. Abebe Geletu Ilmenau University of Technology Department of Simulation and Optimal Processes

Mehr

11. Primfaktorzerlegungen

11. Primfaktorzerlegungen 78 Andreas Gathmann 11 Primfaktorzerlegungen Euch ist sicher aus der Schule bekannt, dass sich jede positive ganze Zahl a als Produkt a = p 1 p n von Primzahlen schreiben lässt, und dass diese Darstellung

Mehr

47 Singulärwertzerlegung

47 Singulärwertzerlegung 47 Singulärwertzerlegung 47.1 Motivation Wir haben gesehen, dass symmetrische Matrizen vollständig mithilfe ihrer Eigenwerte und Eigenvektoren beschrieben werden können. Diese Darstellung kann unmittelbar

Mehr

3 Lineare Algebra Vektorräume

3 Lineare Algebra Vektorräume 3 Lineare Algebra Vektorräume (31) Sei K ein Körper Eine kommutative Gruppe V bzgl der Operation + ist ein Vektorraum über K, wenn eine Operation : K V V (λ, v) λv existiert mit i) v,w V λ,µ K: λ (v +

Mehr

x 2 2x + = 3 + Es gibt genau ein x R mit ax + b = 0, denn es gilt

x 2 2x + = 3 + Es gibt genau ein x R mit ax + b = 0, denn es gilt - 17 - Die Frage ist hier also: Für welche x R gilt x = x + 1? Das ist eine quadratische Gleichung für x. Es gilt x = x + 1 x x 3 = 0, und man kann quadratische Ergänzung machen:... ( ) ( ) x x + = 3 +

Mehr

(λ Ri I A+BR)v Ri = 0. Lässt sich umstellen zu

(λ Ri I A+BR)v Ri = 0. Lässt sich umstellen zu Herleitung der oppenecker-formel (Wiederholung) Für ein System ẋ Ax + Bu (B habe Höchstrang) wird eine Zustandsregelung u x angesetzt. Der geschlossene egelkreis gehorcht der Zustands-Dgl. ẋ (A B)x. Die

Mehr

d) Produkte orthogonaler Matrizen sind wieder orthogonal.

d) Produkte orthogonaler Matrizen sind wieder orthogonal. Die orthogonale Matrizen Definition: Eine Matrix Q R n n heißt orthogonal, falls QQ T = Q T Q = I gilt. Die Eigenschaften orthogonaler Matrizen: a) det(q) = ±1; b) Qx 2 = x 2 für alle x R n, also Q 2 =

Mehr

Spezielle Matrixformen

Spezielle Matrixformen Definition B57 (Transposition) Eine einfache aber wichtige Operation auf Matrizen ist die Transposition, die aus einer (m n) Matrix A eine (n m) Matrix B = A T macht Hierbei gilt β i j = α j i, so daß

Mehr

13. Lineare DGL höherer Ordnung. Eine DGL heißt von n-ter Ordnung, wenn Ableitungen y, y, y,... bis zur n-ten Ableitung y (n) darin vorkommen.

13. Lineare DGL höherer Ordnung. Eine DGL heißt von n-ter Ordnung, wenn Ableitungen y, y, y,... bis zur n-ten Ableitung y (n) darin vorkommen. 13. Lineare DGL höherer Ordnung. Eine DGL heißt von n-ter Ordnung, wenn Ableitungen y, y, y,... bis zur n-ten Ableitung y (n) darin vorkommen. Sie heißt linear, wenn sie die Form y (n) + a n 1 y (n 1)

Mehr

Lineare Gleichungssysteme. Lineare Gleichungssysteme. LR Zerlegung ohne Pivotsuche. Zerlegung regulärer Matrizen

Lineare Gleichungssysteme. Lineare Gleichungssysteme. LR Zerlegung ohne Pivotsuche. Zerlegung regulärer Matrizen Heinrich Voss voss@tu-harburg.de Hamburg University of Technology Institute for Numerical Simulation Betrachte ein lineares Gleichungssystem Ax = b (1) Es sei A C n n eine gegebene regulär Matrix. Dann

Mehr

Hilfsblätter Lineare Algebra

Hilfsblätter Lineare Algebra Hilfsblätter Lineare Algebra Sebastian Suchanek unter Mithilfe von Klaus Flittner Matthias Staab c 2002 by Sebastian Suchanek Printed with L A TEX Inhaltsverzeichnis 1 Vektoren 1 11 Norm 1 12 Addition,

Mehr

D-INFK Lineare Algebra HS 2017 Özlem Imamoglu Olga Sorkine-Hornung. Serie 11

D-INFK Lineare Algebra HS 2017 Özlem Imamoglu Olga Sorkine-Hornung. Serie 11 D-INFK Lineare Algebra HS 2017 Özlem Imamoglu Olga Sorkine-Hornung Serie 11 1. Wir betrachten das überbestimmte Gleichungssystem Ax = y mit 1 1 1 1 A := 1 1 0 1 0 1, y := 2 3 0 0 1 4 Berechnen Sie die

Mehr

Kevin Caldwell. 18.April 2012

Kevin Caldwell. 18.April 2012 im Rahmen des Proseminars Numerische Lineare Algebra von Prof.Dr.Sven Beuchler 18.April 2012 Gliederung 1 2 3 Mathematische Beschreibung von naturwissenschaftlich-technischen Problemstellungen führt häufig

Mehr

Lineare Gleichungssysteme I (Matrixgleichungen)

Lineare Gleichungssysteme I (Matrixgleichungen) Lineare Gleichungssysteme I (Matrigleichungen) Eine lineare Gleichung mit einer Variable hat bei Zahlen a, b, die Form a b. Falls hierbei der Kehrwert von a gebildet werden darf (a 0), kann eindeutig aufgelöst

Mehr

Gaußsche Ausgleichsrechnung

Gaußsche Ausgleichsrechnung Kapitel 6 Gaußsche Ausgleichsrechnung 6. Gaußsche Methode der kleinsten Fehlerquadrate Die Gaußsche Methode der kleinsten Fehlerquadrate wurde 89 von C.F. Gauß in dem Aufsatz Theorie der Bewegung der Himmelkörper

Mehr

6 Symmetrische Matrizen und quadratische Formen

6 Symmetrische Matrizen und quadratische Formen Mathematik für Ingenieure II, SS 009 Dienstag 3.6 $Id: quadrat.tex,v.4 009/06/3 4:55:47 hk Exp $ 6 Symmetrische Matrizen und quadratische Formen 6.3 Quadratische Funktionen und die Hauptachsentransformation

Mehr

Zusatztutorium, 25.01.2013

Zusatztutorium, 25.01.2013 Zusatztutorium, 25.01.2013 David Müßig muessig[at]mi.fu-berlin.de http://page.mi.fu-berlin.de/def/tutorium/ WiSe 12/13 1 Der Homomorphiesatz Der Homomorphiesatz scheint für viele eine Art rotes Tuch zu

Mehr

a b Q = b a 0 ) existiert ein Element p Q, so dass gilt: q 1 q 2 = 2 b 1 b 2 a 1 b 2 a 2 b 1 a 1 a 2 b 1 b 2 a 1 b 2 a 2 b 1 a b p = 1 det(q) C 2 2,

a b Q = b a 0 ) existiert ein Element p Q, so dass gilt: q 1 q 2 = 2 b 1 b 2 a 1 b 2 a 2 b 1 a 1 a 2 b 1 b 2 a 1 b 2 a 2 b 1 a b p = 1 det(q) C 2 2, Aufgabe I Es sei Q die folgende Teilmenge von C 2 2 : { ( ) a b Q a, b C b a Hier bezeichnet der Querstrich die komplexe Konjugation Zeigen Sie: (a) Mit den üblichen Verknüpfungen + und für Matrizen ist

Mehr

Elemente der Analysis I Kapitel 2: Einführung II, Gleichungen

Elemente der Analysis I Kapitel 2: Einführung II, Gleichungen Elemente der Analysis I Kapitel 2: Einführung II, Gleichungen Prof. Dr. Volker Schulz Universität Trier / FB IV / Abt. Mathematik 8. November 2010 http://www.mathematik.uni-trier.de/ schulz/elan-ws1011.html

Mehr

Numerische Lineare Algebra

Numerische Lineare Algebra Numerische Lineare Algebra Vorlesung 5 Prof. Dr. Klaus Höllig Institut für Mathematischen Methoden in den Ingenieurwissenschaften, Numerik und Geometrische Modellierung SS 21 Prof. Dr. Klaus Höllig (IMNG)

Mehr

Algebraische Kurven. Vorlesung 26. Die Schnittmultiplizität

Algebraische Kurven. Vorlesung 26. Die Schnittmultiplizität Prof. Dr. H. Brenner Osnabrück SS 2012 Algebraische Kurven Vorlesung 26 Die Schnittmultiplizität Es seien zwei ebene algebraische Kurven C,D A 2 K gegeben, die keine Komponente gemeinsam haben. Dann besteht

Mehr

Lösungen Serie 2. D-MAVT Lineare Algebra II FS 2018 Prof. Dr. N. Hungerbühler 1 0 1? 0 1 1

Lösungen Serie 2. D-MAVT Lineare Algebra II FS 2018 Prof. Dr. N. Hungerbühler 1 0 1? 0 1 1 D-MAVT Lineare Algebra II FS 8 Prof. Dr. N. Hungerbühler Lösungen Serie. Welche der folgenden Vektoren sind Eigenvektoren der Matrix? (a) (,, ). Ein Vektor v ist Eigenvektor von A :=, falls Av ein skalares

Mehr

Inhalt. Mathematik für Chemiker II Lineare Algebra. Vorlesung im Sommersemester Kurt Frischmuth. Rostock, April Juli 2015

Inhalt. Mathematik für Chemiker II Lineare Algebra. Vorlesung im Sommersemester Kurt Frischmuth. Rostock, April Juli 2015 Inhalt Mathematik für Chemiker II Lineare Algebra Vorlesung im Sommersemester 5 Rostock, April Juli 5 Vektoren und Matrizen Abbildungen 3 Gleichungssysteme 4 Eigenwerte 5 Funktionen mehrerer Variabler

Mehr

4 Lineare Ausgleichsrechnung

4 Lineare Ausgleichsrechnung Numerik I 15 4 Lineare Ausgleichsrechnung Die folgende Tabelle zeigt die Bevölkerungsentwicklung in den U.S.A. 19 191 192 193 194 75.995 91.972 15.711 123.23 131.669 195 196 197 198 199 15.697 179.323

Mehr

6. Übungsblatt zur Mathematik II für Inf, WInf

6. Übungsblatt zur Mathematik II für Inf, WInf Fachbereich Mathematik Prof. Dr. Streicher Dr. Sergiy Nesenenko Pavol Safarik SS 5. 9. Mai 6. Übungsblatt zur Mathematik II für Inf, WInf Gruppenübung Aufgabe G (Standardskalarprodukt Sei v, e R und es

Mehr

Lineare Algebra und Numerische Mathematik für D-BAUG

Lineare Algebra und Numerische Mathematik für D-BAUG P Grohs T Welti F Weber Herbstsemester 215 Lineare Algebra und Numerische Mathematik für D-BAUG ETH Zürich D-MATH Beispiellösung für Serie 12 Aufgabe 121 Matrixpotenzen und Eigenwerte Diese Aufgabe ist

Mehr

Effiziente Algorithmen und Datenstrukturen I. Kapitel 10: Lineare Algebra

Effiziente Algorithmen und Datenstrukturen I. Kapitel 10: Lineare Algebra Effiziente Algorithmen und Datenstrukturen I Kapitel 10: Lineare Algebra Christian Scheideler WS 2008 19.02.2009 Kapitel 10 1 Überblick Notation Arithmetik auf großen Zahlen (Addition und Multiplikation)

Mehr

Lineare Gleichungssysteme

Lineare Gleichungssysteme Lineare Gleichungssysteme 1 Wiederholung Eine Menge von Vektoren a 1, a 2,, a k heisst linear unabhängig, wenn eine Linearkombination c 1 a 1 + c 2 a 2 + + c k a k = k c i a i (1) i=1 nur dann Null sein

Mehr

Maple-Skripte. A.1 Einleitung. A.2 Explizite Zweischritt-Runge-Kutta-Verfahren. Bei der Ausführung

Maple-Skripte. A.1 Einleitung. A.2 Explizite Zweischritt-Runge-Kutta-Verfahren. Bei der Ausführung A Maple-Skripte A.1 Einleitung Bei der Ausführung mechanischer Rechnungen können Computeralgebra-Programme sehr nützlich werden. Wenn man genau weiß, was eingesetzt, umgeformt, zusammengefaßt oder entwickelt

Mehr

Numerisches Rechnen. (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang. Institut für Geometrie und Praktische Mathematik RWTH Aachen

Numerisches Rechnen. (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang. Institut für Geometrie und Praktische Mathematik RWTH Aachen Numerisches Rechnen (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang Institut für Geometrie und Praktische Mathematik RWTH Aachen Wintersemester 2011/12 IGPM, RWTH Aachen Numerisches Rechnen

Mehr

Einführung in die Algebra

Einführung in die Algebra Prof. Dr. H. Brenner Osnabrück SS 2009 Einführung in die Algebra Vorlesung 13 Einheiten Definition 13.1. Ein Element u in einem Ring R heißt Einheit, wenn es ein Element v R gibt mit uv = vu = 1. DasElementv

Mehr

Numerisches Programmieren, Übungen

Numerisches Programmieren, Übungen Technische Universität München SoSe 3 Institut für Informatik Prof. Dr. Thomas Huckle Dipl.-Inf. Christoph Riesinger Dipl.-Math. Jürgen Bräckle Numerisches Programmieren, Übungen Musterlösung 3. Übungsblatt:

Mehr

Musterlösungen Blatt Mathematischer Vorkurs. Sommersemester Dr. O. Zobay. Matrizen

Musterlösungen Blatt Mathematischer Vorkurs. Sommersemester Dr. O. Zobay. Matrizen Musterlösungen Blatt 8 34007 Mathematischer Vorkurs Sommersemester 007 Dr O Zobay Matrizen Welche Matrixprodukte können mit den folgenden Matrizen gebildet werden? ( 4 5 A, B ( 0 9 7, C 8 0 5 4 Wir können

Mehr

4.4 Orthogonalisierungsverfahren und die QR-Zerlegung

4.4 Orthogonalisierungsverfahren und die QR-Zerlegung 4.4 Orthogonalisierungsverfahren und die QR-Zerlegung Die Zerlegung einer regulären Matrix A R n n in die beiden Dreiecksmatrizen L und R basiert auf der Elimination mit Frobeniusmatrizen, d.h. R = FA,

Mehr

Primzahlen und RSA-Verschlüsselung

Primzahlen und RSA-Verschlüsselung Primzahlen und RSA-Verschlüsselung Michael Fütterer und Jonathan Zachhuber 1 Einiges zu Primzahlen Ein paar Definitionen: Wir bezeichnen mit Z die Menge der positiven und negativen ganzen Zahlen, also

Mehr

Lineare Algebra - alles was man wissen muß

Lineare Algebra - alles was man wissen muß Statistik für Bioinformatiker SoSe 3 Rainer Spang Lineare Algebra - alles was man wissen muß Der Titel ist natürlich gelogen, aber was wir hier zusammengetragen haben ist zumindest ein Anfang. Weniger

Mehr

Lösungsvorschlag für die Probeklausuren und Klausuren zu Algebra für Informations- und Kommunikationstechniker bei Prof. Dr.

Lösungsvorschlag für die Probeklausuren und Klausuren zu Algebra für Informations- und Kommunikationstechniker bei Prof. Dr. Lösungsvorschlag für die Probeklausuren und Klausuren zu Algebra für Informations- und Kommunikationstechniker bei Prof. Dr. Kurzweil Florian Franzmann André Diehl Kompiliert am 10. April 2006 um 18:33

Mehr

Das Briefträgerproblem

Das Briefträgerproblem Das Briefträgerproblem Paul Tabatabai 30. Dezember 2011 Inhaltsverzeichnis 1 Problemstellung und Modellierung 2 1.1 Problem................................ 2 1.2 Modellierung.............................

Mehr

Charakteristikenmethode im Beispiel

Charakteristikenmethode im Beispiel Charakteristikenmethode im Wir betrachten die PDE in drei Variablen xu x + yu y + (x + y )u z = 0. Das charakteristische System lautet dann ẋ = x ẏ = y ż = x + y und besitzt die allgemeine Lösung x(t)

Mehr

6 Lösungsverfahren für lineare Gleichungssysteme

6 Lösungsverfahren für lineare Gleichungssysteme 6 Lösungsverfahren für lineare Gleichungssysteme Jörn Loviscach Versionsstand:. März 04, :07 Die nummerierten Felder sind absichtlich leer, zum Ausfüllen beim Ansehen der Videos: http://www.jl7h.de/videos.html

Mehr

(d) das zu Grunde liegende Problem gut konditioniert ist.

(d) das zu Grunde liegende Problem gut konditioniert ist. Aufgabe 0: (6 Punkte) Bitte kreuzen Sie die richtige Lösung an. Es ist jeweils genau eine Antwort korrekt. Für jede richtige Antwort erhalten Sie einen Punkt, für jede falsche Antwort wird Ihnen ein Punkt

Mehr

Erinnerung/Zusammenfassung zu Abbildungsmatrizen

Erinnerung/Zusammenfassung zu Abbildungsmatrizen Erinnerung/Zusammenfassung zu Abbildungsmatrizen Thomas Coutandin (cthomas@student.ethz.ch) 7. November 2 Abbildungsmatrizen Im Folgenden betrachten wir stets endlich dimensionale K-Vektorräume (K irgend

Mehr

LINEARE ALGEBRA II. FÜR PHYSIKER

LINEARE ALGEBRA II. FÜR PHYSIKER LINEARE ALGEBRA II FÜR PHYSIKER BÁLINT FARKAS 4 Rechnen mit Matrizen In diesem Kapitel werden wir zunächst die so genannten elementaren Umformungen studieren, die es ermöglichen eine Matrix auf besonders

Mehr

Überbestimmte Gleichungssysteme

Überbestimmte Gleichungssysteme Siebente Vorlesung, 8. Mai 2008, Inhalt Überbestimmte Gleichungssysteme Kleinste Quadrate: einfaches Beispiel, elementare Herleitung Normalengleichungen Transformation mit QR-Zerlegung und SVD Nichtlineare

Mehr