Lineare Gleichungssysteme II

Transkript

1 Lineare Gleichungssysteme II 5. Vorlesung Numerische Methoden I Clemens Brand und Erika Hausenblas Montanuniversität Leoben 2. April 206

2 Lineare Gleichungssysteme II Lösbarkeit, Fehlerempfindlichkeit Matrixalgebra Lösbarkeit: Fallunterscheidungen MATLAB und lineare Systeme Fehlerempfindlichkeit, Konditionszahl 2 Direkte Verfahren Dreiecksmatrizen Gauß-Elimination Pivotisierung Stufenform 3 Matrixzerlegungen Links-Rechts-Zerlegung Orthogonale Matrizen QR-Zerlegung Singulärwertzerlegung 4 Überbestimmte Systeme Kleinste Quadrate Lösung durch QR-Zerlegung Clemens Brand und Erika Hausenblas 2. April / 64

3 Gliederung 4. Vorlesung Lösbarkeit, Fehlerempfindlichkeit Matrixalgebra Lösbarkeit: Fallunterscheidungen MATLAB und lineare Systeme Fehlerempfindlichkeit, Konditionszahl 2 Direkte Verfahren Dreiecksmatrizen Gauß-Elimination Pivotisierung Stufenform 3 Matrixzerlegungen Links-Rechts-Zerlegung Orthogonale Matrizen QR-Zerlegung Singulärwertzerlegung 4 Überbestimmte Systeme Kleinste Quadrate Lösung durch QR-Zerlegung Clemens Brand und Erika Hausenblas 2. April / 64

4 Lineares Gleichungssystem in n Gleichungen und Unbekannten a x + a 2 x a n x n = b a 2 x + a 22 x a 2n x n = b 2... a n x + a n2 x a nn x n = b n In Matrixschreibweise: Ax = b. Gleichungssysteme lassen sich in Matrix-Schreibweise übersichtlich und prägnant formulieren. Machen Sie sich mit den Bezeichnungen und Regeln der Matrizenrechnung vertraut!

5 Einheitsmatrix, Inverse und Transponierte Diese Begriffe sollten sie kennen... Die 3 3-Einheitsmatrix. Wichtige Eigenschaft: A I = I A = A 0 0 I = Die Inverse von M. Wichtige Eigenschaft: M M = M M = I M = Ein recht simples Beispiel: Das Magische Quadrat der Ordnung M = Die transponierte Matrix M T M T = MATLAB: eye(3), m=magic(3), inv(m), m

6 Matrix-Algebra Produkt von Matrizen A B = C Element c ij ist Skalarprodukt der i-ten Zeile von A mit der j-ten Spalte von B. A : (l m)-matrix B : (m n)-matrix C : (l m) (m n) (l n)-matrix Spaltenanzahl von A und Zeilenanzahl von B müssen übereinstimmen! Im Allgemeinen nicht kommutativ: A B B A!

7 Matrizenrechnung in MATLAB A Matrixtransposition A T A+B, A-B Matrixaddition, -subtraktion A.*B, A./B elementweise Multiplikation, Division A*B Matrixmultiplikation A/B sehr schräge Schreibung: Division A B A\B noch schräger: Division A B Wichtiger Befehl: A\b liefert Lösung des Gleichungssystems A x = b (aber nicht in der Form x = A b, sondern durch Gauß-Elimination.)

8 Gleichungssysteme: Aufgabenstellung Eine der wichtigsten Aufgaben bei technisch-wissenschaftlichen Berechnungen ist das Lösen linearer Gleichungssysteme Ax = b AX = B XA = B gegeben: A, b. gesucht: Vektor x B und X können auch Matrizen sein kommt selten vor Oft ist A quadratisch, und man sucht eine eindeutige Lösung. Ist A eine m n-matrix mit m > n (mehr Zeilen als Spalten, d.h. mehr Gleichungen als Unbekannte): überbestimmtes System, man kann Lösung mit kleinsten Fehlerquadrat suchen. Ist m < n: unterbestimmtes System. Gesucht: ein- oder mehrparametrige Lösungsschar

9 Fallunterscheidungen bei Gleichungssystemen Vorübung: eine Gleichung, eine Unbekannte Die lineare Gleichung ax = b a, b gegeben, x gesucht hat eine eindeutige Lösung genau dann, wenn a 0 unendlich viele Lösungen genau dann, wenn a = b = 0 keine Lösung genau dann, wenn a = 0, b 0 Bei Systemen linearer Gleichungen treten diese Fälle in ganz ähnlicher Weise auf.

10 Zwei Gleichungen, zwei Unbekannte [ ] [ ] x = y [ ] 2 eindeutige Lösung x = 0 y = /2 [ ] [ ] x = y [ ] viele Lösungen x = 0,, 2, 3,... 3 y = /2, 0 /2,,... [ ] [ ] x = y [ ] 2 keine Lösung Die Determinante determiniert: Im ersten Fall ist det A 0, in den anderen beiden Fällen ist det A = 0

11 Systeme Ax = b mit quadratischer Matrix Ein lineares Gleichungssystem mit quadratischer n n-matrix ist genau dann eindeutig lösbar, wenn rang A = n (det(a) 0). Andernfalls gibt es keine eindeutige (wenn rang A = rang[a, b]), oder überhaupt keine Lösung (wenn rang A rang[a, b]). Der Fall det(a) 0 ist (algebraisch) gleichbedeutend mit Alle n Zeilen von A sind linear unabhängig (ebenso die Spalten). rang(a) = n Wissen Sie, was der Rang einer Matrix ist? A ist nichtsingulär A ist regulär MATLAB: A\b findet die eindeutige Lösung, falls det A 0

12 Sonderfall bei singulärer quadratischer Matrix 2 3 Die Zeilen von A sind linear abhängig: A = 4 5 6, b = 2 A(3, :) = 2A(2, :) A(, :) Dieselbe Abhängikeit gilt auch, wenn man die rechte Seite miteinbezieht Wenn Matrix und erweiterte Matrix gleichen Rang haben, rang A = rang[a, b] = k < n, dann hat das System eine (n k)-parametrige Lösungsschar. /3 + z x = 2/3 2z z In diesem Beispiel: rang A = rang[a, b] = 2, daher (3 2) = -parametrige Lösungsschar; z ist freier Parameter MATLAB: A\b gibt eine Warnung. Findet (manchmal) eine Lösung, in der möglichst viele Komponenten = 0 sind. Für dieses Beispiel x = 3, x2 = 2 3, x3 = 0

13 Sonderfall 2 bei singulärer quadratischer Matrix 2 3 Die Zeilen von A sind linear abhängig. Das gilt aber A = 4 5 6, b = 2 nicht mehr für die erweiterte Matrix [A, b]. Das Doppelte von Gl. 2, minus Gl. liefert Gl. 3 mit anderer rechter Seite Widerspruch! Wenn der Rang der Matrix ungleich dem Rang der erweiterten Matrix ist, rang A rang[a, b], dann hat das System keine exakte Lösung. MATLAB: A\b gibt eine Warnung. Findet keine Lösung, oder eine Lösung mit völlig falschen Zahlenwerten.

14 Quadratische Systeme Ax = b MATLAB-Befehle \ und pinv x=a\b berechnet mit einem Eliminationsverfahren für nichtsinguläre Matrizen die eindeutige Lösung. für singuläre Matrizen, wenn eine Lösungsschar existiert, manchmal eine Lösung mit möglichst vielen Null-Komponenten, für singuläre Matrizen, wenn keine Lösung existiert, meistens Unsinn. x=pinv(a)*b berechnet mit Hilfe der Pseudoinversen für nichtsinguläre Matrizen mit unnötig hohem Aufwand die eindeutige Lösung. für singuläre Matrizen, wenn eine Lösungsschar existiert, eine Lösung mit minimaler 2-Norm. für singuläre Matrizen, wenn keine Lösung existiert, die am wenigsten falsche Lösung : jene, für die der Rest-Vektor r = Ax b am kleinsten ist. Kleinste-Quadrate-Lösung Ax b 2 min!

15 Quadratische Systeme Ax = b MATLAB-Befehle rank und rref rank(a) und rank([a,b]) geben MATLABs Meinung zum Rang von Matrix und erweiterter Matrix. Rang-Bestimmung ist numerisch heikel Linear abhängige Matrixzeilen können durch beliebig kleine Änderungen in den Koeffizienten (z. B. Rundungsfehler) unabhängig werden. Rangbestimmung ist daher numerisch heikel und von einer Fehlertoleranz abhängig. MATLABs rank-funktion verwendet Singulärwertzerlegung, ein aufwändiges, aber verlässliches Verfahren. rref([a,b]) berechnet mit einem speziellen Eliminationsverfahren (Gauß-Jordan) eine reduzierte Treppenform des Systems (reduced row echelon form), aus der alle Lösungsfälle abgelesen werden können.

16 Beispiele zu rref A = 2 3, b = 6, rref([a,b]) = Eindeutige Lösung; links die Einheitsmatrix, rechts der Lösungsvektor A = , b =, rref([a,b]) = Zwei Nullzeilen in Matrix und erweiterter Matrix: Rang = n-2, zweiparametrige Lösungsschar: wähle x 3 und x 4 beliebig, bestimme x und x 2 aus den ersten beiden Gleichungen. x = 2 + x 3 + 2x 4, x 2 = 2x 3 + 3x 4

17 Beispiele zu rref Mit derselben Matrix wie vorhin, aber anderer rechter Seite A = , b =, rref([a,b]) = Zwei Nullzeilen in Matrix, aber nur eine in erweiterter Matrix: keine Lösung.

18 Gleichungssysteme nicht durch Multiplikation mit Inverser lösen! Die Gleichung 7x = 3 lösen Sie ja auch nicht, indem sie zuerst 7 = 0, 429 berechnen und dann x = 0, auswerten. Sie formen die Gleichung natürlich um und rechnen x = 3 7. MATLABs Befehl für Gleichungslösen ist \ und nicht inv In MATLAB differieren inv(7)*3 und 7\3 um 2, Berechnung der Inversen und anschließende Multiplikation ist sehr viel rechenaufwändiger und anfälliger gegen Rundungsfehler als direktes Gleichungslösen!

19 Fehlerempfindlichkeit, Konditionszahl Konditionszahl Die Konditionszahl κ(a) einer Matrix A misst für das Gleichungssystem Ax = b, wie empfindlich der relative Fehler von x von kleinen relativen Änderungen in A und b abhängt. Zusammenhang Konditionszahl relative Fehler ( δx δa x κ(a) A + δb ) mit κ(a) = A A b Der relative Fehler in x kann also κ(a) mal größer als der relative Fehler in A und b sein.

20 Determinante und Rang det A 0 ist numerisch unbrauchbar Das Kriterium det A 0 für die Lösbarkeit eines Gleichungssystems ist nur bei Matrizen mit wenigen Zeilen und kleinen ganzzahligen Elementen anwendbar. Ansonsten können Rundungsfehler das Ergebnis verfälschen. MATLAB-Beispiele A=rosser liefert 8 8-Matrix, det(a)= (korrekt wäre 0!). H=hilb(6) liefert 6 6-Matrix, det(h)=5.3673e-8. Das sieht aus wie det H = 0, trotzdem ist die Matrix nicht singulär. Rang einer Matrix wird numerisch verlässlicher berechnet Das Kriterium rang A = n ist besser geeignet, um Lösbarkeit festzustellen. Im obigen Beispiel rechnet MATLAB (korrekt): rank(a)=7, rank(h)=6

21 Lösbarkeit und Konditionszahl Die Konditionszahl lässt besser abschätzen, ob eine Matrix singulär oder nahezu singulär ist. MATLAB liefert für die rosser-matrix cond(a) =.387e+6 Rundungsfehler werden 0 6 -fach verstärkt. Bei 6-stelliger Genauigkeit bedeutet das: Ergebnis völlig falsch! Konditionszahl 0 6 Gleichungssystem praktisch unlösbar Man sagt, A ist numerisch singulär. Der MATLAB-Operator \ zum Gleichungslösen macht automatisch eine Schätzung der reziproken Konditionszahl und liefert Warnung.» A\b Warning: Matrix is close to singular or badly scaled. Results may be inaccurate. RCOND = e-7.

22 Konditionszahl, Beispiel 4 4 Hilbertmatrix H H = , H = Zeilensummennorm von Matrix und Inverser: H = 2,08; H = 3 620; κ(h) = Störungen in den Daten werden fach verstärkt.

23 4 4 Hilbertmatrix H, rechte Seite b = (,,, ) T Exakte Lösung ist x = Ändere das Element h 44 : addiere /000. Lösung ändert sich auf x =, 5789, , , 842

24 Zusammenfassung Wichtige Punkte zur Lösbarkeit linearer Systeme Lösbarkeit: Drei Fälle sind möglich Rang der (erweiterten) Matrix, Determinante MATLAB-Befehle rref, rank, det Berechnen der Lösung in MATLAB: wann wie? mit x=a\b mit rref([a,b]) mit Pseudoinverser: x=pinv(a)*b was liefert null(a)? warum löst man nicht in der Form x = A b?

25 Zusammenfassung (Fortsetzung) weitere wichtige Begriffe Konditionszahl: misst, wie empfindlich die Lösung von kleinen Fehlern in Matrix und rechter Seite abhängt. Zum Verständnis notwendige Begriffe: Matix- und Vektornorm Schlecht konditionierte Matrix; numerisch singuläre Matrix

27 Dreiecksmatrizen Gleichungssysteme mit Dreiecksmatrizen sind direkt auflösbar Beispiel für n = 4: Linke untere und rechte obere Dreiecksmatrix r r 2 r 3 r 4 L = l l 3 l 32 0, R = 0 r 22 r 23 r r 33 r 34 l 4 l 42 l r 44 Vorwärts- bzw. Rückwärts-Substitution löst Gleichungssysteme mit Dreiecksform. Rechenaufwand bei einem n n-system beträgt jeweils n 2 /2 + O(n) Punktoperationen.

28 Klassische Gauß-Elimination transformiert ein Gleichungssystem auf obere Dreiecksform (sofern bei der Pivot-Berechnung immer a kk 0!) Für alle Spalten k =,... n in Spalte k: für Zeilen unterhalb des Diagonalelements Zeilenindex i = k +,..., n setze p = a ik /a kk (Pivot-Koeffizient) subtrahiere das p-fache derzeile k von Zeile i: Für die Spalten j = k,... n von Zeile i a ij = a ij pa kj Für rechte Seite: b i = b i pb k Rechenaufwand beträgt n 3 /3 + O(n 2 ) Punktoperationen

29 Beispiel Lösung eines Gleichungssystems durch Elimination Das Gaußsche Eliminationsverfahren transformiert sofern bei der Pivot-Berechnung immer a kk 0! die erweiterte Koeffizientenmatrix auf Dreiecksgestalt [A b] = Rücksubstitution liefert Lösung.

30 Warnhinweis If anything can go wrong, it will! Das Eliminationsverfahren in der oben angegebenen einfachen Form bricht zusammen, wenn in seinem Verlauf a kk = 0 auftritt. Division durch Null bei der Berechnung des Pivot-Koeffizienten. Abhilfe Pivotisierung! Pivot = Dreh-, Angelpunkt.

31 Pivotisierung Systematisches Vertauschen von Gleichungen und Unbekannten verhindert vorzeitige Division durch a kk = 0 im Eliminationsverfahren. vollständige Pivotisierung Sucht betragsgrößtes Element unter allen Einträgen in den Positionen von a kk bis a nn und bringt es an die kk-position. Vertauscht Gleichungen und Unbekannte. Spalten-Pivotisierung Sucht nur in der k-ten Spalte, vom Element a kk an abwärts. Vertauscht nur Geichungen, behält Reihenfolge der Unbekannten. Standardverfahren!. Zusatz-Nutzen Pivotisierung verringert Rundungsfehler bei der Elimination.

32 Stufenform und Lösbarkeit Mögliche Fälle nach Abschluss des Eliminationsverfahrens Gauß-Elimination mit vollständiger oder Zeilen-Pivotsuche transformiert die Originalmatrix A und rechte Seite b auf ein System in Stufenform: In jeder Zeile verringert sich die Zahl der Unbekannten um mindestens eine, die dann auch in den darauffolgenden Zeilen nicht mehr vorkommt. Nach Transformation auf Stufenform Es treten Nullzeilen in A auf und alle entsprechenden Einträge in b sind ebenfals Null: unendlich viele Lösungen Es treten Nullzeilen in A auf, aber zumindest ein entsprechender Eintrage in b ist nicht Null: keine Lösung Es treten keine Nullzeilen in A auf: eindeutige Lösung

33 Gauß-Jordan-Verfahren Eine erweiterte Variante der Standard-Gauß-Elimination Das Gauß-Jordan-Verfahren transformiert die erweiterte Koeffizientenmatrix auf reduzierte Stufenform (reduced row echelon form). Die Lösung ist direkt ablesbar [A b] = , rref([a, b]) /20 2/0 [A b] = , rref([a, b]) 0 9/8 3/ /20 0 [A b] = , rref([a, b]) 0 9/

37 Die Matrix-Vektor-Multiplikation y = A x Grundlegende Bedeutung einer n m-matrix A Eine Matrix definiert durch y = A x eine lineare Abbildung R m R n. Der Hauptberuf einer Matrix ist, aus einem Vektor einen anderen zu machen Im Allgemeinen ändert die Matrix dadurch Richtung, Betrag (und sogar Dimension) eines Vektors. Matrixzerlegungen spalten die Aktion der Matrix in leichter zu durchblickende Einzelschritte auf. Links-Rechts-Zerlegung A = L R QR-Zerlegung A = Q R Singulärwertzerlegung A = U S V T

40 Wiederholung: LR-Zerlegung A = L R Das Gaußsche Eliminationsverfahren ohne Pivotisierung faktorisiert (wenn es nicht abbricht) eine Matrix A in ein Produkt A = LR aus einer linken unteren Dreiecksmatrix L und einer rechten oberen Dreiecksmatrix R =

41 LR-Zerlegung allgemein Jede quadratische oder auch rechteckige Matrix lässt sich in ein Produkt der Form A = L R zerlegen. Dabei ist L eine links-unten-dreiecksmatrix mit -Diagonale (zumindest, wenn man die Zeilen von L passend umordnet) R eine obere Dreiecksmatrix MATLAB: [L U]=lu(A) zerlegt beispielsweise [ ] [ 2 3 ] [ ] =

42 Anwendungen zur LR-Zerlegung lineare Gleichungssysteme Determinante Inverse MATLAB-Hilfe: Most of the algorithms for computing LU factorization are variants of Gaussian elimination. The factorization is a key step in obtaining the inverse with inv and the determinant with det. It is also the basis for the linear equation solution obtained with \

43 Orthogonale Matrizen Transponierte ist zugleich Inverse Definition Eine quadratische Matrix Q heißt orthogonal, wenn gilt Q T Q = I Die Spalten von Q sind Einheitsvektoren und paarweise orthogonal. Es gilt dann auch Q Q T = I Die Zeilen von Q sind ebenfalls Einheitsvektoren und paarweise orthogonal.

44 Orthogonale Matrizen: Beispiele P = [ ], Q = } Zweidimensionale orthogonale Matrizen mit Determinante Drei- { } ebenen entsprechen Drehungen räumlichen

45 Fundamentale Eigenschaft Multiplikation eines Vektors mit einer orthogonalen Matrix lässt die 2-Norm des Vektors unverändert Multiplikation eines Vektors mit einer orthogonalen Matrix dreht (oder spiegelt) den Vektor, lässt aber seine Länge (2-Norm) unverändert. x 2 = Q x 2

46 QR-Zerlegung Satz Jede reelle n m Matrix lässt sich in ein Produkt der Form A = Q R mit einer orthogonalen n n Matrix Q und einer n m oberen Dreiecksmatrix R zerlegen. MATLAB: [Q R]=qr(A) Anwendungen: Eigenwert-Berechnung, überbestimmte Systeme

47 Singulärwert-Zerlegung Singular Value Decomposition, SVD Eine beliebige reelle n m Matrix lässt sich in ein Produkt der Form A = U S V T mit einer orthogonalen n n Matrix U, einer n m-diagonalmatrix S und einer orthogonalen m m Matrix V zerlegen. Die Diagonalwerte von S heißen die Singulärwerte von A. MATLAB: [U S V]=svd(A) Anwendungen Rang einer numerischen Matrix, Pseudoinverse, Über- und unterbestimmte Systeme etc. etc.

48 Singulärwert-Zerlegung Anschauliche Interpretation Die Singulärwertzerlegung A = U S V T zerlegt die Multiplikation A x in drei Einzelschritte: a = V T x dreht den Vektor x b = S a skaliert die Komponenten von a y = U b dreht den Vektor b Abgesehen von den beiden Drehungen beschreibt die Diagonalmatrix S, was die die Matrix A eigentlich tut. In geeignet gedrehten Koordinaten wird aus A eine Diagonalmatrix S. Der richtige Dreh vereinfacht viele Aufgaben.

49 Singulärwert-Zerlegung Anschauliche Interpretation Die Singulärwertzerlegung A = U S V T zerlegt die Multiplikation A x in drei Einzelschritte: a = V T x dreht den Vektor x b = S a skaliert die Komponenten von a y = U b dreht den Vektor b Abgesehen von den beiden Drehungen beschreibt die Diagonalmatrix S, was die die Matrix A eigentlich tut. In geeignet gedrehten Koordinaten wird aus A eine Diagonalmatrix S. Der richtige Dreh vereinfacht viele Aufgaben.

50 Diagonalisierung symmetrischer Matrizen Ein Spezialfall von SVD Jede symmetrische Matrix A lässt sich in der Form A = Q D Q T zerlegen; dabei ist Q eine Orthogonal- und D eine Diagonalmatrix Die Bedeutung dieser Zerlegung diskutieren wir genauer im Kapitel Eigenwerte und Eigenvektoren.

52 Überbestimmte Systeme Ein lineares Gleichungssystem mit mehr Gleichungen als Unbekannten heißt überbestimmt x = y = 2 x + y = [ ] x = y 2 4 Allgemein: ein überbestimmtes lineares System Ax = b mit einer m n-matrix A, wobei m > n In der Regel hat ein solches System keine (exakte) Lösung. (Kompromiss-)Lösung sucht möglichst kleinen Residuenvektor r = b Ax Klassische kleinste-quadrate-lösung mit Normalengleichungen A T Ax = A T b Clemens Brand und Erika Hausenblas 2. April / 64

57 Beispiel: Wägung zweier Massen Zwei Massen m, m 2 werden zuerst einzeln, dann gemeinsam abgewogen. Die Messwerte sind: m = m 2 = 2 m + m 2 = 4 Lösungsvorschläge? 0 Letzte Gleichung weglassen: Fehler r = 0 0,5 Fehler aufteilen, etwa m =,5; m 2 = 2,5 r = 0,5 0 oder noch fairer auf die drei Komponenten aufteilen...

61 Geometrische Interpretation Zeilen des Gleichungssystems sind Geradengleichungen m = m 2 = 2 m + m 2 = 4 Den drei Gleichungen entsprechen drei Gerade im R 2. Kein gemeinsamer Schnittpunkt! In der Mitte des Fehlerdreiecks, im Punkt (4/3; 7/3) ist die Summe der Fehlerquadrate minimal. m m (m ) 2 + (m 2 2) 2 + (m + m 2 4) 2 min!

64 Methode der kleinsten Fehlerquadrate Suche m, m 2 so dass (m ) 2 + (m 2 2) 2 + (m + m 2 4) 2 min! Differenziere nach m und m 2, setze Ableitungen gleich Null 2m + m 2 = 5 m + 2m 2 = 6 Führt man diese Rechnung allgemein für ein überbestimmtes System Ax = b durch, erhält man die Normalengleichungen A T Ax = A T b. [ ] 0 [ ] [ ] 0 hier: 0 m 0 = 2 0 m Clemens Brand und Erika Hausenblas 2. April / 64

65 Zwei mögliche geometrische Interpretationen Im Raum R n der Lösungsvektoren Gleichungen entsprechen Geraden (Ebenen, Hyperebenen) Optimal-Lösung im Schnittbereich (Fehlerdreieck, -Polyeder,... ) Nachteil: Mitte des Fehlerdreiecks nicht exakt definiert. Im Raum R m der rechten-seite-vektoren Matrix mal Vektor ergibt Linearkombination der Spaltenvektoren Bei zu wenig Spaltenvektoren lässt sich nicht jede rechte Seite als Linearkombination erreichen. Der geringste Abstand zwischen Linearkombination und rechter Seite ist Normalabstand. Eine Folie noch, dann kommt eh gleich ein Beispiel...

69 Interpretation von Ax = b Zwei Möglichkeiten Im Raum der x-vektoren Jede Zeile der Matrix ist ein Normalvektor in einer Geradengleichung für x R 2, Ebenengleichung für x R 3,... Lösung x ist Schnittpunkt aller Geraden (Ebenen, Hyperebenen... ) Im Raum der b-vektoren Jede Spalte der Matrix A ist ein Vektor. Das Produkt Ax ist eine Linearkombination der Spaltenvektoren. Lösung x gibt genau die Koeffizienten an, mit denen sich b als Linearkombination der Spaltenvektoren von A erreichen lässt.

72 Beispiel: Farbmischung mit RGB-Vektoren Welches Grau gibt Rot und Blau? Gegeben: zwei Farbtöne 200 RGB RGB Gesucht: neutrale Grauschattierung RGB x + 50 y = Optimale Lösung erreicht , ,674 =

76 Orthogonalitätsbedingung im Bildraum 0 [ ] Der Ausdruck 0 m m 2 entspricht der Parameterdarstellung eine Ebene im R 3. Der Punkt (; 2; 4) liegt nicht auf dieser Ebene. Der Residuenvektor 0 [ ] r = 2 0 m m hat minimale Länge, wenn er auf die Ebene normal steht. 2 0

77 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R 3 zeigen, ist der Punkt mit minimalem Abstand von b nicht so leicht zu finden... Drehen wir vorsichtig das Koordinatensystem... bis die zwei Vektoren in der xy-ebene liegen. Die Lösung liegt nun genau senkrecht unter b

78 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R 3 zeigen, ist der Punkt mit minimalem Abstand von b nicht so leicht zu finden... Drehen wir vorsichtig das Koordinatensystem... bis die zwei Vektoren in der xy-ebene liegen. Die Lösung liegt nun genau senkrecht unter b

79 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R 3 0 zeigen, ist der Punkt mit minimalem Abstand von b nicht so leicht zu 4 finden... 3 Drehen wir vorsichtig das Koordinatensystem... 2 bis die zwei Vektoren in der xy-ebene liegen. Die Lösung liegt nun genau 0 senkrecht unter b

80 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R 3 zeigen, ist der Punkt mit 0 minimalem Abstand von 3 b nicht so leicht zu finden... 2 Drehen wir vorsichtig das Koordinatensystem... bis die zwei Vektoren in 0 der xy-ebene liegen. Die 0 Lösung liegt nun genau senkrecht unter b

81 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R 3 zeigen, ist der Punkt mit 3 minimalem Abstand von 2 b nicht so leicht zu finden... Drehen wir vorsichtig das 0 Koordinatensystem... 0 bis die zwei Vektoren in der xy-ebene liegen. Die Lösung liegt nun genau senkrecht unter b

82 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R 3 zeigen, ist der Punkt mit minimalem Abstand von b nicht so leicht zu finden... Drehen wir vorsichtig das Koordinatensystem... bis die zwei Vektoren in der xy-ebene liegen. Die Lösung liegt nun genau senkrecht unter b Suche eine orthogonale Matrix Q, welche das Gleichungssystem in einen einfacheren Bildraum dreht!

83 Beispiel von vorhin Die QR-Zerlegung von A liefert die gewünschte Drehmatrix! Zerlegung A = QR : Transformiertes System Rx = Q T b : Drehung mit Q anschaulich interpretiert = / / /2 [ ] 5/ 2 0 3/2 m = 7/ 6 m / 3 QR-Zerlegung transformiert überbestimmtes System in lösbaren Anteil und unlösbaren Rest Bestmögliche Lösung: unlösbare Gleichungen weglassen, die anderen exakt lösen.

84 QR-Zerlegung löst (überbestimmte) Gleichungssysteme Zur Lösung von Ax = b führt man QR-Zerlegung durch und löst das Dreieckssystem Rx = Q T b durch Substitution. Begründung Ax = b Q Rx = b Q T Q T Q Rx = Q T b Rx = Q T b Bei n n-systemen setzt man diese Methode normalerweise nicht ein, weil sie rechenaufwändiger als die LR-Zerlegung ist. Bei n m-systemen (n > m) liefern die ersten m Zeilen von R die kleinste-quadrate-lösung. Lösung überbestimmte Systeme mittels Normalengleichungen ist anfälliger für Rundungsfehler als Lösung durch QR-Zerlegung. Clemens Brand und Erika Hausenblas 2. April / 64

85 Überbestimmte Systeme A x = b: QR-Zerlegung Aufgabe Suche x so, dass Residuums-2-Norm r 2 minimal wird Vorgangsweise r = b A x min! Zerlege A = Q R Multiplikation von r mit Q T lässt 2-Norm unverändert. Wandle um: r = Q T r = Q T (b A x) = Q T b R x Für das transformierte System ist die Minimallösung offensichtlich... Clemens Brand und Erika Hausenblas 2. April / 64

86 Angenommen, das überbestimmte System besteht aus m Unbekannten und n = m + k Gleichungen (k > 0). Dann ist R eine n m-matrix, deren letzte k Zeilen lauter Nullen enthalten. Die letzten k Zeilen des Residuumsvektors hängen nicht von x ab. Löse die ersten m Gleichungen des Systems R x = Q T b exakt (wenn möglich): Diese Gleichungen liefern keinen Beitrag zu Residuum. Die restlichen k Gleichungen hängen von x nicht ab. Keine Wahl von x kann den Beitrag dieser Gleichungen zum Residuum ändern. Daher ist die gewählte Lösung optimal für R x = Q T b Weil Transformation die Norm nicht beeinflusst, ist diese Lösung auch optimale Lösung von A x = b Clemens Brand und Erika Hausenblas 2. April / 64

87 Überbestimmte Systeme A x = b: SVD-Zerlegung Aufgabe Suche x so, dass Residuums-2-Norm r 2 minimal wird Vorgangsweise r = b A x min! Zerlege A = U S V T, substituiere y = V T x. Multiplikation von r mit U T lässt 2-Norm unverändert. Wandle um: r = U T r = U T b S V T x = Q T b S y Für das gedrehte System ist die Minimallösung völlig offensichtlich... (Zahlenbeispiel im Skriptum) Clemens Brand und Erika Hausenblas 2. April / 64

88 Übersicht der Verfahren für überbestimmte Systeme A x = b Normalengleichungen A T A = A T b Klassischer Lösungsweg. Anfällig für Daten- und Rundungsfehler (schlechte Konditionszahl). QR-Zerlegung Standardverfahren zur numerischen Lösung. Algebraisch äquivalent zu Norm.gleichungen, aber numerisch weniger fehlerempfindlich. MATLAB x = A\b verwendet bei überbestimmten Systemen automatisch QR-Zerlegung Sonderfälle (rang A n) Überbestimmte Systeme, die trotzdem exakt lösbar sind oder eine Schar von (ex. oder kl. Quadr.) Lösungen haben. Normalengleichungen können versagen. Singulärwert-Zerlegung. Clemens Brand und Erika Hausenblas 2. April / 64

89 Lineares Modell in zwei Variablen Anpassen einer Ausgleichs-Ebene: Beispiel aus der Matlab-Hilfe Angenommen, eine Größe y hängt von zwei Parametern x und x 2 ab. Folgende Messwerte liegen vor: x : x 2 : y : Wir nehmen ein lineares Modell y = a 0 + a x + a 2 x 2 an und setzen die gegebenen Datentripel ein führt auf ein System von 6 linearen Gleichungen in den 3 unbekannten Koeffizienten a 0, a, a 2. Kleinste-Quadrate-Lösung liefert Ebene mit bestmöglicher Anpassung an Daten

90 Lineares Modell in zwei Variablen Beispiel: Magnetische Deklinationswerte in Österreich Wien 3 00 Eisenstadt 3 02 St.Pölten 2 54 Graz 2 47 Linz 2 33 Klagenfurt 2 30 Salzburg 2 5 Innsbruck 53 Bregenz 24 Daten: ZAMG Kleinste-Quadrate-Anpassung liefert Modell: δ = λ φ