6.1 Motivation: Gauss sche Methode der kleinsten Quadrate

6 Ausgleichsrechnung Bisher untersuchten wir Verfahren für Lösung linearer Gleichungssteme Ax b mit quadratischer Matrix A In vielen Anwendungen tritt das Problem auf, lineare Gleichungssysteme zu lösen, wobei Ax b (6 A C m n ist mit r rank(a n m, x C n, b C m, (6 Einfache Beispiele zeigen, dass (6 entweder genau eine, keine oder unendliche viele Lösungen besitzen kann Es ist daher zuerst nach einem Lösungsbegriff fuer (6 zu fragen: was bedeutet es, (6 zu lösen? In der Praxis verlangt man, dass eine Lösung x von (6 das Residuum r(x : b Ax möglichst klein macht 6 Motivation: Gauss sche Methode der kleinsten Quadrate Bei Ausgleichsproblemen handelt es sich um das Problem, m Messdaten (t i, y i, i,, m, mit einem mathematischen Gesetz eines vorgegebenen Typs in Einklang zu bringen Dabei ist die Form des mathematischen Gesetzes bis auf einige Parameter x j, j,, n, festgelegt, welche durch die Messungen bestimmt werden sollen: y(t f(t : n x j Φ j (t (6 j mit vorgegebenen Funktionen Φ j (t Typischerweise tritt dann das Problem auf, dass mehr Messungen gemacht wurden als unbekannte Parameter vorliegen, dh m > n, und die Messungen selbst durch Messfehler nicht exakt dem vorgegebenen physikalischen Gesetz entsprechen Man erhält damit ein überbestimmtes Gleichungssystem, das nicht exakt gelöst werden kann Bei Ausgleichsproblemen handelt es sich darum, die Parameter x j in (6 so zu finden, dass die mathematischen Gesetze von den Messwerten y i möglichst gut erfüllt werden Im vorliegenden Kapitel wird die Gauss sche Methode der kleinsten Fehlerquadrate vorgestellt Diese ist anwendbar bei Problemen, bei denen die zu bestimmenden Parameter x j linear in das mathematische Gesetz f(t, wie in (6, eingehen Beispiel 6 Unter Einfluss der Schwerkraft fliegen geworfene Körper auf Parabeln Hat der Körper die Anfangsgeschwindigkeit v (v x, v y zum Zeitpunkt t am Punkt (, und fliegt er anschliessend nur unter Einfluss der Schwerkraft, so ist er zum Zeitpunkt t > am Ort x v x t, y v y t gt, wobei g die Erdbeschleunigung ist June 7, 7 8

6 MOTIVATION: GAUSS SCHE METHODE DER KLEINSTEN QUADRATE 6 tatsaechliche Flugbahn und Messwerte 5 Hoehe ueber Grund 4 i 4 5 6 7 t i [s] 4 5 9 y i [m] 96 6 8 5 5 55 58 5 5 5 x Figur 6: Flugbahn eines Körpers und gemessene Positionen Es sei die Anfangsgeschwindigkeit v y und die Erdbeschleunigung g unbekannt; diese sollen aus Messungen bestimmt werden Hierzu wurde die Höhe über Grund des Körpers zu folgenden Zeiten gemessen: Es ergeben sich damit m 7 Gleichungen für die n unbekannten Parameter v y und g: Führt man die Matrix A R 7 mit y i t i v y t i g, i,, 7 A i Φ (t i t i, A i Φ (t i t i, i,, 7, ein, so ergibt sich dh 5 4 8 5 5 9 45 5 7 ( vy A g y, ( vy g 96 6 8 5 5 55 58 (64 In Beispiel 6 erhielten wir ein überbestimmtes Gleichungssystem, das keine klassische Lösung hat Die Ausgleichsrechnung liefert nun eine Methode, sinnvolle Lösungen von überbestimmten Gleichungssystemen zu definieren Für m n, A R m n, b R m werde eine Lösung x R n des folgenden überbestimmten Gleichungssystems gesucht: n A ij x j b i i,, m (65 j June 7, 7 9

6 NORMALENGLEICHUNGEN Da wir für m > n diese m Gleichungen ia nicht alle exakt erfüllen können, führen wir die sogenanten Residuen r i ein, die messen, inwieweit die i-te Gleichung verletzt ist: In Matrixschreibweise ist dies r i : b i n A ij x j, i,, m j r b Ax, (66 wobei der Residuumsvektor r R m die Komponenten r i hat Wir suchen nach Vektoren x R n, für die das Residuum r möglichst klein (in einer zu wählenden Vektornorm! ist Ein x R n, das das Residuum minimiert, wird Ausgleichslösung von (6 genannt Definition 6 (Ausgleichsproblem Sei eine Norm auf R m Für eine Matrix A R m n und ein b R m heisst das Problem Finde x R n so, dass Ax b Ay b y R n (67 Ausgleichsproblem Eine Lösung x R n eines Ausgleichsproblems heisst Ausgleichslösung Bemerkung 6 Der Lösungsbegriff in (67 ist eine Verallgemeinerung der klassischen Lösung Ist nämlich x R n eine klassische Lösung, dh gilt Ax b, dann ist offensichtlich x ebenfalls eine Lösung von (67 Bemerkung 64 Offensichtlich hängt die Ausgleichslösung von der Wahl der Norm ab, bzgl der das Residuum minimiert wird Im folgenden werden wir bei Ausgleichsproblemen die Norm stets als die -Norm wählen Ein wesentlicher Grund für der Wahl der -Norm, ist, dass ein relativ einfaches Rechenschema entsteht Auch die Namensgebung, Methode der kleinsten Fehlerquadrate erklärt sich aus der Wahl der Norm: Für ist (67 äquivalent zum Minimieren von r m i r i, dh dem Minimieren der Summe der Quadrate der Residuen (Fehler 6 Normalengleichungen Wir wenden uns nun der Frage zu, wie eine Lösung x R n des Problems (67 bestimmt werden kann Hierzu wollen wir eine Gleichung für das gesuchte x R n herleiten Sei x R n eine Lösung von (67 Dann gilt nach Definition Φ(x : b Ax b Ay y R n (68 Wir betrachten nun die Richtungsableitung des Funktionals Φ an einem Minimum x R n in Richtung z R n Wir betrachten dazu Variationen eines Lösungsvektors x von (68 der Form y x + tz, wobei die Richtung z R n beliebig ist mit Norm z und die Schrittlänge von x in Richtung z gegeben ist durch < t R June 7, 7

6 NORMALENGLEICHUNGEN Aus (68 folgt dann, dass die Funktion Φ z : R R + t Φ z (t : b A(x + tz ein Minimum bei t hat Wir rechnen dazu nach, dass die Funktion Φ z ein quadratisches Polynom in t ist: es gilt Φ z (t b A(x + tz (b A(x + tz (b A(x + tz (x + tz A A(x + tz (x + tz A b + b b t ( z A Az + t ( z A Ax z A b + ( x A Ax + b b x A b Da Φ z ein Minimum bei t hat, muss also gelten: Φ z ( ( z A Ax z A b z ( A Ax A b (69 Da A Ax A b R m und (69 für jedes z R m gilt, erhalten wir als notwendige Bedingung für die gesuchte Lösung x R m : A Ax A b (6 Gleichung (6 wird als Normalengleichung bezeichnet Wir halten dieses Ergebnis in dem folgenden Satz fest: Theorem 6 Sei m n, A R m n, b R m und n rank(a m Eine Lösung x R n des Ausgleichsproblems (67 erfüllt die Normalengleichung (6 Umgekehrt ist jede Lösung x der Normalengleichung (6 auch Lösung des Ausgleichsproblems (67 Beweis: Obige Herleitung der Normalengleichnung zeigt die Notwendigkeit von (6 dass (6 auch hinreichend für Lösungen des Ausgleichsproblems (67 ist, erkennt man wie folgt Sei x Lösung von (6 und z R n beliebig Eigenschaft (6 impliziert, dass das quadratische Polynom Φ z (t ein Minimum bei t hat Damit ist Ax b Φ z ( Φ z (t b A(x + tz t R Weil z R n beliebig war, schliessen wir weiter Ax b Φ z ( Φ z (t b A(x + tz t R, z R m Also löst x (67 In der Praxis sind die Spalten von A linear unabhängig und damit ist die Matrix A A symmetrisch positiv definit (Beweisen! Es gibt dann nach Satz 6 eine eindeutige Lösung von (67 Das Gleichungssystem (6 kann man zb mithilfe der Cholesky-Zerlegung der SPD-Matrix A A lösen Es ergibt sich dann folgender Algorithmus: June 7, 7

6 NORMALENGLEICHUNGEN Algorithmus 6 (Methode der Normalengleichungen input: Matrix A R m n m n (Annahme: Spalten von A linear unabhängig, Vektor b R m, output: x R n mit b Ax b Ay für alle y R n C : A A, Bestimme Cholesky-Faktor L von C mithilfe von Alg 5 (dh LL C b : A b 4 Löse Ly b mithilfe der Vorwärtssubstitution (Alg 5 Löse L x y mithilfe der Rückwärtssubstitution (Alg return (x Beispiel 6 Wir kommen nun auf das Einleitungsbeispiel 6 zurück Für das überbestimmte System (64 ist die gesuchte Normalengleichung A Ax A y 5 4 8 ( A 4 5 9 5 5 A 5 8 5 45 5 7 9 45 5 7 ( 767 585 585 4954475 A y ( 4 5 9 5 8 5 45 5 7 96 6 8 5 5 55 58 ( 9 865 Die gesuchte Ausgleichslösung (v y, g des überbestimmten Systems (64 erfüllt nach (6 ( ( ( 767 585 vy 9 585 4954475 g 865 Die Matrix A A ist in der Tat symmetrisch positiv definit, und die damit eindeutige Lösung (v y, g ist auf 5 Stellen ( ( vy 96 g 9865 Es ist von Interesse, die Komplexität von Algorithmus 6 zu betrachten Tabelle 6 stellt sie unterteilt nach den einzelnen Schritten zusammen Dabei wurde bei der Berechnung von A A ausgenutzt, dass A A symmetrisch ist Man sieht, dass für den Fall m n das Aufstellen der Normalengleichungen (6 (dh die Berechnung von A A und A b die Gesamtkosten dominiert Dieser Fall tritt oft ein, weil in vielen Anwendungen die Anzahl n der zu bestimmenden Parameter relativ klein und die Anzahl m der Messungen gross ist, wie wir schon in Beispiel 6 beobachten June 7, 7

6 METHODE DER ORTHOGONALISIERUNG Aufstellen von A A n(n + m Cholesky-Zerlegung von A A 6 n A b mn Vorwärtssubstitution n Rückwärtssubstitution Tabelle 6: Wesentliche Operationen ( eine Addition plus eine Multiplikation bei Lösung eines Ausgleichsproblems mithilfe der Normalengleichung Bemerkung 64 Die Normalengleichung (6 hat eine geometrische Interpretation: Aus A (b Ax folgt, dass das Residuum r b Ax senkrecht auf den Spalten von A steht, dh, das Residuum r ist eine Normale zum von den Spalten der Matrix A aufgespannten Raum Daher erklärt sich die Bezeichnung Normalengleichung Bemerkung 65 In Anwendungen sind die Variablen x i, die im Ausgleichsproblem (67 auftreten, gesuchte Parameter in einem mathematischen Modell Offensichtlich müssen die Parameter linear in das Gesetz eingehen, damit ein Problem von der Form (67 ensteht Manchmal kann bei Gesetzen, in denen die Parameter nicht linear auftreten, durch Umformulieren ein äquivalentes Gesetz hergeleitet werden, bei dem dies der Fall ist Bei Zerfallsprozessen zb ist die Konzentration c(t von der Form c(t c e bt, wobei c die Konzentration zum Zeitpunkt t ist und b die Zerfallsrate angibt Die gesuchten Parameter c, b treten nicht linear auf Durch Logarithmieren erhält man ein Gesetz ln c(t ln c bt, n in dem der Parameter b und der neue Parameter c : ln c linear auftreten Auch bei Gesetzen von der Form y(x c x α mit unbekannten Parametern c, α R kann durch Logarithmieren ein neues Gesetz hergeleitet werden, in dem gesuchte Parameter linear auftreten 6 Methode der Orthogonalisierung Für die Handrechnung bei kleinen Ausgleichsproblemen wendet man meist die Methode der Normalengleichungen an Für grosse, schlecht konditionierte Probleme jedoch werden oft Orthogonalisierungsverfahren eingesetzt Ein wesentlicher Grund hierfür sind die guten Stabilitätseigenschaften von orthogonalen Transformationen Bei Ausgleichsproblemen ist man bestrebt, eine Gleichung für die gesuchte Lösung x R n zu erhalten, die in der Form Bx b (6 June 7, 7

6 METHODE DER ORTHOGONALISIERUNG besitzt Hier sollte B R n n eine invertierbare Matrix sein und b R n Die Normalengleichung (6 ist ein solches Beispiel mit B A A, b A b Man muss damit rechnen, dass das Endergebnis x R n fehlerbehaftet ist, weil (selbst wenn A, b nicht fehlerbehaftet sind zum einen beim Aufstellen von B, b Fehler eingeführt werden (zb Rundungsfehler, zum anderen Fehler beim anschliessenden Lösen von (6 verstärkt werden Für das Lösen von Gleichungssystemen haben wir gesehen, dass die Konditionszahl κ(b ein Mass für die Verstärkung von Fehlern in b ist In Anwendungen ist nun oft κ(a A Es ist also von Interesse, Gleichungen von der Form (6 zu finden, bei denen κ(b κ(a A Orthogonalisierungsverfahren leisten dies Dort wird A A nicht aufgestellt, sondern es wird durch orthogonale Transformationen ein Gleichungssystem von der Form Rx b für die gesuchte Lösung x R m hergeleitet Hier ist R R n n sogar eine Rechtsdreiecksmatrix; es gilt zudem (vgl Satz 65: κ(r κ(a A < κ(a A Wir betrachten zuerst den Spezialfall, dass die Matrix A R m n Rechtsdreiecksstruktur hat in dem Sinn, dass ( R A (6 für eine Rechtsdreiecksmatrix R R n n Der Vektor b R m sei analog zerlegt: ( b b, b b R n, b R m n Damit berechnen wir Φ(x b Ax ( b b ( R x ( b Rx b x b Rx + b Ist die Rechtsdreiecksmatrix R R n n invertierbar, so ist die Lösung des Minimierungsproblems (67 offensichtlich gegeben durch die Lösung x R n von Rx b Dh, die gesuchte Lösung x kann durch Rückwärtssubstitution (Algorithmus des Gleichungssystems Rx b bestimmt werden Bei Orthogonalisierungsverfahren wird die Matrix A R m n so mithilfe orthogonaler Matrizen transformiert, dass sie die Gestalt (6 hat Dabei nutzen wir wesentlich aus, dass orthogonale Matrizen die -Norm nach Proposition 4 invariant lassen: Theorem 6 Sei m n, A R m n mit linear unabhängigen Spalten, b R m Sei Q O m eine orthogonale Matrix und R R n n Rechtsdreiecksmatrix, so dass gilt: ( R QA June 7, 7 4

Sei ferner der Vektor b Qb R m wie folgt partitioniert: Qb ( b b, b R n, b R m n 64 QR-FAKTORISIERUNG Dann ist die Lösung x R n des Ausgleichsproblems (67 die eindeutige Lösung des Dreieckssystems Rx b Beweis: Unter Ausnutzung von Q Q und der Tatsache, dass Anwendung einer Unitären Matrix Q die Euklidische Länge eines Vektors invariant lässt (vgl Proposition 4 berechnen wir b Ax Q (Qb QAx Qb QAx ( b b ( R x Also ist das ursprüngliche Ausgleichsproblem (67 äquivalent zu einem Ausgleichsproblem von der oben betrachteten Form Da die Spalten von A linear unabhängig angenommen waren, ist die Rechtsdreiecksmatrix R invertierbar (Übung: Man überzeuge sich davon! Die Aussage des Satzes folgt somit Satz 6 legt eine weitere Methode nahe, wie das Ausgleichsproblem (67 gelöst werden kann Man konstruiert eine orthogonale Matrix Q O n, so dass QA die Rechtsdreiecksgestalt (6 hat Die QR Zerlegung einer Matrix A R m n mit vollem Spaltenrang n kann berechnet werden durch den Gram-Schmidt Algorithmus Algorithmus 5 Da dieser Algorithmus, wenn er einer Gleitkommaarithmetik F ausgeführt wird, anfällig ist für Rundungsfehler, berechnet man die QR Zerlegung einer Matrix in der Praxis dadurch, dass man Q ähnlich dem Faktor L in der LR Zerlegung quadratischer Matrizen, durch sukzessives akkumulieren, oder aufmultiplizieren, elementarer Eliminationsmatrizen aufbaut Dies resultiert in der QR Faktorisierung der Matrix A 64 QR-Faktorisierung Die Grundidee bei der LR-Zerlegung als Lösungsverfahren von linearen Gleichungssystemen war, die Matrix A so in zwei Faktoren L und R zu zerlegen, dass jeder der beiden Faktoren einfach zu invertieren ist Neben der LR-Zerlegung und ihren Varianten gibt es noch eine weitere grosse Klasse von Zerlegungen, die sog QR-Zerlegungen bei der eine Matrix A als A QR faktorisiert wird Hier ist R wieder eine Rechtsdreiecksmatrix während Q eine orthogonale Matrix ist 64 Orthogonale Matrizen Definition 64 (orthogonale Matrizen Eine Matrix Q R m m heisst orthogonal, falls Q regulär ist und Q Q Die Spalten von Q bilden somit eine Orthonormalbasis des R m Die Menge der orthogonalen m m Matrizen bezeichnet man mit O m June 7, 7 5

64 QR-FAKTORISIERUNG Offensichtlich sind orthogonale Matrizen einfach zu invertieren Ein Beispiel für orthogonale Matrizen haben wir bereits in Abschnitt kennengelernt: Lemma 4, (ii zeigt, dass Permutationsmatrizen orthogonale Matrizen sind Eine wichtige Eigenschaft von O m ist, dass sie eine Gruppe bzgl der Multiplikation bildet: Theorem 64 O m ist eine Gruppe bzgl der Multiplikation, dh I m ist eine orthogonale Matrix, zu jedem Q O m existiert Q O m und für Q, Q O m ist Q Q O m Beweis: Übung Orthogonale Matrizen kann man zb wie folgt erzeugen: Theorem 64 Sei k N, m k +, Q O m k Dann ist die Matrix I k Q ein Element von O m Beweis: Übung Kann eine Matrix A R m n in der Form A QR zerlegt werden mit orthogonaler Matrix Q O m und Rechtsdreiecksmatrix R R n, dann kann ein Gleichungssystem Ax b einfach aufgelöst werden: Löse Qy b durch Bilden von y Q b Q b Löse das Dreieckssystem Rx y mithilfe von Algorithmus Verfahren, die für eine Matrix eine QR-Zerlegung finden, heissen auch Orthogonalisierungsverfahren Das Vorgehen zur Lösung linearer Gleichungssysteme ist demnach ähnlich dem der Gauss-Elimination Warum sollte man Orthogonalisierungsverfahren neben der Gauss schen Elimination benutzen, um lineare Gleichungssysteme zu lösen? Die Antwort liegt in der numerischen Stabilität der QR Zerlegung: während für Linksdreiecksmatrix L L m in der GEM die Matrixnorm L unter Umständen sehr gross werden kann, ist eine für die Numerik wesentliche Eigenschaft orthogonaler Matrizen gerade, dass sie die -Norm eines Vektors unverändert lassen: Proposition 4 zeigt, dass die Anwendung einer orthogonalen Matrix auf einen fehlerbehafteten Vektor x den Fehler nicht verstärkt: Q(x + x Qx Qx Q x Qx x x Die Multiplikation mit einer orthogonalen Matrix ist somit numerisch stabil Diese Stabilitätseigenschaft ist einer der Hauptgründe für den Einsatz von orthogonalen Matrizen in der Numerik Wie konstruiert man nun die Matrix Q in der QR Zerlegung von A? Wie die Matrix L in der GEM baut man auch Q durch sukzessives Aufmultiplizieren elementarer orthogonaler Matrizen auf Für die elementaren Matrizen gibt es zwei Konstruktionsmöglichkeiten: Householder- Reflexionen sowie Givens-Rotationen Wir diskutieren im Folgenden die Householder-Reflexionen und behandeln die Givens Rotationen später, bei den Eigenwertproblemen June 7, 7 6

64 Orthogonalisierung mit Householder-Reflexionen 64 QR-FAKTORISIERUNG Beim Orthogonalisieren mit Householderreflexionen wird eine QR-Zerlegung einer Matrix erzeugt, bei der die orthogonale Matrix Q das Produkt von sog Householder-Reflexionen ist Es gilt: Theorem 644 (Eigenschaften von Householder-Reflexionen Sei v R n Dann hat die Householder-Reflexion folgende Eigenschaften: Q ist symmetrisch, dh Q Q Q ist orthogonal, dh Q Q Q : I n v v vv Q ist involutorisch, dh Q I m Beweis: Übung Bemerkung 645 Die Householder-Reflexionen haben eine geometrische Interpretation: Als lineare Abbildung gesehen, stellen sie eine Spiegelung ( Reflexion an der Hyperebene H : {x R n x v } dar In der Tat rechnet man nach: Für x H gilt Qx x und für x parallel zu v gilt Qx x Eine QR-Zerlegung einer quadratischen Matrix A R n n wird mithilfe von Householder- Reflexionen erzeugt, indem man schrittweise die Matrix A R n n durch Multiplikation mit orthogonalen Matrizen Q,, Q n auf rechte Dreiecksgestalt bringt Zu diesem Zweck nehmen wir an, dass man für jede Spalte a R k, k n, eine Householder-Reflexion Q finden kann, so dass Qa αe ist, wobei α R und e R k der erste Einheitsvektor ist (dies werden wir unten in Lemma 646 zeigen Dann können wir wie folgt vorgehen: sei a die erste Spalte von A Nach Annahme können wir ein Q O n finden, so dass die Householder-Reflexion Q a α ( e für ein α ( R Das Produkt Q A hat damit folgende Struktur: α ( (b ( A ( mit A( R (n (n und b ( R n (64 Um weiter in Richtung Dreiecksgestalt zu transformieren, wiederholt man den Prozess für die Untermatrix A ( Dazu beobachten wir, dass für jede Matrix Q ( O n die Matrix Q : Q (, Householder, Alston Scott 94 99 June 7, 7 7

64 QR-FAKTORISIERUNG nach Satz 64 orthogonal ist und zudem α ( (b ( Q ( A ( α ( (b ( Q ( A ( ist, wobei b ( derselbe Vektor ist wie in (64 Man wählt also Q ( O n wieder mithilfe obiger Annahme so als Householder-Reflexion, dass genau wie im ersten Schritt das Produkt Q ( A ( in der ersten Spalte bis auf den Eintrag ganz links oben nur Nullen enthält Wählt man Q mit diesem Q (, dann hat das Produkt Q Q A die Form Q Q A α ( b ( b ( b ( n α ( b ( b ( n A ( wobei (b (,, b( n (b( wieder der Vektor aus (64 ist Man wird nun weiter verfahren, um die Matrix A ( zu behandeln Dabei werden die Zeilen (b (, (b ( nicht mehr verändert Sie sind somit bereits Zeilen der gesuchten Rechtsdreiecksmatrix Man setzt diesen Prozess so lange fort, bis die Matrix Q n Q A Rechtsdreiecksgestalt hat Somit ist die gesuchte QR-Zerlegung von A R n n : A Q Q n R Q Q n R, wobei R eine Rechtsdreiecksmatrix ist und die Matrizen Q k folgende Bauart haben: I k Q k I n k+ v k v v k v k, v k R n k+ % Konvention: Q I n v v v v k (644 Es bleibt zu zeigen, dass man in jedem der obigen Schritte die Matrizen Q,, Q n wie gefordert als Householder-Reflexionen wählen kann, Lemma 646 Sei a R k und e R k der Einheitsvektor Sei α a oder α a Im Falle a e sei α a gewählt Dann gilt für v : a αe : Qa αe Q I k v v vv (645 Beweis: Die Wahl von α impliziert, dass v Die Behauptung Qa αe kann dann direkt nachgerechnet werden (Übung: man rechne dies nach!, und das Lemma ist damit bewiesen Zur Motivation der Formeln für α und v stellen wir jedoch folgende Betrachtungen an, welche zudem klären, inwieweit die Householder-Reflexion eindeutig ist, die Qa αe leistet Wir zeigen: June 7, 7 8

64 QR-FAKTORISIERUNG Die Householder-Reflexionen, die zu einem Vektor v und zu λv, λ R \ {} gehören, stimmen überein Ist a nicht parallel zu e, dann muss die Householder-Reflexion Q, die a auf ein Vielfaches von e abbildet, von einem Householder-Vektor v λ(a αe, λ R \ {}, α ± a, erzeugt werden Ist a parallel zu e, so muss der Householder-Vektor v von der Form v λe, λ R \ {} sein, oder er muss v e v a erfüllen Die erste Behauptung, dass die Länge von v irrelevant ist, folgt unmittelbar aus der Definition der Householder-Reflexion Für die beiden anderen Behauptungen beobachten wir, dass orthogonale Matrizen nach Proposition 4 die Euklidische Länge erhalten, dh Somit ergibt sich für α: Aus (645 folgt zudem αe Qa a Qa αe α α ± a ± a a ( I k v v vv a a v v (v a v (646 Wir betrachten nun die Fälle v a und v a separat Im Fall v a erhalten wir v span (αe a, dh es muss gelten v λ(a αe wie behauptet Falls a parallel zu e ist, impliziert dies insbesondere v λe für ein geeignetes λ R \ {} Im Fall v a schliessen wir aus (646, dass a parallel zu e ist Wie oben behauptet, bildet in diesem Fall die Householder-Reflexion zu jedem v mit v a den Vektor a auf ein Vielfaches von e ab Lemma 646 zeigt, dass die Householder-Reflexion, die einen Vektor a auf ein Vielfaches des Einheitsvektors e abbildet, nicht eindeutig ist Die verbliebenen Freiheiten bei der Wahl des Householder-Vektors v nutzt man aus, um numerische Stabilität bei der Bestimmung von v zu gewinnen und um bei der Speicherung der Vektoren v Platz zu sparen: Bei der Bestimmung von v mithilfe von Lemma 646 wählt man in der Praxis α sign(a a a, um Auslöschung bei der Auswertung von v (a α, a,, a k zu vermeiden Die Länge von v R k ist nicht wesentlich, dh die Householder-Reflexionen, die zu v und zu λv, λ, gehören, stimmen überein Die Wahl α sign(a a impliziert insbesondere, dass v a +sign(a a Man kann also v so normieren, dass v Wir definieren sign(x für x und sign(x für x < June 7, 7 9

64 QR-FAKTORISIERUNG Aus diesen beiden Überlegungen ergibt sich schliesslich, dass man den Householder-Vektor v R k, dessen zugehörige Householder-Reflexion a auf αe abbildet, so wählt: v : β (a αe, α sign(a a a, β a + sign(a a a (647 Für die QR-Zerlegung wählen wir die Householder-Vektoren wie in (647; auf diese Weise ist die erste Komponente gleich Der Grund hierfür ist, dass auf diese Weise eine effiziente Abspeicherung der gesamten Information über die QR-Zerlegung einer Matrix A direkt auf dem Speicher der Matrix A möglich ist: Im Speicherbereich A ij mit i j kann der Faktor R abgelegt werden, und der Speicherbereich von A ij, i > j fasst die wesentliche Information der Householder-Vektoren v k (dh die Einträge (v k i, i,, n k + von v k R n k+ Der Algorithmus zur Bestimmung einer QR-Zerlegung einer n n-matrix ist damit festgelegt Wir formalisieren das Vorgehen in Algorithmus 647 Algorithmus 647 (QR-Zerlegung mit Householder-Reflexionen input : Matrix A R n n, A invertierbar output: überschreibt A mit der wesentlichen Information für QR-Zerlegung: QA R mit Q Q n Q mit Q j von der Form (644 R ij A ij für i j Vektoren v j R n j+ aus (644: (v j i j+ A ij für i > j und implizit (v j for k from to n do { v(k : n house(a(k : n, k % bestimme Householder-Vektor v k A(k : n, k : n house mult(a(k : n, k : n, v(k : n % berechne α (k, b (k, A (k A(k + : n, k v(k + : n %speichere nur wesentliche Information von v k (v k } return (A function: v house (a input: Vektor a output: Householder-Vektor v normiert derart, dass die erste Komponente ist n : length(a % a R n α : a ; if α exit( A nicht zulässig! ; v : a β : a( α sign (a( v( : n : v( : n β v( return(v function: A house mult (A, v input: Matrix A, Householder-Vektor v output: überschreibt Matrix A mit (I v v vv A β : /v v w : v A % w ist ein Zeilenvektor A : A + βvw % Rang- update der Matrix A return(a June 7, 7

64 QR-FAKTORISIERUNG Kosten für die Berechnung einer QR-Zerlegung: n Multiplikationen Die QR-Zerlegung ist damit ungefähr doppelt so teuer wie eine LR-Zerlegung Sie wird aber trotzdem wegen ihrer numerischen Stabilitätseigenschaften oft angewandt, insbesondere bei Ausgleichsproblemen Mit den Householder-Reflexionen haben wir explizit QR-Zerlegungen von Matrizen konstruiert Wie bei der LR-Zerlegung kann man die Frage stellen, inwieweit QR-Zerlegungen eindeutig sind Da wir bereits in jedem Schritt zwischen zwei verschiedenen Householder-Reflexionen auswählen konnten (der Parameter α war nur bis auf das Vorzeichen festgelegt, bedarf es offensichtlich einer zusätzlichen Normierungsbedingung Verlangt man bei invertierbaren Matrizen, dass die Diagonaleinträge der Rechtsdreiecksmatrix R positiv sein sollen, so ist die Zerlegung eindeutig: Theorem 648 (Eindeutigkeit der QR-Zerlegung Sei A R n n regulär Dann existiert ein eindeutiges Q O n und eine eindeutige Rechtsdreiecksmatrix R mit R ii >, i,, n, so dass QR A Beweis: Aus Algorithmus 647 folgt die Existenz einer QR-Zerlegung Q R A Sei D R n n Diagonalmatrix mit D ii signr ii Dann ist R : DR eine Rechtsdreiecksmatrix mit R ii > D ist orthogonal (D D und D I n Damit ist A Q R Q D DR (Q D R Da D orthogonal ist, ist Q : Q D nach Satz 64 ebenfalls orthogonal Damit ist die Existenz einer QR-Zerlegung der gewünschten Art gezeigt Eindeutigkeit folgt aus Korollar 4: Sei QR A und R ii >, i,, n Die Matrix A A ist SPD Es gilt A A (QR QR R Q QR R R Somit ist R der Cholesky-Faktor von A A Nach Korollar 4 ist R eindeutig; damit ist auch Q AR eindeutig Bemerkung 649 Anstelle der Householder-Reflexionen werden auch Givens-Rotationen zur Orthogonalisierung einer Matrix verwendet Zum Abschluss berechnen wir eine QR-Zerlegung mithilfe von Householder-Reflexionen für ein konkretes Beispiel: Beispiel 64 Sei A 4 6 6 6 9 4 + 6 + Gesucht ist eine QR-Zerlegung von A Unsere Handrechnung stimmt im wesentlichen mit Algorithmus 647 überein Im Unterschied zu Algorithmus 647 normieren wir nicht die Householder-Vektoren v k zu (v k Die erste Spalte von A ist a 4 4, a 6 + 6 48 4 Also ist α sign(a a sign( 44 4 und damit 4 v a αe 4 4 4 4 4, v 6(6 + June 7, 7

Die erste Householder-Reflexion ist somit Q I v vv I 6(6 + 4 4 4 I + (,, ( + 4 + ( + ( + 64 QR-FAKTORISIERUNG ( 4 4,, 4 (Man sieht, dass wie erwartet Q eine orthogonale Matrix ist Wir erhalten damit für Q A: Q A 4 6 6 6 9 4 + 6 + 6 8 6 + 9 6 9 + 4 6 + + Die erste Spalte von Q A stimmt mit αe überein so wurde die Householder-Reflexion Q schliesslich konstruiert! Die erste Zeile von Q A ist bereits die erste Zeile der gesuchten Rechtsdreiecksmatrix R Wir wiederholen nun obiges Vorgehen für die Untermatrix A ( ( + + Die erste Spalte von A ( ist a ( 6, a + 6 4 Also ist nun α sign(a a sign( 4 4 und für v a αe erhalten wir ( v 4 ( ( 6, v 6 44 6 Damit ist Q ( Q ( I v I ( ( v v I ( 6 44 6 (, ( ( 6, 6 ( Die fehlenden Einträge der gesuchten Rechtsdreiecksmatrix R können somit bestimmt werden: Q ( A ( ( ( ( + + 8 4 June 7, 7

Die gesuchte Rechtsdreiecksmatrix R ist damit 65 ANWENDUNG AUF AUSGLEICHSPROBLEME R Die orthogonale Matrix Q mit Q A R ist somit Q Q ( Q 4 6 4 6 6 Zur Probe berechnen wir noch QR (Q (Q (Q, weil Q orthogonal ist! QR 6 4 6 4 6 4 6 6 6 9 4 + 6 + A Householder-Reflexionen Q sind Rang- Störungen der Identitätsmatrix; die Inverse Q konnte einfach bestimmt werden (Satz 644, denn sie ist wegen Q Q selbst wieder eine Rang- Störung von I n I n Es gilt der folgende, allgemeinere Zusammenhang für Rang- Störungen invertierbarer Matrizen, die sog Sherman-Morrison-Woodbury Formel: Theorem 64 Sei A R n n regulär, u, v R n Dann gilt: Falls v A u, dann ist (A + uv A Falls v A u, dann ist A + uv nicht regulär + v A u A uv A Beweis: Übung 65 Anwendung auf Ausgleichsprobleme Die QR Zerlegung und Satz 6 legen somit eine weitere Methode nahe, wie das Ausgleichsproblem (67 gelöst werden kann: man konstruiert eine orthogonale Matrix Q O M, so dass QA die Rechtsdreiecksgestalt (6 hat Diese orthogonale Matrix Q kann genauso erzeugt werden, wie bei der QR-Zerlegung in Abschnitt 64: es wird zuerst eine Householder-Reflexion Q konstruiert, die die erste Spalte von A auf ein Vielfaches von e abgebildet Anschliessend June 7, 7

65 ANWENDUNG AUF AUSGLEICHSPROBLEME wird eine orthogonale Matrix konstruiert, um die zweite Spalte von Q A auf einen Vektor abzubilden, bei dem alle Einträge mit Ausnahme der obersten beiden Null sind usw Das Vorgehen ist also völlig analog zu Algorithmus 647 der einzige Unterschied besteht darin, dass im vorliegenden Fall einer Matrix A R m n mit m > n nur n Householder-Reflexionen berechnet werden müssen und nicht m wie im Falle einer m m Matrix (Übung: warum reichen im Fall m > n hier n Householder-Reflexionen nicht aus? Algorithmus 65 (QR-Zerlegung mit Householder-Reflexionen input : Matrix A R m n, m > n, Spalten von A linear unabhängig output: orthogonale Matrix Q und Rechtsdreiecksmatrix R R n n mit QR A A ( : A R : R m n for k from to n do { a( : m k + : A (k ( : m k +, %a : Vektor der Länge m k +, der die Spalte von A (k enthält α : sign(a a a v k ( : a( α v k ( : m k + : a( : m k + % v k a αe, e R m k+ ist der Einheitsvektor im R m k+ 4 Q : I m k+ v k v v k v k k 5 berechne B : Q A (k 6 R(k, k : n : B(, : n k + % k-te Zeile von R 7 A (k+ : B( : m k +, : n k + %A (k+ ist die Untermatrix von B, die durch Streichen % der Zeile und Spalte entsteht 8 setze Q k : I k Q % Konvention: Q Q } R(n, n : A (n+ (, setze Q : Q n Q n Q n Q return (Q,R Beispiel 65 Wir führen das Vorgehen wieder mit den Zahlen aus Beispiel 6 vor Aus Platzgründen geben wir nur 4 Ziffern an Wie in Beispiel 64 unterscheidet sich unser Vorgehen hier von Algorithmus 647 June 7, 7 4

65 ANWENDUNG AUF AUSGLEICHSPROBLEME dadurch, dass die Householder-Vektoren v k nicht auf (v k normiert werden 5 4 8 5 5 A 9 45 5 7 Die erste Spalte von A ist a 4 5 9, a 7695 Damit ist α sign( 7695 7695 Für v a αe ergibt sich 8695 4 4 5 5 v 9 + 7695 9 Die erste Householder-Reflexion ist somit Q I 7 v vv Man berechnet Q A: 6 444 85 5 6 4 7 444 9799 5 45 5 64 7 85 5 9685 566 69 755 58 5 45 566 898 59 65 6 5 69 874 5 57 4 64 755 59 5 888 7 7 58 65 57 4967 Q A 7695 7 8 4 56 45 64 59 Die erste Zeile von R ist somit ( 7695, 7 Wir wiederholen obige Schritte für die Untermatrix 8 4 A ( 56 45 64 59 June 7, 7 5

Wir setzen a 8 4 56 45 64 59 und erhalten damit für v a αe : 65 ANWENDUNG AUF AUSGLEICHSPROBLEME, a 7; α sign(8 7 7 v 8 4 56 45 64 59 + 7 948 4 56 45 64 59 Somit ist Q ( I 6 v vv 99 9 58 77 9 948 9 85 568 867 58 9 948 87 6 97 85 87 9 55 87 568 6 55 96 44 77 867 97 87 44 599 Also Q ( A ( 7 Die gesuchte Rechtsdreiecksmatrix R R ist damit ( 7695 7 R 7 Wir erhalten damit für die orthogonale Matrix Q : Setzt man Q ( Q ( Q Q Q 99 9 58 77 9 948 9 85 568 867 58 9 948 87 6 97 85 87 9 55 87 568 6 55 96 44 77 867 97 87 44 599 6 444 85 5 6 4 7 97 64 488 8 55 68 6595 684 55 8855 49 4 7 69 94 444 869 959 95 49 7 4 967 7984 68 45 84 9 94 7844 7 7488 69 56 75 8 887 69 June 7, 7 6

so gilt nach Konstruktion Wir berechnen ( R QA Qy Q Die gewünschte Partitionierung von Qy ist damit 65 ANWENDUNG AUF AUSGLEICHSPROBLEME 96 6 8 5 5 55 58 7695 7 7 ( ( b 744 Qy, b b 759 744 759 7 6 58 55 46, b Somit erhalten wir als das zu lösende Gleichungssystem Rx b : ( ( 7695 7 744 x 7 759 7 6 58 55 46 Aufgelöst nach x (v y, g ergibt sich: x ( 8 987 Bezüglich der Konditionszahl der Rechtsdreiecksmatrix R aus der QR Zerlegung von A und der Matrix A A aus den Normalengleichungen gilt folgendes Ergebnis Theorem 65 Unter den Annahmen von Satz 6 gilt A A R R σ σ n > die Singulärwerte von A R m n Dann gilt Weiterhin seien Beweis: κ (R σ, und κ (A A (κ (R σ σ n σn Übung Hinweis: Für SPD-Matrizen B gilt nach dem Rayleigh-Ritz Prinzip: λ min (B x Bx min x R m x x, λ x Bx max(b max x R m x x Bemerkung 654 Wir hatten in Abschnitt 64 gesehen, dass die QR-Zerlegung einer invertierbaren Matrix eindeutig ist, falls A vollen Spaltenrang hat und das Vorzeichen der Diagonaleinträge von R festliegt Auch bei Zerlegungen wie in Satz 6 ist die Rechtsdreiecksmatrix R R n n eindeutig, wenn das Vorzeichen der Diagonaleinträge festgelegt ist Wird verlangt, dass R ii >, i,, m, dann ist R der Cholesky-Faktor von A A June 7, 7 7

66 RECHTECKMATRIZEN MIT RANGDEFEKT SINGULÄRWERTZERLEGUNG 66 Rechteckmatrizen mit Rangdefekt Singulärwertzerlegun Bisher betrachteten wir Systeme Ax b mit x R n, b R m, A R m n, und m n, sowie rank(a n, etwa aus dem Abgleich eines physikalischen Gesetzes n f(t x j Φ j (t (668 mit m > n Datenpaaren (t i, f i, i : m Insbesondere ist also f(t V : span{φ j (t : j : n} und j A (a ij i:m,j:n mit a ij Φ j (t i (669 Seien nun n r > der Basisfunktionen Φ j (t in (668 linear abhängig, dh die Dimension des Vektorraums V span{φ (t,, Φ n (t} ist r < n Seien weiter σ σ n die Singulärwerte der Matrix A in (669 Dann ist σ r+ σ r+ σ n und, mit einer Lösung x R n von Φ(x : Ax b Ay b y R n (66 ist auch x + z für jedes z, z ker(a Lösung von (66 Eine Zusatzbedingung ist also nötig, um (66 eindeutig lösbar zu machen Wir fordern, dass x unter allen Lösungen von (66 die kleinste Norm hat: finde x R n mit x! min so, dass ist Ax b min y R n Ay b (66 Theorem 66 Sei A R m n, b R m gegeben mit r rang(a < n < m Dann ist x R n gegeben durch x A + b, die eindeutige Lösung von (66 Beweis: Sei A V Σ U die SVD von A Dann ist (66 äquivalent zur Minimierung von Φ(y V Σ U y b V (Σ U y V b Σw V b über alle w U y R n Hieraus folgt, dass Φ(y Φ(Uw r n (σ i w i (V b i + (V b i i ir+ Also ist Φ(y minimal für w i σ i (V b i, i,, r Da U O n, ist y Uw w Also ist y minimal für w r+ w n Somit ist w Σ + V b Lösung, woraus folgt x UΣ + V b June 7, 7 8

67 ε-rang einer Matrix 67 ε-rang EINER MATRIX Sind die Basisfunktionen Φ j im linearen physikalischen Gesetz (668 fast linear abhängig oder die Messpunkte t i so, dass sich die Φ j fast nicht auf dem Bereich der t i unterscheiden, haben die Spalten von A noch mathematisch vollen Rang, aber das Ausgleichsproblem ist schlecht konditioniert: kleine Fehler in den Daten können grosse Änderungen im Lösungsvektor des Ausgleichsproblems nach sich ziehen In diesem Fall sind in der SVD A V Σ U (67 von A einige der Singulärwerte σ r+ σ n entweder gleich oder aber sehr klein und daher ist κ (A A (σ /σ n gross: kleine Messfehler in den Daten (f i : i : m werden verstärkt im Lösungsvektor der Normalgleichungen auftreten Sei deshalb jetzt ε > eine Fehlerschranke der f i (zb ist ε ein Messfehler in den Daten; aufgrund von Rundungsfehlern in Gleitkommaarithmetik F gilt übrigens immer ε ε M (F mit dem Maschinenepsilon aus ( Dann definieren wir den ε-rang des Systems {Φ i } auf den Datenpunkten t i wie folgt: r(ε max{k : σ k ε} (67 Offensichtlich ist der ε-rang des Systems {Φ i } eine Verallgemeinerung des mathematischen Rangs der -Rang des Systems entspricht der Dimension des VR span{φ (t,, Φ n (t} Beachte, dass r(ε abhängt von der Wahl der t i sowie der Wahl der Φ j, nicht aber von den Werten f i : r r(ε, {t,, t m }, {Φ,, Φ n } und es gilt natürlich immer r(ε r( rank(a n < m Kann im Falle eines kleinen ε-rangs von A die SVD von A ausser zur Verbesserung der numerischen Stabilität noch weitergehend benutzt werden? In der Tat kann man mittels der Singulärvektoren u,, u r(ε, also den ersten r(ε Spalten der Matrix U [u,, u n ] in der SVD (67 von A, aus dem Vektor Φ(t : (Φ (t,, Φ n (t der Basisfunktionen Φ j (t die r(ε dominanten Basisfunktionen für den VR span{φ,, Φ n } herausziehen: es sind dies die Funktionen φ j (t : u j Φ(t, j,, r(ε wobei u j die j-te Spalte der Matrix U in der SVD von A ist June 7, 7 9