Über- und unterbestimmte Systeme

Transkript

1 Über- und unterbestimmte Systeme Über- und unterbestimmte Systeme (verallgemeinerte Lösungen) Ax = b ist genau dann für alle b R m eindeutig lösbar, wenn m = n und rk A = n. Falls m n oder rk A < min{m, n} gibt es zwei Fälle: a) unterbestimmtes Gleichungssystem b) überbestimmtes LGS. Fall a) tritt ein, wenn n > m (ggf. nach Streichung abhängiger Zeilen), d.h. es gibt mehr Unbekannte als Gleichungen, aber keine Widersprüche. Das LGS ist lösbar, aber nicht eindeutig, die Lösungsmenge ist x + kera = {x : x = x + ξ,ξ kera}. Für x = ist dies linearer Teilraum von R n. Für x wird diese Menge ein affiner Raum. Wenn Fall b) zutrifft, ist die Lösungsmenge leer. Kurt Frischmuth (IfM) Mathe4WiWi WS 9 / 45

2 Unterbestimmtes LGS naives Herangehen Für drei Positionen im Ausgabenplan gilt: x + x + x = x x = (in Mrd.DM) Das System ist unterbestimmt, denn = n > m =. Mit λ = x gilt: x = λ; x = 5λ. 5 kera = λ, für λ = x =. Eine weitere Lösung ist offenbar: λ = x =, x = 4, x =. Die Summe der Ausgaben x + x + x ist für die zweite Lösung offenbar kleiner als für die Lösung x, d.h. sie ist vorzuziehen. Kurt Frischmuth (IfM) Mathe4WiWi WS / 45 minimale Ausgaben Welche Lösung ist die mit den geringsten Ausgaben? x + x + x = 5λ + λ + λ = λ λ Es gibt keine beste Lösung. Aber: x i Ausgaben (also nichtnegativ), nur λ [, ] betrachten. bester Wert: λ = Kurt Frischmuth (IfM) Mathe4WiWi WS / 45

3 minimale Länge Welcher Lösungsvektor hat die kleinste Länge? (,, ) T hat Länge (, 4, ) T hat nur Länge = 5 = 4.47 Geht es noch kleiner? (5/, /, 5/) T erfüllt das LGS und hat nur eine Länge von 5/ = 4.85 wir werden sehen, wie diese Lösung gefunden wird, und dass sie nicht zu unterbieten ist Kurt Frischmuth (IfM) Mathe4WiWi WS / 45 Lösung des unterbestimmten LGS: Ax = b Gaußalgorithmus x = x + λ k v k Suchen als verallgemeinerte Lösung x mit x = min. f (λ) = x = x + λ k v k = n (x j= j + λ k v k j ) f (λ) = min f λ k (λ) =, k =,...,l f λ k = n (xj j= + λ κ v κ j )v k j = l = n rk(a) Kurt Frischmuth (IfM) Mathe4WiWi WS / 45

4 Formulierung mittels Skalarprodukten Eine Lösung x hat die kleinstmögliche (Euklidische) Norm x genau dann wenn (x, v k )=, k =,...,l. (Dies ist ein l l LGS für l unbekannte Koeffizienten λ,...,λ l.) Interpretation: Die eindeutig bestimmte Lösung des unterbestimmten LGS Ax = b ist der Fußpunkt des vom Nullvektor auf die allgemeine Lösungsmenge gefällten Lotes (Lösung kleinster Norm). Kurt Frischmuth (IfM) Mathe4WiWi WS 4 / 45 Beispiel eines unterbestimmten LGS x + x + x + x 4 = x x + x + x 4 = 6 x + x + x + x 4 = x = 4 x =, x = λ, x 4 = λ, x = 8 λ λ 8 x = + λ + λ Kurt Frischmuth (IfM) Mathe4WiWi WS 5 / 45

5 Orthogonalitätsbedingung x = 8 8+ λ + λ = 8+ λ + λ = λ = 8, λ = x = = 8 = Kurt Frischmuth (IfM) Mathe4WiWi WS 6 / 45 Überbestimmtes Gleichungssystem Wenn n < m (auch nach Streichung eventuell abhängiger Zeilen), d.h. wenn rk (A b) > rk A so ist das Gleichungssystem nicht lösbar, die Lösungsmenge ist leer. Typischerweise weisen wir das Vorliegen dieses Falls mittels Gaussalgorithmus nach. Kurt Frischmuth (IfM) Mathe4WiWi WS 7 / 45

6 Lösung des überbestimmten LGS Mangels Existenz einer klassischen Lösung suchen wir eine verallgemeinerte Lösung, die definiert ist vermöge Ax b = min. f (x) = Ax b = m (A i x b i ) i= = f = m (A i x b)a i f x. f x n i= f = A T (Ax b) = Kurt Frischmuth (IfM) Mathe4WiWi WS 8 / 45 Normalgleichungen Die notwendigen Bedingungen für das Vorliegen eines Minimums lassen sich praktisch darstellen als A T Ax = A T b. Dieses System heißt Gaußsche Normalgleichung. Merke: Man löst ein überbestimmtes LGS, indem man von links mit der transponierten Koeffizientenmatrix multipliziert. Es entsteht ein quadratisches (n n) LGS. rk A = n! kleinste Quadrate-Lösung sonst unterbestimmtes LGS Lösung kleinster Norm bestimmen Kurt Frischmuth (IfM) Mathe4WiWi WS 9 / 45

7 Beispiel eines überbestimmtes LGS Es seien t y 5 gewisse Wirtschaftsdaten. Deren Wachstum ist annähernd linear. Wir setzen also eine Gleichung der Form y = x t + x an. Gesucht: Anstieg x pro Jahr und Absolutglied x. Es entsteht das Gleichungssystem: t x + x = y t x + x = y t x + x =y. Kurt Frischmuth (IfM) Mathe4WiWi WS 4 / 45 Lineare Regression Bei zwei Datenpaaren entsteht folgendes LGS: } t x + x = y x t x + x = y = y y, x = t y t y t t t t Für t t eindeutig lösbar, aus den ersten beiden Gleichungen: x und x eindeutig bestimmt, aber x und x auch aus der ersten und dritten Gleichung eindeutig bestimmt drei Datenpaare, die sich i. a. widersprechen. Kleinste-Quadrate-Lösung (t x + x y ) + (t x + x y ) + (t x + x y ) = min! d. h. x und x sollen so bestimmt werden, dass das Minimum angenommen wird. Kurt Frischmuth (IfM) Mathe4WiWi WS 4 / 45

8 Lösung des Regressionsproblems überbestimmtes System ( ) x = 5 x Normalgleichungen ( )( ) ( ) 4 x 5 = 4 x 8 Lösung x =(.57,.857) T Kurt Frischmuth (IfM) Mathe4WiWi WS 4 / 45 Graphische Darstellung des Regressionsproblems Kurt Frischmuth (IfM) Mathe4WiWi WS 4 / 45

9 Beispiel Bestimme zu den Beispielen -4, 6, 7 und 9 die Lösung kleinster l -Norm! Lösungen: ) O ist Lösung - l -Norm= ) x () und x ( ) und x ( ), also + α β + γ + α = α + β γ + β = + α β + γ + γ = β + γ = α + β = Kurt Frischmuth (IfM) Mathe4WiWi WS 44 / 45 Beispiel, Fortsetzung α = γ, β = α x = α + α + α + α =, α = = Kurt Frischmuth (IfM) Mathe4WiWi WS 45 / 45

10 ... immer noch Beispiel... ) x ( ) und x () homogenes System Oist Lösung kleinster l -Norm 4 ) + α + α = } β + β = α =,β= ( ) T x =,,, 6 ) x ( ).5 + α α + + α + + α = 4 + 4α =, α = x =(.5,.5,, ) T Kurt Frischmuth (IfM) Mathe4WiWi WS 46 / 45 Beispiel, Schluss 7 ) α = 9 ) α = ( ) T α =, x =,,, α = (, x =,, ) T, Kurt Frischmuth (IfM) Mathe4WiWi WS 47 / 45

11 Beispiel Bestimme zu den Beispielen 5 und verallgemeinerte Lösungen, d.h. Vektoren, die die l -Norm des Defektes Ax b minimieren! Lösungen 5 ) A T A = = ( ) Kurt Frischmuth (IfM) Mathe4WiWi WS 48 / 45 Beispiel, Fortsetzung A T b = eine Lösung im Sinne der Defektminimierung ist O allgemeine Lösung hat Parameter: x 4 = α, x = β, x = γ, x = β γ α verallgemeinerte Lösung kleinster l -Norm ist Nullvektor A + b =() T (A + -Moore-Penrose-Inverse) Kurt Frischmuth (IfM) Mathe4WiWi WS 49 / 45

12 Beispiel, Fortsetzung ) A T A = = A T b = 6 4 Kurt Frischmuth (IfM) Mathe4WiWi WS 5 / 45 Beispiel, Fortsetzung x 4 = α, x = α, x = α, x = x = + α Kurt Frischmuth (IfM) Mathe4WiWi WS 5 / 45

13 Beispiel, Fortsetzung x = + α x + α + + α + + α + α = α = x + 8 = (verallgemeinerte Lösung kleinster l -Norm) Kurt Frischmuth (IfM) Mathe4WiWi WS 5 / 45 Beispiel : Probe Ax + = = b Defekt: r = b Ax + =(,,, )T Defektnorm: r = = Kurt Frischmuth (IfM) Mathe4WiWi WS 5 / 45

14 Noch mehr Beispiele linearer Systeme a) x + x + x = 9 x 8x + x = 85 6x + x + x = x + x + 5x = 6 b) x x + x = 7x 4x x = x x x = 5 x + x + 5x = 5x + 7x = 7 Kurt Frischmuth (IfM) Mathe4WiWi WS 54 / 45 Immer noch mehr Beispiele c) x x + x = 7x 4x x = x x x = 5 x + x + 5x = 5x + 7x = 7 d) 6x + 4x + 8x + 7x 4 = x + x + 5x + 8x 4 = 8 x + x + 7x + 7x 4 = 4 x x 4 = 4 Kurt Frischmuth (IfM) Mathe4WiWi WS 55 / 45

15 Lösungen zu den letzten 4 Beispielen a) x = 5 b) x = t c) leere Menge (Widerspruch, keine Lösung) d) x = + u + v 4 4 Kurt Frischmuth (IfM) Mathe4WiWi WS 56 / 45