Über- und unterbestimmte Systeme (verallgemeinerte Lösungen) Über- und unterbestimmte Systeme Ax = b ist genau dann für alle b R m eindeutig lösbar, wenn m = n und rk A = n. Falls m n oder rk A < min{m, n} gibt es zwei Fälle: a) unterbestimmtes Gleichungssystem b) überbestimmtes LGS. Fall a) tritt ein, wenn n > m (ggf. nach Streichung abhängiger Zeilen), d.h. es gibt mehr Unbekannte als Gleichungen, aber keine Widersprüche. Das LGS ist lösbar, aber nicht eindeutig, die Lösungsmenge ist x + kera = {x : x = x + ξ, ξ kera}. Für x = ist dies linearer Teilraum von R n. Für x wird diese Menge ein affiner Raum. Wenn Fall b) zutrifft, ist die Lösungsmenge leer. Unterbestimmtes LGS naives Herangehen minimale Ausgaben Für drei Positionen im Ausgabenplan gilt: x 1 + 2x 2 + x 3 = 1 x 2 2x 3 = (in Mrd.DM) Das System ist unterbestimmt, denn 3 = n > m = 2. Mit λ = x 3 gilt: x 2 = 2λ; x 1 = 1 5λ. 5 1 kera = λ 2 1, für λ = x =. Eine weitere Lösung ist offenbar: λ = x 3 = 2, x 2 = 4, x 1 =. Die Summe der Ausgaben x 1 + x 2 + x 3 ist für die zweite Lösung offenbar kleiner als für die Lösung x, d.h. sie ist vorzuziehen. Welche Lösung ist die mit den geringsten Ausgaben? x 1 + x 2 + x 3 = 1 5λ + 2λ + λ = 1 2λ λ Es gibt keine beste Lösung. Aber: x i Ausgaben (also nichtnegativ), nur λ [, 2] betrachten. bester Wert: λ = 2
minimale Länge Lösung des unterbestimmten LGS: Welcher Lösungsvektor hat die kleinste Länge? (1,, ) T hat Länge 1 (, 4, 2) T hat nur Länge 2 = 2 5 = 4.4721 Geht es noch kleiner? (5/3, 1/3, 5/3) T erfüllt das LGS und hat nur eine Länge von 15/3 = 4.25 wir werden sehen, wie diese Lösung gefunden wird, und dass sie nicht zu unterbieten ist Ax = b Gaußalgorithmus x = x + λ k v k Suchen als verallgemeinerte Lösung x mit x 2 2 = min. f (λ) = x 2 = x + λ k v k 2 = n (x =1 + λ k v k ) 2 f (λ) = min f λ k (λ) =, k = 1,..., l f λ k = 2 n =1 (x + λ κ v κ )v k = l = n rk(a) Formulierung mittels Skalarprodukten Beispiel eines unterbestimmten LGS Eine Lösung x hat die kleinstmögliche (Euklidische) Norm x 2 genau dann wenn (x, v k ) =, k = 1,..., l. (Dies ist ein l l LGS für l unbekannte Koeffizienten λ 1,..., λ l.) Interpretation: Die eindeutig bestimmte Lösung des unterbestimmten LGS Ax = b ist der Fußpunkt des vom Nullvektor auf die allgemeine Lösungsmenge gefällten Lotes (Lösung kleinster Norm). x 2 = 2, x 3 = λ 1, x 4 = λ 2, x 1 = λ 1 λ 2 x = 2 x 1 + x 2 + x 3 + x 4 = 1 x 1 x 2 + x 3 + x 4 = 6 x 1 + x 2 + x 3 + x 4 = 1 2x 2 = 4 + λ 1 1 1 + λ 2 1 1
Orthogonalitätsbedingung Überbestimmtes Gleichungssystem x = 3 + λ 1 2+ λ 2 = + λ 1 + λ 2 2 = λ 1 = 3, λ 2 = 3 1 1 1 + 3 + 2 1 x 2 = 3 64 9 + 4 = = 1 3 76 3 6 Wenn n < m (auch nach Streichung eventuell abhängiger Zeilen), d.h. wenn rk (A b) > rk A so ist das Gleichungssystem nicht lösbar, die Lösungsmenge ist leer. Typischerweise weisen wir das Vorliegen dieses Falls mittels Gaussalgorithmus nach. Lösung des überbestimmten LGS Normalgleichungen Mangels Existenz einer klassischen Lösung suchen wir eine verallgemeinerte Lösung, die definiert ist vermöge f x 1. f x n Ax b 2 2 = min. f (x) = Ax b 2 = m (A i x b i ) 2 i=1 = f = 2 m (A i x b)a i i=1 f = A T (Ax b) = Die notwendigen Bedingungen für das Vorliegen eines Minimums lassen sich praktisch darstellen als A T Ax = A T b. Dieses System heißt Gaußsche Normalgleichung. Merke: Man löst ein überbestimmtes LGS, indem man von links mit der transponierten Koeffizientenmatrix multipliziert. Es entsteht ein quadratisches (n n) LGS. rk A = n! kleinste Quadrate-Lösung sonst unterbestimmtes LGS Lösung kleinster Norm bestimmen
Beispiel eines überbestimmtes LGS Es seien t 1 3 y 3 5 1 gewisse Wirtschaftsdaten. Deren Wachstum ist annähernd linear. Wir setzen also eine Gleichung der Form y = x 1 t + x 2 an. Gesucht: Anstieg x 1 pro Jahr und Absolutglied x 2. Es entsteht das Gleichungssystem: t 1 x 1 + x 2 = y 1 t 2 x 1 + x 2 = y 2 t 3 x 1 + x 2 =y 3. Lineare Regression Bei zwei Datenpaaren entsteht folgendes LGS: } t 1 x 1 + x 2 = y 1 x t 2 x 1 + x 2 = y 1 = y 1 y 2, x 2 = t 1y 2 t 2 y 1 2 t 1 t 2 t 1 t 2 Für t 1 t 2 eindeutig lösbar, aus den ersten beiden Gleichungen: x 1 und x 2 eindeutig bestimmt, aber x 1 und x 2 auch aus der ersten und dritten Gleichung eindeutig bestimmt drei Datenpaare, die sich i. a. widersprechen. Kleinste-Quadrate-Lösung (t 1 x 1 + x 2 y 1 ) 2 + (t 2 x 1 + x 2 y 2 ) 2 + (t 3 x 1 + x 2 y 3 ) 2 = min! d. h. x 1 und x 2 sollen so bestimmt werden, dass das Minimum angenommen wird. Lösung des Regressionsproblems Graphische Darstellung des Regressionsproblems überbestimmtes System 1 ( ) 1 1 x1 = x 3 1 2 3 5 1 Normalgleichungen ( 1 4 4 3 ) ( x1 x 2 ) = ( 35 1 ) Lösung x = (2.3571, 2.571) T
Unterbestimmte LGS und Optimierung Lineare Optimierung Bei lösbaren unterbestimmten linearen Gleichungssystemen haben wir die Qual der Wahl in Abhängigkeit von den freien Parametern (Anzahl = Anzahl Unbekannte - Rang der Systemmatrix) bekommen wir unendlich viele Lösungen. Qual der Wahl: Welche Parameter sollen wir setzen? Standardantwort: Minimiere die l 2 Norm der Lösung. (Technisch: Setze alle Skalarprodukte der allgemeinen Lösung mit den Basisvektoren des Kerns gleich Null eindeutige leastsqares Lösung) Zielfunktion Lineare Optimierung angepasste Antwort: Lineares Auswahlkriterium hängt von Anwendung ab, z.b. minimale Kosten maximaler Gewinn Typisch: Gewinn = lineares Funktional in x maximieren, f (x) = c x = n c x = max! Nebenbedingung: alle Variablen (und c - Preise) nichtnegativ. =1 Aufgabentyp: cx =max! unter Ax = b, x Beispiel: - n = 3 verschiedene Produkte herstellen - unter Verwendung von m = 4 Produktionsmitteln, die - nur beschränkt verfügbar (aus Kapazitätsgründen) Gegeben: Prodmittel\ Produkt 1 2 3 Kapazität 1 1 3 2 3 2 4 2 1 25 3 3 4 4 45 4 2 3 5 5 Gewinn e Einheit 5 4
Ziel Standardform eines LOP Gesucht sind Produktionsmengen mit maximalem Gewinn unter den Nebenbedingungen: f (x) = 5x 1 + x 2 + 4x 3 max x 1 +3x 2 +2x 3 3 4x 1 +2x 2 + x 3 25 3x 1 +4x 2 +4x 3 45 2x 1 +3x 2 +5x 3 5 x 1, x 2, x 3 Schritte: 1 Überführen in kanonische Form Ax = b, x, f (x) = max (Annahme: b, alle Ungleichungen für Vektoren sind komponentenweise gemeint.) 2 Lösen dieser Standardaufgabe mit dem Simplex-Algorithmus Tricks zur Überführung: a) Einführung von Schlupfvariablen: u i x n+i (u i ist der Rest von Ressource i) aus Ungleichungen werden Gleichungen b) freie Variable Differenz zweier nichtnegativer Variabler Tipps zur Lösung Beispiel a) 2D-Probleme grafisch lösbar b) niedrigdimensionale Probleme Gauss-ähnlich lösbar (Florida Method, d.h. per Hand) c) für große Probleme Programmpakete nutzen, z.b. in Maple > simplex[maximize](obective,constraints); d) Mimimierung analog, z.b. durch Maximieren von f (x) 1 3 2 1 A = 4 2 1 1 3 4 4 1 2 3 5 1 c = ( 5 4 ) b = 3 25 45 5
In 2 Schritten zum Gipfel Bemerkungen Basisvariable die wo Einheitsmatrix steht, hier 4.. 7 Nichtbasisvariable alle anderen, sind immer gleich rechte Seite = Werte der Basisvariablen bei NBV stehen nichttriviale Preise, bei BV sind c-werte= Simplexschritt: eine NBV wird BV, dafür fliegt eine BV heraus Auswahl der neuen BV: aktuelle NBV mit größtem c-wert (hier x 2 ) Auswahl der zu killenden BV: dieenige, für die zuerst eine Ressource ausgeht Rechnung: GAUSSschritte, um bei neuer BV eine Eins und sonst Nullen zu erzeugen Maximalwert = minus letzter Eintrag in letzter Zeile Beispiel Textaufgabe Für zwei Produktmengen x 1 und x 2 gelten die Bedingungen x 1 6 x 2 x 1 + x 2 12. a) Führen Sie Schlupfvariable ein und stellen Sie ein Gleichungssystem auf. b) Bestimmen Sie die allgemeine Lösung. d) Finden Sie die Lösung mit maximalem Gewinn f (x) = x 1 + 3x 2. Die a 1 = 6 Mitarbeiter der Abteilung A 1, analog a 2 = 15 aus A 2 und a 3 = 25 aus A 3, sind für neue Jobs J 1, J 2, J 3, J 4 umzuqualifizieren. Der Bedarf für Job J i beträgt i mit = (2, 3, 4, 1). Die Kosten für die Umschulung e Mitarbeiter aus A k für den neuen Job J i betragen C ki gemäß folgender Tabelle C = 1 1 2 3 2 5 1 2 1 1 6 1 Bestimmen Sie einen möglichst kostengünstigen Umschulungsplan.