Lineare Gleichungssysteme

Transkript

1 Christian Serpé Universität Münster 14. September 2011 Christian Serpé (Universität Münster) 14. September / 56 Gliederung 1 Motivation Beispiele Allgemeines Vorgehen 2 Der Vektorraum R n 3 Lineare Optimierung Beispielproblem Rechnerisches Lösungsverfahren Simplexverfahren Christian Serpé (Universität Münster) 14. September / 56

2 Motivation Beispiel: Page Rank Wir betrachten eine Menge von Internetseiten, die untereinander verlinkt sind: Wie wollen berechnen wie gross die Wahrscheinlichkeit ist, bei zufälligem surfen, auf eine bestimmten Seite zu landen. (Larry Page und Sergei Brin) Christian Serpé (Universität Münster) 14. September / 56 Motivation Beispiel: Page Rank Wir stellen uns einen Surfer vor, der folgendermassen vorgeht: In 85 % der Fälle folgt er zufälligen einem Link auf der Seite auf der er sich gerade befindet. in 15 % der Fälle springt er zufällig auf irgend eine Seite (die nicht notwendigerweise direkt verlinkt ist). Wir wollen nun herausfinden mit welcher Wahrscheinlichkeit unser Surfer auf der Seite S1, S2 und S3 ist. Dazu sei p 1 die Wahrscheinlichkeit für S1, p 2 für S2 und p 3 für S3. Christian Serpé (Universität Münster) 14. September / 56

3 Beispiel: Page Rank Motivation Es ergeben sich nun folgenden Gleichungen: p 1 = (p p p ) p 2 = (p p p ) p 3 = (p p p 3 0) Wie schreiben diese Gleichungen noch einmal etwas strukturierter hin und erhalten: Christian Serpé (Universität Münster) 14. September / 56 Beispiel: Page Rank Motivation p p 3 = p 1 +p p 3 = p p 2 +p 3 = Dies ist ein lineares Gleichungssystem in den Unbekannte p 1, p 2, p 3. Löst man dies so erhält man: p , p , p Christian Serpé (Universität Münster) 14. September / 56

4 Beispiele Einfachster Fall Wir betrachten als erstes den Fall einer Unbekannten und einer Gleichung. Beispiel: 5x = 7 Wir suchen die Menge aller reellen Zahlen, die man für x einsetzen kann, so dass obige Gleichung gilt. Also: L = {t R t5 = 7} = { 7 5 } Christian Serpé (Universität Münster) 14. September / 56 Beispiele Zwei Unbekannte und zwei Gleichungen Als nächste betrachten wir den Fall mit zwei Unbekannten und zwei Gleichungen. x + 2y = 4 x y = 1 Wie suchen wieder die Lösungsmenge L := {(s, t) R 2 (s, t) erfüllen die beiden Gleichungen.} (1, 3 2 ) erfüllt die erste aber nicht die zweite Gleichung. (4, 3) erfüllt die zweite Gleichung aber nicht die erste. Christian Serpé (Universität Münster) 14. September / 56

5 grafische Lösungsweg Beispiele Christian Serpé (Universität Münster) 14. September / 56 grafische Lösungsweg Beispiele Christian Serpé (Universität Münster) 14. September / 56

6 Beispiele grafische Lösungsweg Christian Serpé (Universität Münster) 14. September / 56 Beispiele grafischer Lösungsweg Wir sehen also am letzten Bild, dass das (2, 1) die eindeutige Lösung des linearen Gleichungssystems ist. x + 2y = 4 x y = 1 L = {(2, 1)} Christian Serpé (Universität Münster) 14. September / 56

7 Allgemeines Vorgehen Manipulation von LGS Der folgende Satz ist wichtig für die rechnerische Lösung von linearen Gleichungssystemen. Satz: Die Lösungsmenge eines linearen Gleichungssystems über R ändert sich nicht unter den Operationen: Addition eines reellen Vielfachen einer Gleichung zu einer anderen Multiplikation einer Gleichung mit einer von Null verschiedenen Zahl Vertauschung zweier Gleichungen. Christian Serpé (Universität Münster) 14. September / 56 Allgemeines Vorgehen rechnerische Lösung Verwenden wir den Satz in unserem Beispiel so können wir folgendermassen vorgehen: x + 2y = 4 x y = 1 Wie ziehen von der zweiten Gleichung die erste Gleichung ab und erhalten: x + 2y = 4 3y = 3 Wie multiplizieren die zweite Gleichung mit 1 3 x + 2y = 4 y = 1 und erhalten: Christian Serpé (Universität Münster) 14. September / 56

8 Allgemeines Vorgehen rechnerische Lösung x + 2y = 4 y = 1 Nun ziehen wir von der ersten Gleichung zweimal die zweite ab und erhalten: Und somit also die Lösung: x = 2 y = 1 L := {(2, 1)} Christian Serpé (Universität Münster) 14. September / 56 Allgemeines Vorgehen allgemeines Vorgehen Generell kann man beim Lösen folgendermassen vorgehen: 1 Bringe das Gleichunssystem auf Zeilenstufenform. 2 Vertausche die Positionen der Unbekannten, so dass nur noch einfache Stufen vorliegen. 3 Bringe das Gleichungssystem auf eine Form, bei der der erste Koeffizient stets 1 ist und oberhalb der Stufe nichts mehr steht. Wie sehen jetzt an Beispielen, was das genau bedeutet. Christian Serpé (Universität Münster) 14. September / 56

9 1. Beispiel I Allgemeines Vorgehen Wir betrachten folgenden lineares Gleichungssystem: x 1 + 3x 3 + 5x 4 + 6x 5 = 3 2x 1 + 2x 2 6x 3 14x 4 8x 5 = 2 x 1 + 2x 2 + 3x 3 + 3x x 5 = 7 Wir sind natürliche wieder an der Lösungsmenge dieses Gleichungssystem interessiert, also: L := {(t 1, t 2, t 3, t 4, t 5 ) R 5 (t 1, t 2, t 3, t 4, t 5 ) erfüllen alle drei Gleichungen.} Christian Serpé (Universität Münster) 14. September / Beispiel II Allgemeines Vorgehen x 1 + 3x 3 + 5x 4 + 6x 5 = 3 2x 1 + 2x 2 6x 3 14x 4 8x 5 = 2 x 1 + 2x 2 + 3x 3 + 3x x 5 = 7 Wie addieren zur zweiten Gleichung 2 mal die erste und subtrahieren von der dritten 1 mal die erste. x 1 + 3x 3 + 5x 4 + 6x 5 = 3 2x 2 4x 4 + 4x 5 = 4 2x 2 2x 4 + 4x 5 = 4 Wir ziehen 1 mal die zweite Gleichung von der dritten Gleichung ab Christian Serpé (Universität Münster) 14. September / 56

10 1. Beispiel III Allgemeines Vorgehen x 1 + 3x 3 + 5x 4 + 6x 5 = 3 2x 2 4x 4 + 4x 5 = 4 2x 4 = 0 Wir vertauschen die Position der dritten und vierten Variablen. x 1 + 5x 4 + 3x 3 + 6x 5 = 3 2x 2 4x 4 + 4x 5 = 4 2x 4 = 0 Wir multiplizieren die zweite und dritte Gleichung mit 1 2. Christian Serpé (Universität Münster) 14. September / Beispiel IV Allgemeines Vorgehen x 1 + 5x 4 + 3x 3 + 6x 5 = 3 x 2 2x 4 + 2x 5 = 2 x 4 = 0 Wir addieren 2 mal die dritte Gleichung zur zweiten und subtrahieren 5 mal die dritte Gleichung von der ersten. x 1 + 3x 3 + 6x 5 = 3 x 2 + 2x 5 = 2 x 4 = 0 Christian Serpé (Universität Münster) 14. September / 56

11 1.Beispiel V Allgemeines Vorgehen Wir können x 3 und x 5 frei wählen und die anderen Unbekannten dann mit Hilfe von x 3 und x 5 ausdrücken. s, t R beliebig, x 3 := s, x 5 := t, x 1 = 3 3s 6t, x 2 = 2 2t, x 4 = 0 Also haben wir folgende Lösungsmenge: L = {(3 3s 6t, 2 2t, s, 0, t) R 5 s, t R} So kann man im Prinzip jedes lineare Gleichungssystem lösen, und dieses Verfahren heisst Gaußsches Eliminationsverfahren. Christian Serpé (Universität Münster) 14. September / Beispiel I Allgemeines Vorgehen Wir betrachten folgenden lineares Gleichungssystem: x 1 + 3x 2 + 5x 3 = 7 3x 1 + 9x x 3 = 11 2x 2 + 7x 3 = 6 2x 1 + 8x x 3 = 10 Ziehen wir von der zweiten Gleichung 3 mal die erste und von der vierten Gleichung 2 mal die erste ab, so erhalten wir: x 1 + 3x 2 + 5x 3 = 7 5x 3 = 10 2x 2 + 7x 3 = 6 2x 2 + 2x 3 = 4 Wir vertauschen die vierte und zweite Gleichung: Christian Serpé (Universität Münster) 14. September / 56

12 2. Beispiel II Allgemeines Vorgehen x 1 + 3x 2 + 5x 3 = 7 2x 2 + 2x 3 = 4 2x 2 + 7x 3 = 6 5x 3 = 10 Wir ziehen von der dritten Gleichung die zweite ab: x 1 + 3x 2 + 5x 3 = 7 2x 2 + 2x 3 = 4 5x 3 = 10 5x 3 = 10 Wir addieren zur vierten Gleichung die dritte hinzu: Christian Serpé (Universität Münster) 14. September / Beispiel III Allgemeines Vorgehen x 1 + 3x 2 + 5x 3 = 7 2x 2 + 2x 3 = 4 5x 3 = 10 0 = 0 Wir multiplizieren die Gleichungen mit geeigneten Konstanten: x 1 + 3x 2 + 5x 3 = 7 x 2 + x 3 = 2 x 3 = 2 Wir ziehen von der ersten Gleichung 5 mal die dritte und von der zweiten Gleichung 1 mal die dritte ab: Christian Serpé (Universität Münster) 14. September / 56

13 2. Beispiel IV Allgemeines Vorgehen x 1 + 3x 2 = 3 x 2 = 4 x 3 = 2 Wir ziehen von der ersten Gleichung 3 mal die zweite ab: x 1 = 9 x 2 = 4 x 3 = 2 Und erhalten eine eindeutige Lösung. Christian Serpé (Universität Münster) 14. September / 56 R n als Vektorraum Der Vektorraum R n Es sei n N eine natürliche Zahl. Wir betrachten: x 1 R n := {. x n x 1,..., x n R} und definieren auf dieser Menge eine Addition: x 1 y 1 x 1 + y :=. x n y n x n + y n Diese Verknüpfung ist kommutativ und assoziativ, d.h. es gilt Für alle x, y, z R n gilt: x + y = y + x und (x + y) + z = x + (y + z) Christian Serpé (Universität Münster) 14. September / 56

14 R n als Vektorraum Der Vektorraum R n Ist r R und durch: x 1. x n R n so definieren wir die skalare Multiplitkation r x 1. x n := r x 1. r x n Bem.: Eine Menge mit einer Additionen und einer reellen skalaren Multiplikation wie oben, mit ein paar zusätzlichen Eigenschaften, nennt man einen R Vektorraum. Diese werden in der Vorlesung Lineare Algebra genaustens studiert. Christian Serpé (Universität Münster) 14. September / 56 Beispiel:R 2 Der Vektorraum R n ( ) R 2 x = { x, y R} y Nach Wahl eines Koodinatensystems kann man den R 2 mit einer Ebenen identifizieren und die Addition und skalare Multiplikation erhalten eine geometrische Bedeutung. Christian Serpé (Universität Münster) 14. September / 56

15 Matrix Def.: Es seien n, m N natürliche Zahlen. Eine m n Matrix über den reellen Zahlen ist ein Zahlenschema der Form a 11 a a 1n a 21 a a 2n.... a m1 a m2... a mn mit reellen Zahlen a ij R. (m Zeilen, n Spalten) (Zeilen zuerst und Spalten später) Christian Serpé (Universität Münster) 14. September / 56 Matrixmultiplikation Ist nun A = B = a a 1n.. eine m n Matrix und a m1... a mn b b 1k.. b n1... b nk eine n k Matrix, so definieren wir wie folgt das Produkt C := A B als eine m k Matrix C := c ij := a i1 b 1j + a i2 b 2j + + a in b nj für i = 1,..., m und j = 1,..., k. c c 1k.. mit c m1... c mk Christian Serpé (Universität Münster) 14. September / 56

16 Beispiel: Matrix Multiplikation I Zunächst ein einfaches Beipiel: ( ) = ( 4) = 17 0 Christian Serpé (Universität Münster) 14. September / 56 Beispiel: Matrix Multiplikation II A := , B := 0 3 ( 2 1 ) ( ) ( 2 1 ) ( 9 ) ( ) ( 1 0 ) ( 2 1 ) 0 3 A B = Christian Serpé (Universität Münster) 14. September / 56

17 Gleichungssysteme und Matrixmultiplikation Das Lösen eine linearen Gleichungssystems a 11 x 1 + +a 1n x n = b 1... a m1 x 1 + +a mn x n = b m enspricht nun dem Lösen der Matrixgleichung A x 1. x n = b 1. b m mit A := a a 1n.. a m1... a mn Christian Serpé (Universität Münster) 14. September / 56 Gleichungssysteme und Matrixmultiplikation Insbesonder gilt also: x 1 L = {. x n R n A x 1. x n = b 1. b m } Christian Serpé (Universität Münster) 14. September / 56

18 Bemerkung Ist A eine m n Matrix so definiert diese wie folgt eine Abbildung indem man x 1. x n auf A x 1. x n x, y R n und r R folgendes gilt: und R n R m abbildet. Man stellt fest das für A (x + y) = A x + A y A (r x) = r A x gilt. Solche Abbildungen von R n nach R m heissen lineare Abbildungen und man kann die Menge aller solcher linearen Abbildungen mit der Menge aller m n identifizieren. Christian Serpé (Universität Münster) 14. September / 56 Assoziativität der Matrixmultiplikation Es gilt: Die Matrixmultiplikation ist assoziativ, i.e. für A, B und C gilt: (A B) C = A (B C) (vorausgesetzt man kann die miteinander multiplizieren) Bem.: Im Allgemeinen gilt nicht: A B = B A Christian Serpé (Universität Münster) 14. September / 56

19 Einheitsmatrizen Def.: Es sei n N eine natürliche Zahl I n := ist eine n n Matrix und heisst n n Einheitsmatrix. Es gilt: Für m, n N und eine m n Matrix A gilt: A I n = A I m A = A Christian Serpé (Universität Münster) 14. September / 56 Invertierbare Wir betrachten nun den Fall quadratischer. Es sei also A eine n n Matrix. Wir fragen uns nun: Gibt es eine n n Matrix B mit B A = I n Def.: Eine solche Matrix A nennen wir invertierbar. Bem.: Obwohl, wie schon erwähnt, die Matrixmultiplikation nicht kommutativ ist gilt aber hier dennoch: Ist B A = I n so gilt auch A B = I n. Christian Serpé (Universität Münster) 14. September / 56

20 Invertierbare und lineare Gleichungssysteme Ist A invertierbar, so kann man ein lineares Gleichungssystem wir folgt lösen: A x = b A x = b Wir multiplizieren beide Seiten von links mit der zu A inversen Matrix B und erhalten B (A x) = B b Nutzen wir die Assoziativität der Matrixmultiplikation aus so erhalten wir: x = B b Man kann sich nun überlegen, das dies sogar Äquivalenzumformungen waren und erhält so die eindeutige Lösung des Gleichungssystems. Christian Serpé (Universität Münster) 14. September / 56 Invertieren einer Matrix Es stellt sich nun die Frage, wie man entscheiden kann ob eine n n Matrix invertierbar ist und wie man in diesem Fall die Inverse dieser Matrix berechnen kann. Christian Serpé (Universität Münster) 14. September / 56

21 Beispiel: Invertieren einer Matrix Wir wollen die Matrix A := invertieren, dass heisst wir suchen eine 3 3 Matrix B mit B A = I 3 = Dazu schreiben betrachten wir die folgende erweiterte Matrix: Christian Serpé (Universität Münster) 14. September / 56 Invertieren einer Matrix Jetzt verwenden wir die folgenden Operationen Addition eines reellen Vielfaches einer Zeile zu einer anderen Multiplikation einer Zeile mit einer von 0 verschiedenen Zahl Vertauschen von Zeilen so, dass am Ende auf der linken Seite die Einheitsmatrix I 3 steht. Dann, das kann man beweisen, ist die rechte Seite die zu A inverse Matrix. Christian Serpé (Universität Münster) 14. September / 56

22 Beispiel: Invertieren einer Matrix II neu = II alt 3I alt und III neu = III alt I alt III neu = III alt 2II alt Christian Serpé (Universität Münster) 14. September / 56 Beispiel: Invertieren einer Matrix I neu = I alt III alt und III neu = ( 1) III alt Christian Serpé (Universität Münster) 14. September / 56

23 Invertieren einer Matrix Wir machen die Probe: = Stimmt! Führt diese Verfahren (bei richtiger Anwendung) nicht zum Ziel, so ist die Matrix mit der man gestartet ist, nicht invertierbar. Christian Serpé (Universität Münster) 14. September / 56 Inverse Matrix und lineare Gleichungssysteme Wir wollen nun an diesem Beispiel sehen, wir die Lösung eines linearen Gleichungssystem mit der Inversen Matrix bestimmen können. Wir betrachten das folgenden lineare Gleichungssystem: x 1 + x 3 = 3 3x 1 + x 2-3x 3 = 5 x 1 + 2x 2-2x 2 = 1 Das entspricht der Matrixgleichung: x 1 A x 2 = x Christian Serpé (Universität Münster) 14. September / 56

24 Inverse Matrix und lineare Gleichungssysteme Dann folgt wie wir eben gesehen haben: x x 2 = B 5 = = x Christian Serpé (Universität Münster) 14. September / 56 Lineare Optimierung Lineare Optimierung Beispielproblem Ein Betrieb stellt 2 Typen von Metallteilen aus Stahlblech her. Produkt 1 bringt einen Gewinn von 50 EUR und Produkt 2 einen Gewinn von 60 EUR. Zur Herstellung werden eine Stanze und eine Presse verwendet. Für Produkt 1 werden 5 Minuten an der Stanze und 10 Minuten an der Presse benötigt. Für Produkt 2 werden 9 Minuten an der Stanze und 3 Minuten an der Presse benötigt. Weiter hat man folgende einschränkende Bedingungen: Die Stanzenlaufzeit ist pro Woche auf 2250 Minuten beschränkt. Die Pressenlaufzeit ist pro Woche auf 3000 Minuten beschränkt. Produkt 2 hat noch einen Kunststoffmantel, für den 2 l Kunststoff pro Stück benötigt wird, wobei pro Woche nur 400 l Kunststoff zur Verfügung stehen. Stahlblech steht in beliebiger Menge zur Verfügung. Wie ist nun die Produktion auf die Produkte 1 und 2 aufzuteilen, um den Gewinn zu maximieren? Christian Serpé (Universität Münster) 14. September / 56

25 Lineare Optimierung Beispielproblem Übersetzung in mathematische Formeln Wir übersetzen die Aufgabe zunächst in mathematische Formeln: Es sei: x 1 := Die Anzahl der pro Woche hergestellten Produkte vom Typ 1 x 2 := Die Anzahl der pro Woche hergestellten Produkte vom Typ 2 Der Gewinn berechnet sich demnach durch: G(x 1, x 2 ) := x x 2 60 Christian Serpé (Universität Münster) 14. September / 56 Lineare Optimierung Beispielproblem Übersetzung in mathematische Formeln Die einschränkenden Bedingungen übersetzen sich jetzt in folgende Ungleichungen: 1 x x x 1 + 9x x 1 + 3x x Wir wollen also nun den Punkt x 1, x 2 R finden, der den Ungleichungen genügt und auf der die Funktion G unter diesen Bedingungen maximal wird. Christian Serpé (Universität Münster) 14. September / 56

26 graphische Lösung Lineare Optimierung Beispielproblem Christian Serpé (Universität Münster) 14. September / 56 Lineare Optimierung rechnerischen Lösung Beispielproblem Wie kann man das Ergebniss berechnen? Hierzu betrachten wir gleich die allgemeine Situation: Es seien also Grössen x 1,..., x n sowie folgende lineare einschränkende Bedingungen gegeben: a 11 x a 1n x n b 1 a 21 x a 2n x n b 2 a m1 x a mn x n b m mit a ij R, b i R. Ausserdem sei eine lineare Zielfunktion gegeben. g(x 1,..., x n ) = c 1 x 1 + c 2 x c n x n Christian Serpé (Universität Münster) 14. September / 56.

27 rechnerische Lösung Lineare Optimierung Rechnerisches Lösungsverfahren Wie nehmen ausserdem an, dass durch die obigen Ungleichungen eine Menge definiert ist, die nicht leer ist und die beschränkt ist. (In der Praxis ist dies im allgemeinen erfüllt.) Ähnlich wie im obigen Beispiel kann man sich überlegen, dass das Maximum wieder auf einer Ecke liegt. Dabei findet man eine Ecke wie folgt: Man nimmt n der m Ungleichungen und ersetzt das Ungleichheitszeichen durch ein Gleichheitszeichen. Ist dieses Gleichungssystem eindeutig lösbar und genügt die Lösung noch allen anderen Ungleichungen so ist diese Lösung eine Ecke des zulässigen Bereiches. So kann man alle Ecken ausrechnen und dann die Zielfunktion auf allen Ecken auswerten. Die Ecke(n) mit dem max. Wert ist(sind) dann Lösung(en) unseres Problems. Christian Serpé (Universität Münster) 14. September / 56 Lineare Optimierung Rechnerisches Lösungsverfahren Rechnerische Lösung des Beispiels Zur Veranschaulichung betrachten wir wieder unser Beispiel: (1) und (2) Lösung : x 1 = 0, x 2 = 0 g(0, 0) = 0 (1) und (3) Lösung : x 1 = 0, x 2 = 250 keine zul. Ecke (1) und (4) Lösung : x 1 = 0, x 2 = 1000 keine zul. Ecke (1) und (5) Lösung : x 1 = 0, x 2 = 200 g(0, 200) = (2) und (3) Lösung : x 1 = 450, x 2 = 0 keine zul. Ecke (2) und (4) Lösung : x 1 = 300, x 2 = 0 g(300, 0) = (2) und (5) Lösung : keine Lösung keine Ecke (3) und (4) Lösung : x 1 = 270, x 2 = 100 g(270, 100) = (3) und (5) Lösung : x 1 = 90, x 2 = 200 g(90, 200) = (4) und (5) Lösung : x 1 = 240, x 2 = 200 keine zul. Ecke Christian Serpé (Universität Münster) 14. September / 56

28 Lineare Optimierung Simplexverfahren Simplexverfahren Wie man an diesem Beispiel schon sieht, ist dieses Verfahren sehr aufwendig. Ein etwas schnelleres und geschickteres Verfahren ist das Simplexverfahren. Es beruht auf dem folgendem Satz: Satz: In jedem Eckpunkt, in dem die Zielfunktion nicht Ihr Maximum annimmt, endet eine Kante auf der eine weitere Ecke liegt an der die Zielfunktion echt grösser ist. Christian Serpé (Universität Münster) 14. September / 56 Lineare Optimierung Simplexverfahren Simplexverfahren Daraus ergibt sich folgendes sogenannte Simplex-Verfahren: 1 Man startet mit einer beliebigen zulässigen Ecke. 2 Dann berechnet man alle benachtbarten zulässigen Ecken und wertet die Zielfunktion auf der momentanen und allen benachtbarten Ecken aus. 3 Ist die Zielfunktion auf der momentanen Ecke grösser-gleich als auf allen benachtbarten Ecken so ist man fertig. Ansonsten geht man zu einer benachtbarten Ecke über, auf der die Zielfunktion grösser ist und fährt dann wieder mit Schritt 2 fort. Christian Serpé (Universität Münster) 14. September / 56