Mathematische Optimierung

Transkript

1 Mathematische Optimierung Geschrieben von Jan Pöschko auf Grundlage der Vorlesung von Bettina Klinz TU Graz Sommersemester 2007 Stand: 27. Oktober 2009

2

3 Inhaltsverzeichnis I Lineare Optimierung 7 1 Grundlegende Definitionen und Überlegungen 9 2 Das Simplexverfahren Herleitung eines Rechenschemas für die Transformationsschritte Hauptsatz der linearen Optimierung Detailsicht des Simplexverfahrens zur Lösung linearer Programme Endlichkeit des Simplexverfahrens Bestimmung einer zulässigen Ausgangsbasislösung Einige Erweiterungen des Simplexverfahrens Anmerkungen zur Wahl der Pivotspalte Kurze Anmerkung zur Effizienz des Simplexverfahrens Konvexe Mengen, Polyeder und Zusammenhang zur linearen Optimierung Zusammenhang zwischen Basislösungen und Ecken Geometrische Interpretation des Simplexverfahrens Dualität Motivation und Einführung Interpretation des dualen Problems zum Transportproblem Der Dualitätssatz der linearen Optimierung Trennungssätze im R n Alternativsätze Beweis des Dualitätssatzes Duales Simplexverfahren 55 6 Innere Punkte Methoden Grundidee der primal-dualen Pfadverfolgungsmethode II Ganzzahlige Optimierung 63 7 Vollständig unimodulare Matrizen Beispielklassen für vollständig unimodulare Matrizen Anmerkung zur Erkennung vollständig unimodularer Matrizen Dynamische Programmierung Binäres Rucksackproblem Matrixmultiplikation Die Branch and Bound Methode Gemischt-ganzzahlige lineare Programme

4 Inhaltsverzeichnis 10 Einige Beispiele für die Modellierung mit ganzzahligen Variablen Disjunkte Nebenbedingungen (Restriktionen) Formulierung stückweise linearer Zielfunktionen Funktionen mit N möglichen Werten Transportproblem III Kurzeinführung in Nichtlineare Optimierung Einführung Verfahren zur Minimierung von Funktionen einer Variablen Verfahren ohne Ableitungsinformation Verfahren mit Ableitungsinformation Mehrdimensionale nichtlineare Optimierung ohne Nebenbedingungen Wiederholung Grundlagen von Lösungsverfahren Allgemeines Abstiegsverfahren Schrittweiten Steilstes Abstiegsverfahren (Gradientenverfahren) Newton-Verfahren Quasi-Newtonverfaren Optimalitätskriteria für nichtlineare Optimierungsaufgaben mit Nebenbedingungen Karush-Kuhn-Tucker Bedingungen (KKT) A Programmpakete 103 Sätzeverzeichnis 105 Index 107 4

5 Einleitung Extremwertaufgaben Zielfunktion objective function Nebenbedingung constraint ( = subject to = unter der Bedingung) Beispiele 1. nicht linear: min x 2 + 4y 2 x + 3y 5 x 2y 1 2. linear: min x + 4y x + 3y 5 x 2y 1 Wichtige Klassen von Optimierungsproblemen Lineare Optimierung lineare Zielfunktion lineare Nebenbedingungen Allgemeine Form: Gegeben m n Matrix A, a ij R, Vektor b R m, Vektor c R n. Lineares Programm: max c t x = c 1 x c n x n (lineare Nebenbedingung). a 11 x 1 + a 12 x a 1n x n b 1 a m1 x 1 + a m2 x a mn x n b m Beispiel (Ernährungsproblem lt. Stigler) Gegeben: Menge von Nahrungsmitteln, Preis pro Einheit, Einschränkungen eines möglichen Nahrungsplans. Ziel: kostengünstiger Ernährungsplan, der alle Bedingungen erfüllt. Entscheidungsvariablen x i : Anzahl an Portionen pro Nahrungsmittel i. 5

6 Zielfunktion: min c 1 x c n x n (c i : Kosten pro Einheit von i) Typische Nebenbedingungen: Portionsbeschränkung: z.b. 0 x 1 4 Kalorien: z.b. 110x x Ganzzahlige Optimierung (integer programming) Entscheidungsvariablen Z. Spezialfall: ganzzahlige lineare Optimierung (x i Z). Beispiel min x 1 + 4x 2 + 5x 3 x 1 2x 2 + x 3 4 x 1 + x 2 + 3x 3 5 x 1, x 2, x 3 Z Im Allgemeinen schwieriger als lineare Optimierung (oft NP-schwer). Nichtlineare ganzzahlige Optimierungsprobleme im Allgemeinen hoffnungslos. Kombinatorische Optimierung (siehe LV Kombinatorische Optimierung) Typ: endliche (diskrete) Menge von zulässigen Lösungen. Beispiele Kürzestes-Weg-Problem, Rundreiseprobleme. Nichtlineare Optimierung Optimalitätsbegriff: lokales Optimum (im Gegensatz zum globalen Optimum: eigenes Feld, im Allgemeinen schwerer). Spezielle nichtlineare Optimierung: Quadratische Optimierung: quadratische Zielfunktion mit linearen Nebenbedingungen Konvexe Optimierung: min f(x) g(x) 0 (f, g konvex). Angenehme Eigenschaft: lokales Optimum = globales Optimum. Stochastische Optimierung Zufallsvariablen spielen eine Rolle. 6

7 Teil I Lineare Optimierung 7

8

9 1 Grundlegende Definitionen und Überlegungen Definition (Lineares Programm in Standardform) Gegeben sei eine Matrix A R m n sowie Vektoren b R m, c R n. Das Problem max c t x (1.1) Ax b (1.2) x 0 (1.3) heißt lineares Programm in Standardform. Die affin-lineare Funktion c t x in (1.1) heißt Zielfunktion. Die Bedingungen (1.3) heißen Vorzeichenbedingungen oder Nicht-Negativitätsbedingungen. Komponentenweise Schreibweise: max c 1 x 1 + c 2 x c n x n n a ij x j b i j=1 x j 0 i = 1,..., m j = 1,..., n m Restriktionen (exkl. Vorzeichenbedingungen), n Entscheidungsvariablen. Bemerkungen c wird auch Zielfunktionsvektor genannt (c j : j-ter Zielfunktionskoeffizient). b wird auch rechter Seitenvektor genannt. A heißt Restriktionsmatrix. Beispiel max 5x 1 + 4x 2 + 3x 3 2x 1 + 2x 2 + x 3 5 4x 1 + x 2 + 2x x 1 + 4x 2 + 2x 3 8. Hier wäre A = 4 1 2, b = 11, c =

10 1 Grundlegende Definitionen und Überlegungen Bemerkung Jedes lineare Programm lässt sich in die Standardform überführen: 1. min c t x ist äquivalent zu max c t x. 2. Ungleichungen vom Typ : n a ij x j b i j=1 n a ij x j b i. j=1 3. Gleichungsrestriktionen n j=1 a ijx j = b i sind äquivalent zu n a ij x j b i und n a ij x j b i, j=1 j=1 also n a ij x j b i und n a ij x j b i. j=1 j=1 4. Keine Vorzeichenbedingungen für Variable x j : Ersetze x j durch x + j x j mit x + j, x j 0. Beispiel max 4x + 3y x + y 7 x 0. y = y + y liefert max 4x + 3y + 3y x + y + y 7 x, y + y 0. Bemerkung Andere Umformungen bzw. Standardformen sind möglich. Zum Beispiel wird aus n j=1 a ijx j b i durch Einführen der Variablen z i eine Gleichung und Vorzeichenbedingung: n a ij x ij + z i = b i j=1 z i 0. Bemerkung Unter einem allgemeinen linearen Programm versteht man ein lineares Programm der Form max c t x oder min c t x (lineare Zielfunktion) n a ij x j b i j=1 10

11 oder n a ij x j b i j=1 oder n a ij x j = b i j=1 (lineare Nebenbedingungen). Beispiel max 5x 1 + 4x 2 + 3x 3 Idee: Umformen in Gleichungen, also 2x 1 + 3x 2 + x 3 5 4x 1 + x 2 + 2x x 1 + 4x 2 + 2x 3 8 x 1, x 2, x 3 0 2x 1 + 3x 2 + x 3 + x 4 = 5 4x 1 + x 2 + 2x 3 + x 5 = 11 3x 1 + 4x 2 + 2x 3 + x 6 = 8 x 1, x 2, x 3, x 4, x 5, x 6 0. Definition (Zulässigkeit, Unbeschränktheit) Ein Vektor x R n heißt zulässig für ein lineares Programm (P), wenn Ax b und x 0. Sonst heißt x unzulässig. Das Problem (P) heißt unzulässig, wenn es für (P) keine zulässige Lösung gibt. (P) heißt unbeschränkt, wenn es für alle M R eine zulässige Lösung x von (P) mit c t x > M gibt. Beispiel Hier existiert eine zulässige Lösung mit Zielfunktionswert (ZFW) 0. x 1 = x 2 = x 3 = 0, x 4 = 5, x 5 = 11, x 6 = 8 Frage 1: Ist die vorliegende Lösung bereits optimal? Definition (Optimallösung) Sei x zulässig für (P). x heißt Optimallösung für (P), wenn keine zulässige Lösunge y existiert mit c t y > c t x. Frage 2: Wenn nein, wie erreicht man eine bessere Lösung? Beobachtung Durch Erhöhen von x 1, x 2 oder x 3 kann versucht werden, den ZFW zu erhöhen. (x 1, x 2, x 3 haben positiven Koeffizient in der Zielfunktion.) Versuchen wir x 1 zu erhöhen, x 2 und x 3 bleiben 0. 2x 1 + x 4 = 5 x 4 = 5 2x 1 0 x x 1 + x 5 = 11 x 5 = 11 4x 1 0 x x x 1 + x 6 = 8 x 6 = 8 3x 1 0 x

12 1 Grundlegende Definitionen und Überlegungen x 1 darf also maximal auf 5 2 erhöht werden. x 4 wird dann 0. Neue Lösung x 1 = 5 2, x 2 = x 3 = x 4 = 0, x 5 = 1, x 6 = mit ZFW 2. x 1 muss mit x 4 die Rolle tauschen; eliminiere also x 1 in der 1. Restriktion: 2x 1 + 3x 2 + x 3 + x 4 = x x x 4 + x 1 = 5 2. x 1 = x x x 4 Transformiere Zielfunktion: 5 ( x x x ) 4 + 4x2 + 3x 3 = x x x 4. Nun kann nur mehr x 3 durch Erhöhung zu einer Erhöhung des ZFW beitragen. Forme nun auch die restlichen zwei Ungleichungen um und erhalte so das neue System Erhöhe nun x 3 : 3 2 x x x 4 + x 1 = 5 2 5x 2 2x 4 + x 5 = x x x 4 + x 6 = 1 2. x 1 = x } 3 0 x 3 5 x 6 = x x x 3 1 x 3 darf also maximal auf 1 erhöht werden. x 6 wird dann 0. Neue Lösung x 1 = 2, x 2 = 0, x 3 = 1, x 4 = 0, x 5 = 1, x 6 = 0 mit ZFW 13. x 3 und x 6 tauschen nun Rollen; elimiere also x 3 : Einsetzen in Zielfunktion liefert x 3 = 1 + x 2 + 3x 4 2x x x x 4 = x x x 4 x 6 = 13 3x 2 x 4 x 6. Die vorliegende Lösung ist also optimal! 2 Stoßrichtungen: 1. Korrektheit der Methode und Klärung offener Fragen (Bestimmung einer zulässigen Startbedingung, Erkennung von unzulässigen bzw. unbeschränkten Problemen). 2. Praktische Durchführung, algorithmische Umsetzung. 12

13 2 Das Simplexverfahren Das im Beispiel hergeleitete Verfahren geht zurück auf George Dantzig. 2.1 Herleitung eines Rechenschemas für die Transformationsschritte Allgemeine Situation: m n Matrix A, rechter Seitenvektor b R m, Zielfunktionsvektor c R n, x R m+n. Problem in der Form max c t x Ax = b x 0 Annahme: rg A = m. Daher enthält A m linear unabhängige Spalten, A = (A B, A N ) (ggf. nach Vertauschen der Spalten), wobei A B die m linear unabhängigen Spalten und A N die restlichen Spalten sind. Ebenso x = (x B, x N ) (ggf. nach derselben Vertauschung wie bei A). somit Ax = ( A B A N ) ( x B x N ) = b A }{{} B x B + A N x N = b, invertierbar x B = A 1 B } {{ } b A 1 B A N x N. } {{ } b à N Allgemeine Lösung des Gleichungssystems: ) ( b à N x N x =. x N In der Folge interessieren wir uns für Lösungen mit x N = 0 (auch als Basislösungen bekannt). Beispiel ( ) ( ) A =, b = Hier ist ( ) ( ) A B =, A N =

14 2 Das Simplexverfahren und A 1 B = ( ), A 1 B b = ( 1 1 ), A 1 B A N = ( ) 3. 1 Definition (Basis, Nichtbasis) Sei A eine m n Matrix, rg A = m. A B sei eine Untermatrix von A mit rg A B = m. 1. x heißt Basislösung von Ax = b zur Basis B, falls alle Komponenten von x, die nicht Spalten von A B entsprechen, gleich 0 sind. 2. Die Komponenten von x, die zu Spalten von A B gehören, werden als Basisvariablen (BV) bezeichnet, alle anderen als Nichtbasisvariablen (NBV). 3. Die Menge der Indizes der Basisvariablen wird als Basis bezeichnet, die der Nichtbasisvariablen als Nichtbasis. Die Matrix bestehend aus den zur Basis (Nichtbasis) gehörenden Spalten von A wird Basismatrix A B ( Nichtbasismatrix A N ) genannt. Bemerkung Durch Vorgabe der Werte der Nichtbasisvariablen sind die Werte der Basisvariablen eindeutig bestimmt. Definition (Zulässigkeit, Entartung von Basislösungen bzw. Basen) 1. Eine Basislösung heißt entartet ( degeneriert), wenn mindestens eine Basisvariable den Wert 0 annimmt. 2. Eine Basislösung von Ax = b heißt zulässig, wenn x B Eine Basis heißt entartet, wenn die zugehörige Basislösung entartet ist. 4. Eine Basis heißt zulässig, wenn die zugehörige Basislösung zulässig ist. Bemerkungen 1. Jeder Basis entspricht genau eine zugehörige Basislösung. 2. Jeder nicht-entarteten Basislösung entspricht genau eine Basis (gilt nicht bei Entartung). Motivation hinter Basislösungen: Sie treten im exemplarisch skizzierten Lösungsverfahren auf. Hauptsatz der linearen Optimierung (folgt noch). 2.2 Hauptsatz der linearen Optimierung Dieser Satz rechtfertigt die im Beispiel verwendete Methode (Einschränkung auf Basislösungen). Satz 2.1 (Hauptsatz der linearen Optimierung) Gegeben sei das lineare Programm max c t x Ax = b x 0 mit A eine m n Matrix und rg A = m. Dann gilt: 14

15 2.2 Hauptsatz der linearen Optimierung 1. {Ax = b, x 0} besitzt genau dann zulässige Lösungen, wenn {Ax = b, x 0} zulässige Basislösungen besitzt. 2. Es existiert genau dann eine optimale zulässige Lösung (d.h. das lineare Programm ist weder unzulässig noch unbeschränkt), wenn eine optimale zulässige Basislösung existiert. Korollar Auf der Suche nach Optimallösungen für lineare Programme kann man sich auf die Menge der Basislösungen einschränken. Beweis 1. x zulässige Lösung von Ax = b. p y i a i = 0 (x 1,..., x p > 0, x p+1,..., x n = 0) i=1 x = x ε ỹ A x = b Es muss auch gelten: x 0, d.h. x j 0 j, x j = x j εỹ j. Fall a: ỹ i 0 x j 0. Da x j 0 (da x zulässig) und ε > 0, hier keine Einschränkung für ε. Fall b: ỹ j > 0 x j εỹ j 0 ε xj ỹ j. { } xj Wähle ε als min ỹ j : ỹ j > 0 =: ε (nichtleer ε wohldefiniert). Beobachtung: x hat mindestens eine Nullkomponente mehr als x. Durch iterative Anwendung erhält man nach endlich vielen Schritten eine zulässige Basislösung. 2. Sei x eine optimale Lösung von Problem P. Wir wollen zeigen, dass eine optimale Basislösung existiert. Vorgangsweise: analog zu Teil 1. Annahme: x 1,..., x p > 0, x p+1,..., x n = 0. Fall 1: {a 1,..., a p } lin. unabh. x ist bereits Basislösung. Fall 2: {a 1,..., a p } lin. abh. Dann gibt es y 0, y R p mit p a i y i = 0. Ergänze y auf Vektor im R n durch Nullkomponenten Ergebnis ỹ. Betrachte wieder Für 0 ε ε ist x(ε) zulässig. x ist optimal εc t ỹ 0, somit c t ỹ 0. i=1 x(ε) = x εỹ. c t x(ε) = c t x εc t ỹ. Betrachte ε < 0. Einschränkungen an ε durch Komponenten mit ỹ j < 0. Definiere ε = max{ x j ỹ j : ỹ j < 0}. Für ε ε 0 ist x(ε) zulässig und mit analoger Vorgangsweise wie oben erhält man nun c t ỹ 0. 15

16 2 Das Simplexverfahren Insgesamt erhält man also c t ỹ = 0. Nun gilt somit ist x ebenfalls Optimallösung. c t x = c t x εc t y = c t x, Durch iterative Wiederholung steigt die Anzahl der Nullkomponenten und wir landen bei einer optimalen Basislösung. 2.3 Detailsicht des Simplexverfahrens zur Lösung linearer Programme Grundidee: 1. Starte mit einer zulässigen Basislösung. 2. (Optimalitätsüberprüfung) Falls die vorliegende Basislösung bereits optimal ist, Stop. Ansonsten Übergang zu einer neuen zulässigen Basislösung mit besserem Zielfunktionswert (oder Erkennen eines unbeschränkten Problems) durch Austauschen einer Basisvariable (wird zu Nichtbasisvariable) gegen eine Nichtbasisvariable (wird zu Basisvariable). Für den Austauschschritt wichtig: Wahl der Nichtbasisvariable, die neu in die Basis kommt (abhängig von Zielfunktion, siehe auch Beispiel). Wahl der Basisvariable, die die Basis verlässt (abhängig von Restriktionen, neue Basislösung muss zulässig sein). Auch noch zu klären: Finden einer zulässigen Ausgangslösung in Schritt 1? Wie stellt man Vorliegen eines unzulässigen Problems fest? (siehe später) Wie stellt man Unbeschränktheit fest? Effiziente Durchführung von Schritt 2. Frage der Endlichkeit des Verfahrens. Problem: Ax = b A = (A B, A N ) x = (x B, x N ) t Somit Basislösung: Einsetzen in Zielfunktion: A B x B + A N x n = b. x N = 0, x B = A 1 B } {{ } b A 1 B A N x N. } {{ } = b =ÃN c t x = c t Bx B + c t Nx N = c t BA 1 B } {{ } b +( c t N c t BA 1 B A N )x N, } {{ } =c t B b Vektor der reduzierten Kostenkoeffizienten=: c t N 16

17 2.3 Detailsicht des Simplexverfahrens zur Lösung linearer Programme wobei b der augenblickliche Wert der Basisvariablen ist, somit c t b b der augenblickliche Zielfunktionswert. Optimalitätskriterium: x ist optimale Basislösung wenn c N 0. liefert Kriterium für die Auswahl einer Nichtbasisvariablen, die neu in die Basis kommen soll, wenn noch keine optimale Lösung vorliegt. Man kann beliebige Nichtbasisvariable mit c N(j) > 0 wählen (feinere Auswahlregel siehe später). Angenommen die j-te Nichtbasisvariable, x N(j), tritt neu in Basis ein. Welche Variable verlässt die Basis? Bisher x B = b ÃNx N x N = 0 Nun x N(j) = ε, ε > 0 und ε so groß wie möglich, unter der Einschränkung, dass neue Basislösung wieder zulässig ist. x B (ε) = b ÃN x }{{} N neuer x N -Vektor = b ã j ε, wobei ã j die Spalten von ÃN sind, die zur Variable x N(j) gehören. (da x zulässig), damit x zulässig. für alle i mit ã ij > 0. Definiere }{{} b ã j }{{} ε 0 0 >0 ε b i ã ij ε = min{ b i ã ij ã ij > 0}. Der Fall {ã ij > 0} = wird im Anschluss diskutiert. Die neue Basislösung erhält man, indem man die neue Basisvariable auf den Wert ε setzt. Als die Basis verlassende Basisvariable kann eine beliebige Basisvariable x B(i) mit ε = gewählt werden. Im Fall ã ij 0 für alle i liegt ein unbeschränktes Problem vor. (ε kann beliebig groß werden.) Hier haben wir also ein Kriterium für das Vorliegen eines unbeschränkten linearen Programms! Nun fehlt noch die Umsetzung des Austauschschritts (Pivot-Schritt). Wir brauchen eine Problemdarstellung bzgl. der neuen Basis/Nichtbasis. Beim Start des Verfahrens (mittels der künstlichen Variablen) haben wir A B = I (Einheitsmatrix). Nach einem Austauschschritt: In späteren Schritten haben wir 1 a 1s a rs a ms 1 I x B + ÃN x N = b. b i ã ij 17

18 2 Das Simplexverfahren Auch hier haben wir die Situation, dass anstelle der Einheitsmatrix nach dem Austauschschritt eine Matrix auftaucht, die sich in einer Spalte von der Einheitsmatrix unterscheidet. Frage: Wie sieht die Inverse einer Matrix der Form 1 d C = d r d m 1 (d r 0) aus? d r d C 1 = 1 d r d r 1 d r 1 d r+1. d r... (Hier ist also auch nur eine Spalte von der Einheitsmatrix verschieden.) Auf diese Weise lässt sich die neue Matrix ÃN für die neue Nichtbasis N in eleganter Weise aus der alten Matrix ÃN berechnen. d m d r à N = (t ij ) à N = (t ij ) Sei s die Spalte von A N, die verschieden von A N ist (d.h. hier spielt sich Wechsel in Nachtbasis ab). Sei r die Zeile, die der Variablen entspricht, die die Basis verlässt. Es gilt 1 i = r, j = s t ij = t rs t rj t rs tis Zur Illustration anhand unseres Beispiels: Start: t rs t ij tistrj t rs max 5x 1 + 4x 2 + 3x 3 i = r, j s i r, j = s i r, j s 2x 1 + 3x 2 + x 3 + x 4 = 5 4x 1 + x 2 + 2x 3 + x 5 = 11 3x 1 + 4x 2 + 2x 3 + x 6 = 8 B = (4, 5, 6) N = (1, 2, 3) 18

19 2.3 Detailsicht des Simplexverfahrens zur Lösung linearer Programme A B = A N = b = 11 = b zu Beginn 7 0 c B = c N = 4 3 x 1 soll neu in Basis, { 5 ε = min 2, 11 4, 8 } = also verlässt x 4 die Basis. Neue Basis: B = (1, 5, 6) Neue Nichtbasis N = (4, 2, 3) A B = A 1 = B A N = und Somit à N = A 1 B A N = = bneu = A 1 B b = Zum Beispiel hatten wir x 1 = x x x 3. 19

20 2 Das Simplexverfahren Strukturierte Vorgangsweise in einem Tableau (erste Zeile: Zielfunktionszeile; dann: Basisvariablen): x x x 6 wobei links oben der negative Wert der augenblicklichen Zielfunktion steht. Im nächsten Schritt (r = 1, s = 1): , x x x 6 Oben stehen die augenblicklich reduzierten Kostenkoeffizienten, links die augenblicklichen Werte der Basisvariablen. Das Element in Zeile r (Pivotzeile) und Spalte s (Pivotspalte) heißt Pivotelement. Frage: Endlichkeit des Verfahrens? 2.4 Endlichkeit des Simplexverfahrens Im Spezialfall, dass sich in jeder Iteration ein verbesserter Zielfunktionswert ergibt, ist die Endlichkeit garantiert. (Es gibt nur endlich viele verschiedene Basen.) Problemfall: Existieren entartete Basislösungen, so kann der Fall auftreten, dass sich der Zielfunktionswert von einer Iteration zur nächsten nicht ändert. Es kann also passieren, dass man nach einer Abfolge von Austauschschritten wieder bei einer bereits betrachteten Basis ankommt. (Somit taucht ein Kreisen auf, kein endliches Verfahren!) Es sind Beispiele bekannt, für die ein solches Kreisen wirklich auftritt (etwa Beispiel von Bland). Es gibt verschiedene Methoden, um Kreisen zu verhindern. Hier 2 Methoden: 1. Regel von Bland ( Kleinste-Index-Regel ): schränkt sowohl Wahl der Pivot-Zeile als auch Wahl der Pivot-Spalte ein. Wahl der Pivot-Spalte: Wähle erste Nichtbasisvariable (d.h. mit kleinstem Index, Reihenfolge im Tableaut ist gleichgültig), die einen positiven reduzierten Kostenkoeffizienten hat. (Das ist eine eindeutige Festlegung!) Beispiel x 1 x 4 x 3 x Hier würde man x 3 auswählen. Wahl der Pivot-Zeile: Falls mehrere Basisvariablen bei Bestimmung von ε den Minimalwert ergeben, wird jene als Pivotzeile gewählt, die den kleinsten Index hat. 2. Lexikographische Auswahlregel: Keine Einschränkung in der Wahl der Pivotspalte, aber höherer Aufwand zur Wahl der Pivotzeile. Sei ã j die Pivotspalte des Tableaus. Für jede Zeile i im Tableau, für die ã ij > 0, berechne den Vektor, der sich ergibt, wenn diese Zeile durch das Pivotelement dividiert wird (inkl. rechter Seite als 0-te Spalte). Wähle jene Zeile, deren zugehöriger Vektor lexikographisch minimal ist. 20

21 2.5 Bestimmung einer zulässigen Ausgangsbasislösung Beispiel Hier führt die 1. Zeile auf ( 1 3, 0, 5 3, 1). Die 3. Zeile führt auf ( 1 3, 0, 7 3, 1). Die 3. Komponente ergibt die lexikographische Ordnung; wähle hier also die 3. Zeile. Man kann folgendes zeigen: Jede Zeile des Tableaus (mit Ausnahme der Zielfunktionszeile) bleibt lexikographisch positiv. Die Zielfunktionszeile nimmt von Iteration zu Iteration lexikographisch ab. Definition (lexikographische Ordnung für Vektoren) Seien u, v R k. u < v : u v < 0, d.h. die erste Nichtnullkomponente von u v ist negativ. Beispiele (1, 7, 5) < (3, 6, 2) (1, 5, 9) < (1, 7, 1) Bemerkung Ist das Minimum für ε eindeutig, so stimmen die Ergebnisse mit und ohne lexikographischer Regel überein. Für beide Methoden kann bewiesen werden, dass Kreisen verhindert wird. Die Endlichkeit des Simplexverfahrens ist somit garantiert. Nachteil der Regel von Bland: recht inflexibel, weil auch Wahl der Pivotspalte eingeschränkt. Noch zu behandeln: Bestimmung einer zulässigen Ausgangslösung Wie viele Pivotschritte können maximal auftreten? 2.5 Bestimmung einer zulässigen Ausgangsbasislösung In den typischen Methoden werden Hilfsprobleme (neue Zielfunktion, neue Variable) verwendet Methode 1 Gegeben lineares Programm max c t x Ax b x 0, wobei i mit b i < 0 (sonst: verwende triviale Startlösung). An einem Beispiel: max x 1 x 2 + x 3 21

22 2 Das Simplexverfahren 2x 1 x 2 + 2x 3 4 2x 1 3x 2 + x 3 5 x 1 + x 2 2x 3 1 x 1, x 2, x 3 0 Idee: Führe eine neue (künstliche) Variable ein; sei diese x 0 genannt. Betrachte folgendes Hilfsproblem: min x 0 max x 0 2x 1 x 2 + 2x 3 x 0 4 2x 1 3x 2 + x 3 x 0 5 x 1 + x 2 2x 3 x 0 1 x 0, x 1, x 2, x 3 0. Das Ausgangsproblem besitzt eine zulässige Lösung genau dann, wenn das Hilfsproblem eine Optimallösung mit Zielfunktionswert 0 (x 0 = 0) besitzt. x 1 x 2 x 3 x Zielfunktion des Hilfsproblems Zielfunktion des Ausgangsproblems x x x 6 (kein zulässiges Tableau). Nimm x 0 in Basis auf und werfe eine Variable, die zu einer Restriktion mit b i < 0 und b i max. gehört, aus der Basis. x 1 x 2 x 3 x x x x 6 (zulässiges Tableau). ( 9 ε = min 2, 5 3, 4 ) 4 noch nicht optimal für Hilfsproblem. x 1 x 6 x 3 x x x x 2 22

23 2.5 Bestimmung einer zulässigen Ausgangsbasislösung Dann x 1 x 6 x 0 x ab nun ignorieren x x x 2 (optimale Lösung des Hilfsproblems erreicht) = Ausgangsproblem zulässig. x 2 = 11 5, x 3 = 8 5, x 1 = 0, x 4 = 3, x 5 = x 6 = 0 ist zulässige Lösung des Ausgangsproblems. Nun streichen der Hilfszielfunktionszeile. Wenn x 0 in Nichtbasis ist, kann diese Spalte gestrichen werden. (Lösung des Beispiels noch nicht optimal!) Hilfsproblem in allgemeiner Form: min x 0 (Beweis der Korrektheit als Übung.) Methode 2 Eine künstliche Variable pro Restriktion. 1 Ax x 0. b 1 x 0,..., x n 0 max x 1 + x 2 + x 3 x 1 + 2x 2 + 3x 3 = 3 x 1 + 2x 2 + 6x 3 = 2 4x 2 + 3x 3 = 5 3x 3 + x 4 = 1 x 1, x 2, x 3, x 4 0 Hilfsproblem min x 5 + x 6 + x 7 + x 8 max x 5 x 6 x 7 x 8 x 1 + 2x 2 + 3x 3 + x 5 = 3 x 1 + 2x 2 + 6x 3 + x 6 = 2 4x 2 + 9x 3 + x 7 = 5 3x 3 + x 4 + x 8 = 1 x 1,..., x 8 0 Beobachtung: Hilfsproblem hat Optimalwert 0 Ausgangsproblem besitzt zulässige Lösung. 23

24 2 Das Simplexverfahren (5, 6, 7, 8) stellt zulässige Basis für Hilfsproblem dar: x 5 = 3, x 6 = 7, x 7 = 5, x 8 = 1. Wir müssen die Hilfszielfunktion durch NBV x 1,..., x 4 darstellen. x 5 = x 1 + 2x 2 + 3x 3 3 x 6 = x 1 + 2x 2 + 6x 3 2 x 7 = 4x 2 + 5x 3 5 x 8 = 3x 3 + x 4 1 Addieren ergibt x 5 x 6 x 7 x 8 = 8x x 3 + x x 1 x 2 x 3 x Hilfszielfunktion Zielfunktion x x x x 8 Nun wird das Hilfsproblem gelöst. Eine mögliche Folge von Austauschschritten: 1. x 4 rein, x 8 raus 2. x 3 rein, x 4 raus 3. x 2 rein, x 6 raus 4. x 1 rein, x 5 raus x 5 x 6 x 4 x Hilfsfunktionswert 1 x x 2 0 x x 3 Optimaler Wert des Hilfsproblems ist 0, d.h. es gibt eine zulässige Lösung für das Ausgangsproblem. x 1 = 1, x 2 = 1 2, x 3 = 1 3, x 4 = 0. Zum Weiterrechnen: Hilfszielfunktion streichen, ebenso alle Spalten zu künstlichen Variablen in Nichtbasis. Bemerkung Es gibt viele Varianten und Modifikationen dieser Methoden. Die M-Methode etwa ist eine Variante von Methode 1 (Hilfszielfunktion eigentliche Zielfunktion M x, M groß genug). 2.6 Einige Erweiterungen des Simplexverfahrens 1. Gleichungen 2. Variablen ohne Vorzeichenbeschränkungen 3. Variablen mit oberen Schranken (z.b. x 4 39) Ziel: direkt behandeln, ohne Umformung (in Fällen 1, 2), bzw. ohne Behandlung als explizite Restriktion (Fall 3). 24

25 2.6.1 Gleichungen 2.6 Einige Erweiterungen des Simplexverfahrens Variante 1 Gleichungssystem Ax = b kann nach einer Basis B aufgelöst werden und dann weitermachen. Nachteile: aufwendig Es ist nicht offensichtlich zulässig. Variante 2 Beispiel Verwende künstliche Variablen (eine pro Gleichung). max x 1 + 2x 2 x 3 x 1 + x 2 4 2x 1 + x 2 + x 3 = 5 x 2 x 3 = 1 x 1, x 2, x 3 0 Hilfszielfunktion: min y 1 + y 2 x 1 + x 2 4 2x 1 + x 2 + x 3 + y 1 = 5 x 2 + x 3 + y 2 = 1 x 1, x 2, x 3, y 1, y 2 0 Beobachtung: Hat Hilfsproblem Optimalwert 0, so existiert eine zulässige Basis für das Ausgangsproblem HZF ZF x y y 2 Zur Übung fertigrechnen. Optimallösung: x 1 = 2, x 2 = 0, x 3 = Variablen ohne Vorzeichenbeschränkung Optimalitätskriterium abändern: Änderung nur für nicht vorzeichenbeschränkte Variablen. Basislösung x = (x B,..., x N ) ist optimal c j 0 für alle j N und x j ist vorzeichenbeschränkt und c j = 0 für alle j N und x j ist nicht vorzeichenbeschränkt. Verändertes Spaltenauswahlkriterium: Wähle NBV, die das Optimalitätskriterium nicht erfüllt. Veränderte Bestimmung der Pivotzeile (Variable, die neu in Basis kommt): Für nicht vorzeichenbeschränkte Basisvariablen ist kein Test auf Positivität erforderlich, ignoriere also solche Zeilen. Annahme: x s kommt neu in Basis. Fallunterscheidung: 1. c s > 0, d.h. x s nicht erhöht. (Anmerkung: Falls x s vorzeichenbeschränkt, ist dies der einzige Fall.) x i = b i ã is x s (x i ist die i-te Basisvariable). 25

26 2 Das Simplexverfahren a) x i ist vorzeichenbeschränkt. x s b i ã is für ã is > 0. Keine Einschränkung für x s für ã is 0. b) x i ist nicht vorzeichenbeschränkt. Keine Einschränkung für Wert von x s, keine Aktion nötig. 2. x s wird reduziert, wird < 0. (Dieser Fall tritt nur für nicht vorzeichenbeschr. x s auf.) a) x i ist vorzeichenbeschränkt. x i = b i ã is x s wie oben. x s b i ã is für ã is < 0. Keine Einschränkung für ã is 0. b) x i nicht vorzeichenbeschränkt. Keine Aktion nötig. ( { } bi ε = min min : ã is > 0 und x i vorzeichenbeschränkt und c s > 0, ã is { }) (2.1) bi min ã is : ã is < 0 und x i vorzeichenbeschränkt und c s < 0 Eine Zeile, für die das Minimum in ε angenommen wird, kann als Pivotzeile gewählt werden. Verändertes Kriterium für das Vorliegen eines unbeschränkten Problems: Unbeschränktheit liegt vor, wenn es eine NBV (mit c s 0) gibt, für die (2.1) keine Einschränkung ergibt. Beispiel max x 1 + 2x 2 (x 1, x 2 nicht vorzeichenbeschränkt). x 1 x 2 2 x 1 + x 2 1 x 1 + x 2 3 Hier ist Wenn beschränkt, wäre hier fertig. x 1 x x x x 5 { 3 ε = min 1, 1 } = 1. 1 x 1 x x x x 5 26

27 2.6 Einige Erweiterungen des Simplexverfahrens Hier ist c 1 < 0 { } 2 ε = min = 1. 2 x 5 x x 3 2 x x 1 Optimallösung: x 1 = 1, x 2 = 2, x 3 = 5, Zielfunktionswert: Variablen mit oberen Schranken Beschränkte Variable: 0 x j d j, d j > 0. (In Wirklichkeit: Kann untere Schranke beliebig verschieben. Sonst: Kombiniere 2 und 3.) Das entspricht x j + x j = d j mit x j, x j 0. (2.2) x j ist die Komplementärvariable zu x j (ebenso umgekehrt). Statt (2.2) als Restriktion im Simplexverfahren mitzuführen, führt man nur x j oder x j als augenblickliche Variable der Komponente j mit. Wir brauchen neue Auswahlregel: Sei x s die Variable, die neu in die Basis kommt. Mögliche Situationen: 1. x s ist eine beschränkte Variable, d.h. x s d s, also ε d s. 2. Basisvariable x i 0 und x i nicht nach oben beschränkt. x s b i ã is für ã is > 0, alles wie üblich. D.h. und x i nach oben beschränt. ε b i ã is für ã is > 0 3. Basisvariable x i 0 und x i nach oben beschränkt (x i d i ). a) ã is < 0: x s b i d i ã is, b) ã is > 0: x s b i ã is wie üblich, ε b i d i ã is. ε b i ã is. Noch zu überlegen: Vorgangsweise, wenn Minimum durch oder angenommen wird. Ad Situation 1: x s wird auf d s gesetzt, i.a. wird kein BV zu 0. Was tun? x s = d s x s = 0 Idee: Tausche x s und x s aus. D.h. statt x s kommt x s ins Problem. (Bzw. wäre x s dort, dann kommt x s neu hinzu.) 27

28 2 Das Simplexverfahren Wann immer Situation 1 auftaucht, wird Variable durch ihr Komplement ersetzt. ã i1 x N(1) + + ã is x N(n) + + ã in x N(n) + x B(i) = b i, wobei N(j) Index der j-ten NBV, B(i) Index der i-ten BV. x N(s) + x N(s) = d N(s) x N(s) = d N(s) x N(s) Somit ã i1 x N(1) + = ã is x N(s) + + ã in x N(n) + x B(i) = b i ã is d N(s) Beobachtung: Übergang zur Komplementärvar. kann in 2 Schritten im Tableau vollzogen werden. 1. Spalte zur Var. x N(s) mit 1 mult. 2. rechte Seite ersetzen durch b i ã is d N(s) x N(s) ist nun 0, ist in Nichtbasis. Algorithmus kann nun fortgesetzt werden, nächster Pivotschritt. Ad Situation 3: Fall Basisvariable x r (r: Pivotzeile) erreicht Schranke, muss also durch ihre Komplementärvariable ersetzt werden. Vorgangsweise: 1. Pivotschritt mit Pivotelement ã rs < 0 (ε = b r d r ã rs ) 2. Übergang von x r zu Komplementärvariable (neue NBV). Übergang wie in Situation 1. Beispiel max x 1 + x 2 x 1 x 2 2 x 1 + x 2 3 x 2 4 x 1, x 2 0 Somit x 2 + x 2 = 4. x 1 x x x 4 ε = min { 4 }{{} Situation 1, 3 }{{} Situation 2 } = 3. x 1 x x x 2 28

29 2.6 Einige Erweiterungen des Simplexverfahrens { } 3 4 ε = min = 1. 1 } {{ } Situation 3 Fallunterscheidung, in welcher Situation Minimum für ε erreicht wird. x 2 x x x 1 optimal. Beispiel x 2 x x x 1 max x 1 4x 2 x 1 x 2 + x 3 = 2 0 x x 3 5 x 1 0 { ε = min x 1 x x 3 }{{} 4, Situation 1 } } {{ } Situation 3 = 3. x 1 x x 2 { } 3 4 ε = min = 1. 1 } {{ } Sit. 3 x 2 x x 1 29

30 2 Das Simplexverfahren ( Temporär unzulässig. ) Übergang zu x 2. Das ist optimal: x 1 = 1, x 3 = 5, x 2 = 4. x 2 x x Anmerkungen zur Wahl der Pivotspalte Es gibt keine dominierende Regel. Verschiedene Regeln im Einsatz: 1. Regel von Dantzig: Wähle Nichtbasisvariable mit dem stärksten Anstieg im Raum der augenblicklichen NBV. (Für vorzeichenbeschr. Variablen ist der Anstieg durch c s gegeben, sonst durch c s.) c j : betragsgrößter red. Kostenkoeff. für Variable, die Opt.krit. erfüllt. Vorteil: Recht gut für Verwendung durch Hand. Nachteil: für große lineare Programme zu aufwendig! 2. Erste-Index-Regel: Wähle die erste NBV, die Optimalitätskriterium verletzt Vorteil: schnelle Auswertung Nachteil: i.a. größere Anzahl an Pivotschritten als bei anderen Verfahren 3. stärkster Zuwachs der Zielfunktion: Berechnet für jede mögliche Wahl der Pivotspalte s das zugehörige ε = ε (s) und wählt jene Pivotspalte, für die (Anstieg der Zielfkt.) maximal ist. Nachteil: sehr, sehr aufwendig. ε (s) c s 4. stärkster Anstieg im Raum aller Variablen: Änderung von NBV x N(j) um 1, so resultiert Änderung des ZFW um c j. Änderung der Werte der BV: x B = A 1 B A 1 B A N x N = b ã j. Hier x N(j) = 1, x N(k) = 0 für k j. ã j ist die j-te Spalte von ÃN. x = (x B, x N ). Änderungsvektor ( ã ij, ã 2j,..., ã mk, 0,..., 0, 1 }{{} Stelle von x N(j), 0,..., 0). Komponente zu x N(j) des Gradienten der Zielfunktion im Raum aller Variablen: c j 1 + m i=1 ã2 ij (2.3) Auswahl jener Variable x N(j), für die (2.3) maximal ist. Aufwendiger als 1., liefert meistens aber geringere Anzahl an Pivotschritte. Etwas Rechenaufwand kann durch Rekursionsformeln von Goldfarb und Reid eingespart werden. 5. Kandidatenlisten-Regeln: Man baut sich Pool von Kandidatenspalten/-variablen auf und wendet auf diesen Pool eine Auswahlregel (z.b ) an. Meistens kommen nur Variablen in den Pool, die das Optimalitätskriterium verletzen. Verschiedene Methoden für Poolmanagement. 30

31 2.8 Kurze Anmerkung zur Effizienz des Simplexverfahrens 2.8 Kurze Anmerkung zur Effizienz des Simplexverfahrens 2 Einflussgrößen: 1. Zahl der Pivotschritte: Kernproblem des Simplexverfahrens, 2. Aufwand pro Pivotschritt: ist polynomial, mit Standardmethoden aus numerischen linearen Algebra gut im Griff Zahl der Pivotschritte Man kennt keine Spaltenauswahlregel, für die das Simplexverfahren auch im schlechtesten Fall nur eine polynomiale Anzahl von Pivotschritten benötigt. Für die meisten bekannten Spaltenauswahlregeln kennt man Beispiele für lineare Programme, für die das resultierende Simplexverfahren exponentiell viele Pivotschritte benötigt (z.b. Klee, Minty Beispiele). In der Praxis ist die Anzahl der Pivotschritte i.a. vernünftig klein, oft sogar linear in der Anzahl der Restriktionen (empirische Aussage). Average case Analyse (Borgwardt, 1977, später Adler und Megiddo): Im durchschnittlichen Fall unter Gleichverteilungsannahme der Daten ist die Anzahl der Pivotschritte polynomiell beschränkt (Borgwardt). Später: O ( min{n 2, m 2 } ). Smoothed analysis ( geglättete Analyse ; Spielman): Die sich schlecht verhaltenden Instanzen sind recht dünn verteilt. 31

32 2 Das Simplexverfahren 32

33 3 Konvexe Mengen, Polyeder und Zusammenhang zur linearen Optimierung Definition C R n heißt konvex, wenn Lemma Seien C, D konvex. Dann gilt: 1. λc := {λx x C} ist konvex für alle λ. 2. C D ist konvex. x, y C λ [0, 1] : λx + (1 λ)y C. 3. Der Durchschnitt von endlichen vielen konvexen Mengen ist konvex. 4. C + D = {x + y x C, y D} ist konvex. Definition (konvexe Hülle) Sei S R n. Die kleinste (im Sinne von ) konvexe Menge, die S enthält, heißt konvexe Hülle von S, conv(s). Bemerkung Sei S = {x 1,..., x k }. Dann ist { k conv(s) = λ i x i x i S, λ i 0, (Dieser Darstellungssatz gilt auch für nicht endliche Mengen.) i=1 } k λ i = 1. Definition (Kegel) Sei S R n mit 0 S. S heißt Kegel (engl. cone), wenn Beispiele Skizzen. x S α > 0 : αx S. Definition (Hyperebene, Halbraum) Sei a R n, α R. i=1 1. Die Menge H := {x R n a t x = α} R n heißt Hyperebene. (Spezialfälle: n = 2 Gerade, n = 3 Ebene.) 2. Die Menge H 1 = {x R n a t x α} heißt (abgeschlossener) Halbraum. Definition (Polyeder, Polytop) 1. Ein Polyeder ist der Durchschnitt von endlich vielen Halbräumen (engl. polyhedron). 2. Ein Polytop ist ein nicht leerer, beschränkter Polyeder. Beispiele Skizzen. 33

34 3 Konvexe Mengen, Polyeder und Zusammenhang zur linearen Optimierung Lemma Polyeder sind konvexe Mengen. Beweis Als Übung. Bemerkung Die Restriktionenmenge eines linearen Programms beschreibt einen Polyeder. Korollar Die Restriktionenmenge eines linearen Programms ist konvex. Frage: Zusammenhang zwischen Polyeder und Simplexverfahren (insbesondere Basislösungen)? Definition (Extremalpunkt, Ecke, Eckpunkt) Sei C R n konvex. x C heißt Extremalpunkt (oder Ecke) von C, falls es keine 2 verschiedenen Punkte x 1, x 2 C (x 1 x 2 ) gibt, sodass Beispiele Kreis: Jeder Randpunkt ist Ecke. Halbraum: keine Ecken. Beispiel In Standardform: 2 NBV, 1 BV. 1. B = (1), x 1 = 3, x 2 = x 3 = 0 2. B = (2), x 1 = 3, x 1 = x 3 = 0 3. B = (3), x 3 = 3, x 1 = x 2 = 0 Skizze. x = αx 1 + (1 α)x 2 mit α (0, 1). x 1 + x 2 3 x 1, x 2 0 x 1 + x 2 + x 3 = 3 x 1, x 2, x Zusammenhang zwischen Basislösungen und Ecken Satz 3.1 (Zusammenhang zwischen Basislösungen und Ecken) Sei A eine m n Matrix, rank A = m, b R m. Betrachte Polyeder k := {x R n Ax = b, x 0}. Dann ist x genau dann eine (zulässige) Ecke von K, wenn x eine (zulässige) Basislösung des linearen Programms mit den Restriktionen Ax = b, x 0 ist. Beweis = : Sei x = (x 1,..., x m, 0,..., 0) eine zulässige Basislösung, d.h. x i 0 für alle i {1,..., m}. m i=1 a ix i = b, wobei a i die i-te Spalte von A ist. {a 1,..., a m } ist linear unabhängig. Annahme: x ist keine Ecke. 34

35 3.1 Zusammenhang zwischen Basislösungen und Ecken Dann existieren y, z (y z) und α (0, 1), sodass x = αy + (1 α)z und Ay = b, y 0 und Az = b, z 0. Da x j = 0 für j > m und y 0, z 0, α (0, 1), gilt y j = 0 und z j = 0 für alle j > m. Insgesamt also m m a i y i = b und a i z i = b. i=1 Da {a 1,..., a m } linear unabhängig, folgt y = z (lineares Gleichungssystem eindeutig lösbar), Widerspruch. = : Sei x K eine (zulässige) Ecke, i=1 x = (x 1,..., x q, 0,..., 0) } {{ } >0 (ggf. Komponenten umnummerieren). Aus x K folgt q x i a i = b. i=1 Zu zeigen bleibt noch, dass {a 1,..., a q } linear unabhängig ist. Annahme: {a 1,..., a q } linear abhängig. Dann existieren y 1,..., y q R mit y = (y 1,..., y q ) 0 und q i=1 y ia i = 0. ỹ = (y 1,..., y q, 0,..., 0) R n mit Aỹ = 0. Da x i > 0 für alle i {1,..., q}, gibt es ein ε > 0 mit Somit u := x + εỹ 0 v := x εỹ 0 Au = Ax + εaỹ = b + 0 = b (analog Av = b) und somit u K, v K und u v (da ỹ 0). Nun gilt aber x = 1 2 u v, Widerspruch dazu, dass x Ecke ist. rg A = m. x R n ist Ecke von {x R n Ax = b, x 0} x ist zulässige Lösung. Konsequenz und Beobachtungen K = {x R n Ax = b, x 0}, rg A = m (vgl. Satz 3.1). 1. K = K besitzt mindestens eine Ecke. 2. K und beschränkt bzw. es liegt beschränktes lineares Programm vor = Es gibt optimale Ecke (d.h. Ecke von K, die einer Optimallösung des linearen Programms entspricht). 3. Es gibt endlich viele Ecken. Definition (entartete Ecke) Sei K = {x R n Ax = b, x 0} mit rg A = m. x heißt entartete ( degenerierte) Ecke von K, wenn sich mehr als n m Hyperebenen in x schneiden (d.h. mehr als n m Komponenten von x 0 sind). Bemerkung Das ist gleichbedeutend damit, dass x eine entartete (zulässige) Basislösung ist. 35

36 3 Konvexe Mengen, Polyeder und Zusammenhang zur linearen Optimierung Konsequenz Wenn Entartung vorliegt, dann gibt es keine eindeutige Zuordnung zwischen Ecken und Basen. Eine entartete Ecke korrespondiert zu mehreren Basen. Tritt im Simplexverfahren Entartung auf, so steckt man in einer entarteten Ecke fest. 3.2 Geometrische Interpretation des Simplexverfahrens 1. Starte in (zulässiger) Ecke von K. 2. Teste, ob Ecke optimal ist (lokaler Optimumstest). (Das entspricht dem Test, ob es eine benachbarte/adjazente Ecke mit besserem Zielfunktionswert gibt. Die zugehörigen Basislösungen entstehen durch Tausch einer BV gegen eine NBV.) 3. Wenn eine Ecke noch nicht optimal ist, geht man zur Ecke mit besserem (nicht schlechterem im Entartungsfall) ZWF, sonst stoppe. 36

37 4 Dualität 4.1 Motivation und Einführung Beispiel min x 2 + y 2 Lagrangefunktion: Nun muss gelten: 2x + y = 5. L(x, y, λ) = x 2 + y 2 + λ (5 y 2x). L x = 0 L y = 0 L λ = 0 L x = 2x 2λ L y = 2y λ L λ = 5 y 2x Gegeben: lineares Programm (primal). Gesucht ist ein anderes lineares Programm (dual) mit dem Ziel eines Optimalitätsnachweises à la Lagrange-Multiplikatoren. Definition (Duales lineares Programm) Sei max c t x Ax b x 0 das primale Problem. Das dazu duale lineare Programm hat folgende Gestalt: (y: Vektor der dualen Variablen). min b t y A t y c y 0 Bemerkung y spielt dabei die Rolle der Lagrangemultiplikatoren für das primale Problem. Beispiel Primales Problem: max 4x 1 + 2x 2 x 3 x 1 2x 2 + x 3 3 2x 1 + 3x 3 5 x 2 4 x 1, x 2, x

38 4 Dualität Duales Problem: min 3y 1 + 5y 2 + 4y 3 y 1 + 2y 2 4 2y 1 + y 3 2 y 1 + 3y 2 1 y 1, y 2, y Direkte Behandlung von Gleichungen Seien α R n, β R. α t x = β entspricht α t x β ( y 1 ) α t x β ( y 2 ). Somit lautet das duale Problem: min βy 1 βy 2 α 1 y 1 α 1 y 2 c 1 α 2 y 1 α 2 y 2 c 2 α n y 1 α n y 2 c n y 1, y Das ist äquivalent zu min βỹ α 1 ỹ c 1. α n ỹ c n (ỹ nicht vorzeichenbeschränkt). Eine Gleichung im primalen Problem entspricht also einer nicht vorzeichenbeschränkten Variablen im dualen Problem Direkte Behandlung von nicht vorzeichenbeschränkten Variablen x j nicht vorzeichenbeschränkt bedeutet α 1 Seien α =. α n, β = β 1 x j = x + j x j mit x + j, x j 0... Betrachte das Problem β n max cz 38

39 4.1 Motivation und Einführung αz β (z nicht vorzeichenbeschränkt). Das ist äquivalent zu max c (z + z ) α (z + z ) β z +, z 0. Das dazu duale Problem lautet: n min β j y j j=1 αj y j c αj y j c y j 0. Eine nicht vorzeichenbeschränkte Variable im primalen Problem entspricht also einer Gleichungsrestriktion als zugehöriger dualer Restriktion. Beispiel Das primale Problem entspricht dem dualen Problem Zusammenfassung P (primal) Zielfunktion max c t x rechte Seite b Koeffizientenmatrix A i-te Restriktion ist Gleichung i-te Restriktion ist -Ungleichung j-te Variable ist vorzeichenbeschränkt j-te Variable ist nicht vorzeichenbeschr. max x 1 + x 2 + 3x 3 2x 1 + x 2 x 3 5 x 1 x 2 3 x 1 2x 2 + 4x 3 = 1 x 1, x 2 0 min 5y 1 + 3y 2 + y 3 2y 1 + y 2 + y 3 1 y 1 y 2 2y 3 1 y 1 + 4y 3 = 3 y 1, y 2 0. D (dual) rechte Seite c Zielfunktion min b t y Koeffizientenmatrix A t i-te duale Variable ist nicht vorzeichenbeschr. i-te duale Variable ist vorzeichenbeschränkt j-te duale Restriktion ist -Ungleichung j-te duale Restriktion ist Gleichung Bemerkung Das duale lineare Programm von (D) ist wieder (P). 39

40 4 Dualität 4.2 Interpretation des dualen Problems zum Transportproblem m Fabriken; a i : erzeugte Menge in Fabrik i. n Abnehmer; b j : Bedarf von Abnehmer j. Annahme: m a i = i=1 n b j. c ij : Transportkosten pro Einheit von Fabrik i zu Abnehmer j. Ziel: minimiere Transportkosten. Variable x ij : Transportmenge von Fabrik i zu Abnehmer j. Das Problem lautet also m n min c ij x ij j=1 i=1 j=1 n x ij = a i j = 1,..., m Dualvariable u i j=1 m x ij = b j j = 1,..., n Dualvariable v i i=1 x ij 0 Duales Problem: (u, v, nicht vorzeichenbeschränkt). m n max a i u i + b j v j i=1 j=1 u i + v j c ij Bemerkung x ij kommt in zwei Restriktionen in (P) vor. Frage: Bedeutung bzw. Interpretation des Dualproblems? Setze u i := u i. Das duale Problem lautet dann n m max b j v j a i u i j=1 i=1 v j u i c ij i = 1,..., m; j = 1,..., n. Betrachte (externen) Transporteur: Kauft Waren in Fabriken auf, verkauft sie bei Abnehmern wieder und möchte Gewinn maximieren. v j : Preis, den der Transporteur beim Verkauf einer Einheit beim Abnehmer j erhält. u i : Preis, der beim Kauf in Fabrik i zu zahlen ist. Dann ist n m b j v j a i u i genau der Gewinn des Transporteurs und j=1 i=1 v j u i c ij eine ökonomische Bedingung, damit der Produzent einwilligt. 40

41 4.3 Der Dualitätssatz der linearen Optimierung 4.3 Der Dualitätssatz der linearen Optimierung Satz 4.1 (Dualitätssatz) Besitzt eines von zwei zueinander dualen linearen Programmen eine endliche Lösung, so auch das andere, und die optimalen Zielfunktionswerte stimmen überein. Satz 4.2 (schwacher Dualitätssatz) Sei (P) max c t x Ax b x 0 und (D) min b t y A t y c y 0. Seien weiters M P = {x R n Ax b, x 0}, M D = {y R m A t y c, y 0}. Dann gilt x M P, y M D : c t x b t y. Beweis Sei x M P und y M D. Dann gilt Ax b und x 0 und Daraus folgt A t y c und y 0. c t x (A t y) t x = y t Ax y t b = b t y. Satz 4.3 (Korollar) Sei x M P und y M D mit c t x = b t y. Dann ist x Optimallösung für (P) und y Optimallösung für (D). Satz 4.4 (Existenzsatz) 1. Haben zwei zueinander duale lineare Programme beide zulässige Lösungen, so haben beide eine endliche Optimallösung und die optimalen Zielfunktionswerte stimmen überein. 2. Wenn nur eines der zwei zueinander dualen linearen Programme eine zulässige Lösung hat, dann ist dieses Problem unbeschränkt, d.h. besitzt keine endliche Optimallösung. 3. Hat ein Problem zulässige Lösungen, aber keine endliche Optimallösung (also unbeschränkt), so besitzt das duale Problem keine zulässige Lösung. Beweis 41

42 4 Dualität 1. x M P, y M D. Dann gilt wegen Satz 4.2 c t x b t y. Somit ist {c t x x M P } eine nach oben beschränkte Menge. M P ist abgeschlossen, also wird das Maximum angenommen. Somit besitzt (P) eine endliche Optimallösung. Aus Satz 4.1 folgt, dass (D) eine endliche Optimallösung besitzt und die optimalen Zielfunktionswerte übereinstimmen. 2. Sei M P, also M D =. Annahme: (P) besitzt eine endliche Optimallösung. Wegen Satz 4.1 besitzt dann auch (D) eine endliche Optimallösung, Widerspruch zu (D) unzulässig. 3. Sei M P, (P) unbeschränkt. Annahme: M D. Dann folgt aus 1, dass beide Probleme eine endliche Optimallösung bestizen, Widerspruch zu (P) unbeschränkt. Satz 4.5 (Komplementaritätssatz, Satz vom komplementären Schlupf) Sei x M P und y M D. Dann sind folgende beiden Aussagen äquivalent: 1. x ist optimal für (P) und y ist optimal für (D). 2. Interpretation von (4.1) und (4.2): somit gilt für alle j = 1,..., n also i=1 x t x t (A t y c) = 0 (4.1) y t (Ax b) = 0 (4.2) }{{} (A t y c) = 0 } {{ } 0 0 x j = 0 oder (A t y c) j = 0, m m a ij y i c j = 0 a ij y j = c j (j-te Restriktion im dualen Problem ist mit Gleichheit erfüllt). D.h. (4.1) gilt genau dann, wenn für alle j = 1,..., n gilt: Entweder ist j-te primale Variable x j = 0 oder j-te duale Restriktion ist mit Gleichheit erfüllt. Analog interpretiert man (4.2): y t (Ax b) = 0 Entweder ist die i-te duale Variable y i = 0 oder die i-te primale Restriktion ist mit Gleichheit erfüllt. Beweis = : Sei i=1 x M P, d.h. Ax b, x 0 y M D, d.h. A t y c, y 0. Wegen A t y c und x 0 gilt (Dualitätssatz, x und y optimal). (A t y) t x c t x = b t y (4.3) (A t y) t x = y t Ax y t b = b t y (da x M P, y 0). Insgesamt y t (Ax b) 0. Aus (4.3) folgt außerdem y t (Ax b) 0. Somit folgt (4.2). 42

43 4.3 Der Dualitätssatz der linearen Optimierung Sei x M P, y M D mit (4.1). Ax b (Ax) t y b t y = c t x. Erhalte einmal 0 und einmal 0, also x t (A t y c) = 0 (4.1). = : Sei x M P, y M D, (4.1) und (4.2) erfüllt. Also x t (A t y c) = y t (Ax b) = 0. x t A t y x t c = 0 und y t Ax y t b = 0 x t A t y = x t c = c t x y t Ax = y t b = b t y } {{ } =y t Ax und somit c t x = c t y, also ist (wegen x M P, y M D ) x optimal für (P) und y optimal für (D). Beispiel Betrachte das primale Problem (P) max 7x 1 + 6x 2 + 5x 3 2x 4 + 3x 5 x 1 + 3x 2 + 5x 3 2x 4 + 2x 5 4 4x 1 + 2x 2 2x 3 + x 4 + x 5 3 2x 1 + 4x 2 + 4x 3 2x 4 + 5x 5 5 3x 1 + x 2 + 2x 3 x 4 2x 5 1 x 1, x 2, x 3, x 4, x 5 0 und das dazu duale Problem (D) min 4y 1 + 3y 2 + 5y 3 + y 4 Teste, ob x = ( y 1 + 4y y 3 + 3y 4 7 3y 1 + 2y 2 + 4y 3 + y 4 6 5y 1 2y 2 + 4y 3 + 2y 4 5 2y 1 + y 2 2y 3 y 4 2 2y 1 + y 2 + 5y 3 2y 4 3 y 1, y 2, y 3, y 4 0. t 5 3 0) optimal für (P) ist. Setze dazu x in die primale Restriktion ein: = = < = 1, 43

44 4 Dualität also y 3 = 0. Betrachte nun (4.1): x 2, x 3, x 4 > 0, daher müssen die 2., 3. und 4. duale Restriktion mit Gleichheit erfültt sein: 3y 1 + 2y 2 + 4y 3 + y 4 = 6 5y 1 2y 2 + 4y 3 + 2y 4 = 5 2y 1 + y 2 2y 3 y 4 = 2, also y 1 = 1, y 2 = 1, y 3 = 0, y 4 = 1. Es steht noch der Test aus, ob y M D. Betrachte dazu die 1. und 5. duale Restriktion. Es gilt zwar , nicht aber Die Restriktion ist damit verletzt und y nicht zulässig. Daher ist x nicht optimal. Satz 4.1 besitzt mehrere Beweismöglichkeiten. Die einfachste und kürzeste benutzt das Simplexverfahren. Wir gehen hier einen längeren Umweg. 4.4 Trennungssätze im R n Definition (Trennung) Die Hyperebene H = {x a t x = a 0 } trennt die nicht leere Menge A von der nicht leeren Menge B, wenn gilt. Sie trennt echt, wenn es ein α R gibt mit x A, y B : a t x a 0 a t y x A, y B : a t x α < a t y. Satz 4.6 (Trennung eines Punktes von einer konvexen Menge) Sei C, C R n, C konvex, y / C (topologischer Abschluss von C). Dann gibt es eine Hyperebene H, die den Punkt y echt von C trennt, d.h. Beweisskizze Betrachte a R n, a 0 R x C : a t x a 0 < a t y. inf x y = x 0 y =: δ. x C Sei x C beliebig. Weil C konvex: x 0 + λ(x x 0 ) C für ein 0 λ 1. d.h. Sei λ 0. Dann folgt für alle λ mit 0 < λ 1. d.h. x 0 + λ(x x 0 ) y > λ = x 0 y, x 0 y 2 + 2λ(x x 0 ) t (x 0 y) + λ 2 x x 0 2 x 0 y 2. 2(x x 0 ) t (x 0 y) + λ x x 0 2 } {{ } 0 =(x x 0) t (x x 0) (x x 0 ) t (x 0 y) 0, (x 0 y) t x (x 0 y) t x 0 = (x 0 y) t y + (x 0 y) t (x 0 y), 44