Optimierung I Wintersemester 1996/97

Transkript

1 Optimierung I Wintersemester 1996/97 Florian arre Institut für Angewandte Mathematik und Statistik Universität Würzburg, Am Hubland D Würzburg 8 November 2000 Inhalt 1 Lineare Optimierung: Definition und Anwendungsbeispiele; die Simplexmethode; Dualität; Innere-Punkte-Methoden 2 Optimierung auf Netzwerken: das Transportproblem; das Transshipmentproblem 3 Die Dekompositionsmethode von Dantzig und Wolfe 4 Nichtlineare Minimierung ohne Nebenbedingungen: Minimierung skalarer Funktionen; cg-verfahren; Quasi-Newton-Verfahren; nichtlineare Ausgleichsprobleme; ein Trust- Region Algorithmus 5 Konvexe Mengen, Trennungssätze 6 Optimalitätsbedingungen für konvexe Programme (mit konvexen Nebenbedingungen) 7 Optimalitätsbedingungen erster Ordnung für glatte, nichtkonvexe Programme 8 Optimalitätsbedingungen zweiter Ordnung für glatte, nichtkonvexe Programme 9 Innere-Punkte-Methoden für nichtlineare Probleme item Straffunktionen, erweiterte Lagrangefunktion, SQP-Verfahren, Trust-Region-Methoden mit Nebenbedingungen, Projektionsmethoden, Direkte Suchverfahren Vorwort Dies ist eine vorläufige Zusammenfassung der Vorlesung Optimierung I im Wintersemester 1995/1996 an der Universität Würzburg Das Skript lehnt sich in weiten Teilen an die Vorlesungen von Prof Stoer an Ich möchte mich an dieser Stelle auch bei Herrn Prof Stoer für die kritische Durchsicht des Skriptes bedanken Einige ausgewählte, weiterführende Literaturangaben zur Optimierung sind am Ende des ersten Kapitels zitiert Ich bedanke mich bei Herrn Launer für den Entwurf der Zeichnungen, und bei Herrn Goldbach, Herrn Grahl, Herrn Wechs und Herrn Wenzel für zahlreiche Korrekturvorschläge

2 Allgemeine Vorbemerkung Viele Probleme aus Industrie und Wirtschaft sind Optimierungsprobleme möglichst billige Herstellung möglichst schnelles/sparsames/robustes Auto oder ähnliches Die Lösung des Optimierungsproblems besteht aus 1 Umwandlung in eine mathematische Form (NLP ) (NichtLineares Programm) minimiere unter den Nebenbedingungen f(x) g 1 (x) 0 g m1 (x) 0 g m1 +1(x) = 0 g m2 (x) = 0 x B für welche sich der Name Nichtlineares Programm eingebürgert hat, auch wenn Nichtlineares Optimierungsproblem eigentlich ein passenderer Name wäre In dieser Formulierung ist B IR n ein Bereich, auf dem f und alle g i definiert sind f heißt Zielfunktion, die g i heißen Nebenbedingungen eder Vektor x IR n, der die Nebenbedingungen erfüllt heißt zulässige Lösung des (N LP ) Auch diese Bezeichnung hat sich allgemein eingebürgert, eine zulässige Lösung ist also in der Regel nicht die gesuchte Lösung des (N LP ) Letztere werden mit Optimallösung bezeichnet und sind diejenigen zulässigen Lösungen, deren Wert f(x) minimal ist 2 Lösung des Mathematischen Problems Der erste Teil umfaßt die (physikalische) Modellbildung und wird oft von Ingenieuren, Physikern, Unternehmern, durchgeführt Dieser Teil ist mindestens ebenso wichtig wie der zweite Teil, wird aber in dieser Vorlesung nicht angesprochen Der zweite Teil geht von einem Problem in der Form (NLP ) aus und befaßt sich mit dessen Lösbarkeit und berechnet gegebenenfalls eine Lösung Wir beschränken uns hier auf den Fall, daß B IR n und nur endlich viele Nebenbedingungen zu beachten sind, auch wenn es durchaus sinnvolle Anwendungen gibt, bei welchen x zb eine unbekannte Funktion ist (optimale Steuerungsfunktion) oder auch unendlich viele Nebenbedingungen vorliegen Das (NLP ) in obiger Form ist noch sehr allgemein Es gibt keinen Ansatz ein allgemeines (NLP ) zu lösen Selbst so einfache Beispiele wie m 1 = m 2 = 0 und B = [ɛ, 1] IR 1 sowie f(x) := sin 1 x + cos 1 lassen sich für ɛ (0, 10 x 200 ) kaum lösen, obwohl f differenzierbar 2 ist, nur von einer einzigen Unbekannten abhängt, und der zulässige Bereich [ɛ, 1] kompakt ist Einteilung von (NLP ) s Bei den Anwendungen ist in der Regel eine gewisse Struktur bekannt, die durch das Lösungsverfahren ausgenutzt wird Wir unterscheiden die (N LP ) s hier nach folgender Struktur 2

3 1) Nichtrestringierte Minimierung, dh m 1 = m 2 = 0, B = IR n, 2) Lineare Programme, dh f und g 1,, g m2 sind affin und B = IR n, 3) Konvexe Programme, dh f und g 1,, g m1 sind konvex und g m1 +1,, g m2 sind affin und B = IR n, 4) Glatte, nichtlineare Programme, dh f und g 1,, g m2 sind auf IR n differenzierbar und B = IR n, 5) Kombinatorische Probleme für die B nur solche x enthält, für die gewisse Komponenten x i ganzzahlig sind, zum Beispiel in {0, 1} liegen Die obigen Klassen bilden nur eine unvollständige Grobeinteilung Insbesondere die kombinatorischen Probleme sind noch in eine Vielzahl von Teilklassen zerlegt, für welche jeweils spezielle Lösungsverfahren entwickelt sind Auch sind die Teilklassen nicht disjunkt und hängen von der Formulierung des (NLP ) ab; zb kann die Bedingung daß B nur solche x enthält, für die gewisse Komponenten x i ganzzahlig sind bzw in {0, 1} liegen auch durch die Nebenbedingungen g m1 +i(x) := sin πx i = 0 bzw g m1 +i(x) := x 2 i x i = 0 ersetzt werden Ausblick Wir beschäftigen uns in dieser Vorlesung mit der stetigen Optimierung und in erster Linie mit den Klassen 1) bis 4) und bei Problemen der Form 1) oder 4) auch nur mit der Bestimmung lokaler Minima Die kombinatorische Optimierung ist Gegenstand einer weiteren Vorlesung (Winter 1997/98) Ein wichtiger Schwerpunkt bei den Anwendungen der kombinatorischen Optimierung ist die Informatik, während stetige Optimierungsprobleme zb oft aus den Ingenieurwissenschaften kommen Auch methodisch unterscheiden sich die Lösungszugänge bei der stetigen und der kombinatorischen Optimierung Bekannte Zugänge bei der stetigen Optimierung beruhen auf lokalen Approximationen der Zielfunktion und der Nebenbedingungen oder der Optimalitätsbedingungen mittels Linearisierungen oder trust region-modellen wie zb das Newtonverfahren aus der Schule, das die Nullstelle der Ableitung (die Optimalitätsbedingung sagt, daß die Ableitung Null sein muß!) mithilfe von Linearisierungen (Tangenten) annähert Bekannte Zugänge der kombinatorischen Optimierung beruhen oft auf einer Reihe geschickt gewählter Probierstrategien und sind im allgemeinen wesentlich aufwendiger, dh die kombinatorischen Probleme sind ia schwieriger zu lösen und benötigen nicht selten eine Anzahl von Rechenschritten, die exponentiell von der Anzahl der Unbekannten abhängt Wie wir sehen werden, lassen sich bei den Problemen der Klassen 2) und 3) wesentlich schnellere Algorithmen finden, welche im schlimmsten Fall eine Anzahl von Rechenschritten benötigen, die polynomial von der Anzahl der Unbekannten und der Anzahl der Nebenbedingungen abhängt Zur Anwendung in der Praxis Wir schließen diesen Abschnitt mit einer Bemerkung zu den Schwierigkeiten bei der Anwendung der Optimierung in der Praxis Die Forschung in der Optimierung konzentrierte sich in der Vergangenheit in erster Linie auf theoretische Untersuchungen wie zb Konvergenzbeweise Die Implementierung der theoretisch entwickelten Verfahren kam oft zu kurz 3

4 Dabei stecken gerade in der Implementierung noch sehr wesentliche Probleme, insbesondere bei der Ausnutzung der oftmals dünn besetzten Struktur der Eingabedaten (die bei Verarbeitung der Daten im Laufe eines Verfahrens leicht verloren geht) und bei den Rundungsfehlern (Bsp Patriot-Rakete) Zudem klafft, wie wir später sehen werden, zwischen Theorie und Praxis oft eine Lücke in dem Sinne, daß die Verfahren für die man die beste worst-case-laufzeit beweisen kann oft nicht die Verfahren sind, die in der Praxis die schnellsten Ergebnisse liefern Insbesondere sind die gebräuchlichen Verfahren oft wesentlich besser als man es beweisen kann Eine weitere wichtige Schwierigkeit bei den Anwendungen liegt darin, daß die Modelle, die von einem gegebenen Problem in der Industrie oder Wirtschaft aufgestellt werden und zu einem (N LP ) führen, oft unvollständig oder falsch sind Die Anwender wissen nicht immer, was sie wirklich wollen (möglichst schnell oder möglichst billig oder beides, aber was ist wichtiger?) Dann ist die Kommunikation zwischen Optimierer und Anwender oft zu knapp und führt zu Mißverständnissen Einige Facetten der oben erwähnten Schwierigkeiten sollen an einem Beispiel erläutert werden, das sinngemäß auf einem Graduiertenkolleg in Heidelberg 1996 vorgestellt wurde Ein Unternehmer beauftragt einen Optimierer die kürzesten Rundtour für die Auslieferung gewisser Güter per Lastwagen zu finden Die Länge der Tour hängt aber vom Verkehr (Staus und Unfälle ) ab und ist nicht genau erfaßbar Der Optimierer kennt nicht alle Zusammenhänge So kann zb ein Lastwagenfahrer, der Möbel ausliefert, prozentual am Lieferwert beteiligt sein Dann wäre es für den Lastwagenfahrer attraktiver eine teure Ledersesselgarnitur auszufahren, die er einfach beim Kunden ins Wohnzimmer stellt, als ein billiges Kinderzimmer, das er noch mit aufbauen muß Solche Nebenbedingungen müßte der Optimierer auch kennen, und wenn er sie nicht kennt, so werden sich solche Fahrer mit vielen billigen Möbeln ärgern und Schuld ist der Optimierer, der ja die Einteilung getroffen hat Hätte der Unternehmer ein (benutzerfreundliches) Programm, das er selber aufruft, so ist er selbstständiger, er kann das Programm mehrfach starten und neue, zunächst nicht beachtete Nebenbedingungen mit in das Modell aufnehmen Eines haben die obigen Schwierigkeiten gemeinsam: Sie liegen nicht in der Mathematik und werden in dieser Vorlesung nicht weiter behandelt 1 Lineare Programmierung 11 Definition und Anwendungen Die allgemeinste Form eines linearen Programmes ist (LP ) minimiere c T x (Lineares Programm) x : b Ax b l x u wobei die Unbekannte x aus dem IR n sei, und die Eingabedaten aus einer reellen m n- Matrix A, den Vektoren b, b und l, u der Dimensionen m bzw n bestehen Wir benutzen die 4

5 Notation s t für Vektoren s, t IR n genau dann, wenn s i t i für alle i in {1,, n} Wir erlauben, daß die Komponenten b j oder l i in IR { } liegen und b j oder u i in IR { } Der Vektor Ax soll bei obigem linearen Programm also komponentenweise zwischen b und b liegen Falls b j > b j für ein j oder l i > u i für ein i, so hat das Programm offenbar keine Lösung Lineare (genaugenommen affine) Gleichungen können durch die Wahl von b j = b j dargestellt werden Falls b j = oder b j =, so wird die entsprechende Ungleichung meistens weggelassen 111 Das Diätproblem Ein einfaches Beispiel für ein lineares Programm ist die Zusammensetzung von Kuhfutter Der Bauer habe der Einfachheit halber zwei Nährstoffe zur Auswahl, 1 Kraftfutter und 2 frischen Klee Wir listen unten ein paar (frei erfundene) Eckdaten auf, die bei der Futterzusammensetzung berücksichtigt werden sollen Die Nährwertangaben beziehen sich dabei auf je einen Doppelzentner Futter und der Bedarf auf den ganzen Stall in einem bestimmten Zeitraum Kohlehydrate Proteine Vitamine Kosten 1) Kraftfutter 20 E 15 E 5 E 10 DM 2) Klee 20 E 3 E 10 E 7 DM Bedarf/Tag 60 E 15 E 20 E Der Buchstabe E steht ganz allgemein für eine Einheit Diese Daten führen zu folgendem linearen Programm, das die Futterkosten minimiert Dabei gibt x 1 die zu verfütternde Menge (in Doppelzentnern) Kraftfutter und x 2 die Menge Klee an minimiere 10x 1 + 7x 2 Unter den Nebenbedingungen 20x x x 1 + 3x x x 2 20 x 1 0, x 2 0 (1) Graphisch läßt sich das im IR 2 wie folgt darstellen: 5

6 x 2 2Bed 5 4 1Bed 3 3Bed 2 1 ( ) x 1 ede Nebenbedingung definiert eine Halbebene, und der Schnitt der drei Halbebenen mit dem positiven Orthanten liefert den zulässigen Bereich, dh die Menge der zulässigen Lösungen, die im Bild schattiert ist Gestrichelt sehen wir drei Linien, entlang denen 10x 1 + 7x 2 konstant ist Verschiebt man die gestrichelte Linie parallel so weit wie möglich nach links, ohne den schattierten zulässigen Bereich vollständig zu verlassen, so trifft man auf den fett markierten Punkt (05, 25) Die optimale Futterzusammensetzung besteht demnach aus einem halben Doppelzentner Kraftfutter und 25 Doppelzentnern Klee (Dieses Beispiel ist besonders einfach zu lösen Gibt es jedoch mehr als nur zwei Unbekannte x 1, x 2, die optimal zu bestimmen sind, werden die linearen Programme in ihrer Struktur deutlich komplizierter) Um nochmals auf die Probleme bei der Modellbildung zurückzukommen, sei angemerkt, daß ein Optimierungsverfahren wirklich nur die Ziele optimiert, die explizit formuliert werden Das klingt trivial, (und ist es auch), trotzdem kommt es in vielen Anwendungen vor, daß ein Anwender seine intuitiv ermittelte Lösung besser findet als die errechnete Optimallösung, weil noch zusätzliche, nur schwer formulierbare Nebenbedingungen und Ziele vorliegen In obigem Beispiel könnte es sein, daß das Kraftfutter aus Tiermehl hergestellt wird und eine gewisse BSE-Gefahr birgt Weiter könnte der hohe Bedarf an Protein bei den Kühen darauf zurückzuführen, daß diese möglichst schnell wachsen sollen, um bald schlachtreif zu sein, eigentlich kämen die Kühe auch mit reinem Klee aus Auch wenn das Modell oben frei erfunden ist und sicher nichts mit den wirklichen Problemen eines Bauernhofs zu tun hat, so spiegelt es eine Eigenheit der Optimierung wider: Die Optimierung führt zu einer konsequenten Ausnutzung von politischen, wirtschaftlichen oder anderen Mißständen So führen zb auch die Eckdaten zu billiger Dieseltreibstoff oder zu unflexibles Management bei der Bahn in Verbindung mit hohen Lagerhaltungskosten zu einer Verlagerung des Gütertransportes von der Schiene auf die Straßen Die Mehrkosten, die den Unternehmen durch Verlagerung des Verkehrs auf Lastwagen entstehen (und nur solche, 6

7 nicht diejenigen, die in der Umwelt entstehen), werden durch Einsparungen bei der Lagerhaltung ausgeglichen, da die Lastwagen (nach Einsatz von Optimierungsverfahren zum Auffinden von kürzesten Wegen) schneller und flexibler transportieren können Wir merken an dieser Stelle an, daß sehr viele Unternehmen solche Spielräume in der Planung tatsächlich konsequent mit mathematischen Methoden durchrechnen So hat eine Befragung der Zeitschrift Fortune bei 500 Unternehmen in den USA zb ergeben, daß 85% der Unternehmen lineare Programmierung benutzen Die Anwendungen liegen dabei bei Mischungsproblemen (für Zement, Eisen, Futter, ), bei Transportproblemen (Delta Airlines, US Army, ), bei Lagerhaltungs- und Zuordnungsproblemen, und anderen Auch bei Unterproblemen in der Kombinatorik oder der nichtlinearen Optimierung treten lineare Programme auf oder bei Diskretisierungen von semiinfiniten Optimierungsproblemen, dh solchen mit unendlich vielen Nebenbedingungen wie g t (x) 0 für alle t [0, 1] zum Beispiel 112 Ein weiteres Beispiel Eine eindrucksvolle Anwendung der linearen Optimierung hat D Shanno 1992 auf einer Konferenz in Budapest vorgestellt: Die Fluggesellschaft Delta Airlines hatte das Ziel, die Zuordnung von verschiedenen Flugzeugen, Besatzungen und Anflugzielen so zu optimieren, daß die Kosten möglichst niedrig und die zu erwartenden Einnahmen (Auslastung der Flugzeuge ) möglichst hoch sind Delta Airlines verfügt über ein Programm, das aus diesem Problem bei Eingabe der Flugzeugdaten usw ein lineares Programm erzeugt Das lineare Programm ist aber sehr hoch dimensioniert, die Matrix A war in dem Beispiel von Shanno eine Matrix, zu groß als daß man das Problem damals hätte lösen können In einem ersten Schritt hatten Shanno und seine Mitarbeiter nun gewisse ganz einfache Vereinfachungen vorgenommen, leere Spalten eliminiert, feste Variablen wie zb x 3 = 17 in die rechte Seite gebracht und eliminiert, einfache redundante Bedingungen wie x 1 0, x 2 0 und x 1 + x 2 0 reduziert, usw Dadurch war es möglich, die Dimension von A auf zu reduzieren Die so entstandene Matrix war genau wie die Ausgangsmatrix sehr dünn besetzt und hatte nur von Null verschiedene Elemente (Das sind im Durchschnitt 3 bis 4 Elemente der Elemente einer Spalte Wir nennen ganz allgemein eine Matrix M dünn besetzt, falls M gemessen an der Gesamtzahl der Einträge nur wenige von Null verschiedene Eintrge hat, dh falls zb 95% oder mehr der Einträge Null sind) Schließlich war es Shanno möglich, dieses Problem mit einem neu entwickeltem Programm (einer Innere-Punkte-Methode) zu lösen und aus der Lösung sogar eine ganzzahlige Lösung abzulesen, die für Delta Airlines verwendbar war Bei der Lösung des Programms schwoll die Anzahl der von Null verschiedenen Elemente zwar auf an, war aber gerade noch mit damaligen Supercomputern zu bewältigen Delta Airlines errechnte sich selbst, daß der so gefundene Flugplan gegenüber dem aktuellen Flugplan zu Einsparungen von US Dollar pro Woche führen würde Das sind zwar nur wenige Prozentpunkte des Gesamtumsatzes, aber absolut gesehen doch eine eindrucksvolle Zahl Leider wäre die Einführung des neuen Flugplanes mit erheblichen internen Umwälzungen verbunden gewesen, und so war zum Zeitpunkt der Konferenz 1992 die Einführung aus diesem Grunde (zunächst?) aufgeschoben worden Wäre der bessere Flugplan aber von Anfang an bekannt gewesen, hätte die Firma vielleicht leichter auf den Flugplan hinarbeiten können 7

8 113 Beispiele Einige schöne Beispiele zur linearen Programmierung und zur Simplexmethode können unter der www-adresse wwwmcsanlgov/home/otc/guide/casestudies/diet/indexhtml und wwwmcsanlgov/home/otc/guide/casestudies/simplex/indexhtml abgerufen werden Diese Seiten sind recht einfach und selbsterklärend In diesem Zusammenhang sei auch die Adresse www-unixmcsanlgov/otc/interiorpoint/ für neuere Forschungsresultate auf dem Gebiet der Innere-Punkte-Methoden für die lineare Programmierung erwähnt 114 Die Standardform Zur leichteren Darstellung der Lösungsverfahren soll zunächst gezeigt werden, wie das allgemeine lineare Programm in eine gewisse Standardform umgeformt werden kann Offenbar sind Minimierungs- und Maximierungsprobleme wegen min c T x = max c T x äquivalent Weiter läßt sich eine Bedingung der Form a T j x b j mit einem Zeilenvektor a T j von A und endlichem b j durch eine zusätzlich eingeführte Schlupfvariable s j mittels a T j x+ s j = b j und s j 0 in eine lineare Gleichung und eine einfache Nichtnegativitätsbedingung umformen Ähnliches gilt für b j a T j x und die Schranken l i bzw u i an die x i Wir können so alle Ungleichungen in Gleichungen mit zusätzlichen Variablen s i 0 transformieren und erreichen, daß in dem so umgeformten Problem b = b =: b gilt Schließlich kann eine Variable x i, die keiner (expliziten) Vorzeichenbeschränkung unterliegt, eliminiert werden: Falls die i-te Spalte von A leer ist, lasse man diese und x i einfach fort Sonst wähle man in der i-ten Spalte von A ein Element A j,i 0 und ersetze in den Zeilen r j die Variable x i durch (b j n k=1, k i A j,k x k )/A j,i Dies geschieht wie bei der Gauß-Elimination durch b r b r A r,i A j,i b j und A r,k A r,k A r,ia j,k A j,i In der so transformierten Matrix wird dann die i-te Spalte und j-te Zeile (und die Variable x i und b j ) fortgelassen Da x i keiner Vorzeichenbeschränkung unterliegt, geht durch das Fortlassen von x i keine Ungleichung verloren Die obigen Umformungen können noch etwas effektiver durchgeführt werden Uns soll hier jedoch genügen, daß grundsätzlich ein allgemeines lineares Programm in folgende Standardform (mit einer anderen Matrix A und einem anderen Vektor x) überführt werden kann: (P ) inf{ c T x Ax = b, x 0 } Dabei bezeichnen wir mit P := { x Ax = b, x 0 } (2) die Menge der zulässigen Lösungen oder zulässigen Punkte Die Zielfunktion ist hier die Funktion c T x Für P = setzen wir inf{c T x x P} :=, für P gilt entweder 8

9 inf{c T x x P} = oder inf{c T x x P} > In diesem Fall existiert auch ein Minimum, wie wir später sehen werden Wir werden in dieser Vorlesung stets den Begriff min benutzen, ohne vorauszusetzen, daß das Minimum auch tatsächlich existiert oder angenommen wird Mathematisch korrekt wäre die Bezeichnung inf, die sich aber in der Optimierungsliteratur nicht durchgesetzt hat Wir wollen uns zunächst mit der Form der zulässigen Menge eines linearen Programms beschäftigen Wir nennen dazu den Schnitt von endlich vielen Halbräumen (der Form {x a T j x b j} mit festen Vektoren a j und reellen Zahlen b j ) und endlich vielen Hyperebenen (der Form {x ã T j x = b j }) ein Polyeder Offenbar ist ein Polyeder nicht immer beschränkt Da eine Hyperebene auch als Schnitt zweier Halbräume {x a T j x b j} und {x a T j x b j} dargestellt werden kann, läßt sich obige Definition eines Polyeders auf den Schnitt von endlich vielen Halbräumen reduzieren Die Menge P aus (2) ist also ein Polyeder in diesem Sinne, das durch Gleichungen und besonders einfache Ungleichungen beschrieben wird Eine Menge M heißt konvex, falls für alle x, y M und λ [0, 1] stets folgt λx + (1 λ)y M Anschaulich gesprochen muß mit x und y auch stets die Verbindungsstrecke zwischen x und y in M liegen Eine Funktion f : M IR heißt konvex, falls M konvex ist und falls für alle x, y M und λ [0, 1] stets folgt f(λx + (1 λ)y) λf(x) + (1 λ)f(y) Anschaulich gesprochen verläuft f unterhalb der Sekante, die durch (x, f(x)) und (y, f(y)) geht Der Schnitt von konvexen Mengen ist offenbar wieder konvex: Lemma 11 Seien M i konvexe Mengen für alle i aus einer beliebig gegebenen Indexmenge I Dann ist auch M := i I M i konvex Der Beweis ist simpel Sei λ [0, 1] Für x, y M folgt x, y M i für alle i I und aus der Konvexität der M i daß λx + (1 λy) M i für alle i I Also λx + (1 λy) M # Als Korollar erhalten wir, daß jedes Polyeder konvex ist (In der Tat ist sofort einzusehen, daß ein Halbraum konvex ist, und damit folgt aus dem Lemma die Behauptung) Der zulässige Bereich P in (2) ist also ein konvexes Polyeder Ein Polyeder im IR 1 ist ein abgeschlossenes Intervall, und auch im IR 2 oder IR 3 können wir uns leicht ein Polyeder vorstellen Zwei einfache Beispiele von Polyedern der Form P (2) folgen unten 9

10 x 3 p 3 p 2 x 2 p 1 x 1 P p 2 p 3 p 1 Oben sehen wir links die Hyperebene a T x = 1 mit a T = (1, 1, 1) geschnitten mit dem positiven Orthanten des IR 3 als schattierte Fläche perspektivisch dargestellt Legen wir die Zeichenebene in die affine Manigfaltigkeit a T x = 1, so hat der zulässige Bereich P die Form wie oben rechts gezeigt Die Ecken entsprechen dabei den Punkten in der Hyperebene, die durch x 1 = x 2 = 0 sowie x 1 = x 3 = 0 und x 2 = x 3 = 0 gegeben sind, die Kanten erfüllen x 1 = 0 oder x 2 = 0 oder x 3 = 0 10

11 x 3 p 1 p 1 p 2 P x 2 p 2 x 1 ( ) In diesem Beispiel ist b = (4, 1) T, A = und der zulässige Bereich P ist eindimensional Obwohl die Form von P in (2) sehr speziell aussehen mag (es treten nur Halbräume der Form x 0 und Hyperebenen auf), lassen sich beliebige 2- oder höherdimensionale Polyeder in der Form {x IR n Ax = b, x 0} darstellen Der Würfel im IR 3 läßt sich zb als Polyeder der Form P im IR 6 darstellen Dazu wähle man zunächst n = 6 und A = und b = Die erste Zeile von (A, b) besagt dann, daß x 1 1 gilt Wegen x 0 ist natürlich auch insbesondere x 1 0 Analog interpretiert man die zweite und dritte Zeile von A Insgesamt ist damit der (x 1, x 2, x 3 )-Anteil der zulässigen Menge genau der Einheitswürfel im IR 3 Ein Polyeder in einem höher dimensionalen Raum ist schwieriger vorstellbar, aber der Schnitt eines hochdimensionalen Polyeders mit einem 2- bzw 3-dimensionalen affinen Teilraum liefert wieder ein 2- bzw 3-dimensionales Polyeder (nach Definition) Wir wollen nun noch die Ecken eines Polyeders M (das nicht unbedingt die spezielle Form von P aus (2) zu haben braucht) charakterisieren Ein Punkt a M heißt Ecke oder Extremalpunkt, falls mit x, y M und λ (0, 1) aus a = λx + (1 λ)y stets a = x = y folgt Anschaulich besagt diese Definition, daß a sich nicht als echte Konvexkombination (mit λ 1 und λ 0) verschiedener Punkte x und y in M darstellen läßt 11

12 Die Idee des Simplexverfahrens aus dem nächsten Abschnitt zur Lösung eines linearen Programmes ist die, die Eckpunkte des zulässigen Polyeders in einer geeigneten Weise nach der optimalen Ecke abzusuchen Dabei enthält ein Polyeder P der Form (2) wegen der Bedingung x 0 mindestens eine Ecke, sofern P nicht leer ist (Beweis: Übung) Lösungsskizze: Offenbar enthält P wegen x 0 keine Gerade Sei p P Falls p kein Extremalpunkt ist, gibt es eine Richtung h 0, so daß p ± h P Man laufe in Richtung p + λh so lange, bis man für λ > 0 oder λ < 0 an den Rand von P stößt Der Randpunkt sei p Dann ist entweder p eine Ecke oder obiger Vorgang läßt sich in p mit einer von h linear unabhängigen Richtung h wiederholen Nach n Wiederholungen gibt es keine linear unabhängigen Richtungen mehr, dh man muß spätestens dann eine Ecke gefunden haben (Man zeige auch die Umkehrung falls P eine Ecke hat, so enhält es keine Gerade ) Da die Zielfunktion linear ist, gibt es weiterhin mindestens eine Ecke, die Optimallösung ist, sofern es überhaupt Optimallösungen gibt Es kann auch eine Kante oder Seitenfläche optimal sein, aber diese enthält dann stets eine optimale Ecke (Der Beweis dazu wird im nächsten Abschnitt erbracht) 12 Die Simplexmethode Die Simplexmethode läßt sich folgendermaßen grob beschreiben: 1 Finde eine Ecke in P 2 Gehe entlang einer absteigenden Kante (entlang welcher c T x kleiner wird) zu einer benachbarten Ecke 3 Wiederhole Schritt 2 so lange, bis es keine absteigende Kante mehr gibt Diese Darstellung der Simplexmethode ist noch etwas zu einfach und dient im folgenden nur als Bild bei der exakten Formulierung der Methode Zur Vorbereitung führen wir noch folgende Terminologie ein Sei A = (a 1,, a n ) irgendeine m n-matrix mit den Spalten a i, N := {1,, n} und = (j 1, j 2,, j k ) ein Indexvektor der Länge = k bestehend aus paarweise verschiedenen Indices j i mit j i N für 1 i k Dann bezeichnet A := (a j1, a j2,, a jk ) die m k-matrix, die aus den Spalten von A besteht, deren Indizes zu gehören Wir sagen, daß die Indexvektoren und K komplementär sind, wenn + K = N = n und jeder Index i N entweder in oder in K vorkommt Wir schreiben dann auch K = N Ebenso bezeichnen wir für einen Vektor x IR n mit x den Teilvektor Für K = N gilt dann die Formel x := (x j1, x j2,, x jk ) T Ax = A x + A K x K Ein Indexvektor heißt Basis von A, falls = m und A regulär ist, die Variablen x jk, k = 1,, m, heißen Basisvariable Ein zu einer Basis komplementärer Indexvektor K, K = N heißt Nichtbasis und die zu K gehörigen Variablen Nichtbasisvariable Für viele Zwecke ist folgende laxe Schreibweise = (x j1, x j2,, x jk ) für = (j 1,, j k ) bequem, in der man die Spaltenindices der Matrix durch den Namen der Variablen ersetzt, 12

13 die diesen Spalten entsprechen Diese Schreibweise erlaubt es, auf suggestive Weise Teilmatrizen von zusammengesetzten Matrizen [A, B] zu bezeichnen: Gilt etwa ( ) x [A, B] = Ax + By, y so bezeichnet [A, B] für = (x i1,, x ik, y j1,, y jl ) die Teilmatrix [a i1,, a ik, b j1,, b jl ] Sei nun Ax = b ein (unterbestimmtes) lineares Gleichungssystem und Basis von A und K = N Wir können dann festhalten und setzen b := A 1 b = Ax = A x + A K x K A 1 b = A 1 b, Ā := A 1A Natürlich ist dann Ā = A 1 A = I, Ā K = A 1 A K, Ax = x + A 1 A Kx K (3) und wegen (3) besitzen die linearen Gleichungssysteme Ax = b und Āx = b die gleichen Lösungen Wir nennen ein Paar (, [Ā, b]) Tableau, falls Ā = I Insbesondere haben wir mittels einer Basis von A dem Gleichungssystem Ax = b das Tableau (, [Ā, b]) zugeordnet, [Ā, b] = A 1 (A, b) Weiter sehen wir wegen Ax = b Āx = b x + ĀKx K = b, daß zu jedem Vektor y IR K =n m genau eine Lösung x von Ax = b zugeordnet ist, nämlich der Vektor x mit x K := y, x = b ĀKy Die dem Vektor y = 0 zugeordnete Lösung x = x(), x := b, x K := 0 heißt Basislösung zur Basis heißt zulässige Basis des linearen Programms (P ) wenn x() eine zulässige Lösung von (P ) ist, also x() P, dh x 0 gilt Beispiel: Die Matrix A des linearen Gleichungssystems Ax besitzt = (1, 4) als Basis, denn es existiert x ( ) 1 ( ) x x 3 = b 2 x 4 A 1 = ( ) = 1 1 ( ) 1 2, 1 1 und K = (2, 3) ist Nichtbasis (Beachte, daß die Indizes in oder auch in K nicht in aufsteigender Reihenfolge angeordnet sein müssen) Das zugehörige Tableau ist (( ) [ ]) ,, aus dem man die Basislösung x() = ( 3, 0, 0, 1) T ablesen kann ist keine zulässige Basis, wohl aber := (3, 2) wegen x( ) = (0, 2, 1, 0) T 0 (Nachrechnen!) Beachte, daß = (2, 3) die gleiche Basislösung wie besitzt, x( ) = x( ) Die Simplexmethode soll im folgenden anhand eines speziellen Formats für lineare Programme erklärt werden, der sogenannten Simplexform (P ) Dieses Format erlaubt eine 13

14 besonders einfache Darstellung der Simplexmethode Grundsätzlich ist die Simplexmethode jedoch nicht an ein spezielles Format des linearen Programms gebunden Wir betrachten zunächst ein Programm der Form (P ) min { c T x Ax = b, } x 0 (4) mit der Menge der zulässigen Lösungen P := {x Ax = b, x 0} Hierbei sei A IR m n und die Vektoren x, b, c, entsprechend dimensioniert Wir zeigen wie dieses Programm in die Simplexform ( ˆP ) überführt werden kann Dies geschieht durch Einführung einer weiteren Variablen z IR und einer weiteren linearen Gleichung c T x+z = 0 Damit ist die Minimierung von c T x auf P offenbar äquivalent zur Maximierung von z: max (x, z) : ( ) ( ) z ( ) A 0 x b c T =, x 0 1 z 0 definieren wir die Matrix  und die Vektoren ˆb, ˆx durch ( ) ( ) ( ) A 0 b x  := c T, ˆb :=, ˆx :=, 1 0 z so erhalten wir mit ˆN = {1, 2,, n 1} das zu (4) äquivalente lineare Programm ( ) ( ˆP x ) max{ z ˆx =  = z ˆb, x 0 } Mit der zulässigen Menge ( ) x ˆP = {ˆx = z ˆx = ˆb, x 0} In diesem linearen Programm ist z eine freie Variable, sie unterliegt keiner Vorzeichenbeschränkung Obige Umformung zeigt, daß es keine Einschränkung der Allgemeinheit bedeutet, nur lineare Programme der Form ( ˆP ) zu betrachten Wir nehmen in diesem Kapitel stets an, daß die Matrix A vollen Zeilenrang hat Dies läßt sich für lösbare Gleichungssysteme Ax = b durch Fortlassen von reduntanten Gleichungen aus Ax = b erreichen, die von den übrigen Gleichungen linear abhängen Man findet solche reduntanten Gleichungen zb durch Lösen von Ax = b mittels der Gauß-Elimination 1 mit Zeilenpivotsuche (einfache Übung) Dann besitzt auch  vollen Zeilenrang, rg(â) = m + 1, und wenn = (x j1,, x jm ), eine Basis von A ist, ist der erweiterte Indexvektor Ĵ = 1 Die Lösung eines linearen Programmes ist im allgemeinen schwieriger als die Lösung eines linearen Gleichungssystems oder linearen least squares Problems gleicher Dimension Wir können daher den Gauß- Algorithmus benutzen ohne vorab mit Kanonen auf Spatzen zu schießen, allerdings zerstört der Gauß- Algorithmus möglicherweise die dünne Struktur des Ausgangsproblems Wir halten auch ganz salopp fest, daß das einzig Schwierige am linearen Programm die Ungleichungen x i 0 sind Sobald bekannt ist, welche der x i im Optimum gleich Null sind und welche der Ungleichungen x i 0 überflüssig sind ist das lineare Programm äquivalent zu einem linearen Gleichungssystem 14

15 (x j1,, x jm, z) = (z) eine Basis von  und umgekehrt: Ist Ĵ = (z) eine erweiterte Basis von  mit z Ĵ, dann ist = Ĵ\z eine Basis von A Die Basislösungen ˆx(Ĵ) von ˆx = ˆb und x() von Ax = b hängen einfach zusammen: ( ) x() ˆx(Ĵ) = c T, x() so daß zulässige Basis von Ax = b aus (4) ist genau dann, wenn Ĵ = (z) eine zulässige Basis von ( ˆP ) ist Die Ecken der zulässigen Polyeder von (4) bzw von (P ) hängen eng mit Basislösungen zusammen Satz 12 a) Der Vektor x ( ist Ecke ) von P := {x Ax = b, ( x ) 0} genau dann wenn der x erweiterte Vektor ˆ x := c T Ecke von x ˆP x = {ˆx = z ˆx = ˆb, x 0} ist b) Zu jeder Ecke x von P gibt es eine zulässige Basis, so daß x = x() Basislösung von Ax = b zur Basis ist und umgekehrt: ede zulässige Basislösung x() zu einer Basis ( von ) Ax = b ist eine Ecke von P Wegen a) ist dann der erweiterte Vektor x ˆ x = c T Basislösung von x ˆx = ˆb zur zulässigen erweiterten Basis Ĵ = z Bevor wir den Satz beweisen, merken wir an, daß eine Ecke Basislösung zu verschiedenen Basen sein kann Betrachte zum Beispiel das System x 1 0, x 2 0, x 3 0 und Ax = b mit ( ) ( ) A =, b = Die zulässige Menge ist die Winkelhalbierende zwischen x 1 und x 2 um eine Einheit parallel zur x 3 -Achse nach oben verschoben Der einzige Extremalpunkt v ist offenbar ( der Punkt ) 1 0 (0, 0, 1) T Zulässige Basen sind = (1, 3) mit A = I und = (2, 3) mit A = 0 1 Der Grund für die Nichteindeutigkeit der Basis zur Ecke v ist, daß es zu viele aktive dh mit Gleichheit erfüllte Ungleichungen x i 0 in v gibt Zum Beispiel ist v eindeutig durch den Schnitt der aktiven Bedingung x 2 = 0 und Ax = b festgelegt In diesem Fall ist K = {2} und = {1, 3} Ebenso ist v aber auch eindeutig durch x 1 = 0 und Ax = b festgelegt, dh falls K = {1} und = {2, 3} ede der Nichtbasen K und K, bestehend aus den aktiven Ungleichungen x K = 0 bzw x K = 0, legen zusammen mit Ax = b dieselbe Ecke v eindeutig fest Wäre in v nicht nur x 3 > 0 sondern zb auch x 1 > 0, dann wäre der Nichtbasisanteil K eindeutig auf K = {2} festgelegt Allgemeiner folgt aus Satz 12: Falls x ji () = b i > 0 für alle i = 1,, n, so gehört in Ecke v = x() nur eine zulässige Basis (Aus K = n m und v K = x K = 0 ist K in dem Fall eindeutig bestimmt) Diese Beobachtung veranlaßt uns zu folgender Definition: Eine zulässige Basis von (P ) heißt nichtentartet, falls für die Basislösung x = x() gilt x > 0 (dh b > 0 im zugehörigen Tableau) (P ) heißt nichtentartet, falls alle zulässigen Basen nichtentartet sind, andernfalls heißt (P ) entartet Bemerkung: Würfelt man die rechte Seite b zu einer gegebenen Matrix A (mit einer stetigen Wahrscheinlichkeitsverteilung) zufällig aus, so ist die Wahrscheinlichkeit, daß das entstandene lineare Programm in obigem Sinne entartet ist, Null Von daher ist man leicht versucht, den Entartungsfall als irrelevanten Fall auszulassen, und sich auf die Lösung der 15

16 wichtigeren nichtentarteten Probleme zu konzentrieren Allerdings werden in den Anwendungen die linearen Programme nicht ausgewürfelt Zum einen entstehen sie aus Generatorprogrammen wie in dem Beispiel von Delta Airlines in der Einleitung und enthalten viele Redundanzen, die zu Entartung führen Zum anderen sind auch die Programme, die zb als Unterprobleme in der kombinatorischen Optimierung entstehen, typischerweise stark entartet (dh enthalten viele Komponenten j i mit x ji = 0 für die Basislösung x = x()) Als Faustregel gilt, daß die meisten der in der Praxis zu lösenden linearen Programme entartet sind Wir ziehen daher den Entartungsfall in unsere weiteren Überlegungen mit ein Zunächst beweisen wir Satz 12: Beweis von Satz 12: Teil a) folgt sofort aus der Äquivalenz } x = λy + (1 λ)z ˆx = x, y, z P ( ) ( ) x y ĉ T = λ x ĉ T y = λŷ + (1 λ)ẑ ˆx, ŷ, ẑ ˆP ( ) z + (1 λ) ĉ T z Zum Beweis von Teil b) sei x Extremalpunkt von P Es genügt zu zeigen, daß die Spalten von A, die zu nichtaktiven Variablen x i gehören, dh mit i S( x) := {l N x l > 0} linear unabhängig sind, also entweder selbst eine Basis bilden oder durch weitere ĩ zu einer Basis ergänzt werden können Als Widerspruchsannahme seien die Spalten {a i } i S( x) linear abhängig, dh es gebe einen von Null verschiedenen Vektor λ mit i S(x) λ i a i = 0 Wir definieren den (von Null verschiedenen) Vektor z IR n durch z i := { λi falls i S(x) 0 sonst Offenbar ist Az = 0 und somit A(x ± ɛz) = Ax ± ɛaz = b für alle ɛ IR Weiter gibt es ein ɛ > 0, für das ˆx ± ɛz ˆN 0 gilt Denn für i S(ˆx) und i ˆN ist ˆx i > 0, und für i S(ˆx) ist z i = 0 Also ist x ± ɛz P Nun ist aber ˆx = 1 2 ((ˆx + ɛz) + (ˆx ɛz)) ein Widerspruch zur Extremalpunkteigenschaft von ˆx Zu jedem Extremalpunkt gibt es also (mindestens) eine zulässige Basis Sei andererseits eine zulässige Basis mit n und x = x() die zugehörige Basislösung Dann gilt x ˆN 0 Falls also x i > 0 ist, folgt i wegen x K = 0, und somit S(x) Wir nehmen nun x = λy + (1 λ)z mit y, z P und λ (0, 1) an, und zeigen x = y = z Für i S(x) folgt i ˆN und x i = 0 Also folgt 0 = x i = λy i + (1 λ)z i, und da λ und (1 λ) positiv sind, und y i und z i nichtnegativ sind (denn y und z liegen in P ), müssen y i = z i = 0 sein Für i S(x) erhalten wir damit aus 0 = b b = Ay Az = A(y z) = i S(x) a i (y i z i ) und der linearen Unabhängigkeit der {a i } i S(x) {a i } i die gewünschte Beziehung y i = z i Also ist x = x() ein Extremalpunkt # 16

17 Der Satz 12 besagt, daß man alle Ecken eines Polyeders durch zugehörige zulässige Basen beschreiben kann Dabei hängt die Ecke stets eindeutig von der Basis ab, aber eine entartete Ecke kann mehrere zulässige Basen haben (Der Fall, daß eine entartete Ecke ( nur eine zulässige Basis hat, ist auch möglich, zb in x 1 0, x 2 0, x 3 IR und A = und ) ( ) b = ) Die Eckeneigenschaft einer zulässigen Basislösung ist für unsere bildliche Vor- 1 stellung der Simplexmethode sehr hilfreich, nicht aber zur Darstellung einer Ecke mit dem Computer Im Computer werden wir die Ecken durch zugehörige zulässige Basen darstellen Die Möglichkeit der Entartung veranlaßt uns nun zu einer kleinen Änderung der eingangs gegebenen Grobbeschreibung der Simplexmethode Genaugenommen läuft die Simplexmethode nicht von einer Ecke zu einer benachbarten Ecke, sondern von einer zulässigen Basis zu einer benachbarten zulässigen Basis Falls das lineare Programm (P ) nichtentartet ist, entspricht dies wie angegeben tatsächlich dem Wechsel zu einer anderen (benachbarten) Ecke Falls die aktuelle Ecke aber entartet ist, kann, wie wir unten sehen werden, ein Schritt der Länge Null vorkommen, dh das Verfahren bleibt auf derselben Ecke und stellt diese lediglich durch eine andere Basis dar Wir leiten nun die mathematische Beschreibung der Simplexmethode her und fangen mit einer Definition an Zwei (für (P ) nicht unbedingt zulässige) Basen und von Ax = b heißen benachbart, falls sie sich durch genau zwei Indizes unterscheiden, dh wenn es s und q in N gibt, so daß q, s und = ( {s})\{q} Zum Beispiel sind = (i 1,, i r 1, i r, i r+1,, i m ), mit s und = (i 1,, i r 1, s, i r+1,, i m ) benachbart Es gilt folgender Satz: Satz 13 Sei = (i 1, i 2,, i m ) eine Basis von Ax = b und sei s Sei [, (Ā, b)] das zugehörige Tableau und ā := (α 1,, α m ) T := A 1 a s die s-te Spalte von Ā Dann ist = (i 1,, i r 1, s, i r+1,, i m ) eine Nachbarbasis von genau dann wenn α r 0 In dem Fall ist das zu gehörige Tableau [, (Ā, b )] gegeben durch (Ā, b ) = F (Ā, b) mit F := 1 α 1 /α r 1 α r 1 /α r 1/α r α r+1 /α r 1 α m /α r 1 und F 1 = G := Ā = 1 α 1 1 α r 1 α r α r+1 1 α m 1 Beweis: Offenbar sind die Lösungen x der Systeme Ax = b und F Ax = F b die gleichen, sofern F regulär ist Daß für die Matrix F tatsächlich F 1 = G gilt, sieht man sofort durch 17

18 Einsetzen Weiter erkennen wir, daß A 1 = (a i1,, a ir 1, a s, a ir+1,, a im ) 1 = [A (e 1,, e r 1, A 1 a s, e r+1,, e m )] 1 = [A G] 1 = G 1 A 1 = F A 1 exisitiert, genau dann wenn α r 0 Die Aussage zur Form des Nachbartableaus ergibt sich dann direkt aus (Ā, b ) = A 1 (A, b) = F A 1 (A, b) = F (Ā, b) # Bemerkung: Um den Teil Ā K mithilfe von F aus Ā zu berechnen benötigt man m(n m 1) Multiplikationen und Additionen, die Berechnung von F erfordert m Multiplikationen und Additionen sowie eine Division (nämlich die Berechnung von tmp := 1/α r ; die übrigen Elemente ergeben sich dann durch je eine Multiplikation mit tmp) Der Teil Ā = I braucht nicht berechnet zu werden Nach diesen Vorüberlegungen soll nun die Ausführung der Simplexmethode besprochen werden: 13 Durchführung der Simplexmethode Wir betrachten das Programm (P ) max{ x n Ax = b, x ˆN 0 } mit ˆN = {1, 2,, n 1} Sei = (i 1,, i m 1, n) eine zulässige Basis Betrachte die m-te Gleichung von Āx = b: bm = e T m b = e T m(āx) = et māx + e T mākx K = x n + e T ma 1 A Kx K Wir bezeichnen den Zeilenvektor e T ma 1 A K mit c T K (Das ist der K-Anteil der letzten Zeile von Ā) In der Literatur wird c K auch als Vektor der reduzierten Kosten bezeichnet Beachte nun, daß für die zugehörige Basislösung x K = 0 gilt, dh x n = b m Die Bedingung x ˆN 0 legt nahe zu versuchen, eine Komponente von x K so zu vergrößern, daß x n dabei gleichzeitig auch größer wird Dies geschieht aufgrund obiger Gleichung offenbar dann, wenn es gelingt, eine der Komponenten x s aus K zu vergrößern, für die c s < 0 gilt, und alle übrigen Komponenten in K bei Null festzuhalten Bei diesem Vorgang sollen die linearen Gleichungen Ax = b durch gleichzeitige Änderung von x bewahrt werden Konkret unterscheiden wir zwei Fälle: a) c k 0 für alle k K b) Es gibt ein s K mit c s < 0 Behauptung: Im Fall a) ist die Basislösung x = x() Optimallösung von (P ) Beweis: Sei x eine beliebige zulässige Lösung, dann ist x ˆN 0 und Ā x = b Aus x n = b m = e T mā x = x n + c T K x }{{} }{{} K 0 0 folgt x n x n, dh kein zulässiger Punkt x hat einen besseren Zielfunktionswert x n oder anders ausgedrückt, x = x() ist ein Optimalpunkt # 18

19 Im Fall b) sei s eine Komponente mit c s < 0 Mit ā := (α 1,, α m ) T := A 1 a s bezeichnen wir die s-te Spalte von Ā (Dann ist c s = α m ) Wir lesen jetzt am Tableau ab, wie x s anwachsen kann, während die anderen Komponeneten in K bei Null bleiben und x passend gewählt wird Dazu definieren wir den Strahl x(θ) für θ 0 wie folgt: Mit dieser Definition gilt x s (θ) = θ, x K\{s} (θ) = 0, und x (θ) = b θā Āx(θ) = Āx (θ) + ĀKx K (θ) = b θā + θā = b und x(θ = 0) = x() Nun ist θ lediglich so zu wählen, daß x ˆN(θ) 0 gilt Wir unterscheiden dabei wieder zwei Fälle: i) α j 0 für alle j mit 1 j m 1 ii) Es gibt ein r mit α r > 0 und 1 r m 1 Beobachtung: Im Fall i) ist x(θ) für alle θ 0 zulässig, da die Nichtnegativitätsbedingung für wachsendes θ nie verletzt wird Es gibt dann auch keine endliche Optimallösung, da die Zielfunktion x n für wachsendes θ beliebig groß wird Im Fall ii) setzen wir θ := max { θ b j θα j 0 für alle j aus {1, 2,, m 1} } { } bj = min α j > 0 < 1 j m 1 α j Wir wählen dann ein r aus {1, 2,, m 1} mit α r > 0, für welches das Minimum b r /α r = θ angenommen wird und führen einen Simplexschritt := (\{i r }) {s} durch, dh wir setzen = (i 1, i 2,, i r 1, s, i r+1,, i m ) Es gilt x k ( θ) = 0 für k K Dies ist für k K\{s} nach Definition ersichtlich Für k = i r folgt dies aus der Wahl von θ = b r /α r und x ir (θ) = b r θα r Da auch Ax( θ) = b, ist x( θ) die zu gehörige Basislösung (letztere ist eindeutig!) Nach Konstruktion ist zulässige Nachbarbasis von und x n ( ) x n (), und Gleichheit kann nur auftreten, falls die zu gehörige Ecke entartet ist (Ansonsten ist θ > 0) Geometrische Interpretation: Der Schnitt der aktiven Hyperebenen in K bestimmt die Basislösung zu (eine Ecke in P) eindeutig Die Wahl von s mit c s < 0 entspricht der Wahl einer Hyperebene, die losgelassen wird Falls die Ecke nichtentartet ist, entspricht dem Schnitt der bleibenden aktiven Hyperebenen in K\{s} mit der affinen Mannigfaltigkeit {x Ax = b} eine Kante von P Diese ist wegen c s < 0 eine Anstiegsrichtung für x n Die Nachbarbasis ist dann eine Basis zur Ecke am anderen (höher gelegenen) Ende dieser Kante, die zugehörige Basislösung ist die entsprechende Ecke Wir fassen nun einen Simplexschritt zusammen: 19

20 Simplexschritt Start: Sei = (i 1,, i m ) eine zulässige Basis von (P ) mit i m = n, und K so, daß K = N = {1, 2,, n} Sei ferner das zugehörige Tableau [, (Ā, b)] gegeben 1) Setze c K = e T māk und x = x() mittels x = b, x K = 0 2) Prüfe ob c k 0 für alle k K a) Falls ja STOP, x = x() ist Optimallösung von (P ) b) Sonst wähle s K mit c s < 0 ( Pivotschritt ) 3) Setze ā = (α 1,, α m ) T = ā s die s-te Spalte von Ā 4) Falls α 1 0,, α m 1 0: STOP, der Optimalwert ist unendlich groß 5) Sonst wähle r {1,, m 1} mit α r > 0 und b r α r 6) Setze = (i 1,, i r 1, s, i r+1,, i m ) und (Ā, b ) = F (Ā, b) STOP, ist Nachbarbasis, und [, (Ā, b )] das zugehörige Tableau = min 1 j m 1 { b j α j α j > 0} Beispiel: Wir betrachten das Diätproblem (1) Durch Einführung der Schlupfvariablen x 3, x 4, x 5 0 werden die drei Ungleichungen zunächst in Gleichungen umgewandelt, (aus 20x x 2 60 wird zb 20x x 2 x 3 = 60, x 3 0 ) Dann führen wir die Variable x 6 für die Zielfunktion ein Als Matrix [A, b] der Form (P ) erhalten wir Aus dem Bild zu (1) lesen wir ab, daß der Punkt (4, 0) T eine zulässige Ecke des Ausgangsproblems ist Das entspricht der Nichtbasis x 2 = 0 und x 5 = 0 wobei x 5 die Schlupfvariable zur 3 Ungleichung in (1) ist Wir legen also = (1, 3, 4, 6) fest und erhalten als Tableau A 1 = , und (, [Ā, b]) = 4, Wir sehen zunächst wie erwartet, daß die Komponenten 1 bis ˆm = 3 der letzten Spalte b im Tableau nichtnegativ sind, die Basis also zulässig ist Die Komponente b1 = 4 liefert zusammen mit x 2 = 0 (wegen 2 K) die Koordinaten des Punktes (4, 0) T im IR 2 Die zweite und dritte Komponente von b geben an wieviel slack den Punkt (4, 0) T von der ersten bzw von der zweiten Nebenbedingung trennt Der slack hängt von der Formulierung der Nebenbedingung ab Anstelle von 20x x 2 60 kann man die erste Nebenbedingung ja äquivalent als x 1 + x 2 3 schreiben, in dieser Form verkleinert sich natürlich auch der slack um einen Faktor 20 Als Pivotspalte kommt nur die Spalte s = 2 in Frage, alle anderen Komponenten von c K (dh die Komponente 5) sind positiv Die Elemente 1 bis ˆm = 3 der Spalte s sind alle positiv, durch Bildung der Quotienten sehen wir, daß als Pivot nur der Index r = 2 in Frage kommt, ( 4 2 > < ) Das r = 2-te Basiselement ist die Komponente 3, diese verläßt die Basis, und wird gegen die Komponente s = 2 ausgetauscht Für die nächste Basis ergibt sich = (1, 2, 4, 6) Der Update von A 1 mithilfe der Frobeniusmatrix F aus Satz 13 ist in diesem einfachen 20

21 Beispiel fast so aufwendig wie die Neuberechnung Das resultierende Tableau ist (, [Ā, b ]) = 4, Die Koordinaten der zugehörigen Basislösung von (1) im IR 2 sind aus den ersten beiden Komponenten von b ablesbar, (x 1 ( ), x 2 ( )) = (2, 1) Laut Skizze ist dies tatsächlich die dem Startpunkt benachbarte Ecke An diesem Tableau lesen wir weiter ab, daß sich der Zielfunktionswert auf 27 verbessert hat Als Pivotspalte kommt diesmal s = 5 in Frage, welches in die Basis aufgenommen wird, und wegen 2 02 > verläßt das r = 3- te Basiselement (die Komponente 4) dafür die Basis Im nächsten Schritt wird dann die Optimalität der so neu entstandenen Basis festgestellt Allgemeine Simplexmethode Gegeben sei eine zulässige Basis = 0 und das zugehörige Tableau [, (A, b)] Wiederhole den Simplexschritt so lange, bis das Verfahren an der Stelle 2a) oder 4) des Simplexschritts hält Bemerkung: Die Wahl der Pivotelemente in Schritt 2b) und 5) des Simplexschritts ist hier nicht näher festgelegt, daher der Name allgemeine Simplexmethode Die hier vorgestellte Methode ist in der sogenannten klassischen Tableauform Beachte, daß die Matrix A 1 gar nicht benötigt wird, sofern das Ausgangstableau bekannt ist Unabhängig von der Pivotwahl gilt folgender Satz: Satz 14 Falls (P ) nicht entartet ist, erzeugt die allgemeine Simplexmethode eine Folge von Basen l für l = 0, 1, 2,, deren zugehörige Basislösungen die Beziehung x n ( l ) > x n ( l 1 ) erfüllen Außerdem bricht die allgemeine Simplexmethode nach endlich vielen Schritten an der Stelle 2a) oder 4) eines Simplexschrittes ab und liefert entweder eine Optimallösung oder die Auskunft, daß es keine endliche Optimallösung gibt Der Beweis folgt im wesentlichen aus der Herleitung oben: Wenn (P ) nichtentartet ist, ist nach Definition x () = b > 0 für alle zulässigen Basen Dann ist auch θ > 0 und wegen c s < 0 ist die n-te Komponente x n ( l ) > x n ( l 1 ) streng monoton wachsend Dadurch ist ausgeschlossen, daß eine Basis in der Folge { l } l zwei mal vorkommt ((denn) dann wäre die n n-te Komponente der Basislösung die gleiche) Es gibt aber maximal verschiedene m ( ) n m-elementige Teilmengen von N, und daher höchstens verschiedene Basen Somit m hält die Simplexmethode spätestens dann, wenn alle Basen durchlaufen sind (In der Praxis durchläuft die Simplexmethode oft nur wenige Basen, n oder n 2 Basen vielleicht, selten aber deutlich mehr Basen) Bemerkung: Die Simplexmethode läßt sich auch auf Probleme im allgemeineren Simplexformat anwenden, das sich darin von dem Format (P ) unterscheidet, daß ˆN eine echte Teilmenge von {1, 2,, n 1} ist (und x n die zu maximierende Variable ist) In dem Fall können Komponenten s N\ ˆN in die Basis aufgenommen werden, wenn c s 0 gilt Falls 21

22 c s > 0, so ist dann x (θ) = x () + θā s, ansonsten ist x (θ) = x () θā s wie gehabt Komponenten i N\ ˆN werden bei der Berechnung von θ nicht berücksichtigt, dh sie verlassen die Basis nie, sofern sie einmal in die Basis aufgenommen wurden Falls ˆN eine echte Teilmenge von {1,, n 1} ist, so ist die Beziehung zwischen zulässigen Basen von (P ) und Ecken des Polyeders P von (P ) etwas komplizierter als in Satz 12 So kann in diesem Fall zb P eine Gerade enthalten, und dann hat P, wie man leicht sieht, keine Ecken Übung: Wegen ˆx 0 enthält das zulässige Polyeder P aus (4) offenbar keine Gerade Man zeige, daß auch das zulässige Polyeder P von (P ) keine Gerade enthält Bemerkung: Für entartete Probleme ist Satz 14 leider falsch Die Methode kann zyklen, dh der Fall l l+1 l+ν = l kann tatsächlich auftreten, und die Simplexmethode läuft dann unendlich lang im Kreis, ohne die Optimallösung je zu erreichen (In der Praxis passiert so ein Zykeln eigentlich nie) Um diesen Fall sicher auszuschließen, wird nun die lexikographische Simplexmethode vorgestellt, bei der die Wahl von r an der Stelle 5) des Simplexschritts noch näher festgelegt wird (Als leichte Übung zeige man, daß r im Nichtentartungsfall sowieso eindeutig ist) 131 Die lexikographische Simplexmethode In diesem Abschnitt wird die allgemeine Simplexmethode soweit spezifiziert, daß auch im Entartungsfall die Aussage aus Satz 14 gilt Dazu benötigen wir folgende Definition: Ein Zeilenvektor u T IR n heißt lexikopositiv, falls u T = (0,, 0, u i, u i+1, u n ) mit i 1 und u i > 0, dh falls die erste von Null verschiedene Komponente positiv ist Wir schreiben dann auch u T > l 0 Weiter sei u T > l v T genau dann, wenn (u v) T > l 0 Sei [, (Ā, b)] ein Tableau mit einer zulässigen Basis von (P ) Wir numerieren die Variablen x 1,, x n so um, daß e T j ( b, Ā) > l 0 für 1 j m 1 Dies ist immer möglich; man permutiere zb x so, daß = {1,, m} ist Dann ist ( b, Ā) = ( b, I, ā m+1,, ā m ) und da zulässig ist, ist b j 0 für 1 j m 1 Das gleiche Argument gilt auch für = (1,, m 1, n), und wir setzen im folgenden wieder i m = n voraus Wir nennen das Tableau [, ( b, Ā)] lexikopositiv, falls die Zeilen 1 bis m 1 lexikopositiv sind, und schreiben kurz [, ( b, Ā)] > l 0 Die lexikographische Simplexmethode Sei = 0 eine zulässige Startbasis für (P ) mit [, ( b, Ā)] > l 0 Wir wählen an der Stelle 5) des allgemeinen Simplexschritts den Index r aus {1,, m 1} so, daß α r > 0 und e T r ( b, Ā) α r = min > l { e T j ( b, Ā) } j {1,, m 1}, α j > 0, α j in der allgemeinen Simplexme- was die Wahl b { } r bj α r = min α j j {1,, m 1}, α j > 0 thode nun näher festlegt Bemerkung: Die Bezeichnung min >l bezieht sich auf das Minimum bezüglich der lexikographischen Ordnung Diese Wahl von r in der lexikographischen Simplexmethode ist auch in der allgemeinen Simplexmethode erlaubt Nur falls gleichzeitig mehrere b j α j aktiv (= 0) werden, wird in der lexikographischen Simplexmethode die Wahl von r näher festgelegt Beachte, daß in der lexikographischen Ordnung das Minimum eindeutig ist, denn 22