Einführung in die Lineare Programmierung. Berthold Vöcking Lehrstuhl Informatik I Algorithmen & Komplexität RWTH Aachen

Transkript

1 Einführung in die Lineare Programmierung Berthold Vöcking Lehrstuhl Informatik I Algorithmen & Komplexität RWTH Aachen 30. Juli 2008

2 Inhaltsverzeichnis 1 Lineare Programme Die kanonische Form Geometrische Interpretation Die algebraische Gleichungsform Basislösungen Das Simplexverfahren Geometrische Beschreibung Durchführung der Pivotschritte Erläuterung eines Pivotschrittes Beispielrechung mit Simplextableau Komplexität einzelner Pivotschritte Berechnung der initialen Basislösung Besondere Aspekte degenerierter LPs Blands Pivotregel Perturbierung Symbolische Perturbierung Laufzeit der Simplexmethode

3 3 Die Ellipsoidmethode Zulässigkeitstest versus Optimieren Beweis von Lemma Beweis von Lemma Beschreibung der Ellipsoidmethode Skizze der Laufzeitanalyse Zusammenfassung Dualität Primale und duale LPs Das starke Dualitätsprinzip Zwei prominente Beispiele Aspekte der Ganzzahligkeit Ganzzahlige lineare Programme Totale Unimodularität Hilfreiche Literatur 51 2

4 Kapitel 1 Lineare Programme 1.1 Die kanonische Form Ein Lineares Programm (LP) in kanonischer Form besteht aus d Variablen mit Wertebereich R, einer linearen Zielfunktion und m + d linearen Nebenbedingungen (Constraints). Für i = 1,...,m und j = 1,...,d seien c j, b i und a ij reelle Zahlen. Gesucht ist eine Belegung der Variablen x 1,..., x d, so dass die Zielfunktion d c j x j j=1 maximiert wird unter den Nebenbedingungen d a ij x j b i (für i = 1,...,m) j=1 x j 0 (für j = 1,..., d). Letztere Bedingungen heißen Nicht-Negativitätsbedingungen. Setze x = (x j ), c = (c j ), b = (b i ) und A = (a ij ). Kurzgefasst, lässt sich ein derartiges LP dann wie folgt schreiben. Maximiere c T x unter Ax b, x 0. LPs in anderer Form können einfach in die kanonische Form gebracht werden: Ein Minimierungsproblem kann in ein Maximierungsproblem transformiert werden durch einen Vorzeichenwechsel in der Zielfunktion, d.h. c T x wird zu c T x. 3

5 Eine Gleichung a T x = b wird ersetzt durch zwei Ungleichungen a T x b und a T x b. Eine Ungleichung a T x b kann durch eine Ungleichung a T x b ersetzt werden. Eine möglicherweise negative Variable x R wird ersetzt durch den Ausdruck x x für zwei Variablen x 0 und x 0. Elementares Beispiel. Gegeben seien 1000 qm Gartenfläche, davon 600 qm für Anbau von Blumen geeignet. Der Erlös pro qm Blumen sei 100 Euro, der Erlös pro qm Gemüse 50 Euro. Bestimme eine Verteilung der Anbauflächen, die den Erlös maximiert. Das LP für dieses Problem lautet unter den Nebenbedingungen Kurzgefasst, lautet das LP: Maximiere (100, 50) Maximiere 100x x 2 ( x1 x 1 + x x 2 x x 1, x 2 0 ) unter ( )( x1 x 2 ) ( ) 1000, x Beispiel: Flussproblem. Gegeben sei ein Flussnetzwerk G = (V, E, q, s, c) mit Quelle q, Senke s und Kapazitätsfunktion c. Seien A(v) und E(v) die Ausgangs- bzw. Eingangskanten zum Knoten v V. Sei x e der Fluss auf Kante e E. Das entsprechende LP ist: Maximiere unter den Nebenbedingungen x e = e A(v) e E(v) e A(q) x e x e v V \ {q, s} x e c(e) e E x e 0 e E 4

6 Beispiel: Relaxiertes Rucksackproblem. Bei diesem Problem handelt es sich um eine Variante des bekannten Rucksackproblem mit teilbaren Objekten. Gegeben seien d Objekte mit Gewicht g i und Nutzen v i, 1 i d, sowie eine Gewichtsschranke G. Sei x i der Bruchteil von Objekt i, den wir einpacken. Die Zielfunktion lautet: Die Nebenbedingungen sind: Maximiere d g i x i G i=1 d v i x i i=1 x i 1 1 i d x i 0 1 i d 1.2 Geometrische Interpretation Der Lösungsraum von LPs lässt sich geometrisch darstellen. Eine Variablenbelegung x = (x 1,...,x d ) T entspricht einem Punkt im d-dimensionalen Raum R d. Jede Nebenbedingung a i x b i bzw. a i x b i definiert einen Halbraum. Die Grenze dieses Halbraumes ist die Hyperebene a i x = b i. Der Halbraum besteht aus den Punkten auf einer Seite dieser Hyperebene. Die Schnittmenge der Halbräume über alle Nebenbedingungen ist der Raum der zulässigen Lösungen. Ein LP wird als zulässig bezeichnet, wenn der Raum der zulässigen Lösungen nicht leer ist. Schnittmengen aus Halbräumen bilden ein sogenanntes Polyhedron. Der Raum der zulässigen Lösungen ist somit ein Polyhedron und wird auch als Lösungspolyhedron bezeichnet. Behauptung 1.1 (Konvexität des Lösungsraums) Die durch ein Polyhedron P beschriebene Punktmenge ist konvex, d.h., für jedes Punktepaar x, y P sind auch alle Punkte auf der Verbindungslinie zwischen x und y in P enthalten. l(x, y) = {λx + (1 λ)y λ [0, 1]} 5

7 Beweis: Ein Polyhedron ist die Schnittmenge von Halbräumen. Jeder einzelne dieser Halbräume ist konvex. Wir müssen also nur zeigen, dass die Schnittmenge von zwei konvexen Mengen A und B ebenfalls konvex ist. Seien x, y A B. Dann sind x, y A, so dass l(x, y) A. Zudem sind x, y B, so dass l(x, y) B. Also ist l(x, y) A B und somit ist A B konvex. Aus der Konvexität lässt sich folgern, dass ein lokales Optimum auch gleichzeitig ein globales Optimum ist, d.h., wenn x ein zulässiger Punkt ist, der die Zielfunktion nicht global maximiert, dann gibt es in der unmittelbaren Umgebung von x einen zulässigen Punkt y, der einen besseren Zielwert als x erreicht. Behauptung 1.2 (lokales Optimum = globales Optimum) Zu x P gebe es z P mit c T z > c T x. Dann existiert für jedes ɛ > 0 ein Punkt y P mit x y ɛ und c T y > c T x. Beweis: Da P konvex ist, liegt die Verbindungslinie l(x, z) zwischen x und z in P. Wähle einen beliebigen Punkt y l(x, z), y x, x y ɛ. Aus der Definition von l(x, z) ergibt sich, es gibt ein λ > 0, so dass y = λx + (1 λ)z. Somit folgt c T y = c T (λx + (1 λ)z) = λc T x + (1 λ)c T z > λc T x + (1 λ)c T x = c T x. Wenn also ein nicht-optimaler Lösungspunkt x P vorliegt, können wir den Lösungswert kontinuierlich verbessern, indem wir uns kontinuierlich in die Richtung einer beliebigen besseren Lösung z P bewegen. Unterräume und ihre Bedeutung. Eine Hyperebene im R d wird durch eine Gleichung α 1 x 1 + α 2 x 2 + α n x d = β 6

8 beschrieben, d.h. nur jeweils d 1 der d Variablen können frei gewählt werden und legen den Wert der verbleibenden Variable fest. Der durch eine Hyperebene beschriebene affine Unterraum hat deshalb die Dimension d 1. Der Unterraum, der durch die Schnittmenge von k vielen linear unabhängigen Hyperebenen entsteht, hat entsprechend die Dimension d k. Falls sich mehr als d der Nebenbedingungen in einem Punkt schneiden, so sagen wir das LP ist degeneriert. Wir werden an einigen Stellen die Annahme treffen, dass das LP nicht degeniert ist. Dadurch vereinfachen sich unsere Beschreibungen in vielerlei Hinsicht. Später werden wir zeigen, wie man ein degeneriertes LP in ein nichtdegeneriertes LP transformieren kann, ohne dabei die Zusammensetzung der optimalen Lösung zu verändern. Die Oberfläche eines Polyhedrons besteht aus sogenannten Facetten, die wie folgt definiert sind. Sei P ein Polyhedron und H eine Hyperebene, so dass P vollständig in einem der beiden durch H definierten Halbräume enthalten ist. Sei f = H P. Falls f, so ist f eine Facette von P. Facetten können von unterschiedlicher Dimension sein. Eine d 1 dimensionale Facette wird als Face bezeichnet. Ist P beispielsweise drei-dimensional, so entspricht ein Face einer Seitenfläche von P. Eine Kante entsteht aus dem Schnitt von d 1 vielen Hyperebenen und entspricht einer ein-dimensionalen Facette. Ein Knoten wird durch den Schnitt von d Hyperebenen definiert und entspricht einer Facette der Dimension 0. Zwei Knoten des Polyhedrons, die durch eine Kante verbunden sind, werden als benachbart bezeichnet. Wir beobachten, dass benachbarte Knoten sich genau bezüglich einer Hyperebene unterscheiden. Wenn P unbeschränkt ist, gibt es Kanten mit nur einem oder sogar keinem Endpunkt. Diese Kanten werden als unbeschränkte Kanten bezeichnet. Die Zielfunktion c T x gibt eine Richtung im R d an. Den Richtungsvektor c können wir z.b. in Form eines am Ursprung startenden, durch den Punkt c führenden Strahls visualisieren. Ein LP dessen Zielwert c T x durch die Nebenbedingungen nach oben beschränkt ist, wird als beschränktes LP bezeichnet. Andernfalls ist das LP unbeschränkt. Das Lösungspolyhedron P eines beschränkten LPs muss nur in Richtung des Zielvektors c beschränkt sein. In andere Richtungen (z.b. in Richung c) kann P durchaus unbeschränkt sein. Falls ein Polyhedron in alle Richtungen beschränkt ist, d.h. es gibt eine Kugel, die das Polyhedron umschließt, so wird es auch als Polytop bezeichnet. 7

9 Geometrische Bestimmung des Optimums. Wir betrachten ein beschränktes LP in kanonischer Form mit Zielfunktion c T x und Lösungspolyhedron P. Sei H eine Hyperebene, die zum Richtungsvektor c orthogonal ist. Wegen der Orthogonalität gibt es einen Wert t R mit der Eigenschaft H = {x R d c T x = t}. Alle Punkte auf H haben also den gleichen Zielwert t. H sei so gewählt, dass H P. Wir stellen uns nun vor, wir verschieben H unter Einhaltung dieser Invariante soweit wie möglich parallel in Richtung des Vektors c. Sei H die so erhaltene Hyperebene. Sei nun x ein beliebiger Punkt aus H P. x ist eine optimale Lösung des LPs. Wir beobachten, H P ist eine Facette von P. Jede Facette enthält mindestens einen Knoten von P, und somit gibt es mindestens einen optimalen Knoten, also einen Knoten, der den optimalen Zielwert annimmt. Beobachtung 1.3 Das Optimum eines zulässigen und beschränkten LPs wird an einem Knoten des Lösungpolyhedrons angenommen. Wir möchten darauf hinweisen, dass das hier beschriebene geometrische Verfahren zur Bestimmung des Optimums nur der Veranschaulichung dient. Es bleibt unklar, wie man dieses Verfahren effizient für höherdimensionale LPs auf dem Rechner umsetzen kann. 1.3 Die algebraische Gleichungsform Um das Lösungspolyhedron und seine Facetten auf dem Rechner abbilden zu können, benötigen wir eine geeignete Repräsentationsform. Dazu wechseln wir von der kanonischen Form in die folgende Gleichungsform: Maximiere c T x unter Ax = b, x 0. Die Anzahl der Variablen bezeichnen wir mit n, die Anzahl der Nebenbedingungen (ohne die Nichtnegativitätsbedingungen) mit m. Die Zeilen von A seien linear unabhängig, ansonsten könnten wir Zeilen entfernen, ohne das Gleichungssystem zu verändern. Somit gilt rang(a) = m n. 8

10 x 2 x 1 Abbildung 1.1: Lösungspolyhedron P beschrieben durch die Nebenbedingungen x 1 4, x 2 2, x 1 + x 2 1. LPs in der kanonischen Form können durch Hinzufügen von Schlupfvariablen in die Gleichungsform überführt werden: Aus der iten Nebenbedingung in Ungleichungsform d α ij x j b i entstehen die Nebenbedingungen j=1 d α ij x j + s i = b i und s i 0, j=1 wobei s i eine sogenannte Schlupfvariable ist. Falls wir in der kanonischen Form d Variablen haben, so hat die zugehörige Gleichungsform n = m+d Variablen. Beachte, für die Matrix A eines aus der kanonischen Form hergeleiteten LPs in Gleichungsform gilt zwangsläufig rang(a) = m, weil das Hinzügen der Schlupfvariablen dafür sorgt, dass die Zeilen von A linear unabhängig sind. Beispiel. Wir geben ein Beispiel für die Transformation von der kanonischen in die Gleichungsform. Seien x und y nicht-negative Variablen und das Lösungspolyhedron P sei durch die Nebenbedingungen x 1 4, x 2 2, x 1 + x 2 1 beschrieben. Abbildung 1.1 zeigt dieses Polyhedron. Für jede Bedingung fügen wir eine nichtnegative Schlupfvariable hinzu und erhalten die Gleichungen x 1 +x 3 = 4, x 2 +x 4 = 2, x 1 +x 2 +x 5 = 1. Der Lösungsraum P ist jetzt eine Teilmenge des R 5 0. Es gibt eine bijektive Abbildung zwischen den Punkten in P und P. Beispielsweise entspricht der Punkt (1, 2) dem Punkt (1, 2, 3, 0, 0). Dazu lösen wir einfach das Gleichungssystem 9

11 nach den Schlupfvariablen auf. x 3 = 4 x 1 x 4 = 2 x 2 x 5 = 1 + x 1 x 2 Beachte der Punkt (1, 2) ist ein Knoten von P: Die beiden Hyperebenen zu den Nebenbedingungen x 2 2 und x 1 +x 2 1 schneiden sich in diesem Punkt. Deshalb haben die Schlupfvariablen x 4 und x 5, die zu diesen beiden Nebenbedingungen gehören den Wert Basislösungen Wir gehen von einem LP in Gleichungsform aus. Sei B eine geordnete Auswahl von k 1 Spalten der m n Matrix A. Dann bezeichne A B die Teilmatrix von A, die nur aus den Spalten in B besteht. Mit B(i) (1 i k) bezeichnen wir den Index der iten Spalte in B, d.h. A B entsteht aus der Konkatenation der Spalten A B(1), A B(2),..., A B(k). Zu jeder Spalte aus A ist eine Variable und ein Koeffizient der Zielfunktion assoziiert. Die Teilvektoren aus denjenigen Variablen und Koeffizienten, die zu den Spalten in B assoziiert sind, werden mit x B bzw. c B bezeichnet. Sei nun B eine Spaltenauswahl der Kardinalität m. B wird dann als Basis von A bezeichnet, wenn die Vektoren in B linear unabhängig sind. In diesem Fall ist A B invertierbar. Mit N bezeichnen wir diejenigen Spalten von A, die nicht in B enthalten sind. Wir schreiben das Gleichungssystem Ax = b wie folgt um. A B x B + A N x N = b. (1.1) Wenn wir nun x N = 0 setzen, hat das verbleibende Gleichungssystem A B x B = b eine eindeutige Lösung, nämlich x B = A 1 B b. Die Lösung (x B, x N ) = (A 1 B b, 0) wird Basislösung zur Basis B genannt. Der Zielfunktionswert dieser Lösung ist c T B A 1 B b. In der kanonischen Form entsprechen die Basislösungen den Schnittpunkten von d Nebenbedingungshyperebenen. Dies kann man wie folgt einsehen. In einer Basislösung haben mindestens n m = d Variablen den Wert 0. Bei diesen Variablen handelt es sich entweder um Schlupfvariablen, deren zugehörige Nebenbedingung mit Gleichheit erfüllt ist, oder um Variablen aus der kanonischen Form, deren Nichtnegativitätsbedingung mit Gleichheit erfüllt ist. Somit sind also d Nebenbedingungen aus dem LP in kanonischer Form mit Gleichheit erfüllt, so dass die Basislösung dem Schnittpunkt der zugehörigen Hyperebenen entspricht. Die Basislösung ist zulässig, falls auch die m Basisvariablen nicht-negative Werte haben. In diesem Fall entspricht die Basislösung 10

12 einem Knoten des Lösungspolyhedrons der kanonischen Form. Falls eine der Basisvariablen den Wert Null annimmt schneiden sich mehr als d Hyperebenen in einem Punkt und das zugrundeliegende LP ist degeneriert. Beobachtung 1.4 Die Knoten des Lösungspolyhedrons zur kanonischen Form entsprechen den zulässigen Basislösungen in der Gleichungsform. Diese Basislösungen sind dadurch gekennzeichnet, dass alle Variablen nicht-negative Werte annehmen. Ist das LP nicht-degeneriert, so sind die Werte der Basisvariablen strikt positiv. 11

13 Kapitel 2 Das Simplexverfahren Das Simplexverfahren wurde 1951 von Dantzig vorgestellt. Es ist das in der Praxis wohl erfolgreichste Verfahren zur Lösung von LPs. Wir beginnen zunächst mit einer intuitiven, geometrischen Beschreibung des Verfahrens basierend auf der kanonischen Form. Anschließend wechseln wir zum Zwecke der formalen Beschreibung in die Gleichungsform. 2.1 Geometrische Beschreibung Gegeben sei ein nicht-degeneriertes, möglicherweise unbeschränktes LP mit Lösungspolyhedron P. Die Simplexmethode entspricht einer lokalen Suche auf den Knoten des Lösungspolyhedrons: Von einem beliebigen Knoten ausgehend wird nach einem Nachbarknoten mit besserem Zielwert gesucht, und von dort die Suche fortgesetzt, bis kein Nachbarknoten mit besserem Zielwert mehr existiert. Die Korrektheit der Simplexmethode basiert darauf, dass von jedem nicht-optimalen Knoten eine Kante ausgeht entlang derer sich der Zielwert erhöht, eine sogenannte verbessernde Kante. Diese Eigenschaft müssen wir noch formal nachweisen. Die Schritte des Simplexverfahrens können wie folgt zusammengefasst werden. 1. Bestimme einen beliebigen Knoten v von P. 2. Falls es keine verbessernde Kante inzident zu v gibt, dann ist v optimal, stopp. 3. Folge einer beliebigen verbessernden Kante e von v. Falls e unbeschränkt ist so ist das LP unbeschränkt, stopp. 4. Sei u der andere Endpunkt von e. Setze v = u. Gehe zurück zu Schritt 2. 12

14 Der Wechsel von einem Knoten zum anderem wird als Pivotschritt bezeichnet. Wir beschreiben im folgenden zunächst ausführlich, wie man diese Pivotschritte auf dem Rechner realisiert. Dazu werden die Knoten in Form von Basislösungen abgebildet. Erst nach der Erörterung der Pivotschritte erläutern wir, wie man die initiale Basislösung in Schritt 1 des Simplexverfahrens berechnet. Bei unserer Beschreibung gehen wir von einem nicht-degenerierten LP aus. Im Anschluss werden wir zeigen, wie man degenerierte LPs auf geeignete Art und Weise in nicht-degenerierte LPs transformieren kann. Als letztes erörtern wir die Laufzeit des Simplexverfahrens. 2.2 Durchführung der Pivotschritte Wir gehen nun davon aus, dass das LP in der Gleichungsform vorliegt. Wir vernachlässigen zunächst die Frage, wie wir eine zulässige Basislösung bestimmen können, und nehmen an, dass eine zulässige Basis B bekannt ist. Wir nutzen aus, dass die Basismatrix A B invertierbar ist. Wenn wir die Terme im Gleichungssystem Ax = b von links mit A 1 B multiplizieren, erhalten wir das äquivalente Gleichungssystem Âx = ˆb mit  = A 1 B A und ˆb = A 1 B b. Für die Basismatrix dieses Systems gilt ÂB = A 1 B A B = E m, wobei E m der m m Einheitsmatrix entspricht. Wenn eine zulässige Basis bekannt ist, können wir also das Gleichungssystem derart transformieren, dass die Basismatrix der Einheitsmatrix entspricht Erläuterung eines Pivotschrittes Wir gehen jetzt davon aus, dass das Gleichungssystem zu Beginn eines Pivotschritts in der Form Âx = ˆb vorliegt, wobei die Basismatrix ÂB der Einheitsmatrix E m entspricht. Unter dieser Annahme vereinfacht sich das Gleichungssystem (1.1) zu Wir lösen nach x B auf und erhalten x B + ÂNx N = ˆb. x B = ˆb ÂNx N. (2.1) In der Basislösung zu B gilt x N = 0, so dass sich x B = ˆb ergibt. Der Zielfunktionswert der Basislösung zu B ist somit c T Bˆb. Wenn wir von der Basislösung abweichen indem wir den Vektor x N verändern ergeben sich die Basisvariablen x B wie in Gleichung (2.1) beschrieben. Die Basisvariablen können somit als Funktion der Nichtbasisvariablen aufgefasst werden. Ebenso können wir den Zielfunktionswert als Funktion 13

15 von x N beschreiben. c T x = c T Bx B + c T Nx N = c T B (ˆb ÂNx N ) + c T N x N = c T Bˆb + (c T N ct BÂN)x N. (2.2) Der Vektor c T N ct BÂN wird als Vektor der reduzierten Kosten bezeichnet. Er enthält für jede Nichtbasisvariable einen Eintrag der beschreibt, wie sich der Zielfunktionswert in Abhängigkeit von dieser Variable verändert. Der Vektor der reduzierten Kosten liefert ein einfaches Kriterium um festzustellen, ob eine zulässige Basislösung optimal ist. Satz 2.1 (Optimalitätskriterium) Falls der Vektor der reduzierten Kosten zu einer Basis B keinen positiven Eintrag enthält, so ist B optimal. Beweis: Es gelte c T N ct BÂN 0. Wähle eine beliebige zulässige Lösung x. Wegen der Zulässigkeit von x gilt x 0 also insbesondere auch x N 0. Aus Gleichung 2.2 ergibt sich nun c T x x N = c T Bˆb + (c T N } {{ ct BÂN) }}{{} 0 0 c T Bˆb. Letzterer Wert ist aber der Zielfunktionswert der Basislösung zu B. Dieser Zielfunktionswert ist somit nicht kleiner als der Zielfunktionswert jeder anderen zulässigen Lösung. In anderern Worten, die Basislösung zu B ist optimal. Wenn das Optimalitätskriterium erfüllt ist, so terminiert das Simplexverfahren. Ansonsten suchen wir eine Basislösung B, die sich in genau einer Spalte von B unterscheidet und einen besseren Zielwert aufweist. B kann wie folgt konstruiert werden. Sei x j eine der Nichtbasisvariablen mit positiven reduzierten Kosten, d.h. c j m c B(k) â k,j > 0. k=1 Wir zeigen, wie wir (ausgehend von der Basislösung zu B) den Zielfunktionswert erhöhen können, indem wir den Wert der Variable x j verändern. Die Werte aller anderen Nichtbasisvariablen bleiben unverändert. Wenn wir den Wert der Variable x j (ausgehend von 0) kontinuierlich erhöhen, so erhöht sich wegen Gleichung (2.2) auch der Zielfunktionswert kontinuierlich. Allerdings verändern sich die Werte der Basisvariablen ebenfalls kontinuierlich wie in Gleichung (2.1) beschrieben: Es gilt x B(i) = ˆb i k N â ik x k = ˆb i â ij x j, (2.3) 14

16 weil wir die Variablen x k, k N \ {j}, auf Null fixiert haben. Wenn x j wächst, nehmen einige Basisvariablen möglicherweise negative Werte an, und die Lösung wird unzulässig. Wir gehen jedoch davon aus, dass das LP nicht-degeneriert ist, so dass alle Basisvariablen in der Basislösung strikt positive Werte haben (Behauptung 1.4). Somit kann der Wert von x j zumindest um einen kleinen, positiven Betrag erhöht werden, bevor eine der Basisvariablen einen negativen Wert annimmt. Es können die folgenden Fälle auftreten. 1. Für alle i {1,..., m} gilt â ij 0. In diesem Fall kann der Wert von x j beliebig erhöht werden, ohne dass die durch Gleichung (2.1) beschriebene Lösung unzulässig wird. Das Simplexverfahren terminiert mit der Feststellung, dass das LP unbeschränkt ist. 2. Es gibt mindestens ein i {1,...,m}, für das gilt â ij > 0. Wähle { } ˆbk i = argmin 1 k m â kj âkj > 0. Wenn wir die Variable x j = ˆb i â ij setzen, ergibt sich, wie aus Gleichung (2.3) folgt, eine zulässige Lösung, in der die Variable x B(i) den Wert 0 annimmt und alle anderen Basisvariablen nicht-negative Werte haben. Diese Lösung entspricht der Basislösung zur Basis B, die wir aus B erhalten, wenn wir die Basisspalte  B(i) durch die Nichtbasisspalte Âj ersetzen. Schritt 2 ist der eigentliche Pivotschritt. Die Spalte Âj wird als Eingangspivotspalte bezeichnet, weil sie in die Basis aufgenommen wird, und die Spalte ÂB(i) ist die sogenannte Ausgangspivotspalte, weil sie aus der Basis verdrängt wird. Dieser Vorgang hat die folgende geometrische Interpretation: In der kanonischen Form ist nach dem Erhöhen der Variable x j die mit dieser Variable assoziierte Nebenbedingung nicht mehr mit Gleichheit erfüllt, dafür aber jetzt die zu x B(i) gehörende Nebenbedingung. Wir sind somit von dem durch B beschriebenen Knoten entlang einer verbessernden Kante zu einem benachbarten Knoten gewechselt, der der Basis B entspricht. Zu Beginn der Beschreibung des Pivotschritts haben wir angenommen, dass das Gleichungssystem Âx = ˆb derartig vorliegt, dass die Basismatrix ÂB der Einheitsmatrix E m entspricht. Wir schließen die Beschreibung des Pivotschrittes, indem wir zeigen, wie das Gleichungssystem durch elementare Zeilenoperationen so umgeformt werden kann, dass nach der Transformation die Basismatrix zur neuen Basis B wiederum als Einheitsmatrix vorliegt. Wir gehen zweistufig vor. 1. Die Zeile (Âi,ˆb i ) des Gleichungssystems wird mit 1/â ij multipliziert. Nach dieser Operation gilt â ij = 1. 15

17 2. Für k i, falls â kj 0, addieren wir die in Schritt 1 erzeugte Zeile multipliziert mit â kj zur Zeile (â k, b k ) hinzu. Nach dieser Operation gilt â kj = 0. Nach dieser Transformationen sind die Voraussetzungen für den nächsten Pivotschritt gegeben Beispielrechung mit Simplextableau Wir setzen das Beispiel aus Abschnitt 1.3 fort. Die Nebenbedingungen sind x 1 + x 3 = 4, x 2 + x 4 = 2, x 1 + x 2 + x 5 = 1, x 0. Die Zielfunktion sei x 1 + 2x 2. Betrachte die Basis B = (A 3, A 4, A 5 ). Glücklicherweise gilt ohne jegliche Umformung A B = E 3 und die Basis ist zulässig, da die zugehörige Basislösung x B = b nicht-negativ ist. Deshalb können wir das Simplexverfahren mit der Basis B starten, ohne initiale Umformungen vornehmen zu müssen. Wir setzen  = A und ˆb = b und speichern die zugehörigen Einträge in einem Tableau ab. Die Spalten von  bezeichnen wir dabei mit Â1,...,Â5. ˆb  1  2  3  4  Die reduzierten Kosten von Spalte 2 sind c 2 c B Â2 = 2, denn c 2 = 2 und c B = (c B(1), c B(2), c B(3) ) = (c 3, c 4, c 5 ) = (0, 0, 0). Wir können somit Spalte Â2 als Eingangspivotspalte wählen. Der Term ˆb i /â i2, â i2 > 0, wird minimiert für i = 3. Damit ist die Spalte ÂB(3) = Â5 die eindeutig bestimmte Ausgangspivotspalte. Der Pivotschritt tauscht also die Basisspalte Â5 gegen die Spalte Â2 aus. Das Gleichungssystem wird wie folgt transformiert. Wir dividieren die 3. Zeile zunächst durch â 32 = 1. Dann addieren wir diese Zeile multipliziert mit â 12 = 0 zur ersten Zeile und multipliziert mit â 22 = 1 zur zweite Zeile. Das neue Gleichungssystem ergibt sich wie folgt. ˆb  1  2  3  4  Die neue Basis ist B = (Â3, Â4, Â2). Somit gilt c B = (0, 0, 2). Die reduzierten Kosten von Spalte 1 sind c 1 c B  1 = ( 1) 2 ( 1) = 1 > 0. Spalte Â1 ist somit eine geeignete Eingangspivotspalte. Der Term ˆb i /â i1, â i1 > 0, wird minimiert für i = 2. Damit ist ÂB(2) = Â4 die Ausgangspivotspalte. Wir tauschen somit die Basisspalte Â4 gegen die Spalte Â1 aus. Wir dividieren die Zeile 2 durch â 21 = 1. Dann addieren wir 16

18 die so entstandene Zeile multipliziert mit â 11 = 1 zu Zeile 1 und multipliziert mit â 31 = 1 zu Zeile 3. Wir erhalten das folgende Gleichungssystem. ˆb  1  2  3  4  Die Basis ist jetzt B = (Â3, Â1, Â2). Es gilt c B = (0, 1, 2). Beide Nichtbasisspalten Â4 und Â5 haben jetzt negative reduzierte Kosten. Das Verfahren terminiert. Als optimale Basislösung ergibt sich x 1 = 1, x 2 = 2, x 3 = 3, x 4 = 0, x 5 = 0. Es ist interessant zu verfolgen, welchen Verlauf das Simplexverfahren in Bezug auf die geometrische Darstellung in Abbildung 1.1 nimmt. Die initiale Basislösung (Â3, Â4, Â5) entspricht dem Punkt (0, 0). Die nächste besuchte Basislösung (Â3, Â4, Â2) entspricht dem Punkt (0, 1). Das Verfahren terminiert mit der Basislösung (Â3, Â1, Â2), die dem Punkt (1, 2) entspricht Komplexität einzelner Pivotschritte Die Bestimmung der Eingangs- und Ausgangsspalten in einem Pivotschritt sowie die anschließende Transformation des Gleichungssystems kann mit O(nm) algebraischen Rechenoperationen auf rationalen Zahlen durchgeführt werden. Wir gehen davon aus, dass die Koeffizienten in der Zielfunktion und den Nebenbedingungen ganzzahlig sind. In den einzelnen Pivotschritten können jedoch bedingt durch die Multiplikation der Zeilen des Gleichungssystems, durch die wir die Basismatrix in die Einheitsmatrix transformieren, rationale Zahlen entstehen, die nicht ganzzahlig sind. Wir repräsentieren diese Zahlen in Form von Brüchen mit binär kodierten ganzzahligen Nennern und Zählern. Dabei gehen wir davon aus, dass Nenner und Zähler minimal gewählt sind, d.h. nicht weiter gekürzt werden können. Das können wir erreichen, indem wir auf alle Zwischenergebnisse den Euklidischen Algorithmus anwenden. Die Größe der dabei entstehenden Nenner und Zähler können wir wie folgt beschränken. Lemma 2.2 Bezeiche α den größten absoluten Wert über alle (ganzzahligen) Eingabezahlen eines LPs in Gleichungsform. a) Sei β der größte absolute Wert über alle (gekürzten) Zähler und Nenner der Zahlen in den Matrizen  = A 1 B A, A = A 1 B und dem Vektor ˆb = A 1 B b. Es gilt β (αm) m. b) Sei γ der größte absolute Wert über die (gekürzten) Zähler und Nenner der Zielfunktionswerte c T x über alle Basislösungen x. Es gilt γ (αm) m+1. 17

19 Beweis: Sei M eine invertierbare k k-matrix und b ein k-vektor. Sei x die eindeutig bestimmte Lösung zum Gleichungssystem Mx = b, also x = M 1 b. Dann besagt die Cramersche Regel, dass für jedes i {1,..., k} gilt x i = det(m 1,...,M i 1, b, M i+1,...,m k ) det(m), wobei M i die ite Spalte von M bezeichne. Die Zahlen in M und b seien nun ganze Zahlen mit Absolutwert höchstens α. Die Determinante einer k k Matrix ist definiert als Summe von k! Produkten von jeweils k Matrixeinträgen. Die beiden betrachteten Determinanten sind deshalb ganzzahlig und ihre Absolutwerte sind durch k! α k (αk) k nach oben beschränkt. Die obere Schranke für β ergibt sich nun wie folgt. Aus den obigen Überlegungen folgt sofort, dass die Nenner und Zähler in ˆb durch (αm) m nach oben beschränkt sind, denn ˆb = A 1 B b ist die eindeutig bestimmte Lösung zum Gleichungssystem A Bx = b. Die obere Schranke für die Nenner und Zähler in ˆb lässt sich offensichtlich auf jeden Vektor ˆv der Form ˆv = A 1 B v übertragen, falls die Koeffizienten in v ganzzahlig sind und ihr Absolutwert durch α beschränkt ist. Entsprechend gilt dieselbe obere Schranke auch für die Nenner und Zähler der Zahlen in  = A 1 B A und A = A 1 B E m. Zuletzt zeigen wir die obere Schranke für γ. Gemäß der Cramerschen Regel können wir jede Basislösung x so darstellen, dass die Bruchdarstellungen der Zahlen x 1,...,x m denselben Nenner haben, dessen Absolutwert durch β nach oben beschränkt ist, und auch die Absolutwerte aller Zähler sind durch β nach oben beschränkt. Ferner sind die Absolutwerte der ganzzahligen Koeffizienten im Zielfunktionsvektor c durch α beschränkt. Entsprechend läßt sich der Term c T x durch einen Bruch darstellen, dessen Nenner durch β (αm) m und dessen Zähler durch αβm (αm) m+1 absolut nach oben beschränkt ist. Die Absolutwerte der Zähler und Nenner können durch die in den Pivotschritten durchgeführten Zeilenoperationen dramatisch anwachsen. Für die Komplexität der Rechenoperationen sind aber nicht die Absolutwerte dieser Zahlen entscheidend sondern ihre binäre Kodierungslänge. Bezeichne l die maximale Kodierungslänge einer einzelnen Eingabezahl. Dann gilt l = Θ(log α). Die in der Rechnung entstehenden Zahlen haben somit Länge höchstens O(log((αm) m+1 )) = O(m(log m + log α)) = O(m logm + ml). Damit sind die Kodierungslängen dieser Zahlen polynomiell in der Eingabelänge des LPs beschränkt. Satz 2.3 Die Laufzeit jedes einzelnen Pivotschrittes ist polynomiell beschränkt in der Eingabelänge des LPs. 18

20 2.3 Berechnung der initialen Basislösung Bisher haben wir beschrieben, wie man eine optimale Lösung berechnet, wenn bereits eine zulässige Basislösung vorliegt. Wir müssen noch zeigen, wie die erste zulässige Basislösung berechnet werden kann. Der Raum der zulässigen Lösungen sei beschrieben durch das System Ax = b, x 0. O.B.d.A. gelte b 0; ansonsten multipliziere die nicht dieser Annahme entsprechenden Zeilen mit -1. Zur Berechnung einer zulässigen Basislösung ignorieren wir die gegebene Zielfunktion und ersetzen sie durch eine neue Hilfszielfunktion. Diese Zielfunktion ist definiert über einer Menge von Hilfsvariablen h 1,...,h m 0 jeweils eine Hilfsvariable pro Zeile von A. Die i-te Nebenbedingung N j=1 a ijx j = b i, 1 i m, wird ersetzt durch N a ij x j + h i = b i. Die neue Zielfunktion lautet j=1 Minimiere h 1 + h h m. Für dieses HilfsLP gibt es eine offensichtliche zulässige Basislösung, nämlich x = 0, h = b 0. Ausgehend von dieser Basislösung können wir nun die Hilfszielfunktion durch Anwendung von Pivotschritten minimieren. Die berechnete Lösung genügt einem der beiden folgenden Fälle. 1. Die optimale Lösung für das HilfsLP hat einen positiven Zielfunktionswert. Dann gibt es keine Lösung mit h 1 = h 2 = = h m = 0. Es folgt, dass das eigentliche LP keine zulässige Lösung hat. 2. Der berechnete Zielfunktionswert des HilfsLP ist 0. In der berechneten Basislösung des HilfsLP gilt somit h 1 = h 2 = = h m = 0. Damit ist diese Basislösung auch zulässig für das eigentliche LP. Die Berechnung der optimalen Lösung mit Hilfe des Simplexalgorithmus besteht also aus zwei sehr ähnlichen Phasen. In Phase 1 berechnen wir mit Hilfe von Pivotschritten eine zulässige Basislösung. In Phase 2 berechnen wir dann ausgehend von einer zulässigen Lösung mit Hilfe von Pivotschritten eine optimale Lösung. 2.4 Besondere Aspekte degenerierter LPs In einem nicht-degenerierten LP verbessert sich der Wert der aktuellen Basislösung von Schritt zu Schritt. Da es nur endliche viele Basislösungen gibt, ist damit die Ter- 19

21 minierung des Simplexverfahrens sichergestellt. In einem degenerierten LP kann es vorkommen, dass in einem Pivotschritt eine oder mehrere Basisvariablen den Wert 0 haben. Durch Austausch einer Basisspalte, die zu einer solchen Variable gehört, erhöht sich der Zielfunktionswert nicht. In der geometrischen Darstellung zur kanonischen Form mit d Variablen entspricht dieses dem Fall, dass sich mehr als d Hyperebenen in einem Punkt treffen. Dadurch werden mehrere Basislösungen auf denselben Punkt abgebildet, so dass sich durch einen Wechsel von einer Basislösung zur anderen der Zielfunktionswert nicht erhöht Blands Pivotregel Zyklisches Verhalten des Simplexalgorithmus kann durch die folgende Pivotregel von Bland verhindert werden: Wähle beide Pivotspalten, also die Eingangsspalte A j und die Ausgangsspalte A B(i), mit möglichst kleinem Index, also so, dass zunächst der Index j und dann der Index B(i) minimal unter den in Abschitt 2.2 beschriebenen Bedingungen gewählt wird. Für den Beweis, dass diese Regel Zyklen verhindert, verweisen wir auf die Literatur. Blands Pivotregel ist einfach umzusetzen, hat aber den Nachteil, dass sie die Auswahl der Eingangspivotspalte festlegt. Gemäß unserer bisherigen Beschreibung konnte jede Nichtbasisspalte mit positiven reduzierten Kosten als Eingangsspalte gewählt werden. Einige Heuristiken versuchen diese Freiheit zu nutzen, indem sie beispielsweise die Spalte mit den größten reduzierten Kosten als Eingangsspalte wählen. Das bedeutet sie verbessern die Basislösung entlang derjenigen ausgehenden Kante im Lösungspolyhedron, die die größte Steigung bezüglich der Zielfunktion aufweist. Im folgenden werden wir einen allgemeinen Ansatz zur Vermeidung von Zyklen beschreiben, der die Wahl der Eingangspivotspalte freilässt und nur die Ausgangspivotspalte festlegt. Beachte, dass die Wahl der Ausgangspivotspalte in einem nicht-degenerierten LP im Gegensatz zur Wahl der Eingangspivotspalte ohnehin keine Freiheitsgrade aufweist Perturbierung Wir perturbieren (stören) ein gegebenes LP leicht um degenerierte Knoten, also Schnittpunkte von mehr als n Nebenbedingungshyperebenen aufzuheben. Die Perturbierung ist so gering, dass eine Basislösung, die für das perturbierte LP optimal ist, auch für das ursprüngliche LP optimal ist. In der geometrischen Darstellung können wir degenerierte Knoten dadurch aufheben, dass wir jede der Hyperebenen etwas parallel verschieben. Das entspricht dem Aufaddieren eines kleinen Wertes zum Vektor b. Die Idee ist es also, ein möglicherweise degeneriertes LP in ein nicht-degeneriertes LP zu transformieren und dadurch die Terminierung des Simplexverfahrens zu garantieren. 20

22 Bezeichne LP ein lineares Programm dem das Gleichungssystem Ax = b (oder alternativ Ax b) zugrundeliegt. Bezeichne LP(ɛ), ɛ > 0, dasjenige LP in dem wir den Vektor b durch den Vektor b + ɛ ersetzen, wobei ɛ = ɛ ɛ 2. ɛ m. Wir werden ɛ so klein wählen, dass zwar die degenerierten Knoten aufgehoben werden, aber die optimale Basis bzw. zumindest eine der optimalen Basen erhalten bleiben. Beachte, für kleines ɛ > 0 gilt gilt ɛ ɛ 2 ɛ m. Wir merken an, dass es zur Aufhebung von degenerierten Knoten nicht ausreicht, alle Nebenbedingungen um denselben Betrag zu verschieben. Satz 2.4 Es gibt ein δ > 0, so dass für jedes ɛ (0, δ) gilt: a) LP(ɛ) ist nicht-degeneriert. b) Jede zulässige Basis für LP(ɛ) ist auch zulässig für LP. c) Jede optimale Basis für LP(ɛ) ist auch optimal für LP. Beweis: Zunächst beweisen wir Aussage a). Sei B eine Basis. In der Basislösung zu B für LP(ɛ) ist x B = A 1 B (b + ɛ) = A 1 B b + A 1 B ɛ. Aus dieser Gleichung extrahieren wir den Wert für eine einzelne Basisvariable x i. Bezeichne ˆb = A 1 B b und A = A 1. Es gilt B x i = ˆb i + m a ijɛ j. Wir beobachten, dass der Wert von x i durch ein Polynom in ɛ beschrieben wird. Dieses Polynom ist p B,i (s) = ˆb m i + a ijs j. Da die Matrix A invertierbar ist, gibt es mindestens einen Index j mit a ij 0. Falls p B,i eine positive Nullstelle hat, so bezeichne δ B,i die kleinste positive Nullstelle, sonst sei δ B,i =. Setze nun j=1 j=1 δ = min{δ B,i B ist Basis mit Basisvariable x i }. 21

23 Für ɛ < δ gilt nun p B,i (ɛ) 0 und zwar für jede Basis B und jede Basisvariable x i. Das bedeutet alle Basisvariablen in LP(ɛ) haben Werte ungleich Null. Damit ist Aussage a) bewiesen. Wir wenden uns nun Aussage b) zu. Sei x die Basislösung zu einer zulässigen Basis B von LP(ɛ). Es gilt x 0. Weil LP(ɛ) nicht degeneriert ist, gilt für die Basisvariablen sogar x i = ˆb m i + a ij ɛj > 0. j=1 Wir behaupten: Es gilt ˆb i 0. Da x B = ˆb die Basislösung zu B bezüglich LP ist, folgt aus dieser Behauptung, dass B auch zulässig für LP ist, und damit wäre Aussage b) gezeigt. Zum Zwecke des Widerspruchs, gelte ˆb i < 0. Wir betrachten das Polynom p B,i. Aus ˆb i < 0 folgt p B,i (0) < 0. Andererseits gilt p B,i (ɛ) > 0. Aus dem Zwischenwertsatz für stetige Funktionen folgt somit, dass es ein s (0, ɛ) (0, δ B,i ) gibt, für das gilt p B,i (s) = 0. Die kleinste positive Nullstelle dieses Polynoms ist jedoch δ B,i. Ein Widerspruch. Damit ist Aussage b) bewiesen. Als letztes beweisen wir Aussage c). Eine optimale Basis ist dadurch gekennzeichnet, dass sie zulässig ist und der Vektor der reduzierten Kosten keinen positiven Eintrag enthält (Satz 2.1). Der Vektor der reduzierten Kosten für LP und LP(ɛ) ist jedoch gleich. Also folgt c) unmittelbar aus b). Wie klein müssen wir den Parameter ɛ wählen, damit die im Satz beschriebenen Eigenschaften gelten? Dem Beweis für a) entnehmen wir, dass es hinreichend ist, ɛ kleiner als die kleinste positive Nullstelle eines Polynoms der Form p(s) = m β i s i i=0 mit mindestens einem nicht-nullwertigem Koeffizienten zu wählen. Die Koeffizienten von p sind dabei rationale Zahlen aus dem Vektor ˆb = A 1 B b und der Matrix A = A 1 B. Seien die Absolutwerte der Zähler und Nenner dieser Koeffizienten durch β nach oben beschränkt, d.h. β erfüllt für alle nicht-nullwertigen Koeffizienten die Ungleichungen β β i und β 1 β i. Zur Vereinfachung der Notation machen wir o.b.d.a. die folgenden Annahmen. Es gelte β 0 0. (Ansonsten dividiere das Polynom solange durch s bis der Koeffizient vor dem Term s 0 nicht-nullwertig ist. Diese Divisionen haben keinen Einfluss auf die Nullstellen.) Es gilt β 0 > 0. (Ansonsten multipliziere das Polynom mit 1. Auch diese Multiplikation hat keinen Einfluss auf die Nullstellen des Polynoms.) 22

24 Für jedes δ (0, 1 2β 2 ] gilt nun p(δ) = m β i δ i i=0 m β 0 β i δ i i=1 1 m β ( 1 β 2β 2 i=1 1 β 1 m ( ) i 1 β 2 i=1 } {{ } <1 ) i > 0. 1 Somit ist die kleinste positive Nullstelle von p größer als. Damit können wir 2β 2 ɛ = 1 setzen. Wenn wir die in Lemma 2.2 bewiesenen oberere Schranken für die 2β 2 Absolutwerte der Nenner und Zähler der Zahlen im Simplextableau berücksichtigen, so gilt β (αm) m, wobei α der größte Absolutwert über alle Eingabezahlen ist. Damit genügt es ɛ = 1 2 (αm) 2m zu setzen, um die in Satz 2.4 beschriebenen Eigenschaften zu garantieren. Beachte, durch die Perturbierung wächst die Eingabelänge. Dieses Wachstum ist aber polynomiell beschränkt: Sei l eine obere Schranke für die binäre Länge der Eingabezahlen. Dann genügen O(m(l + log m)) Bits zur Darstellung von ɛ und somit O(m 2 (l + log m)) Bits zur Darstellung von b i + ɛ i für 1 i m. Bemerkung 2.5 Sei α der Absolutwert des größten Nenners bzw. Zählers der Eingabezahlen von LP. Die Aussagen in Satz 2.4 gelten für ɛ = 1 2 (αm) 2m. Die Eingabelänge von LP(ɛ) ist damit polynomiell in der Eingabelänge von LP beschränkt Symbolische Perturbierung Der offensichtliche Nachteil der oben beschriebenen Perturbierung ist, dass ɛ sehr klein gewählt werden muss, um die in Satz 2.4 genannten Eigenschaften zu erzielen. Dadurch vergrößert sich die Eingabelänge zwar nur polynomiell aber dennoch derartig signifikant, dass sich die Perturbierung spürbar auf die Laufzeit auswirkt. Wir beschreiben jetzt einen Weg, der es ermöglicht, die Pertubierung implizit durchzuführen, ohne die Eingabe zu manipulieren. Der Trick ist, dass wir den Parameter ɛ durch einen symbolischen Wert repräsentieren. Wir betrachten einen Pivotschritt zu einer Basis B. Wie zuvor verwenden wir die Bezeichnungen A = A 1 B, Â = A 1 B A und ˆb = A 1 b. Sei j der Index der Eingangspivot- B 23

25 spalte. 1 Sei B(i) der Index der gewählten Ausgangspivotspalte. Die in Abschnitt 2.2 beschriebenen Auswahlregeln bestimmen den Index i wie folgt. {ˆbk + } m t=1 i = argmin a kt ɛt 1 k m â kj âkj > 0 { } pb,k (ɛ) = argmin 1 k m â kj âkj > 0. Für ɛ = 0 gibt es möglicherweise mehrere Indizes, die dieses Minimum liefern. Für jeden Parameter ɛ (0, δ) gibt es jedoch genau einen solchen Index, denn sonst wäre LP(ɛ) degeneriert. 2 Zur Bestimmung der Ausgangspivotspalte wählen wir den Index { } pb,k (ɛ) i = lim argmin 1 k m ɛ 0 âkj > 0. Beachte, die Terme, über die das Minimum bestimmt wird, sind Polynome in ɛ. Für ɛ 0 kann das kleinste dieser Polynome durch Koeffizientenvergleich bestimmt werden: Den Vergleich zwischen zwei Polynomen entscheidet jeweils der Koeffizient mit kleinstem Grad in dem sich die Polynome unterscheiden. Der zusätzliche Aufwand zur Durchführung dieser Pivotregel besteht also im Wesentlichen darin, zusätzlich zum Pivottableau auch die Umkehrmatrix A = A 1 B von Schritt zu Schritt mitzuführen, um im Falle eines Unentschiedens zwischen zwei Ausgangsspalten eine eindeutige Wahl treffen zu können. 3 â kj 2.5 Laufzeit der Simplexmethode Wir haben gesehen, dass sich die einzelnen Pivotschritte effizient durchführen lassen. Die Anzahl der Pivotschritte ist jedoch problematisch. Der folgende Satz zeigt, dass die Anzahl der Pivotschritte exponentiell in der Anzahl der Variablen und Nebenbedingungen sein kann, ohne dass man dabei in der Eingabe auf Zahlen großer Kodierungslänge zurückgreifen muss. Dieses Ergebnis wurde gezeigt von Klee und Minty (1972). Satz 2.6 Für jedes n, gibt es ein LP in kanonischer Form mit n Variablen und 2n ganzzahligen Koeffizienten mit Absolutwert höchstens 4, so dass der Simplex-Algorithmus 2 n 1 Pivotschritte benötigt. 1 Die Wahl der Eingangspivotspalte wird durch die Perturbierung nicht beeinflusst. Warum? 2 Tatsächlich folgt aus der Nicht-Degeneriertheit dieser LPs sogar, dass für alle ɛ (0, δ) derselbe Spaltenindex selektiert wird. Warum? 3 Wenn wir davon ausgehen, dass die initiale Basismatrix der Einheitsmatrix entspricht, so liegt die Matrix A zu Beginn jedes Pivotschrittes bereits im Tableau vor. Welche Spalten im Tableau entsprechen den Spalten dieser Matrix? 24

26 Wir beschränken uns darauf die Beweisidee zu beschreiben. Um eine derartige Beispielinstanz zu konstruieren, benötigen wir zunächst ein LP mit exponentiel vielen Basislösungen, denn die Anzahl der Basislösungen ist eine offensichtliche oberere Schranke für die Anzahl der Iterationen des Simplexalgorithmus. Wir betrachten ein LP mit der Zielfunktion Maximiere x 1 unter den Nebenbedingungen 0 x i 1 für 1 i n. Das Lösungspolyhedron dieses LPs entspricht dem n dimensionalen Hypercube. Die Knoten des Hypercubes, also die Basislösungen des LPs, entsprechen den Punkten aus der Menge {0, 1} n. Das LP hat also 2 n Basislösungen. Behauptung 2.7 Es gibt einen Hamiltonpfad auf den 2 n Knoten des Hypercubes, auf dem sich der Zielfunktionswert nicht verschlechtert. Beweis: Der bekannte Gray-Code ist dadurch gekennzeichnet ist, dass er die Bitstrings aus {0, 1} n in einer deartigen Reihenfolge aufzählt, dass sich zwei nacheinander aufgezählte Strings nur in einem Bit unterscheiden, so dass die entsprechenden Knoten auf dem Hypercube benachbart sind. Der Gray-Code definiert somit einem Hamiltonpfad auf dem Hypercube. Die Zielfunktionwerte auf diesem Pfad verringern sich nicht, da der Gray-Code zunächst die Knoten aufzählt, die mit einer 0 beginnen und dann die Knoten, die mit einer 1 beginnen. Um eine exponentielle Anzahl Schritte für den Simplexalgorithmus zu erreichen, benötigen wir jedoch einen Pfad, auf dem sich der Zielfunktswert nicht nur nicht verschlechtert sondern sogar von Knoten zu Knoten verbessert. Dies erreicht man, wenn man den Hypercube durch den sogenannten Klee-Minty-Cube ersetzt, der einem perturbierten Hypercube entspricht. Für ɛ > 0 definieren wir die folgenden Nebenbedingungen. ɛ x 1 1, ɛx j 1 x j 1 ɛx j 1, Für ɛ 0 konvergiert das durch diese Ungleichungen beschriebene Ungleichungssystem gegen den Hypercube. Auf diesem Polyhedron hat der oben beschriebene Hamiltopfad ansteigende Zielfunktionswerte. Die Konstruktion funktioniert für ɛ 1. Auf 4 den Beweis dieser Eigenschaft verzichten wir hier. Wenn wir ɛ = 1 setzen und alle 4 Nebenbedingungen mit 4 multiplizieren erhalten wir ein LP mit ganzzahligen Koeffizienten wie im Satz beschrieben. Die Konstruktion von Klee-Minty geht nicht nur von einer Worst-Case-Eingabe sondern auch von einer Worst-Case-Pivotentscheidung aus. Tatsächlich lassen sich derartige Beispiele auch für zahlreiche bekannte Pivotregeln wie z.b. Blands Pivotregel 25

27 finden. Die Frage, ob es eine Pivotregel mit polynomieller Laufzeit gibt, ist ungeklärt. Bisher konnte man nur für randomisierte Pivotregeln eine Laufzeit von m O( n) nachweisen; unabhängig gezeigt von einerseits Kalai (1992) und andererseits Matousek, Sharir und Welzl (1992). Es ist sogar unklar, ob es überhaupt einen Weg polynomieller Länge zum Optimum gibt, also ob der Durchmesser des Graphs eines Polyhedrons sich polynomiell in der Anzahl seiner Facetten (Nebenbedingungen) und der Dimension beschränken lässt. Eine optimistische aber weder bewiesene noch widerlegte Behauptung von Hirsch (1957) lautet: Der Durchmesser eines n-dimensionalen Polytops mit m Facetten ist höchstens m n. Das beste bekannte bewiesene Ergebnis ist eine obere Schranke in Höhe von m log 2 n+2 für den Durchmesser gezeigt durch Kalai und Kleitman (1992). Im Gegensatz zu den obigen theoretischen Überlegungen zur Worst-Case-Laufzeit des Simplexverfahrens stehen die praktischen Erfahrungen mit diesem Verfahren: Viele in der Praxis auftretenden LPs lassen sich tatsächlich effizient mit dieser Methode lösen. Dies wird untermauert durch theoretische Untersuchungen die zufällig erzeugte Eingabeinstanzen untersuchen. Borgwardt (1977) untersucht beispielsweise LPs bei denen die Koeffizienten der Nebenbedingungsmatrix A uniform zufällig generiert werden. Über die Relevanz eines derartigen Eingabemodells bezüglich der in der Praxis vorkommenden LPs lässt sich streiten. Spielman und Teng (2001) präsentieren ein raffinierteres probabilistisches Eingabemodell. In ihrer sogenannten geglätteten Analyse (Smoothed Analysis) erzeugt zunächst ein Gegner die Nebenbedingungsmatrix und dann werden die Einträge dieser Matrix durch eine leichte zufällige Perturbierung verändert. Intuitiv startet die geglättete Analyse also mit einer Worst-Case-Eingabe, zu der ein leichtes Gauß sches Rauschen hinzuaddiert wird. Auch für dieses semizufällige Eingabemodell lässt sich die Laufzeit des Simplex-Algorithmus polynomiell beschränken. 26

28 Kapitel 3 Die Ellipsoidmethode Wir werden in diesem Abschnitt einen Algorithmus zur Lösung von LPs kennenlernen, der auch im Worst-Case eine polynomielle Laufzeit garantiert. Es handelt sich dabei um die sogenannte Ellipsoidmethode, die zur Lösung nichtlinearer Optimierungsprobleme entwickelt wurde. Im Jahre 1979 entdeckte der russische Mathematiker Leonid Khachiyan, dass diese Methode auch zur Lösung von LPs eingesetzt werden kann und das die Laufzeit dieser Methode für LPs polynomiell in der Eingabelänge beschränkt werden kann. In praktischen Anwendungen beobachtet man jedoch, dass die Ellipsoidmethode dem Simplexverfahren in der Regel deutlich unterlegen ist. 3.1 Zulässigkeitstest versus Optimieren Eigentlich handelt es sich bei der Ellipsoidmethode lediglich um ein Verfahren, das für ein lineares Ungleichungssystem LI (linear inequalities) der Form Ax b in polynomieller Zeit entscheidet, ob LI zulässig ist, also ob es eine Lösung gibt, die alle Ungleichungen erfüllt. Das folgende Lemma besagt jedoch, dass das Optimieren eines LPs auf das Entscheiden, ob es überhaupt eine Lösung gibt, die alle Nebenbedingungen erfüllt, reduziert werden kann. Lemma 3.1 Existiert ein polynomieller Algorithmus, der entscheidet, ob ein System von linearen Ungleichungen eine Lösung besitzt, so existiert auch ein polynomieller Algorithmus zur Lösung von LPs. Die wesentliche Idee wie man das Optimieren von LPs auf einen Zulässigkeitstest reduziert, lässt sich wie folgt zusammenfassen: Wenn das vorliegende LP beschränkt und zulässig ist, dann ist der optimale Zielfunktionswert z eindeutig dadurch bestimmt, 27

29 dass z der größtmöglichste Wert ist, für den das LP auch dann noch zulässig bleibt, wenn wir die Nebenbedingung c T x z hinzufügen. Wir können deshalb den optimalen Zielfunktionswert mittels einer Binärsuche finden, in der wir Zulässigkeitstests für verschiedene z-werte durchführen. Für den Start der Binärsuche benötigt man untere und obere Schranken für den kleinst- und größtmöglichen Zielfunktionswert eines zulässigen und beschränkten LPs mit Eingabelänge L (in binärer Kodierung). Es gilt 2 poly(l) z 2 poly(l). Die Binärsuche konvergiert gegen den optimalen Zielfunktionswert. Um den optimalen Zielfunktionswert bis auf einen additiven Fehler von δ zu erreichen benötigt die Binärsuche O(log(2 poly(l) /δ)) = poly(l)+o(log(1/δ)) Schritte. Für δ = 2 poly(l) ergibt sich somit eine Laufzeit, die polynomiell in L ist. Jetzt muss man noch zeigen, wie man die optimale Lösung effizient bestimmen kann, wenn man den optimalen Zielfunktionswert bis auf einen additiven kleinen Fehler kennt. Der Schlüssel hierzu ist, dass alle nicht-optimalen Basislösungen eines LPs der Eingabelänge L einen Zielfunktionswert haben, der um die Größenordnung 2 poly(l) geringer ist, als der optimale Zielfunktionswert. Eine Basislösung, die diese Bedingung erfüllt (und somit optimal ist) kann nun durch geschicktes Lösen von polynomiell vielen Gleichungssystem erreicht werden. Die Details dieser Reduktion von Optimierung auf Zulässigkeitstest werden in Abschnitt 3.1 beschrieben. Als Konsequenz aus Lemma 3.1 müssen wir nun nur noch zeigen, wie man lineare Ungleichungssystem effizient auf ihre Zulässigkeit testet. Bevor wir uns der eigentlichen Methode zuwenden, präsentieren wir einige Schritte zur Vereinfachung der Ungleichungssysteme, die unter anderem dafür sorgen, dass das Ungleichungssystem beschränkt und der Lösungsraum nicht zu klein ist, es sei denn, der Lösungsraum ist leer. Lemma 3.2 Ein lineares Ungleichungssystem LI der Eingabelänge L kann in polynomieller Zeit in ein lineares Ungleichungssystem LI mit den folgenden Eigenschaften transformiert werden. a) LI hat genau dann eine Lösung, wenn LI eine Lösung hat. b) Der Lösungsraum von LI ist in einer Kugel um den Ursprung mit Radius höchstens 2 O(L2) enthalten. c) Wenn der Lösungsraum von LI nicht leer ist, so enthält er eine Kugel mit Radius mindestens 2 O(L4). d) Die Eingabelänge von LI ist beschränkt durch O(L 2 ). Die Details dieser Transformation werden in Abschnitt 3.2 beschrieben. 28