MATTHIAS GERDTS. Optimierung für Wirtschaftsinformatiker

Transkript

1 MATTHIAS GERDTS Optimierung für Wirtschaftsinformatiker

2 Address of the Author: Matthias Gerdts Schwerpunkt Optimierung und Approximation Department Mathematik Universität Hamburg D-2146 Hamburg WWW: Preliminary Version: 11. Juli 26 Copyright c 26 by Matthias Gerdts

3 11.253: Stochastik und Optimierung für Studierende der Wirtschaftsinformatik (Teil Optimierung) (mit Übungen) Veranstalter: Matthias Gerdts Inhalt: Am Beispiel typischer Modellprobleme aus der Praxis werden Verfahren zur Lösung linearer und ganzzahliger Optimierungsprobleme diskutiert, darunter das Simplexverfahren, Branch&Bound und das Schnittebenenverfahren von Gomory. Darüber hinaus werden unrestringierte nichtlineare Optimierungsprobleme und numerische Verfahren (z.b. Gradientenverfahren, Newtonverfahren) behandelt. Speziell ausgewählte Kapitel über Transportaufgaben, Flußmaximierung oder dynamische Programmierung schließen die Vorlesung ab. Ziel: Durch Anwendung der in der Vorlesung diskutierten Modellbeispiele und Verfahren sollen die Hörer in der Lage sein, praktisch relevante Optimierungsprobleme einordnen und selbständig lösen zu können. für: Studierende der Wirtschaftsinformatik, interessierte Lehramtsstudierende Vorkenntnisse: Kenntnisse aus der linearen Algebra und Analysis werden dringend empfohlen. Literatur: Neumann/Morlock: Operations Research, Carl Hanser Verlag, 22. Termine Vorlesungsbeginn Vorlesungsende Pfingstferien

4 Vorlesungsplan Datum Stunden Seite V 1 7, V V V V V V V V V V V V V

5 Inhaltsverzeichnis 1 Einleitung 1 2 Lineare Optimierung Geometrie linearer Optimierungsprobleme Algebraische Charakterisierung von Eckpunkten Das primale Simplexverfahren Basiswechsel beim Simplexverfahren Der Algorithmus Das Simplexverfahren in Tableauform Phase 1 des Simplexverfahrens Endlichkeit des Simplexverfahrens Aufwand des Simplexverfahrens Dualität Sensitivität und Schattenpreise Ganzzahlige Optimierung Schnittebenenverfahren nach Gomory Branch&Bound Nichtlineare Optimierung Notwendige Bedingungen Hinreichende Bedingungen Allgemeine Abstiegsverfahren Schrittweitenstrategien Exakte Minimierung Armijo-Regel Gradientenverfahren Abbruchkriterien Newton-Verfahren Globalisierung des Newton-Verfahrens Berechnung von Ableitungen Das Verfahren von Nelder und Mead Evolutionäre Algorithmen ii

6 A Software 17 B Bezeichnungen 18 Literaturverzeichnis 111

7 Kapitel 1 Einleitung Optimierungsaufgaben spielen in allen Anwendungsbereichen der Mathematik eine wichtige Rolle. Hauptanwendungsgebiete sind Wirtschaftswissenschaften (Operations Research), Technik und Naturwissenschaften. In Nocedal, Wright findet man die folgende Formulierung: People optimize: Airline companies schedule crews and aircraft to minimize cost. Investors seek to create portfolios that avoid risks while achieving a high rate of return. Manufacturers aim for maximizing efficiency in the design and operation of their production processes. Nature optimizes: Physical systems tend to a state of minimum energy. The molecules in an isolated chemical system react with each other until the total potential energy of their electrons is minimized, Rays of light follow paths that minimize their travel time. Die Optimierung steht in enger Beziehung zur Modellierung, d.h. Optimierungtechniken werden auf mathematische Modelle angewendet, für die dann gewisse unbekannte Modellparameter oder -funktionen so zu bestimmen sind, dass eine Zielfunktion unter vorgegebenen Nebenbedingungen minimiert (oder maximiert) wird. Wir beschränken uns in der Klassifikation von Optimierungsproblemen o.b.d.a. auf Minimierungsprobleme. Ein Maximierungsproblem wird durch Multiplikation der zu maximierenden Funktion mit 1 in ein äquivalentes Minimierungsproblem transformiert. Allgemeines Optimierungsproblem (OP): Minimiere f(x) unter der Nebenbedingung x X. Darin sei X R n eine beliebige nichtleere Menge und f : X R eine beliebige Funktion. Wir führen einige Bezeichnungen ein: Definition 1..1 Die zu minimierende Funktion f heißt Zielfunktion. Ein Vektor x heißt zulässig für (OP), falls x X gilt. X heißt zulässige Menge von (OP). 1

8 2 KAPITEL 1. EINLEITUNG ˆx X heißt globales Minimum von (OP), falls f(ˆx) f(x) x X. (1.1) ˆx X heißt striktes globales Minimum von (OP), falls in (1.1) < für alle x X, x ˆx gilt. ˆx X heißt lokales Minimum von (OP), falls es eine Umgebung U ε (ˆx) := {x R n x ˆx < ε} gibt mit f(ˆx) f(x) x X U ε (ˆx). (1.2) ˆx X heißt striktes lokales Minimum von (OP), falls in (1.2) < für alle x X U ε (ˆx), x ˆx gilt. Globale bzw. lokale Maxima werden analog definiert. Die Begriffe werden in Abbildung 1.1 erläutert. x 1 x 2 x 3 x 4 x 5 x 6 x 7 Abbildung 1.1: Lokale und globale Minima und Maxima einer Funktion: x 1 : striktes globales Minimum, x 2 : lokales Maximum, x 3 : lokales Minimum; (x 2, x 3 ): gleichzeitig lokales Minimum und Maximum, x 4 : striktes globales Maximum, x 5 : striktes lokales Minimum, x 6, x 7 : lokale Maxima, (x 6, x 7 ): gleichzeitig lokales Minimum und Maximum. Spezialfälle: Ein unrestringiertes Problem liegt vor, falls X = R n gilt:

9 3 Unrestringiertes Optimierungsproblem (UOP): Minimiere f(x) bezüglich x R n. Darin sei f : R n R eine beliebige Funktion. Anhand des folgenden Beispiels wollen wir einige grundlegende Begriffe erläutern. Beispiel 1..2 (Funktion von Himmelblau) Wir wollen die Funktion von Himmelblau f H (x, y) := (x 2 + y 11) 2 + (x + y 2 7) 2 über alle (x, y) R 2 minimieren. Um einen besseren Eindruck von der Funktion zu bekommen, stellen wir die Funktion grafisch dar. Dies kann z.b. mit dem Programm Maple und dem Befehl plot3d((x^2+y-11)^2+(x+y^2-7)^2,x=-5..5,y=-5..5,axes=boxed, style=patchcontour,contours = 4,shading=XYZ); geschehen: x y 2 4 Einen noch besseren Eindruck von den Funktionswerten der Funktion erhalten wir mit dem Befehl

10 4 KAPITEL 1. EINLEITUNG contourplot((x^2+y-11)^2+(x+y^2-7)^2,x=-5..5,y=-5..5,contours=8, coloring=[red,blue],scaling=constrained,axes=boxed); Dieser Befehl zeichnet die sogenannten Höhenlinien oder Niveaulinien einer Funktion. Eine Höhenlinie zum Niveau c R für eine Funktion f : R n R ist formal definiert als die Menge aller Punkte x = (x 1,..., x n ), die f(x) = c erfüllen und wird mit N f (c) bezeichnet, also N f (c) := {x R n f(x) = c}, c R. Somit besitzt die Funktion f entlang einer Höhenlinie immer denselben Funktionswert, ist also entlang einer Höhenlinie konstant. Die Abbildung zeigt die Höhenlinien der Funktion von Himmelblau. Die fett gezeichnete Höhenlinie entspricht dem Niveau c = y x Die Pfeile in den beiden Grafiken stellen die Gradienten von f in den jeweiligen Punkten dar. Der Gradient einer Funktion f : R n R an der Stelle x = (x 1,..., x n ) R n ist formal definiert als der Spaltenvektor f(x 1,..., x n ) := 2 f x 1 (x 1,..., x n ). f x n (x 1,..., x n ) Bekanntlich zeigt der Gradient einer Funktion f in die Richtung des steilsten Anstiegs 4. von f. Außerdem steht der Gradient senkrecht auf den Höhenlinien von f. Für die Funktion von Himmelblau ergibt sich speziell ( ) ( ) fh (x, y) x 4x(x 2 + y 11) + 2(x + y 2 7) f H (x, y) = =. (x, y) 2(x 2 + y 11) + 4y(x + y 2 7) f H y Die Gradienten von f H können mit dem folgenden Befehl dargestellt werden:

11 5 gradplot( (x^2+y-11)^2+(x+y^2-7)^2,x=-5..5,y=-5..5,grid=[1,1], color=(x^2+y-11)^2+(x+y^2-7)^2); Anhand der grafischen Darstellungen läßt sich folgendes ablesen: Die Funktion von Himmelblau besitzt 4 lokale Minimalstellen (zugleich global) mit Funktionswert 4 Sattelpunkte ein lokales Maximum in (.27845,.92339) Wir werden später sehen, daß der Gradient von f in jedem dieser Punkte gleich dem Nullvektor ist. Beispiel 1..3 (Funktion von Rosenbrock (Banana-Function)) Analysieren Sie wie im vorigen Beispiel die Funktion von Rosenbrock (Banana-Function): f R (x, y) := 1(y x 2 ) 2 + (1 x) 2 Hinweis: globales Minimum in (1, 1) mit f(1, 1) =. In der Praxis treten häufig auch Nebenbedingungen auf, die z.b. auf Grund von Sicherheitsbestimmungen beachtet werden müssen. Wir konzentrieren uns auf den Fall, daß die Menge X in (OP) durch endlich viele Gleichungen und Ungleichungen beschrieben wird: Standard-Optimierungsproblem (SOP): Minimiere f(x) unter den Nebenbedingungen g i (x), i = 1,..., m, h j (x) =, j = 1,..., p. Darin seien f : R n R, g i : R n R, i = 1,..., m und h j beliebige Funktionen. : R n R, j = 1,..., p Das Standard-Optimierungsproblem (SOP) ist ein Spezialfall von (OP) mit dem speziellen zulässigen Bereich X = {x R n g i (x), i = 1,..., m, h j (x) =, j = 1,..., p}.

12 6 KAPITEL 1. EINLEITUNG Beispiel 1..4 (Optimierungsproblem mit Nebenbedingungen) Betrachte das folgende Standard-Optimierungsproblem: Minimiere f(x, y) = (x 7) 2 + (y 7) 2 unter x, y R, x, y, x + y 1. Zunächst betrachten wir den zulässigen Bereich X des Optimierungsproblems, also alle Punkte (x, y) R 2, die die Nebenbedingungen x, y, x + y 1 erfüllen. Der Bereich innerhalb des Dreiecks in der nachfolgenden Abbildung ist der zulässige Bereich (zusätzlich sind die Höhenlinien und die Gradienten der Zielfunktion f eingezeichnet): y x y x 8 1 Es ist leicht zu sehen, daß die Zielfunktion f im Punkt (7, 7) ein globales Minimum mit Funktionswert besitzt. Wegen 7+7 > 1 ist dieser Punkt jedoch nicht zulässig (die dritte Nebenbedingung x+y 1 ist verletzt) und somit keine Lösung des Optimierungsproblems! Die tatsächliche Lösung des Problems liegt im Punkt (x, y) = (5, 5) auf dem Rand des zulässigen Bereiches. Beispiel 1..5 (Portfoliooptimierung) Wir betrachten das Beispiel einer Portfoliooptimierungsaufgabe nach Markowitz. Gegeben seien j = 1,..., n mögliche Anlagen (z.b. Aktien, Fonds, Optionen, Wertpapiere). Jede

13 7 Anlage wirft im nächsten Zeitintervall einen Gewinn (oder Verlust) R j ab. Leider ist R j in der Regel nicht bekannt, sondern zufällig verteilt. Um einerseits den Gewinn zu maximieren und andererseits das Risiko eines Verlusts zu minimieren, wird die Anlagesumme zu Anteilen x j auf die Anlagen j = 1,..., n verteilt und die anteiligen Anlagen werden in einem Portfolio zusammengefaßt. Die Aufgabe eines Portfoliomanagers besteht in der optimalen Zusammensetzung eines solchen Portfolios, d.h. die Anteile x j der jeweiligen Anlagen, die in das Portfolio übernommen werden sollen, müssen in einem gewissen Sinne optimal bestimmt werden. Ein mögliches Ziel ist es, den erwarteten Gewinn E(R) = n x j E(R j ), R = j=1 n x j R j j=1 zu maximieren (E bezeichnet den Erwartungswert). Jedoch ist ein hoher Gewinn in der Regel nur mit riskanten Anlagen möglich, so daß auch das Risiko eines Verlusts steigt. Als Maß für das Risiko kann die Varianz des Gewinns dienen: ( n Var(R) = E(R E(R)) 2 = E x j (R j E(R j )) Ein Kompromiss zwischen hohem Gewinn und geringem Risiko kann durch Lösen des folgenden Optimierungsproblems erreicht werden: j=1 ) 2 min unter ( n n x j E(R j ) + αe x j (R j E(R j )) j=1 j=1 n x j = 1, x j, j = 1,..., n. j=1 ) 2 Hierin bezeichnet α > einen Gewichtungsparameter, mit dem die Risikobereitschaft gesteuert werden kann. Mit α = wird der Varianzterm in der Zielfunktion eliminiert, so daß nur noch der Gewinn maximiert wird. Dies entspricht einer hohen Risikobereitschaft. Mit wachsendem α wird der Varianzterm stärker gewichtet und die Risikobereitschaft sinkt. Beispiel 1..6 (Parameteridentifizierung) Ein Experiment liefert die Meßpunkte (t i, y i ), i = 1,..., m. Der dem Experiment zu Grunde liegende Vorgang werde durch die Funktion f(t, p) modelliert, die einen funktionalen Zusammenhang zwischen den Meßstellen t i und den Meßwerten y i herstellt. Allerdings hängt die Funktion auch noch vom unbekannten Parameter p R np ab. In der Praxis sind die Meßwerte verrauscht bzw. fehlerbehaftet, so daß es in der Regel keinen Parameter p

14 8 KAPITEL 1. EINLEITUNG gibt, der die Meßpunkte exakt reproduziert. Daher wird versucht, die Meßpunkte so gut wie möglich zu approximieren, indem 1 2 m (y i f(t i, p)) 2 i=1 bezüglich p minimiert wird. Häufig sind zusätzlich noch Nebenbedingungen an den Parameter p gegeben. Wir betrachten ein Zahlenbeispiel. Die Meßpunkte t i y i sollen durch die Funktion f(t, p 1, p 2 ) = exp(p 1 t) cos(p 2 t) wiedergegeben werden. Die Abbildungen zeigen die zu minimierende Funktion g(p 1, p 2 ) = i=1 (y i f(t i, p 1, p 2 )) 2 und deren Höhenlinien.

15 p_ p_ p_1 2 3 p_1 3 3 Die Fehlerfunktion zeigt, daß es Bereiche mit sehr steilen Flanken und sehr flache Täler gibt. Anwendung eines SQP-Verfahrens liefert das folgende Resultat SQP VERSION 1.1 (C) Matthias Gerdts, University of Bayreuth, NUMBER OF VARIABLES : 2 NUMBER OF CONSTRAINTS : METHOD : SEQUENTIAL QUADRATIC PROGRAMMING (SQP) MERIT FUNCTION : AUGMENTED LAGRANGIAN MULTIPLIER UPDATE RULE : SCHITTKOWSKI OR OPTIMALITY TOLERANCE :.149E-7 FEASIBILITY TOLERANCE :.1E-11 LINE SEARCH PARAMETER : SIGMA=.1E+ BETA=.9E+ MAXIMUM NUMBER OF ITERATIONS : 1 INFINITY :.1E+21 ROUNDOFF TOLERANCE :.3E-12 REAL WORK SPACE PROVIDED : 5338 NEEDED : 5 INTEGER WORK SPACE PROVIDED : 82 NEEDED : ITER QPIT ALPHA OBJ NB KKT PEN D DELTA RDELTA F/G E E+1.E+.4961E+1.E+.E+.E+.1E+1 1/ i E E+1.E+.6195E+1.E+.568E+1.E+.1E+1 1/ 2 1.1E E+.E+.2952E+1.E+.2958E+1.E+.1E+1 11/ E E+.E+.1755E+1.E+.169E+1.E+.1E+1 27/ 4 1.1E E-1.E+.1589E+.E+.2781E+.E+.1E+1 28/ 5 1.1E E-1.E+.7956E-1.E+.8876E-2.E+.1E+1 29/ 6 1.1E E-1.E+.1468E-1.E+.1593E-1.E+.1E+1 3/ 7 1.1E E-1.E+.1579E-1.E+.1675E-1.E+.1E+1 31/ 8 1.1E E-1.E+.3616E-2.E+.1358E-1.E+.1E+1 32/ 9 1.1E E-1.E+.7891E-3.E+.9467E-3.E+.1E+1 33/ 1 1.1E E-1.E+.559E-4.E+.1286E-3.E+.1E+1 34/ E E-1.E+.1533E-5.E+.319E-4.E+.1E+1 35/ E E-1.E+.7265E-7.E+.162E-5.E+.1E+1 36/ E E-1.E+.946E-9.E+.244E-7.E+.1E+1 37/ KKT CONDITIONS SATISFIED (IER= )! SOLUTION: OBJ = KKT = CON = X = E E-9.E E E+ Schließlich ergibt sich die Funktion f aus den identifizierten Parametern:

16 1 KAPITEL 1. EINLEITUNG Lineare Optimierungsprobleme stellen einen wichtigen Spezialfall des Standard- Optimierungsproblems dar. Wir konzentrieren uns hier auf die folgende Klasse von linearen Optimierungsproblemen, die wie wir später sehen werden durch geeignete Transformationstechniken stets erreicht werden kann. Lineares Optimierungsproblem (LOP): Minimiere c x unter den Nebenbedingungen Ax b, x. Darin seien x, c R n und b R m Vektoren und A R m n eine Matrix. Die Ungleichungen und angewendet auf Vektoren sind hier jeweils komponentenweise zu verstehen, d.h. für x = (x 1,..., x n ) R n gilt x x i, i = 1,..., n. ( ) Natürlich ist (LOP) ein Spezialfall von (SOP) mit f(x) = c Ax b x und g(x) =. x Dieser ist jedoch in der Praxis sehr wichtig und tritt häufig auf, so daß es lohnenswert ist, speziell zugeschnittene Algorithmen zu konstruieren. Beispiel 1..7 (Lineares Optimierungsproblem) Ein Landwirt bewirtschaftet ein Grundstück von 4 Hektar Größe mit Zuckerrüben und

17 11 Weizen. Er kann hierzu 24 Euro und 312 Arbeitstage einsetzen. Pro Hektar betragen seine Anbaukosten bei Rüben 4 Euro und bei Weizen 12 Euro. Für Rüben benötigt er 6 Arbeitstage, für Weizen 12 Arbeitstage pro Hektar. Der Reingewinn bei Rüben sei 1 Euro pro Hektar, bei Weizen sei er 25 Euro pro Hektar. Mathematische Formulierung: Wir bezeichnen mit x 1 die Fläche, die mit Rüben bepflanzt wird und mit x 2 die Fläche, die mit Weizen bepflanzt wird. Der zu maximierende Gewinn lautet f(x 1, x 2 ) = 1x x 2. Aus der Aufgabenstellung lassen sich folgende Beschränkungen ableiten: Grundstücksgröße: g 1 (x 1, x 2 ) := x 1 + x 2 4 Geld: g 2 (x 1, x 2 ) := 4x x 2 24 Arbeitstage: g 3 (x 2, x 2 ) := 6x x keine negativen Flächen: x 1, x 2 Der zulässige Bereich des Optimierungsproblems ist durch den schraffierten Bereich in der folgenden Abbildung gegeben. Die rote Gerade stellt die Höhenlinie der Zielfunktion zum Niveau 35, die grüne diejenige zum Niveau 55 dar.

18 12 KAPITEL 1. EINLEITUNG x g 2 : 4x x 2 = 24 f : 1x x 2 = 55 g 3 : 6x x 2 = f : 1x x 2 = 35 g 1 : x 1 + x 2 = 4 Beobachtungen: Die Höhenlinien einer affin linearen Funktion sind Geraden! Der zulässige Bereich eines linearen Optimierungsproblems ist konvex. Ein Menge M R n heißt konvex, falls mit zwei Punkten stets auch deren gesamte Verbindungsstrecke zu M gehört, also x, y M λx + (1 λ)y M für alle λ 1. Konvexe und nicht konvexe Menge

19 13 Lineare Optimierungsprobleme lassen sich grafisch lösen, indem die Höhenlinie der Zielfunktion in Richtung wachsender Niveaus (bei Maximierungsaufgaben) bzw. fallender Niveaus (bei Minimierungsaufgaben) bis an den Rand des zulässigen Bereichs verschoben wird. Durch Ablesen ergibt sich hier die grafische Lösung x 1 = 3, x 2 = 1 mit Zielfunktionswert f(x 1, x 2 ) = 55. Das Optimum wird (auch) in einer Ecke angenommen. Beispiel 1..8 (Transportproblem) Ein Transportunternehmer hat m Vorratslager, aus denen n Verbraucher mit einem Produkt beliefert werden können. Die Lieferkosten von Lager i zu Verbraucher j betragen c ij Einheiten pro Produkteinheit. In Lager i sind a i Einheiten des Produktes vorrätig. Verbraucher j hat einen Bedarf von b j Einheiten. Um die Kunden nicht zu verärgern, muß der Lieferant den Bedarf der Kunden befriedigen. Andererseits möchte der Lieferant seine Lieferkosten minimieren. a 1 Lieferung b 1 Vorratslager a 2 Verbraucher b n a m Bezeichnet x ij die Liefermenge von Lager i zu Verbraucher j, so führt das Problem auf das folgende Transportproblem, welches ein spezielles lineares Optimierungsproblem ist: Minimiere unter m n c ij x ij i=1 j=1 n x ij a i, i = 1,..., m, j=1 m x ij b j, j = 1,..., n, i=1 x ij, i = 1,..., m, j = 1,..., n.

20 14 KAPITEL 1. EINLEITUNG Die erste Nebenbedingung besagt, daß aus Lager i maximal a i Einheiten abtransportiert werden können. Die zweite Nebenbedingung besagt, daß der Bedarf b j befriedigt werden muß. Die letzte Nebenbedingung verbietet negative Liefermengen. In der Praxis treten auch Probleme mit diskreten Optimierungsvariablen auf. Ganzzahliges Optimierungsproblem (GOP): Minimiere f(x) unter den Nebenbedingungen g i (x), i = 1,..., m, h j (x) =, j = 1,..., p, x Z. Darin seien f : Z R, g i : Z R, i = 1,..., m und h j : Z R, j = 1,..., p Funktionen. Der Unterschied zum Standard-Optimierungsproblem (SOP) liegt in der zusätzlichen Forderung x Z (anstatt x R!). Beispiel 1..9 (Rucksackpackproblem) Gegeben seien ein Rucksack und N Gegenstände. Gegenstand j wiegt a j und hat den Wert c j für j = 1,..., N. Die Aufgabe besteht darin, einen Rucksack mit maximalem Wert zu packen, wobei das Gewicht kleiner oder gleich einer oberen Schranke A bleiben muß. Dies

21 15 führt auf das folgende ganzzahlige Optimierungsproblem: max f(u 1,..., u N ) = N c j u j j=1 unter N a j u j A, u j {, 1}, j = 1,..., N. j=1 Die Optimierungsvariable u j besitzt dabei die folgende Bedeutung: { 1, Gegenstand j wird eingepackt, u j =, Gegenstand j wird nicht eingepackt. Hierbei handelt es sich um ein Optimierungsproblem mit binären Optimierungsvariablen, d.h. die Optimierungsvariablen u j dürfen nur die Werte oder 1 annehmen. Bei den bisherigen Problemen durften die Optimierungsvariablen stets beliebige reelle Werte annehmen! Derartige Rucksackpackprobleme treten beispielsweise in der Personaleinsatzplanung auf: Ein Manager soll Mitarbeiter für ein Projekt auswählen. Es stehen vier geeignete Mitarbeiter zur Auswahl. Jedem wird eine Zahl zugeordnet, die die Leistungsfähigkeit des Mitarbeiters beschreibt. Die Werte sind 3, 5, 2 und 4. Die Kosten zur Beschäftigung der jeweiligen Mitarbeiter betragen 3, 5, 2 und 4 Geldeinheiten. Der Manager hat maximal 9 Geldeinheiten an Personalkosten zur Verfügung. Welche Mitarbeiter soll er für das Projekt auswählen? Das Problem ist ein Rucksackpackproblem. Die Mitarbeiter 1-4 entsprechen den N = 4 Gegenständen, die in den Rucksack gepackt werden können. Die Personalkosten a j, j = 1,..., N entsprechen den Gewichten der Gegenstände und die Leistungsfähigkeit entspricht dem Wert c j des jeweiligen Mitarbeiters. Der Höchstbetrag A legt das maximale Gewicht des Rucksacks fest. Die Aufgabe besteht in der Bestimmung eines Rucksacks mit maximalem Wert unter Beachtung der Beschränkung für das Gewicht. Die Darstellung der verschiedenen Optimierungsprobleme ist nicht vollständig. So gibt es beispielsweise auch unendlichdimensionale Optimierungsprobleme, Vektoroptimierungsprobleme sowie Mischformen der oben dargestellten Problemformen. In dieser Vorlesung beschäftigen wir uns hauptsächlich mit unrestringierten Optimierungsproblemen (UOP), linearen Optimierungsproblemen (LOP) und ganzzahligen Optimierungsproblemen (GOP).

22 Kapitel 2 Lineare Optimierung In diesem Kapitel werden lineare Optimierungsprobleme diskutiert. Wir betrachten dabei zwei standardisierte Darstellungen linearer Optimierungsprobleme: die Normalform und die Standardform. Beide Darstellungen sind äquivalent, d.h. sie können durch geeignete Transformationen ineinander überführt werden. Die Normalform eignet sich jedoch besser für die geometrische Darstellung, während die Standardform vorteilhaft für die numerische Behandlung ist. 2.1 Geometrie linearer Optimierungsprobleme Für die geometrische Betrachtung linearer Optimierungsprobleme betrachten wir die folgende Normalform: Problem (Lineares Optimierungsproblem in Normalform) Gegeben seien Vektoren c = (c 1,..., c n ) R n und b = (b 1,..., b m ) R m, sowie die Matrix a 11 a 12 a 1n a A = 21 a 22 a 2n Rm n. a m1 a m2 a mn Das lineare Optimierungsproblem in Normalform lautet: Finde x = (x 1,..., x n ) R n, so daß die Zielfunktion n c i x i minimal wird unter den Nebenbedingungen n a ij x j b i, i = 1,..., m, j=1 i=1 x j, j = 1,..., n. In Kurzform: Minimiere c x unter den Nebenbedingungen Ax b, x. (2.1) 16

23 2.1. GEOMETRIE LINEARER OPTIMIERUNGSPROBLEME 17 Bemerkung Die Relationen, = und angewendet auf Vektoren x = (x 1,..., x n ) R n und y = (y 1,..., y n ) R n sind komponentenweise zu verstehen, z.b.: x y x i y i, i = 1,..., n. Bezeichnungen: Der zulässige Bereich des Problems ist gegeben durch die Menge M N := {x R n Ax b, x }. Es wird stets vorausgesetzt, daß M N nichtleer ist. Die Zeilenvektoren von A werden mit a i := (a i1,..., a in ) R n, i = 1,..., m, bezeichnet. Die Spaltenvektoren von A werden mit a j := (a 1j,..., a mj ) R m, j = 1,..., n, bezeichnet. Bevor wir uns mit der numerischen Lösung des Problems beschäftigen, betrachten wir das Problem geometrisch. Zunächst betrachten wir nur die i-te Zeile von Ax b, d.h. a i x = a i1x 1 + a i2 x a in x n b i. (2.2) Feststellungen: Die Menge H := {x R n a i x = b i } beschreibt eine sogenannte Hyperebene im R n, d.h. eine ebene Fläche der Dimension n 1. Sie kann auch als Höhenlinie zum Niveau b i der linearen Funktion a i x interpretiert werden. Im Spezialfall n = 2 ist H eine Gerade, für n = 3 eine Ebene. Die Hyperebene H unterteilt den R n in einen positiven Halbraum H + := {x R n a i x b i} und einen negativen Halbraum H := {x R n a i x b i}.

24 18 KAPITEL 2. LINEARE OPTIMIERUNG Anschaulich liegen die Halbräume H + und H auf verschiedenen Seiten der Hyperebene H. Die Nebenbedingung (2.2) liefert also gerade den negativen Halbraum H als zulässigen Bereich. Der Vektor a i R n ist ein Normalenvektor der Hyperfläche H, d.h. er steht senkrecht auf allen Vektoren in H. Dies ist leicht einzusehen. Seien zwei Punkte x, y H gegeben, d.h. a i x = b i = a i y. Subtraktion liefert a i (x y) = und somit steht a i senkrecht auf x y. Der Vektor a i ist der Gradient der linearen Funktion f(x) := a i in Richtung des steilsten Anstiegs von f im Punkt x. x und zeigt somit Abbildung 2.1 stellt die Geometrie einer einzelnen Nebenbedingung der Form (2.2) dar. H = {x a x = b} H = {x a x b} H + = {x a x b} a Abbildung 2.1: Geometrie einer affin-linearen Ungleichungsnebenbedingung a x b: Normalenvektor a, Hyperebene H und Halbräume H + und H. In (2.1) treten n + m solcher Nebenbedingungen auf, wobei die Nebenbedingungen x i bzw. x i, i = 1,..., n, auch von der Form sind. Der zulässige Bereich M N ergibt sich also als Durchschnitt über die negativen Halbräume der jeweiligen Nebenbedingungen. Eine solche Menge wird polyedrische Menge oder Polyeder genannt. Abbildung 2.2 verdeutlicht exemplarisch einige Situationen, die in der linearen Optimierung auftreten können. Es sind jeweils auch eine Höhenlinie einer möglichen Zielfunktion, sowie die optimalen Lösungen (falls existent) eingezeichnet.

25 2.1. GEOMETRIE LINEARER OPTIMIERUNGSPROBLEME 19 M N M N c c M N M N c c Abbildung 2.2: Geometrien des zulässigen Bereichs (grau), Höhenlinie einer zu minimierenden Zielfunktion c x (rot), optimale Lösung (blau). Der zulässige Bereich M N kann beschränkt (Abbildungen oben) oder unbeschränkt (Abbildungen unten) sein. Im beschränkten Fall existiert stets mindestens eine Lösung, da M N dann kompakt ist. Die Lösung kann eindeutig sein (Abbildungen links) oder mehrdeutig sein (Abbildung oben rechts). Die Abbildung unten links ist ein Beispiel dafür, daß eine optimale Lösung existiert, obwohl der zulässige Bereich unbeschränkt ist. Die Abbildung unten rechts skizziert den Fall, daß keine Optimallösung existiert. Beobachtung: Existiert eine optimale Lösung, so wird sie stets auch in einem Eckpunkt des zulässigen Bereichs angenommen. Den sogenannten Eckpunkten des zulässigen Bereichs kommt bei der Konstruktion des Simplexverfahrens eine besondere Bedeutung zu. Die formale geometrische Definition eines Eckpunkts bedeutet, daß ein Eckpunkt x sich nicht als echte Konvexkombination von zwei Punkten aus M N darstellen läßt: Definition (Eckpunkt) Sei M eine konvexe Menge. x M heißt Eckpunkt von M, wenn aus der Darstellung

26 2 KAPITEL 2. LINEARE OPTIMIERUNG x = λx 1 + (1 λ)x 2 mit < λ < 1 und x 1, x 2 M folgt, daß x 1 = x 2 = x ist. Satz (vgl. Satz in Neumann und Morlock [NM2]) Besitzt das Problem eine optimale Lösung, dann ist mindestens ein Eckpunkt von M N eine Lösung des Problems. Beweis: Der Beweis findet sich auf Seite 48 in Neumann und Morlock [NM2]. Gemäß Satz genügt es, die Eckpunkte des zulässigen Bereichs zu betrachten, um mindestens eine optimale Lösung zu erhalten. Auf dieser Tatsache basiert das Simplexverfahren, welches nacheinander benachbarte Eckpunkte berechnet! 2.2 Algebraische Charakterisierung von Eckpunkten Die geometrische Charakterisierung eines Eckpunktes in Definition ist leider nicht zielführend, wenn ein Eckpunkt explizit berechnet werden soll. Daher werden alternative Charakterisierungen eines Eckpunkts benötigt, die eine numerische Berechnung ermöglichen. Hierfür betrachten wir zunächst die Standardform linearer Optimierungsprobleme: Problem (Lineares Optimierungsproblem in Standardform) Gegeben seien Vektoren c = (c 1,..., c n ) R n und b = (b 1,..., b m ) R m, sowie die Matrix a 11 a 12 a 1n a A = 21 a 22 a 2n Rm n. a m1 a m2 a mn Das lineare Optimierungsproblem in Standardform lautet: Finde x = (x 1,..., x n ) R n, so daß die Zielfunktion n c i x i minimal wird unter den Nebenbedingungen n a ij x j = b i, i = 1,..., m, j=1 i=1 x j, j = 1,..., n. In Kurzform: Minimiere c x unter den Nebenbedingungen Ax = b, x. (2.3)

27 2.2. ALGEBRAISCHE CHARAKTERISIERUNG VON ECKPUNKTEN 21 Bemerkung Das Standardproblem ist in der Regel nur für den Fall m < n interessant. Ist A invertierbar und m = n, so ist x bereits durch x = A 1 b eindeutig festgelegt, so daß nichts zu optimieren ist. Im Fall m > n und Rang(A) = n besitzt das Gleichungssystem Ax = b höchstens eine Lösung x, so daß ebenfalls nichts zu optimieren ist. Es gelte im folgenden also stets m < n. Beachte, daß sich die Problemstellung in von der in nur durch die Gleichungsnebenbedingung in (2.3) unterscheidet. Tatsächlich können beide Problemstellungen ineinander überführt werden: (i) Transformation eines Problems in Normalform auf Standardform: Es sei ein Problem in Normalform (2.1) gegeben. Wir führen Schlupfvariablen y = (y 1,..., y m ) R m mit y i := b i n a ij x j, i = 1,..., m, j=1 bzw. y = b Ax ein. Mit ˆx := (x, y) R n+m, ĉ := (c, ) R n+m,  := (A I) R m (n+m) entsteht ein Problem in Standardform: Minimiere ĉ ˆx unter den Nebenbedingungen ˆx = b, ˆx. (ii) Transformation eines Problems in Standardform auf Normalform: Es sei ein Problem in Standardform (2.3) gegeben. Wir können die Gleichungen Ax = b auch schreiben als die zwei Ungleichungen Ax b und Ax b. Mit ( ) ( ) A  := R 2m n b, ˆb := R 2m A b entsteht ein Problem in Normalform: Minimiere ĉ x unter den Nebenbedingungen Âx ˆb, x. Der folgende Satz stellt einen wichtigen Zusammenhang zwischen den Eckpunkten der Normalform und den Eckpunkten des in (i) auf Standardform transformierten Problems fest.

28 22 KAPITEL 2. LINEARE OPTIMIERUNG Satz Sei A IR m n, M N = {x IR n Ax b, x } und {( ) } x ˆM = IR n+m Ax + y = b, x, y. y ( Dann ist x M N genau dann Eckpunkt von M N, wenn ist. ( ) x Beweis: x Ecke von M N Ecke von ˆM. b Ax Diese Aussage ist äquivalent ( mit ) x x keine Ecke von M N keine Ecke von ˆM b Ax Sei x keine Ecke von M N. Dann gibt es eine Darstellung ) x b Ax Eckpunkt von ˆM x = λx 1 + (1 λ)x 2 mit < λ < 1, x 1 x 2. (2.4) Es ist b Ax = λb + (1 λ)b λax 1 (1 λ)ax 2 = λ(b Ax 1 ) + (1 λ)(b Ax 2 ) Es folgt ( mit ( x b Ax x 1 b Ax 1 ) ) ( x 1 ) = λ +(1 λ), < λ < 1 (2.5) b Ax 1 b Ax 2 } {{ } } {{ } ( x 2 ˆM b Ax 2 ), d.h. ( ( x b Ax x 2 ˆM ) ) ist keine Ecke von ˆM. Es gelte (2.5). Insbesondere folgt, daß x 1 x 2 gilt und x 1, x 2 M N. Die erste Zeile in (2.5) liefert (2.4). Damit ist x keine Ecke von M N. Wir betrachten nun den zulässigen Bereich des Standardproblems 2.2.1: M S := {x R n Ax = b, x }. Desweiteren sei x = (x 1,..., x n ) ein Punkt in M S. Die Indizes der positiven Komponenten von x seien in der Indexmenge B {1,..., n} und die Indizes der Nullkomponenten

29 2.2. ALGEBRAISCHE CHARAKTERISIERUNG VON ECKPUNKTEN 23 von x in der Indexmenge N = {1,..., n} \ B zusammengefaßt, d.h. es gilt x j > für j B und x j = für j N. Dann gilt n b = Ax = a j x j = a j x j. j B j=1 Dies ist ein lineares Gleichungssystem für die Komponenten x j, j B. Es besitzt eine eindeutige Lösung, wenn die Spaltenvektoren a j, j B, linear unabhängig sind. In diesem Fall heißt x zulässige Basislösung. Definition (zulässige Basislösung) Sei A R m n, b R m und M S = {x R n Ax = b, x }. Ein Punkt x M S heißt zulässige Basislösung, wenn die zu positiven Komponenten von x gehörenden Spaltenvektoren von A linear unabhängig sind, d.h. {a j x j > } ist linear unabhängig. Der folgende Satz stellt den entscheidenden Zusammenhang zwischen einer zulässigen Basislösung und einem Eckpunkt her: die beiden Begriffe sind äquivalent! Satz x M S ist genau dann Eckpunkt von M S, wenn x zulässige Basislösung ist. Beweis: Wegen Ax = λax 1 + (1 λ)ax 2 = λb + (1 λb = b und λx, (1 λ)x für λ 1 und x 1, x 2 M S ist M S konvex. Sei x Eckpunkt. O.B.d.A. sei x = (x 1,..., x r,,..., ) R n mit x i > für i = 1,..., r. Wir nehmen an, daß a j, j = 1,..., r linear abhängig seien. Dann gibt es α j, j = 1,..., r nicht alle Null mit Seien r α j a j =. j=1 y + = (x 1 + εα 1,..., x r + εα r,,..., ) y = (x 1 εα 1,..., x r εα r,,..., ) { } xj mit < ε < min α j α j, 1 j r. Es ist y +, y aufgrund der Wahl von ε. Außerdem sind y + und y zulässig, da r r r Ay ± = (x j ± εα j )a j = x j a j ± ε α j a j = b. j=1 j=1 j=1 } {{ } =, lin. abh.

30 24 KAPITEL 2. LINEARE OPTIMIERUNG Also gilt y +, y M S, aber (y + + y )/2 = x. Dies ist ein Widerspruch dazu, daß x Eckpunkt ist, da x hier als echte Konvexkombination von Punkten aus M S dargestellt ist. O.B.d.A. sei x = (x 1,..., x r,,..., ) M S mit x j > und a j linear unabhängig für j = 1,..., r. Seien y, z M S und x = λy + (1 λ)z, < λ < 1. Aus x j >, 1 j r folgt, daß y j > oder z j > für alle 1 j r gelten muß. Aus x j = für j = r + 1,..., n folgt, daß y j = z j = für r + 1 j n gilt. Aus b = Ay = Az folgt = A(y z) = r j=1 (y j z j )a j. Aus der linearen Unabhängigkeit von a j folgt y j z j = für j = 1,..., r. Wegen y j = z j = für j = r + 1,..., n gilt y = z. Somit ist x Eckpunkt. Bemerkung Es können auch Probleme mit freien Optimierungsvariablen der Form Minimiere c x unter der Nebenbedingung Ax b (2.6) auf Normalform (bzw. Standardform) transformiert werden. Dazu stellen wir x dar als x := x + x mit Vektoren x + und x. Eine solche Zerlegung ist stets möglich, aber nicht eindeutig (Warum?). Indem wir x in (2.6) durch x + x ersetzen, erhalten wir das äquivalente lineare Optimierungsproblem Minimiere c (x + x ) unter den Nebenbedingungen A(x + x ) b, x +, x. Mit ˆx := (x +, x ) R 2n, ĉ := (c, c) R 2n,  := (A A) R m 2n entsteht ein Problem in Normalform: Minimiere ĉ ˆx unter den Nebenbedingungen ˆx b, ˆx. 2.3 Das primale Simplexverfahren Wir haben in Satz gesehen, daß ein Eckpunkt algebraisch über linear unabhängige Spalten von A charakterisiert werden kann. Laut Satz genügt es, die Eckpunkte des zulässigen Bereichs zu berechnen, um mindestens eine optimale Lösung falls eine solche existiert zu erhalten. Darauf basiert das Simplexverfahren. Im folgenden wird häufig folgende Notation verwendet. Sei B {1,..., n} eine Indexmenge und x = (x 1,..., x n ) ein Vektor. Dann bezeichnet x B den Vektor mit Komponenten

31 2.3. DAS PRIMALE SIMPLEXVERFAHREN 25 x i, i B. Ist A eine m n-matrix, so bezeichnet A B diejenige Matrix, die aus den Spalten a j, j B, von A besteht. Konkretes Beispiel: 1 ( ) ( ) ( ) 1 x = 3, A = , B = {2, 4} x B =, A B = Wir benötigen noch weitere Bezeichnungen. Definition (Basis) Es sei Rang(A) = m und x sei zulässige Basislösung für das Standardproblem Jedes System {a j j B} von m linear unabhängigen Spaltenvektoren von A, welches die Spaltenvektoren a j mit x j > enthält, heißt Basis von x. ((Nicht-)Basisindexmenge, (Nicht-)Basismatrix, (Nicht-)Basisvariable) Sei {a j j B} Basis von x. Die Indexmenge B heißt Basisindexmenge, die Indexmenge N := {1,..., n} \ B heißt Nichtbasisindexmenge, die Matrix A B := (a j ) j B heißt Basismatrix, die Matrix A N := (a j ) j N heißt Nichtbasismatrix, der Vektor x B := (x j ) j B heißt Basisvariable und der Vektor x N := (x j ) j N heißt Nichtbasisvariable. Wir verdeutlichen die Begriffe im folgenden Beispiel. Beispiel Gegeben seien die Nebenbedingungen x 1 + 4x 2 24, 3x 1 + x 2 21, x 1 + x 2 9, x 1, x 2. Durch Einführung von Schlupfvariable x 3, x 4, x 5 erhalten wir die Nebenbedingungen in Standardform Ax = b, x mit A = , b = , x = x 1 x 2 x 3 x 4 x 5.

32 26 KAPITEL 2. LINEARE OPTIMIERUNG Die Projektion des zulässigen Bereichs M S = {x R 5 Ax = b, x } auf die (x 1, x 2 )- Ebene ergibt sich wie folgt: x 2 3x 1 + x 2 = 21 (, 6) (4, 5) (6, 3) x 1 + x 2 = 9 x 1 + 4x 2 = 24 (, ) (7, ) (i) Betrachte x = (6, 3, 6,, ) M S. Die ersten drei Komponenten sind positiv und die zugehörigen Spalten von A, nämlich 3, 1 und, sind linear 1 1 unabhängig. x ist also zulässige Basislösung und nach Satz Eckpunkt. Wir erhalten die Basis , 1, 1 1 mit Basisindexmenge B = {1, 2, 3}, Nichtbasisindexmenge N = {4, 5}, Basisvariable x B = (6, 3, 6), Nichtbasisvariable x N = (, ) und Basismatrix bzw. Nichtbasismatrix A B := 3 1, A N := (ii) Übung: Betrachte wie in (i) die übrigen Eckpunkte, die jeweils durch (x 1, x 2 ) = (, ), (x 1, x 2 ) = (, 6), (x 1, x 2 ) = (7, ) und (x 1, x 2 ) = (4, 5) festgelegt sind. x 1 Der schematische Ablauf des Simplexverfahrens lautet wie folgt:

33 2.3. DAS PRIMALE SIMPLEXVERFAHREN 27 () Phase 1: Bestimme eine zulässige Basislösung (Eckpunkt) x = x [] mit Basisindexmenge B [], Nichtbasisindexmenge N [], Basisvariable x B [] und Nichtbasisvariable x N [] =. (1) Phase 2: Bestimme solange benachbarte zulässige Basislösungen (Eckpunkte) x = x [j] mit x B [j] und x N [j] = und Basis- bzw. Nichtbasisindexmengen B [j] und N [j], j = 1, 2,..., bis entweder ein Optimum erreicht ist, oder bis entschieden werden kann, daß das Problem keine Lösung besitzt Basiswechsel beim Simplexverfahren In diesem Abschnitt wird auf die Konstruktion einer benachbarten zulässigen Basislösung x [j+1] in Phase 2 des Simplexverfahrens eingegangen, wenn eine zulässige Basislösung x [j] gegeben ist. Ausgehend von Basis- bzw. Nichtbasisindexmengen B [j] und N [j] in Iteration j des Simplexverfahrens werden neue Indexmengen B [j+1] = ( B [j] \ {p} ) {q}, N [j+1] = ( N [j] \ {q} ) {p} konstruiert, wobei p B [j] und q N [j] geeignet gewählte Indizes sind. Da hier lediglich der Basisindex p und der Nichtbasisindex q gegeneinander ausgetauscht werden, spricht man auch von einem Basiswechsel. Die Indizes p und q werden dabei nicht beliebig gewählt, sondern so, daß die folgenden beiden Mindestanforderungen erfüllt sind: (i) Zulässigkeit: Mit x [j] M S muß auch x [j+1] M S gelten, d.h Ax [j] = b, x [j] Ax [j+1] = b, x [j+1] (ii) Abstiegseigenschaft: Der Zielfunktionswert fällt monoton, d.h. c x [j+1] c x [j]. Voraussetzungen: Wir setzen im folgenden stets voraus, daß Rang(A) = m gilt. Dies ist keine wesentliche Einschränkung, sondern schließt lediglich überflüssige Nebenbedingungen aus (Warum?). Zur Vereinfachung der Notation sei B := B [j], N := N [j], x := x [j], B + := B [j+1], N + := N [j+1] und x + := x [j+1]. Der Zusatz + bezieht sich also stets auf die neue Basis.

34 28 KAPITEL 2. LINEARE OPTIMIERUNG Es sei eine Basis mit Basisindexmenge B gegeben, mithin ist A B invertierbar. Dann kann die Nebenbedingung Ax = b nach den Basisvariablen x B aufgelöst werden: Ax = A B x B + A N x N = b x B = A 1 B } {{ } b =β Einsetzen in die Zielfunktion liefert die Darstellung A 1 B A N } {{ } =Γ x N =: β Γx N. (2.7) c x = c B x B + c N x N = c B }{{} β (c B Γ c N ) x } {{ } N =: d ζ x N. (2.8) =d =ζ Für eine zulässige Basislösung x gilt x N = in (2.7) und (2.8) und somit x B = β, x N =, c x = d. (2.9) Bezeichnungen: β = (β i ) i B, ζ = (ζ j ) j N, Γ = (γ ij ) i B,j N. Wir wollen nun die Basis abändern, um zu einer benachbarten Basis zu gelangen. Dazu wird die Kantenhalbgerade z(t) = x + ts, t, (2.1) mit noch zu bestimmender Suchrichtung s und Schrittweite t betrachtet, vgl. Abbildung 2.3. x + x s z(t) Abbildung 2.3: Idee des Basiswechsels beim Simplexverfahren: Es wird entlang einer Kante gesucht, so daß die Zielfunktion monoton fällt. Die Suchrichtung s wird speziell so gewählt, daß lediglich eine Nichtbasisvariable x q mit geeignetem q N abgeändert wird, während die übrigen Nichtbasisvariablen mit x j =, j N, j q, unverändert bleiben. Für einen geeigneten Index q N gelte also s q := 1, s j := für j N, j q, (2.11)

35 2.3. DAS PRIMALE SIMPLEXVERFAHREN 29 und somit z q (t) = t, z j (t) = für j N, j q. (2.12) Natürlich sollen die Werte z(t) darüber hinaus auch zulässig sein, d.h. wie in (2.7) muß gelten Auflösen ergibt b = Az(t) = }{{} Ax +tas = As = A B s B + A N s N. =b s B = Γs N, (2.13) so daß die Suchrichtung s mit (2.11) und (2.13) vollständig festgelegt ist. Die Zielfunktionswerte berechnen sich zu c z(t) (2.1) = c x + tc s (2.9) = d + tc Bs B + tc Ns N (2.13) = d t ( c BΓ c N) sn = d tζ s N (2.11) = d tζ q. (2.14) Aus dieser Darstellung läßt sich sofort ablesen, daß der Zielfunktionswert entlang der Richtung s für t abnimmt, wenn ζ q > gilt. Gilt andererseits ζ j für alle j N, so ist entlang s kein Abstieg in der Zielfunktion möglich. Es bleibt zu klären, ob es dann möglicherweise andere Punkte gibt, die nicht auf der Kantenhalbgeraden z liegen, und einen kleineren Zielfunktionswert annehmen. Dies ist nicht der Fall, denn für beliebiges ˆx M S gilt ˆx und A B ˆx B + A N ˆx N = b bzw. ˆx B = β Γˆx N. Aus ζ j und ˆx N folgt c ˆx = c B ˆx B + c N ˆx N = c B β (c B Γ c N )ˆx N = d ζ ˆx N d = c x. Damit ist die aktuelle Basislösung x bereits optimal. Wir fassen zusammen: Zwischenresultat zur Wahl der Pivotspalte q: Um die Abstiegseigenschaft in (ii) zu erreichen, muß ein Index q N mit ζ q > gewählt werden. Gilt ζ j für alle j N, so ist die aktuelle Basislösung x optimal. Nun wird versucht, die Zulässigkeitsbedingung in (i) zu erfüllen. Es muß gelten z B (t) = x B + ts B (2.13) = β tγs N

36 3 KAPITEL 2. LINEARE OPTIMIERUNG bzw. in Komponentenschreibweise z i (t) = β i t j N γ ij s j = β i tγ iq s q t }{{} =1 j N,j q (2.11) = β i γ iq t, i B. γ ij s j }{{} = Die Bedingungen β i γ iq t, i B, schränken die Schrittweite t ein. Wir diskutieren zwei Fälle: (a) Fall 1: Es gelte γ iq für alle i B. Wegen β i gilt dann z i (t) = β i γ iq t für alle t und alle i B. Mit anderen Worten: z(t) bleibt für alle t zulässig. Gilt nun zusätzlich ζ q >, so ist die Zielfunktion wegen (2.14) für t nicht nach unten beschränkt. Das lineare Optimierungsproblem besitzt keine Lösung! Zwischenresultat: Unlösbarkeit des linearen Optimierungsproblems Gilt für ein q N ζ q > und γ iq für alle i B, so besitzt das lineare Optimierungsproblem keine Lösung. Die Zielfunktion ist nach unten unbeschränkt. (b) Fall 2: Es gelte γ iq > für mindestens ein i B. Aus β i γ iq t folgt dann t β i γ iq. Diese Forderung schränkt die Schrittweite t ein. Zwischenresultat zur Wahl der Pivotzeile p: Die Zulässigkeit in (i) wird durch die Wahl eines Index p B mit t min := β { p βi } := min γiq >, i B γ pq γ iq erreicht Der Algorithmus Mit diesen Betrachtungen ist das Simplexverfahren definiert. Wir fassen alles in einem Algorithmus zusammen: Algorithmus (Primales Simplexverfahren)

37 2.3. DAS PRIMALE SIMPLEXVERFAHREN 31 () Phase 1: Bestimme eine zulässige Basislösung (Eckpunkt) x mit Basisindexmenge B, Nichtbasisindexmenge N, Basismatrix A B, Nichtbasismatrix A N, Basisvariable x B und Nichtbasisvariable x N = des Standardproblems mit Rang(A) = m. (1) Berechne Γ := A 1 B A N, β := A 1 B b und die reduzierten Kosten ζ := c B Γ c N. (2) Falls ζ j für alle j N gilt, so beende das Verfahren. Die aktuelle Basislösung x B = β, x N = ist optimal. Der Zielfunktionswert beträgt d = c B β. (3) Gibt es einen Index q mit ζ q > und γ iq für alle i B, so besitzt das lineare Optimierungsproblem keine Lösung. STOP. (4) Wähle einen Index q mit ζ q >. q legt die Pivotspalte fest. Wähle einen Index p mit { } β p βi = min γ pq γ iq >, i B. p legt die Pivotzeile fest. γ iq (5) Führe Basiswechsel durch: Setze B := (B \ {p}) {q} und N := (N \ {q}) {p}. (6) Gehe zu (1). Beispiel (vgl. Beispiel 2.3.2) Betrachte das Problem in Standardform Minimiere c x unter den Nebenbedingungen Ax = b, x mit den Daten (x 3, x 4, x 5 sind Schlupfvariable): c =, A = , b = , x = x 1 x 2 x 3 x 4 x 5. Eine zulässige Basislösung läßt sich hier direkt ablesen und ist durch die Basisindexmenge B = {3, 4, 5} charakterisiert. Iteration : Mit B = {3, 4, 5} und N = {1, 2} folgt A B = 1, A N = , c B =, c N = ( 2 5 )

38 32 KAPITEL 2. LINEARE OPTIMIERUNG und γ 31 γ 32 γ 41 γ 42 γ 51 γ 52 = , β 3 β 4 β 5 = Wir wählen den Index q = 2 N mit ζ q = 5 als Pivotspalte und berechnen β 3 γ 32 = 24 = 6, 4 β 4 γ 42 = 21 = 21, β 5 1 γ 52 = 9 = 9. Damit ist die Pivotzeile p = 3 B festgelegt , ( ζ 1 ζ 2 ) = ( 2 5 ) Iteration 1: Basiswechsel liefert B = {2, 4, 5} und N = {1, 3} und es folgt ( ) 2 A B = 1 1, A N = 3, c B =, c N = und γ 21 γ 23 γ 41 γ 43 γ 51 γ 53 = , β 2 β 4 β 5 = , ( ζ 1 ζ 3 ) = 1 4 ( 3 5 ) Wir wählen den Index q = 1 N mit ζ q = 3/4 als Pivotspalte und berechnen β 2 γ 21 = 6 24, β 4 γ 41 = 15 = 6/11, β 5 11/4 γ 51 = 3 = 4. Damit ist die Pivotzeile p = 5 B festgelegt. 3/4 Iteration 2: Basiswechsel liefert B = {2, 4, 1} und N = {5, 3} und es folgt ( ) A B = 1 1 3, A N =, c B =, c N = und γ 25 γ 23 γ 45 γ 43 γ 15 γ 13 = , β 2 β 4 β 1 = 5 4 4, ( ζ 5 ζ 3 ) = ( 1 1 ) 1/4 = Wegen ζ < ist die aktuelle Basislösung x B = (x 2, x 4, x 1 ) = (5, 4, 4) = β, x N = (x 5, x 3 ) = (, ) optimal. Der Zielfunktionswert beträgt d = c B β = 33. Bemerkung Anstatt die Inverse A 1 B in Schritt (1) von Algorithmus explizit zu berechnen, werden die linearen Gleichungssysteme A B Γ = A N und A B β = b gelöst. Hierbei können effiziente numerische Verfahren (LR-Zerlegung, QR-Zerlegung, ggf. Verfahren zur Lösung von dünnbesetzten Gleichungssystemen) eingesetzt werden. Ebenso gibt es Update-Techniken zur effizienten Berechnung der erwähnten Zerlegungen beim Basiswechsel. Man spricht hier auch vom revidierten Simplexverfahren.

39 2.3. DAS PRIMALE SIMPLEXVERFAHREN Das Simplexverfahren in Tableauform Die Beziehungen x B = β Γx N, c x = d ζ x N, vgl. (2.7) und (2.8), werden häufig in einem sogenannten Tableau zusammengefaßt: x N x B Γ = (γ ij ) := A 1 B A N β := A 1 B b ζ := c B A 1 B A N c N d := c B A 1 B b Die aktuellen Werte der Variablen x lassen sich aus dem Tableau ablesen: x B = β, x N = und c x = d. Darüber hinaus kann das Tableau bei einem Basiswechsel sehr leicht aufdatiert werden. Für die neue Basislösung x B + = β + Γ + x N +, c x + = d + ζ + x N + gelten die folgenden Transformationsregeln, wobei Γ, β, ζ und d sich auf das alte Tableau beziehen (Beweis durch Einsetzen). Für i B + und j N + gelten: γ + ij = β + i = ζ + j = γ ij γ iqγ pj γ pq γ iq γ pq γ pj γ pq 1 { γ pq βi γ iqβ p β p γ pq γ pq { ζj ζqγ pj γ pq ζq γ pq d + = d ζqβp γ pq für i q, j p für i q, j = p für i = q, j p für i = q, j = p für i q für i = q für j p für j = p (2.15)

40 34 KAPITEL 2. LINEARE OPTIMIERUNG Das zugehörige neue Tableau lautet: x j, j N \ {q} x p x i, i B \ {p} γ ij γ iqγ pj γ pq γ iq γ pq β i γ iqβ p γ pq x q γ pj γ pq 1 γ pq β p γ pq ζ j ζqγ pj γ pq ζq γ pq d ζqβp γ pq Beispiel (vgl. Beispiele und 2.3.4) Betrachte das Problem in Standardform Minimiere c x unter den Nebenbedingungen Ax = b, x mit den Daten (x 3, x 4, x 5 sind Schlupfvariable): c =, A = , b = , x = x 1 x 2 x 3 x 4 x 5. Das Simplexverfahren liefert folgende Tableaus (eine Startbasislösung ist hier durch die Basisindexmenge B = {3, 4, 5} gegeben): STARTTABLEAU E+1.4E+1.24E+2 3.3E+1.1E+1.21E+2 4.1E+1.1E+1.9E E+1.5E+1.E+ PIVOTZEILE UND -SPALTE IN ITERATION 1: 3 2 PIVOTELEMENT A(P,Q): 4. TABLEAU E+.25E+.6E E E+.15E E+ -.25E+.3E+1 5

41 2.3. DAS PRIMALE SIMPLEXVERFAHREN E E+1 -.3E+2 PIVOTZEILE UND -SPALTE IN ITERATION 2: 5 1 PIVOTELEMENT A(P,Q):.75 TABLEAU E+.333E+.5E E+1.667E+.4E E E+.4E E+1 -.1E E DAS TABLEAU NR. 2 IST OPTIMAL OPTIMALE LOESUNG: ZIELFUNKTIONSWERT: -33. BASISVARIABLE: 2.5E+1 4.4E+1 1.4E+1 NICHTBASISVARIABLE: 5.E+ 3.E Phase 1 des Simplexverfahrens Zur Durchführung des Simplexverfahrens wird eine zulässige Basislösung benötigt. (a) Für lineare Optimierungsprobleme in Normalform mit b kann eine zulässige Basislösung sofort abgelesen werden. Die Einführung von Schlupfvariablen führt auf Ax + Iy = b, x, y. Da die Einheitsmatrix I invertierbar ist, ist eine zulässige Basislösung durch y = b, x = gegeben. (b) Für Probleme in Standardform kann eine zulässige Basislösung durch Lösen des Hilfsproblems m Minimiere e y = y i unter Ax + Iy = b, x, y (2.16) i=1 mit dem Simplexverfahren und mit e = (1,..., 1) R m gewonnen werden. Hierbei gelte o.b.d.a. b, was durch Multiplikation entsprechender Gleichungen in Ax = b mit 1 stets erreicht werden kann.

42 36 KAPITEL 2. LINEARE OPTIMIERUNG In diesem Fall kann für das Hilfsproblem (2.16) sofort eine zulässige Basislösung angegeben werden: y = b, x = mit Basismatrix I. Für das Hilfsproblem gilt: (i) Hat das Hilfsproblem die Lösung y =, so ist das zugehörige x eine zulässige Basislösung für das Ausgangsproblem. (ii) Besitzt das Hilfsproblem die optimale Lösung y und somit e y >, so ist dies gleichbedeutend damit, daß das Ausgangsproblem keinen zulässigen Punkt besitzt. Es kann der Fall eintreten, daß sich einige Komponenten von y bei Beendigung des Simplexverfahrens in der Basis befinden. In diesem Fall stellen die zu den Komponenten x i, i B, gehörenden Spalten keine komplette Basismatrix dar (es werden immer m Spalten benötigt) und müssen durch geeignete linear unabhängige Spalten a j von A mit j N zu einer vollständigen Basismatrix ergänzt werden. Beispiel (Bestimmung einer zulässigen Basislösung) Betrachte den zulässigen Bereich Ax = b, x mit den Daten : ( ) ( ) A =, b =, x = Eine zulässige Basislösung läßt sich hier nicht sofort ablesen, daher wird eine zulässige Basislösung durch Lösen des folgenden Hilfsproblems mit dem Simplexverfahren bestimmt: Minimiere y 1 + y 2 unter den Nebenbedingungen Ax + Iy = b, x, y = (y 1, y 2 ) und erhalten die Lösung (beachte: in der Rechnung wurde x 4 := y 1 und x 5 := y 2 gesetzt): TABLEAU E+1.1E+1.2E+1.1E E+1.1E+1.E+.1E E+.2E+1.2E+1.2E+1 PIVOTZEILE UND -SPALTE IN ITERATION 1: 5 2 PIVOTELEMENT GAMMA(P,Q): 1. TABLEAU E+1 -.1E+1.2E+1.E E+1.1E+1.E+.1E x 1 x 2 x 3.