Diskrete Optimierung (Einführung zur Vorlesung)

Transkript

1 Diskrete Optimierung (Einführung zur Vorlesung) Christoph Helmberg : [,]

2 Inhaltsübersicht Diskrete Optimierung. Das Heiratsproblem (ungerichtete Graphen).2 Ganzzahligkeit von Polyedern ( und gerichtete Graphen).3 Anwendung: Netzwerkflüsse.4 Mehrgüterflussprobleme.5 Ganzzahlige und Kombinatorische Optimierung.6 Branch-and-Bound.7 Konvexe Mengen, konvexe Hülle, konvexe Funktionen.8 Relaxation.9 Anwendung: Rundreiseprobleme (TSP).0 Finden guter Lösungen, Heuristiken. Gemischt-ganzzahlige Optimierung 2: 2 [2,2]

3 . Anwendung: Das Heiratsproblem (bipartites Matching) Bilde möglichst viele Paare! Männer Frauen, Arbeiter Maschinen, Studierende Studienplätze,... (geht auch gewichtet) 3: 3 [3,5]

4 . Anwendung: Das Heiratsproblem (bipartites Matching) Bilde möglichst viele Paare! Maximal (nicht vergrößerbar), aber kein Kardinalitätsmaximum Männer Frauen, Arbeiter Maschinen, Studierende Studienplätze,... (geht auch gewichtet) 3: 4 [3,5]

5 . Anwendung: Das Heiratsproblem (bipartites Matching) Bilde möglichst viele Paare! Maximum Cardinality Matching (sogar perfekt) Männer Frauen, Arbeiter Maschinen, Studierende Studienplätze,... (geht auch gewichtet) 3: 5 [3,5]

6 Bipartites Matching Ein (ungerichteter) Graph G = (V, E) ist ein Paar bestehend aus Knotenmenge V und Kantenmenge E {{u, v} : u, v V, u v}. Zwei Knoten u, v V heißen adjazent/benachbart, falls {u, v} E. Ein Knoten v V und eine Kante e E heißen inzident, falls v e. Zwei Kanten e, f V heißen inzident, falls e f. 4: 6 [6,8]

7 Bipartites Matching Ein (ungerichteter) Graph G = (V, E) ist ein Paar bestehend aus Knotenmenge V und Kantenmenge E {{u, v} : u, v V, u v}. Zwei Knoten u, v V heißen adjazent/benachbart, falls {u, v} E. Ein Knoten v V und eine Kante e E heißen inzident, falls v e. Zwei Kanten e, f V heißen inzident, falls e f. Eine Kantenmenge M E heißt Matching/Paarung, falls für e, f M mit e f stets e f =. Das Matching heißt perfekt, falls V = 2 M. 4: 7 [6,8]

8 Bipartites Matching Ein (ungerichteter) Graph G = (V, E) ist ein Paar bestehend aus Knotenmenge V und Kantenmenge E {{u, v} : u, v V, u v}. Zwei Knoten u, v V heißen adjazent/benachbart, falls {u, v} E. Ein Knoten v V und eine Kante e E heißen inzident, falls v e. Zwei Kanten e, f V heißen inzident, falls e f. Eine Kantenmenge M E heißt Matching/Paarung, falls für e, f M mit e f stets e f =. Das Matching heißt perfekt, falls V = 2 M. G = (V, E) heißt bipartit, falls V = V V 2 mit V V 2 = und E {{u, v} : u V, v V 2 }. 4: 8 [6,8]

9 Modellierung: kardinalitätsmaximales bipartites Matching gegeben: G = (V V 2, E) bipartit gesucht: Matching M E mit M maximal { falls e M Variablen: x {0, } E mit x e = (e E) 0 sonst. (steht für den Inzidenz-/charakteristischen Vektor von M bzgl. E) Nebenbedingung: Ax, wobei A {0, } V E Knoten-Kanten-Inzidenzmatrix zu G: A v,e = { falls v e 0 sonst. (v V, e E) A B C b c a d D E A = (a) (b) (c) (d) (A) 0 0 (B) (C) (D) (E) 0 5: 9 [9,0]

10 Modellierung: kardinalitätsmaximales bipartites Matching gegeben: G = (V V 2, E) bipartit gesucht: Matching M E mit M maximal { falls e M Variablen: x {0, } E mit x e = (e E) 0 sonst. (steht für den Inzidenz-/charakteristischen Vektor von M bzgl. E) Nebenbedingung: Ax, wobei A {0, } V E Knoten-Kanten-Inzidenzmatrix zu G: A v,e = Optimierungsproblem: { falls v e 0 sonst. (v V, e E) max T x s.t. Ax x {0, } E So kein LP! x {0, } E zu x [0, ] E vergrößern LP Für G bipartit gilt: Simplex liefert immer eine Optimallösung x {0, } E! (Für allgemeine Graphen G i.a. aber nicht!) 5: 0 [9,0]

11 Inhaltsübersicht Diskrete Optimierung. Das Heiratsproblem (ungerichtete Graphen).2 Ganzzahligkeit von Polyedern ( und gerichtete Graphen).3 Anwendung: Netzwerkflüsse.4 Mehrgüterflussprobleme.5 Ganzzahlige und Kombinatorische Optimierung.6 Branch-and-Bound.7 Konvexe Mengen, konvexe Hülle, konvexe Funktionen.8 Relaxation.9 Anwendung: Rundreiseprobleme (TSP).0 Finden guter Lösungen, Heuristiken. Gemischt-ganzzahlige Optimierung 6: [,]

12 .2 Ganzzahlige Polyeder Simplex liefert automatisch eine ganzzahlige Lösung, wenn alle Ecken der zulässigen Menge ganzzahlig sind. min c T x s.t. x X := {x 0 : Ax = b} Hat X nur ganzzahlige Ecken? 7: 2 [2,4]

13 .2 Ganzzahlige Polyeder Simplex liefert automatisch eine ganzzahlige Lösung, wenn alle Ecken der zulässigen Menge ganzzahlig sind. min c T x s.t. x X := {x 0 : Ax = b} Hat X nur ganzzahlige Ecken? Fast nie! Aber es gibt wichtige Klassen von Matrizen A Z m n, für die X für jedes (!) b Z m nur ganzzahlige Ecken hat: Eine Ecke ist ganzzahlig Basislösung x B = A B b Zm Wenn det(a B ) =, folgt mit der Cramer schen Regel x B Z m. 7: 3 [2,4]

14 .2 Ganzzahlige Polyeder Simplex liefert automatisch eine ganzzahlige Lösung, wenn alle Ecken der zulässigen Menge ganzzahlig sind. min c T x s.t. x X := {x 0 : Ax = b} Hat X nur ganzzahlige Ecken? Fast nie! Aber es gibt wichtige Klassen von Matrizen A Z m n, für die X für jedes (!) b Z m nur ganzzahlige Ecken hat: Eine Ecke ist ganzzahlig Basislösung x B = A B b Zm Wenn det(a B ) =, folgt mit der Cramer schen Regel x B Z m. Eine Matrix A Z m n mit vollem Zeilenrang heißt unimodular, falls det(a B ) = für jede Basis B erfüllt ist. Satz A Z m n ist genau dann unimodular, wenn für jedes b Z m alle Ecken des Polyeders X := {x 0 : Ax = b} ganzzahlig sind. Gilt das auch für X := {x 0 : Ax b}? 7: 4 [2,4]

15 Total unimodulare Matrizen {x 0 : Ax b} {[ x s ] [ x 0 : [A, I ] s ] } = b Sicher ganzzahlig, falls Ā = [A, I ] unimodular ist. Determinantenentwicklung nach Laplace für jede Basis B Eine Matrix A heißt total unimodular, falls für jede quadratische Untermatrix von A die Determinante den Wert 0, oder hat. (geht nur, wenn A {0,, } m n ) Satz (Hoffmann und Kruskal) A Z m n ist genau dann total unimodular, wenn für jedes b Z m alle Ecken des Polyeders X := {x 0 : Ax b} ganzzahlig sind. 8: 5 [5,5] Beachte: A tot. unimod. A T bzw. [A, A, I, I ] tot. unimod. Konsequenz: duales LP, Gleichungsvarianten, etc. sind ganzzahlig

16 Total unimodulare Matrizen erkennen Satz (Heller und Tompkins) A {0,, } m n habe höchstens zwei Einträge pro Spalte. A ist total unimodular Die Zeilen von A können in zwei Klassen eingeteilt werden, sodass (i) Zeilen mit einem + und einem Eintrag in derselben Spalte in dieselbe Klasse, (ii) Zeilen mit zwei vorzeichengleichen Einträgen in der gleichen Spalte in unterschiedliche Klassen kommen. Beispiel : die Knoten-Kanten-Inzidenzmatrix eines bipartiten Graphen A B C b c a d D E A = (a) (b) (c) (d) (A) 0 0 (B) (C) (D) (E) 0 9: 6 [6,6]

17 Beispiel : bipartite Graphen A... Knoten-Kanten-Inzidenzmatrix von G = (V V 2, E) bipartit Bipartites Matching maximaler Kardinalität: max T x s.t. Ax, x 0 Wegen A tot. unimod. hat die zul. Menge nur ganzzahlige Ecken Simplex liefert Optimallösung x {0, } E. Das Duale ist auch ganzzahlig, wegen A T tot. unimod.: min T y s.t. A T y, y 0 Interpretation: y {0, } V ist Inzidenzvektor einer kleinsten Knotenmenge V V, sodass e E : e V (Minimum Vertex Cover) Das Zuweisungsproblem: V = V 2 = n, vollständig bipartit: E = {{u, v} : u V, v V 2 }; Kantengewichte c R E Suche ein perfektes Matching minimalen Gesamtgewichts: min c T x s.t. Ax =, x 0 ist auch ganzzahlig, weil [A; A] tot. unimod. 0: 7 [7,7]

18 Beispiel 2: Knoten-Kanten-Inzidenzmatrix von Digraphen Ein Digraph/gerichteter Graph D = (V, E) ist ein Paar bestehend aus Knotenmenge V und einer (Multi-)Menge gerichteter Kanten/Pfeile E {(u, v) : u, v V, u v}. [Mehrfachkanten sind erlaubt!] Für e = (u, v) E ist u der Schaft und v die Spitze von e. Die Knoten-Kanten-Inzidenzmatrix A {0,, } V E von D hat Einträge v ist Schaft von e A v,e = v ist Spitze von e (v V, e E). 0 sonst Die Knoten-Kanten-Inzidenzmatrix eines Digraphen ist total unimodular. A a b c B C d D e A = f (a) (b) (c) (d) (e) (f ) (A) (B) (C) (D) : 8 [8,8]

19 Inhaltsübersicht Diskrete Optimierung. Das Heiratsproblem (ungerichtete Graphen).2 Ganzzahligkeit von Polyedern ( und gerichtete Graphen).3 Anwendung: Netzwerkflüsse.4 Mehrgüterflussprobleme.5 Ganzzahlige und Kombinatorische Optimierung.6 Branch-and-Bound.7 Konvexe Mengen, konvexe Hülle, konvexe Funktionen.8 Relaxation.9 Anwendung: Rundreiseprobleme (TSP).0 Finden guter Lösungen, Heuristiken. Gemischt-ganzzahlige Optimierung 2: 9 [9,9]

20 .3 Anwendung: Netzwerkflüsse Modellierungswerkzeug: Transportprobleme, Evakuierungspläne, Auftrags-, Verkehrsplanung,... Ein Netzwerk (D, w) besteht aus einem Digraphen D = (V, E) und (Kanten-)Kapazitäten w R E +. Ein Vektor x R E heißt Fluss auf (D, w), falls er die Flusserhaltungsgleichungen x e = x e (v V ) e=(u,v) E e=(v,u) E erfüllt. [ Ax = 0 für Knoten-Kanten-Inzidenzmatrix A] Ein Fluss x R E auf (D,w) heißt zulässig, falls 0 x w [auch untere Schranken machbar] Fluss zulässiger Fluss 3: 20 [20,20]

21 Maximale s-t-flüsse, Minimale s-t-schnitte Gegeben Quelle s V und Senke t V mit (t, s) E, finde einen zulässigen Fluss x R E auf (D, w) mit maximalem Flusswert x (t,s). s max a b 5 4 B c 2 C d d 7 f 9 t A = LP: max x (t,s) s.t. Ax = 0, 0 x w, (a) (b) (c) (d) (e) (f ) (s) (B) (C) (t) Falls w Z E, ist Simplex-OL x Z E, weil [A; A; I ] tot. unimod. 4: 2 [2,24]

22 Maximale s-t-flüsse, Minimale s-t-schnitte Gegeben Quelle s V und Senke t V mit (t, s) E, finde einen zulässigen Fluss x R E auf (D, w) mit maximalem Flusswert x (t,s). B s max C 7 9 t S = {s}, δ + (S) = {(s, B), (s, C)}, w(δ + (S)) = = 9. LP: max x (t,s) s.t. Ax = 0, 0 x w, Falls w Z E, ist Simplex-OL x Z E, weil [A; A; I ] tot. unimod. Jedes S V mit s S und t / S definiert einen s-t-schnitt δ + (S) := {(u, v) E : u S, v / S}, darüber fließt höchstens w(δ + (S)) := e δ + (S) w e, der Wert des Schnitts. 4: 22 [2,24]

23 Maximale s-t-flüsse, Minimale s-t-schnitte Gegeben Quelle s V und Senke t V mit (t, s) E, finde einen zulässigen Fluss x R E auf (D, w) mit maximalem Flusswert x (t,s). s max B 4 S = {s, B, C}, 7 2 t δ + (S) = {(B, t), (C, t)}, w(δ + (S)) = 7 + = 8. 5 C 9 LP: max x (t,s) s.t. Ax = 0, 0 x w, Falls w Z E, ist Simplex-OL x Z E, weil [A; A; I ] tot. unimod. Jedes S V mit s S und t / S definiert einen s-t-schnitt δ + (S) := {(u, v) E : u S, v / S}, darüber fließt höchstens w(δ + (S)) := e δ + (S) w e, der Wert des Schnitts. 4: 23 [2,24]

24 Maximale s-t-flüsse, Minimale s-t-schnitte Gegeben Quelle s V und Senke t V mit (t, s) E, finde einen zulässigen Fluss x R E auf (D, w) mit maximalem Flusswert x (t,s). s 4: 24 [2,24] max B 2 2 C LP: max x (t,s) s.t. Ax = 0, 0 x w, t S = {s, C}, δ + (S) = {(s, B), (C, B), (C, t)}, w(δ + (S)) = = 7= x (t,s) Falls w Z E, ist Simplex-OL x Z E, weil [A; A; I ] tot. unimod. Jedes S V mit s S und t / S definiert einen s-t-schnitt δ + (S) := {(u, v) E : u S, v / S}, darüber fließt höchstens w(δ + (S)) := e δ + (S) w e, der Wert des Schnitts. Satz (Max-Flow Min-Cut Theorem von Ford und Fulkerson) Der maximale Wert eines s-t-flusses ist gleich dem minimalen Werte eines s-t-schnitts. [beide durch Simplex bestimmbar]

25 Minimale-Kosten-Flüsse (Min-Cost-Flow) Die Flussmenge wird durch Balancen b R V ( T b = 0) auf den Knoten vorgegeben, pro Flusseinheit fallen Kantenkosten c R E an. Finde den günstigsten Fluss. 5 5: 25 [25,25] min [ ] x s.t x w LP: min c T x s.t. Ax = b, 0 x w, x = Für b, c und w ganzz. ist Simplex-OL x Z E, weil [A; A; I ] tot. unimod. [geht auch mit unteren Schranken auf den Kanten: u x w!] Für LPs min c T x s.t. Ax = b, u x w, A Knoten-Kanten-Inz. gibt es eine besonders effiziente Simplex-Variante, den Netzwerksimplex, dieser braucht nur Addition, Subtraktion und Vergleiche! Extrem breite Anwendungsmöglichkeiten, beliebtes Modellierungswerkzeug

26 Beispiel: Transportproblem Eine Firma mit mehreren Produktionsstandorten hat mehrere Kunden zu beliefern. Wie geschieht dies am günstigsten unter Berücksichtigung der Transportkosten? : 26 [26,26] Beachte: Nur ein Produkttyp!

27 Beispiel: Evakuierungsplanung Bestimme für jeden Raum den Fluchtweg, sodass das Gebäude schnellstmöglich geräumt ist. Pro Abschnitt sind Kapazität pro Zeiteinheit und Durchquerungszeit bekannt. 7: 27 [27,34]

28 Beispiel: Evakuierungsplanung Bestimme für jeden Raum den Fluchtweg, sodass das Gebäude schnellstmöglich geräumt ist. Pro Abschnitt sind Kapazität pro Zeiteinheit und Durchquerungszeit bekannt / /2 4/2 2/2 3/ 2/2 2/2 4 / / 2/ 40 /2 4 / 2/ / 3 4 Kanten mit Kapazität und Durchquerungszeit 7: 28 [27,34]

29 Beispiel: Evakuierungsplanung Bestimme für jeden Raum den Fluchtweg, sodass das Gebäude schnellstmöglich geräumt ist. Pro Abschnitt sind Kapazität pro Zeiteinheit und Durchquerungszeit bekannt. 4 / /2 / 4/2 4 2/2 4 / / 2/ 40 2/ / 4 /2 3 2/2 3/ / Geometrie nicht wichtig, vereinfachbar 7: 29 [27,34]

30 Beispiel: Evakuierungsplanung Bestimme für jeden Raum den Fluchtweg, sodass das Gebäude schnellstmöglich geräumt ist. Pro Abschnitt sind Kapazität pro Zeiteinheit und Durchquerungszeit bekannt. t=0 4 t= / /2 / 4/2 4 2/2 4 / / 2/ 40 2/ / 4 /2 3 2/2 3/ / t=2 Diskretisierung der Zeit, ein Niveau pro Zeiteinheit 7: 30 [27,34]

31 Beispiel: Evakuierungsplanung Bestimme für jeden Raum den Fluchtweg, sodass das Gebäude schnellstmöglich geräumt ist. Pro Abschnitt sind Kapazität pro Zeiteinheit und Durchquerungszeit bekannt. t=0 4 t= / /2 / 4/2 4 2/2 4 / / 2/ 40 2/ / 4 /2 3 2/2 3 t=2 3 Durchquerungszeit verbindet Niveaus, Kapazität bleibt 7: 3 [27,34]

32 Beispiel: Evakuierungsplanung Bestimme für jeden Raum den Fluchtweg, sodass das Gebäude schnellstmöglich geräumt ist. Pro Abschnitt sind Kapazität pro Zeiteinheit und Durchquerungszeit bekannt. t=0 4 t= t=2 / / 4 / / 2/ 2/2 40 2/ / 4 4/2 / Durchquerungszeit verbindet Niveaus, Kapazität bleibt 7: 32 [27,34]

33 Beispiel: Evakuierungsplanung Bestimme für jeden Raum den Fluchtweg, sodass das Gebäude schnellstmöglich geräumt ist. Pro Abschnitt sind Kapazität pro Zeiteinheit und Durchquerungszeit bekannt. t=0 4 t= t= Steigende Kosten auf den Ausgangskanten für rasches Verlassen 2 2 7: 33 [27,34]

34 Beispiel: Evakuierungsplanung Bestimme für jeden Raum den Fluchtweg, sodass das Gebäude schnellstmöglich geräumt ist. Pro Abschnitt sind Kapazität pro Zeiteinheit und Durchquerungszeit bekannt. t=0 4 t= t= Steigende Kosten auf den Ausgangskanten für rasches Verlassen Ansatz nur ok, wenn Personen nicht unterschieden werden müssen! 2 2 7: 34 [27,34]

35 Inhaltsübersicht Diskrete Optimierung. Das Heiratsproblem (ungerichtete Graphen).2 Ganzzahligkeit von Polyedern ( und gerichtete Graphen).3 Anwendung: Netzwerkflüsse.4 Mehrgüterflussprobleme.5 Ganzzahlige und Kombinatorische Optimierung.6 Branch-and-Bound.7 Konvexe Mengen, konvexe Hülle, konvexe Funktionen.8 Relaxation.9 Anwendung: Rundreiseprobleme (TSP).0 Finden guter Lösungen, Heuristiken. Gemischt-ganzzahlige Optimierung 8: 35 [35,35]

36 .4 Mehrgüterflussprobleme (Multicommodity Flow) In einem Neztwerk (D, w) sind für unterschiedliche Güter K = {,..., k} mit Quellen/Senken (s i, t i ) und Flusswerten f i, i K, zulässige Flüsse x (i) R E zu finden, die in Summe die Kapazitätsbedingungen einhalten. s s t t 9: 36 [36,43]

37 .4 Mehrgüterflussprobleme (Multicommodity Flow) In einem Neztwerk (D, w) sind für unterschiedliche Güter K = {,..., k} mit Quellen/Senken (s i, t i ) und Flusswerten f i, i K, zulässige Flüsse x (i) R E zu finden, die in Summe die Kapazitätsbedingungen einhalten. s s t t Mischen verboten! 9: 37 [36,43]

38 .4 Mehrgüterflussprobleme (Multicommodity Flow) In einem Neztwerk (D, w) sind für unterschiedliche Güter K = {,..., k} mit Quellen/Senken (s i, t i ) und Flusswerten f i, i K, zulässige Flüsse x (i) R E zu finden, die in Summe die Kapazitätsbedingungen einhalten. s s t t ganzz. geht nicht 9: 38 [36,43]

39 .4 Mehrgüterflussprobleme (Multicommodity Flow) In einem Neztwerk (D, w) sind für unterschiedliche Güter K = {,..., k} mit Quellen/Senken (s i, t i ) und Flusswerten f i, i K, zulässige Flüsse x (i) R E zu finden, die in Summe die Kapazitätsbedingungen einhalten. s s t t gebrochen geht 9: 39 [36,43]

40 .4 Mehrgüterflussprobleme (Multicommodity Flow) In einem Neztwerk (D, w) sind für unterschiedliche Güter K = {,..., k} mit Quellen/Senken (s i, t i ) und Flusswerten f i, i K, zulässige Flüsse x (i) R E zu finden, die in Summe die Kapazitätsbedingungen einhalten. s s Umsetzung s s t t gebrochen geht Kopie t t Kopie 2 9: 40 [36,43]

41 .4 Mehrgüterflussprobleme (Multicommodity Flow) In einem Neztwerk (D, w) sind für unterschiedliche Güter K = {,..., k} mit Quellen/Senken (s i, t i ) und Flusswerten f i, i K, zulässige Flüsse x (i) R E zu finden, die in Summe die Kapazitätsbedingungen einhalten. s s Umsetzung s s t t gebrochen geht Kopie t t Kopie 2 min c ()T x () + c (2)T x (2) s.t. Ax () = b () Ax (2) = b (2) Ix () + Ix (2) w x () 0, x (2) 0. 9: 4 [36,43]

42 .4 Mehrgüterflussprobleme (Multicommodity Flow) In einem Neztwerk (D, w) sind für unterschiedliche Güter K = {,..., k} mit Quellen/Senken (s i, t i ) und Flusswerten f i, i K, zulässige Flüsse x (i) R E zu finden, die in Summe die Kapazitätsbedingungen einhalten. s s Umsetzung s s t t gebrochen geht A 0 0 A I I i.a. nicht tot.unimod.! Kopie t t Kopie 2 min c ()T x () + c (2)T x (2) s.t. Ax () = b () Ax (2) = b (2) Ix () + Ix (2) w x () 0, x (2) 0. 9: 42 [36,43]

43 .4 Mehrgüterflussprobleme (Multicommodity Flow) In einem Neztwerk (D, w) sind für unterschiedliche Güter K = {,..., k} mit Quellen/Senken (s i, t i ) und Flusswerten f i, i K, zulässige Flüsse x (i) R E zu finden, die in Summe die Kapazitätsbedingungen einhalten. s s Umsetzung s s t t gebrochen geht Gebrochen gut lösbar, ganzzahlig SEHR schwer! Kopie t t Kopie 2 min c ()T x () + c (2)T x (2) s.t. Ax () = b () Ax (2) = b (2) Ix () + Ix (2) w x () 0, x (2) 0. 9: 43 [36,43]

44 Beispiel: Logistik Paletten sind bedarfsgerecht mit LKWs zwischen Lagern zu verschieben B A C pro Artikel ein Palettengraph A B C A B C t=0 t= t=2 t=3 t=0.5 t=.5 t=2.5 t=3.5 20: 44 [44,44]

45 Weitere Anwendungsbereiche } gebrochen: Kapazitätsplanung für ganzzahlig: Zeitdiskretisierte Routen- und Ablaufplanung Straßenverkehr Schienenverkehr Internet Logistik (Engpassanalyse/Steuerung) Produktion (Maschinenauslastung/-belegung) Network-Design: Auslegung soll Erfüllung möglichst aller Bedarfe auch bei Störung erlauben. [ Robuste Varianten sind extrem schwer!] Mehrgüterflussprobleme werden oft als zugrundeliegendes Modell eingesetzt, das mit weiteren Bedingungen kombiniert wird. 2: 45 [45,45]

46 Inhaltsübersicht Diskrete Optimierung. Das Heiratsproblem (ungerichtete Graphen).2 Ganzzahligkeit von Polyedern ( und gerichtete Graphen).3 Anwendung: Netzwerkflüsse.4 Mehrgüterflussprobleme.5 Ganzzahlige und Kombinatorische Optimierung.6 Branch-and-Bound.7 Konvexe Mengen, konvexe Hülle, konvexe Funktionen.8 Relaxation.9 Anwendung: Rundreiseprobleme (TSP).0 Finden guter Lösungen, Heuristiken. Gemischt-ganzzahlige Optimierung 22: 46 [46,46]

47 .5 Ganzzahlige Optimierung (Integer Programming) vorwiegend: Lineare Programme mit ausschließlich ganzzahligen Variablen (sonst gemischt-ganzzahlige Optimierung/Mixed Integer Programming) max s.t. c T x Ax b x Z n Enthält meist viele Binär-Variablen ({0,}) für ja/nein Entscheidungen Schwierigkeit: i.a. nicht effizient lösbar, Komplexitätsklasse NP exakte Lösung oft sehr Enumerations-lastig (system. Durchprobieren) Exakte Lösung durch Kombination folgender Techniken: (obere) Schranken durch lineare/konvexe Relaxation verbessert durch Schnittebenenansätze zulässige Lösungen (untere Schranken) durch Rundungs- und Lokale-Suche-Heuristiken Enumeration durch Branch&Bound, Branch&Cut 23: 47 [47,47]

48 Kombinatorische Optimierung Mathematisch: Gegeben eine endliche Grundmenge Ω, eine Menge zulässiger Teilmengen F 2 Ω [Potenzmenge, Menge aller Teilmengen] und eine Zielfunktion c : F Q, bestimme max{c(f ) : F F} oder F Argmax{c(F ) : F F} Hier nur lineares c: c(f ) := e F c e mit c Q Ω. Bsp: Matching maximaler Kardinalität in G = (V, E): Ω = E, F = {M E : M Matching in G}, c = Bsp2: Minimum Vertex Cover für G = (V, E): Ω = V, F = {V V : e V für e E}, c = Formulierung über Binäre Programme: Notation: Inzidenz-/Charakteristischer Vektor χ Ω (F ) {0, } Ω für F Ω [kurz χ(f ), erfüllt [χ(f )] e = e F ] Ein lineares Programm max{c T x : Ax b, x [0, ] Ω } heißt Formulierung des kombinatorischen Optimierungsproblems, falls {x {0, } Ω : Ax b} = {χ(f ) : F F}. 24: 48 [48,48]

49 (Algorithmische) Komplexität von Problemen Eine Instanz I eines Problems ist eine konkrete Wertebelegung der Problemdaten; ihre Größe I ist die Kodierungslänge, also die Anzahl der Zeichen im Beschreibungsstring nach einem sinnvollen Kodierungsschema. Die Laufzeit eines Algorithmus für eine Instanz ist die Anzahl der ausgeführten elementaren Operationen (ein Symbol lesen/schreiben, Bytes addieren/multiplizieren/vergleichen, etc.) Ein Algorithmus löst ein Problem polynomial oder effizient, wenn er für jede Instanz die richtige Antwort innerhalb einer Laufzeit liefert, die durch ein Polynom in der Kodierungslänge beschränkt ist. Ein Problem heißt polynomial/effizient lösbar, wenn es einen Algorithmus gibt, der es effizient löst. Die Klasse P umfasst alle Probleme, die effizient lösbar sind. Bsp: Lineare Optimierung ist in P, ABER Simplex löst es nicht effizient. Bsp2: Kardinalitätsmaximales Matching in allgemeinen Graphen ist in P. Bsp3: Minimum Vertex Cover in bipartiten Graphen ist in P. 25: 49 [49,49]

50 Entscheidungsprobleme und die Klasse NP In einem Entscheidungsproblem ist jede Instanz eine Frage, die entweder mit Ja oder mit Nein zu beantworten ist. Ein Entscheidungsproblem ist nichtdeterministisch polynomial lösbar, wenn für jede Ja -Instanz I ein Lösungsstring (das Zertifikat) existiert, mit dem die Richtigkeit der Ja -Antwort in Laufzeit polynomial beschränkt in I nachgewiesen werden kann. [Es geht nur um Ja!] Die Klasse NP umfasst alle Entscheidungsprobleme, die nichtdeterministisch polynomial lösbar sind. Es gilt: P NP 26: 50 [50,54]

51 Entscheidungsprobleme und die Klasse NP In einem Entscheidungsproblem ist jede Instanz eine Frage, die entweder mit Ja oder mit Nein zu beantworten ist. Ein Entscheidungsproblem ist nichtdeterministisch polynomial lösbar, wenn für jede Ja -Instanz I ein Lösungsstring (das Zertifikat) existiert, mit dem die Richtigkeit der Ja -Antwort in Laufzeit polynomial beschränkt in I nachgewiesen werden kann. [Es geht nur um Ja!] Die Klasse NP umfasst alle Entscheidungsprobleme, die nichtdeterministisch polynomial lösbar sind. Es gilt: P NP Bsp: Hamilton scher Kreis: In einem Graphen G = (V, E) heißt eine Kantenmenge C = {{v, v 2 }, {v 2, v 3 },..., {v k, v k }, {v k, v }} E ein Kreis (der Länge k), falls v i v j für i j. Ein Kreis C heißt hamiltonsch, falls C = V. 26: 5 [50,54]

52 Entscheidungsprobleme und die Klasse NP 26: 52 [50,54] In einem Entscheidungsproblem ist jede Instanz eine Frage, die entweder mit Ja oder mit Nein zu beantworten ist. Ein Entscheidungsproblem ist nichtdeterministisch polynomial lösbar, wenn für jede Ja -Instanz I ein Lösungsstring (das Zertifikat) existiert, mit dem die Richtigkeit der Ja -Antwort in Laufzeit polynomial beschränkt in I nachgewiesen werden kann. [Es geht nur um Ja!] Die Klasse NP umfasst alle Entscheidungsprobleme, die nichtdeterministisch polynomial lösbar sind. Es gilt: P NP Bsp: Hamilton scher Kreis: In einem Graphen G = (V, E) heißt eine Kantenmenge C = {{v, v 2 }, {v 2, v 3 },..., {v k, v k }, {v k, v }} E ein Kreis (der Länge k), falls v i v j für i j. Ein Kreis C heißt hamiltonsch, falls C = V. Entscheidungsproblem: Enthält G einen Hamilton schen Kreis? Ja-Antwort ist effizient überprüfbar, das Problem ist in NP

53 Entscheidungsprobleme und die Klasse NP 26: 53 [50,54] In einem Entscheidungsproblem ist jede Instanz eine Frage, die entweder mit Ja oder mit Nein zu beantworten ist. Ein Entscheidungsproblem ist nichtdeterministisch polynomial lösbar, wenn für jede Ja -Instanz I ein Lösungsstring (das Zertifikat) existiert, mit dem die Richtigkeit der Ja -Antwort in Laufzeit polynomial beschränkt in I nachgewiesen werden kann. [Es geht nur um Ja!] Die Klasse NP umfasst alle Entscheidungsprobleme, die nichtdeterministisch polynomial lösbar sind. Es gilt: P NP Bsp: Hamilton scher Kreis: In einem Graphen G = (V, E) heißt eine Kantenmenge C = {{v, v 2 }, {v 2, v 3 },..., {v k, v k }, {v k, v }} E ein Kreis (der Länge k), falls v i v j für i j. Ein Kreis C heißt hamiltonsch, falls C = V. Entscheidungsproblem: Enthält G einen Hamilton schen Kreis? Ja-Antwort ist effizient überprüfbar, das Problem ist in NP

54 Entscheidungsprobleme und die Klasse NP 26: 54 [50,54] In einem Entscheidungsproblem ist jede Instanz eine Frage, die entweder mit Ja oder mit Nein zu beantworten ist. Ein Entscheidungsproblem ist nichtdeterministisch polynomial lösbar, wenn für jede Ja -Instanz I ein Lösungsstring (das Zertifikat) existiert, mit dem die Richtigkeit der Ja -Antwort in Laufzeit polynomial beschränkt in I nachgewiesen werden kann. [Es geht nur um Ja!] Die Klasse NP umfasst alle Entscheidungsprobleme, die nichtdeterministisch polynomial lösbar sind. Es gilt: P NP Bsp: Hamilton scher Kreis: In einem Graphen G = (V, E) heißt eine Kantenmenge C = {{v, v 2 }, {v 2, v 3 },..., {v k, v k }, {v k, v }} E ein Kreis (der Länge k), falls v i v j für i j. Ein Kreis C heißt hamiltonsch, falls C = V. Entscheidungsproblem: Enthält G einen Hamilton schen Kreis? Ja-Antwort ist effizient überprüfbar, das Problem ist in NP

55 NP-vollständige Probleme Ein Entscheidungsproblem P ist polynomial transformierbar auf ein Entscheidungsproblem P 2, wenn es einen Algorithmus gibt, der jede Instanz I von P in Laufzeit polynomial in I in eine Instanz I 2 von P 2 transformiert, sodass I 2 genau dann Ja-Instanz von P 2 ist, wenn I Ja-Instanz von P ist. Ist P polynomial auf P 2 transformierbar, dann löst ein effizienter Algorithmus für P 2 auch P effizient; P 2 ist mindestens so schwer wie P. Ist P NP und ist jedes ˆP NP polynomial auf P transformierbar, so heißt P NP-vollständig. Kann ein NP-vollständiges Problem P polynomial auf ein Problem ˆP NP transformiert werden, ist auch ˆP NP-vollständig; sie sind gleich schwer. 27: 55 [55,57]

56 NP-vollständige Probleme Ein Entscheidungsproblem P ist polynomial transformierbar auf ein Entscheidungsproblem P 2, wenn es einen Algorithmus gibt, der jede Instanz I von P in Laufzeit polynomial in I in eine Instanz I 2 von P 2 transformiert, sodass I 2 genau dann Ja-Instanz von P 2 ist, wenn I Ja-Instanz von P ist. Ist P polynomial auf P 2 transformierbar, dann löst ein effizienter Algorithmus für P 2 auch P effizient; P 2 ist mindestens so schwer wie P. Ist P NP und ist jedes ˆP NP polynomial auf P transformierbar, so heißt P NP-vollständig. Kann ein NP-vollständiges Problem P polynomial auf ein Problem ˆP NP transformiert werden, ist auch ˆP NP-vollständig; sie sind gleich schwer. Es gibt dicke Sammlungen NP-vollständiger Probleme, dazu gehören: ganzzahlige Optimierung (in Entscheidungsversion) ganzzahliger Mehrgüterfluss Hamilton scher Kreis Minimum Vertex Cover auf allgemeinen Graphen Das Rucksack-Problem (für große Zahlen) 27: 56 [55,57]

57 NP-vollständige Probleme Ein Entscheidungsproblem P ist polynomial transformierbar auf ein Entscheidungsproblem P 2, wenn es einen Algorithmus gibt, der jede Instanz I von P in Laufzeit polynomial in I in eine Instanz I 2 von P 2 transformiert, sodass I 2 genau dann Ja-Instanz von P 2 ist, wenn I Ja-Instanz von P ist. Ist P polynomial auf P 2 transformierbar, dann löst ein effizienter Algorithmus für P 2 auch P effizient; P 2 ist mindestens so schwer wie P. Ist P NP und ist jedes ˆP NP polynomial auf P transformierbar, so heißt P NP-vollständig. Kann ein NP-vollständiges Problem P polynomial auf ein Problem ˆP NP transformiert werden, ist auch ˆP NP-vollständig; sie sind gleich schwer. Gibt es einen effizienten Algorithmus für eines der NP-vollständigen Probleme, sind alle effizient lösbar. Man vermutet seit Jahren: P NP. Will man alle Instanzen lösen können, ist wahrscheinlich eine teilweise Enumeration unvermeidbar. Ein Problem ist NP-schwer, wenn damit ein NP-vollständiges lösbar wäre. 27: 57 [55,57]

58 Inhaltsübersicht Diskrete Optimierung. Das Heiratsproblem (ungerichtete Graphen).2 Ganzzahligkeit von Polyedern ( und gerichtete Graphen).3 Anwendung: Netzwerkflüsse.4 Mehrgüterflussprobleme.5 Ganzzahlige und Kombinatorische Optimierung.6 Branch-and-Bound.7 Konvexe Mengen, konvexe Hülle, konvexe Funktionen.8 Relaxation.9 Anwendung: Rundreiseprobleme (TSP).0 Finden guter Lösungen, Heuristiken. Gemischt-ganzzahlige Optimierung 28: 58 [58,58]

59 .6 Branch-and-Bound Beim systematischen Enumerieren aller Lösungen sollen möglichst viele frühzeitig durch obere und untere Schranken ausgeschlossen werden. 29: 59 [59,59] Bsp: {0, }-Rucksack: Gewichte a N n, Kapazität b N, Nutzen c N n, max c T x s.t. a T x b, x {0, } n Obere Schranke: max c T x s.t. a T x b, x [0, ] n [LP-Relaxation] Untere Schranke: Sortiere nach Nutzen/Gewicht und fülle danach auf Ablaufskizze (für Maximierungsprobleme): M... Menge offener Probleme, anfangs M = {Ursprungsproblem} f... Wert der besten bekannten Lösung, anfangs f =. Falls M = STOP, sonst wähle P M, M M \ {P} 2. Berechne obere Schranke f (P). 3. Falls f (P) < f (P enthält keine OL), gehe zu. 4. Berechne zulässige Lösung ˆf (P) für P (untere Schranke). 5. Ist ˆf (P) > f (neue beste Lösung), setze f ˆf (P) 6. Ist f (P) = ˆf (P) (keine bessere Lösung in P), gehe zu. 7. Teile P in kleinere Teilprobleme P i, M M {P,..., P k } 8. Gehe zu.

60 Beispiel: {0, }-Rucksackproblem Gegenstand A B C D E F Kapazität Gewicht(a) Nutzen (c) Sortierung Nutzen/Gewicht: C > A > D > F > E > B. Obere Schranke: max c T x s.t. a T x 4, x [0, ] 6 [LP-Relaxation] Untere Schranke: Nach Sortierung möglichst lange auffüllen 30: 60 [60,67]

61 Beispiel: {0, }-Rucksackproblem Gegenstand A B C D E F Kapazität Gewicht(a) Nutzen (c) Sortierung Nutzen/Gewicht: C > A > D > F > E > B. Obere Schranke: max c T x s.t. a T x 4, x [0, ] 6 Untere Schranke: Nach Sortierung möglichst lange auffüllen P : Originalproblem OS: C A=34 US: C +D +F =30 [LP-Relaxation] 30: 6 [60,67]

62 Beispiel: {0, }-Rucksackproblem Gegenstand A B C D E F Kapazität Gewicht(a) Nutzen (c) Sortierung Nutzen/Gewicht: C > A > D > F > E > B. Obere Schranke: max c T x s.t. a T x 4, x [0, ] 6 Untere Schranke: Nach Sortierung möglichst lange auffüllen P : Originalproblem OS: C A=34 US: C +D +F =30 x A 0 [LP-Relaxation] 30: 62 [60,67]

63 Beispiel: {0, }-Rucksackproblem Gegenstand A B C D E F Kapazität Gewicht(a) Nutzen (c) Sortierung Nutzen/Gewicht: C > A > D > F > E > B. Obere Schranke: max c T x s.t. a T x 4, x [0, ] 6 Untere Schranke: Nach Sortierung möglichst lange auffüllen P : Originalproblem OS: C A=34 US: C +D +F =30 P 2 : x A = x B =x C =0 OS: A + D + 3 F = OS <30 keine OL x A 0 [LP-Relaxation] 30: 63 [60,67]

64 Beispiel: {0, }-Rucksackproblem Gegenstand A B C D E F Kapazität Gewicht(a) Nutzen (c) Sortierung Nutzen/Gewicht: C > A > D > F > E > B. Obere Schranke: max c T x s.t. a T x 4, x [0, ] 6 Untere Schranke: Nach Sortierung möglichst lange auffüllen P : Originalproblem OS: C A=34 US: C +D +F =30 P 2 : x A = x B =x C =0 OS: A + D + 3 F = OS <30 keine OL x A 0 P 3 : x A =0 OS: C +D +F + 4 E =3 2 US: C +D +F =30 [LP-Relaxation] 30: 64 [60,67]

65 Beispiel: {0, }-Rucksackproblem Gegenstand A B C D E F Kapazität Gewicht(a) Nutzen (c) Sortierung Nutzen/Gewicht: C > A > D > F > E > B. Obere Schranke: max c T x s.t. a T x 4, x [0, ] 6 Untere Schranke: Nach Sortierung möglichst lange auffüllen P : Originalproblem OS: C A=34 US: C +D +F =30 P 2 : x A = x B =x C =0 OS: A + D + 3 F = OS <30 keine OL x A 0 P 3 : x A =0 OS: C +D +F + 4 E =3 2 US: C +D +F =30 x E 0 [LP-Relaxation] 30: 65 [60,67]

66 Beispiel: {0, }-Rucksackproblem Gegenstand A B C D E F Kapazität Gewicht(a) Nutzen (c) : 66 [60,67] Sortierung Nutzen/Gewicht: C > A > D > F > E > B. Obere Schranke: max c T x s.t. a T x 4, x [0, ] 6 Untere Schranke: Nach Sortierung möglichst lange auffüllen P : Originalproblem OS: C A=34 US: C +D +F =30 P 2 : x A = x B =x C =0 OS: A + D + 3 F = OS <30 keine OL x A 0 P 4 : x A =0, x E = OS: E +C +D =3 US: E +C +D =3 P 3 : x A =0 OS: C +D +F + 4 E =3 2 US: C +D +F =30 x E 0 [LP-Relaxation]

67 Beispiel: {0, }-Rucksackproblem Gegenstand A B C D E F Kapazität Gewicht(a) Nutzen (c) : 67 [60,67] Sortierung Nutzen/Gewicht: C > A > D > F > E > B. Obere Schranke: max c T x s.t. a T x 4, x [0, ] 6 Untere Schranke: Nach Sortierung möglichst lange auffüllen P : Originalproblem OS: C A=34 US: C +D +F =30 P 2 : x A = x B =x C =0 OS: A + D + 3 F = OS <30 keine OL x A 0 P 4 : x A =0, x E = OS: E +C +D =3 US: E +C +D =3 P 3 : x A =0 OS: C +D +F + 4 E =3 2 US: C +D +F =30 x E 0 [LP-Relaxation] P 5 : x A =x E =0 OS: C+ D +F + 7 B = OS <3 keine OL

68 Immer dann wird der Branch&Bound Baum groß werden, wenn viele Lösungen sehr nahe an der Optimallösung sind. Entscheidend für den Erfolg von Branch&Bound: Wie kommt man zu guten oberen und unteren Schranken? 3: 68 [68,68]

69 Inhaltsübersicht Diskrete Optimierung. Das Heiratsproblem (ungerichtete Graphen).2 Ganzzahligkeit von Polyedern ( und gerichtete Graphen).3 Anwendung: Netzwerkflüsse.4 Mehrgüterflussprobleme.5 Ganzzahlige und Kombinatorische Optimierung.6 Branch-and-Bound.7 Konvexe Mengen, konvexe Hülle, konvexe Funktionen.8 Relaxation.9 Anwendung: Rundreiseprobleme (TSP).0 Finden guter Lösungen, Heuristiken. Gemischt-ganzzahlige Optimierung 32: 69 [69,69]

70 .7 Konvexe Mengen und konvexe Hülle Eine Menge C R n heißt konvex, wenn für alle x, y C auch die Verbindungsstrecke [x, y] := {αx + ( α)y : α [0, ]} in C liegt. 33: 70 [70,74]

71 .7 Konvexe Mengen und konvexe Hülle Eine Menge C R n heißt konvex, wenn für alle x, y C auch die Verbindungsstrecke [x, y] := {αx + ( α)y : α [0, ]} in C liegt. Bspe:, R n, Halbräume, der Schnitt konvexer Mengen ist konvex, Polyeder, der k-dim. Einheitssimplex k := {α R k + : k i= α i = } Halbraum Schnitt 3 33: 7 [70,74]

72 .7 Konvexe Mengen und konvexe Hülle Eine Menge C R n heißt konvex, wenn für alle x, y C auch die Verbindungsstrecke [x, y] := {αx + ( α)y : α [0, ]} in C liegt. Bspe:, R n, Halbräume, der Schnitt konvexer Mengen ist konvex, Polyeder, der k-dim. Einheitssimplex k := {α R k + : k i= α i = } Für S R n ist die konvexe Hülle der Schnitt aller konvexen Mengen, die S enthalten, conv S := {C konvex : S C}. 33: 72 [70,74]

73 .7 Konvexe Mengen und konvexe Hülle Eine Menge C R n heißt konvex, wenn für alle x, y C auch die Verbindungsstrecke [x, y] := {αx + ( α)y : α [0, ]} in C liegt. Bspe:, R n, Halbräume, der Schnitt konvexer Mengen ist konvex, Polyeder, der k-dim. Einheitssimplex k := {α R k + : k i= α i = } Für S R n ist die konvexe Hülle der Schnitt aller konvexen Mengen, die S enthalten, conv S := {C konvex : S C}. Für gegebene Punkte x (i) R n, i {,..., k} und α k heißt x = α i x (i) Konvexkombination der Punkte x (i) : 73 [70,74] 0.4

74 .7 Konvexe Mengen und konvexe Hülle Eine Menge C R n heißt konvex, wenn für alle x, y C auch die Verbindungsstrecke [x, y] := {αx + ( α)y : α [0, ]} in C liegt. Bspe:, R n, Halbräume, der Schnitt konvexer Mengen ist konvex, Polyeder, der k-dim. Einheitssimplex k := {α R k + : k i= α i = } Für S R n ist die konvexe Hülle der Schnitt aller konvexen Mengen, die S enthalten, conv S := {C konvex : S C}. Für gegebene Punkte x (i) R n, i {,..., k} und α k heißt x = α i x (i) Konvexkombination der Punkte x (i). conv S ist die Menge aller Konvexkombinationen endlich vieler Punkte aus S, conv S = { k i= α ix (i) : x (i) S, i =,..., k N, α k }. 33: 74 [70,74]

75 Konvexe Hülle und ganzz. Optimierung Satz Die konvexe Hülle endlich vieler Punkte ist ein (beschränktes) Polyeder. 34: 75 [75,77]

76 Konvexe Hülle und ganzz. Optimierung Satz Die konvexe Hülle endlich vieler Punkte ist ein (beschränktes) Polyeder. Die ganzzahlige Hülle eines Polyeders P = {x R n : Ax b} ist die konvexe Hülle der in P enthaltenen ganzz. Punkte, P I := conv(p Z n ). Satz Ist A Q m n und b Q m, dann ist die ganzz. Hülle P I des Polyeders P = {x R n : Ax b} selbst ein Polyeder. Problem: Beschreibung von P I meist unbekannt oder extrem groß! P P I [Ausnahme z.b. für A tot. unimod., b Z n ist P = P I ] 34: 76 [75,77]

77 Konvexe Hülle und ganzz. Optimierung Satz Die konvexe Hülle endlich vieler Punkte ist ein (beschränktes) Polyeder. Die ganzzahlige Hülle eines Polyeders P = {x R n : Ax b} ist die konvexe Hülle der in P enthaltenen ganzz. Punkte, P I := conv(p Z n ). Satz Ist A Q m n und b Q m, dann ist die ganzz. Hülle P I des Polyeders P = {x R n : Ax b} selbst ein Polyeder. Problem: Beschreibung von P I meist unbekannt oder extrem groß! Falls die ganzzahlige Hülle gut linear beschreibbar ist, kann man das ganzzahlige Optimierungsproblem mit Simplex lösen: Satz Ist für P = {x R n : Ax b} die ganzzahlige Hülle durch P I = {x R n : A I x b I } gegeben, so gilt: sup{c T x : A I x b I, x R n } = sup{c T x : Ax b, x Z n }, Argmin{c T x : A I x b I, x R n } = conv Argmin{c T x : Ax b, x Z n }. 34: 77 [75,77]

78 Konvexe Funktionen Eine Funktion f : R n R := R { } heißt konvex, wenn f (αx + ( α)y) αf (x) + ( α)f (y) für x, y R n und α [0, ]. Sie heißt streng konvex, wenn f (αx + ( α)y) < αf (x) + ( α)f (y) für x, y R n, x y und α (0, ). f(x) f(x) f(y) f(y) x y x y 35: 78 [78,83]

79 Konvexe Funktionen Eine Funktion f : R n R := R { } heißt konvex, wenn f (αx + ( α)y) αf (x) + ( α)f (y) für x, y R n und α [0, ]. Sie heißt streng konvex, wenn f (αx + ( α)y) < αf (x) + ( α)f (y) für x, y R n, x y und α (0, ). Der Epigraph {( einer ) Funktion f : R n } R ist die Menge x epi f := : x R r n, r f (x) [die Punkte oberhalb von f (x)] epi f epi f 35: 79 [78,83]

80 Konvexe Funktionen Eine Funktion f : R n R := R { } heißt konvex, wenn f (αx + ( α)y) αf (x) + ( α)f (y) für x, y R n und α [0, ]. Sie heißt streng konvex, wenn f (αx + ( α)y) < αf (x) + ( α)f (y) für x, y R n, x y und α (0, ). Der Epigraph {( einer ) Funktion f : R n } R ist die Menge x epi f := : x R r n, r f (x) [die Punkte oberhalb von f (x)] Satz Eine Funktion ist genau dann konvex, wenn ihr Epigraph konvex ist. epi f epi f 35: 80 [78,83]

81 Konvexe Funktionen Eine Funktion f : R n R := R { } heißt konvex, wenn f (αx + ( α)y) αf (x) + ( α)f (y) für x, y R n und α [0, ]. Sie heißt streng konvex, wenn f (αx + ( α)y) < αf (x) + ( α)f (y) für x, y R n, x y und α (0, ). Der Epigraph {( einer ) Funktion f : R n } R ist die Menge x epi f := : x R r n, r f (x) [die Punkte oberhalb von f (x)] Satz Eine Funktion ist genau dann konvex, wenn ihr Epigraph konvex ist. Bsp: Sind f i : R n R konvex, so auch f mit f (x) := sup i f i (x), x R n. f epi f fk f2 f3 35: 8 [78,83]

82 Konvexe Funktionen Eine Funktion f : R n R := R { } heißt konvex, wenn f (αx + ( α)y) αf (x) + ( α)f (y) für x, y R n und α [0, ]. Sie heißt streng konvex, wenn f (αx + ( α)y) < αf (x) + ( α)f (y) für x, y R n, x y und α (0, ). Der Epigraph {( einer ) Funktion f : R n } R ist die Menge x epi f := : x R r n, r f (x) [die Punkte oberhalb von f (x)] Satz Eine Funktion ist genau dann konvex, wenn ihr Epigraph konvex ist. Bsp: Sind f i : R n R konvex, so auch f mit f (x) := sup i f i (x), x R n. Satz Jedes lokale Minimum einer konvexen Funktion ist auch globales Minimum, und für streng konvexe Funktionen ist es das einzige. Für konvexe Funktionen gibt es gute Optimierungsverfahren. 35: 82 [78,83]

83 Konvexe Funktionen Eine Funktion f : R n R := R { } heißt konvex, wenn f (αx + ( α)y) αf (x) + ( α)f (y) für x, y R n und α [0, ]. Sie heißt streng konvex, wenn f (αx + ( α)y) < αf (x) + ( α)f (y) für x, y R n, x y und α (0, ). Der Epigraph {( einer ) Funktion f : R n } R ist die Menge x epi f := : x R r n, r f (x) [die Punkte oberhalb von f (x)] Satz Eine Funktion ist genau dann konvex, wenn ihr Epigraph konvex ist. Bsp: Sind f i : R n R konvex, so auch f mit f (x) := sup i f i (x), x R n. Satz Jedes lokale Minimum einer konvexen Funktion ist auch globales Minimum, und für streng konvexe Funktionen ist es das einzige. Für konvexe Funktionen gibt es gute Optimierungsverfahren. Eine Funktion f heißt konkav, wenn f konvex ist. (Jedes lokale Maximum einer konkaven Funktion ist auch globales.) 35: 83 [78,83]

84 Inhaltsübersicht Diskrete Optimierung. Das Heiratsproblem (ungerichtete Graphen).2 Ganzzahligkeit von Polyedern ( und gerichtete Graphen).3 Anwendung: Netzwerkflüsse.4 Mehrgüterflussprobleme.5 Ganzzahlige und Kombinatorische Optimierung.6 Branch-and-Bound.7 Konvexe Mengen, konvexe Hülle, konvexe Funktionen.8 Relaxation.9 Anwendung: Rundreiseprobleme (TSP).0 Finden guter Lösungen, Heuristiken. Gemischt-ganzzahlige Optimierung 36: 84 [84,84]

85 .8 Relaxation Konzept auf beliebige Optimierungsprobleme anwendbar (hier Maximieren): Definition Gegeben zwei Optimierungsprobleme mit X, W R n und f, f : R n R (OP) max f (x) s.t. x X bzw. (RP) max f (x) s.t. x W, (RP) heißt Relaxation von (OP), falls. X W, 2. f (x) f (x) für alle x X. 37: 85 [85,87]

86 .8 Relaxation Konzept auf beliebige Optimierungsprobleme anwendbar (hier Maximieren): Definition Gegeben zwei Optimierungsprobleme mit X, W R n und f, f : R n R (OP) max f (x) s.t. x X bzw. (RP) max f (x) s.t. x W, (RP) heißt Relaxation von (OP), falls. X W, 2. f (x) f (x) für alle x X. Sei (RP) eine Relaxation von (OP). Beobachtung. v(rp) v(op). [(RP) liefert obere Schranke] 2. Ist (RP) unzulässig, so auch (OP), 3. Ist x OL von (RP) und gilt x X sowie f (x ) = f (x ), dann ist x OL von (OP). 37: 86 [85,87]

87 .8 Relaxation Konzept auf beliebige Optimierungsprobleme anwendbar (hier Maximieren): 37: 87 [85,87] Definition Gegeben zwei Optimierungsprobleme mit X, W R n und f, f : R n R (OP) max f (x) s.t. x X bzw. (RP) max f (x) s.t. x W, (RP) heißt Relaxation von (OP), falls. X W, 2. f (x) f (x) für alle x X. Sei (RP) eine Relaxation von (OP). Beobachtung. v(rp) v(op). [(RP) liefert obere Schranke] 2. Ist (RP) unzulässig, so auch (OP), 3. Ist x OL von (RP) und gilt x X sowie f (x ) = f (x ), dann ist x OL von (OP). Man sucht nun möglichst kleines W X und f f so, dass (RP) noch gut lösbar ist. Eine Relaxation (RP) von (OP) heißt exakt, falls v(op) = v(rp) gilt.

88 Allgemein: Konvexe Relaxation Wird Konvexität für W und (bei max) Konkavität für f gefordert, spricht man von konvexer Relaxation. Meist (aber nicht immer!) dient die Konvexität als Garant für vernünftige Lösbarkeit der Relaxation. 38: 88 [88,90]

89 Allgemein: Konvexe Relaxation Wird Konvexität für W und (bei max) Konkavität für f gefordert, spricht man von konvexer Relaxation. Meist (aber nicht immer!) dient die Konvexität als Garant für vernünftige Lösbarkeit der Relaxation. Bsp: Für ein kombinatorisches Max.-Problem mit endl. Grundmenge Ω, zulässigen Lösungen F 2 Ω und linearer Zielfunktion c R Ω ist max c T x s.t. x conv{χ Ω (F ) : F F} eine exakte konvexe (sogar lineare) Relaxation, aber nur dann nützlich, wenn das Polyeder conv{χ(f ) : F F} gut durch ein nicht zu großes Ungleichungssystem Ax b darstellbar ist. 38: 89 [88,90]

90 Allgemein: Konvexe Relaxation Wird Konvexität für W und (bei max) Konkavität für f gefordert, spricht man von konvexer Relaxation. Meist (aber nicht immer!) dient die Konvexität als Garant für vernünftige Lösbarkeit der Relaxation. 38: 90 [88,90] Bsp: Für ein kombinatorisches Max.-Problem mit endl. Grundmenge Ω, zulässigen Lösungen F 2 Ω und linearer Zielfunktion c R Ω ist max c T x s.t. x conv{χ Ω (F ) : F F} eine exakte konvexe (sogar lineare) Relaxation, aber nur dann nützlich, wenn das Polyeder conv{χ(f ) : F F} gut durch ein nicht zu großes Ungleichungssystem Ax b darstellbar ist. In der globalen Optimierung werden auf Teilintervallen nichtlineare Funktionen nach unten durch konvexe Funktionen abgeschätzt. Bsp: Betrachte (OP) min f (x) := 2 x T Qx + q T x s.t. x [0, ] n mit f nicht konvex, d.h., λ min (Q) < 0. [λ min... minimaler Eigenwert] Es ist Q λ min (Q)I positiv semidefinit und wegen xi 2 x i auf [0, ] n gilt f (x) := 2 x T (Q λ min (Q)I )x +(q +λ min (Q)) T x f (x) x [0, ] n. Damit ist (RP) min f (x) s.t. x [0, ] n eine konvexe Relaxation von (OP).

91 Die LP-Relaxation für Ganzzahlige Programme Für ein ganzzahliges Programm max c T x s.t. Ax b, x Z n entsteht die LP-Relaxation durch Weglassen der Ganzz.-Bedingung, max c T x s.t. Ax b, x R n. Ist Relaxation, denn X := {x Z n : Ax b} {x R n : Ax b} =: W. [wird von allen Standardlösern für gemischt-ganzz. Programme verwendet] 39: 9 [9,95]

92 Die LP-Relaxation für Ganzzahlige Programme Für ein ganzzahliges Programm max c T x s.t. Ax b, x Z n entsteht die LP-Relaxation durch Weglassen der Ganzz.-Bedingung, max c T x s.t. Ax b, x R n. Ist Relaxation, denn X := {x Z n : Ax b} {x R n : Ax b} =: W. [wird von allen Standardlösern für gemischt-ganzz. Programme verwendet] Bsp: Rucksackproblem: n = 2, Gewichte a = (6, 8) T, Kapazität b = 0, max c T x s.t. a T x b, x Z n + max c T x s.t. a T x b, x 0, x 2 a zulässige ganzzahlige Punkte: LP-Relaxation: grün beste Relaxation: die konvexe Hülle x 39: 92 [9,95]

93 Die LP-Relaxation für Ganzzahlige Programme Für ein ganzzahliges Programm max c T x s.t. Ax b, x Z n entsteht die LP-Relaxation durch Weglassen der Ganzz.-Bedingung, max c T x s.t. Ax b, x R n. Ist Relaxation, denn X := {x Z n : Ax b} {x R n : Ax b} =: W. [wird von allen Standardlösern für gemischt-ganzz. Programme verwendet] Bsp: Rucksackproblem: n = 2, Gewichte a = (6, 8) T, Kapazität b = 0, max c T x s.t. a T x b, x Z n + max c T x s.t. a T x b, x 0, x 2 a zulässige ganzzahlige Punkte: LP-Relaxation: grün beste Relaxation: die konvexe Hülle x 39: 93 [9,95]

94 Die LP-Relaxation für Ganzzahlige Programme Für ein ganzzahliges Programm max c T x s.t. Ax b, x Z n entsteht die LP-Relaxation durch Weglassen der Ganzz.-Bedingung, max c T x s.t. Ax b, x R n. Ist Relaxation, denn X := {x Z n : Ax b} {x R n : Ax b} =: W. [wird von allen Standardlösern für gemischt-ganzz. Programme verwendet] Bsp: Rucksackproblem: n = 2, Gewichte a = (6, 8) T, Kapazität b = 0, max c T x s.t. a T x b, x Z n + max c T x s.t. a T x b, x 0, x 2 a zulässige ganzzahlige Punkte: LP-Relaxation: grün beste Relaxation: die konvexe Hülle x 39: 94 [9,95]

95 Die LP-Relaxation für Ganzzahlige Programme Für ein ganzzahliges Programm max c T x s.t. Ax b, x Z n entsteht die LP-Relaxation durch Weglassen der Ganzz.-Bedingung, max c T x s.t. Ax b, x R n. Ist Relaxation, denn X := {x Z n : Ax b} {x R n : Ax b} =: W. [wird von allen Standardlösern für gemischt-ganzz. Programme verwendet] Bsp: ganzzahliger Mehrgüterfluss gebrochener Mehrgüterfluss s s s s auch zu groß, bräuchten die konvexe Hülle t t ganzz. geht nicht, X = t t gebrochen geht, W 39: 95 [9,95]

96 Lagrange-Relaxation [Allg. für restr. Opt. verwendbar, hier vorerst nur Unglgs.-Nebenbed.] Unbequeme Nebenbedingungen werden mit einem Lagrangemultiplikator, der die Verletzung bestraft, in die Zielfunktion gehoben (g : R n R k ): (OP) max f (x) s.t. g(x) 0 λ 0 x Ω (RP λ ) max s.t. c T x λ T g(x) x Ω Ist Relaxation: X := {x Ω : g(x) 0} {x Ω} =: W und für x X, λ 0 gilt f (x) f (x) λ T g(x) =: f (x) wegen g(x) 0. 40: 96 [96,97]

97 Lagrange-Relaxation [Allg. für restr. Opt. verwendbar, hier vorerst nur Unglgs.-Nebenbed.] Unbequeme Nebenbedingungen werden mit einem Lagrangemultiplikator, der die Verletzung bestraft, in die Zielfunktion gehoben (g : R n R k ): (OP) max f (x) s.t. g(x) 0 λ 0 x Ω (RP λ ) max s.t. c T x λ T g(x) x Ω Ist Relaxation: X := {x Ω : g(x) 0} {x Ω} =: W und für x X, λ 0 gilt f (x) f (x) λ T g(x) =: f (x) wegen g(x) 0. Definiere die duale Funktion ϕ(λ) := sup x Ω [ f (x) g(x) T λ ] = v(rp λ ) [für jedes feste x linear in λ] Für jedes λ 0 gilt ϕ(λ) v(op) [obere Schranke] ϕ(λ) gut berechenbar, falls (RP λ ) leicht lösbar ϕ ist als sup von in λ linearen Funktionen konvex Beste Schranke ist inf{ϕ(λ) : λ 0} [konvexes Problem!] gut mit Verfahren der konvexen Optimierung bestimmbar! 40: 97 [96,97]

98 Beispiel: Ganzzahliger Mehrgüterfluss A sei die Knoten-Kanten-Inz.-Matrix zu D = (V, E), 2 Güter, Lagrange-Relaxation der koppelnden Kapazitätsbedingungen mit λ 0: min c ()T x () + c (2)T x (2) s.t. Ax () = b () Ax (2) = b (2) λ x () + x (2) w x () w, x (2) w x () Z E +, x (2) Z E +. min (c () +λ) T x () +(c (2) +λ) T x (2) λ T w s.t. Ax () =b () Ax (2) =b (2) x () w, x (2) w, x () Z E +, x (2) Z E +. Relaxation zerfällt in zwei unabhängige Minimale-Kosten-Fluss-Probleme (RP (i) λ ) min (c(i) +λ) T x (i) s.t. Ax (i) = b (i), w x (i) Z E + i {, 2} Diese sind effizient ganzzahlig lösbar! 4: 98 [98,99]

99 Beispiel: Ganzzahliger Mehrgüterfluss A sei die Knoten-Kanten-Inz.-Matrix zu D = (V, E), 2 Güter, Lagrange-Relaxation der koppelnden Kapazitätsbedingungen mit λ 0: min c ()T x () + c (2)T x (2) s.t. Ax () = b () Ax (2) = b (2) λ x () + x (2) w x () w, x (2) w x () Z E +, x (2) Z E +. 4: 99 [98,99] min (c () +λ) T x () +(c (2) +λ) T x (2) λ T w s.t. Ax () =b () Ax (2) =b (2) x () w, x (2) w, x () Z E +, x (2) Z E +. Relaxation zerfällt in zwei unabhängige Minimale-Kosten-Fluss-Probleme (RP (i) λ ) min (c(i) +λ) T x (i) s.t. Ax (i) = b (i), w x (i) Z E + i {, 2} Diese sind effizient ganzzahlig lösbar! Zerfällt das Problem bei Lagrange-Relaxation in unabhängige Teilprobleme, nennt man das Lagrange-Dekomposition. Damit können oft deutlich größere Probleme sehr effizient gelöst werden. Bekommt man dadurch auch eine bessere Schranke?

100 Vergleich Lagrange- und LP-Relaxation Sei Ω Z n endlich und D Q k n, d Q k, (OP) max c T x s.t. Dx d λ 0 x Ω (RP λ ) max ct x + λ T (d Dx) s.t. x Ω Im Bsp: Ω = Ω () Ω (2) mit Ω (i) = {x Z E + : Ax = b (i), x w}, i {, 2}. Satz inf v(rp λ) = sup{c T x : Dx d, x conv Ω}. λ 0 Ist conv Ω gleich der zulässigen Menge der LP-Relaxation von Ω, sind die Werte der besten Lagrange- und der LP-Relaxation gleich! 42: 00 [00,02]