Kap. 4: Das Handlungsreisendenproblem (TSP)

Transkript

1 Kap. 4: Das Handlungsreisendenproblem (TSP) VO Algorithm Engineering Professor Dr. Petra Mutzel Lehrstuhl für Algorithm Engineering, LS11 7./8. VO 24./26. April 2007

2 Literatur Mutzel: Skript zu Branch & Cut (s. vorige VO) TSP-Web Site: Bei Interesse: M. Jünger, G. Reinelt und G. Rinaldi: The Traveling Salesman Problem, 1995, Elsevier Science in the collection "Network Models, Handbook on Operations Research and Management Science" (Eds. M. Ball, T. Magnanti, C. Monma, G. Nemhauser), vol. 7, NEUES BUCH: D. Applegate, R.E. Bixby, V. Chvátal und W.J. Cook: The Traveling Salesman Problem: A Computational Study, Princeton University Press 2007, 606 pp. Nachschlagewerk bei Interesse: M. Jünger und D. Naddef (Eds.): Computational Combinatorial Optimization, Optimal or Provably Near-Optimal Solutions, LNCS 2241, Springer, 2001, i.e

3 Überblick 4.1 Einführung Einführung in TSP 4.2 ILP-Formulierung für TSP 4.3 Branch-and-Cut Algorithmus Separierung der Subtour Bedingungen Zusätzliche Ungleichungen Branch& Cut Spaltengenerierung 4.4 Engineering Lin-Kernighan (s. 3. Mai) 3

4 4.1 Einführung: Das Travelling Salesman Problem Das Handlungsreisendenproblem, TSP Gegeben: Vollständiger ungerichteter Graph G=(V,E) mit Kantenkosten c e Gesucht: Tour T (Kreis, der jeden Knoten genau einmal enthält) mit minimalen Kosten c(t)= c e 4

5 Buch von F. Voigt, Ilmenau 1831 Der Handlungsreisende, wie er sein soll und was er zu thun hat, um Aufträge zu erhalten und eines glücklichen Erfolgs in seinen Geschäften gewiß zu sein. Von einem alten Commis=Voyageur. Durch geeignete Auswahl und Planung der Tour kann man oft so viel Zeit sparen, daß wir einige Vorschläge zu machen haben. Der Wichtigste Aspekt ist, so viele Orte wie möglich zu erreichen, ohne einen Ort zweimal zu besuchen. 5

6 Anwendungen des TSP Tourenplanung (Pharma-Referenten, AGFA, Schulbusrouting, Postal routing Vehicle Routing (Speditionen) Sammeltaxis (statt Bus auf dem Land) VLSI-Design (Bohrprobleme) Bioinformatik (Genome Sequencing) Teleskop Kristallographie Datenclustering 6

7 Bohrmaschine für Leiterplatten 7

8 Bohrköpfe 8

9 Bohrproblem: TSP mit Städten 9

10 Das Travelling Salesman Problem Ann.: Rechner schafft 40 Mio. Touren pro Sekunde Anzahl der verschiedenen Touren: ( V -1)! / 2 n #Tour ca ca ca ca ca Zeit Sek. 3 Tage 2,5 Jahre 48 Jahre 10 8 Jahre Jahre Anzahl der Atome im Weltall: ca

11 Meilensteine für TSP Lösungen Jahr Weltmeister Dantzig,Fulkerson,Johnson Held, Karp Grötschel Crowder, Padberg Padberg, Rinaldi Grötschel, Holland Padberg, Rinaldi Applegate, Bixby, Chvátal, Cook Applegate, Bixby, Chvátal, Cook Applegate, Bixby, Chvátal, Cook Applegate, Bixby, Chvátal, Cook, Helsgaun Städte aktuelle Challenge: Worldtour Städte 11

12 15112 Städte TSP 22,6 CPU Jahre auf 110 Prozessoren 12

13 24978 Städte TSP Optimallösung 8 Jahre 13

14 Lösung mittels Branch & Cut 14

15 World Tour: Städte Tour der Länge 7,516,353,779 (Keld Helsgaun, 2003) Garantie: Tourlänge 0.076% nahe an OPT(Concorde TSP code) aktuelle Challenge 15

16 4.2 ILP-Formulierung für TSP Binär-Variable: x uv =1, wenn Kante uv in Tour T, und x uv =0 sonst Beispiel: <1,3,2,4,6,5> 16

17 ILP-Formulierung für TSP Geg.: vollständiger Graph G=(V,E) mit c e für alle Kanten e Grad-Gl. Subtour-Ungl. Problem: Ganzzahlige Optimierung ist NP-schwer Löst eine Relaxierung des Problems 17

18 4.3 Branch & Cut für TSP LP-Relaxierung: Entferne Ganzzahligkeitsbedingungen minimiere so dass e E x e c x e δ ( v) e 0 x x e e e 1 ganzzahlig = 2 für für für alle alle alle e E e E v V x e e δ ( W ) 2 für alle φ W V Subtour-Relaxierung: man relaxiert Ganzzahligkeit 18

19 Branch & Cut für TSP Auch die Subtour-Relaxierung hat bereits exponentiell viele ( Θ(2 n 1 ))Ungleichungen hoffnungslos? Lösung: Schnittebenenverfahren Können wir die Subtour-Relaxierung beim TSP lösen? 19

20 Satz von Grötschel, Lovasz, Schrijver Ein Optimierungsproblem ist in polynomieller Zeit lösbar genau dann wenn das zugehörige Separationsproblem in polynomieller Zeit lösbar ist. Frage: Können wir Separationsproblem für die Subtour-Ungleichungen des TSP lösen? 20

21 Definition Separationsproblem 21

22 Separierung TSP Subtour Bedingungen x e e δ ( W ) 2 für alle φ W V Min Cut = 0 Verletzte Subtour-Ungleichung gefunden 6 e δ ( W ) xe = 0 für W = {1,3,5} 22

23 Separierung TSP Subtour Bedingungen x ij i W, j V W 2 für alle φ W V 1/ / /2 1/ /2 1/2 Min Cut = bessere Relaxierungen durch Hinzunahme weiterer Ungl. Subtour-Relaxierung gelöst aber nicht TSP Es existiert keine verletzte Subtour-Ungleichung 23

24 Satz von Grötschel, Lovasz, Schrijver Ein Optimierungsproblem ist in polynomieller Zeit lösbar genau dann wenn das zugehörige Separationsproblem in polynomieller Zeit lösbar ist. Frage: Können wir Separationsproblem für die Subtour-Ungleichungen des TSP lösen? Lösung des kleinsten Schnittproblems 24

25 Bekannte Ungleichungen beim TSP Grad Gleichungen Subtour Bedingungen 2-Matching Ungleichungen Blossom Ungleichungen Comb Ungleichungen Cliquenbaum Ungleichungen Hypergraph Ungleichungen Separierungsproblem polynomiell Separierungsproblem offen Wie kommt man auf diese Ungleichungen: Polyedertheorie oder: Rechnen und dann Studium von nicht-zulässigen Lösungen 25

26 Branch & Cut für TSP Vollständige lineare Beschreibungen sind sehr gross Städte Touren Gleichungen Ungleichungen Praxis: ILP Formulierungen 26

27 Branch-and-Cut Verfahren Verbindung von Schnittebenenverfahren mit Branch-and-Bound Versuche, jeweils die Teilprobleme (LP-Relaxierungen) mittels Schnittebenenverfahren zu lösen Falls die Lösung nicht ganzzahlig ist, dann wähle nicht-ganzzahlige Variable und generiere zwei neue Teilprobleme: P1 mit zusätzlichen Restriktionen x e =0 P2 mit zusätzlichen Restriktionen x e =1 27

28 Branch & Cut (Grundidee) Identifiziere die zulässigen Lösungen mit 0/1- Vektoren Beschreibe die konvexe Hülle dieser Vektoren möglichst gut durch lineare Ungleichungen 28

29 Branch & Cut (Grundidee) Menge der zulässigen Lösungen 29

30 Branch & Cut (Grundidee) Konvexe Hülle über diese Menge 30

31 Branch & Cut (Grundidee) Zielfunktion Die Beschreibung der konvexen Hülle durch lineare Un-/gleichungen ist i.a. nicht bekannt. 32

32 Branch & Cut (Grundidee) Lösung: stattdessen Relaxierung der ILP-Formulierung 33

33 Branch & Cut (Grundidee) Lösungspunkt über die LP-Relaxierung ist aber nicht zulässig für unser Originalproblem 35

34 Branch & Cut (Grundidee) Identifiziere die zulässigen Lösungen mit 0/1- Vektoren Beschreibe die konvexe Hülle dieser Vektoren möglichst gut durch lineare Ungleichungen Finde möglichst gute Algorithmen, die für einen gegebenen Punkt von diesem verletzte Ungleichungen finden bzw. feststellen, dass keine solchen existieren. Separierung 36

35 Branch & Cut (Grundidee) Schnittebene für Separierung 38

36 Branch & Cut (Grundidee) 39

37 Branch & Cut (Grundidee) neuer Lösungspunkt der LP-Relaxierung 41

38 Branch & Cut (Grundidee) Hinzufügen einer Schnittebene: schneidet den Punkt weg 43

39 Branch & Cut (Grundidee) Schnittebenenverfahren (Cutting Plane Method) neuer Lösungspunkt der LP-Relaxierung zulässig und damit optimal 45

40 Und wenn man gar keine Schnittebenen mehr findet? Branch jetzt: Branch-and-Cut Verfahren noch einmal allgemein 46

41 Branch & Cut (Grundidee) Separierungsproblem Löse Relaxierungen mit Schnittebenenverfahren. Cut Verzweige, wenn keine Schnittebenen gefunden werden, aber die Lösung nicht ganzzahlig ist. Branch Finde gute zulässige Lösungen basierend auf fraktionellen Lösungen. Exploit Schneide nichtprofitable Teilbäume weg. Bound 47

42 Branch & Cut (Grundidee) Bound Cut Branch

43 Eine typische B&C Berechnung Maximierungsproblem obere Schranke untere Schranke = zulässige Lösung wird besser 49

44 Alternative Relaxierung 2. Relaxierung: Entferne Subtour-Ungleichungen minimiere so dass e E x e c e δ ( v) x e 0 e x x e e = 2 1 ganzzahlig für alle für alle für alle e E e E v V 2-Matching Relaxierung 50

45 Branch & Cut für TSP Erhaltene Lösung: Problem: Lösung ist nicht zusammenhängend 6 Aber: gibt untere Schranke 51

46 Bekannte Ungleichungen beim TSP Grad Gleichungen Subtour Bedingungen 2-Matching Ungleichungen Blossom Ungleichungen Comb Ungleichungen Cliquenbaum Ungleichungen Hypergraph Ungleichungen Separierungsproblem polynomiell Separierungsproblem offen Wie kommt man auf diese Ungleichungen: Polyedertheorie oder: Rechnen und dann Studium von nicht-zulässigen Lösungen 52

47 Comb-Ungleichungen Seien W, T 1,,T k V, wobei W der Griff (handle) und T i die Zinken (teeth) sind. Es muss gelten: T 1 W T 3 T 2 53

48 Comb-Ungleichungen Seien W, T 1,,T k V, wobei W der Griff (handle) und T i die Zinken (teeth) sind. Es muss gelten: 2-Matching Ungleichungen, wenn für alle i gilt: T i =2 54

49 2-Matching Ungleichungen Seien W, T 1,,T k V, wobei W der Griff (handle) und T i die Zinken (teeth) sind. Es muss gelten: Der Name kommt daher, weil die Ungleichungen das 2-Matching Polytop {x A n x=2,0 x 1, x ganzzahlig} (mit A n Inzidenzmatrix) zusammen mit A n x=2 und 0 x 1 vollständig beschreiben (Edmonds, 1965). 55

50 Die 2-Matching Ungleichungen sind gültig für alle 0/1- Vektoren, die charakteristische Vektoren von Touren sind. Beweis: Es gilt: 2-Matching Ungleichungen T 3 T 1 W T 2 56

51 2-Matching Ungleichungen Die 2-Matching Ungleichungen sind gültig für alle 0/1- Vektoren, die charakteristische Vektoren von Touren sind. l.s. ganzzahlig r.s. ganzzahlig weil k ungerade 57

52 Beispiel: Bayern 29 Städte in Bayern TSPLIB/bayg29.tspx 58

53 9 Coburg 12 Hof 3 Aschaffenburg 26 Schweinfurt 29 Würzburg 5 Bamberg 6 Bayreuth 28 Weiden 21 Nürnberg 1 Amberg 2 Ansbach 8 Cham 24 Regensburg 20 Nördlingen 13 Ingolstadt 10 Donauwörth 4 Augsburg 10 Landshut 27 Straubing 23 Passau 19 München 15 Landsberg 18 Memmingen 25 Rosenheim 14 Kempten 17 Lindau 11 Garmisch-Partenkirchen 22 Oberstdorf 7 Berchtesgaden 59

54 9 Coburg 12 Hof 3 Aschaffenburg 26 Schweinfurt 29 Würzburg 5 Bamberg 6 Bayreuth 28 Weiden 21 Nürnberg 1 Amberg 2 Ansbach 8 Cham e e x e =1 x e = Nördlingen 13 Ingolstadt 10 Donauwörth 24 Regensburg 10 Landshut 27 Straubing 23 Passau 4 Augsburg 19 München 15 Landsberg 18 Memmingen 25 Rosenheim 14 Kempten 17 Lindau 11 Garmisch-Partenkirchen 22 Oberstdorf 7 Berchtesgaden 60

55 3 Aschaffenburg 26 Schweinfurt 29 Würzburg 5 Bamberg 12 Hof 9 Coburg 6 Bayreuth 28 Weiden 21 Nürnberg 1 Amberg 2 Ansbach 8 Cham 2 verletzte Subtour- Ungleichungen und 2 verletze 2-Matching Ungleichungen e e x e =1 x e = Nördlingen 13 Ingolstadt 10 Donauwörth 24 Regensburg 10 Landshut 27 Straubing 23 Passau 4 Augsburg 19 München 15 Landsberg 18 Memmingen 25 Rosenheim 14 Kempten 17 Lindau 11 Garmisch-Partenkirchen 22 Oberstdorf 7 Berchtesgaden 61

56 9 Coburg 12 Hof 3 Aschaffenburg 26 Schweinfurt 29 Würzburg 5 Bamberg 6 Bayreuth 28 Weiden 21 Nürnberg 1 Amberg 2 Ansbach 8 Cham e e x e =1 x e = Nördlingen 13 Ingolstadt 10 Donauwörth 24 Regensburg 10 Landshut 27 Straubing 23 Passau 4 Augsburg 19 München 15 Landsberg 18 Memmingen 25 Rosenheim 14 Kempten 17 Lindau 11 Garmisch-Partenkirchen 22 Oberstdorf 7 Berchtesgaden 62

57 9 Coburg 12 Hof 3 Aschaffenburg 26 Schweinfurt 29 Würzburg 5 Bamberg 6 Bayreuth 28 Weiden 21 Nürnberg 1 Amberg 2 Ansbach 8 Cham e e x e =1 x e = Nördlingen 13 Ingolstadt 10 Donauwörth 24 Regensburg 10 Landshut 27 Straubing 23 Passau 4 Augsburg 19 München 15 Landsberg 18 Memmingen 25 Rosenheim 14 Kempten 17 Lindau 11 Garmisch-Partenkirchen 22 Oberstdorf 7 Berchtesgaden 63

58 9 Coburg 12 Hof 3 Aschaffenburg 26 Schweinfurt 29 Würzburg 5 Bamberg 6 Bayreuth 28 Weiden 21 Nürnberg 1 Amberg 2 Ansbach 8 Cham e e x e =1 x e = Nördlingen 13 Ingolstadt 10 Donauwörth 24 Regensburg 10 Landshut 27 Straubing 23 Passau 4 Augsburg 19 München 15 Landsberg 18 Memmingen 25 Rosenheim 14 Kempten 17 Lindau 11 Garmisch-Partenkirchen 22 Oberstdorf 7 Berchtesgaden 64

59 Spaltengenerierung für TSP Idee: 1. Starte nicht mit allen Variablen, sondern nur mit einer Teilmenge E E (dies entspricht einer Teilmenge der Spalten des ILPs). 2. Bewährt hat sich Sparse Graph Reserve Graph ganz G. 3. z.b. als Sparse Graph den 5-Nächsten Nachbar Graphen, als Reserve Graph den 10-Nächsten Nachbarn 4. Löse die LP-Relaxierung LPRel bzgl. E 5. Nun muss man testen, ob diese Lösung auch eine gültige Lösung der LP-Relaxierung bzgl. E ist.

60 Spaltengenerierung für TSP Idee: 1. Starte nicht mit allen Variablen, sondern nur mit einer Teilmenge E E (dies entspricht einer Teilmenge der Spalten des ILPs). 2. Löse die LP-Relaxierung LPRel bzgl. E 3. Nun muss man testen, ob diese Lösung auch eine gültige Lösung der LP-Relaxierung bzgl. E ist. 4. Falls dies nicht der Fall ist, müssen zusätzliche Spalten hinzugefügt werden Re-Optimierung über dem neuen E gehe zu Sonst: Falls die Lösung von LPRel ganzzahlig ist Optimallösung gefunden Branch&Cut&Price 6. Sonst: Branching

61 Pricing-Problem Geg. ist eine Lösung x* von LPRel bzgl. E E. Ist diese optimal auch bzgl. E? Eine neue Spalte t E\E kann den Lösungswert nur dann verbessern, wenn die reduzierten Kosten der dazugehörigen Variablen kleiner als 0 sind. Reduzierte Kosten für neue Variable t: c t - π A t, wobei A t die Spalte t der Matrix bezeichnet c t der dazugehörige Kostenkoeffizient, und π der Lösungsvektor der dualen Variablen Suche also eine Spalte t, für die der Wert c t - π A t < 0. Bei TSP: probiere zunächst alle Kanten aus Reserve Graph, wenn nicht erfolgreich, dann alle restlichen Kanten aus G.

62 Pricing-Problem Bemerkung: Für alle Spalten, die bereits in E enthalten sind gilt: die reduzierten Kosten von Lösung x* sind 0, sie werden also nicht wieder ausgewählt.

63 Experimentelle Resultate für TSP mittels Branch & Cut Jünger, Reinelt, Rinaldi: The Traveling Salesman Problem, TR 1994, IASI CNR Rom Concorde, 2003 Problem BC- Knoten Subtour- Relaxierung Anzahl Cuts Zeit (s) BC- NEU Zeit NEU pr % ,37 pr % ,06 lin ,7% ,78 rat ,3% ,30 nrw ,5% ,12 pr ,8% ,04 und jetzt: auf zur neuen Challenge:

64 World Tour: Städte Tour der Länge 7,516,353,779 (Keld Helsgaun, 2003) Garantie: Tourlänge 0.076% nahe an OPT(Concorde TSP code) mittels Variante von Lin-Kernighan s. nächste VO aktuelle Challenge 70