Approximationsalgorithmen VU

Transkript

1 1 Approximationsalgorithmen VU Institut für Computergraphik und Algorithmen Abteilung für Algorithmen und Datenstrukturen Sommersemester 2011, 2h VU Motivation: Bereits viele einfache Optimierungsprobleme wie z.b. Routenplanung, Reihenfolgeprobleme und Packungsprobleme können nicht effizient exakt gelöst werden. Gute Näherungsmethoden, das heißt Approximations- Algorithmen, werden gesucht. Aber was ist gut? Beispiel: Bin Packing (vgl. AlgoDat) gegeben: n Pakete mit unterschiedlichen Gewichten und Container (bins) mit fester Kapazität. gesucht: Zuordnung der Pakete in möglichst wenige Container. Analyse: Wie gut oder wie schlecht sind einfache und kompliziertere Näherungsverfahren?

2 Approximationsalgorithmen Ulrich Pferschy 2 Zeit: drei Blöcke zu je drei Tagen: 9.3.: 17:00-19:00 SR : 9:00-12:00 SR : 9:00-10:30 SR : 17:00-19:00 SR : 9:00-12:00 SR : 9:00-12:00 SR 187/2 6.4.: 17:00-19:00 SR : 9:00-12:00 SR : 9:00-10:30 SR 186 Sprechstunde: jeweils vor und nach den Lehrveranstaltungen (außer an den Blockrändern) bin ich am Institut erreichbar. Zu Teilen der Vorlesung gibt es ein Folienskriptum im Netz. Dieses reichte keineswegs zum Selbststudium aus. Vortragender: a.o.univ.-prof. Dr. Ulrich Pferschy Institut für Statistik und Operations Research Universität Graz pferschy@uni-graz.at

3 Approximationsalgorithmen Ulrich Pferschy 3 Approximationsalgorithmen VU Beurteilung 1. Übungsteil: 30 % der Gesamtnote Sie werden im Netz Übungszettel finden, die am (1. Übungsblatt) und 6.4. (2. Übungsblatt) behandelt werden. Dazu gibt es jeweils zu Beginn der LV eine Kreuzelliste, auf der Sie jene Beispiele, die Sie gelöst haben, ankreuzen. Danach werden Unfreiwillige zur Präsentation der Lösung an die Tafel gerufen. Daraus ergibt sich für diese zwei Tage eine implizite Anwesenheitspflicht. Die Beispiele des kurzen 3. Übungsblatts können bis 9.5. abgegeben werde (auf Papier im Sekretariat oder elektronisch (auch eingescannt) an pferschy@uni-graz.at). Insgesamt müssen Sie mindestens die Hälfte aller Beispiele angekreuzt haben! 2. Vorlesungsteil: 70 % der Gesamtnote mündliche Einzelprüfung (ca. 20 Minuten) Termine nach Vereinbarung, erstmals gleich nach Ende der LV am 8.4.

4 Approximationsalgorithmen Ulrich Pferschy 4 Vertiefende Literatur: K. Jansen, M. Margraf, Approximative Algorithmen und Nichtapproximierbarkeit, de Gruyter, R. Wanka, Approximationsalgorithmen: Eine Einführung, Teubner, D.S. Hochbaum, Approximation algorithms for NP-hard problems, PWS Publishing Company, V.V. Vazirani, Approximation Algorithms, Springer, G. Ausiello et al., Complexity & Approximation, Springer, J. Hromkovic, Algorithmics for hard problems, Springer, Lecture Notes aus dem Internet: R. Motwani (Standford University) D.P. Williamson (IBM Almaden Research Center) M.X. Goemans (MIT)

5 Approximationsalgorithmen Ulrich Pferschy 5 Approximationsalgorithmen Approximation im Sinne der Analysis: Satz von Weierstrass: ( ) Sei f eine stetige Funktion auf [a, b]. Dann gibt es zu jedem ε > 0 ein Polynom P ε mit: max f(x) P ε(x) < ε x [a,b] Numerische Mathematik: Numerical Recipes in C++

6 Approximationsalgorithmen Ulrich Pferschy 6 Approximation von diskreten, kombinatorischen Problemen: Betrachtung einzelner Objekte, Identitäten oder abstrakter Elemente mit ganzzahligen Daten Motiviert aus praktischen Problemstellungen Klassische Probleme der diskreten Optimierung: Scheduling Graph-Probleme (Überdeckung, Färbung, Partition) Netzwerkprobleme Routen- und Tourenplanung TSP Packungs- und Zuschnittprobleme...

7 Approximationsalgorithmen Einleitung 7 Erwünscht: Optimale Lösung N P-Vollständigkeit: = Bei fast allen interessanten Problemen gibt es kein effizientes optimales Lösungsverfahren, d.h. keinen Algorithmus mit polynomialer Laufzeit 1. Optimale Lösung durch intelligente Enumeration Branch & Bound ILP-Formulierung, Branch & Cut Dynamisches Programmieren Verzicht auf Optimalität = Approximation Bestimmt wird eine zulässige Lösung. Qualität der Lösung ist i.a. unbekannt. Unterscheide: Suchverfahren (local search, Metaheuristiken, etc.) konstruktive Verfahren Hybride Verfahren

8 Approximationsalgorithmen Bewertung 8 Bewertung von Approximationsalgorithmen 1. empirische Tests 2. average-case Analyse 3. worst-case Analyse

9 Approximationsalgorithmen Bewertung 9 Güte eines Algorithmus A für ein Optimierungsproblem: Unterscheide: Problem vs. Problem-Instanz I (Näherungs-)Algorithmus A liefert Lösungswert A(I) (unbekannte) Optimallösung wäre Opt(I) Definition: Algorithmus A ist ein Approximationsalgorithmus wenn A für jede Instanz I eine zulässige Lösung liefert. Definition: Ein Approximationsalgorithmus A hat eine absolute Gütegarantie k, (k > 0), wenn für jede Instanz I gilt: Opt(I) A(I) k Bemerkung: Def. gilt für Maximierungs- und Minimierungsprobleme.

10 Approximationsalgorithmen Graph Colouring 10 Graph Colouring (Knoten): Knotenfärbung von Graphen/Graph Colouring: gegeben: Graph (V, E), beliebig viele Farben. Problem: Ordne jedem Knoten eine Farbe zu, sodaß Knoten, die durch eine Kante verbunden sind, verschiedene Farben haben und eine minimale Gesamtzahl von Farben verwendet werden. Von besonderem Interesse ist die Färbung von planaren Graphen. Satz: (Four Colour Theorem): Jeder planare Graph ist 4-färbbar. Beweis von Appel, Haken, Koch 1977 mit heftigem Computereinsatz.

11 Approximationsalgorithmen Graph Colouring 11 Satz: Ein planarer Graph ist genau dann 2-färbbar, wenn er bipartit ist. Satz: Das Entscheidungsproblem Ist ein gegebener planarer Graph 3-färbbar ist N P-vollständig. Eine 5-Färbung eines planaren Graphen ist relativ einfach zu bestimmen. Satz: (Robertson, Sanders, Seymour, Thomas 1995) Die 4-Färbung eines planaren Graphen ist in O(n 2 ) möglich. (inkl. vereinfachter Beweis des Four Colour Theorems). = Färbung von planaren Graphen kann mit einer absoluten Gütegarantie von 1 approximiert werden. Beachte: Algorithmus zur 4-Färbung 4-Farben Satz

12 Approximationsalgorithmen Graph Colouring 12 Graph Colouring (Kanten): Kantenfärbung von Graphen: gegeben: Graph (V, E), beliebig viele Farben. Problem: Ordne jeder Kante eine Farbe zu, sodaß Kanten mit gemeinsamen Endknoten verschiedene Farben haben und eine minimale Gesamtzahl von Farben verwendet werden. Sei (G) der maximale Grad eines Knoten in G. Satz von Vizing: Jeder Graph G ist kantenfärbbar mit (G) oder (G) + 1 Farben. = Kantenfärbung von beliebigen Graphen kann mit einer absoluten Gütegarantie von 1 approximiert werden.

13 Approximationsalgorithmen Graph Colouring 13 = Ist die absolute Gütegarantie das perfekte Konzept?? Negatives Resultat: Satz: Es gibt keinen polynomiellen Algorithmus für das Rucksackproblem (KP) mit einer absoluten Gütegarantie k, für irgendein k > 0 (wenn P N P).

14 Approximationsalgorithmen Bewertung 14 Maximierung: Definition: Ein Approximationsalgorithmus A für ein Maximierungsproblem hat eine relative Gütegarantie k, (0 < k < 1), wenn für jede Instanz I gilt: A(I) k Opt(I) kurz: A ist ein k Approximationsalgorithmus. Betrachte die relative Abweichung: Opt(I) A(I) Opt(I) ε A(I) (1 ε)opt(i) Ein Approximationsalgorithmus A mit relativer Abweichung ε ist ein (1 ε) Approximationsalgorithmus.

15 Approximationsalgorithmen Bewertung 15 Minimierung: Definition: Ein Approximationsalgorithmus A für ein Minimierungsproblem hat eine relative Gütegarantie k, (k > 1), wenn für jede Instanz I gilt: A(I) k Opt(I) auch hier: A ist ein k Approximationsalgorithmus. betrachte wiederum die relative Abweichung: A(I) Opt(I) Opt(I) ε A(I) (1 + ε)opt(i) Ein Approximationsalgorithmus A mit relativer Abweichung ε ist ein (1 + ε) Approximationsalgorithmus. Zusatz: Eine relative/absolute Gütegarantie eines Algorithmus A ist scharf, wenn es eine Instanz I gibt, sodaß die entsprechende Ungleichung mit Gleichheit erfüllt ist. Oder wenn es eine Folge von Instanzen gibt, sodaß die Gleichheit im Grenzwert gilt.

16 Approximationsalgorithmen Bewertung 16 Definition: (Minimierung) Ein Approximationsalgorithmus A für ein Minimierungsproblem hat eine asymptotische Gütegarantie k, (k > 1), wenn es eine Konstante d gibt, sodaß für jede Instanz I gilt: A(I) k Opt(I) + d oder technischer: k = lim sup Opt(I) I A(I) Opt(I) Wird benötigt, um Instanzen mit sehr kleinem, ganzzahligen Lösungswert auszuschließen. Motivation: Lösung des N P-vollständigen Partitionsproblem kann als Instanz von Bin-Packing mit Lösungswert 2 formuliert werden.

17 Approximationsalgorithmen Approximationsschema 17 Betrachte die relative Abweichung ε als Input-Wert. Definition: Maximierung Ein Algorithmus A ist ein ε Approximationsschema, wenn A für jedes ε (0, 1) ein (1 ε) Approximationsalgorithmus ist. Minimierung analog. Natürlich wächst die Laufzeit mit sinkendem ε. Definition: Ein Approximationsschema A ist ein Polynomiales Approximationsschema (PTAS), wenn die Laufzeit von A polynomial in der Länge der Instanz ist. Verschärfung: Ein effizientes PTAS (EPTAS) hat eine Laufzeit f(ε) n c, wobei f(ε) eine beliebige Funktion ist und c eine Konstante unabhängig von ε ist. Definition: Ein Approximationsschema A ist ein Voll-Polynomiales Approximationsschema (FPTAS), wenn die Laufzeit von A polynomial in der Länge der Instanz und in 1/ε ist. analog: asymptotisches PTAS und asymptotisches FPTAS.

18 Approximationsalgorithmen Scheduling 18 Scheduling Single-Prozessor Scheduling: gegeben: n jobs/aufträge, jeder mit Bearbeitungszeit p i, die auf einer Maschine hintereinander bearbeitet werden müssen. möglich: Gewicht w i für die Wichtigkeit eines jobs. Problem: Ordne jedem job einen Startzeitpunkt s i auf der Maschine zu, sodaß eine Zielfunktion minimal ist. Endzeitpunkt eines jobs i: C i = s i + p i. (Completion time) Gesamtfertigstellungszeitpunkt ist trivial n i=1 p i.

19 Approximationsalgorithmen Scheduling 19 Zielfunktion 1: Minimiere die gewichtete Summe der Endzeitpunkte (weighted sum of completion times) n min w i C i i=1 Algorithmus WSPT: (weighted shortest processing time) Sortiere jobs nach aufsteigenden p i /w i Ordne sie so auf der Maschine an. = liefert stets Optimallösung (Austauschargument)

20 Approximationsalgorithmen Scheduling 20 Einführung von Fertigstellungsterminen due dates d i für jeden job i Zielfunktion 2: Minimiere die größte Verspätung (lateness) L max eines jobs lateness von job i: L i = s i + p i d i Bei rechtzeitigen jobs wäre lateness negativ = Transformation aller due dates: d i := d i d max = alles jobs sind verspätet, aber Unterschiede in der lateness bleiben gleich. Algorithmus EDD (earliest due date): Sortiere jobs nach aufsteigenden due dates d i Ordne sie so auf der Maschine an. = liefert stets Optimallösung (Austauschargument)

21 Approximationsalgorithmen Scheduling 21 Einführung von Verfügbarkeitsterminen release dates r i für jeden job i = N P- schweres Problem List Scheduling: immer wenn die Maschine frei ist: ordne den nächsten job von der Liste an job i wird zum Zeitpunkt r i in die Liste aufgenommen. List-Scheduling hat eine scharfe Gütegarantie von 2 (bei beliebiger Listenorganisation). Jackson s Rule: Sortierung der Liste nach aufsteigenden due dates (EDD) Jackson s Rule hat eine scharfe Gütegarantie von 2. Gleiches worst-case Beispiel wie bei allgemeinem List Scheduling Es gibt Approximationsalgorithmen mit Gütegarantie 3/2 (Potts, 1980) und ein PTAS (Hall, Schmoys, 1992).

22 Approximationsalgorithmen Scheduling 22 Betrachte die Anzahl der verspäteten jobs: unit penalty U i, (keine release dates) U i = { 1 wenn Ci > d i, 0 sonst. (1) Zielfunktion 3: Minimiere die Anzahl der verspäteten jobs n i=1 U i Algorithmus Iterated EDD: Sortiere jobs nach aufsteigenden due dates d i J := {1,..., n} Menge der noch verfügbaren jobs J L := Menge der verspäteten jobs repeat sei j der erste verspätete job in J k := arg max i=1,...,j p i J := J \ {k}, J L := J L {k} until kein verspäteter job in J = liefert stets Optimallösung Minimiere gewichtete Anzahl n i=1 w iu i = N P-schwer.

23 Approximationsalgorithmen Scheduling 23 Multi-Prozessor Scheduling: gegeben: n jobs/aufträge, jeder mit Bearbeitungszeit p i, m Maschinen Problem: Ordne jeden job einer Maschine zu, sodass der Gesamt-Fertigstellungszeitpunkt minimal ist. Algorithmus List-Scheduling (Graham): l j := 0 Arbeitszeit von Maschine j = 1,.., m for i := 1 to n do j min := arg min{l j } ordne job i auf Maschine j min an. l jmin := l jmin + p i end for Gesamtzeit := max{l j } List-Scheduling hat eine scharfe Gütegarantie von 2 1 m.

24 Approximationsalgorithmen Scheduling 24 Verbesserung: (LPT) Longest-Processing Time List-Scheduling Sortiere die jobs in absteigender Reihenfolge. (LPT) hat eine scharfe Gütegarantie von m.

25 Approximationsalgorithmen Scheduling 25 PTAS für Multi-Prozessor Scheduling: Allgem. Konstruktionsprinzip beschränkte Enumeration. Grundidee: Wähle ein geeignetes Unterproblem der Größe k Löse das Unterproblem optimal durch vollständige Enumeration Erweitere die Lösung zu einer Gesamtlösung Multi-Prozessor Scheduling: Approximationsschema (Graham) Algorithmus Scheduling-PTAS: Sortiere die jobs in absteigender Reihenfolge p 1 p 2... p n ( ) wähle Parameter k bestimme die optimale Anordnung der jobs 1,..., k führe (LPT) für die restlichen jobs aus.

26 Approximationsalgorithmen Scheduling 26 Scheduling-PTAS hat eine Gütegarantie von 1 + m 1 k. Für gegebenes ε wähle k := (m 1)/ε = ε Approximationsschema Laufzeit: Optimallösung für k jobs durch Enumeration in O(m k ) Zeit. Gesamtzeit: O(m m/ε + n log n) = PTAS m wird als konstant betrachtet.

27 Approximationsalgorithmen Bin Packing 27 Bin Packing Problem (BP): gegeben: n Objekte, jedes mit Gewicht a i (0, 1], beliebig viele Container/bins mit Kapazität 1 Problem: Packe alle Objekte in minimale Anzahl von bins Naive Methode: Algorithmus Next Fit (NF): öffne das erste bin for i := 1 to n do wenn Objekt i in das offene bin paßt packe es dort hinein sonst schließe das offene bin öffne ein neues bin und packe Objekt i ein end for (NF) läuft in O(n) Zeit. (NF) hat eine scharfe asymptotische Gütegarantie von 2.

28 Approximationsalgorithmen Bin Packing 28 Algorithmus First Fit (FF) (Johnson et al.): öffne das erste bin for i := 1 to n do betrachte die offenen bins der Reihe nach packe Objekt i in das erste bin, wo es paßt wenn es nirgends paßt öffne ein neues bin und packe Objekt i ein end for (FF) hat eine scharfe asymptotische Gütegarantie von 1.7. (FF) läuft in O(n log n) Zeit. (FF) hat (nicht asymptot.) Gütegarantie 12/7 = Varianten: Best Fit (BF): Wähle bin mit minimaler Restkapazität: Güte 1.7. Worst Fit (WF): Wähle bin mit maximaler Restkapazität: Güte 2. Almost Worst Fit (AWF): Wähle bin mit zweitgrößter Restkapazität (sofern mehr als ein bin möglich): Güte 1.7. Any Fit (AF): Wähle beliebiges bin: Güte liegt stets zwischen 1.7 und 2.

29 Approximationsalgorithmen Bin Packing 29 Verbesserung: (D.S. Johnson 73) First Fit Decreasing (FFD) Sortiere die Objekte in absteigender Reihenfolge. (FFD) hat eine scharfe asymptotische Gütegarantie von (FFD) hat scharfe Gütegarantie von 3 2 (nicht asymptotisch). gleiche Resultate gelten auch für Best Fit Decreasing. (NFD) hat scharfe Gütegarantie von Weitere Verbesserung: Modified First Fit Decreasing (Garey, Johnson 85) Spezielle Regel für items mit Gewicht ( 1 6, 1 3 ]. Scharfe asymptotische Gütegarantie von =

30 Approximationsalgorithmen Bin Packing 30 Asymptotisches PTAS für Bin Packing Fernandez de la Vega, Lueker (1981) Überblick: 1. Einteilung in kleine und große items 2. Gruppeneinteilung der großen items um eine reduzierte Instanz zu erhalten 3. packe items in der größten Gruppe in separate bins 4. packe den Rest der reduzierten Instanz optimal mit einem ILP konstanter Dimension 5. packe die ursprünglichen items an die Positionen von items der reduzierten Instanz 6. packe die kleinen items mit FF Erweiterung zur asymptotischem FPTAS: Karmakar, Karp (1982)