Theoretische Informatik. Exkurs: Komplexität von Optimierungsproblemen. Optimierungsprobleme. Optimierungsprobleme. Exkurs Optimierungsprobleme

Transkript

1 Theoretische Informatik Exkurs Rainer Schrader Exkurs: Komplexität von n Institut für Informatik 13. Mai / 34 2 / 34 Gliederung Entscheidungs- und Approximationen und Gütegarantien zwei Greedy-Strategien für die Knapsack-Probleme dynamisches Optimieren die NP-vollständigen Probleme bilden den harten Kern der Probleme in NP für einige Probleme haben wir gezeigt, dass sie NP-vollständig sind es sind mehrere Tausend solcher NP-vollständiger Probleme bekannt leider viele, die praxisrelevante Fragestellungen modellieren wegen der Relevanz sollten wir auch NP-vollständige Probleme möglichst gut lösen können möglichst gut : akzeptable Antworten in akzeptabler Laufzeit 3 / 34 4 / 34

2 Entscheidungs- vs. Wir haben bisher Entscheidungsprobleme betrachtet, etwa: gegeben einen Graphen G und ein k N, enthält G eine Clique mit mindestens k Knoten? wir wollen auf die zugehörigen übergehen, also bestimme in einem Graphen G eine Clique größter Kardinalität das Optimierungsproblem fragt damit nach: einem größten k, für das das Entscheidungsproblem mit ja beantwortet werden kann, einer Teilmenge von Knoten, die eine größte Clique bilden. Bemerkung: Antwort des Entscheidungproblems immer kurz ( Ja/Nein ). Antwort des Optimierungsproblems kann lang sein! 5 / 34 6 / 34 sind nicht einfacher als Entscheidungsprobleme: jeder Algorithmus für das Optimierungsproblem löst das Entscheidungsproblem ist ein Entscheidungsproblem NP-vollständig, so ist das Optimierungsproblem NP-schwer für die von uns betrachteten Probleme gilt sogar: Entscheidungs- und Optimierungsvariante sind polynomiell äquivalent wir wollen dies am Beispiel von CLIQUE erläutern Bestimmung der Kardinalität einer größten Clique sei G (V, E) ein Graph mit n Knoten sei O(G, k ) ein Verfahren, das das Entscheidungsproblem löst bestimme mit dem folgenden Algorithums die Kardinalität k einer größten Clique in G: CLIQUESIZE(G) mittels binärer Suche des Parameters k über dem Intervall [1, n] bestimme das größte k, für das O(G, k ) mit ja antwortet k kann in O(log n) Aufrufen von O bestimmt werden 7 / 34 8 / 34

3 Bestimmung einer größten Clique sei v ein beliebiger Knoten in G entferne v aus G, sei G der entstandene Graph bestimme CLIQUESIZE(G ) falls CLIQUESIZE(G ) k G enthält eine Clique maximaler Kardinalität, die v nicht enthält fahre rekursiv mit dem Graphen G falls CLIQUESIZE(G ) < k v ist in jeder maximalen Clique von G enthalten entferne v und alle Knoten aus G, die nicht Nachbarn von v sind fort wir interessieren uns nicht dafür, wie O seine Antwort findet ein solcher Algorithmus heißt dann auch auch black box oder Orakel wir missbrauchen die bisherigen Definitionen: und bezeichnen ein Optimierungsproblem als NP-vollständig, wenn das zugehörige Entscheidungsproblem NP-vollständig ist suche im verbleibenden Graphen rekursiv eine Clique der Größe k 1 in beiden Fällen verringert sich die Anzahl der Knoten maximal O(n) weitere Aufrufe von O, um eine Clique maximaler Größe zu bestimmen. 9 / / 34 wir beschränken uns auf eine Klasse von Problemen, die Verallgemeinerungen von PARTITION darstellen sie erlauben Lösungsverfahren, die schnell gute Ergebnisse produzieren Rucksack-Problem: wir haben einen Rucksack der Größe b und n Objekte, die in diesen Rucksack gepackt werden können jedes Objekt hat eine Größe und eine Wertigkeit der Rucksack soll so gepackt werden, dass die mitgenommen Güter in den Rucksack passen und maximale Wertigkeit haben wir nehmen o.b.d.a. an, dass jedes Objekt einzeln in den Rucksack passt (sonst streichen). Rucksack-Problem: gegeben: a 1,..., a n, c 1,..., c n, b N gesucht: max unter der Bedingung a i x i b und x i {0, 1} für 1 i n, wobei x i 1 Objekt i wird eingepackt. 11 / / 34

4 offensichtlich ist das Rucksack-Problem eine Verallgemeinerung von PARTITION: setze a i c i für alle i PARTITION ist lösbar das Rucksack-Problem hat den Wert P n a i x i b damit ist das Rucksack-Problem ebenfalls NP-vollständig. Gliederung Entscheidungs- und Approximationen und Gütegarantien zwei Greedy-Strategien für die Knapsack-Probleme dynamisches Optimieren 13 / / Ansatz es gibt wenig Hoffnung (es sei denn P NP), polynomielle Algorithmen für Rucksack-Probleme zu finden wir wollen versuchen, Lösungen zu finden, die nahe an der Optimallösung liegen genauer: wir wollen erreichen, dass unsere Verfahren nicht zu weit vom Optimum entfernt liegen wir betrachten zuerst Verfahren, die eine Gütegarantie haben, also beweisbar nahe am Optimalwert liegen entwirf einen polynomiellen Algorithmus, der stets eine zulässige Rucksack-Lösung findet die höchstens um eine additive Konstante kleiner ist als der Optimalwert sei c opt der Optimalwert eines Maximierungsproblems sei c A den Wert, der von einem Algorithmus A gefunden wird, A hat die additive Gütegarantie k, falls stets c opt c A k 15 / / 34

5 Satz Für das Rucksack-Problem gibt es keinen polynomiellen Algorithmus mit additiver Gütegarantie, es sei denn P NP. sei A ein polynomieller Algorithmus mit einer additiven Gütegarantie k sei ein Rucksack-Problem mit ganzzahligem Zielfunktionsvektor c und Optimalwert c opt gegeben betrachte die modifizierte Zielfunktion c (k + 1)c sei c opt der Optimalwert des modifizierten Rucksack-Problems dann ist c opt (k + 1)c opt rufe A mit Zielfunktion c auf sei c A der von A berechnete Wert nach Annahme gilt c opt c A k sei c A der Wert der gerade von A bestimmten Lösung bezogen auf die ursprüngliche Zielfunktion dann ist c A (k + 1)c A damit folgt c opt c A 1 k + 1 (c opt c A ) k k + 1 < 1 wegen der Ganzzahligkeit folgt dann c opt c A, d.h. die Näherungslösung für die modifizierte Zielfunktion ist eine Optimallösung für die ursprüngliche Zielfunktion damit ist A ein polynomielles Verfahren zur Lösung des Rucksack-Problems und somit P NP. 17 / / 34 additive Fehler für das Rucksack-Problem können wir somit nicht garantieren wir wollen daher jetzt multiplikative Fehler zulassen 2. Ansatz entwirf einen polynomiellen Algorithmus A, der stets eine zulässige Rucksack-Lösung findet die höchstens um einen konstanten Faktor kleiner ist als der Optimalwert wir werden für das Rucksack-Problem einen solchen Algorithmus angeben im Allgemeinen ist das Konstruieren von Lösungen mit multiplikativer Gütegarantie nicht einfacher als das Konstruieren einer Optimallösung wir betrachten das Problem TSP aus dem letzten Kapitel da TSP ein Minimierunsgproblem ist, müssen wir die Bedingung an die Güte modifizieren, d.h. wir betrachten Algorithmen mit c A (1 + ε)c opt für ein gegebenes ε für eine Konstante ε hat A die multiplikative Gütegarantie stets gilt c A (1 ε)c opt ε, falls Satz Für TSP gibt es keinen polynomiellen Algorithmus mit multiplikativer Gütegarantie, es sei denn P NP. Übungsaufgabe 19 / / 34

6 eine sehr einfache Strategie der Optimierung beruht darauf, lokal immer das beste zu tun so haben wir in Informatik I minimale aufspannende Bäume erzeugt Gliederung Entscheidungs- und Approximationen und Gütegarantien zwei Greedy-Strategien für die Knapsack-Probleme dynamisches Optimieren dieses Vorgehen heißt Greedy-Strategie (für greedy gierig) für das Rucksack-Problem bestehe die Greedy-Strategie darin, die Objekte anzuordnen und dann zu versuchen, sie in dieser Reihenfolge in den Rucksack aufzunehmen wir betrachten zwei Varianten: Zielfunktionsgreedy ordne die Indizes so, dass c 1 c 2... c n gilt. Gewichtsdichtengreedy ordne die Indizes so, dass c 1 a 1 c 2 a 2... c n a n gilt. 21 / / 34 Greedy-Algorithmus für das Rucksack-Problem R 1 : c 1 for j 2 to n do if c j > R 1 then R 1 c j end for R 2 : 0 for j 1 to n do if a j > b then x j 0 else x j 1 b b a j R 2 : R 2 + c j end if end for das Greedy-Verfahren hat eine Laufzeit von O(n log n) (Sortieren) der Zielfunktionsgreedy kann beliebig schlechte Lösungen liefern: sei n N beliebig: max nx 1 + (n 1)x (n 1)x n+1 nx 1 + x x n+1 n x 1,..., x n+1 {0, 1} c A n, c opt n(n 1). return max{r 1, R 2 } 23 / / 34

7 wir wollen für das Rucksack-Problem zeigen: max { : a i x i b, 0 x i 1 für 1 i n} der Gewichtsdichtengreedy erreicht stets mindestens den halben Wert der Optimallösung dazu betrachten wir das folgende Problem, in dem wir die Ganzzahligkeit der Variablen zur Nichtnegativität abschwächen: max a i x i b 0 x i 1 für 1 i n 25 / 34 Lemma c Sei 1... c n. Sei r der größte Index für den P r a 1 a n a i b. Dann hat das obige Problem eine Optimallösung x i 8 >< >: 1, für 1 i r `b P r a i, für i r + 1 0, sonst. Offensichtlich ist x zulässig. Weiter gilt für jede zulässige Lösung x: + c i + c i (x i 1) + 26 / 34 c i + c i + c i + c i (x i 1) + c i a i a i (x i 1) + c r +1 a i (x i 1) + b c r +1 (b c i a i a i x i a i (x i 1) + c r +1 a i x i c r +1 a i ). a i a i c r +1 a i x i a i x i Satz wir haben die Ganzzahligkeitsbedingung abgeschwächt daher liefert x eine obere Schranke für den Optimalwert des Rucksack-Problems dies nutzen wir aus, um den folgenden Satz zu beweisen: Der Gewichtsdichtengreedy A liefert für das Rucksack-Problem einen polynomiellen Algorithmus mit multiplikativer Gütegarantie / / 34

8 Satz Der Gewichtsdichtengreedy A liefert für das Rucksack-Problem einen polynomiellen Algorithmus mit multiplikativer Gütegarantie 1 2. sei o.b.d.a. c 1 a 1... c n a n sei der Index r wie vorher nach vorigem Lemma gilt stets: c opt c opt < (b a i ) Gliederung Entscheidungs- und Approximationen und Gütegarantien zwei Greedy-Strategien für die Knapsack-Probleme dynamisches Optimieren c opt R 2 + R 1 c opt 2c A. 29 / / 34 wir beschäftigen uns im folgenden mit einem algorithmischen Ansatz, der auf einer Zerlegung des Problems beruht dazu betrachten wir für die Parameter 0 r n und 0 d b die folgende Familie von Rucksack-Problemen: (KP r,d ) max a i x i d sei f (r, d ) der Optimalwert von KP r,d. x i {0, 1} für 1 i r (KP r,d ) max { : Sei f (r, d ) der Optimalwert von KP r,d. Lemma (i) f (r, 0) 0 für r 1,..., n j 0, für d < a1 (ii) f (1, d ) c 1, sonst. a i x i d, x i {0, 1} für 1 i r } (iii) f (r, d ) max {f (r 1, d ), f (r 1, d a r ) + c r } (i) und (ii) klar (iii) entweder gilt in einer Optimallösung x 1,..., x 0 betrachte KP r 1,d xr 1 betrachte KP r 1,d ar und addiere c r. x r r : 31 / / 34

9 Dynamisches Programm zur Lösung des {0, 1}-Knapsack-Problems for r 1,..., n do for d 0,..., b do f (r, d ) max {f (r 1, d ), f (r 1, d a r ) + c r } end for end for die Laufzeit des Verfahrens beträgt O(n b) dies ist in der Praxis für nicht zu große b ein tauglicher Ansatz, jedoch im Sinne der Komplexitätstheorie nicht polynomiell, da die Größe von b und nicht seine Kodierungslänge ( log b) eingeht die Laufzeit ist somit exponentiell in der Binärdarstellung von b. Beispiel max 31x x x 3 3x 1 + 2x 2 + 5x 3 8 x 1, x 2, x 3 {0, 1} Einsetzen der Werte in die Rekursionsvorschrift, z.b. f (2, 1) max {f (1, 1), f (1, 1 2) + 22} 0 f (2, 2) max {f (1, 2), f (1, 0) + 22} 22 d r1 r2 r ergibt folgende Tabelle: 33 / / 34