Approximationsschemata für das Rucksackproblem

Transkript

1 Approximationsschemata für das Rucksackproblem Seminararbeit von Christian Schmitz Fakultät für Informatik Institut für Theoretische Informatik Betreuende Mitarbeiter: Juniorprof. Dr. Henning Meyerhenke Dr. Roland Glantz Abgabedatum: 20. Juli 2012 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum der Helmholtz-Gesellschaft

2 Inhaltsverzeichnis 1 Einleitung 2 2 Approximationsschemata 2.1 Das Rucksackproblem Approximationsalgorithmen Approximationsschemata Definition Zusammenhang zu exakten Algorithmen Ein Approximationsschema für das Rucksackproblem 9.1 Ein pseudopolynomieller Algorithmus für das Rucksackproblem Ein streng polynomielles Approximationsschema für das Rucksackproblem 1. Weitere Approximationsansätze für das Rucksackproblem Zusammenfassung 17 1

3 1 Einleitung Viele Optimierungsprobleme sind nicht mit polynomiellem Aufwand exakt lösbar. Cormen u. a. listen beispielsweise das Cliquen-Problem und das Problem des Handlungsreisenden als NP-vollständige Probleme auf. Probleme der Klasse NP-vollständig sind die schwierigsten Probleme in NP [1]. Da nicht immer ein exaktes Ergebnis verlangt ist, sondern ein annähernd exaktes ausreicht bzw. ein nicht optimales Ergebnis aufgrund einer schnelleren Laufzeit in Kauf genommen wird, bieten sich Approximationsalgorithmen an, um diese Optimierungsprobleme zu lösen. Approximationsalgorithmen zeichnen sich dadurch aus, dass man zu ihnen eine Güte angeben kann, die beschreibt, wie stark die gefundene Lösung vom Optimum abweicht. Manchmal ist es jedoch wünschenswert, variablere Gütewerte zu erreichen, die in Abhängigkeit des relativen Fehlers besser werden. Anders ausgedrückt, je mehr Zeit dem Algorithmus gegeben wird, umso kleiner soll der relative Fehler sein und umso näher soll die Ausgabe des Algorithmus an dem tatsächlichen Optimum liegen. Diese Idee liegt den Approximationsschemata zugrunde. Einem Approximationsschema werden sowohl eine Instanz aus der Problemmenge übergeben als auch ein Wert ε, der eine Schranke für den relativen Fehler darstellt. Dadurch ist die Laufzeit nicht mehr nur von der Probleminstanz abhängig, sondern auch von ε. Approximationsschemata verlangen, dass die Laufzeit polynomiell ist [1]. Somit bietet ein Approximationsschema die Möglichkeit, ein schwieriges Problem schnell und qualitativ gut zu lösen. Auch das Rucksackproblem ist ein N P-vollständiges Optimierungsproblem und dementsprechend nicht exakt in polynomieller Zeit lösbar. 1 Für diesen Problemtypen kann jedoch ein Approximationsschema hergeleitet werden, sodass die beschriebenen Eigenschaften für eine schnelle und annähernd optimale Lösung genutzt werden können. Genau solch ein Approximationsschema für das Rucksackproblem wird in dieser Arbeit vorgestellt. Dabei wird zuerst von einem exakten pseudopolynomiellen Algorithmus ausgegangen und daraus das Approximationsschema entwickelt. Das hier beschriebene Approximationsschema wurde u. a. von Wanka vorgestellt. Die Arbeit ist folgendermaßen aufgebaut: Zuerst wird in Kapitel 2 das Rucksackproblem formal definiert und ein Ausblick in dessen Anwendungen und Variationen gegeben. Zudem wird erklärt, was pseudopolynomielle Algorithmen sind, da sie wichtig für die Erstellung des Beispielschemas sind. Danach wird eine kurze Einführung in Approximationsalgorithmen und deren Gütefunktionen gegeben. Dies dient als Grundlage für die detaillierte Betrachtung der Approximationsschemata. In Kapitel wird dann das Approximationsschema für das Rucksackproblem beschrieben. Dafür wird zuerst ein exakter pseudopolynomieller Algorithmus vorgestellt, welcher dann in ein Approximationsschema überführt wird. In Kapitel wird zuletzt noch einmal eine Zusammenfassung der Ergebnisse gegeben. 1 Unter der Annahme dass N P = P 2

4 2 Approximationsschemata In diesem Kapitel wird zuerst das Rucksackproblem vorgestellt und als Optimierungsproblem formal definiert. Zudem wird in das Konzept der pseudopolynomiellen Algorithmen eingeführt. Danach findet eine kurze Einführung in Approximationsalgorithmen statt. Dies dient als Grundlage für die Definition von Approximationsschemata, die im letzten Teil des Kapitels vorgestellt werden. 2.1 Das Rucksackproblem Bei einem kombinatorischen Optimierungsproblem wird für eine problemabhängige Eingabe eine zulässige Lösung gesucht, die eine Zielfunktion optimiert - also maximiert oder minimiert. Wanka folgend, wird ein Optimierungsproblem folgendermaßen definiert: Definition 2.1. Ein kombinatorisches Optimierungsproblem Π ist charakterisiert durch vier Komponenten: D: Menge der (Problem-)Instanzen, Eingaben. S(I) für I D: die Menge der zu Eingabe I zulässigen Lösungen. Die Ziel-, Bewertungs- oder Maßfunktion f : S(I) N 0 ziel {min, max} Gesucht ist zu I D eine zulässige Lösung σ opt S(I), so dass f(σ opt ) = ziel{f(σ) σ S(I)} f(σ) ist der Wert der zulässigen Lösung σ. OP T (I) = f(σ opt ) sei dann definiert als der Wert einer optimalen Lösung. Das Rucksackproblem (engl. Knapsack Problem) ist ein Optimierungsproblem, bei dem ein Rucksack, der eine Kapazitätsobergrenze besitzt, mit Objekten gefüllt wird. Die Objekte haben ein Gewicht und einen Nutzen. Der Nutzen der in den Rucksack gepackten Objekte soll maximiert werden, während die Kapazitätsbeschränkung eingehalten wird. Anschaulich kann das Rucksackproblem am Beispiel eines Bergsteigers vorstellen. Wenn er einen Berg besteigen will, muss er entscheiden, was er in seinem Rucksack mitnimmt. Er besitzt eine große Auswahl an Objekten, nummeriert von 1 bis n. Jedes Objekt bringt ihm einen gewissen Komfort oder Nutzen p j. Zugleich steigert jedes eingepackte Objekt aber auch die Gesamtlast des Rucksacks um das Gewicht des Objekts w j. Da der Bergsteiger nur eine gewisse Last tragen kann, ist das maximale Gesamtgewicht seines Rucksacks auf einen Wert c beschränkt [7]. Ein weiteres, etwas vom Bild des Rucksacks losgelöstes Beispiel ist eine Investitionsentscheidung. Ein Investor hat Geld in Höhe von c zur Verfügung, das er anlegen will. Für jede Investition muss er w j ausgeben und hat einen erwarteten Ertrag von p j über eine fixe Periode. Das Risiko einer Investition wird bei diesem Beispiel nicht explizit betrachtet [7].

5 Formal beschrieben ist durch eine Instanz des Rucksackproblems eine Menge N mit n Objekten und die maximale Kapazität c des Rucksacks gegeben. Für jedes Objekt j seien zudem der Nutzwert p j sowie das Gewicht w j bekannt. Gesucht ist eine Teilmenge O N, die den Gesamtnutzen maximiert und deren Gewicht die Kapazitätsgrenze nicht überschreitet [7]. Als lineares Programm beschrieben bedeutet dies [10]: max z = u.d.n. j O N j O N p j [2.1] w j c [2.2] Ohne Beschränkung der Allgemeinheit werden zudem folgende Annahmen getroffen [10]: [2.] p j, w j, c N [2.] w j > c [2.] j O N j N : w j c [2.6] Durch diese Beschränkungen wird dafür gesorgt, dass die Einzelnutzen, Preise und Kapazität nur positive, ganze Zahlen annehmen können. Die Summe aller Gewichte überschreitet die Kapazitätsgrenze. Somit ist es nicht möglich, einfach alle Objekte in den Rucksack zu legen. Zuletzt wird verlangt, dass jedes Objekt auch wirklich in den Rucksack passt. Überführt man das Rucksackproblem in die formale Schreibweise eines Optimierungsproblems, so ergibt sich [12]: D = { N, W, P, c N = {1,..., n}, W = {w 1,..., w n }, P = {p 1,..., p n }, c N, j N : w j, p j N, n j=1 w j > c, j N : w j c} S( N, W, P, c ) = {O N j O w j c} f(o) = j O p j ziel = max. Beispiel 1. Gegeben seien ein Rucksack mit einer Kapazität von c = 1 sowie N = {1, 2,,, }, W = {w 1 =, w 2 = 6, w =, w =, w = 7} und P = {p 1 =, p 2 =, p =, p = 2, p = } Abbildung 2.1 zeigt für diese Probleminstanz, was eine unzulässige Lösung, eine zulässige Lösung und eine optimale Lösung ist. Die Flächen der Vierecke sind dabei proportional zum Gewicht der j zu verstehen. Wie dargestellt liefert die Teilmenge aus 1, 2 und keine zulässige Lösung, da die Kapazitätsgrenze des Rucksack überschritten wird. Die Rucksackfüllungen aus 1 und 2 bzw. 1 und hingegen sind zulässig. Letztere ist sogar eine optimale Lösung der Probleminstanz. Das Rucksackproblem ist schwach N P-vollständig [12]. Dadurch ist es potenziell möglich einen pseudopolynomiellen Algorithmus zu diesem Problem zu finden. Für stark N P- vollständige Probleme ist dies nicht der Fall, da unter der Annahme, dass P N P ist, gilt, dass ein pseudopolynomieller Algorithmus für ein stark N P-vollständiges Problem nicht existiert [2].

6 1 unzulässig zulässig f({1, 2}) = 8 optimal f({1, }) = Abbildung 2.1: Schematische Darstellung des Rucksackproblems anhand von Beispiel 1 Definition 2.2. Ein Algorithmus, der ein kombinatorisches Optimierungsproblem Π mit Instanzen I, in denen nur natürliche Zahlen vorkommen, löst, nennt man einen pseudopolynomiellen Algorithmus, wenn dessen Laufzeit polynomiell in der Größe I und dem größten Wert maxnr(i) der Eingabeinstanz I ist, also poly( I, maxnr(i)) [2, S. 9] [12, S. 70]. Durch die Hinzunahme von maxnr(i) in die Laufzeitbeschränkung muss die Laufzeitabschätzung nicht mehr für alle Zahlen, die durch die Länge der Eingabeinstanz darstellbar sind, gültig sein. Dies kann genutzt werden, um für schwach N P-vollständige Optimierungsprobleme einen pseudopolynomiellen Algorithmus zu entwerfen wie später für das Rucksackproblem gezeigt wird. Das hier vorgestellte Rucksackproblem Martello u. Toth bezeichnen es als binäres bzw. 0-1 Rucksackproblem findet sich als Teilproblem in einigen Lösungen für komplexere Probleme wieder. Zudem gibt es einige Varianten und Erweiterungen des Problems. Zum Beispiel beschreibt das Untermengensumme Problem (engl. subset sum problem) eine Abwandlung des Rucksackproblems, bei dem der Nutzwert eines Objekts dessen Gewicht entspricht, also p j = w j [7]. Weitere Varianten stellen das beschränkte bzw. unbeschränkte Rucksackproblem dar. Hier wird nicht mehr davon ausgegangen, dass ein Objekt nur einmal vorliegt, sondern es gibt mehrere Kopien davon. Im beschränkten Rucksackproblem ist eine Grenze für die Anzahl der Kopien vorgegeben, im unbeschränkten Rucksackproblem gibt es unendlich viele [7]. Diverse weitere Varianten und Erweiterungen können zum Beispiel bei Kann oder Martello u. Toth gefunden werden. 2.2 Approximationsalgorithmen Oftmals ist es bei der Lösung eines N P-vollständigen, also nur schwer exakt lösbaren Problems nicht unbedingt nötig, ein Optimum zu finden. Eine nahezu optimale Lösung ist in der Praxis häufig ausreichend, vor allem, wenn die Berechnungszeit dadurch verkürzt wird. Algorithmen, die eine fast optimale Lösung finden, sind Approximationsalgorithmen. Wanka definiert einen Approximationsalgorithmus folgendermaßen [12, S. 10]: Definition 2.. Sei Π ein kombinatorisches Optimierungsproblem.

7 Ein t(n)-zeit-approximationsalgorithmus A berechnet zu Eingabe I D in Zeit t( I ) eine Ausgabe σ A I S(I). Dann ist A(I) = f(σa I ). Ein Approximationsalgorithmus berechnet also eine gültige Lösung σi A mit einer Laufzeit, die abhängig von der Eingabegröße ist. Der entsprechende Funktionswert der Lösung wird mit A(I) beschrieben. Damit die Berechnung auch schneller als bei den exakten Algorithmen ist, soll die Berechnungszeit polynomiell in der Eingabegröße sein. Zu einem Approximationsalgorithmus A kann zudem angegeben werden, wie gut dessen Lösungsqualität ist. Kann eine solche Qualitätsaussage nicht getroffen werden oder kann der Algorithmus beliebig schlechte Lösungen liefern, spricht man von einer Heuristik [12]. Es gibt zwei Arten, wie man die Lösungsqualität eines Approximationsalgorithmus angeben kann. Zum einen kann die absolute Differenz vom Lösungswert und der optimalen Lösung betrachtet werden. Dieser als absolute Güte bezeichnete Wert berechnet sich als κ A (I) = A(I) OP T (I) [12, S. 17]. Zum anderen kann die Lösungsqualität durch die relative Güte bewertet werden. 1 Bei dieser wird die relative Abweichung der Lösung vom Optimum angeschaut. Aufgrund der Fallunterscheidung bzgl. eines Maximierungs- oder Minimierungsproblems ergibt sich die relative Güte als [12, S. ]: ρ A (I) = max{ A(I) OP T (I), }. [2.7] OP T (I) A(I) Eng verbunden mit der relativen Güte ist der relative Fehler. Dieser ist definiert als ε A = OP T (I) A(I). [2.8] OP T (I) Je nach Art des Optimierungsproblems lässt sich diese Gleichung anders auflösen. Für ein Minimierungsproblem gilt [, S. 9]: ε A = Für ein Maximierungsproblem hingegen ergibt sich: ε A = 1 A(I) 1, da A(I) OP T (I) 0 [2.9] OP T (I) A(I), da OP T (I) A(I) 0. [2.10] OP T (I) Wanka beweist in seinem Buch, dass es für das Rucksackproblem keinen polynomiellen Approximationsalgorithmus gibt, dessen Lösungsqualität mit einer absoluten Güte beschrieben werden kann. Dies ist jedoch mit relativer Güte möglich. 2. Approximationsschemata Im Folgenden werden nun die Approximationsschemata definiert. Anschließend wird gezeigt, dass Approximationsschemata auch genutzt werden können, um exakte Ergebnisse zu berechnen. 1 Eine detailliertere Abhandlung zu den Gütemaßen und Fehlern kann bei Wanka nachgelesen werden 6

8 2..1 Definition Wie man bei den Approximationsalgorithmen gesehen hat, gibt es die Möglichkeit, Algorithmen zu entwerfen, für die man beweisen kann, dass ihre Lösungen maximal um einen fixen Gütewert vom Optimum abweichen. Wünschenswert kann es jedoch auch sein, den relativen Gütewert zu erhöhen bzw. den relativen Fehler zu verringern, indem man dem Algorithmus mehr Laufzeit einräumt. Approximationsalgorithmen, deren Laufzeit abhängig von der Lösungsqualität ist, heißen Approximationsschemata [1]. Ein Approximationsschema ist folgendermaßen definiert [1, S. 1107], [12, S. 6f. ], [, S. 11]: Definition 2.. Ein Approximationsschema für ein Optimierungsproblem Π ist ein Approximationsalgorithmus A für Π, der als Eingabe nicht nur eine Instanz des Problems, sondern auch ein ε > 0 übergeben bekommt. Für jedes fixe ε hat die Lösung dann eine relative Güte von p A = 1 + ε bei einem Minimierungsproblem und p A = 1 + bei einem Maximierungsproblem. Anders ausgedrückt ist der relative Fehler ε A der Lösung kleiner gleich ε. Anhand der Laufzeitrestriktionen unterscheidet man bei den Approximationsschemata des Weiteren polynomielle und streng polynomielle Approximationsschemata [1, S. 1107]: Definition 2.. Ein Approximationsschema A ist ein polynomielles Approximationsschema (PTAS, englisch: polynomial-time approximation scheme), wenn für jedes ε > 0 die Laufzeit von A polynomiell in der Größe der Eingabeinstanz, also O(poly( I )), ist. Definition 2.6. Ein Approximationsschema A ist ein streng polynomielles Approximationsschema (FPTAS, englisch: fully polynomial-time approximation scheme), wenn die Laufzeit von A sowohl polynomiell in der Größe der Eingabeinstanz als auch in 1 ε, also O(poly( I, 1 ε ), ist. Ein FPTAS ist damit restriktiver als ein PTAS. Bei einem PTAS wird ε wie eine Konstante behandelt, während das FPTAS vorgibt, dass dessen Laufzeit polynomiell in ε sein muss. Eine Laufzeit von O( I 1 ε ) ist für ein PTAS also erlaubt, für ein FPTAS allerdings nicht [12]. Für den Ablauf eines Approximationsschemas kann man sich zwei Varianten vorstellen. Eine Variante ist, dass in Abhängigkeit von ε nur einige wenige zulässige Lösungen berechnet werden und aus diesen die beste gewählt wird. Die andere Variante lautet, dass eine zulässige Lösung berechnet wird und diese dann, solange die vorgegebene Laufzeit nicht überschritten wurde, verbessert wird [12] Zusammenhang zu exakten Algorithmen Für ein Approximationsschema ist der relative Fehler ε als Parameter frei wählbar. Legt man den Wert also auf ein ε fest, sodass ε klein genug ist, liefert das Approximationsschema die exakte Lösung. Dies liegt im Wesentlichen daran, dass kombinatorische Optimierungsprobleme diskret sind. Dadurch sind die beste OP T (I) und die zweitbeste Lösung SECOP T (I) um eine natürliche Zahl δ = OP T (I) SECOP T (I) verschieden. 2 Wird nun ε so klein gewählt, dass die Auswahl von SECOP T (I) einen zu großen relativen δ Fehler verursacht, also OP T (I) > ε, gilt, dass nur die OP T (I) eine akzeptierte Lösung des Approximationsschemas ist. Laut Wanka gilt daher folgender Satz [12, S. 66f. ]: 2 Für OP T (I) und SECOP T (I) als Ergebnisse der Funktion f : S(I) N 0 gilt OP T (I), SECOP T (I) N 0 ε 1 ε 7

9 Theorem 2.7. Sei Π ein kombinatorisches Optimierungsproblem, A ein (F)PTAS, und zu Eingabe I sei Z(I) eine obere Schranke für OP T (I), d. h. OP T (I) Z(I). Sei ε = 1 Z(I)+1. Dann ist A(I, ε ) = OP T (I). Ist A ein FPTAS, so ist die Laufzeit O(poly( I, Z(I))). Dieser Satz sagt also aus, dass mit einem Approximationsschema ein kombinatorisches Optimierungsproblem exakt gelöst werden kann. Mit einem FPTAS ist dies sogar in einer Laufzeit, die polynomiell in der Eingabegröße und dem relativen Fehler ist, möglich. Die Laufzeit eines PTAS hingegen kann durch den geringen relativen Fehler gewaltig sein. Ein FPTAS und damit die Möglichkeit, N P-vollständige Probleme mit polynomieller Laufzeit zu lösen, existieren nur für wenige Optimierungsprobleme. Sobald ein Problem nämlich stark N P-vollständig ist, gibt es dafür kein FPTAS, es sei denn P = N P [12]. Dass der Satz korrekt ist und wirklich eine exakte Lösung gefunden wird, wird im Folgenden bewiesen. Beweis. Für ein kombinatorisches Optimierungsproblem liefert ein Approximationsschema A mit einer Probleminstanz I und einem relativen Fehler ε 1 = Z(I)+1 als Eingabe das Ergebnis A(I, ε ). Für den relativen Fehler der Lösung von A gilt: ε A = OP T (I) A(I, ε ) OP T (I) Da OP T (I) Z(I), ist der Bruch und damit gilt: ε OP T (I) A(I, ε ) ε OP T (I) = OP T (I) Z(I)+1 echt kleiner 1, also OP T (I) Z(I) + 1 < 1, OP T (I) A(I, ε ) < 1. OP T (I) Z(I) + 1 Da der Zielwert einer zulässigen Lösung laut Definition 2.1 ganzzahlig ist, muss Folgendes gelten: OP T (I) A(I, ε ) = 0 Umgeformt ergibt dies die zu beweisende Behauptung: OP T (I) = A(I, ε ). 8

10 Ein Approximationsschema für das Rucksackproblem In diesem Kapitel wird ein FPTAS für das Rucksackproblem entwickelt. Zuerst wird dafür ein pseudopolynomieller Algorithmus vorgestellt. Dieser wird anschließend genutzt, um den FPTAS herzuleiten. Abschließend werden weitere Approximationsschemata aus der Literatur aufgelistet. Ihre Laufzeiten und ihr Speicherbedarf zeigen, dass es effizientere Approximationsschemata gibt, als das in dieser Arbeit vorgestellte..1 Ein pseudopolynomieller Algorithmus für das Rucksackproblem Die Grundlage für das hier vorgestellten FPTAS für das Rucksackproblem ist ein pseudopolynomieller Algorithmus. Dieser wird sowohl bei Wanka als auch bei Williamson u. Shmoys vorgestellt die beiden Algorithmen unterscheiden sich jedoch in der Umsetzung voneinander. Bei beiden wird für die Suche des Optimums die dynamische Programmierung benutzt. Die Grundidee ist bei beiden Umsetzungen die gleiche. Der optimale Wert OP T (I) der Lösung einer Probleminstanz I wird sukzessiv berechnet, indem nach und nach die Objekte j in den Betrachtungsraum aufgenommen werden und die bisher effizientesten Paare aus Nutzen v und Gewicht f weiter betrachtet werden. Dabei bilden v kj = i S p i und f kj = i S w i mit S {1,..., j} ein Paar k bei Betrachtung der ersten j Objekte. Etwas detaillierter beschrieben bedeutet dies, dass zunächst von einer leeren Rucksackfüllung ausgegangen wird, also S =. Für diesen Fall wird definiert, dass es ein Paar mit v 00 = i p i = 0 und f 00 = i w i = 0 gibt. Nun betrachtet man zusätzlich das erste Objekt, also Objekt j = 1. Aus dem initialen Schritt 1 j = 0 ist bekannt, dass ein Wert v 01 = 0 mit einem Gewicht von f 01 = 0 erzielt werden kann. Durch die Hinzunahme von Objekt j kann zudem ein Wert v 11 = p 1 mit einem Gewicht von f 11 = w 1 erreicht werden. Für j = 1 sind also die Paar-Kombinationen K(1) = {(v 01, f 01 ), (v 11, f 11 )} möglich. 2 Nimmt man nun sukzessive Objekt j mit in die Betrachtung auf, ergeben sich daraus neue Paare von v k = v ij 1 + p j und f k = f ij 1 + w j, wobei v ij 1 und f ij 1 ein Paar i aus K(j 1) bilden. In K(j) werden dann diejenigen Paare k aus K(j 1) und aus den neu gewonnen Paaren (v ij, f ij ) übernommen, für die zum einen gilt, dass v k c, und zum anderen, dass sie dominierend sind. In diesem Zusammenhang gilt, ein Paar (v, f) dominiert ein Paar (v, f ), wenn v v und f f. In Worte gefasst heißt dies, dass (v, f) mindestens den gleichen Wert wie (v, f ) hat und maximal das gleiche Gewicht wie (v, f ) aufweist [1]. Durch dieses Aussortieren werden nur die effizientesten Paare betrachtet und so ist gegeben, dass für jeden Wert v in den folgenden Schritten immer die Paare weiter betrachtet 1 j = 0 ist sozusagen als Dummy-Objekt mit p 0 = 0 und W 0 = 0 anzusehen und bei der Ausgabe der Lösung zu vernachlässigen. 2 Per Definition ist gegeben, dass v 11 < c und damit, dass 1 1 ein gültiges Paar ist. 9

11 werden, die am wenigsten Gewicht benötigen. Zum Schluss findet man durch dieses Vorgehen in K(n) dann den optimalen Wert OP T (I) = max{v in f in c}. Wanka beschreibt die Beziehung von v und f durch eine Funktion F j (v). Der Funktionswert von F j (v) gibt das kleinste, benötigte Rucksackgewicht an, mit dem mindestens der Wert v erreicht werden kann, wenn man nur die ersten j Objekte betrachtet. Damit bildet der Funktionswert zusammen mit der Variablen v das dominierende Paar in K(j) mit Wert v. Ist es nicht möglich, einen Wert v zu erreichen, gilt F j (v) =. Ein Wert v = 0 wird durch eine leere Rucksackfüllung mit Gewicht f = 0 erreicht, also gilt F j (0) = 0, j. F j (v) ist daher folgendermaßen definiert: F j (v) = min{f kj v kj v} [.1] Es wird also das minimale kumulierte Gewicht der Objekte aus einer Teilmenge S {1,..., j} gesucht, das mindestens einen Wert von v hat. Durch diese Definition lässt sich folgendes Theorem aufstellen[12, S. 68]. Theorem.1. Für F j (v) gilt die folgende Rekursionsformel: 0 v 0, j {1,..., n} F j (v) = v 1, j = 0 min{f j 1 (v p j ) + w j, F j 1 (v)} v 1, j {1,..., n} [.2] Anhand dieser rekursiven Formel kann man sehen, dass immer die dominierenden Paare weiter betrachtet werden. F j 1 (v p j )+w j beschreibt den Effekt, den die Hinzunahme des Objekts j auf die bisherigen Paare hat. Dabei kann der Fall auftreten, dass der Ausdruck dem Gewicht des Objekts j entspricht. Dies passiert wenn p j größer ist als der betrachtete Nutzen v, also v p j 0. Im Fall, dass v > p j gilt, berechnet sich das Gewicht aus dem Gewicht des Objekts und dem Gewicht derjenigen Kombination, die bei der Betrachtung der ersten j 1 Objekte das dominierende Paar (v kj 1, f kj 1 ) für v kj 1 = v p j bildet. Ist der Wert F j 1 (v p j ) + w j größer als der von F j 1 (v), dann ist das dominierende Paar aus der Betrachtung der ersten j 1 Objekte weiterhin dominierend. Andernfalls bildet die neue Kombination mit Objekt j bzw. nur Objekt j das Paar aus Nutzen und Gewicht, das dominiert. Der pseudopolynomielle Algorithmus, den Wanka vorstellt, bedient sich dieser Rekursionsformel. Sie wird benutzt, um das größte v zu finden, für das gilt, dass alle n Objekte berücksichtigt sind und F n (v) noch in den Rucksack passt es wird also max{v F n (v) c} = OP T (I) gesucht. Dadurch ergibt sich folgender Algorithmus 1. Algorithmus 1 Pseudopolynomieller Algorithmus für das Rucksackproblem v 0 repeat v v + 1 for j = 1 n do F j (v) min{f j 1 (v p j ) + w j, F j 1 (v)} end for until c < F n (v) return v 1 Algorithmus 1 berechnet OP T (I), indem der Nutzen v in jeder Schleifeniteration um 1 erhöht wird und für diesen Wert F j für alle j {1,..., n} bestimmt wird. Wenn man sich 10

12 vorstellt, dass der Algorithmus eine Tabelle füllt, deren Zeilen die v und deren Spalten die Objekte j darstellen, wird diese Tabelle zeilenweise gefüllt, bis OP T (I) überschritten wurde. Veranschaulicht ist dies in Abbildung.1 zu sehen j... n 1 v p j. F j 1 (v p j ) F j 1 (v) F j (v) v. F n (OP T (I)) OP T (I) OP T (I) + 1 Aktuell betrachteter Tabelleneintrag Bereits bekannter Tabelleneintrag Abbildung.1: Aufbau der Tabelle in Algorithmus 1 (Vgl. Wanka) Wie man in Algorithmus 1 sehen kann, wird die äußere Schleife bis zu OP T (I) + 1 mal ausgeführt, da die Abbruchbedingung erst greift, wenn die Kapazität überschritten ist, also OP T (I) + 1 erreicht wurde. Die innere Schleife wird jeweils n mal ausgeführt. Dies führt zu einer Laufzeit von O(n OP T (I)). Betrachtet man die vom Algorithmus aufgebaute Tabelle aus n Spalten und OP T (I) + 2 Zeilen, sieht man, dass für die Berechnung ein Speicherbedarf von ebenfalls O(n OP T (I)) benötigt wird. Sei p max = max{p j j {1,..., n}} der größte Nutzen aller Objekte der Eingabeinstanz I. Über OP T (I) wissen wir, dass der Wert mindestens so groß wie p max ist und maximal so groß sein kann wie n p max, also p max OP T (I) n p max. [.] Damit ergibt sich eine Laufzeit von O(n 2 p max ). Analog ergibt sich für den Speicherbedarf eine Größe von O(n 2 p max ). Damit ist die Laufzeit also abhängig in der Länge der Eingabeinstanz I, da p max = Θ(2 I ) sein kann. Somit ist auch die Gesamtlaufzeit exponentiell in der Eingabelänge. Da aber gezeigt werden kann, dass Algorithmus 1 ein pseudopolynomieller Algorithmus im Sinne von Definition 2.2 ist, kann die Laufzeit auf eine polynomielle Laufzeit reduziert werden. Algorithmus 1 ist ein pseudopolynomieller Algorithmus, da p max maxnr(i) gilt und die Zahlen werden binär dargestellt. Daher ist die Eingabegröße von p max log 2 p max und somit der Aufwand polynomiell in der Eingabegröße [1]. 11

13 Laufzeit von Algorithmus 1 durch das Polynom p(x, y) = x 2 y definitionskonform mit O(poly( I, maxnr(i)) = O( I 2 maxnr(i)) abgeschätzt werden kann. Dadurch gilt für jedes Polynom q, mit dem D auf diejenigen Instanzen I beschränkt wird, deren maxnr(i) q( I ) ist, dass I in Polynomialzeit gelöst werden kann [12]. Beispiel 2. Gegeben ist die Probleminstanz aus Beispiel 1. Algorithmus 1 berechnet nach und nach die Tabelleneinträge, wie in Abbildung.2 angedeutet. In dieser Abbildung sieht man, dass die äußere Schleife bei v = angekommen ist und für Objekt j = der Wert F () berechnet werden muss. Daher wird das Minimum aus F 2 () und F 2 ( )+ gesucht. Da F 2 () = 11 > F 2 ( ) + = 9, ergibt sich als F () = 9. j p j w j 0 1 v = Abbildung.2: Berechnungsschritt von Algorithmus 1 Sollte v p j kleiner 0 sein, sieht die Berechnung des Funktionswerts folgendermaßen aus: Sei j = 1 und v = 2, dann gilt für die Beispielinstanz, dass v p j = 2 =. Hier greift die Rekursionsformel so, dass F 0 ( ) = 0 und entsprechend ergibt sich für F 1 (2) = min{, 0 + } =. Das Ergebnis der kompletten Berechnung des Beispiels durch Algorithmus 1 ist in Abbildung. angegeben. Bis jetzt liefert Algorithmus 1 nur den optimalen Nutzen für eine Probleminstanz I. Damit die Menge der Objekte O N der optimalen Rucksackfüllung ausgegeben wird, muss die in Algorithmus 1 aufgebaute Tabelle durchlaufen werden. Startpunkt ist dabei der Eintrag von F n (OP T (I)). Von hier aus wird rückwärts der Pfad durchlaufen, der zum Optimum führt. D. h. für einen Wert F j (v), der auf dem Weg zum optimalen Nutzwert benutzt wurde, wird geprüft, ob er dadurch entstanden ist, dass Objekt j hinzugefügt wurde, also ob F j (v) = F j 1 (v p j ) + w j, oder ob es ein Wert ist, der schon bei der Betrachtung der ersten j 1 Objekte entstanden ist, also ob F j (v) = F j 1 (v). Durch diese Rückwärtsverfolgung des Pfads weiß man, ob ein Objekt j ein Element der optimalen Teilmenge O ist. Aus diesen Überlegungen ergibt sich Algorithmus 2. Beispiel. Die Tabelle, die in Abbildung. als Ergebnis von Algorithmus 1 gegeben ist, läuft Algorithmus 2 wie in Abbildung. gezeigt ab. Dabei wird beim Tabelleneintrag von v = OP T (I) = 9 und Objekt n = gestartet. Dieser Wert wird durch die Addition von 12

14 j p j w j 0 1 v = Abbildung.: Ergebnis von Algorithmus 1 für Beispiel 2 Algorithmus 2 Ausgabe der optimalen Rucksackfüllung v OP T (I) result for i = n 1 do if F i (v) w i = F i 1 (v p i ) then result {i} v v p i end if end for return result w = 7 auf den Wert F j 1 (v p j ) = F (9 ) = F () = erreicht. Dementsprechend wird das Objekt in die Lösungsmenge aufgenommen. Für F () gilt F () = F (). Damit ist der Eintrag links in der Tabelle dominierend und Objekt wird nicht in die Lösungsmenge hinzugenommen. Gleiches gilt für Objekte und 2. Objekt hingegen wird nicht von seinem linken Zeilennachbarn dominiert. Vielmehr bildet sich dessen Wert aus F 0 ( ) + w = 0 + und dementsprechend ist Objekt Teil der Lösungsmenge. Somit werden die Objekte 1 und als verantwortlich für den optimalen Nutzwert identifiziert und damit bilden sie die optimale Teilmenge zur Lösung der Probleminstanz..2 Ein streng polynomielles Approximationsschema für das Rucksackproblem Durch den pseudopolynomiellen Algorithmus 1 wissen wir, dass man das Rucksackproblem in polynomieller Laufzeit lösen kann, wenn p max beschränkt wird. Um diese Eigenschaft für ein FPTAS auszunutzen, reduzieren wir für eine Problemin- Würde man die If-Bedingung in Algorithmus 2 so abändern, dass zuerst geprüft wird, ob F j 1(v) = F j(v) gilt, würde der Algorithmus 1,, als Instanzen der Teilmenge ausgeben, was genauso einer optimalen Lösung entspricht 1

15 j p j w j 0 1 v = Abbildung.: Darstellung der Bestimmung der optimalen Objektmenge stanz I alle p j um einen Faktor k. Dadurch ergibt sich eine neue Probleminstanz I k, die sich von I nur in den Werten des Nutzens p j = p j k unterscheidet. Wird I k mit Algorithmus 1 gelöst, ergeben sich eine Laufzeit und ein Speicherbedarf von O(n 2 pmax k ). Durch das Abrunden auf ganze Zahlen ergibt sich allerdings ein relativer Fehler. Dieser relative Fehler beträgt ε A k n p max [12, S. 70f. ]. Beweis. Sei O N die Indexmenge einer optimalen Rucksackfüllung für I. Dann sei O k N die Indexmenge einer optimalen Rucksackfüllung für I k als die reduzierte Variante von I. f I sei die Zielfunktion von I und f Ik die Zielfunktion von I k. Berechnet man die p i aus p i zurück, dann unterscheiden sich das tatsächliche p i und das berechnete p i = k p i um maximal k. Somit gilt für den Funktionswert einer zulässigen Lösung S aus I, dass sich dessen Wert von dem seiner reduzierten Variante S k maximal um n k unterscheidet. Dadurch ist auch der Funktionswert von O und O k und somit der optimale Nutzwert OP T (I) und die Ausgabe A(I) maximal um k n verschieden [1]. Zu zeigen ist also, dass f I (O k ) f I (O ) = f Ik (O k ) OP T (I) k n gilt. Aus obigen Überlegungen zu den Unterschieden von p j und p j ergibt sich f I (O k ) = j O k p j f Ik (O k ) = j O k k p j k = k OP T (I k) Da mit der Indexmenge O k das Optimum erreicht wird, gilt für die Indexmenge O, dass der Funktionswert f Ik (O ) kleiner oder gleich f Ik (O k ) ist: k p j k k p j k j O k j O 1

16 Laut Definition von p j gilt k p j p j k (p j + 1) und damit k p j p j k [1, S. 68]. Dadurch kann folgende Abschätzung durchgeführt werden: k p j k (p j k) j O j O = p j O k j O = OP T (I) O k = OP T (I) k n Umgeformt ergibt dies OP T (I) f I (O k ) k n. Da es sich bei dem Rucksackproblem um ein Maximierungsproblem handelt und damit OP T (I) A(I) ist, gilt f I (O k ) OP T (I) k n. Für den relativen Fehler ergibt sich dann definitionsgemäß. ε A = f I(O k ) OP T (I) OP T (I) k n OP T (I) k n p max Gemäß Definitionen 2. und 2.6 wird einem FPTAS zusätzlich zur Probleminstanz ein ε > 0 übergeben. Dadurch wird zum einen festgelegt, wie groß der relative Fehler maximal sein darf und zum anderen muss die Laufzeit des Algorithmus polynomiell in ε sein. Da der relative Fehler ε A den Wert k n p max nicht überschreitet, gilt ε A ε, wenn ε gleichgesetzt wird mit k n p max. Aus dieser Überlegung heraus wird klar, dass der Faktor k in Abhängigkeit von ε gewählt wird und zwar als k = ε pmax n. Berücksichtigt man diese Formel für k bei der Laufzeit und dem Speicherbedarf ergibt sich O(n 1 ε ). Somit erhält man ein gültiges FPTAS für das Rucksackproblem, indem man zu einem übergebenen relativen Fehler ε den Wert k berechnet, damit die übergebenen Probleminstanz I reduziert und mit der reduzierten Probleminstanz I k Algorithmus 1 ausführt. Der FPTAS ist in Algorithmus in Pseudocode angegeben [12, S. 70ff. ]. Algorithmus FPTAS für das Rucksackproblem mit Parametern I, ε n Anzahl Objekte in I p max Maximaler Preis in I k ε pmax n I k Berechne reduzierte Version von I mit p j = p j k Führe Algorithmus 1 aus return optimale Rucksackfüllung mithilfe von Algorithmus 2. Weitere Approximationsansätze für das Rucksackproblem In der Literatur gibt es weitere Ansätze, die eine Approximation der optimalen Lösung des Rucksackproblems durchführen. Im Folgenden ist ein kurzer Überblick über die Laufzeiten und den Speicherbedarf gegeben. Im Vergleich zu dem in dieser Arbeit vorgestellten Approximationsschema weisen die FPTAS Ansätze schnellere Laufzeiten und kleinere Speicherbedarfe auf. Ibarra u. Kim führten das erste FPTAS für das Rucksackproblem ein, dessen Laufzeit O(n log n + 1 n) und dessen Speicherbedarf O(n + 1 ) beträgt. Aufbauend auf dieser ε ε 1

17 Arbeit entwickelte Lawler einen FPTAS mit einer Laufzeit von O(n log( 1 ε ) + 1 ) und ε einem Speicherbedarf von O(n + 1 ). Magazine u. Oguz nutzen die Ergebnisse von ε Ibarra u. Kim sowie Lawler für ihren FPTAS. Ihre Variante erreicht eine Laufzeit von O( n2 log n ε ) und einen Platzverbrauch von O( n ε ). Kellerer u. Pferschy bauen auf den genannten Arbeiten auf und entwickeln einen FTPAS mit einer Laufzeit von O(n min{log n, log 1 ε } + 1 min{n, 1 ε 2 ε log 1 ε ) und einem Speicherbedarf von O(n + 1 ). In einer weiteren Arbeit reduzieren Kellerer u. ε 2 Pferschy die Laufzeit durch eine performantere dynamische Programmierung auf O(n min{log n, log 1 ε } + 1 log 1 ε 2 ε min{n, 1 ε log 1 ε ). Darüber hinaus gibt es auch PTAS für das Rucksackproblem. Der klassische Ansatz kommt dabei von Sahni. Dieser hat eine Laufzeit von O(n 1 ε ) und einen Platzverbrauch von O(n). Wie von Kellerer u. a. aufgezeigt wurde, kann man leicht einen PTAS entwickeln, der eine bessere Laufzeit aufweist [7, S. 161]. 16

18 Zusammenfassung In dieser Arbeit wurde eine Einführung in Approximationsschemata gegeben und am Beispiel zur Lösung des Rucksackproblems vertieft. Ein Approximationsschema bietet die Möglichkeit, ein Optimierungsproblem annähernd optimal zu lösen. Der relative Fehler ε der Approximation, der maximal erreicht werden darf, wird dabei als Parameter an das Schema übergeben. Dieser Fehler beeinflusst die Laufzeit des Approximationsschemas. Daher kann man durch die Parameterübergabe bestimmen, wie der Kompromiss aus Qualität und Laufzeit aussehen soll also ob man dem Algorithmus z.b. eine längere Laufzeit für eine bessere Lösungsqualität einräumt. Im Zuge der Betrachtung der Laufzeitrestriktionen für ein Approximationsschema wurde die Unterscheidung in polynomielle und streng polynomielle Approximationsschemata (PTAS bzw. FPTAS) getroffen. Als Beispiel für ein Optimierungsproblem mit einem Approximationsschema wurde das Rucksackproblem vorgestellt. Bei diesem Problem geht es darum, eine Auswahl an Objekten, die einen Nutzen und ein Gewicht haben, so zu treffen, dass der addierte Nutzen der ausgewählten Objekte maximal wird, während ihr kumuliertes Gewicht die Kapazitätsbeschränkungen nicht überschreitet. Die Betrachtung des Rucksackproblems ist dahin gehend interessant, dass es einige Anwendungsgebiete und Varianten gibt und es auch als Teilproblem von anderen Optimierungsproblemen auftritt. Für das schwach N P-vollständige Rucksackproblem wurde in Kapitel ein FPTAS erarbeitet. Hierfür wurde zuerst ein pseudopolynomieller Algorithmus entwickelt, mit dem die optimale Lösung des Rucksackproblems in polynomieller Zeit möglich ist, wenn der maximale Preis aller Objekte der Probleminstanz polynomiell beschränkt ist. Dies macht sich das vorgestellte FPTAS zu nutzen, indem der Nutzen durch einen von ε abhängigen Wert reduziert wird. Es wurde gezeigt, dass die Laufzeit und der Speicherbedarf des FPTAS O(n 1 ε ) beträgt. Die in. angesprochenen FPTAS erreichen bessere Laufzeiten und benötigen weniger Speicherplatz. Um einen tieferen Einblick in effizientere Approximationsschemata für das Rucksackproblem zu gewinnen, sei daher auf die angegebene Literatur verwiesen. 17

19 Abbildungsverzeichnis 2.1 Schematische Darstellung des Rucksackproblems anhand von Beispiel Aufbau der Tabelle in Algorithmus 1 (Vgl. Wanka) Berechnungsschritt von Algorithmus Ergebnis von Algorithmus 1 für Beispiel Darstellung der Bestimmung der optimalen Objektmenge

20 Literaturverzeichnis [1] Cormen, Thomas H. ; Leiserson, Charles E. ; Rivest, Ronald L. ; Stein, Clifford: Introduction to Algorithms.. Cambridge, London : MIT press, 2009 [2] Garey, Michael R. ; Johnson, David S.: Computers and Intractability: A Guide to the Theory of NP-Completeness. New York : Freeman, 1979 [] Ibarra, Oscar H. ; Kim, Chul E.: Fast Approximation Algorithms for the Knapsack and Sum of Subset Problems. In: Journal of the ACM 22 (197), Oktober, Nr., S [] Kann, Viggo: On the approximability of NP-complete optimization problems, Royal Institute of Technology, Diss., phdthesis.pdf [] Kellerer, Hans ; Pferschy, Ulrich: A New Fully Polynomial Time Approximation Scheme for the Knapsack Problem. In: Journal of Combinatorial Optimization (1999), Nr. 1, S [6] Kellerer, Hans ; Pferschy, Ulrich: Improved Dynamic Programming in Connection with an FPTAS for the Knapsack Problem. In: Journal of Combinatorial Optimization 8 (200), Nr. 1, S. 11 [7] Kellerer, Hans ; Pferschy, Ulrich ; Pisinger, David: Knapsack Problems. Berlin, Heidelberg : Springer, 200 [8] Lawler, E. L.: Fast Approximation Algorithms for Knapsack Problems. In: Mathematics of Operations Research (1979), November, Nr., S. 9 6 [9] Magazine, M.J. ; Oguz, Osman: A fully polynomial approximation algorithm for the O-1 knapsack problem. In: European Journal of Operational Research 8 (1981), Nr., S [10] Martello, S ; Toth, P: Knapsack problems: algorithms and computer implementations. Chichester : John Wiley & Sons Ltd., 1990 [11] Sahni, Sartaj: Approximate Algorithms for the 0/1 Knapsack Problem. In: Journal of the ACM 22 (197), Januar, Nr. 1, S [12] Wanka, Rolf: Approximationsalgorithmen.. Wiesbaden : Teubner, 2006 [1] Williamson, David P. ; Shmoys, David B.: The Design of Approximation Algorithms. (2010) 19