Kapitel 2: Analyse der Laufzeit von Algorithmen Gliederung

Transkript

1 Gliederung 1. Motivation / Einordnung / Grundlagen 2. Analyse der Laufzeit von Algorithmen 3. Untere Schranken für algorithmische Probleme 4. Sortier- und Selektionsverfahren 5. Paradigmen des Algorithmenentwurfs 6. Ausgewählte Datenstrukturen 7. Algorithmische Geometrie 8. Umgang mit algorithmisch schwierigen Problemen Analyse rekursiver Algorithmen amortisierte Analyse 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

2 Amortisierte Analyse von Algorithmen u Einordnung es geht um die Analyse von Algorithmen, in denen eine Folge von Operationen ausgeführt wird das Ziel besteht darin die Kosten der einzelnen Operationen sinnvoll abzuschätzen Annahme: die Operationen haben unterschiedliche Kosten (/* etwa in Abhängigkeit davon, wie viele Objekte in einer zugrunde liegenden Datenstruktur aktuell verwaltet werden */) Ansatz 1: man bestimmt die maximalen Kosten der Operationen Ansatz 2: man summiert über die Kosten aller durchgeführten Operationen und teilt durch die Anzahl 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

3 Amortisierte Analyse von Algorithmen u Anmerkungen offensichtlich liefert der zweite Ansatz eine realistische Abschätzung der Kosten der interessierenden Operation und damit eine genauere Laufzeitschranke für den zu analysierenden Algorithmus das ist wichtig, wenn man die Laufzeit dieses Algorithmus mit der Laufzeit anderer Algorithmen vergleicht oder über Möglichkeiten zur Verbesserung nachdenkt 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

4 Amortisierte Analyse von Algorithmen u Grundbegriff Die amortisierten Kosten pro Operation in einer Folge von n Operationen ist die Gesamtsumme über die Kosten der Operationen geteilt durch n. u Spielbeispiel Folge von Operationen, wobei stets 100 aufeinanderfolgende Operationen jeweils die Kosten 1 haben und die sich anschließende 101. Operation die Kosten 100 hat maximale Kosten der Operation: 100 amortisierte Kosten pro Operation: 200/101 < 2 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

5 Amortisierte Analyse von Algorithmen u Ein seriöseres Beispiel es geht darum, einen Kellerspeicher (Stack) mit Hilfe einer Arrays A zu implementieren relevante Operationen, wobei A[top] die nächste freie Zelle des Arrays bezeichnet: push(x): A[top] = x; top ++ pop(): if top!= 0 then { top --; return(a[top]) }... falls das Array A vollständig gefüllt ist und ein neues Element zu speichern ist, muss ein größeres Array zur Verfügung gestellt werden und der Inhalt des alten Arrays in das neue Array kopiert werden 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

6 Amortisierte Analyse von Algorithmen u Ein seriöseres Beispiel (cont.) die Kosten für die einzelnen Operationen sind wie folgt festgelegt: pop() hat stets die Kosten 1 push(x) falls das aktuelle Array nicht vollständig gefüllt ist, fallen die Kosten 1 an falls das aktuelle Array vollständig gefüllt ist, kommen noch Kosten für das Kopieren der Elemente aus dem aktuellen Array in das neue, größere Array hinzu (/* das Kopieren eines Elements hat die Kosten 1 */) wir analysieren die amortisierten Kosten der Push-Operation für zwei Realisierungen, wobei der Einfachhalt halber jeweils mit einem Array der Größe 1 begonnen wird 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

7 Amortisierte Analyse von Algorithmen u Ein seriöseres Beispiel (cont.) Variante 1: die Größe des aktuellen Arrays wird bei Bedarf um 1 vergrößert also haben n Push-Operationen maximal die Gesamtkosten a + b, wobei gilt: a = n (/* Einfügen */) b = (n-1) (/* Kopieren */) also sind die amortisierten Kosten pro Push-Operation: (n+1)/2 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

8 Amortisierte Analyse von Algorithmen u Ein seriöseres Beispiel (cont.) Variante 2: die Größe des aktuellen Arrays wird bei Bedarf verdoppelt also haben n Push-Operationen maximal die Gesamtkosten a + b, wobei gilt: a = n (/* Einfügen */) b = i (/* Kopieren */), wobei 2 i die größte Zweierpotenz kleiner als n ist folglich gilt: b 2n - 1 also sind die amortisierten Kosten pro Push-Operation kleiner als 3 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

9 Amortisierte Analyse von Algorithmen u Herangehensweisen an eine amortisierte Analyse Aggregatmethode aufsummieren und teilen Piggy-Bank-Methode zahle für bestimmte Operationen weniger als erforderlich zahle für bestimmte Operationen mehr als nötig und verwende das zu viele Bezahlte, um auftretende Differenzen auszugleichen 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

10 Amortisierte Analyse: Beispiel Binärzähler u Illustrierendes Beispiel wir wollen einen Binärzähler sukzessive von 0 bis zu einer gewünschten Zahl n hochzählen und alle Zählerstände ausgeben lassen.. Eingabe: 12 Ausgabe: 0000,0001,0010,0011,...,1011,1100 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

11 Amortisierte Analyse: Beispiel Binärzähler u Details... es sei A ein hinreichend großes Array for ( i = 0; i n; i++) { increment(a) print(a) }... offenbar werden m Zellen des Arrays A benutzt, wobei m so gewählt wird, das 2 m die kleinste Zweierpotenz größer als n ist... die Print-Operation hat konstante Kosten... die Kosten der Increment-Operation können die Werte 1 bis m annehmen (/* berücksichtigt wird, wie oft in den Zellen des Arrays A eine 0 durch eine 1 bzw. eine 1 durch eine 0 zu ersetzen ist */) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

12 Amortisierte Analyse: Beispiel Binärzähler u Normale Analyse... n-mal die Kosten für die Print-Operation n-mal die Kosten für die Increment-Opertion, wobei jeweils die maximalen Kosten für diese Operation berücksichtigt werden... eine gute obere Schranke ist: O(n) + O(n*log(n)) u Amortisierte Analyse... n-mal die Kosten für die Print-Operation n-mal die Kosten für die Increment-Opertion, wobei jeweils die amortisierten Kosten pro Increment-Operation berücksichtigt werden... eine gute obere Schranke ist jetzt: O(n) + O(n) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

13 Amortisierte Analyse: Beispiel Binärzähler u... mit Hilfe der Aggregatmethode wir schauen uns an, wie oft die Werte der einzelnen Zellen des Arrays A bei der Increment-Operation geändert werden der Wert in A[0] ändert sich n-mal der Wert in A[1] ändert sich maximal n/2-mal der Wert in A[2] ändert sich maximal n/4-mal... der Wert in A[m] ändert sich 1-mal... also haben alle n Increment-Operationen zusammen maximal die Kosten 2n und folglich sind die amortisierten Kosten pro Increment- Operation maximal 2 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

14 Amortisierte Analyse: Beispiel Binärzähler u... mit Hilfe der Piggy-Bank-Methode (Vorüberlegung) eine Increment-Operation besteht aus folgenden Elementar-Operationen: den Wert in einer Zelle des Arrays A von 0 auf 1 ändern den Wert in keiner, einer, bzw. maximal m-1 vielen Zellen des Arrays von 1 auf 0 ändern jede Elementar-Operation hat die tatsächlichen Kosten 1 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

15 Amortisierte Analyse: Beispiel Binärzähler u... mit Hilfe der Piggy-Bank-Methode (Ansatz) um die Kosten der durchgeführten Elementar-Operationen begleichen zu können, wählen wir folgenden Ansatz: immer wenn der Wert in einer Zelle des Arrays von 0 auf 1 geändert wird, so werden 2 auf das Konto eingezahlt immer wenn der Wert in einer Zelle des Arrays von 1 auf 0 geändert wird, so wird nichts auf das Konto eingezahlt das aktuell verfügbare Guthaben auf dem Konto wird stets benutzt, um die tatsächlichen Kosten der ausgeführten Elementar-Operationen zu begleichen... wenn nach Durchführung jeder Increment-Operation das Guthaben auf dem Konto größer gleich 0 ist, wissen wir, dass dieses Bezahlmodell ein geeignetes Modell ist 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

16 Amortisierte Analyse: Beispiel Binärzähler u... mit Hilfe der Piggy-Bank-Methode (Begründung) Situation Einzahlung tatsächliche Kosten Guthaben /2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

17 Amortisierte Analyse: Beispiel Binärzähler u... mit Hilfe der Piggy-Bank-Methode (Anmerkung) um besser zu verstehen, das gewählte Bezahlmodell wirklich geeignet ist, hilft folgende Betrachtungsweise: jede Zelle der Tabelle hat ein separates Konto wenn der Wert der Zelle von 0 auf 1 geändert wird, wird auf das Konto für diese Zelle 1 eingezahlt (die verbleibenden 1 werden direkt zum Ausgleich für die tatsächlichen Kosten verwendet) wenn der Wert der Zelle von 1 auf 0 geändert wird, wird vom Konto für diese Zelle ein 1 entnommen (zum Ausgleich für die tatsächlichen Kosten) /2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

18 Amortisierte Analyse: Beispiel Binärzähler u... mit Hilfe der Piggy-Bank-Methode (Konsequenzen) das gewählte Bezahlmodel ordnet jeder Increment-Operation dieselben Kosten zu (nämlich 2 )... folglich sind die amortisierten Kosten pro Increment-Operation maximal 2 (/* am Ende bleibt stets ein Guthaben übrig */) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

19 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Einordnung mit einer einfachen Dictionary -Datenstrukur möchte man... eine Menge von Objekten verwalten möglichst effizient überprüfen können, ob ein bestimmtes Objekt in der Datenstruktur gespeichert ist (/* Look-up-Operation */) möglichst effizient ein Objekt in die Menge der verwalteten Objekte aufnehmen (/* Insert-Operation */)... benutzt man ein sortiertes Array geht die Look-up-Operation in der Zeit O(log(n)), aber die Insert-Operation benötigt die Zeit O(n)... benutzt man eine verkette Liste geht die Insert-Operation in der Zeit O(1), aber die Look-up-Operation benötigt die Zeit O(n) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

20 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Einordnung wir schauen uns eine Realisierung dieser Datenstruktur an, die folgende Eigenschaften hat die Look-up-Operation hat die Kosten O(log(n) 2 ) die Insert-Operation hat die amortisierten Kosten O(log(n))... das ist nicht ganz optimal, aber schon ziemlich nah am Optimum (/* das liegt jeweils bei O(log(n)) */) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

21 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Grundidee zur Verwaltung der Objekte benutzen wir eine Folge von Arrays A 0, A 1, A 2,... jedes Array A i speichert genau 2 i viele Objekte oder ist leer jedes Array A i ist sortiert 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

22 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Beispiel um die Objekte 1,2,...,13 zu verwalten, könnte die Folge der Arrays wie folgt aussehen: 3A 0 3A 1 3A 2 3A /2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

23 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Generelle Regel für die Belegung der Arrays es sei n die Anzahl der aktuell verwalteten Objekte es sei (b m... b 0 ) die Binärdarstellung der Zahl n alle Arrays A i mit i > m sind leer für ein Array A i mit 0 i m gilt: A i speichert 2 i viele Objekte, wenn b i = 1 gilt A i ist leer, wenn b i = 0 gilt 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

24 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Realisierung der Look-up-Operation da jedes Array A i sortiert ist, kann man in jedem belegten Array eine binäre Suche durchführen wenn in einem der belegten Arrays das gesuchte Objekte gefunden wurde, wird ein 1 zurückgeben wenn in keinem der belegten Arrays das gesuchte Objekt gefunden wurde, so wird eine 0 zurückgegeben 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

25 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Analyse der Look-up-Operation es sei n die Anzahl der verwalteten Objekte es sei 2 m die kleinste Zweierpotenz größer als n offenbar können nur die Arrays A 0 bis A m-1 belegt werden in A m-1 können maximal n viele Objekte gespeichert werden in A m-2 können maximal n/2 viele Objekte gespeichert werden in A m-3 können maximal n/4 viele Objekte gespeichert werden... in A 0 kann maximal 1 Objekt gespeichert werden also werden maximal log(n) + log(n/2) viele Vergleiche benötigt... die Look-up-Operation benötigt als die Zeit O(log(n) 2 ) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

26 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Realisierung der Insert-Operation es sei x das einzufügende Objekt und A 0,...,A m die aktuelle Folge der Arrays bilde ein Array A 0 der Größe 1, das das Objekt 1 speichert falls A 0 leer ist, so ersetze A 0 durch A 0 falls A 0 belegt ist, so mache A 0 leer und verschmelze A 0 und A 0 zu einem sortierten Array A 1 falls A 1 leer ist, so ersetze A 1 durch A 1 falls A 1 belegt ist, so so mache A 1 leer und verschmelze A 1 und A 1 zu einem sortierten Array A /2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

27 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Beispiel wenn in der folgenden Situation das Objekt 17 eingefügt wird, erhält man: 3A 0 3A 1 3A 2 3A /2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

28 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Analyse der amortisierten Kosten der Insert-Operation wir legen die folgenden tatsächlichen Kosten für die relevanten Elementar-Operationen zugrunde ein Array der Größe 1 zu erzeugen hat die Kosten 1 zwei sortierte Arrays der Größe z zu verschmelzen hat die Kosten 2z (/* adäquat, da nicht mehr Vergleiche benötigt werden, um aus zwei sortierte Listen der Länge z eine sortierte Liste der Länge 2z zu machen */)... im letzten Beispiel wären die Kosten 1+2 angefallen... wenn wir das nächste Objekt einfügen, würden die Kosten 1 anfallen... wenn wir noch ein Objekt einfügen, würden die Kosten anfallen 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

29 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Analyse der amortisierten Kosten der Insert-Operation (cont.) um nun die amortisierten Kosten pro Insert-Operation mit Hilfe der Aggregatmethode zu bestimmen, benutzen wir folgende Sichtweise: es sei n die Anzahl der betrachteten Insert-Operationen die n Objekte in die anfangs leere Datenstruktur einzufügen, bedeutet nichts anderes, als einen Binärzähler von 0 bis n hochzuzählen 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

30 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Beispiel für n = 8 Beschreibung der Situation tatsächliche Kosten /2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

31 Amortisierte Analyse: Beispiel Einfache Dictionary -Datenstruktur u Analyse der amortisierten Kosten der Insert-Operation (cont.) es sei m die kleinste Zweierpotenz größer gleich n die insgesamt anfallenden Kosten können wie folgt beschrieben werden: es wird n-mal ein Array der Größe 1 erzeugt (/* jeweils Kosten 1 */) es werden maximal n/2-mal zwei sortierte Arrays der Größe 1 verschmolzen (/* jeweils Kosten 2 */) es werden maximal n/4-mal zwei sortierte Arrays der Größe 2 verschmolzen (/* jeweils Kosten 4 */)... es werden maximal 1-mal zwei sortierte Arrays der Größe n/2 verschmolzen (/* Kosten n */)... also benötigen n Insert-Operationen die Zeit O(n*log(n))... also hat eine Insert-Operationen die amortisierten Kosten O(log(n)) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik