Kapitel 2: Sortier- und Selektionsverfahren Gliederung

Transkript

1 Gliederung 1. Laufzeit von Algorithmen 2. Sortier- und Selektionsverfahren 3. Paradigmen des Algorithmenentwurfs 4. Ausgewählte Datenstrukturen 5. Algorithmische Geometrie 6. Randomisierte Algorithmen Sortieren durch Vergleichen Untere Schranken fürs Sortieren durch Vergleichen Sortieren ohne Vergleichen Selektionsverfahren 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

2 Sortieren durch Vergleichen untere Schranken Zielstellung diskutieren, wie man beweisen kann, daß es kein Verfahren zum Sortieren durch Vergleichen geben kann, das sowohl im worst case als im average case eine Komplexität hat, die kleiner gleich Θ(n*log(n)) ist... problematisch ist, daß wir gar nicht alle Verfahren zum Sortieren durch Vergleichen kennen (/* manche sind noch gar nicht entwickelt worden */)... wir müssen daher besser verstehen, was allen Verfahren zum Sortieren durch Vergleichen gemeinsam ist 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

3 Sortieren durch Vergleichen untere Schranken Grundidee es sei A ein Verfahren zum Sortieren durch Vergleichen und n die Länge der zu sortierenden Folge dann kann man A und n einen Entscheidungsbaum zuordnen (/* in diesem Baum wird Buch geführt über die Vergleiche, die A beim Sortieren einer Folge der Länge n durchführt */)... um eine untere Schranke für das Sortieren durch Vergleichen abzuleiten, genügt es Entscheidungsbäume besser zu verstehen und deren Eigenschaften zu analysieren (/* es ist ausreichend, nur solche Entscheidungsbäume zu analysieren, die potentiell einem Verfahren zum Sortieren durch Vergleichen zugeordnet werden können */) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

4 Sortieren durch Vergleichen untere Schranken Grundlegende Idee es sei n die Länge der betrachteten Schlüsselfolge alle Entscheidungsbäume (/* mit n Eingabevariablen */) alle Sortierverfahren (/* für das Sortieren durch Vergleichen */) alle relevanten Entscheidungsbäume (/* mit n Eingabevariablen */) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

5 Entscheidungsbäume Beispiel - Entscheidungsbaum für InsertionSort (/* n = 3 */) 1:2 2:3 1:3 <1,2,3 1:3 <2,1,3 2:3 <1,3,2 <3,1,2 <2,3,1 <3,2,1 jeder innerer Knoten (/* i:j */) ist mit einem Vergleich von Elementen der gegeben Folge versehen (/* kurz für: a[i] a[j] */) jedes (/* <i,j,k */) Blatt ist mit einer Permutation der Elemente der gegebenen Folge versehen (/* kurz für: a[i],a[j],a[k] */) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

6 Entscheidungsbäume Erzeugung des zugeordneten Entscheidungsbaums es sei A ein Verfahren zum Sortieren durch Vergleichen und n die Länge der zu sortierenden Folge die Wurzel ist mit dem ersten Vergleich versehen, den A durchführt es sei K ein innerer Knoten, der mit dem Vergleich i:j versehen ist der linke Sohn wird mit dem Vergleich versehen, der von A als nächstes durchgeführt wird, falls a[i] a[j] gilt der rechte Sohn wird mit dem Vergleich versehen, der von A als nächstes durchgeführt wird, falls a[i] a[j] gilt falls kein Vergleich mehr durchgeführt wird, so wird ein Blatt erzeugt (/* die Permutation, mit der das Blatt versehen wird, wird durch die auf dem Pfad von der Wurzel zu diesem Blatt durchgeführten Vergleiche festgelegt */) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

7 Entscheidungsbäume Illustration 1:2 2:3 1:3 <1,2,3 1:3 <2,1,3 2:3 <1,3,2 <3,1,2 <2,3,1 <3,2,1 da a[1] a[2] und a[2] a[3] gilt, steht hier die Permutation <1,2,3 da a[1] a[2], a[1] a[3] und a[2] a[3] gilt, steht hier die Permutation <2,3,1 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

8 Entscheidungsbäume Beobachtungen es sei A ein Verfahren zum Sortieren durch Vergleichen und n die Länge der zu sortierenden Folge Dem Paar (A,n) ist auf eindeutige Weise ein Entscheidungsbaum B zugeordnet. Jedem Pfad von der Wurzel zu einem Blatt entspricht einer Berechnung des Verfahrens A bei Eingabe einer Folge der Länge n. (/* Die Permutation, mit der das Blatt versehen ist, beschreibt das Ergebnis der Berechnung, die in diesem Blatt endet. */). Wenn das Verfahren A in der Lage ist, jede Folge der Länge n zu sortieren, so muß B so viele Blätter enthalten, wie es Permutationen von Folgen der Länge n gibt (/* also n! viele Permutationen */). 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

9 Entschediungsbäume Beobachtungen es sei A ein Verfahren zum Sortieren durch Vergleichen und n die Länge der zu sortierenden Folge es sei B der dem Paar (A,n) zugeordnete Entscheidungsbaum... Beziehung zwischen B und der Anzahl der von A - bei Eingabe einer Folge der Länge n - durchgeführten Vergleiche worst case : average case : maximale Zahl von inneren Knoten auf einem Pfad von der Wurzel zu einem Blatt (/* entspricht der Anzahl der Vergleiche im worst case */) durchschnittliche Zahl von inneren Knoten auf einem Pfad von der Wurzel zu einem Blatt (/* entspricht der Anzahl der Vergleiche im average case */) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

10 Sortieren durch Vergleichen untere Schranke für den worst case Folgerung um eine untere Schranke für die Komplexität von Verfahren zum Sortieren durch Vergleichen (/* im worst case */) abzuleiten, genügt es eine untere Schranke für die Tiefe aller Entscheidungsbäume mit mindestens n! vielen Blättern anzugeben... zur Erinnerung die Tiefe eines Entscheidungsbaums entspricht der maximalen Anzahl von inneren Knoten auf einem Pfad von der Wurzel zu einem Blatt 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

11 Sortieren durch Vergleichen untere Schranke für den worst case Ergebnis und Begründung Jedes Verfahren zum Sortieren durch Vergleichen hat im worst case eine Komplexität von Ω(n*log(n)), wobei n die Länge der zu sortierenden Folge bezeichnet.... der zugehörige Entscheidungsbaum hat n! viele Blätter... jeder Entscheidungsbaum der Tiefe t hat höchstens 2 t viele Blätter zugehörige Entscheidungsbaum B muß eine Tiefe t mit 2 t n! haben (/* sonst hat er zu wenige Blätter */) also muß t log(n!) gelten wegen log(n!) n*log(n), muß also t n*log(n) gelten 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

12 Sortieren durch Vergleichen untere Schranke für den average case Folgerung um eine untere Schranke für die Komplexität von Verfahren zum Sortieren durch Vergleichen (/* im worst case */) abzuleiten, genügt es eine untere Schranke für die durchschnittliche Pfadlänge aller Entscheidungsbäume mit mindestens n! vielen Blättern anzugeben zugrunde liegende Beobachtungen (/* werden später bewiesen */) ein Entscheidungsbaum mit N Blättern, welcher eine minimale durchschnittliche Pfadlänge hat, hat nur Pfade der Länge log(n) bzw. log(n) - 1 ein Entscheidungsbaum mit N Blättern, welcher eine minimale durchschnittliche Pfadlänge hat, hat eine durchschnittliche Pfadlänge, die größer gleich log(n) - 1 ist 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

13 Sortieren durch Vergleichen untere Schranke für den average case Ergebnis und Begründung Jedes Verfahren zum Sortieren durch Vergleichen hat im average case eine Komplexität von Ω(n*log(n)), wobei n die Länge der zu sortierenden Folge bezeichnet.... der zugehörige Entscheidungsbaum E hat n! viele Blätter... es sei E* ein minimaler Entscheidungsbaum mit n! vielen Blättern und minimaler durchschnittlicher Pfadlänge... da E* eine durchschnittlich Pfadlänge größer gleich log(n!) - 1 hat und E* minimale durchschnittliche Pfadlänge hat, muß auch E eine durchschnittliche Pfadlänge größer gleich log(n!) - 1 haben... wegen log(n!) n*log(n), muß E eine durchschnittliche Pfadlänge größer gleich n*log(n) - 1 haben 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

14 Sortieren durch Vergleichen untere Schranke für den average case Das fehlende Teil es sei E ein Entscheidungsbaum mit N Blättern Wenn E eine kleinste durchschnittliche Pfadlänge hat, so hat E nur Pfade der Länge log(n) bzw. log(n) indirekter Beweis... Annahme E sei ein Entscheidungsbaum mit N Blättern, mit einer kleinsten durchschnittlichen Pfadlänge, der einen Pfad einer Länge kleiner gleich log(n) - 2 hat... es genügt zu zeigen, daß es dann einen Entscheidungsbaum E mit N Blättern gibt, der eine kleinere durchschnittliche Pfadlänge als E hat (/* dabei benutzen wir, daß E wenigstens einen Pfad der Länge log(n) hat */) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

15 Sortieren durch Vergleichen untere Schranke für den average case Begründung des fehlenden Teils E E B... log(n) B B log(n) B B B... man kann leicht zeigen, daß der Entscheidungsbaum E eine kleinere durchschnittliche Pfadlänge als E hat 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik

16 Fazit mit Blick auf die betrachteten Sortierverfahren Sortierverfahren BubbleSort InsertionSort HeapSort unbekanntes Sortierverfahren average case Θ(n 2 ) Θ(n 2 ) Θ(n*log(n)) Ω(n*log(n)) worst case Θ(n 2 ) Θ(n 2 ) Θ(n*log(n)) Ω(n*log(n)) 2/2, Folie Prof. Steffen Lange - HDa/FbI - Algorithmik