. Die obige Beschreibung der Laufzeit für ein bestimmtes k können wir also erweitern und erhalten die folgende Gleichung für den mittleren Fall:

Transkript

1 Laufzeit von Quicksort im Mittel. Wir wollen die erwartete Effizienz von Quicksort ermitteln. Wir nehmen an, die Wahrscheinlichkeit, dass das gewählte Pivot-Element a j das k-t kleinste Element der Folge ist, ist gleich für alle k =,..., n und damit ist gleich n. Die obige Beschreibung der Laufzeit für ein bestimmtes k können wir also erweitern und erhalten die folgende Gleichung für den mittleren Fall: T (n) = (n ) + n (T (k ) + T (n k)) n k= Bis auf die Reihenfolge, in der sie auftreten, sind die von den Ausdrücken T (k ) und T (n k) erzeugten Summanden gleich, deshalb lässt sich die Summe kürzer schreiben: = (n ) + 2 n T (k) n Wir multiplizieren auf beiden Seiten mit n und ersetzen n durch n : k=0 n nt (n) = n(n ) + 2 T (k) k=0 n 2 (n )T (n ) = (n )(n 2) + 2 T (k) Um T (n) und T (n ) miteinander in Verbindung zu bringen, ziehen wir die oberen beiden Zeilen voneinander ab und erhalten: k=0 nt (n) (n )T (n ) = 2(n ) + 2T (n ) nt (n) (n + )T (n ) = 2(n ) T (n) = n + T (n ) + 2(n n n ) Da lim 2 n n n = 2 lim n n n = 2, wird dieser Teil gestrichen und wir erhalten eine (hinreichend genaue) Ungleichung: T (n) n + T (n ) n Wir entwickeln die Formel ein weiteres mal, multiplizieren dann aus und erweitern beim Ergebnis die letzte 2 um den Faktor n+ n+ : T (n) n + ( n ) n n T (n 2) = n + + T (n 2) + 2n + 2 n + n n n + 7

2 Wir setzen noch einmal ein: = n + ( n ) n n 2 T (n 3) n n + n n + = n + + T (n 3) + 2n n 2 n + 2n n + n n + Wir können jetzt erahnen, wie die Folge aussieht. Um sie korrekt herzuleiten, müsste an dieser Stelle ein Induktionsbeweis geführt werden, aber uns genügt das intuitive Ergebnis: T (k) = n + n k + T (n k) + 2 n + n k n + n k n + n k n + 2n k + Setze k = n: T (n) = n + ( T (0) + 2(n + ) ) n + Zur Abschätzung dieser Formel benötigen wir die harmonischen Zahlen. Sie sind wie folgt definiert: H n = n k= k. Wir betrachten die Graphen der Funktionen f(x) = x und g(x) = x f(x) g(x) Hn Die harmonischen Zahl H n kann geometrisch interpretiert werden als die Größe der Fläche, die sich aus den Rechtecken mit den Flächen der Größe k für 8

3 alle k = {,..., n} zusammensetzt. Der Graph von f begrenzt diese Fläche offenbar von oben, der Graph von g von unten. Also können wir H n mit Hilfe von Integralen abschätzen. Da wir f nicht von 0 integrieren können, beginnen wir bei und addieren noch für das erste Rechteck hinzu. H n H n n n 0 dx + = + ln n ln = + ln n x dx = ln(n + ) x + Die Abschätzung ist recht genau: Der Unterschied zwischen den Schranken ist höchstens (genauer: die Euler-(Mascheroni-)Konstante, also 0, ). Es gilt somit: H n = Θ(ln n) bzw. sogar H n = ln n + Θ() Nun ist es uns möglich, die erwartete Laufzeit von Quicksort abzuschätzen: T (n) 2(n + )(H n+ ) 2(n + ) ln n + = 2n ln n + Θ(ln n) Umgerechnet in den Zweierlogarithmus: T (n) 2n log n log e + Θ(log n),38n log n + Θ(log n) Zusammengefasst haben wir folgende Laufzeiten für die Algorithmen Mergesort (A4) und Quicksort (A4) ermittelt: Mergesort: n log n+ lineare Terme Quicksort:,38n log n+ logarithmische Terme Ein erster Vergleich zeigt, dass Quicksort etwa um den Faktor,38 langsamer ist. Wir werden gleich darauf zurück kommen, warum dies in der Praxis etwas anders aussieht. Vergleich der 4 Algorithmen in der Praxis. Einige Zahlen sollen zeigen, dass der Unterschied der Algorithmen bei realer Rechenzeit trotz immer schneller werdender Prozessoren noch erheblich ist und ein Nachdenken über effiziente Algorithmen sich durchaus lohnt. 9

4 Die Anzahl der durchgeführten Vergleiche bei einer Eingabe der Länge n: n n log n 2 n2 n 2 n! , , , Größe der Probleme, die eine Maschine mit 0 9 Vergleichen pro Sekunde mittels der Algorithmen lösen kann: n log n 2 n2 n 2 n! Sekunde , Stunde 0 2, Dasselbe für eine 0-mal schnellere Maschine: n log n 2 n2 n 2 n! Sekunde 3,5 0 8, Stunde 9, 0 8, Man sieht: Bei schneller werdendem Rechner wächst die Größe der berechenbaren Probleme bei schlechten Algorithmen entsprechend langsam bei dem Algorithmus, der alle Permutationen eines Arrays durchgeht, um den sortierten zu finden, kann hier mit einem 0-mal schnelleren Rechner gerade mal ein um ein Feld längeres Array berechnet werden. Vergleich von Quicksort und Mergesort. Wenn man, wie hier, nur die Anzahl der Vergleiche als Maß nimmt, ist Mergesort zwar schneller, in der Realität wird aber Quicksort effizienter sein, weil es weniger Daten im Speicher lesen und schreiben muss. Bei Mergesort müssen die Daten in zwei getrennten Arrays abgelegt werden, Quicksort kann immer im selben Array operieren. Bei einer großen Anzahl von Vergleichen (bei einem handelsüblichen PC bei ca ) sieht man deshalb auch einen deutlichen Anstieg des Aufwands bei Mergesort. Dies liegt daran, dass irgendwann der Hauptspeicher voll ist und der Hintergrundspeicher (Swap) benutzt werden muss. Es gibt einen eigenen Zweig der Forschung, der Algorithmen entwickelt, die den Zugriff auf den Hintergrundspeicher vermeiden oder minimieren, weil es durchaus Probleme gibt, die derart viel Platz brauchen, dass dies stark ins Gewicht fällt. Beispiele finden sich etwa in der Meteorologie, wo Programme mit Millionen von Einzeldaten operieren..2 Berechnungsmodelle Berechnungsmodelle sind mathematische Modelle für Rechner, die verwendet werden, um präzise Aussagen über Berechnungen treffen zu können. Begriffe wie etwa Algorithmus, Laufzeit oder Speicher werden mit ihnen formal definiert. Das bekannteste Beispiel ist wohl die 936 von Alan Turing entwickelte 0

5 Turingmaschine, die in dieser Vorlesung aber nicht eigens wiederholt wird. Definition.2. (Registermaschine (Random Access Machine, RAM)). Eine Registermaschine besteht aus einem unendlichen, aus den Zellen R 0, R,... bestehenden Speicher. Diese können jeweils eine beliebig große ganze Zahl enthalten. Die Unbegrenztheit von Speicher und Inhalt einer Zelle stellen somit jeweils eine Abstraktion von realen Computern dar. Ein Programm ist eine endliche Folge von Befehlen. Ein Beispiel-Befehlssatz könnte etwa wie folgt aussehen. Ein in klammern gesetztes Register (R i ) steht hier für den Wert der Speicherzelle R j, wobei j der Wert von R i ist. A := B op C wobei A : R i oder (R i ), i N 0 B, C : R i oder (R i ), i N 0 oder Konstante k N 0 op {+,,, /} A := B goto L GGZ B, L gehe nach L, wenn B > 0 GLZ B, L gehe nach L, wenn B < 0 wobei L eine Zeile des Programms ist GZ B, L gehe nach L, wenn B = 0 HALT Beende Abarbeitung des Programms Jedem Befehl kann man so eine Semantik zuordnen. Auch dies kann man formalisieren den Zustand einer RAM kann man beschreiben, indem man mit einer Funktion c : N Z angibt, welcher Wert in jeder Speicherzelle steht. Wenn man dazu eine eine Menge von Funktionen definiert, die für jeden Zustand und jeden Befehl den Folgezustand angeben, hätte man eine vollständige operationelle Semantik. Definition.2.2 (Berechnung einer Funktion auf einer RAM). Eine Registermaschine R berechnet eine Funktion f : Z Z bedeutet: Falls in den ersten m Speicherzellen eine Folge a 0,..., a m steht, rechnet R (läuft, bis es zu einem HALT-Befehl kommt) und hat dann f(a 0,..., a m ) = (b 0,..., b n ) in die ersten Speicherzellen geschrieben..2. Laufzeit und Speicherbedarf einer RAM Wir wollen nun die Laufzeit und den Speicherbedarf eine RAM formal definieren. Dafür gibt es verschiedene Kriterien, von denen hier zwei vorgestellt werden. Das Einheitskostenmaß (EKM): Man nimmt an, dass erstens die Ausführung von jedem Befehl indifferent eine Zeiteinheit kostet, und dass zweitens ein Register unabhängig von seinem Inhalt eine Speichereinheit belegt. Dieses Maß ist Proportional zu den Kosten auf einem normalen Rechner, aber nur für beschränkt große Operanden: In der Realität wird eine Addition von zwei 000-stelligen Zahlen mehr kosten als die von 2 oder 3-stelligen, weil eine 000-stellige Zahl auf einem tatsächlichen Computer nicht von einem einzigen Register/ einer einzelnen Speicherstelle dargestellt wird.

6 Das logarithmische Kostenmaß: Beim logarithmischen Kostenmaß geht die Größe der Zahlen, mit denen man operiert, in die Berechnung der Kosten mit ein. Außerdem unterscheidet man, auf welches Register man zugreift. Wenn n eine Zahl ist, sei L(n) die Länge der Binärdarstellung von n. Ein Befehl kostet dann k L(k), wobei k als Wert alle involvierten Adressen und die Werte aller Operanden annimmt. 2