2 Sortieren durch Vergleichen Eingabefolge a 1, a 2,..., a n 2, 1, 3 Sortieralg. Für festes n ist ein vergleichsbasierter Sortieralg. charakterisiert

Transkript

1 1 Algorithmen und Datenstrukturen Wintersemester 2014/15 9. Vorlesung Sortieren in Linearzeit Prof. Dr. Alexander Wolff Lehrstuhl für Informatik I

2 2 Sortieren durch Vergleichen Eingabefolge a 1, a 2,..., a n 2, 1, 3 Sortieralg. Für festes n ist ein vergleichsbasierter Sortieralg. charakterisiert durch seinen Entscheidungsbaum: > > > 1:3 > 2:3 3, 1, 2 2, 3, 1 3, 2, 1 Ausgabe: sortierte Eingabe innere Knoten = Vergleiche (o.b.d.a. immer, z.b. a 1 a 2? ) Blätter = sortierte Permutationen der Eingabe Kanten = Ergebnisse ( />) eines Vergleichs 1, 2, 3 2:3 1, 3, 2 1:3 1:2 Schlüsselvergleiche Entscheidungsbaum für InsertionSort und n = 3 [CLRS] > 1:2 > Anz. Vgl. im worst case = Länge eines längsten Wurzel-Blatt-Pfads =: Höhe des Baums = hier 3

3 3 Eine untere Schranke Frage: M.a.W. Wieviele Vergleiche braucht jeder vergleichsbasierter Sortieralg. im worst case um n Objekte zu sortieren? Gegeben ein beliebiger vergleichsbasierter Sortieralgorithmus, eine Zahl n von zu sortierenden Objekten, welche Höhe hat der Entscheidungsbaum mindestens? Beob.: partielle Integration u v = uv uv Die Höhe ist eine Funktion der Blätteranzahl. Anz. Blätter = Anz. Permutationen von n Obj. = n! Höhe Binärbaum mit B Blättern log 2 B Höhe Entscheidungsbaum log 2 n! = n i=1 log 2 i n 1 log 2 x dx = 1 n 1 n ln 2 ln x dx = 1 ln 2 1 ln x dx 1 1 (n ln n 0) (n 1) = ln 2 (x ln x n 1 n = 1 x 1 x dx) ln 2 Ω(n log n)

4 4 Resultat Satz. Jeder vergleichsbasierte Sortieralg. benötigt im schlechtesten Fall Ω(n log n) Vergleiche um n Objekte zu sortieren. Korollar. MergeSort und HeapSort sind asymptotisch worst-case optimal.

5 5 Wir durchbrechen die Schallmauer ( SpaghettiSort sortiert Spaghetti nach Länge ;-) CountingSort sortiert Zahlen in {0,..., k} RadixSort BucketSort sortiert s-stellige b-adische Zahlen sortiert gleichverteilte zufällige Zahlen aus:

6 6-45 CountingSort Idee: 1) 2) für jedes x in der Eingabe: zähle die Anzahl der Zahlen x benütze diese Information um x im Ausgabefeld direkt an die richtige Position zu schreiben Variable: A Eingabefeld C Rechenfeld B Ausgabefeld k begrenzt Universum: {0,..., k} Bsp: 1a) Für jedes x in A, zähle die Anz. der Zahlen gleich x A C b) Für jedes x in A, berechne die Anz. der Zahlen x C

7 6-59 CountingSort Idee: 1) 2) für jedes x in der Eingabe: zähle die Anzahl der Zahlen x benütze diese Information um x im Ausgabefeld direkt an die richtige Position zu schreiben Variable: A Eingabefeld C Rechenfeld B Ausgabefeld k begrenzt Universum: {0,..., k} Bsp: 1a) Für jedes x in A, zähle die Anz. der Zahlen gleich x A b) Für jedes x in A, berechne die Anz. der Zahlen x 2) Schreibe jedes x in A direkt an die richtige Position in B B C C

8 6-62 CountingSort Idee: 1) 2) für jedes x in der Eingabe: zähle die Anzahl der Zahlen x benütze diese Information um x im Ausgabefeld direkt an die richtige Position zu schreiben Variable: A Eingabefeld C Rechenfeld B Ausgabefeld k begrenzt Universum: {0,..., k} Bsp: 1a) Für jedes x in A, zähle die Anz. der Zahlen gleich x A b) Für jedes x in A, berechne die Anz. der Zahlen x 2) Schreibe jedes x in A direkt an die richtige Position in B B C C

9 6-10 CountingSort Idee: 1) 2) für jedes x in der Eingabe: zähle die Anzahl der Zahlen x benütze diese Information um x im Ausgabefeld direkt an die richtige Position zu schreiben Variable: A Eingabefeld C Rechenfeld B Ausgabefeld k begrenzt Universum: {0,..., k} Bsp: 1a) Für jedes x in A, zähle die Anz. der Zahlen gleich x A b) Für jedes x in A, berechne die Anz. der Zahlen x 2) Schreibe jedes x in A direkt an die richtige Position in B B C C CountingSort ist stabil!

10 7-3 CountingSort Plan: 1a) Für jedes x in A, zähle die Anz. der Zahlen gleich x 1b) Für jedes x in A, berechne die Anz. der Zahlen x 2) Schreibe jedes x in A direkt an die richtige Position in B Eingabefeld Ausgabefeld beschränkt Universum {0,..., k} CountingSort(A, B, k) sei C[0..k] = 0, 0,..., 0 ein neues Feld for j = 1 to A.length do C[A[j]] = C[A[j]] + 1 // C[i] enthält jetzt die Anz. der Elem. gleich i in A for i = 1 to k do C[i] = C[i] + C[i 1] // C[i] enthält jetzt die Anz. der Elem. i in A for j = A.length downto 1 do Aufgabe: B[C[A[j]]] = A[j] // (2) C[A[j]] = C[A[j]] 1 // (1a) // (1b) Fülle die Felder mit Code, der obige Idee umsetzt!

11 CountingSort Plan: 1a) Für jedes x in A, zähle die Anz. der Zahlen gleich x 1b) Für jedes x in A, berechne die Anz. der Zahlen x 2) Schreibe jedes x in A direkt an die richtige Position in B CountingSort(A, B, k) sei C[0..k] = 0, 0,..., 0 ein neues Feld for j = 1 to A.length do C[A[j]] = C[A[j]] + 1 // C[i] enthält jetzt die Anz. der Elem. gleich i in A for i = 1 to k do C[i] = C[i] + C[i 1] // C[i] enthält jetzt die Anz. der Elem. i in A for j = A.length downto 1 do B[C[A[j]]] = A[j] C[A[j]] = C[A[j]] 1 Eingabefeld Ausgabefeld beschränkt Universum {0,..., k} // (2) // (1a) // (1b) Laufzeit: O( n + k ) 7-10

12 9 RadixSort (Jahr, Monat, Tag) Frage: Gegeben Liste von Menschen mit deren Geburtstagen. Wie würden Sie die Liste nach Alter sortieren? Drei (?) Lösungen: Geburtstage in Anz. Tage seit umrechnen, dann vergleichsbasiertes Sortierverfahren verwenden. Spezielle Vergleichsroutine schreiben und in vergleichsbasiertes Sortierverfahren einbauen. Liste 3 sortieren: je 1 nach Jahr, Monat, Tag. Aber in welcher Reihenfolge?? RadixSort(A, s) Anz. Stellen (hier: 3) for i = 1 to s do sortiere A stabil nach der i-ten Stelle [1 = Index der niederwertigsten (!) Stelle] z.b. mit CountingSort Laufzeit?

13 11 BucketSort A B 0 / / / 4 / 5 / 6.68 / / 8 / 9.94 / [CLRS] / Eimerinhalt : Verkettete Liste von Elementen aus A. Hilfsfeld B[0..n 1]; jeder Eintrag entspricht einem Eimer der Weite 1/n (c) Eingabefeld A[1..n] enthält Zahlen, zufällig und gleichverteilt aus [0, 1) gezogen [ Im Bsp. auf 2 Nachkommastellen ] gerundet!

14 BucketSort BucketSort(Feld A von Zahlen in [0, 1)) A B 0 / / / 4 / 5 / 6.68 / / 8 / 9.94 / [CLRS] / n = A.length lege Feld B[0..n 1] von Listen an for j = 1 to n do füge A[j] in Liste B[ n A[j] ] ein for i = 0 to n 1 do sortiere Liste B[i] = [ i n, i+1 n ) A hänge B[0],..., B[n 1] aneinander kopiere das Ergebnis nach A[1..n] Korrektheit? 2 Fälle: A[i] und A[j] in der gleichen Liste A[i] und A[j] in verschiedenen Listen Laufzeit? erwartet, hängt von den zufälligen Zahlen in A ab hängt vom Sortieralgorithmus in Zeile 6 ab; wir nehmen InsertionSort: schnell auf kurzen Listen!

15 13 Erwartete Laufzeit von BucketSort T BS (n) = Θ(n) + n 1 i=0 T IS(n i ) = Θ(n) + n 1 i=0 O(n2 i ) E[T BS (n)] = E[Θ(n) + n 1 i=0 O(n2 i )] = Θ(n) + n 1 i=0 E[O(n2 i )] = Θ(n) + n 1 i=0 O(E[n2 i ]) Θ(n) Behauptung: E[n 2 i ] 2 1 n Beweis. Def. Indikator-ZV X j := 1, falls A[j] in Eimer i fällt. n i n 2 i = = n j=1 X j E[X j ] = Pr[X j = 1] = 1/n ( n 2 j=1 j) X n n = j=1 k=1 X jx k = n j=1 X j 2 + n j=1 = k j X jx k fest!

16 Erwartete Laufzeit von BucketSort Es gilt n 2 i = n j=1 X j 2 + n j=1 E[n 2 i ] = n j=1 E[X 2 j ] + n j=1 k j X jx k k j E[X jx k ] Behandle die beiden Typen von Erwartungswerten getrennt: E[Xj 2] = 1 Pr[X j 2 = 1] + 0 Pr[Xj 2 = 0] unabhängig von j! = 1 Pr[X j = 1] + 0 Pr[X j = 0] = 1 1 n + 0 = 1 n E[X j X k ] = E[X j ] E[X k ] = 1 n 1 n = 1 n 2 für j k sind X j und X k unabhängig Behauptung: E[n 2 i ] 2 1 n unabh. von j und k! 14 Fasse die Zwischenergebnisse zusammen: E[ni 2] = n j=1 E[X j 2] + n j=1 k j E[X jx k ] = n 1 n + n (n 1) 1 n 2 = 1 + n 1 n = 2 1 n

17 15 Zusammenfassung Jedes vergleichsbasierte Sortierverfahren braucht im schlechtesten Fall Ω(n log n) Vergleiche für n Zahlen. CountingSort sortiert Zahlen in {0,..., k} (stabil!) Laufzeit für n Zahlen: O(n + k) RadixSort BucketSort sortiert s-stellige b-adische Zahlen Laufzeit für n Zahlen: O(s (n + b)) sortiert gleichverteilte zufällige Zahlen erwartete Laufzeit für n Zahlen: O(n) Bem. Die Idee mit den (gleichgroßen) Eimern ist natürlich nicht nur auf Zufallszahlen beschränkt, aber hier läßt sie sich hübsch analysieren.