7 Sortieren in linearer Zeit

Transkript

1 lgorithmen und Datenstrukturen Sortieren in linearer Zeit Wie schnell ist Sortieren möglich? isher: verschiedene lgorithmen, welche n Zahlen in O(n log n) Zeit sortieren. Gemeinsamkeit: Sortierung beruht auf paarweisen Vergleichen der Eingabeelemente. Man nennt Verfahren dieser rt vergleichende Sortierverfahren. In bschnitt. zeigen wir, dass vergleichende Sortierverfahren im ungünstigsten Fall Ω(n log n) Vergleiche ausführen müssen, um n Elemente zu sortieren. Damit sind Mergesort und Heapsort asymptotisch optimal. In den folgenden bschnitten werden drei Sortierverfahren vorgestellt, welche in linearer Zeit sortieren. Diese verwenden andere Operationen als Vergleiche. Sortieren in linearer Zeit TU ergakademie Freiberg, WS /

2 lgorithmen und Datenstrukturen. Untere Schranken für Sortierverfahren Vergleichendes Sortieren: Information über Eingabefeld a, a,..., a n nur durch paarweise Vergleiche a i < a j, a i a j, a i = a j, a i a j, oder a i > a j, ohne bspw. den Wert der Elemente zu berücksichtigen. Ohne Einschränkung: Eingabelemente paarweise verschieden, sodass Prüfung auf Gleichheit entfällt. Damit sind alle weiteren Vergleiche äquivalent, betrachte also ausschließlich Vergleiche der Form a i a j.. Untere Schranken für Sortierverfahren TU ergakademie Freiberg, WS /

3 lgorithmen und Datenstrukturen Entscheidungsbäume Ein Entscheidungsbaum ist ein voller binärer aum, der die von einem Sortierverfahren durchgeführten Vergleiche und Entscheidungen repräsentiert. lle anderen spekte des Sortieralgorithmus (Datenbewegung, Steuerung) werden dabei wegabstrahiert. innere Knoten: ezeichnung i : j ( i, j n) steht für Vergleich a i a j ; linker Teilbaum entspricht Fortgang des lgorithmus falls a i a j, rechter Teilbaum dem von a i > a j. lätter: jedem latt entspricht die zur Sortierung der Eingabefolge erforderliche Permutation π(), π(),..., π(n). Jede usführung des lgorithmus entspricht ein Weg von der Wurzel zu einem latt. n jedem inneren Knoten verzweigt der lgorithmus in bhängigkeit von der bis zu dieser Stelle angesammelten Information.. Untere Schranken für Sortierverfahren TU ergakademie Freiberg, WS /

4 lgorithmen und Datenstrukturen : > : : > >,, :,, : > >,,,,,,,, Entscheidungsbaum für Insertion-Sort angewandt auf dreielementiges Eingabefeld. Die ezeichnung i : j in einem inneren Knoten steht für den Vergleich a i a j, ein latt mit der Permutation π(), π(),..., π(n) steht für eine endgültige Sortierreihenfolge a π() a π() a π(n). Der hervorgehobene Weg folgt den Entscheidungen bei der Eingabe a =, a =, a =.. Untere Schranken für Sortierverfahren TU ergakademie Freiberg, WS /

5 lgorithmen und Datenstrukturen Jedes vergleichende Sortierverfahren muss alle n! Permutationen eines n- elementigen Eingabefeldes erzeugen können. Deshalb: Der zugehörige Entscheidungsbaum muss zu jeder dieser Permutationen ein latt enthalten. Jedes dieser lätter muss von der Wurzel durch eine mögliche usführung des lgorithmus erreichbar sein. Wir betrachten daher nur Entscheidungsbäume, in denen jede Permutation als erreichbares latt auftritt.. Untere Schranken für Sortierverfahren TU ergakademie Freiberg, WS /

6 lgorithmen und Datenstrukturen Eine untere Schranke für den ungünstigsten Fall Die größtmögliche nzahl erforderlicher Vergleiche eines vergleichenden Sortierverfahrens ist die Länge des längsten Weges in dessen Entscheidungsbaum von der Wurzel zu einem latt. Eine untere Schranke für die usführungszeit eines vergleichenden Sortierverfahrens ist daher gegeben durch eine untere Schranke für die Höhe aller Entscheidungsbäume, in denen jede Permutation als erreichbares latt auftritt. (Z.. Insertion-Sort Θ(n ), Merge-Sort Θ(n log n). Satz. Ein vergleichendes Sortierverfahren benötigt im ungünstigsten Fall Ω(n log n) Vergleiche. Korollar. Heapsort und Merge-Sort sind asymptotisch optimale vergleichende Sortierverfahren.. Untere Schranken für Sortierverfahren TU ergakademie Freiberg, WS /

7 lgorithmen und Datenstrukturen. Counting-Sort Wesentliche Zusatzannahme: Zu sortierende Zahlen liegen in {,,..., k} für festes, im Voraus bekanntes k. Grundidee: estimme für jedes zu sortierende Element x die nzahl Elemente, welche in der sortierten Reihenfolge vor x liegen, und platziere damit x an die korrekte Stelle. Eingabe: Feld [.. n] mit [j] {,..., k} für alle j =,..., n., k, n als Parameter übergeben. usgabe: Feld [.. n] mit Inhalt von in sortierter Reihenfolge. Hilfsfeld: C[.. k].. Counting-Sort TU ergakademie Freiberg, WS /

8 lgorithmen und Datenstrukturen COUNTING-SORT(,, k) for i to k do C[i] for j to length[] do C[[j]] C[[j]] + C[i] gibt nun an, wie oft i in vorkommt for i to k do C[i] C[i] + C[i ] C[i] gibt nun die nzahl Elemente i in an for j length[] downto do [C[[j]]] [j] C[[j]] C[[j]]. Counting-Sort TU ergakademie Freiberg, WS /

9 lgorithmen und Datenstrukturen C usführung von Counting-Sort auf Eingabefeld [.. ] mit Elementen aus {,,..., } mit Hilfsfeld C und sortierter usgabe in Feld.. Counting-Sort TU ergakademie Freiberg, WS /

20 lgorithmen und Datenstrukturen ufwand: for -Schleife Zeilen : for -Schleife Zeilen : for -Schleife Zeilen : for -Schleife Zeilen : Θ(k) Θ(n) Θ(k) Θ(n) Insgesamt: Θ(n + k) Geeignetes Verfahren falls k = O(n), in diesem Fall Laufzeit Θ(n). Kein vergleichendes Sortierverfahren (keine Vergleiche, sondern Zahlwerte werden ausgenutzt), daher O(n log n)-schranke verbesserbar. Counting-Sort ist stabil: gleiche Zahlen erscheinen im usgabefeld in derselben Reihenfolge. (Wichtig wenn Zahlen Schlüssel zu größeren Datensätzen). Counting-Sort TU ergakademie Freiberg, WS /

21 lgorithmen und Datenstrukturen. Radix-Sort lgorithmus aus dem Lochkarten-Zeitalter (frühes. JH) Lochkarten mit Spalten, in jeder Spalte kann an einer von Positionen ein Loch eingestanzt werden. Lochkarten-Lesemaschinen können Kartenstapel hinsichtlich einer Spalte in Teilstapel mit derselben gestanzten Position aufteilen. Diese Teilstapel werden ihrerseits weitersortiert. eispiele:. Sortieren von Dezimalzahlen, nur Positionen erforderlich. Nach jeder Ziffer wird separat sortiert; bei d Ziffern also d Sortierläufe nötig.. Sortieren von Datensätzen nach Tag, dann Monat, dann Jahr.. Radix-Sort TU ergakademie Freiberg, WS /

22 lgorithmen und Datenstrukturen Wichtig: Sortieren nach niedrigstwertigen Ziffer zuerst (Sonst zuviele Hilfsstapel erforderlich). Rechts: nwendung von Radix-Sort auf Stapel von Zahlen von je drei Ziffern. Die eingefärbte Spalte ist diejenige, nach der gerade sortiert wird. Wesentlich hier: Sortierverfahren für Spalten muss stabil sein, da sonst zurückliegende Feinsortierung wieder zunichtegemacht werden könnte.. Radix-Sort TU ergakademie Freiberg, WS /

30 lgorithmen und Datenstrukturen Pseudocode. Radix-Sort angewandt auf n-elementiges Feld aus d-ziffrigen Zahlen. Ziffer ist die niedrigstwertige, d die höchstwertige Ziffer. RDIX-SORT(, d) for i to d do Sortiere Feld bezüglich Ziffer i mit stabilem Sortierverfahren Laufzeit. nnahme: Sortierung der Ziffern jeweils mit Counting-Sort Θ(n + k) per Durchlauf (Ziffern im ereich,..., k) d Durchläufe Insgesamt also Θ(d(n + k). Falls k = O(n) ergibt sich Laufzeit von O(dn).. Radix-Sort TU ergakademie Freiberg, WS /

31 lgorithmen und Datenstrukturen Korrektheit: Induktion über nzahl Ziffern Seien Ziffern,,..., i bereits sortiert Zeige: stabile Sortierung nach Ziffer i resultiert in Sortiertheit von Ziffern,,..., i. Unterscheiden sich zwei Zahlen in Ziffer i, so bringt Sortierung nach Ziffer i diese in die korrekte Reihenfolge. Ziffern,..., i sind dabei irrelevant. Stimmen zwei Zahlen hinsichtlich Ziffer i überein, so sind diese bereits in sortierter Reihenfolge (Induktionshypothese) und stabile Sortierung erhält diese Reihenfolge. Hierbei wird die Rolle der Stabilität deutlich. Wie teilt man einen Schlüssel in Ziffern ein?. Radix-Sort TU ergakademie Freiberg, WS /

32 lgorithmen und Datenstrukturen Lemma. Gegeben seien n Zahlen bestehend aus jeweils b its sowie eine natürliche Zahl r b. Erstere werden durch RDIX-SORT in einer Laufzeit von Θ ( (b/r)(n + r ) ) sortiert. eweis: Für r b betrachte jeden Schlüssel als aus d = b/r Ziffern von je r its zusammengesetzt. Jede Ziffer liegt somit im ereich,..., r, d.h. für Counting-Sort wäre k = r. esipiel: ein -it Wort wird aufgeteilt in vier Ziffern aus je its, d.h. b =, r =, k = r =, d = b/r =. Jeder Durchlauf erfordert Θ(n + k) = Θ(n + r ) Zeit, d Durchläufe ergeben somit eine Laufzeit von Θ(d(n + r )) = Θ ( (b/r)(n + r ) ).. Radix-Sort TU ergakademie Freiberg, WS /

33 lgorithmen und Datenstrukturen Wahl von r? usgleich zwischen b/r und n + r. Wahl r log n führt auf Θ(b/ log n(n + n)) = Θ(bn/ log n) Für r < log n ist b/r > b/ log n und n + r wird nicht asymptotisch kleiner. Für r > log n wird n + r groß. eispiel: r = log n r = log n = ( log n ) = n. Unter der nnahme b < log n erhalten wir für diese Wahl von r also eine Laufzeit von Θ(n). Um Zahlen von je it Länge zu sortieren würden wir also r = log = its verwenden, was auf b/r = Durchläufe führt.. Radix-Sort TU ergakademie Freiberg, WS /

34 lgorithmen und Datenstrukturen Vergleich Radix-Sort mit Merge-Sort und Quicksort: Seien eine Million ( ) -it ganze Zahlen zu sortieren Radix-Sort benötigt / = Durchläufe. Merge-/Quicksort: log n = Durchläufe. eachte: Ein Durchlauf von Radix-Sort entspricht eigentlich zwei Durchläufen der Daten: einmal zum Zählen und einmal um die Daten zu verteilen.. Radix-Sort TU ergakademie Freiberg, WS /

35 lgorithmen und Datenstrukturen. ucket-sort nstelle der nnahme bei Counting-Sort, dass die Elemente in einem vorher bekannten Zahlenbereich liegen, beruht die lineare Laufzeit von ucket- Sort auf der nnahme, dass die Eingabe durch ein Zufallsexperiment generiert wird, bei welchem die Elemente gleichmäßig über das Intervall [, ) verteilt sind. Idee: Zerlege [, ) in n Gefäße (uckets a ). Verteile die n Eingabeelemente auf die Gefäße. Sortiere jedes Gefäß. Sortierte Reihenfolge durch neinanderreihung der Gefäßinhalte. a wörtlich: Eimer. ucket-sort TU ergakademie Freiberg, WS /

36 lgorithmen und Datenstrukturen Pseudocode Eingabe besteht aus n-elementigem Feld, für die Elemente gilt [i] <. Zwischenspeicher: Hilfsfeld [.. n ] verketteter Listen (Gefäße) a. UCKET-SORT() n length[] for i to n do Füge [i] ein in Liste [ n[i] ] for i to n do Sortiere Liste [i] mit Insertion-Sort Füge die Listen [], [],..., [n ] hintereinander an a Genaueres zu verketteten Listen im nächsten Kapitel. ucket-sort TU ergakademie Freiberg, WS /

37 lgorithmen und Datenstrukturen ucket-sort TU ergakademie Freiberg, WS /

70 lgorithmen und Datenstrukturen Korrektheit etrachte zwei Eingabeelemente [i] und [j]. od sei [i] [j]. Wegen n[i] n[j] kommt [i] entweder in dasselbe Gefäß wie [j] oder in eines mit kleinerem Index. Im ersten Fall bringt die lokale Sortierung mit Insertion-Sort diese Elemente in sortierte Reihenfolge. Im zweiten Fall geschieht dies durch die Hintereinanderreihung der Gefäße.. ucket-sort TU ergakademie Freiberg, WS /

71 lgorithmen und Datenstrukturen ufwandsanalyse: eruht darauf, dass in keinem Gefäß allzuviele Elemente landen lle Zeilen des lgorithmus bis auf Zeile (Insertion-Sort) erfordern Laufzeit von Θ(n). Intuitiv: erhält jedes Gefäß O() Elemente, so erfordert das Sortieren jedes Gefäßes O() ufwand, also O(n) für alle Gefäße. Es ist zu erwarten, dass jedes Gefäß wenige Elemente bekommt, da im Mittel nur eines dort landet. ber genaue nalyse hier nötig.. ucket-sort TU ergakademie Freiberg, WS /

72 lgorithmen und Datenstrukturen Wir definieren die Zufallsvariablen n i := # Elemente, die in Gefäß i landen (i =,..., n ). Da Insertion-Sort eine quadratische Laufzeit besitzt, ergibt sich für die Laufzeit T (n) von ucket-sort T (n) = Θ(n) + n i= O(n i ). Mit der Linearität des Erwartungswertes erhalten wir [ E[T (n)] = E Θ(n) + n ] O(n i ) = Θ(n) + n E[O(n i )] = Θ(n) + i= n i= O(E[n i ]). i= (E[aX] = ae[x]) (.). ucket-sort TU ergakademie Freiberg, WS /

73 lgorithmen und Datenstrukturen ehauptung: E[n i ] = /n. eweis: Definiere die Indikatorzufallsvariable X i,j := { falls [j] in Gefäß i landet sonst. ufgrund der Gleichverteilungsannahme gilt Pr({[j] landet in Gefäß i}) = n. Ferner gilt: Somit gilt... n i = n X i,j. j=. ucket-sort TU ergakademie Freiberg, WS /

74 lgorithmen und Datenstrukturen [ ( n ) ] [ n E[n i ] = E X i,j = E j= [ n = E Xi,j + = j= n E[Xi,j] + j= n j= n j= k n k j k n k j j= k= ] n X i,j X i,k X i,j X i,k ] E[X i,j X i,k ]. X ij hat den Wert mit Wahrscheinlichkeit /n und mit Wahrscheinlichkeit /n. Daher folgt E[Xi,j] = ( n + ) = n n.. ucket-sort TU ergakademie Freiberg, WS /

75 lgorithmen und Datenstrukturen Für k j sind die Zufallsvariablen X i,j und X i,k unabhängig. Deshalb ist E[X i,j X i,k ] = E[X i,j ] E[X i,k ] = n n = n. Einsetzen dieser Teilergebnisse liefert E[n i ] = n j= n n + = + n n j= k n k j = n. n = n n + n(n ) n Einsetzen dieses Erwartungswertes in (.) liefert für ucket-sort eine mittlere Laufzeit von Θ(n) + n O( /n) = Θ(n).. ucket-sort TU ergakademie Freiberg, WS /

76 lgorithmen und Datenstrukturen emerkungen:. Wieder kein vergleichendes Sortierverfahren. Hier wurde ein Funktionswert des Schlüssels verwendet, um ein Feld zu adressieren.. Wir haben eine probabilistische nalyse vorgenommen, d.h. mit wahrscheinlichkeitstheoretischen Mitteln einen lgorithmus untersucht, dessen Laufzeit von der Verteilung der Eingabe abhängt.. Gegensatz zu randomisierten lgorithmen, wo wir durch Randomisieren eine Wahrscheinlichkeitsverteilung einbringen.. Ohne die nnahme von gleichverteilten Eingabelementen gilt nicht notwendig lineare Laufzeit.. ucket-sort TU ergakademie Freiberg, WS /