Algorithmen für die Speicherhierarchie

Transkript

1 und : Obere und n [Aggarwal, Vitter 1988] Lehrstuhl für Effiziente Algorithmen Fakultät für Informatik Technische Universität München Vorlesung 22. Oktober 2007

2 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 a b e f h g k i m z j l p x n o y

3 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 a b e f h g k i m z j l p x n o y

4 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 h g k i m z j l p x n o y a b e f

5 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 h k i m z j l p x n o y a b e f g

6 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 k i m z j l p x n o y a b e f g h

7 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 k m z j l p x n o y a b e f g h i

8 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 k m z l p x n o y a b e f g h i j

9 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 m z l p x n o y a b e f g h i j k

10 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 m z p x n o y a b e f g h i j k l

11 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 z p x n o y a b e f g h i j k l m

12 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 z p x o y a b e f g h i j k l m n

13 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 z p x y a b e f g h i j k l m n o

14 k-wege Merge Verschmelzen und I/O eispiel k = 3, = 4, M = 4 z y x a b e f g h i j k l m n o p

15 Analyse k-wege MergeSort klassisches Divide-and-Conquer Theorem MergeSort nutzt O ( log M M I/Os asis: Je M Elemente Laden; ; Speichern; I/Os O (/ Verschmelzen: O (/ je k = M/ 1 sortierte Listen ( Verschmelzungstiefe: O log M /M # Runs /M 1/k

16 I/O-edarf Theorem benötigt höchstens ( O log M eispiel M I/O-Operationen (für > M 2 /. M = 50Mega, = 1.000, = 200Giga: M/ = , /M = ; einmal scannen um Runs zu erzeugen, einmal Verschmelzen

17 I/O-edarf Theorem benötigt höchstens ( O log M eispiel M I/O-Operationen (für > M 2 /. M = 50Mega, = 1.000, = 200Giga: M/ = , /M = ; einmal scannen um Runs zu erzeugen, einmal Verschmelzen

18 I/O-edarf Theorem benötigt höchstens ( O log M eispiel M I/O-Operationen (für > M 2 /. M = 50Mega, = 1.000, = 200Giga: M/ = , /M = ; einmal scannen um Runs zu erzeugen, einmal Verschmelzen Geht es besser?

19 : unter Schranke Annahmen Vergleichsbasierter Algorithmus Elemente können nur bewegt, kopiert, gelöscht, und verglichen werden Eingabe in den ersten / löcken der Platte M 2 Gegenspieler Gegenspieler gibt Antworten auf Vergleiche Konsistenz: Wiederholung, Transitivität Reagiert auf Aktivitäten des Algorithmus

20 unter Schranke: Strategie des Gegenspielers Strategie des Gegenspielers S l Menge von Permutationen, die nach l I/O-Operationen noch konsistent mit bisherigen Antworten ist (weitere Antworten verkleinern diese Menge Maximiere in jedem Schritt die Größe von S l (Kardinalität Argument Wenn der Gegenspieler X Möglichkeiten hat, dann muss es eine geben, die mindestens S l /X Permutationen weiterhin erlaubt. (Großes X schwächt dieses Argument für den Gegenspieler

21 Zählen Definition von X X ist die Anzahl von verschiedenen Antworten wie alle Elemente im Hauptspeicher angeordnet sind. Operation lese frischen lock 1 lese lock schreibe lock ( X M (! M (1: höchstens / solche Operationen 1 S 0 =! S l! ( M l (! Am Ende S l = 1 1! ( M l (!

22 Zählen Definition von X X ist die Anzahl von verschiedenen Antworten wie alle Elemente im Hauptspeicher angeordnet sind. Operation lese frischen lock 1 lese lock schreibe lock ( X M (! M (1: höchstens / solche Operationen 1 S 0 =! S l! ( M l (! Am Ende S l = 1 1! ( M l (!

23 Auflösen nach l l log ( M ( M l (!! + log(! log(! 3l log(m/ + log (log log e 3l (log log e log log(m/ Lemma 1 log(x! x(log x log e 2 log(x! x log x 3 log ( x y 3y log x y für x 2y Resultat ( l = Ω log M

26 Lemma (Stirling Lemma 1 log(x! x(log x log e 2 log(x! x log x 3 log ( x y 3y log x y für x 2y Stirling eweis x! = 2πx (x/e x (1 + O (1/12x 1 log(x! log 2πx + x(log x log e + o(1 2 log(x! log(x x = x log x 3 log ( x y log x y (y/e = y(log(x/y + log e y

29 Zusammenfassung Definiere n = / m = M/ enutze 1 + log M (x = log M (x M Komplexität Θ(/ log M/ (/ = Θ(n log m (n =: sort(

30 Aufgabe Aufgabe Untere Schranke Eingabe Ausgabe eispiel O ( CPU-Operationen O ( I/O-Operationen ( O log M durch MergeSort I/O-Ops. M M = 50Mega, = 1.000, = 200Giga: M/ = , /M = ; zweimal scannen Faktor 500.

36 Untere Schranke Aufgabe Untere Schranke Theorem ([Aggarwal, Vitter 1988] Angenommen, Elemente werden nur kopiert, bewegt, oder gelöscht, dann gibt es eine Permutation die Ω ( min I/O-Operationen benötigt. {, log M } M Eine zufällig gewählte Permutation (uniform benötigt mit hoher Wahrscheinlichkeit diese Anzahl von I/O-Operationen

37 Untere Schranke Aufgabe Untere Schranke Theorem ([Aggarwal, Vitter 1988] Angenommen, Elemente werden nur kopiert, bewegt, oder gelöscht, dann gibt es eine Permutation die Ω ( min I/O-Operationen benötigt. {, log M } M Eine zufällig gewählte Permutation (uniform benötigt mit hoher Wahrscheinlichkeit diese Anzahl von I/O-Operationen

38 Kopieren und Löschen unnötig Aufgabe Untere Schranke Programmanalyse Die betrachteten Programme sind deterministisch. Daher ist klar, wann und wie ein geschriebenes Element wieder verwendet wird. Transformation Arbeite nur mit der einen Kopie eines Elements, die letztendlich in der Ausgabe verwendet wird. kein kopieren oder löschen. Spur Falls nur bewegt wird, beschreiben Hauptspeicher und Festplatte genau eine Permutation der Elemente.

41 Aufgabe Untere Schranke eweis: ormalisierung Hauptspeicher in endgültiger (relativer Reihenfolge S l := Anzahl der Permutationen die mit l I/O- Operationen erreicht werden können Anzahl X neuer Permutationen Operation lese frischen lock 1 lese lock schreibe lock X ( ( M! M ( ( M + l l!!

45 Auflösen nach l Aufgabe Untere Schranke l log (( M (( M 2 l l (!! + log(! log(! 3l ( log(m/ + log 2 + log (log log e (log log e log 3l log(m/ + log 2 log(m/ log 2 log(m/ log 2 3l (log log e log 2 log(m/ 3l (log log e log 2 log 2 l = Ω(sort( l = Ω( wegen < log

48 Komplexität Aufgabe Untere Schranke Theorem ([Aggarwal, Vitter 1988] Angenommen, Elemente werden nur kopiert, bewegt, oder gelöscht, dann gibt es eine Permutation die Ω ( min I/O-Operationen benötigt. {, log M } M Eine zufällig gewählte Permutation (uniform benötigt mit hoher Wahrscheinlichkeit diese Anzahl von I/O-Operationen

49 Komplexität Aufgabe Untere Schranke Theorem ([Aggarwal, Vitter 1988] Angenommen, Elemente werden nur kopiert, bewegt, oder gelöscht, dann gibt es eine Permutation die Ω ( min I/O-Operationen benötigt. {, log M } M Eine zufällig gewählte Permutation (uniform benötigt mit hoher Wahrscheinlichkeit diese Anzahl von I/O-Operationen