Algorithm Engineering was hat das mit der Praxis zu tun?

Transkript

1 Algorithm Engineering was hat das mit der Praxis zu tun? design analyze Algorithmics implement experiment 33

2 Algorithmentheorie (Karikatur) models design Theory Practice analysis perf. guarantees deduction implementation applications 34

3 Algorithmik als Algorithm Engineering Algorithm Engineering Analyse Deduktion Leistungs garantien realistische Modelle 1 Entwurf 2 falsifizierbare 3 Hypothesen 5 Induktion 4 Implementierung Algorithmen bibliotheken 6 reale Eingaben Experimente 7 Anwendungen 35

4 Zurück zur Langzahlmultiplikation Zierngröÿe Hardware-Fähigkeiten z. B. 32 Bit Schulmultiplikation für kleine Eingaben Assembler, SIMD, Karatsuba, n = 2048 Karatsuba, n = recursion threshold 36

5 Skalierung 10 school method Karatsuba4 Karatsuba32 Asymptotik setzt sich durch Konstante Faktoren oft Implementierungsdetail time [sec] e n

6 Blick über den Tellerrand Bessere Potenzen durch Aufspalten in mehr Teile Schnelle Fourier Transformation O(n) Multiplikationen von O(log n)-bit Zahlen [Schönhage-Strassen 1971]: Bitkomplexität O(n log n log log n) [Fürer 2007]: Bitkomplexität 2 O(log n) n log n Praxis: Karatsuba-Multiplikation ist nützlich für Zahlenlängen aus der Kryptographie GnuPG, OpenSSL verwenden Karatsuba (ab best. Bitlänge) { Iterierter Logarithmus: log 0 falls n 1 n = 1 + log log n sonst 38

7 Einführendes 39

8 Überblick Algorithmenanalyse Maschinenmodell Pseudocode Codeannotationen Mehr Algorithmenanalyse Graphen 40

9 (Asymptotische) Algorithmenanalyse Gegeben: Ein Programm Gesucht: Laufzeit T (I ) (# Takte), eigentlich für alle Eingaben I (!) (oder auch Speicherverbrauch, Energieverbrauch,... ) Erste Vereinfachung: Worst case: T (n) = max I =n T (I ) (Später mehr: average case, best case, die Rolle des Zufalls, mehr Parameter) T(n) Instanzen mit I =n 41

10 Zweite Vereinfachung: Asymptotik O(f (n)) = {g(n) : c > 0 : n 0 N + : n n 0 : g(n) c f (n)} höchstens Ω(f (n)) = {g(n) : c > 0 : n 0 N + : n n 0 : g(n) c f (n)} mindestens Θ(f (n)) = O(f (n)) Ω(f (n)) genau o(f (n)) = {g(n) : c > 0 : n 0 N + : n n 0 : g(n) c f (n)} weniger ω(f (n)) = {g(n) : c > 0 : n 0 N + : n n 0 : g(n) c f (n)} mehr 42

11 O-Kalkül Rechenregeln Schludrigkeit: implizite Mengenklammern. Lese `f (n) = E' als `{f (n)} E' u. s. w. k i=0 cf (n) Θ(f (n)) für jede positive Konstante c a i n i O(n k ) f (n) + g(n) Ω(f (n)), f (n) + g(n) O(f (n)) falls g(n) = O(f (n)), O(f (n)) O(g(n)) = O(f (n) g(n)). 43

12 Maschinenmodell: RAM (Random Access Machine) S 1 2 Program Control... R 1 load 2... store k Θ(log Space) <>= + */&v~ Moderne (RISC) Adaption des von Neumann-Modells [von Neumann 1945] 44

13 Register S 1 2 Program Control... R 1 load 2... store k Θ(log Space) <>= + */&v~ k (irgendeine Konstante) Speicher R 1,...,R k für (kleine) ganze Zahlen 45

14 Hauptspeicher S 1 2 Program Control... R 1 load 2... store k Θ(log Space) <>= + */&v~ Unbegrenzter Vorrat an Speicherzellen S[1], S[2]... für (kleine) ganze Zahlen 46

15 Speicherzugri S 1 2 Program Control... R 1 load 2... <>= + */&v~ store k Θ(log Speicher) R i := S[R j ] lädt Inhalt von Speicherzelle S[R j ] in Register R i. S[R j ]:= R i speichert Register R i in Speicherzelle S[R j ]. 47

16 Rechnen S 1 2 Program Control... R 1 load 2... store k Θ(log Space) <>= + */&v~ R i := R j R l Registerarithmetik. ` ' ist Platzhalter für eine Vielzahl von Operationen Arithmetik, Vergleich, Logik 48

17 Bedingte Sprünge S 1 2 Program Control... R 1 load 2... store k Θ(log Space) <>= + */&v~ JZ j, R i Setze Programmausführung an Stelle j fort falls R i = 0 49

18 Kleine ganze Zahlen? Alternativen: Konstant viele Bits (64?): theoretisch unbefriedigend, weil nur endlich viel Speicher adressierbar endlicher Automat Beliebige Genauigkeit: viel zu optimistisch für vernünftige Komplexitätstheorie. Beispiel: n-maliges Quadrieren führt zu einer Zahl mit 2 n Bits. OK für Berechenbarkeit Genug um alle benutzten Speicherstellen zu adressieren: bester Kompromiss. 50

19 Algorithmenanalyse im RAM-Modell Zeit: Ausgeführte Befehle zählen, d. h. Annahme 1 Takt pro Befehl. Nur durch späteres O( ) gerechtfertigt! Ignoriert Cache, Pipeline, Parallelismus... Platz: Etwas unklar: letzte belegte Speicherzelle? Anzahl benutzter Speicherzellen? Abhängigkeit von Speicherverwaltungsalgorithmen? Hier: Es kommt eigentlich nie drauf an. 51

20 Mehr Maschinenmodell Cache: schneller Zwischenspeicher begrenzte Gröÿe kürzlich/häug zugegriene Daten sind eher im Cache blockweiser Zugri Zugri auf konsekutive Speicherbereiche sind schnell Parallelverarbeitung: Mehrere Prozessoren unabhängige Aufgaben identizieren mehr in TI, Algorithmen II, Programmierparadigmen,... 52

21 Mehr Maschinenmodell S 1 2 Caches Program Control... R k Netzwerk 53

22 Pseudocode just in time Beispiel: Class Complex(x, y : Number) of Number Number r:= x Number i:= y Function abs : Number return r 2 + i 2 Function add(c : Complex) : Complex return Complex(r + c.r,i + c.i) 54

23 Design by Contract / Schleifeninvarianten assert: Aussage über Zustand der Programmausführung Vorbedingung: Bedingung für korrektes Funktionieren einer Prozedur Nachbedingung: Leistungsgarantie einer Prozedur, falls Vorbedingung erfüllt Invariante: Aussage, die an vielen Stellen im Programm gilt Schleifeninvariante: gilt vor / nach jeder Ausführung des Schleifenkörpers Datenstrukturinvariante: gilt vor / nach jedem Aufruf einer Operation auf abstraktem Datentyp Hier: Invarianten als zentrales Werkzeug für Algorithmenentwurf und Korrektheitsbeweis. 55

24 Beispiel (Ein anderes als im Buch) Function power(a : R; n 0 : N) : R p=a : R; r=1 : R; n=n 0 : N while n > 0 do if n is odd then n ; r:= r p else (n, p):= (n/2, p p) return r 56

25 Beispiel (Ein anderes als im Buch) Function power(a : R; n 0 : N) : R assert n 0 0 and (a = 0 n 0 = 0) // Vorbedingung p=a : R; r=1 : R; n=n 0 : N // p n r = a n 0 while n > 0 do invariant p n r = a n 0 // Schleifeninvariante (*) if n is odd then n ; r:= r p else (n, p):= (n/2, p p) assert r = a n 0 // (*) n = 0 Nachbedingung return r 57

26 Rechenbeispiel: 2 5 p=a = 2 : R; r=1 : R; n=n 0 = 5 : N // = 2 5 while n > 0 do if n is odd then n ; r:= r p else (n, p):= (n/2, p p) Iteration p r n p n r

27 Beispiel Function power(a : R; n 0 : N) : R assert n 0 0 and (a = 0 n 0 = 0) // Vorbedingung p=a : R; r=1 : R; n=n 0 : N // p n r = a n 0 while n > 0 do invariant p n r = a n 0 // Schleifeninvariante (*) if n is odd then n ; r:= r p else (n, p):= (n/2, p p) assert r = a n 0 // (*) n = 0 Nachbedingung return r neues n {}}{ Fall n ungerade: Invariante erhalten wegen p n r = p n 1 pr }{{} neues r 59

28 Beispiel Function power(a : R; n 0 : N) : R assert n 0 0 and (a = 0 n 0 = 0) // Vorbedingung p=a : R; r=1 : R; n=n 0 : N // p n r = a n 0 while n > 0 do invariant p n r = a n 0 // Schleifeninvariante (*) if n is odd then n ; r:= r p else (n, p):= (n/2, p p) assert r = a n 0 // (*) n = 0 Nachbedingung return r Fall n gerade: Invariante erhalten wegen p n = (p p) }{{} neues p neues n {}}{ n/2 60

29 Programmanalyse Die fundamentalistische Sicht: Ausgeführte RAM-Befehle zählen einfache Übersetzungsregeln {}}{ Pseudo-Code Maschinenbefehle Idee: O( )-Notation vereinfacht die direkte Analyse des Pseudocodes. T (I ; I ) = T (I ) + T (I ). T (if C then I else I ) O(T (C) + max(t (I ), T (I ))). T (repeat I until C) O( i T (i-te Iteration)) Rekursion Rekurrenzrelationen 61

30 Schleifenanalyse Summen ausrechnen Das lernen Sie in Mathe Beispiel: Schulmultiplikation 62

31 Eine Rekurrenz für Teile und Herrsche Für positive Konstanten a, b, c, d, sei n = b k für ein k N. { a falls n = 1 Basisfall r(n) = cn + dr(n/b) falls n > 1 teile und herrsche. n cn 1 2 d n/b n/b... n/b a a a a... a a k 63

32 Master Theorem (Einfache Form) Für positive Konstanten a, b, c, d, sei n = b k für ein k N. { a falls n = 1 Basisfall r(n) = cn + dr(n/b) falls n > 1 teile und herrsche. Es gilt Θ(n) falls d < b r(n) = Θ(n log n) falls d = b Θ ( n log d) b falls d > b. 64

33 Beweisskizze Auf Ebene i haben wir d i n/b i = b k i ( d i c n d = b i cn b ) i ad k 65

34 Beweisskizze Fall d < b geometrisch schrumpfende Reihe erste Rekursionsebene kostet konstanten Teil der Arbeit ( ) r(n) = a }{{ d k k 1 i d } + cn Θ(n) b i=0 o(n) }{{} O(1) d=2, b=4 66

35 Beweisskizze Fall d = b gleich viel Arbeit auf allen k = log b (n) Ebenen. r(n) = an + cn log b n Θ(n log n) d=b=2 67

36 Beweisskizze Fall d > b geometrisch wachsende Reihe letzte Rekursionsebene kostet konstanten Teil der Arbeit ( ) i d ) r(n) = ad k + cn Θ(n log d b b k 1 i=0 beachte: d k = 2 k log d = 2 k log b log d log b = b k log d log b = b k log b d = n log b d d=3, b=2 68