Algorithmen I. Prof. Jörn Müller-Quade Institut für theoretische Informatik Web:

Transkript

1 Algorithmen I Prof. Jörn Müller-Quade Institut für theoretische Informatik Web: (Folien von Peter Sanders) KIT Institut für Theoretische Informatik 1

2 Organisatorisches: Tutorien wöchentlich, ab nächster Woche Einteilung mittels Webinscribe WebInscribe seit gestern freigeschaltet WebInscribe wird am 27.04, 18 Uhr geschlossen Bitte tragen Sie sich unbedingt bis dahin ein! WebInscribe teilt Sie so ein, dass Sie keine Terminkonikte haben! Erinnerung: Übungsblattabgabe zu Zweit möglich Partner müssen im gleichen Tutorium sein Tragen Sie sich bitte mit ihrem/r Partner/in als Lerngruppe im WebInscribe ein! KIT Institut für Theoretische Informatik 2

3 Organisatorisches: 1. Mai & Mailingliste Der 1. Mai (Montag) ist ein Feiertag Tutorien an diesem Tag fallen daher aus Bitte besuchen Sie in dieser Woche ein anderes Tutorium Hinweis: Mailingliste auf der Website. Melden Sie sich bitte an! Website: KIT Institut für Theoretische Informatik 3

4 Erinnerung VL Amuse Geule: Langzahlmultiplikation Gegeben: Langzahlen a, b (jeweils aus n Ziern bestehend) Gesucht: Produkt p = a b (bis zu 2n Ziern) Basisoperationen: Ziernaddition (mit Übertrag), Ziernmult. Erster Schritt: Langzahladdition mit n Ziernadditionen Multiplikation Langzahl mit Zier: n Ziernmult., n Ziernadd. Schulmultiplikation: O ( n 2) Ziernoperationen Rekursive Multiplikation: O ( n 2) Ziernoperationen KIT Institut für Theoretische Informatik 4

5 Karatsuba-Ofman Multiplikation[1962] Beobachtung: (a 1 + a 0 )(b 1 + b 0 ) = a 1 b 1 + a 0 b 0 + a 1 b 0 + a 0 b 1 Function recmult(a, b) assert a und b haben n Ziern, sei k = n/2 if n = 1 then return a b Schreibe a als a 1 B k + a 0 Schreibe b als b 1 B k + b 0 c 11 := recmult(a 1,b 1 ) c 00 := recmult(a 0,b 0 ) return c 11 B 2k + (recmult((a 1 + a 0 ),(b 1 + b 0 )) c 11 c 00 )B k +c 00 KIT Institut für Theoretische Informatik 5

6 Zurück zur Langzahlmultiplikation Zierngröÿe Hardware-Fähigkeiten z. B. 64 Bit Schulmultiplikation für kleine Eingaben Assembler, SIMD, Karatsuba, n = 2048 Karatsuba, n = recursion threshold KIT Institut für Theoretische Informatik 6

7 Skalierung 10 school method Karatsuba4 Karatsuba32 Asymptotik setzt sich durch Konstante Faktoren oft Implementierungsdetail time [sec] e n KIT Institut für Theoretische Informatik 7

8 Blick über den Tellerrand Bessere Potenzen durch Aufspalten in mehr Teile Schnelle Fourier Transformation O(n) Multiplikationen von O(logn)-Bit Zahlen [Schönhage-Strassen 1971]: Bitkomplexität O(n log n log log n) [Fürer 2007]: Bitkomplexität 2 O(log n) n logn Praxis: Karatsuba-Multiplikation ist nützlich für Zahlenlängen aus der Kryptographie GnuPG, OpenSSL verwenden Karatsuba (ab best. Bitlänge) { Iterierter Logarithmus: log 0 falls n 1 n = 1 + log logn sonst KIT Institut für Theoretische Informatik 8

9 (Asymptotische) Algorithmenanalyse Gegeben: Ein Programm Gesucht: Laufzeit T (I ) (# Takte), eigentlich für alle Eingaben I (!) (oder auch Speicherverbrauch, Energieverbrauch,... ) Erste Vereinfachung: Worst case: T (n) = max I =n T (I ) (Später mehr: average case, best case, die Rolle des Zufalls, mehr Parameter) T(n) Instanzen mit I =n KIT Institut für Theoretische Informatik 9

10 Zweite Vereinfachung: Asymptotik O(f (n)) = {g(n) : c > 0 : n 0 N + : n n 0 : g(n) c f (n)} höchstens Ω(f (n)) = {g(n) : c > 0 : n 0 N + : n n 0 : g(n) c f (n)} mindestens Θ(f (n)) = O(f (n)) Ω(f (n)) genau o(f (n)) = {g(n) : c > 0 : n 0 N + : n n 0 : g(n) c f (n)} weniger ω(f (n)) = {g(n) : c > 0 : n 0 N + : n n 0 : g(n) c f (n)} mehr KIT Institut für Theoretische Informatik 10

11 O-Kalkül Rechenregeln Schludrigkeit: implizite Mengenklammern. Lese `f (n) = E ' als `{f (n)} E ' u. s. w. k i=0 cf (n) Θ(f (n)) für jede positive Konstante c a i n i O(n k ) f (n) + g(n) Ω(f (n)), f (n) + g(n) O(f (n)) falls g(n) = O(f (n)), O(f (n)) O(g(n)) = O(f (n) g(n)). KIT Institut für Theoretische Informatik 11

12 Maschinenmodell: RAM (Random Access Machine) S 1 2 Program Control... R 1 load 2... store k Θ(log Space) <>= + */&v~ Moderne (RISC) Adaption des von Neumann-Modells [von Neumann 1945] KIT Institut für Theoretische Informatik 12

13 Register S 1 2 Program Control... R 1 load 2... store k Θ(log Space) <>= + */&v~ k (irgendeine Konstante) Speicher R 1,...,R k für (kleine) ganze Zahlen KIT Institut für Theoretische Informatik 13

14 Hauptspeicher S 1 2 Program Control... R 1 load 2... store k Θ(log Space) <>= + */&v~ Unbegrenzter Vorrat an Speicherzellen S[1], S[2]... für (kleine) ganze Zahlen KIT Institut für Theoretische Informatik 14

15 Speicherzugri S 1 2 Program Control... R 1 load 2... <>= + */&v~ store k Θ(log Speicher) R i := S[R j ] lädt Inhalt von Speicherzelle S[R j ] in Register R i. S[R j ]:= R i speichert Register R i in Speicherzelle S[R j ]. KIT Institut für Theoretische Informatik 15

16 Rechnen S 1 2 Program Control... R 1 load 2... store k Θ(log Space) <>= + */&v~ R i := R j R l Registerarithmetik. ` ' ist Platzhalter für eine Vielzahl von Operationen Arithmetik, Vergleich, Logik KIT Institut für Theoretische Informatik 16

17 Bedingte Sprünge S 1 2 Program Control... R 1 load 2... store k Θ(log Space) <>= + */&v~ JZ j,r i Setze Programmausführung an Stelle j fort falls R i = 0 KIT Institut für Theoretische Informatik 17

18 Kleine ganze Zahlen? Alternativen: Konstant viele Bits (64?): theoretisch unbefriedigend, weil nur endlich viel Speicher adressierbar endlicher Automat Beliebige Genauigkeit: viel zu optimistisch für vernünftige Komplexitätstheorie. Beispiel: n-maliges Quadrieren führt zu einer Zahl mit 2 n Bits. OK für Berechenbarkeit Genug um alle benutzten Speicherstellen zu adressieren: bester Kompromiss. KIT Institut für Theoretische Informatik 18

19 Algorithmenanalyse im RAM-Modell Zeit: Ausgeführte Befehle zählen, d. h. Annahme 1 Takt pro Befehl. Nur durch späteres O( ) gerechtfertigt! Ignoriert Cache, Pipeline, Parallelismus... Platz: Etwas unklar: letzte belegte Speicherzelle? Anzahl benutzter Speicherzellen? Abhängigkeit von Speicherverwaltungsalgorithmen? Hier: Es kommt eigentlich nie drauf an. KIT Institut für Theoretische Informatik 19

20 Mehr Maschinenmodell Cache: schneller Zwischenspeicher begrenzte Gröÿe kürzlich/häug zugegriene Daten sind eher im Cache blockweiser Zugri Zugri auf konsekutive Speicherbereiche sind schnell Parallelverarbeitung: Mehrere Prozessoren unabhängige Aufgaben identizieren mehr in TI, Algorithmen II, Programmierparadigmen,... KIT Institut für Theoretische Informatik 20

21 Mehr Maschinenmodell S 1 2 Caches Program Control... R k Netzwerk KIT Institut für Theoretische Informatik 21

22 Pseudocode just in time Beispiel: Class Complex(x, y : Number) of Number Number r:= x Number i:= y Function abs : Number return r 2 + i 2 Function add(c : Complex) : Complex return Complex(r + c.r,i + c.i) KIT Institut für Theoretische Informatik 22

23 Design by Contract / Schleifeninvarianten assert: Aussage über Zustand der Programmausführung Vorbedingung: Bedingung für korrektes Funktionieren einer Prozedur Nachbedingung: Leistungsgarantie einer Prozedur, falls Vorbedingung erfüllt Invariante: Aussage, die an vielen Stellen im Programm gilt Schleifeninvariante: gilt vor / nach jeder Ausführung des Schleifenkörpers Datenstrukturinvariante: gilt vor / nach jedem Aufruf einer Operation auf abstraktem Datentyp Hier: Invarianten als zentrales Werkzeug für Algorithmenentwurf und Korrektheitsbeweis. KIT Institut für Theoretische Informatik 23

24 Beispiel (Ein anderes als im Buch) Function power(a : R; n 0 : N) : R p=a : R; r=1 : R; n=n 0 : N while n > 0 do if n is odd then n ; r:= r p else (n,p):= (n/2,p p) return r KIT Institut für Theoretische Informatik 24

25 Beispiel (Ein anderes als im Buch) Function power(a : R; n 0 : N) : R assert n 0 0 and (a = 0 n 0 = 0) // Vorbedingung p=a : R; r=1 : R; n=n 0 : N // p n r = a n 0 while n > 0 do invariant p n r = a n 0 // Schleifeninvariante (*) if n is odd then n ; r:= r p else (n,p):= (n/2,p p) assert r = a n 0 // (*) n = 0 Nachbedingung return r KIT Institut für Theoretische Informatik 25

26 Rechenbeispiel: 2 5 p=a = 2 : R; r=1 : R; n=n 0 = 5 : N // = 2 5 while n > 0 do if n is odd then n ; r:= r p else (n,p):= (n/2,p p) Iteration p r n p n r KIT Institut für Theoretische Informatik 26

27 Beispiel Function power(a : R; n 0 : N) : R assert n 0 0 and (a = 0 n 0 = 0) // Vorbedingung p=a : R; r=1 : R; n=n 0 : N // p n r = a n 0 while n > 0 do invariant p n r = a n 0 // Schleifeninvariante (*) if n is odd then n ; r:= r p else (n,p):= (n/2,p p) assert r = a n 0 // (*) n = 0 Nachbedingung return r neues n {}}{ Fall n ungerade: Invariante erhalten wegen p n r = pn 1 pr }{{} neues r KIT Institut für Theoretische Informatik 27

28 Beispiel Function power(a : R; n 0 : N) : R assert n 0 0 and (a = 0 n 0 = 0) // Vorbedingung p=a : R; r=1 : R; n=n 0 : N // p n r = a n 0 while n > 0 do invariant p n r = a n 0 // Schleifeninvariante (*) if n is odd then n ; r:= r p else (n,p):= (n/2,p p) assert r = a n 0 // (*) n = 0 Nachbedingung return r neues n {}}{ Fall n gerade: Invariante erhalten wegen p n n/2 = (p p) }{{} neues p KIT Institut für Theoretische Informatik 28

29 Programmanalyse Die fundamentalistische Sicht: Ausgeführte RAM-Befehle zählen einfache Übersetzungsregeln {}}{ Pseudocode Maschinenbefehle Idee: O( )-Notation vereinfacht die direkte Analyse des Pseudocodes. T (I ;I ) = T (I ) + T (I ). T (if C then I else I ) O(T (C) + max(t (I ),T (I ))). T (repeat I until C) O( i T (i-te Iteration)) Rekursion Rekurrenzrelationen KIT Institut für Theoretische Informatik 29

30 Schleifenanalyse Summen ausrechnen Das lernen Sie in Mathe Beispiel: Schulmultiplikation KIT Institut für Theoretische Informatik 30

31 Eine Rekurrenz für Teile und Herrsche Für positive Konstanten a, b, c, d, sei n = b k für ein k N. { a falls n = 1 Basisfall r(n) = cn + dr(n/b) falls n > 1 teile und herrsche. n cn 1 2 d n/b n/b... n/b a a a a... a a k KIT Institut für Theoretische Informatik 31

32 Master Theorem (Einfache Form) Für positive Konstanten a, b, c, d, sei n = b k für ein k N. { a falls n = 1 Basisfall r(n) = cn + dr(n/b) falls n > 1 teile und herrsche. Es gilt Θ(n) falls d < b r(n) Θ(n logn) falls d = b Θ ( n log b d ) falls d > b. Übung: dasselbe gilt, wenn wir beliebige n N zulassen und r(n) = cn + dr( n/b ) für n > 1 setzen. KIT Institut für Theoretische Informatik 32

33 Beweisskizze Auf Ebene i haben wir d i n/b i = b k i d i c n ( ) d i b i = cn b ad k KIT Institut für Theoretische Informatik 33

34 Beweisskizze Fall d < b geometrisch schrumpfende Reihe erste Rekursionsebene kostet konstanten Teil der Arbeit ( ) r(n) = a }{{ d k k 1 d i } + cn Θ(n) b i=0 o(n) }{{} O(1) d=2, b=4 KIT Institut für Theoretische Informatik 34

35 Beweisskizze Fall d = b gleich viel Arbeit auf allen k = log b (n) Ebenen. r(n) = an + cn log b n Θ(n logn) d=b=2 KIT Institut für Theoretische Informatik 35

36 Beweisskizze Fall d > b geometrisch wachsende Reihe letzte Rekursionsebene kostet konstanten Teil der Arbeit ( ) d i ) r(n) = ad k + cn Θ(n logb d b k 1 i=0 beachte: d k = 2 k logd = 2 k log b log b logd = b k log d log b = b k log b d = n log b d d=3, b=2 KIT Institut für Theoretische Informatik 36

37 Master Theorem Beispiele Für positive Konstanten a, b, c, d, sei n = b k für ein k N. { a falls n = 1 Basisfall r(n) = cn + dr(n/b) falls n > 1 teile und herrsche. schon gesehen, kommt noch, allgemeinerer Fall d < b: Median bestimmen d = b: mergesort, quicksort d > b: rekursive Multiplikation, Karatsuba-Ofman-Multiplikation KIT Institut für Theoretische Informatik 37