Algorithmen I. Prof. Jörn Müller-Quade. Übungen: Björn Kaidel, Sebastian Schlag und Sascha Witt

Transkript

1 Algorithmen I Prof. Jörn Müller-Quade Übungen: Björn Kaidel, Sebastian Schlag und Sascha Witt Institut für theoretische Informatik Web: (Folien von Peter Sanders) KIT Institut für Theoretische Informatik 1

2 Organisatorisches Vorlesungen: Saalübung: Mo: 15:4517:15 Mi: 14:0014:45 Mi: 14:4515:30 Tutorium: wöchentlich, ab nächster Woche Einteilung mittels Webinscribe Übungsblätter: wöchentlich Ausgabe Montag (spätestens nach der Vorlesung) Abgabe Dienstag 12:45 Uhr (8 Tage nach Ausgabe) KIT Institut für Theoretische Informatik 2

3 Organisatorisches Sprechstunde: Montag, Uhr Prof. Jörn Müller-Quade, Raum 268, Geb Mittsemesterklausur: zur Kontrolle Abschlussklausur: , 100% der Note nächste Versuchsmöglichkeit: nach dem WS 17/18 KIT Institut für Theoretische Informatik 3

4 Materialien Folien, Übungsblätter Diskussionsforum: Link siehe Homepage Buch: K. Mehlhorn, P. Sanders Algorithms and Data Structures The Basic Toolbox Taschenbuch der Algorithmen Springer 2008 (Unterhaltung / Motivation) KIT Institut für Theoretische Informatik 4

5 Weitere Bücher Algorithmen - Eine Einführung von Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest, und Cliord Stein von Oldenbourg Algorithmen und Datenstrukturen von Thomas Ottmann und Peter Widmayer von Spektrum Akademischer Verlag Algorithmen kurz gefasst von Uwe Schöning von Spektrum Akad. Vlg., Hdg. KIT Institut für Theoretische Informatik 5

6 Übungen Übungen Siehe Extra-Folien KIT Institut für Theoretische Informatik 6

7 Algorithmus? Kann man das essen? Pseudogriechische Verballhornung eines Namens, der sich aus einer Landschaftsbezeichnung ableitet: Al-Khwarizmi war persischer/usbekischer Wissenschaftler (aus Khorasan) aber lebte in Bagdad Machtzentrum des arabischen Kalifats auf seinem Höhepunkt. Er hat ein Rechenlehrbuch geschrieben. Algorithmus wurde zum Synonym für Rechenvorschrift. Unter einem Algorithmus versteht man eine genau denierte Handlungsvorschrift zur Lösung eines Problems oder einer bestimmten Art von Problemen in endlich vielen Schritten. KIT Institut für Theoretische Informatik 7

8 Algorithmik Kerngebiet der (theoretischen) Informatik mit direktem Anwendungsbezug Informatik theoretische Algorithmik Logik effiziente Soft u. Hardware korrekte praktische KIT Institut für Theoretische Informatik 8

9 Datenstruktur Ein Algorithmus bearbeitet Daten. Wenn ein Teil dieser Daten eine (interessante) Struktur haben, nennen wir das Datenstruktur. Immer wiederkehrende Datenstrukturen und dazugehörige Algorithmenteile wichtige Grundwerkzeuge (Basic Toolbox) KIT Institut für Theoretische Informatik 9

10 Themenauswahl: Werkzeugkasten Immer wieder benötigte Datenstrukturen Algorithmen Entwurfstechniken neue Algorithmen Analysetechniken Leistungsgarantien, objektiver Algorithmenvergleich Jeder Informatiker braucht das Pichtvorlesung KIT Institut für Theoretische Informatik 10

11 Inhaltsübersicht 1. Amuse Geule Appetithäppchen 2. Einführung der Werkzeugkasten für den Werkzeugkasten 3. Folgen, Felder, Listen Mütter und Väter aller Datenstrukturen 4. Hashing Chaos als Ordnungsprinzip 5. Sortieren Ezienz durch Ordnung 6. Prioritätslisten immer die Übersicht behalten 7. Sortierte Liste die eierlegende Wollmilchsau 8. Graphrepräsentation Beziehungen im Gri haben 9. Graphtraversierung globalen Dingen auf der Spur 10. Kürzeste Wege schnellstens zum Ziel 11. Minimale Spannbäume immer gut verbunden 12. Optimierung noch mehr Entwurfsmethoden KIT Institut für Theoretische Informatik 11

12 Amuse Geule Beispiel: Langzahl-Multiplikation Schreibe Zahlen als Ziernfolgen a = (a n 1...a 0 ), a i 0..B 1. Wir zählen Volladditionen: (c,s):= a i +b j +c Beispiel (B = 10): = (1,9) Ziernmultiplikationen: (p,p):= a i b j Beispiel (B = 10): 9 9 = (8,1) KIT Institut für Theoretische Informatik 12

13 Addition c=0 : Digit // carry / Überlauf for i := 0 to n 1 do (c,s i ):= a i + b i + c s n := c a b 0 c n 0 s Satz: Addition von n-ziern-zahlen braucht n Ziern-Additionen. KIT Institut für Theoretische Informatik 13

14 Beispiel c=0 : Digit // carry / Überlauf for i := 0 to n 1 do (c,s i ):= a i + b i + c s n := c a b c s KIT Institut für Theoretische Informatik 14

15 Exkurs: Pseudocode Kein C/C++/Java Eher Pascal + Mathe begin/end Zuweisung: := Kommentar: // Ausdrücke: volle Mathepower Deklarationen: c=0 : Digit Tupel: (c,s i ):= a i + b i + c Schleifen: for, while, repeat...until,... Menschenlesbarkeit vor Maschinenlesbarkeit Einrückung trägt Bedeutung {i 2 : a,b 2 : i = ab} uvam: Buch Abschnitt 2.3, hier: just in time und on demand if, Datentypen, Klassen, Speicherverwaltung KIT Institut für Theoretische Informatik 15

16 Exkurs vom Exkurs: Wieso nicht C++/Java-like? Klare Unterscheidung von Programmcode viele redundante ()[]; C for ist sehr low level == ist unschön während := für Zuweisung klarer ist C Logik/Bitoperatoren sind kryptischer als etc. Wir verwendenen C++/Java-Notation wo dies sinnvoll ist // + +, + = = Mathenotation ist oft mächtiger KIT Institut für Theoretische Informatik 16

17 Ziernmultiplikation Function numbertimesdigit(a : Array [0..n 1] of Digit, b : Digit) low(ab) high(ab) 0 c n 0 result KIT Institut für Theoretische Informatik 17

18 Beispiel numbertimesdigit(256, 4) low(ab) high(ab) c result KIT Institut für Theoretische Informatik 18

19 Ziernmultiplikation Function numbertimesdigit(a : Array [0..n 1] of Digit, b : Digit) result : Array [0..n] of Digit c=0 : Digit // carry / Überlauf (h,l):= a[0] b // Ziffernmultiplikation result[0]:= l for i := 1 to n 1 do // n 1 Iterationen (h, l):= a[i] b // Ziffernmultiplikation (c,result[i]):= c + h + l // Ziffernaddition h := h result[n]:= c + h // Ziffernaddition, kein Überlauf?! return result Analyse: 1 + (n 1) = n Multiplikationen, (n 1) + 1 = n Additionen KIT Institut für Theoretische Informatik 19

20 Schulmultiplikation p=0 : N for j := 0 to n 1 do // Langzahladdition, Langzahl mal Ziffer, Schieben: p:= p + a b[j] B j // Langzahl 2n 1 n 0 a ab ab 2 b 0 ab n 1 n 1 n p KIT Institut für Theoretische Informatik 20

21 Schulmultiplikation Beispiel p=0 : N for j := 0 to n 1 do // Langzahladdition, Langzahl mal Ziffer, Schieben: p:= p + a b[j] B j // Langzahl * a 2 ab b p KIT Institut für Theoretische Informatik 21

22 Schulmultiplikation Analyse p=0 : N for j := 0 to n 1 do p:= p // n + j Ziffern (außer bei j = 0) + // n + 1 Ziffernadditionen (optimiert) a b[j] // je n Additionen/Multiplikationen B j // schieben (keine Ziffernarithmetik) Insgesamt: n 2 Multiplikationen n 2 + (n 1)(n + 1) = 2n 2 1 Additionen 3n 2 1 3n 2 Ziernoperationen KIT Institut für Theoretische Informatik 22

23 Exkurs O-Kalkül, die Erste O(f (n)) = {g(n) : c > 0 : n 0 N + : n n 0 : g(n) c f (n)} Idee: Konstante Faktoren (und Anfangsstück) ausblenden + Operationen zählen Laufzeit welche Ops.? + Rechnungen vereinfachen + Interpretation vereinfachen? Werfen wir zuviel Information weg? Beispiel: Schulmultiplikation braucht Zeit O ( n 2) KIT Institut für Theoretische Informatik 23

24 Ein rekursiver Algorithmus Function recmult(a, b) assert a und b haben n Ziern, sei k = n/2 if n = 1 then return a b Schreibe a als a 1 B k + a 0 Schreibe b als b 1 B k + b 0 return recmult(a 1,b 1 ) B 2k + (recmult(a 0,b 1 )+recmult(a 1,b 0 )) B k + recmult(a 0,b 0 ) KIT Institut für Theoretische Informatik 24

25 Beispiel = ( ) = KIT Institut für Theoretische Informatik 25

26 Analyse Function recmult(a, b) assert a und b haben n Ziern, sei k = n/2 if n = 1 then return a b Schreibe a als a 1 B k + a 0 Schreibe b als b 1 B k + b 0 return // T (n) Ops // 1 Op // 0 Ops // 0 Ops recmult(a 1,b 1 ) B 2k + // T (n/2) + 2n Ops (recmult(a 0,b 1 )+recmult(a 1,b 0 ))B k + // 2T (n/2) + 2n Ops recmult(a 0,b 0 ) // T (n/2) + 2n Ops Also T (n) 4T (n/2) + 6n KIT Institut für Theoretische Informatik 26

27 Analyse T (n) (Master-Theorem, stay tuned) T (n) Θ (n ) log 2 4 O ( n 2) { 1 if n = 1, 4 T ( n/2 ) + 6 n if n 2. Aufgabe: Zeigen Sie durch vollständige Induktion, dass T (n) 7n 2 6n, falls n eine Zweierpotenz ist KIT Institut für Theoretische Informatik 27

28 Exkurs: Algorithmen-Entwurfsmuster Im Buch: siehe auch Index! Schleife: z. B. Addition Unterprogramm: z. B. Ziernmultiplikation, Addition Teile und Herrsche: (lat. divide et impera, engl. divide and conquer) Aufteilen in eins oder mehrere, kleinere Teilprobleme, oft rekursiv Es kommen noch mehr: greedy, dynamische Programmierung, Metaheuristiken, Randomisierung,... KIT Institut für Theoretische Informatik 28

29 Karatsuba-Ofman Multiplikation[1962] Beobachtung: (a 1 + a 0 )(b 1 + b 0 ) = a 1 b 1 + a 0 b 0 + a 1 b 0 + a 0 b 1 Function recmult(a, b) assert a und b haben n Ziern, sei k = n/2 if n = 1 then return a b Schreibe a als a 1 B k + a 0 Schreibe b als b 1 B k + b 0 c 11 := recmult(a 1,b 1 ) c 00 := recmult(a 0,b 0 ) return c 11 B 2k + (recmult((a 1 + a 0 ),(b 1 + b 0 )) c 11 c 00 )B k +c 00 KIT Institut für Theoretische Informatik 29

30 Beispiel = ((10 + 1) ( ) ) = KIT Institut für Theoretische Informatik 30

31 Analyse T (n) (Master-Theorem) { 1 if n = 1, T (n) = Θ (n ) log 2 3 Θ ( n 1.58) 3 T ( n/2 ) + 10 n if n 2. KIT Institut für Theoretische Informatik 31

32 Algorithm Engineering was hat das mit der Praxis zu tun? design analyze Algorithmics implement experiment KIT Institut für Theoretische Informatik 32

33 Algorithmentheorie (Karikatur) models design Theory Practice analysis perf. guarantees deduction implementation applications KIT Institut für Theoretische Informatik 33

34 Algorithmik als Algorithm Engineering Algorithm Engineering Analyse Deduktion Leistungs garantien realistische Modelle 1 Entwurf 2 falsifizierbare 3 Hypothesen 5 Induktion 4 Implementierung Algorithmen bibliotheken 6 reale Eingaben Experimente 7 Anwendungen KIT Institut für Theoretische Informatik 34