A6.1 Logarithmus. Algorithmen und Datenstrukturen. Algorithmen und Datenstrukturen. A6.1 Logarithmus. A6.2 Landau-Notation. A6.

Transkript

1 Algorithmen und Datenstrukturen 8. März 2018 A6. Laufzeitanalyse: Logarithmus and Landau-Symbole Algorithmen und Datenstrukturen A6. Laufzeitanalyse: Logarithmus and Landau-Symbole Marcel Lüthi and Gabriele Röger Universität Basel 8. März 2018 A6.1 Logarithmus A6.2 Landau-Notation A6.3 Anwendung A6.4 Zusammenfassung M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 Inhalt dieser Veranstaltung Sortieren Komplexitätsanalyse Fundamentale Datenstrukturen A6.1 Logarithmus A&D Suchen Graphen Strings Weiterführende Themen M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31

2 Logarithmus Logarithmus: Illustration In der Analyse von Mergesort haben wir eine Logarithmusfunktion verwendet. Dies ist bei der Analyse von Laufzeiten oft der Fall. Der Logarithmus zur Basis b ist invers zur Exponentialfunktion mit Basis b, also log b x = y gdw. b y = x. Beispiele: log 2 8 = 3, da 2 3 = 8 Beispiele: log 3 81 = 4, da 3 4 = 81 log b a intuitiv (wenn das glatt aufgeht): Wie oft muss man a durch b teilen bis man bei 1 ist? M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 Rechenregeln Logarithmus Logarithmus: Beispielrechnung Die Rechenregeln ergeben sich direkt aus den Regeln (a x ) y = a xy = (a y ) x und a x a y = a x+y : Produktregel Potenzrechnung Basisumrechnung Summenregel log b (xy) = log b x + log b y log b (x r ) = r log b x log b x = log a x/ log a b log b (x + y) = log b x + log b (1 + y/x) Bei der Algorithmenanalyse begegnet man öfters Ausdrücken der Form a log b x. Wie bekommt man da den Logarithmus aus dem Exponenten? Beispiel: 5 log 2 x Wir verwenden 5 = 2 log log 2 x = (2 log 2 5 ) log 2 x = 2 log 2 5 log 2 x = 2 log 2 x log 2 5 = (2 log 2 x ) log 2 5 = x log 2 5 x 2.32 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31

3 Ergebnis für Mergesort A6.2 Landau-Notation Die Laufzeit von Mergesort wächst genauso schnell wie n log 2 n. Theorem Mergesort hat leicht überlineare Laufzeit, d.h. es gibt Konstanten c, c, n 0 > 0, so dass für alle n n 0 : cn log 2 n T (n) c n log 2 n. Wir haben Terme niedrigerer Ordnung (Konstanten und n) in der Abschätzung ignoriert bzw. verschwinden lassen. Wir haben uns nicht für die genauen Werte der Konstanten interessiert, es reicht, wenn irgendwelche passenden Konstanten existieren. Die Laufzeit für kleine n ist nicht so wichtig. M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 Mehr bisherige Ergebnisse Edmund Landau Theorem Der Merge-Schritt hat lineare Laufzeit, d.h. es gibt Konstanten c, c, n 0 > 0, so dass für alle n n 0 : cn T (n) c n. Theorem Mergesort hat leicht überlineare Laufzeit, d.h. es gibt Konstanten c, c, n 0 > 0, so dass für alle n n 0 : cn log 2 n T (n) c n log 2 n. Theorem Selectionsort hat quadratische Laufzeit, d.h. es gibt Konstanten c > 0, c > 0, n 0 > 0, so dass für n n 0 : cn 2 T (n) c n 2. Können wir das nicht irgendwie kompakter aufschreiben? Edmund Landau deutscher Mathematiker ( ) analytische Zahlentheorie kein Freund angewandter Mathematik International: Bachmann Landau-Notation auch nach Paul Gustav Heinrich Bachmann (deutscher Mathematiker) M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31

4 Landau-Symbol Theta Landau-Symbol Theta: Illustration f Θ(g) Definition Für eine Funktion g : N R ist Θ(g) die Menge aller Funktionen f : N R, die genauso schnell wachsen wie g: Θ(g) = {f c > 0 c > 0 n 0 > 0 n n 0 : c g(n) f (n) c g(n)} Die Laufzeit von Mergesort ist in Θ(n log 2 n). oder auch Die Laufzeit von Mergesort ist Θ(n log 2 n). M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 Mehr Landau-Symbole Seltener benötigte Landau-Symbole f wächst nicht wesentlich schneller als g O(g) = {f c > 0 n 0 > 0 n n 0 : f (n) c g(n)} O für Ordnung der Funktion f wächst nicht wesentlich langsamer als g Ω(g) = {f c > 0 n 0 > 0 n n 0 : c g(n) f (n)} Es gilt Θ(g) = O(g) Ω(g). Es gilt f Ω(g) gdw. g O(f ). In der Informatik interessieren wir uns oft nur für die Begrenzung des Laufzeitwachstums nach oben: O statt Θ f wächst langsamer als g o(g) = {f c > 0 n 0 > 0 n n 0 : f (n) c g(n)} f wächst schneller als g ω(g) = {f c > 0 n 0 > 0 n n 0 : c g(n) f (n)} Aussprache: ω: kleines Omega Aussprache: Θ: Theta, Ω: Omega, O: Oh M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31

5 Interessante Funktionsklassen Beispiele Θ In aufsteigender Ordnung (abgesehen von allgemeinen n k ): g Wachstum 1 konstant log n logarithmisch n linear n log n leicht überlinear n 2 quadratisch n 3 kubisch n k polynomiell (Konstante k) 2 n exponentiell Bei der Analyse interessiert nur der Term höchster Ordnung (= am schnellsten wachsender Summand) einer Funktion. Beispiele f 1 (n) = 5n 2 + 3n 9 Θ(n 2 ) f2 (n) = 3n log 2 n + 2n 2 Θ(n 2 ) f3 (n) = 9n log 2 n + n + 17 Θ(n log n) f4 (n) = 8 Θ(1) M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 Beispiele Gross-O Zusammenhänge Bei der Analyse interessiert nur der Term höchster Ordnung (= am schnellsten wachsender Summand) einer Funktion. Beispiele f1 (n) = 8n 2 3n 9 O(n 2 ) f2 (n) = n 3 3n log 2 n O(n 3 ) f3 (n) = 3n log 2 n n O(n log n) Warum ist das so? Es gilt: O(1) O(log n) O(n) O(n log n) O(n k ) O(2 n ) (für k 2) O(n k 1 ) O(n k 2 ) für k 1 < k 2 z.b. O(n 2 ) O(n 3 ) M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31

6 Rechenregeln Grund für Beschränkung auf Term höchster Ordnung Beispiel: 5n 3 + 2n O(n 3 ) Produkt f 1 O(g 1 ) und f 2 O(g 2 ) f 1 f 2 O(g 1 g 2 ) Summe f 1 O(g 1 ) und f 2 O(g 2 ) f 1 + f 2 O(g 1 + g 2 ) Multiplikation mit Konstante k > 0 und f O(g) kf O(g) k > 0 O(kg) = O(g) Wegen Regel bzgl. Multiplikation mit Konstante: 5n 3 O(n 3 ) 2n O(n) Wegen O(n) O(n 3 ) und 2n O(n): 2n O(n 3 ) Wegen Summenregel: 5n 3 + 2n O(n 3 + n 3 ) Mit Multiplikation mit Konstante (bei Klasse): 5n 3 + 2n O(n 3 ) M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 Schnelle O-Analyse für häufige Code-Konstrukte I A6.3 Anwendung konstante Operation var = 4 O(1) Sequenz konstanter Operationen var1 = 4 O(1) var2 = 4 O(1)... var123 = 4 O(1) O(123 1) = O(1) M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31

7 Schnelle O-Analyse für häufige Code-Konstrukte II Schnelle O-Analyse für häufige Code-Konstrukte III Schleife for i in range(n): O(n) O(n 1) = O(n) res += i * m O(1) for i in range(n): O(n) O(n) for j in range(i): O(n) O(n O(n) 2 ) res += i * (m - j) O(1) i hängt von n ab if-then-else if var < bound: O(1) O(1) res += var O(1) O(1) else: for i in range(n): O(n) O(n 1) res += i * n O(1) = O(n) Achtung: Kann zu unnötig hoher Abschätzung führen, Achtung: wenn teurer Fall nur für kleine n auftritt Achtung: (durch Konstante begrenzt). O(1 + max{1, n}) = O(n) M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 Beispiel: Worst Case für Insertionsort Beispiel: Best Case für Insertionsort 1 def insertion_sort(array): 2 n = len(array) 3 for i in range(1, n): 4 for j in range(i, 0, -1): 5 if array[j] < array[j-1]: 6 tmp = array[j] 7 array[j] = array[j-1] 8 array[j-1] = tmp 9 else: 10 break 1 def insertion_sort(array): 2 n = len(array) 3 for i in range(1, n): 4 for j in range(i, 0, -1): 5 if array[j] < array[j-1]: 6 tmp = array[j] 7 array[j] = array[j-1] 8 array[j-1] = tmp 9 else: 10 break Worst case: break-fall tritt nie ein. O(1 + n n 1) = O(n 2 ) Überschätzt? Nein, beide Schleifen haben jeweils Ω(n) Durchläufe. Best case: break jeweils direkt bei j = i O(1 + n 1 1) = O(n) Überschätzt? Nein, die äussere Schleifen hat Ω(n) Durchläufe. M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31

8 Analyse Insertionsort mit Kostenmodell A6. Laufzeitanalyse: Logarithmus and Landau-Symbole Zusammenfassung 1 def insertion_sort(array): 2 n = len(array) 3 for i in range(1, n): 4 for j in range(i, 0, -1): 5 if array[j] < array[j-1]: 6 tmp = array[j] 7 array[j] = array[j-1] 8 array[j-1] = tmp 9 else: 10 break A6.4 Zusammenfassung Best case: n 1 Schlüsselvergleiche, 0 Vertauschungen Worst case: n 1 k=1 k Θ(n) Schlüsselvergleiche und Vertauschungen M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31 A6. Laufzeitanalyse: Logarithmus and Landau-Symbole Zusammenfassung Zusammenfassung Die Logarithmusfunktion ist die Umkehrfunktion der Exponentalfunktion. Mit Landau-Symbolen definiert man Klassen von Funktionen, die nicht schneller/nicht langsamer/... wachsen als eine Funktion g. O(g): Wachstum nicht schneller als g Θ(g): Wachstum im Wesentlichen wie g Insertionsort hat im besten Fall Laufzeit Θ(n) im schlechtesten Fall Laufzeit Θ(n 2 ) M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 8. März / 31