1 for ( int index = 0; index < n; index ++) { 3 if ( E[ index1 ] == K) { x++ }

Transkript

1 Organisatorisches VL-02: Asymptotische Effizienz (Datenstrukturen und Algorithmen, SS 2017) Gerhard Woeginger Vorlesung: Gerhard Woeginger (Zimmer 4024 im E1) Sprechstunde: Mittwoch 11:15 12:00 Übungen: Tim Hartmann, David Korzeniewski, Björn Tauer Webseite: Nächste Vorlesung: Dienstag, April 25, 16:15 17:45 Uhr, Aula 1 RWTH Aachen DSAL/SS 2017 VL-02: Asymptotische Effizienz 1/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 2/1 Wiederholung: Laufzeit von Algorithmen Asymptotische Betrachtung (1) Zur Erinnerung: Die Laufzeit eines Algorithmus ist keine Zahl, sondern eine Funktion. Sie gibt die Laufzeit des Algorithmus für jede Eingabelänge an. Worst-Case Laufzeit Die Worst-Case Laufzeit W (n) für Eingabelänge n ist die längste Laufzeit über alle Eingaben mit Länge n. Die exakte Bestimmung der Funktionen A(n), B(n) und W (n) ist üblicherweise sehr schwierig. Ausserdem ist sie von zweifelhaftem Nutzen für Vergleiche: Ist etwa W (n) = 3063n besser als W (n) = 1 2 n2? Ausserdem wollen wir maschinenabhängige Konstanten (z.b. Rechnergeschwindigkeit), Initialisierungsaufwand, etc. ausklammern. Best-Case Laufzeit Die Best-Case Laufzeit B(n) für Eingabelänge n ist die kürzeste Laufzeit über alle Eingaben mit Länge n. Daher: Keine exakte sondern asymptotische Betrachtung. DSAL/SS 2017 VL-02: Asymptotische Effizienz 3/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 4/1

2 Asymptotische Betrachtung (2) Asymptotische Betrachtung (3) Wir betrachten Wachstum der Laufzeit für n. Kurze Eingaben und konstante Faktoren werden vernachlässigt. Anschaulich: Wir lassen Terme niedriger Ordnung weg : W (n) = 3n 4 + 5n n n + 10 O(n 4 ) (d.h: n 4 ist der dominierende Term für n ) Derart erhalten wir untere/obere Schranken für A(n), B(n), W (n) Mathematische Zutat: Asymptotische Ordnung von Funktionen. 1 for ( int index = 0; index < n; index ++) { 2 if ( E[ index ] == K) { x++ } 3 if (E[ index ] == L) { y-- } 4 right = right - 1; 5 left = left + 1; 6 } 1 for ( int index1 = 0; index1 < n; index1 ++) { 2 for ( int index2 = 0; index2 < n; index2 ++) { 3 if ( E[ index1 ] == K) { x++ } 4 if (E[ index2 ] == L) { y-- } 5 right = right - 1; 6 left = left + 1; 7 } 8 } DSAL/SS 2017 VL-02: Asymptotische Effizienz 5/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 6/1 Grenzwerte (1) Grenzwerte (2) Limes inferior und Limes superior Sei (x i ) i N die Folge x 1, x 2,.... Dann: ( 1 lim inf x n = lim inf 2 lim sup x n = lim Einige Fakten 1 Existieren lim inf m n x m ) ( ) sup x m m n x n und lim sup 2 Existiert lim x n dann: lim inf x n x n : lim inf x n = lim sup lim sup x n. x n = lim x n. Regel von de L Hôspital Es seien f, g : N R differenzierbare Funktionen mit lim f (n) = lim =. Dann gilt: lim f (n) = lim g (n) f (n). DSAL/SS 2017 VL-02: Asymptotische Effizienz 7/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 8/1

3 Die Klasse Gross-O (1) Die Klasse Gross-O (2) Es seien f und g Funktionen von N (Eingabelänge) nach R 0 (Laufzeit) und c > 0. O(f ) ist die Menge von Funktionen, die nicht schneller als f wachsen: g O(f ) heisst: c f (n) ist obere Schranke für. Diese Eigenschaft gilt ab einer Konstanten n 0 ; Werte unter n 0 werden vernachlässigt. Laufzeit O c f (n) Gross-O liefert eine obere Schranke für die Komplexität einer Funktion. Kleinste obere Schranken sind von grossem Nutzen! g O(n 2 ) sagt mehr als g O(n 3 ). Definition (Die Klasse Gross-O) g O(f ) gdw. c > 0, n 0 mit n n 0 : 0 c f (n). Definition (alternativ) g O(f ) gdw. lim sup f (n) = c 0 mit c. n 0 Eingabelänge n Es seien f, g : N R zwei Funktionen. Es sei nur endlich oft f (n) = 0. Dann existiert lim sup f (n) gdw. c > 0, n 0. n n 0 : c f (n). DSAL/SS 2017 VL-02: Asymptotische Effizienz 9/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 10/1 Die Klasse Gross-O (3a) Die Klasse Gross-O (3b) Es seien f, g : N R zwei Funktionen. Es sei nur endlich oft f (n) = 0. Dann existiert lim sup f (n) gdw. c > 0, n 0. n n 0 : c f (n). Beweis. = : Sei lim sup f (n) = c <. Für ε > 0 folgt c + ε f (n) und f (n) 0 bis auf endlich viele Ausnahmen. Ab einem n 0 N gilt für alle n n 0 daher: c + ε f (n) ; und damit: (c + ε) f (n). Es seien f, g : N R zwei Funktionen. Es sei nur endlich oft f (n) = 0. Dann existiert lim sup f (n) gdw. c > 0, n 0. n n 0 : c f (n). Beweis. = : Gegeben seien nun n 0, c > 0, sodass n n 0 : c f (n). Ab einem n 0 n 0 gilt (wie oben) ausserdem f (n) 0 für alle n n 0. Damit ist n n 0 : 0 f (n) c. Die Folge a n = f (n) ist in [0, c], also beschränkt. Dann existiert lim sup a n <. DSAL/SS 2017 VL-02: Asymptotische Effizienz 11/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 12/1

4 Die Klasse Gross-O (4) Die Klasse Gross-O (5) Definition (Die Klasse Gross-O) g O(f ) gdw. c > 0, n 0 mit n n 0 : 0 c f (n). Definition (alternativ) g O(f ) gdw. lim sup f (n) = c 0 mit c. Betrachte = 3n n + 6. Dann ist: g O(n), da lim sup /n =. g O(n 2 ), da 20n 2 für n 1. g O(n 3 ), da 1 10 n3 für n hinreichend gross. Es seien f, g : N R 0 zwei Funktionen und es sei c > 0 eine reelle Konstante. Dann gilt: 1 O(cf (n)) = O(f (n)) 2 O(f (n)) + O() = O(f (n) + ) 3 O(f (n)) + O() = O(max{f (n), }) 4 O(f (n))o() = O(f (n)) 5 n k=1 O(f (k)) O(nf (n)) 6 f (O(1)) = O(1) falls f (n) monoton steigt DSAL/SS 2017 VL-02: Asymptotische Effizienz 13/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 14/1 Die Klasse Gross-Omega (1) Ω(f ) ist die Menge von Funktionen, die nicht langsamer als f wachsen. g Ω(f ) heisst: c f (n) ist untere Schranke für. Diese Eigenschaft gilt ab einer Konstanten n 0 ; Werte unter n 0 werden vernachlässigt. Die Klasse Gross-Omega (2) Gross-Omega liefert untere Schranke für Komplexität einer Funktion. Grösste untere Schranken sind von grossem Nutzen! g Ω(n 2 ) sagt mehr als g Ω(n). Definition (Die Klasse Gross-Omega) g Ω(f ) gdw. c > 0, n 0 mit n n 0 : c f (n). Laufzeit Ω n 0 c f (n) Eingabelänge n Definition (alternativ) g Ω(f ) gdw. lim inf f (n) > 0. Betrachte = 3n n + 6. Dann ist: g Ω(n), da lim inf /n = > 0. g Ω(n 2 ), da lim inf /n 2 = 3 > 0. g Ω(n 3 ), da 5n 3 für n 2. DSAL/SS 2017 VL-02: Asymptotische Effizienz 15/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 16/1

5 Die Klasse Gross-Theta (1) Die Klasse Gross-Theta (2) Θ(f ) ist die Menge von Funktionen, die genauso schnell wie f wachsen. g Θ(f ) heisst: c 2 f (n) ist obere Schranke und c 1 f (n) ist untere Schranke für. Diese Eigenschaft gilt ab einer Konstanten n 0 ; Werte unter n 0 werden vernachlässigt. Laufzeit Θ c 2 f (n) c 1 f (n) Die Klasse Gross-Theta liefert eine obere und untere Schranke für die Komplexität einer Funktion. Definition (Die Klasse Gross-Theta) g Θ(f ) gdw. c 1, c 2 > 0, n 0 mit n n 0 : c 1 f (n) c 2 f (n). Lemma g Θ(f ) wenn lim f (n) = c für ein 0 < c <. n 0 Eingabelänge n DSAL/SS 2017 VL-02: Asymptotische Effizienz 17/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 18/1 Die Klasse Gross-Theta (3) Die Klasse Gross-Theta (4) Beziehung zwischen den Klassen O, Ω und Θ g Θ(f ) gdw. g O(f ) und g Ω(f ). Definition (Die Klasse Gross-Theta) g Θ(f ) gdw. c 1, c 2 > 0, n 0 mit n n 0 : c 1 f (n) c 2 f (n). Lemma O(f ) Θ(f ) Ω(f ) g Θ(f ) wenn lim f (n) = c für ein 0 < c <. Funktionen, die nicht schneller als f wachsen. Funktionen, die genauso schnell wie f wachsen. Funktionen, die nicht langsamer als f wachsen. Betrachte = 3n n + 6. Dann ist: g Θ(n), da zwar g Ω(n), aber g O(n). g Θ(n 2 ), da lim /n 2 = 3. g Θ(n 3 ), da zwar g O(n 3 ), aber g Ω(n 3 ). DSAL/SS 2017 VL-02: Asymptotische Effizienz 19/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 20/1

6 : Fibonacci-Zahlen Einige elementare Eigenschaften Wachstum einer Kaninchenpopulation Zu Beginn gibt es ein Paar geschlechtsreifer Kaninchen. Jedes neugeborene Paar wird im zweiten Lebensmonat geschlechtsreif. Jedes geschlechtsreife Paar wirft pro Monat ein weiteres Paar. Sie sterben nie und hören niemals auf. Fib(0) = 0 und Fib(1) = 1 Fib(n+2) = Fib(n+1) + Fib(n) für n 0. n Fib(n) Beobachtung Fib(n) O(2 n ) und Fib(n) Ω ( ) 2 n 2 Reflexivität f O(f ), f Ω(f ), f Θ(f ). Transitivität Aus f O(g) und g O(h) folgt f O(h). Aus f Ω(g) und g Ω(h) folgt f Ω(h). Aus f Θ(g) und g Θ(h) folgt f Θ(h). Symmetrie von Θ f Θ(g) gdw. g Θ(f ). Beziehung zwischen O und Ω f O(g) gdw. g Ω(f ). DSAL/SS 2017 VL-02: Asymptotische Effizienz 21/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 22/1 Aufgabe Mehr Aufgaben Die folgenden 3 Aussagen sind für a, b > 1 gültig: log a n Θ(log b n), log b n Θ(log a n), O(log a n) = O(log b n). Beweis. Wir beweisen nur die dritte Aussage. Zu zeigen: c 1, c 2 > 0, so dass log a n c 1 log b n }{{} log a n O(log b n) und log b n c 2 log a n. }{{} log b n O(log a n) Dann: log a n c 1 log b n log a n c 1 log a n log a b log a b c 1 Wähle c 1 log a b. Analog erhalten wir log b a c 2 ; dann wähle c 2 log b a. Es seien α, β > 0 reelle Zahlen. Wahr oder falsch? (ln n) α O(n β ) (ln n) α o(n β ) α ln n O(n ln α ) n n O(n!) log(n!) Ω(n log n) DSAL/SS 2017 VL-02: Asymptotische Effizienz 23/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 24/1

7 Die Klassen Klein-O, Klein-Omega o(f ) ist die Menge von Funktionen, die echt langsamer als f wachsen: Definition g o(f ) gdw. c > 0, n 0 mit n n 0 : 0 < c f (n). ω(f ) ist die Menge von Funktionen, die echt schneller als f wachsen: Definition g ω(f ) gdw. c > 0, n 0 mit n n 0 : c f (n) <. Beziehung zwischen o und ω f o(g) gdw. g ω(f ). Unter der versteht man den Bedarf an Speicherplatz eines Algorithmus, in Abhängigkeit von der Länge der Eingabe. Nicht nur Zeitkomplexität, sondern auch Speicherbedarf ist wichtig! Dilemma: Eine Reduktion der Zeitkomplexität führt oft zur Erhöhung der, und vice versa. Dies werden wir später in der DSAL Vorlesung noch öfters feststellen. DSAL/SS 2017 VL-02: Asymptotische Effizienz 25/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 26/1 : von Liedern [Donald Knuth, 1984] Refrains (1) Betrachte ein Lied mit n Wörtern (also: Eingabelänge n). Was ist die S(n) um ein Lied der Länge n zu singen? Refrain Die Wiederkehr von textlich/musikalisch (überwiegend) identischen Zeilen am Ende einer Strophe oder zwischen den Strophen. Obere und untere Schranken S(n) O(n), da höchstens n verschiedene Wörter gespeichert werden müssen. S(n) Ω(1), da wir mindestens ein Bit Information über das Lied haben müssen, um es singen zu können. Kann man die durch Refrains reduzieren? So bye-bye, Miss American Pie Drove my Chevy to the levee but the levee was dry And them good old boys were drinking whiskey and rye Singing his will be the day that I die This will be the day that I die [Don McLean] DSAL/SS 2017 VL-02: Asymptotische Effizienz 27/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 28/1

8 Refrains (2) Die k Weihnachtstage Donald Knuth, 1984 Our ancient ancestors invented the concept of refrain to reduce the space complexity of songs, which becomes crucial when a large number of songs is to be committed to one s memory. Let S be a song containing m verses of length V and a refrain of length R, where the refrain is to be sung first, last, and between adjacent verses. Then, the space complexity of this song is (V /(V + R))n + O(1) for fixed V and R as m. Die verringert sich von n auf c n mit c < 1. Asymptotisch gesehen bringt das keine Verbesserung: S(n) O(n) Reduktion der Reduziere S(n) durch eine sich leicht ändernde Liedstruktur, etwa: On the kth day of Xmas, my true love gave to me gift k, gift k 1,..., gift 1 On the (k 1)st day of Xmas, my true love gave to me gift k 1,..., gift 1 On the first day of Xmas, my true love gave to me a bottle of wine Bekanntere Variante: Old MacDonald had a farm. Die benötigte Zeit, um das Lied zu singen ist: n = k ( ) k + 1 i = k Θ(k 2 ) 2 i=1 Da n Θ(k 2 ) folgt k O( n), also S(n) O( n). DSAL/SS 2017 VL-02: Asymptotische Effizienz 29/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 30/1 100 Bierflaschen Untere Schranken? Eine weitere Vereinfachung Ein Lied für lange Autofahrten: n bottles of beer on the wall, n bottles of beer You take one down and pass it around n 1 bottles of beer on the ball [Andy Kaufman] S(n) O(log n), da nur der Wert von n von Bedeutung ist. Dafür reichen log n Bits aus. Ein Lied mit S(n) Θ(1) That s the way, uh-huh, uh-huh I like it, uh-huh, huh [KC & the Sunshine Band, 1977] Und ganz zum Schluss When the Mayflower voyagers first descended on these shores, the native Americans at first welcomed the strangers with complete silence. [Kurt Eisemann, 1985] DSAL/SS 2017 VL-02: Asymptotische Effizienz 31/1 DSAL/SS 2017 VL-02: Asymptotische Effizienz 32/1

9 Organisatorisches Nächste Vorlesungen: Dienstag, April 25, 16:15 17:45 Uhr, Aula 1 Donnerstag, April 27, 10:15 11:45 Uhr, Aula 1 Globalübung Freitag, April 28, 10:15 11:45 Uhr, Grosser Hörsaal Audimax Webseite: DSAL/SS 2017 VL-02: Asymptotische Effizienz 33/1