Asymptotische Notationen

Transkript

1 Foliesatz 2 Michael Brikmeier Techische Uiversität Ilmeau Istitut für Theoretische Iformatik Sommersemester 29 TU Ilmeau Seite 1 / 42 Asymptotische Notatioe TU Ilmeau Seite 2 / 42

2 Zielsetzug Igoriere vo kostate Faktore Damit wird die Abhägigkeit vo Programmiersprache, Prozessortyp, Rechemodel usw. uterdrückt. Asymptotische Sichtweise d.h. Igoriere vo Werte für kleie. Empirische Tatsache: Das Verhalte für große Eigabegröße ist meist scho bei ormale Eigabegröße etscheided. Damit sid wir ur och a Größeklasse bzw. Größeorduge vo Fuktioe iteressiert. TU Ilmeau Seite 3 / 42 Eiige Notatioe Notatioe N = {, 1, 2, 3,... } (Nach DIN-5473 ethält N die ) N + = { N > } = {1, 2, 3,... } R + = {x R x } R + = {x R x > } Für zwei Mege X ud Y sei X Y die Mege der Abbilduge vo Y ach X, z.b. R + N = { f f : N R + } Für eie Mege X ist 2 X die Potezmege vo X, d.h. die Mege aller Teilmege vo X 2 X := {U U X } TU Ilmeau Seite 4 / 42

3 Die O-Notatio Defiitio (O(f )) Für eie beliebiges f R + N sei O(f ) die folgede Teilmege vo R + N : { O(f ) := g R + N N C > : g() C f ()} Aders formuliert: g O(f ), falls für geüged große eie Kostate C > existiert, so dass g() icht größer als C f () ist. Wichtig!: Die Kostate hägt icht vo ab! Falls g O(f ), sage wird g ist vo der Ordug f. Oder auch: g wächst asymptotisch ud uter Verachlässigug kostater Faktore höchstes so schell wie f. TU Ilmeau Seite 5 / 42 Die O-Notatio TU Ilmeau Seite 6 / 42

4 Die O-Notatio Beispiele C O(1) für jede Kostate C >. g() = für alle 3 ud somit g O(). g() = für alle 2 ud somit g O( 3 ). g() = si() 5 für alle ud somit g O(1). g() = { 2 2 gerade ugerade 2 für alle ud somit g O(). 3 O( 2 ), de es gilt 3 C 2 C. D.h. für jede Wahl vo ud C würde > max{, C} die Bedigug 3 C 2 verletze. TU Ilmeau Seite 7 / 42 Schreib- ud Sprechweise g() = O(f ()) ist ei Ersatz für g O(f ). Wichtig: I diesem Kotext ist das = icht symmetrisch! g() ist O(f ()) ist eie Sprechweise Die Ituitio hiter diese Schreib- ud Sprechweise ist, dass O(f ()) für ei beliebiges Elemet aus O(f ) steht. Beispiel Die Rechezeit des Algorithmus Straight Isertio Sort über eier Eigabe x = (a 1,..., a ) der Läge ist O( 2 ). TU Ilmeau Seite 8 / 42

5 Noch mehr Beispiele = O() = O( 2 ) = O( 2 ) = O(2 ) 4 2 log + 2(log ) 3 = O( 2 log ), de für 2 gilt (log ) si() = O(1) TU Ilmeau Seite 9 / 42 Kovetio Ierhalb der O(... )-Termes solle ur möglichst kleie ud eifache Fuktioe verwedet werde. Gute Beispiele: 17 2 /(log) /2 = O( 2 /(log) 3 ) ist klei 17 2 /(log) = O( 2 ) ist eifach Schlechte Beispiele: = O(3 2 ) ethält uötige kostate Faktore = O( 1 ) ist eie viel zu große Schrake. TU Ilmeau Seite 1 / 42

6 Eie Hierarchie vo Fuktioe O(3 ) O(e ) O(2 ) O( 3 ) O( 2 ) Übugsaufgabe! O((log ) 2 ) O( log ) O log O() O( ) O(log ) TU Ilmeau Seite 11 / 42 Eie Hierarchie vo Fuktioe 1 log (x) TU Ilmeau Seite 12 / 42

7 Eie Hierarchie vo Fuktioe log (x) log TU Ilmeau Seite 13 / 42 Eie Hierarchie vo Fuktioe 1 8 log (x) log TU Ilmeau Seite 14 / 42

8 Eie Hierarchie vo Fuktioe log (x) log log TU Ilmeau Seite 15 / 42 Eie Hierarchie vo Fuktioe log (x) log log (log ) TU Ilmeau Seite 16 / 42

9 Eie Hierarchie vo Fuktioe log (x) log log (log ) TU Ilmeau Seite 17 / 42 Eie Hierarchie vo Fuktioe 1e log (x) log log (log ) TU Ilmeau Seite 18 / 42

10 Eie Hierarchie vo Fuktioe 1.4e+3 1.2e+3 1e+3 8e+29 log (x) log log (log ) x 6e+29 4e+29 2e TU Ilmeau Seite 19 / 42 Eie Hierarchie vo Fuktioe 3e e+43 2e e+43 log (x) log log (log ) x e 1e+43 5e TU Ilmeau Seite 2 / 42

11 Eie Hierarchie vo Fuktioe 6e+47 5e+47 4e+47 3e+47 log (x) log log (log ) x e 3 x 2e+47 1e TU Ilmeau Seite 21 / 42 Wachstumsorduge ud Rechezeite t A () log 33s 66s.1µs.1µs.2µs.2µs.2µs.3µs 32s.1µs.3µs 1µs 3.1µs 1µs 31µs.1ms 1s 1µs 1µs.1ms 1ms 1ms.1s 1s log.3µs 6.6µs.1ms 1.3ms 16ms.2s 2.3s 27s 3/2.3µs 1µs.3ms 1ms.3s 1s 5.2m 2.7h 2 1µs.1ms 1ms 1s 1.7m 2.8h 11d 3.2y 3 1µs 1ms 1s 2.8h 115d 317y y s.1ms y 2 1µs y! 36ms y 1.7m y 1 Elemetaroperatio beötigt 1 s Zum Vergleich: Die geschätzte Zeit seit dem Urkall: Jahre. TU Ilmeau Seite 22 / 42

12 Die Kostate ud schellere Recher Frage Wie wächst die maximal behadelbare Eigabegröße, we der Recher um de Faktor 1 scheller wird? t A () Max alt Max NEU log log log 1 log +log 1 3/ k 1 1/k c + log c 1! um vo auf + 1 zu komme, braucht ma eie um de Faktor schellere Recher TU Ilmeau Seite 23 / 42 Die Kostate ud schellere Recher I viele Aweduge wächst icht zu letzt wege der wachsede Speicherkapazitäte die Mege der zu verarbeitede Date deutlich scheller, als die Recherleistug. Beispiele: 1 Idizes der Iteret-Suchmaschie. 2 Routeplaer, Fahrpla-, Ticketsysteme der Bah. 3 Computergraphik (Szee aus Milliarde vo Elemete!) Auf Grud dieses Ugleichgewichtes ist die Effiziez der beutzte Algorithme wichtiger als je zuvor! TU Ilmeau Seite 24 / 42

13 Die Laufzeit vo Straight Isertio Sort Die Azahl der Elemetaroperatioe vo Stright Isertio Sort (SIS) auf Elemete ergab sich im schlechteste Fall als ud im beste Fall als Satz (Laufzeit vo SIS) Es gilt T SIS () = O( 2 ) ud T SIS,best () = O(). TU Ilmeau Seite 25 / 42 Eie asymptotische utere Schrake Defiitio (Ω(f )) Für eie beliebiges f R + N sei Ω(f ) (Groß-Omega vo f ) die folgede Teilmege vo R + N : Ω(f ) := { g R + N N D > : g() D f ()} Sprechweise g Ω(f ) g() ist asymptotisch ud bis auf eie kostate Faktor durch f ach ute beschräkt. TU Ilmeau Seite 26 / 42

14 Eie asymptotische utere Schrake TU Ilmeau Seite 27 / 42 Beispiele.3 log 2 = Ω( log ) de für log 1 gilt.3 log 2.1 log = Ω( 2 ) de für gilt log = Ω( 1 ) de 1 log 1 für 2. T SIS = Ω( 2 ) ud T SIS,best = Ω() TU Ilmeau Seite 28 / 42

15 Asymptotische Gleichheit Defiitio (Θ(f )) Für eie beliebiges f R + N sei Θ(f ) (Theta vo f ) die folgede Teilmege vo R + N : Θ(f ) := O(f ) Ω(f ) = { g R + N N C, D > : C f () g() D f ()} Sprechweise g Θ(f ) g() ist asymptotisch ud bis auf kostate Faktore vo derselbe Größeordug wie f. TU Ilmeau Seite 29 / 42 Asymptotische Gleichheit TU Ilmeau Seite 3 / 42

16 Beispiele.3 log 2 = Θ( log ) de für log 1 gilt.3 log 2.1 log = Θ( 2 ) de für gilt log = Θ( 1 log ) de 1 log 1 für 2. T SIS = Θ( 2 ) ud T SIS,best = Θ() TU Ilmeau Seite 31 / 42 Eie striktere asymptotische obere Schrake Defiitio (o(f )) Für eie beliebiges f R + N sei o(f ) die folgede Teilmege vo R + N : { } o(f ) := g R + N g() lim f () = Sprechweise g o(f ) g() wächst asymptotisch streg lagsamer als f (). Beispiele log = o() 2 log = o( 9/2 ) 1 = o(2 ) TU Ilmeau Seite 32 / 42

17 Eie striktere asymptotische utere Schrake Defiitio (ω(f )) Für eie beliebiges f R + N sei ω(f ) die folgede Teilmege vo R + N : { } ω(f ) := g R + N g() lim f () = Sprechweise g o(f ) g() wächst asymptotisch echt scheller als f (). TU Ilmeau Seite 33 / 42 Eie kurze Übersicht Ma ka eie Aalogie wische de asymptotische Notatioe ud de Größevergleiche reeller Zahle ziehe: Asymptotisch g O(f ) g Ω(f ) g Θ(f ) g o(f ) g ω(f ) Reelle Zahle g f g f g = f g < f g > f Im Gegesatz zu reelle Zahle muss aber icht jedes Paar vo Fuktioe bezüglich dieser Relatioe vergleichbar sei. Beispiel f () = 2 ud g() = { 3 falls gerade falls ugerade TU Ilmeau Seite 34 / 42

18 Recheregel Satz (Recheregel für O) Sei C > eie Kostate ud f, f 1, f 2, g, g 1, g 2, h RPZ N mit g O(f ) ud g i O(f i ) für i = 1, 2. Da gilt: 1 O(C f ) = O(f ) 2 g 1 + g 2 O(f 1 + f 2 ) 3 g 1 g 2 O(f 1 f 2 ) 4 O(f 1 + f 2 ) = O (max(f 1, f 2 )) 5 Falls g O(f ) ud f O(h), da gilt g O(h), bzw. g O(f ) O(g) O(f ). Die Aussage gelte auch für Ω(.), Θ(.) ud o(.). Beweis: Übugsaufgabe. TU Ilmeau Seite 35 / 42 Die Grezwertregel Lemma (Grezwertregel) Falls f () > für alle ud eie Kostate C existiert mit g() lim f () = C, da ist g O(f ). Ist C >, gilt sogar g Θ(f ). Beweis: Übugsaufgabe Korollar Beweis. g o(f ) g O(f ) g o(f ) ist geau da der Fall, we die Voraussetzug der Grezwertregel für C = erfüllt ist. TU Ilmeau Seite 36 / 42

19 Polyome Korollar Sei g ei Polyom der Form g() = a k k + a k 1 k a 1 + a mit a k, a k 1,..., a 1, a R ud a k >. Da gilt g Θ( k ). Beweis. g() lim k ( = lim a k + a k 1 Damit folgt die Behauptug aus der Grezwertregel. + + a 1 k 1 + a k ) = a k >. TU Ilmeau Seite 37 / 42 Terme kleier Ordug Lemma Gilt f () für ud g o(f ), ud ist h O(f + g), so ist h O(f ). Beweis Da h O(f + g) gilt, existiert ei C > ud ei 1, so dass h() C (f () + g()) für 1. g() Wege g o(f ) gilt weiterhi lim f () ε > ei 2 so dass für 2 = ud somit existiert für jedes g() f () ε g() ε f ().... TU Ilmeau Seite 38 / 42

20 Terme kleier Ordug Beweis (Fortsetzug) Damit ergibt sich für max{, 2, 2 } h() C (f () + g()) C (f () + εf ()) = C(1 + ε)f () ud somit h O(f ). Eie aaloge Aussage gilt für Ω(.), Θ(.) ud o(.). Fazit I Summe sid ur die domiierede Terme etscheided. TU Ilmeau Seite 39 / 42 O vo Summe variabler Läge Beispiel I eiem Algorithmus wird eie Schleife isgesamt -mal durchlaufe. Der i-te Durchlauf verursacht Koste vo O( 2 i ). Da die maximale Koste pro Rude O( 2 ) sid, ist O( ( 2 )) = O( 2 2 ) eie gültige asymptotische obere Schrake. Aber: = = O(2 ). Damit köte die Gesamtkoste uter Umstäde O( 2 ) sei. Problem: Die Zahl der Summade ist icht kostat, soder wächst mit. Damit greift die Additivität icht. TU Ilmeau Seite 4 / 42

21 O vo Summe variabler Läge Lemma (O vo Summe variabler Läge) Sei g : N N R + eie Abbildug. Ferer sei für jedes N eie Zahlefolge a1,...,a l() der Läge l() gegebe. Gibt es eie Kostate C > ud ei N, so dass für alle ud 1 i l() folgedes gilt: a i C g(, i). (Wir sage: a i ist uiform durch ei Vielfaches vo g(, i) beschräkt) Da gilt für jedes N: l() l() ai = O g(, i). i=1 Ma beachte, dass die Kostate C für alle Folgeglieder a i ud alle Folge gilt. Deshalb uiform. i=1 TU Ilmeau Seite 41 / 42