Algorithmen und Datenstrukturen Effizienz und Funktionenklassen

Transkript

1 Algorithmen und Datenstrukturen Effizienz und Funktionenklassen Matthias Teschner Graphische Datenverarbeitung Institut für Informatik Universität Freiburg SS 12

2 Lernziele der Vorlesung Algorithmen Sortieren, Suchen, Optimieren Datenstrukturen Repräsentation von Daten Listen, Stapel, Schlangen, Bäume Techniken zum Entwurf von Algorithmen Algorithmenmuster Greedy, Backtracking, Divide-and-Conquer Analyse von Algorithmen Korrektheit, Effizienz

3 Analyse von Algorithmen Korrektheit Ein korrekter Algorithmus stoppt (terminiert) für jede Eingabeinstanz mit der durch die Eingabe-Ausgabe-Relation definierten Ausgabe. Ein inkorrekter Algorithmus stoppt nicht oder stoppt mit einer nicht durch die Eingabe-Ausgabe-Relation vorgegebenen Ausgabe. Effizienz Bedarf an Speicherplatz und Rechenzeit Wachstum (Wachstumsgrad, Wachstumsrate) der Rechenzeit bei steigender Anzahl der Eingabe-Elemente (Laufzeitkomplexität)

4 Überblick Kontext Einführung Funktionenklasse Θ Definition, Illustration, Beispiele weitere Funktionenklassen Definition, Illustration, Beispiele Anwendung in der Laufzeitbeschreibung

5 Effizienz Bedeutung der Effizienz eines Algorithmus durch Begrenztheit von Ressourcen gegeben Sortieralgorithmus A benötigt Schritte für n Elemente Sortieralgorithmus B benötigt nlog 2 n Schritte für n Elemente Computer 1: 10 9 Schritte / s, Computer 2: 10 7 Schritte / s Eingabegröße: 10 6 Elemente Laufzeit: Algorithmus A Algorithmus B Computer 1 17 min 0.02 s Computer 2 2 d 8 h 2 s n 2

6 Effizienz Laufzeitkomplexität dominiert die benötigte Berechnungszeit für große Eingaben durch Hard- und Software bedingte Unterschiede weniger entscheidend Anmerkung: Speicherbedarf oder Kommunikationsbandbreite können auch bei der Effizienzanalyse relevant sein. Fokus auf Laufzeitkomplexität eines Algorithmus

7 Überblick Kontext Einführung Funktionenklasse Θ Definition, Illustration, Beispiele weitere Funktionenklassen Definition, Illustration, Beispiele Anwendung in der Laufzeitbeschreibung

8 Maschinenmodell Maschine mit wahlfreiem Speicherzugriff (RAM) mit einem Prozessor Speicherhierarchie wird vernachlässigt (z. B. Cache) kann Algorithmus als Programm ausführen Schritte eines Algorithmus sind zeitkonstante Anweisungen werden in konstanter Zeit ausgeführt Laufzeit unabhängig von der Eingabe Laufzeitunterschiede einzelner Schritte werden vernachlässigt. Addieren, Runden, Kopieren, bedingte Verzweigung, Aufruf eines Unterprogramms Sortieren ist kein Schritt (sinnvolle Definition von Schritten!)

9 Analyse der Laufzeiteffizienz Laufzeit hängt von der Komplexität der Eingabemenge ab oft die Anzahl der Elemente n Laufzeit wird oft durch eine Funktion der Anzahl der Eingabeelemente f (n) beschrieben Laufzeit von Algorithmus 1: Laufzeit von Algorithmus 2: f 1 (n)=n 7 5 +n+7 f 2 (n)=2n n+10 Wie vergleicht man die Effizienz der Algorithmen?

10 Analyse der Laufzeiteffizienz Zahl der Schritte (Laufzeit [s]) f2 (n)=2n n+10 Zahl der Schritte (Laufzeit [s]) f 1 (n)=n 7 5 +n+7 f 1 (n)=n 7 5 +n+7 f 2 (n)=2n n+10 Anzahl der Eingabeelemente n Anzahl der Eingabeelemente n entscheidend ist das Verhalten für große Eingaben

11 Wachstumsrate Üblicherweise interessiert nur der Term höchster Ordnung. Terme niedriger Ordnung werden ignoriert. Konstante Faktoren werden ignoriert. f 1 (n)=n 7 5 +n+7 f 2 (n)=2n n+10 n n 6 Wachstumsrate n 7 6 n 7 5 Algorithmus 2 ist effizienter als Algorithmus 1. asymptotisches Verhalten (Wie verhält sich die Funktion für Eingabegrößen gegen unendlich?)

12 Asymptotische Analyse Methode zur Einschätzung des Grenzverhaltens einer Funktion (bei uns Laufzeitverhalten für wachsende Eingabegrößen) Fokus auf den wesentlichen Trend des Grenzverhaltens ermöglicht die Einordnung von Funktionen in Funktionenklassen Beispielsweise können die Landau-Symbole Θ, Ο, Ω verwendet werden, um Klassen von Funktionen zu beschreiben. Funktionenklassen werden zur Beschreibung von Laufzeit bzw. Komplexität von Algorithmen verwendet (aymptotische Effizienz eines Algorithmus).

13 Überblick Kontext Einführung Funktionenklasse Θ Definition, Illustration, Beispiele weitere Funktionenklassen Definition, Illustration, Beispiele Anwendung in der Laufzeitbeschreibung

14 Landau-Symbol Θ f Θ(g): c 1 >0 c 2 >0 n 0 n>n 0 : c 1 g(n) f(n) c 2 g(n) f und g sind Funktionen, die Laufzeiten beschreiben: f, g: N R + f ist Element der Menge Theta von g, wenn zwei positive Konstanten c 1 und c 2 existieren, sodass der Funktionswert f(n) ab einem bestimmten n=n 0 immer zwischen c 1 g(n) und c 2 g(n) liegt. Wie sich f und g für n<n 0 verhalten, spielt keine Rolle. Anschaulich: f wächst genauso schnell wie g.

15 Illustration Zahl der Schritte (Laufzeit [s]) f Θ(g) c 2 g(n) f(n) c 1 g(n) n 0 n f und g haben die gleiche Größenordnung.

16 Beispiel f 1 (n)= 1 2 n2 +3n f 1 Θ(n 2 )? Existieren c 1, c 2, und n 0, sodass für n>n 0 gilt: c 1 n n2 +3n c 2 n 2?

17 Beispiel c n c 2 n Für : und n n 1 2 =c 1 n=1 Für : = 7 2 =c n2 +3n Θ(n 2 ), dafuern 1gilt: 1 2 n2 1 2 n2 +3n 7 2 n2

18 Beispiel Zahl der Schritte (Laufzeit [s]) 7 2 n2 c2=7/2 hätte man auch kleiner oder größer wählen können, spielt aber keine Rolle. 1 2 n2 +3n 1 2 n2 c1=1/2 hätte man auch kleiner wählen können, spielt aber keine Anzahl der Eingabeelemente n Rolle. c1 hätte nicht größer gewählt werden können, aber auch egal.

19 Beispiel f 1 (n)=n 3 f 1 Θ(n 2 )? Existieren c 1, c 2, und n 0, sodass für n>n 0 gilt: c 1 n 2 n 3 c 2 n 2? Für jedes c 2 existiert ein n mit n>c 2. c 1 n c 2 n 3 / Θ(n 2 )

20 Noch mehr Beispiele Es interessiert nur der Term höchster Ordnung, der am schnellsten wachsende Summand Terme niedriger Ordnung und Konstanten werden ignoriert. 2 n 2 +7 n 20 Θ(n 2 ) 2 n 2 +7 nlogn 20 Θ(n 2 ) 7 nlogn 20 / Θ(n 2 ) 5 / Θ(n 2 ) 2 n 2 +7 nlogn+n 3 / Θ(n 2 ) Laufzeit eines Algorithmus wird über Funktionenklasse beschrieben.

21 Typische Funktionenklassen zur Effizienzbeschreibung f Θ(1) f Θ(logn)=Θ(log 2 n) f Θ(n) f Θ(nlogn) f Θ(n 2 ) f Θ(n 3 ) f Θ(n k ) f Θ(2 n ) zeitkonstant, f ist beschränkt logarithmisch wachsende Funktionen linear wachsende Funktionen n-log-n wachsend, superlinear quadratisch wachsende Funktionen kubisch wachsende Funktionen polynomiell wachsende Funktionen exponentiell wachsende Funktionen

22 Praktische Relevanz der Funktionenklassen 1 Rechenschritt benötigt 0.001s Laufzeit / Komplexität Maximale Problemgröße bei gegebener Rechenzeit und Laufzeitkomplexität 1 Sekunde 1 Minute 1 Stunde n n n n

23 Praktische Relevanz der Funktionenklassen Rechner B 10fach schneller als Rechner A Maximale Problemgröße auf Rechner B bei gegebener Problemgröße p auf Rechner A Laufzeit / Problemgröße Komplexität auf Rechner B n 10 p n p n p 2 n p = p + log p =2 log p =2 p+log 2 10 Polynomielle Laufzeiten erlauben die Bearbeitung einer um einen Faktor größeren Problemgröße bei schnellerer Hard- / Software. Exponentielle Laufzeiten nicht.

24 Kurz zum Logarithmus Logarithmen lösen Gleichungen der Form bei gegebenen a und b: n=log b a a=b n Bezeichnungen: log e a=lna log 10 a=lga log 2 a=lda loga bei ist die Basis aus dem Kontext klar, bei uns oft 2

25 Illustration Zahl der Schritte (Laufzeit [s]) 2 6 = 64 log 2 n log e n 10 2 = 100 log 10 n Anzahl der Eingabeelemente n

26 Einige Rechenregeln Umkehrfunktionen b log b n =n log b (b n )=n Produktregel log b (m n)=log b m+log b n Potenzregel log b (n r )=r log b n Basisumrechnung log a n=log a blog b n konstant Θ(logn)=Θ(log b n) log 2 (256)=log =8 daher für beliebige Basis b und wir sind wieder beim Thema.

27 Zusammenfassung zu Θ Θ(g) f Θ(g) beschreibt eine Klasse von Funktionen, wenn f bis auf einen konstanten Faktor gleich schnell wächst wie g g ist eine asymptotisch scharfe obere und untere Schranke von f f wird einer Funktionenklasse g zugeordnet, indem nur der Term höchster Ordnung betrachtet wird (der am schnellsten wachsende Summand) Terme niedriger Ordnung und Konstanten ignoriert werden Beispiele: 2 n 2 +7 n 20 Θ(n 2 ) 7 nlogn 20 Θ(nlogn)

28 Überblick Kontext Einführung Funktionenklasse Θ Definition, Illustration, Beispiele weitere Funktionenklassen Definition, Illustration, Beispiele Anwendung in der Laufzeitbeschreibung

29 Landau-Symbol O Wenn eine Funktion nicht von oben und von unten beschränkt wird, sondern nur von oben (obere asymptotische Schranke), dann wird O verwendet. f O(g): c>0 n 0 n>n 0 :f(n) c g(n) f ist Element der Menge Gross-O von g, wenn eine positive Konstante c existiert, sodass der Funktionswert f(n) ab einem bestimmten n=n 0 immer kleiner oder gleich c g(n) ist. Wie sich f und g für n<n 0 verhalten, spielt keine Rolle. Anschaulich: f(n) wächst höchstens so schnell wie g(n) bzw. c g(n).

30 Illustration Zahl der Schritte (Laufzeit [s]) c g(n) f 1 (n) O(g) f 2 (n) O(g) n 2 n 1 n f ist höchstens von der Größenordnung von g.

31 Beispiele Es interessiert nur der Term höchster Ordnung, der am schnellsten wachsende Summand Terme niedriger Ordnung und Konstanten werden ignoriert. f(n) muss nur von oben durch c g(n) beschränkt sein. 2 n 2 +7 n 20 O(n 2 ) 2 n 2 +7 nlogn 20 O(n 2 ) 7 nlogn 20 O(n 2 ) 5 O(n 2 ) 2 n 2 +7 nlogn+n 3 / O(n 2 )

32 Landau-Symbol Ω Wenn eine Funktion nicht von oben und von unten beschränkt wird, sondern nur von unten (untere asymptotische Schranke), dann wird Ω verwendet. f Ω(g): c>0 n 0 n>n 0 :f(n) c g(n) f ist Element der Menge Gross- Ω von g, wenn eine positive Konstante c existiert, sodass der Funktionswert f(n) ab einem bestimmten n=n 0 immer größer oder gleich c g(n) ist. Wie sich f und g für n<n 0 verhalten, spielt keine Rolle. Anschaulich: f(n) wächst mindestens so schnell wie g(n) bzw. c g(n).

33 Illustration Zahl der Schritte (Laufzeit [s]) f 1 (n) Ω(g) f 2 (n) Ω(g) c g(n) n 2 n 1 n f ist mindestens von der Größenordnung von g.

34 Beispiele Es interessiert nur der Term höchster Ordnung, der am schnellsten wachsende Summand Terme niedriger Ordnung und Konstanten werden ignoriert. f(n) muss nur von unten durch c g(n) beschränkt sein. 2 n 2 +7 n 20 Ω(n 2 ) 2 n 2 +7 nlogn 20 Ω(n 2 ) 7 nlogn 20 / Ω(n 2 ) 5 / Ω(n 2 ) 2 n 2 +7 nlogn+n 3 Ω(n 2 )

35 Landau-Symbole ο und ω asymptotisch nicht scharfe Schranken obere Schranke f o(g): c>0 n 0 n>n 0 :f(n) c g(n) f wächst langsamer als g (ist von kleinerer Größenordnung) 2 n o(n 2 ) 4 n 2 / o(n 2 ) untere Schranke f ω(g): c>0 n 0 n>n 0 :f(n) c g(n) f wächst schneller als g (ist von höherer Größenordnung) 2 n 3 ω(n 2 ) 4 n 2 / ω(n 2 )

36 Zusammenfassung O-Notation f Θ(g): c 1 >0 c 2 >0 n 0 n>n 0 :c 1 g(n) f(n) c 2 g(n) f O(g): c>0 n 0 n>n 0 :f(n) c g(n) f Ω(g): c>0 n 0 n>n 0 :f(n) c g(n) f o(g): c>0 n 0 n>n 0 :f(n) c g(n) f ω(g): c>0 n 0 n>n 0 :f(n) c g(n)

37 Zusammenfassung Eigenschaften Transitivität f Θ(g) g Θ(h) f Θ(h) f O(g) g O(h) f O(h) f Ω(g) g Ω(h) f Ω(h) f o(g) g o(h) f o(h) f ω(g) g ω(h) f ω(h) Reflexivität f Θ(f) f Ω(f) f O(f) Symmetrie f Θ(g) g Θ(f) Austausch-Symmetrie f O(g) g Ω(f) f o(g) g ω(f)

38 Überblick Kontext Einführung Funktionenklasse Θ Definition, Illustration, Beispiele weitere Funktionenklassen Definition, Illustration, Beispiele Anwendung in der Laufzeitbeschreibung

39 Uns reicht oft O Laufzeiten werden oft mit O beschrieben (Vernachlässigung der unteren Schranke). f =O(g) f O(g) Oft wird statt geschrieben. f =O(h) g=o(h) f+g=o(h) a k n k +a k 1 n k a 1 n+a 0 =O(n k ) f(n)=c g(n) f=o(g)

40 O-Kalkül Einfache Regeln f =O(f) O(O(f))=O(f) ko(f)=o(f) O(f+k)=O(f) Addition O(f)+O(g)=O(max{f,g}) Multiplikation O(f) O(g)=O(f g)

41 Zusammenfassung Werkzeuge zur Analyse der Effizienz von Algorithmen Effizienz, Laufzeitkomplexität: Wachstum (Wachstumsgrad, Wachstumsrate) der Rechenzeit bei steigender Anzahl der Eingabe-Elemente Beschreibung der asymptotischen Effizienz durch Funktionenklassen Konzentration auf das Wesentliche bei der Laufzeitbeschreibung Landau-Symbole O zur Beschreibung von asymptotisch scharfen bzw. nicht scharfen Schranken für die Beschreibung der Laufzeitkomplexität zur Beschreibung oberer asymptotischer Schranken von Laufzeiten

42 Nächstes Thema Analyse von Algorithmen Abschätzung der Laufzeit von Algorithmen