Kapitel 6. Komplexität von Algorithmen. Xiaoyi Jiang Informatik I Grundlagen der Programmierung

Transkript

1 Kapitel 6 Komplexität von Algorithmen 1

2 6.1 Beurteilung von Algorithmen I.d.R. existieren viele Algorithmen, um dieselbe Funktion zu realisieren. Welche Algorithmen sind die besseren? Betrachtung nicht-funktionaler Eigenschaften: Zeiteffizienz: Wie lange dauert die Ausführung? Speichereffizienz: Wie viel Speicher wird zur Ausführung benötigt? Benötigte Netzwerkbandbreite Einfachheit des Algorithmus Aufwand für die Programmierung Die Angabe der Laufzeit (und etwas weniger wichtig des Speicherplatzes) liefert das wichtigste Maß für die Beurteilung von Algorithmen 2

3 6.1 Beurteilung von Algorithmen Konkretes Zeitmaß: Die Tatsächliche Ausführungszeit hängt ab von: der konkreten Programmierung Prozessorgeschwindigkeit Programmiersprache Qualität des Compilers Selbst dasselbe Programm mit denselben Eingabeparametern kann bei zwei Läufen auf demselben Rechner unterschiedlich lang laufen (abhängig von der Auslastung des Rechners) Um sinnvolle Vergleiche von Algorithmen zu ermöglichen, benötigen wir ein Maß der Zeitkomplexität, das von derartigen Faktoren unabhängig ist 3

4 6.1 Beurteilung von Algorithmen Abstraktes Zeitmaß: Kostenfunktion: Beschreibung des Zeitverbrauchs als mathematische Funktion T(n) Definitionsbereich von T(n): Eingabegröße n; hängt vom untersuchten Problem ab Liste, n = Anzahl der Elemente Matrizenmultiplikation, n = Anzahl Zeilen, m = Anzahl Spalten Graphenalgorithmen, n = Anzahl Knoten, e = Anzahl Kanten Wertebereich von T(n): benötigte Anzahl von Rechenschritten Anzahl der Rekursionsschritte ist ein mögliches Maß der Größe der Auswertungssequenz (Aufwand pro Rekursionsschritt gering) Anzahl der Verarbeitungsschritte 4

5 6.1 Beurteilung von Algorithmen Beispiel: Turme von Hanoi (vgl Rekursive Funktionen) (define(move T1 T2 T3 n) (cond [(= n 0) empty] [else (append (move T1 T3 T2 (- n 1)) (list (list T1 T2)) (move T3 T2 T1 (- n 1)))])) > (move 'A 'B 'C 4) (list (list 'A 'C) (list 'A 'B) (list 'C 'B) (list 'A 'C) (list 'B 'A) (list 'B 'C) (list 'A 'C) (list 'A 'B) (list 'C 'B) (list 'C 'A) (list 'B 'A) (list 'C 'B) (list 'A 'C) (list 'A 'B) (list 'C 'B)) 5

6 6.1 Beurteilung von Algorithmen Wenn t n die Rechenzeit für (move X Y Z n) bezeichnet, dann gilt: Die Anzahl der Bewegungen 2 n 1 ist eine plausible Angabe der Komplexität des Algorithmus (in diesem Fall auch der Lösung) 6

7 6.1 Beurteilung von Algorithmen Beispiel: Lineare Suche von x im Array a (der Länge n) i = 0; while ((i < n) && (a[i]!= x)) i++; Bestenfalls T(n) = 1 Schritt Schlimmstenfalls T(n) = n Schritte Im Durchschnitt T(n) = n/2 Schritte Annahme für den mittleren Fall: Es liegt (gleichwahrscheinliche) Permutation der Zahlen von 1 bis n vor. Dann ist die mittlere Anzahl 7

8 6.1 Beurteilung von Algorithmen Verschiedene Analysen sind von Interesse: bester Fall (best case) mittlerer Fall (average case) schlimmster Fall (worst case) Für den eigentlich interessantesten mittleren Fall wären auch noch Annahmen über die zu erwartende Eingabeverteilung sinnvoll. Häufig beschränkt man sich auf den schlimmsten Fall. Laufzeit und Speicherverbrauch wird in einer asymptotischen Notation beschrieben, die weitgehend von unwesentlichen Details abstrahiert. Sie macht nur Aussagen über das Verhalten für sehr große Eingabegrößen. 8

9 Vergleich von zwei Komplexitätsfunktionen über alle natürlichen Zahlen ist nicht ganz einfach T 1 (n) = 100. n T 2 (n) = n 2 Welche Funktion ist besser? 100 Wir übernehmen eine mathematische Notation, die zum Vergleichen von Funktionen a) bis auf einen Faktor und b) bis auf eine endliche Anzahl von Ausnahmen verwendet wird 9

10 Groß-Oh-Notation: bringt zum Ausdruck, dass eine Funktion f(n) höchstens so schnell wächst wie eine andere Funktion g(n). g(n) Ist also die obere Schranke für f(n). Definition: Funktion f(n) ist in der Menge O(g(n)), wenn es ein c > 0 und ein n 0 N gibt, so dass für alle n n 0 gilt: f(n) c. g(n) Die O-Notation geht auf den Zahlentheoretiker Edmund Landau ( ) zurück; daher wird das O auch als Landau-Symbol bezeichnet n 0 cg f Eingabegröße n 10

11 O-Notation: Abstraktion durch Ignorieren endlich vieler Anfangswerte (Spezialfälle) durch n n 0 Einführung des konstanten Faktors c in der Definition, der von nur durch Konstanten hervorgerufenen Unterschieden abstrahiert Beispiel: T 1 (n) = 100. n O(n): T 1 (n) wächst höchstens so schnell wie n T 2 (n) = n 2 O(n 2 ): T 2 (n) wächst höchstens so schnell wie n 2 11

12 Beispiel: 12

13 Häufige Größenordnung der Komplexität: O(1): In konstanter (von n unabhängiger) Zeit ausführbar O(log n): Bei Verdoppelung von n läuft das Programm um eine konstante Zeit länger O(n) Linear: Laufzeit proportional zu n O(n 2 ): Quadratische Laufzeit; z. B. wenn je zwei Datenelemente zu kombinieren sind O(n 3 ): Kubische Laufzeit; nur für kleinere n geeignet O(2 n ): Exponentielles Wachstum; solche Programme sind in der Praxis fast immer wertlos O(1) O(log n) O(n) O(n 2 ) O(n 3 ) O(2 n ) O(3 n ) O(10 n ) 13

14 Groß-Omega-Notation: bringt zum Ausdruck, dass eine Funktion f(n) mindestens so schnell wächst wie eine andere Funktion g(n). g(n) Ist also die untere Schranke für f(n). Definition: Funktion f(n) ist in der Menge Ω(g(n)), wenn es ein c > 0 und ein n 0 N gibt, so dass für alle n n 0 gilt: f(n) c. g(n) 14

15 Beispiel: 15

16 Gross-Theta-Notation: Wenn eine Funktion f(n) sowohl von oben als auch von unten durch g(n) beschränkt ist, so schreibt man f(n) = Ө (g(n)). Formal ist die Menge Ө(g(n)) definiert durch Ө(g(n)) = O(g(n)) Ω(g(n)) g(n) Ist also die exakte Schranke für f(n). Beispiel: 16

17 17