Kapitel 7 KOMPLEXITÄT. Algorithmen & Datenstrukturen Prof. Dr. Wolfgang Schramm

Transkript

1 Kapitel 7 KOMPLEXITÄT Algorithmen & Datenstrukturen Prof. Dr. Wolfgang Schramm

2 Übersicht 1 1. Einführung 2. Algorithmen 3. EigenschaCen von Programmiersprachen 4. Algorithmenparadigmen 5. Suchen & SorKeren 6. Hashing 7. Komplexität von Algorithmen 8. Abstrakte Datentypen (ADT) 9. Listen 10. Bäume 11. Graphen

3 Lernziele des Kapitels 2 2 EigenschaCen von Algorithmen kennenlernen. Wie misst man Komplexität? Verstehen, warum man nur näherungsweise rechnet. Kennenlernen der O- NotaKon. Kennenlernen der Größenklassen. Abschätzen von Basiselementen kennenlernen. Komplexitätsklassen kennenlernen und Einordnen von Problemen.

4 Inhalt 3 Einführung, MoKvaKon AsymptoKsche Näherung O- NotaKon Berechnen von Schranken für Basiselemente Rechnen mit Schranken Bewertung der Abschätzungen Komplexitätsklassen

5 4 Worum geht s? EigenschaCen von Algorithmen Berechenbarkeit Gibt es für jedes Problem auch einen Lösungsalgorithmus? n z.b. Entscheidbarkeit Gibt es Fragestellungen, die sich der algorithmischen Lösbarkeit prinzipiell entziehen? Korrektheit von Algorithmen Kann man EigenschaCen garankeren? abzählbar aufzählbar entscheidbar Wie kann man nachweisen, dass ein Programm tatsächlich das tut, was es soll? Effizienz / Komplexität von Algorithmen Wie schnell ist ein Algorithmus? Wovon hängt die Geschwindigkeit ab?

6 Berechenbarkeit und Entscheidbarkeit 5 Es gibt berechenbare und nicht berechenbare FunkKonen. Berechenbare FunkKonen sind eher seltene Ausnahmen das muss man wissen, auch wenn wir uns hier ausschließlich mit diesen Ausnahmen befassen. Für berechenbare FunkKonen lässt sich immer ein Algorithmus angeben. Lassen sich nicht berechenbare FunkKonen konkret angeben? Probleme deren EntscheidungsfunkKon nicht berechenbar ist, nennt man nicht entscheidbar. Beispiel: Hält Algorithmus x bei der Eingabe von y? Korrektheit von Programmen im Allgemeinen ist nicht entscheidbar. Allgemeines Halteproblem

7 Korrektheit von Algorithmen 6 SpezifikaDon: eindeukge Festlegung der berechneten FunkKon bzw. des Terminierungsverhaltens einer SoCwarekomponente. VerifikaDon: formaler Beweis der Korrektheit bezüglich einer formalen SpezifikaKon. Arbeitet der Algorithmus korrekt? Are we doing the things right? relative Korrektheit ValidaDon: nichnormaler Nachweis der Korrektheit bezüglich einer informellen oder formalen SpezifikaKon. Macht der Algorithmus das was er tun sollte? Are we doing the right things?

8 Komplexität / Aufwand 7 Es ist wünschenswert, dass ein Algorithmus das gestellte Problem mit möglichst geringem Aufwand löst. Flugzeugkollision, Abschalten eines KernkraCwerks, computergestützte Chirurgie. Bei mehreren Algorithmen für dasselbe Problem ist dies oc das entscheidende Kriterium für die Auswahl des Algorithmus. Theorie der Komplexität der Algorithmen: à à Abschätzen gegebener Algorithmen hinsichtlich ihres Aufwands. Für gegebene Problemklassen beskmmen, mit welchem Mindestaufwand Probleme dieser Klasse gelöst werden können.

9 Komplexität 8 Komplexitätstheorie hier nur Laufzeitverhalten Fragen Wie aufwendig ist es, eine gegebene Aufgabe zu erfüllen? Beispiel: umgangssprachlich: Suchen ist einfacher, schneller als SorKeren. Formalere Formulierung? Welcher Algorithmus ist der schnellste für eine gegebene Aufgabe? Beispiel: offensichtlich: Binäre Suche ist schneller als lineare Suche. Formalere Formulierung?

10 Laufzeit beskmmen 1. Ansatz 9 Benchmark: Algorithmus programmieren und ausführen. Dauer mit Stoppuhr stoppen. l Nachteile ð Ungenau. ð Laufzeit abhängig vom Rechner und vom Zeitpunkt der Programmausführung. ð Parameter nicht berücksichtigt. Suchen in kleinem Array ist schneller als in großem.

11 Laufzeit beskmmen 2. Ansatz 10 l Algorithmus programmieren in Pseudocode. l Operationen zählen. l Geeignete Annahmen für Unbekannte treffen. Länge des Arrays; Art der Verteilung. l Vorteile ð Unabhängig von der konkreten Technik (Computer, Programmiersprache, Compiler). ð Durch geschickte Annahmen Laufzeit nur von einer Größe abhängig à Länge des Arrays. l Nachteil ð Sehr komplex.

12 Laufzeit beskmmen 3. Ansatz 11 l Wie zweiter Ansatz, l jedoch nur obere Grenze für Anzahl Operationen festlegen. l Vorteile ð Unabhängig von der konkreten Technik (Computer, Programmiersprache, Compiler). ð Durch geschickte Annahmen Laufzeit nur von einer Größe abhängig à Länge des Arrays. ð Einfach(er als 2. Ansatz).

13 12 Lineare Suche in einer Folge Gegeben: n Zahl n 0, n n Zahlen a 1,..., a n, die alle verschieden sind n eine Zahl b. Gesucht: Beispiel 1/5 n Index i, mit i {1,..., n}, so dass b = a i, sofern ein solcher Index exiskert. n Sonst soll i = n + 1 ausgegeben werden. Einfache Lösung: i = 1; while i < n and b a i do i := i + 1; od; // i enthält den gesuchten Index

14 Beispiel 2/5 13 Aufwand der Suche = Anzahl der teuren Schrixe. Anzahl n hängt ab von der Eingabe = n, a 1,..., a n, b n Es gilt: teuer n Bei erfolgreicher Suche, d.h. wenn b = a i ist, werden S = i Schrixe benökgt. n Bei erfolgloser Suche werden S = n Schrixe benökgt. n Vergleich mit Schlüssel n Verschiebung (Vertauschung)

15 Beispiel 3/5 14 Vereinfachung der erfolgreichen Suche n Keine Betrachtung einzelner Fälle, sondern n Aufwand im besten Fall (1 Vergleich) n Hier nicht weiter verfolgt n Aufwand im Mixel n Annahmen à StaKsKk n Aufwand im schlechtesten Fall (n Vergleiche) n konstruiert

16 Beispiel 4/5 15 Aufwand im schlechtesten Fall n Das Element wird am Ende der Folge gefunden. Anzahl der Schrixe: S = n Aufwand im mixleren Fall n Abhängig davon, wann das Element gefunden wird. n Annahme: gleichmäßige Verteilung Anzahl der Schrixe: S = n +1 2 Vereinfachung n Nicht genauen Wert, sondern obere Grenze angeben.

17 Beispiel 5/5 16 Weglassen von addikven und mulkplikakven Konstanten n Idee: Aufwand Binäre Suche << Aufwand Lineare Suche n Faktor 2, 3, 4, vernachlässigbar für große N n Summand ebenso Aufwand im schlechtesten Fall n Anzahl der Schrixe: S = n à Abschätzung: S = O(n) Aufwand im mixleren Fall n Anzahl der Schrixe: S = n +1 2 à Abschätzung: S = O(n)

18 17 Wie kommen wir zu einer Abschätzung?

19 AsymptoKsche Analyse 18 Näherungsweise AufwandsbesKmmung Ziel: Als Maß für den Aufwand Angabe einer FunkKon F : Ν Ν, (Ν sind die natürlichen Zahlen) Wobei f(n) = a bedeutet: Bei einem Problem der Größe n ist der Aufwand a. Maß für den Umfang einer Eingabe. Grobes Maß für die Rechenzeit oder auch Speicherplatz. Abschätzung der Rechenzeit = Zählen wie häufig eine bestimmte Art von Operationen ausgeführt wird: Speicherzugriffe, Multiplikationen, Additionen, Vergleiche etc. Sprachunabhängiges Maß für die Rechenzeit.

20 AsymptoKsche Analyse: Beispiel for- Schleife 19 Wie oc wird die Wertzuweisung x : = x + 1 in den folgenden Anweisungen ausgeführt? 1. x := x + 1; 2. for i := 1 to n do x := x + 1 od 3. for i := 1 to n do od for j := 1 to n do x := x + 1 od 1 mal n-mal n * n bzw. n 2 -mal

21 AufwandsfunkKon 20 (Immer noch) Gesucht: AufwandsfunkKon F : Ν Ν Kann man sehr selten exakt beskmmen 2 Methoden zur Aufwandsanalyse : Abschätzen des Aufwands im schlechtesten Fall. Abschätzen des Aufwands im Mixel. Abschätzen bedeutet ungefähres Rechnen in Größenordnungen.

22 AufwandsfunkKon: Beispiel 1/3 21 Gegeben: n 0, Folge von n Zahlen a 1,..., a n ( Ζ), die alle verschieden sind. Gesucht: Index i, mit i {1,..., n}, so dass a i das größte Element unter den a 1,..., a n ist. Lösung: max := 1; for i = 2 to n do if a max < a i then max := i fi; od; Am Ende enthält max den gesuchten Index bzw. die Zahl 1, falls n = 0 ist.

23 AufwandsfunkKon: Beispiel 2/3 22 Analyse: Wie oc wird die Anweisung max := i im Mixel ausgeführt - abhängig von n? Mixlere Anzahl von Zuweisungen: T n es gilt 1 T n n. Beobachtung: Wann wird max := i ausgeführt a i ist das größte Element von a 1,.., a i Annahme (Gleichverteilung): Für jedes i = 1,..., n hat jedes der Elemente a 1,..., a n die gleiche Chance, das größte zu sein. Daraus folgt für die gesamte Anzahl von N Durchläufen durch den Algorithmus, N >> 1, dass insgesamt N/i mal die Anweisung max : = i ausgeführt wird, für i = 1,..., n. Genauer betrachtet heißt das: max := 1 wird N- mal, d.h. immer, ausgeführt max := 2 wird N/2 mal ausgeführt max := 3 wird N/3 mal ausgeführt etc.

24 AufwandsfunkKon: Beispiel 3/3 23 Daraus folgt, für die gesamte Anzahl N * T n von Ausführungen von max := i (für ein beliebiges i eigentlich für i = 1, 2,..., n) bei N Durchläufen, also N mal die mixlere Anzahl von Zuweisungen: N * T n = N + N/2 + N/ N/n T n = N (1 + 1/2 + 1/3 + 1/ /n) = 1 + 1/2 + 1/3 + 1/ /n, = H n, die n- te harmonische Zahl und die kann nur abgeschätzt werden. T n = H n ln n + γ, mit γ = 0, (Euler sche Konstante) Sind wir jetzt so schlau als wie zuvor, weil wir T n nicht genau ausrechnen können?

25 O- NotaKon 1/3 24 Ziel Abschätzen der AufwandsfunkKon f(n) durch Angabe einer einfachen VergleichsfunkKon g(n), die abgesehen von Konstanten ab irgendwann größer als f(n) ist Typische FunkKonen für g(n) g(n) = n, g(n) = ld n, g(n) = n 2 DefiniKon g(n) ist ein asymptoksche obere Schranke für eine FunkKon f(n) - geschrieben f(n) = O(g(n)) - gelesen f(n) ist von der Ordnung g(n) wenn gilt: c, n 0 : n n 0 : f(n) c g(n) f, g: N N

26 AsymptoKsche obere Schranke 25 f(n o ) = g(n o ) Ab n o wächst f nicht stärker als g. Das Wachstum von f ist durch g beschränkt

27 O- NotaKon 2/3 26 Ziel bei der Analyse von Algorithmen: Abschätzen der Aufwands- funkkon f durch Angabe einer einfachen VergleichsoperaKon g mit f(n) = O(g(n)). O(n) nennt man auch die asymptoksche obere Schranke für f. Die Beschreibung der Komplexität durch Angabe der Wachstums- geschwindigkeit bzw. der Größenordnung mit Hilfe der O- NotaKon als asymptoksche Analyse. Was ist eine Asymptote? Eine Gerade, der sich eine Kurve bei deren immer größer werdender Ennernung vom Koordinatenursprung unbegrenzt nähert, d.h. immer näher kommt aber nie erreicht. Für uns heißt das, dass f asymptoksch nicht schneller wächst als g.

28 O- NotaKon 3/3 27 Die O(g)- NotaKon ist eine obere Grenze für eine Klasse von FunkKonen, man kann deshalb die FunkKon g vereinfachen, indem konstante Faktoren weggelassen werden, nur der größte Exponent berücksichkgt wird. Ziel ist eine möglichst einfache FunkKon für die Aufwandsabschätzung anzugeben, da man nur an den Größenordnungen interessiert ist. Dazu die folgenden Beispiele.

29 O- NotaKon: Beispiele 28 g ist obere Schranke à folgende Vereinfachungen sind möglich g = n 3 + n 2 g = n 3 nur größten Exponent berücksichtigen g = ld n g = log n nur Logarithmus zur Basis 10 betrachten g = an g = n konstante Faktoren weglassen g = n + b g = n konstante Summanden weglassen

30 Abschätzungen in Größenordnungen 1/2 30 Im Beispiel oben gilt: T n = H n = ln n + γ, T n = O(log n). Für eine Abschätzung ist die Basis des Logarithmus unerheblich, da gilt: log b n = log a n log b a. (log b a ist eine Konstante).

31 Abschätzungen in Größenordnungen 2/2 31 Beispiel: Beschränkung auf den höchsten Exponenten. n 2 + 3n 3 = O(n 2 ) ó n 2 + 3n 3 c n 2 ó 1+ 3/n 3/n 2 c Diese Ungleichung wird erfüllt für n n o, wenn c = 2 und n o = 1. n 2 + 3n 3 2 n 2 n 2

32 Analyse von Algorithmen: Regeln 32 Regeln für die BesKmmung von Größenordnungen anhand der Basiskonstrukte: Sequenz Bedingung IteraKon (Schleifen) n Einfache Schleifen n Geschachtelte Schleifen Unterprogramme Die folgenden Regeln sind als Aufwandsschätzung konkreter Algorithmen (Programme) gedacht. Die Abschätzung des Aufwands für Problemklassen erfordert mathemaksche Beweise.

33 Sequenz - Laufzeitaufwand 33 Laufzeit := Σ Laufzeit der einzelnen Anweisungen Handelt es sich um einfache Anweisungen, dann ist der Aufwand konstant: O(1). Wenn der maximale Aufwand zur Durchführung einer Anweisung m ist und in der Sequenz k (k 1) Anweisungen stehen, dann ist der Gesamtaufwand k * m bzw. c, wenn c = k*m. Beispiel: max := j; F [i] := j; Die Sequenz besteht aus 2 Anweisungen, die nacheinander durch- laufen werden. Wenn man für die 2. (= komplexere) Anweisung m Einheiten benökgt, dann ist die Gesamtlaufzeit c = 2 m, also O(1).

34 Bedingung - Laufzeitaufwand 34 Laufzeit := Aufwand für Test + max (Aufwand für A 1, Aufwand für A 2 ) A 1 und A 2 sind die beiden AlternaKven (sofern 2 AlternaKven angegeben sind). Der Aufwand dafür ist konstant: O(1). Wenn der maximale Aufwand zur Durchführung einer der beiden Alter- nakven m ist (Voraussetzung: die AlternaKven enthalten nur einfache Anweisungen) und der Aufwand für den Test k, dann ist der Gesamtaufwand k + m bzw. c, wenn c = k+m. Beispiel: if i > j then max : = i; else max := j; fi Die Testanweisung hat einen Aufwand von O(1) ebenso jede der beiden AlternaKven. Dann ist die Gesamtlaufaufwand O(1) + O(1) = O(1).

35 Schleifen - Laufzeitaufwand 35 Laufzeit := Aufwand für die innere Anweisung * Anzahl der IteraDonen Eine einfache innere Anweisung hat einen Aufwand von: O(1). Bei n IteraKonen ergibt sich ein Gesamtaufwand von: n * O(1) = O(n). Beispiel: for i := 1 to n do F[ i] := 0; od Der Aufwand für while bzw. do- while- Schleifen ist äquivalent zu dem der for- Schleife (s. GDI).

36 Geschachtelte Schleifen - Laufzeitaufwand 36 Laufzeit := Aufwand für die innere Anweisung * Produkt der Größen aller Schleifen Eine einfache innere Anweisung hat einen Aufwand von: O(1). Bei n * n IteraKonen ergibt sich ein Gesamtaufwand von: n * n * O(1) = O(n 2 ). Beispiel: for i := 1 to n do for j := 1 to n do k : = k + 1; od od

37 37 Beispiel: Nacheinanderausführung von Schleifen - Laufzeitaufwand Laufzeit := Σ Laufzeit der einzelnen Schleifen for i := 1 to n do od for j := 1 to n do od F[i] : = F[i] + F[j] + i + j; O(n 2 ) for j := 1 to n do od F[i] : = F[i] + F[j] + i + j; O(n) Die maximale Komponente des Ausdrucks von n 2 + n bestimmt den Gesamtaufwand: O(n 2 ).

38 38 KombinaKon von Konstrukten - Laufzeitaufwand Bei einer addikven KombinaKon von Konstrukten beskmmt immer die maximale Komponente (das ist die mit dem höchsten Exponenten) den Gesamtaufwand. Auch Unterprogrammaufrufe sind als AddiKon bezüglich des Aufwands zu sehen. Sie gehen dann mit ihrem Aufwandswert in die weiteren Berechnungen ein. Rekursive Unterprogrammaufrufe, d.h. die Rekursion gehen als Produkt in die Aufwandsberechnung ein (eine Rekursion lässt immer in eine IteraKon überführen). Geschachtelte Rekursionen sind nicht ganz einfach zu analysieren.

39 Bewertung 39 Wie sind die gewonnen Erkenntnisse bei der asymptokschen Abschätzung von Aufwänden einzuordnen?

40 40 WichKge Komplexitätsklassen bei der Analyse von Algorithmen O(1) konstanter Aufwand O(log n) logarithmischer Aufwand O(n) linearer Aufwand O(n log n) O(n 2 ) quadrakscher Aufwand O(n k ), für ein k 0 polynominaler Aufwand O(2 n ) exponenkeller Aufwand

41 41 Wachstum für ausgewählte Komplexitätsklassen n ld n n f(n) n ld n n n n

42 Zeitaufwand für einige Komplexitätsklassen 1/2 42 Annahme: Ein Schrix des Aufwands dauert genau eine Mirkosekunde ( 1µs oder 10-6 s). Frage: Wie lange dauert die Ausführung von n = (10 5 ) Schrixen? Funktion Laufzeit ld n n n ld n n 2 n s 0.1 s 1.2 s 2.8 h 31.7 Jahre 2 n > 1 Jahrhundert

43 Zeitaufwand für einige Komplexitätsklassen 2/2 43 Annahme: Ein Schrix des Aufwands dauert genau eine Mirkosekunde ( 1µs oder 10-6 s). Frage: Wie groß kann ein Problem (n) sein, wenn man die zur Verfügung stehende Zeit T begrenzt? 1 Minute 1 Stunde 1 Tag 1 Woche 1 Jahr n n n n

44 Typische Problemklassen 44 Aufwand Problemklasse O(1) O(log n) O(n) O(n log n) O(n 2 ) O(n 3 ) O(2 n ) Einige Suchverfahren für Tabellen (Hashing) Allgemeine Suchverfahren für Tabellen (Baum- Suchverfahren) Sequentielle Suche, Suche in Texten, syntaktische Analyse von Programmen (bei guter Grammatik) Sortieren Einige dynamische Optimierungsverfahren (z.b. optimale Suchbäume), Multiplikation Matrix Vektor (einfach) Matrizenmultiplikation Viele Optimierungsprobleme (z.b. optimale Schaltwerke)

45 45 Übersicht über SorKerverfahren 1/3 Verfahren Stabilität Aufwand (im Mittel) SelectionSort (In)stabil n 2 InsertionSort Stabil n 2 BubbleSort Stabil n 2 MergeSort Stabil n log n QuickSort Instabil n log n

46 Übersicht über SorKerverfahren 2/3 46 Bisher: Eingabedaten unsorkert Bei VorsorKerung? Verfahren Aufwand (bei Vorsortierung) SelectionSort n 2 InsertionSort BubbleSort MergeSort n n n log n QuickSort n 2

47 Übersicht über SorKerverfahren 3/3 47 Bisher: Aufwand gleich für Vergleichen/Vertauschen Falls Vertauschen sehr viel aufwändiger? Verfahren SelectionSort Aufwand (nur Vertauschung) n InsertionSort n 2 BubbleSort n 2 MergeSort QuickSort n log n n log n

48 Folgerungen aus den Tabellen 48 Die Steigerung der Rechengeschwindigkeit wirkt sich am deutlichsten bei schnellen Algorithmen aus. Der Übergang zu einem schnelleren Algorithmus ist oc wirksamer als der zu einer schnelleren Maschine. Für die Lösung von Problemen, die häufig aucreten, etwa als Teilprobleme anderer Probleme, lohnt sich der Aufwand, nach einem opkmalen Algorithmus zu suchen.