Übersicht Datenstrukturen und Algorithmen. Literatur. Algorithmus: Wikipedia Definition. Vorlesung 1: Einführung. Prof. Dr.

Transkript

1 Übersicht Datenstrukturen und Vorlesung 1: Prof. Dr. Erika Ábrahám Theorie Hybrider Systeme Informatik 2 datenstrukturen-und-algorithmen/ Diese Präsentation verwendet in Teilen Folien von Joost-Pieter Katoen Datenstrukturen April 2014 Prof. Dr. Erika Ábrahám Datenstrukturen und 1/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 2/50 Literatur Algorithmus: Wikipedia Definition Die Vorlesung orientiert sich im Wesentlichen an diesem Buch: Thomas H. Cormen, Charles E. Leiserson, Ronald Rivest, Clifford Stein: - Eine R. Oldenbourg Verlag, 2. oder 3. Auflage. Prof. Dr. Erika Ábrahám Datenstrukturen und 3/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 4/50

2 Übersicht Probleminstanzen und Lösungen 1 Problem Probleminstanzen spezifizieren zu lösende Aufgaben. Beispiel (Probleminstanzen) 2 3 Datenstrukturen 4 Probleminstanz Bestimme das Datum des Ostersonntags im Jahr 2014 Bestimme den kürzesten Weg von Aachen nach Budapest Bestimme den größten gemeinsamen Teiler von 12 und 15 Lösung km 3 Prof. Dr. Erika Ábrahám Datenstrukturen und 5/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 6/50 Probleme (auch genannt Problemklassen) Ein Problem ist eine Menge von Probleminstanzen. Wir spezifizieren Probleme als parametrisierte Probleminstanzen. Jeder konkrete Parameterwert spezifiziert eine Instanz des Problems. Beispiel (Probleminstanzen und Probleme) Probleminstanz Bestimme das Datum des Ostersonntags im Jahr 2014 Bestimme den kürzesten Weg von Aachen nach Budapest Bestimme den größten gemeinsamen Teiler von 12 und 15 Problem Bestimme das Datum des Ostersonntags im Jahr y Bestimme den kürzesten Weg von Ort A nach Ort B Bestimme den größten gemeinsamen Teiler der natürlichen Zahlen a und b Formalisierung von Problemen Probleme Ein Problem is gegeben durch eine Eingabe und eine Ausgabe: Eingabe: Ausgabe: Eine Liste von typisierten Eingabevariablen T x (auch genannt Parameter, mit Typ T und Name x) und eine Vorbedingung ϕ( x), die für jede Instanz des Problems gilt. Eine Liste von typisierten Ausgabevariablen T y und eine Nachbedingung ψ( x, y), die die gesuchten Lösungen des Problems in Abhängigkeit von den Eingabe- und Ausgabevariablen eindeutig beschreibt. Ein Instanz eines Problems ist spezifiziert durch eine Belegung der Eingabevariablen, die die Vorbedingung erfüllt. Eine Lösung einer Probleminstanz ist spezifiziert durch eine Belegung der Ausgabevariablen, die die Nachbedingung erfüllt. Prof. Dr. Erika Ábrahám Datenstrukturen und 7/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 8/50

3 Beispiel Problem: Ostersonntag Beispiel Problem: Sortieren Beispiel Eingabe: Ausgabe: Eingabevariable: Jahr y Vorbedingung: y 0 Ausgabevariablen: Monat m, Tag d Nachbedingung: Der Ostersonntag fällt im Jahr y auf den Tag d im Monat m. Beispiel Eingabe: Eine Folge a 1, a 2,..., a n von n 0 natürlichen Zahlen a i N, 1 i n. Ausgabe: Eine Permutation (Umordnung) b 1, b 2,..., b n der Eingabefolge mit b 1 b 2... b n. Prof. Dr. Erika Ábrahám Datenstrukturen und 9/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 10/50 Beispiel Problem: Kürzester Weg Beispiel Problem: Kürzester Weg Prof. Dr. Erika Ábrahám Datenstrukturen und 11/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 12/50

4 Beispiel Problem: Kürzester Weg Beispiel (Kürzester Weg) Eingabe: 1. Eine Straßenkarte, auf der für jedes Straßensegment zwischen zwei benachbarten Kreuzungen die Segmentlänge eingezeichnet ist, 2. eine Startkreuzung s, und 3. eine Zielkreuzung z. Ausgabe: Ein kürzester Weg von s nach z. Prof. Dr. Erika Ábrahám Datenstrukturen und 13/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 14/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 15/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 16/50

5 Prof. Dr. Erika Ábrahám Datenstrukturen und 17/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 18/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 19/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 20/50

6 Prof. Dr. Erika Ábrahám Datenstrukturen und 21/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 22/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 23/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 24/50

7 Übersicht Beispiel (maximale Flüsse) Eingabe: 1. Eine Straßenkarte, auf der die Kapazität der Straßen eingezeichnet ist, 2. eine Quelle, und 3. eine Senke. Ausgabe: Die maximale Rate, mit der Material (= Zuschauer) von der Quelle bis zur Senke (= Stadion) transportiert werden kann, ohne die Kapazitätsbeschränkungen der Straßen zu verletzen Datenstrukturen 4 Prof. Dr. Erika Ábrahám Datenstrukturen und 25/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 26/50 Algorithmus: Wikipedia Definition Algorithmus Ein Algorithmus ist eine genau definierte Handlungsvorschrift zur Lösung eines Problems. Al-Chwarizmi (geb. um 780 in Bagdad): Von seinem Werk über das Rechnen mit Dezimalzahlen leitet sich der Begriff Algorithmus ab. Prof. Dr. Erika Ábrahám Datenstrukturen und 27/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 28/50

8 Was sind? Beispiel Algorithmus: Lineare Suche Beispiel Eingabe: Instanz p des Problems P Problem: Suchen eines Elementes in einer Liste Eingabe: Array E mit n Einträgen, sowie das gesuchte Element K. Ausgabe: Ist K in E enthalten? Algorithmus für Problem P Ausgabe: Lösung von p Algorithmus: Lineare Suche 1 bool linsearch(int E[], int n, int K) { 2 for (int index = 0; index < n; index ++) { 3 if (E[index] == K) { 4 return true; // gefunden 5 } 6 } 7 return false; // nicht gefunden 8 } Prof. Dr. Erika Ábrahám Datenstrukturen und 29/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 30/50 Datenstrukturen Übersicht Beispiel () Lineare und binäre Suche, Quicksort, Heapsort, Graphalgorithmen. Kernpunkte Korrektheit: Jede Ausgabe ist korrekt (d.h., die Ausgabe ist eine Lösung für die Eingabe). Vollständigkeit: Bei jeder Eingabe stoppt der Algorithmus nach endlich vielen Schritten. Eleganz Effizienz: Wieviel Zeit und Speicherplatz wird benötigt? Datenstrukturen 4 Die hängt oft von den verwenden Datenstrukturen ab. Prof. Dr. Erika Ábrahám Datenstrukturen und 31/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 32/50

9 Datenstrukturen Datenstrukturen Übersicht Datenstruktur Ein mathematisches Objekt zur Speicherung und Organisation von Daten. Man spricht von einer Struktur, da die Daten in einer bestimmten Art und Weise angeordnet und verknüpft werden, um den Zugriff auf sie und ihre Verwaltung geeignet und effizient zu ermöglichen. Beispiele (Datenstrukturen) Array, Baum, Kellerspeicher (stack), verkettete Liste, Warteschlange (queue), Heap, Hashtabelle Datenstrukturen 4 Prof. Dr. Erika Ábrahám Datenstrukturen und 33/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 34/50 Berechenbarkeit Eine in der Theoretischen Informatik zentrale Frage ist: Gegeben ein Problem, gibt es einen Algorithmus der jede Instanz des Problems in endlicher Zeit lösen kann? David Hilbert ( ) war einer der bedeutendsten Mathematiker der Neuzeit. 1900: Liste von 23 ungelösten mathematischen Problemen Zwei der Probleme: Beweis der Vollständigkeit und Widerspruchsfreiheit der Axiome der Arithmetik (Rechnen mit natürlichen Zahlen) Prof. Dr. Erika Ábrahám Datenstrukturen und 35/50 Kurt Gödel ( ) bewies 1931, dass in der Arithmetik unentscheidbare Probleme gibt. Alan Turing ( ) kam 1936 beim eng verwandten Halteproblem von Automaten auf ein ähnliches Ergebnis. Wir werden uns in dieser Vorlesung nur mit entscheidbaren (und lösbaren) Problemen beschäftigen. Prof. Dr. Erika Ábrahám Datenstrukturen und 36/50

10 Kriterien Wichtige Kriterien sind (für eine bestimmte Eingabe): Ziel die benötigte Zeit, der benötigte Platz. Zeitkomplexität Platzkomplexität Beurteilung der unabhängig von dem verwendeten Computer, Programmiersprache, usw. Beispiel Algorithmus: Lineare Suche 1 bool linsearch(int E[], int n, int K) { 2 for (int index = 0; index < n; index ++) { 3 if (E[index] == K) { 4 return true; // gefunden 5 } 6 } 7 return false; // nicht gefunden 8 } Elementare Operationen Die Analyse hängt von der Wahl der elementaren Operationen ab, etwa: Vergleich zweier Zahlen beim Sortieren eines Arrays von Zahlen. Multiplikation zweier Fließkommazahlen bei Matrixmultiplikationen. Anzahl der elementaren Operationen sollte eine gute Abschätzung für die Anzahl der Gesamtoperationen sein. Prof. Dr. Erika Ábrahám Datenstrukturen und 37/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 38/50 Beispiel Worst-, Best- und Average-Case Laufzeit Laufzeit Worst-Case Laufzeit W (n) Average-Case Laufzeit A(n) Einige hilfreiche Begriffe D n = Menge aller Eingaben der Länge n T (I) = für Eingabe I benötigte Anzahl elementarer Operationen Pr(I) = Wahrscheinlichkeit, dass Eingabe I auftritt Eingabelänge n Best-Case Laufzeit B(n) Woher kennen wir: T (I)? Durch Analyse des fraglichen Algorithmus. Pr(I)? Erfahrung, Vermutung (z. B. alle Eingaben treten mit gleicher Wahrscheinlichkeit auf ). Prof. Dr. Erika Ábrahám Datenstrukturen und 39/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 40/50

11 Worst-, Best- und Average-Case Laufzeit Worst-, Best- und Average-Case Laufzeit Worst-Case Laufzeit Die Worst-Case Laufzeit von A ist die von A maximal benötigte Anzahl elementarer Operationen auf einer beliebigen Eingabe der Länge n: Best-Case Laufzeit W (n) = max{ T (I) I D n }. Die Best-Case Laufzeit von A ist die von A minimal benötigte Anzahl elementarer Operationen auf einer beliebigen Eingabe der Länge n: Average-Case Laufzeit Die Average-Case Laufzeit von A ist die von A durchschnittlich benötigte Anzahl elementarer Operationen auf einer beliebigen Eingabe der Länge n: A(n) = I D n Pr(I) T (I) B(n) = min{ T (I) I D n }. Prof. Dr. Erika Ábrahám Datenstrukturen und 41/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 42/50 Beispiel Zeitkomplexität: Array Lesezugriff Beispiel: Lineare Suche 1 int element(int E[], int i) { 2 return E[i]; Annahme Elementare Operation: Arrayzugriff (Leseoperation). Laufzeiten W (n) = 1 B(n) = 1 A(n) = 1 Laufzeit ist konstant, d.h., unabhängig von der Eingabelänge. 1 bool linsearch(int E[], int n, int K) { 2 for (int index = 0; index < n; index ++) { 3 if (E[index] == K) { 4 return true; // gefunden 5 } 6 } 7 return false; // nicht gefunden 8 } Annahmen Elementare Operation: Vergleich einer ganzen Zahl K mit Element E[index]. Integer Domäne: N Werte. Jeder Eingabe ist gleich wahrscheinlich. Prof. Dr. Erika Ábrahám Datenstrukturen und 43/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 44/50

12 Beispiel: Lineare Suche 1 bool linsearch(int E[], int n, int K) { 2 for (int index = 0; index < n; index ++) { 3 if (E[index] == K) { 4 return true; // gefunden 5 } 6 } 7 return false; // nicht gefunden 8 } Worst-Case und Best-Case Laufzeit W (n) = n, da n Vergleiche notwendig sind, falls K nicht in E vorkommt (oder wenn K == E[n]). B(n) = 1 für n > 0, da ein Vergleich ausreicht, wenn K gleich E[1] ist. Worst-Case Laufzeit wächst linear mit der Eingabelänge. Beispiel: Lineare Suche Fall Operationen Wahrscheinlichkeit E[0] = K d 0 = 1 p 0 = Nn 1 N n E[0] K E[1] = K d 1 = 2 p 1 = N 1 N 1 N = 1 N E[0... 1] K E[2] = K d 2 = 3 p 2 = ( N 1 N )2 1 N E[0... i 1] K E[i] = K d i = i + 1 p i = ( N 1 N )i 1 N E[0... n 1] K d n = n p n = ( N 1 N )n Average-Case Laufzeit A(n) = n i=0 p i d i = ( n 1 i=0 ( N 1 N ) ) i i+1 N ( ) n + N 1 N n Prof. Dr. Erika Ábrahám Datenstrukturen und 45/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 46/50 Beispiel: Suche nach gleichen Elementen 1 bool equalsearch(int E[], int n) { 2 for (int i = 0; i < n; i ++) 3 for (int j = 0; j < n; j ++) { 4 if (i!= j && E[i] == E[j]) { 5 return true; // Paar gefunden 6 } 7 } 8 return false; // Paar nicht gefunden 9 } Annahme Elementare Operation: Vergleich zweier Array-Elemente. Laufzeiten W (n) = n(n 1) B(n) = 1 (für n > 0) Typische Laufzeiten Anzahl der elementaren Operationen bildet die Basis zur Bestimmung der Wachstumsrate der Zeitkomplexität bei immer längeren/größeren Eingaben. Beispiel Typische Laufzeiten (bis auf einen konstanten Faktor) für Eingabelänge n: 1 konstant log n logarithmisch n linear n log n n-log-n n 2 quadratisch n 3 kubisch n a polynomiell 2 n exponentiell Worst-Case Laufzeit wächst quadratisch mit der Eingabelänge. Prof. Dr. Erika Ábrahám Datenstrukturen und 47/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 48/50

13 Konstante Faktoren Schnellere Computer... Sei N die größte Eingabelänge, die in fester Zeit gelöst werden kann. Technologie führt nur zu Verbesserung um einen konstanten Faktor: Beispiel Selbst ein Supercomputer kann einen schlechten Algorithmus nicht retten: Für genügend große Eingaben gewinnt immer der schnellere Algorithmus auf dem langsameren Computer. Frage Wie verhält sich N, wenn wir einen K-mal schnelleren Rechner verwenden? #Operationen benötigt für Eingabe der Länge n Größte lösbare Eingabelänge log n n K N n 2 K N 2 n N + log K N K Prof. Dr. Erika Ábrahám Datenstrukturen und 49/50 Prof. Dr. Erika Ábrahám Datenstrukturen und 50/50