Algorithmen und Datenstrukturen 1 Kapitel 3

Transkript

1 Algorithmen und Datenstrukturen 1 Kapitel 3 Technische Fakultät robert@techfak.uni-bielefeld.de Vorlesung, U. Bielefeld, Winter 2005/2006

2 Kapitel 3: Strategien der algorithmischen Problemlösung Vorbemerkungen Hier werden an einfachen Beispielen verschiedene Strategien erklärt, die zur Lösung eines wohldefinierten algorithmischen Problems benutzt werden können. In diesem Kapitel nehmen wir an, dass wir die Probleme der Modellierung (Kapitel 2) bereits erfolgreich hinter uns gelassen haben.

3 Unsere Beispiele sind einfach, um die Strategien in Reinform darzustellen. Für umfangreichere Aufgaben werden in der Regel Kombinationen und Mischformen der Strategien eingesetzt. Zusammen mit den Strategien betrachten wir auch den Rechenaufwand, den sie erfordern. Dies allerdings nur intuitiv eine mathematische Behandlung wird später nachgeholt.

4 Zum Aufwand A[... ] für Arithmetik: Die Annahme ist eine Vereinfachung. Sie gilt A[ + ] = A[ (x + y) ] x, y N auf dem Computer für das Rechnen in einem beschränkten Zahlenbereich (32 Bit, 64 Bit) Sie gilt nicht für uns für den Computer beim Rechnen mit beliebig großen Zahlen (In Haskell: Typ Int versus Typ Integer.)

5 Rechnen mit großen Zahlen hat wichtige Anwendungen, z.b. in der Verschlüsselungstechnik. Rechenaufwand hängt auch vom Zahlsystem ab. Dezimal: = 17 (3 A[ + Ziffer ] Binär: = (9 A[ + Ziffer ]) Unär: = (17 A[ 1 ])

6 Leibniz hat als Erster die Binärzahlen beschrieben und bemerkt, dass durch diese Zahldarstellung das kleine und 1 1 einfacher werden, die Zahlen und damit die Rechnungen länger werden. Er hielt die Binärzahlen für elegant, aber unpraktisch.

7 3.1 Ausrechnen von Formeln Dies ist der einfachste Fall. Die Modellierung hat schon ganze Arbeit geleistet und fertige Formeln für die Lösung aufgestellt: Beispiel: Tübinger Parkplatz Variante 1: Variante 2: r(p, m) = 4p + 2m p(n, r) = r 2n 2 m(n, r) = n r 2n 2

8 Probleme, deren Lösungen sich allgemein als fertige Formeln beschreiben lassen, sind zugleich die einfachsten Aufgaben. Das ganze Problem wird auf einen Schlag gelöst. Meistens jedoch müssen Aufgaben erst in Teilaufgaben zergliedert, diese gelöst und deren Lösungen anschließend kombiniert werden.

9 3.2 Strukturelle Rekursion Allgemeines zur Rekursion: Rekursion heißt: Eine Methode M benutzt sich selbst zur Lösung von Problem X Terminierungsfall: Problem direkt lösbar Rekursiver Fall: M(X ) benutzt Lösung von M[X ] Endlose Rekursion tritt auf, wenn beim Übergang M[X ] M[X ] M[X ]... nie der Terminierungsfall erreicht wird. Es gibt verschiedene Wege, Endlosrekursion auszuschließen.

10 Strukturelle Rekursion bedeutet Problemzerlegung durch direkte Zerlegung der Datenstruktur. Berechnen der Spieldauer eines Musikstückes (in Takten): playtime(p(d)) = d playtime(n(t, d)) = d playtime(m 1 m 2 ) = playtime(m 1 ) + playtime(m 2 ) playtime(m 1 + m 2 ) = max(playtime(m 1 ), playtime(m 2 ))

11 Schema der Strukturellen Rekursion: Eine Gleichung pro Konstruktor des Datentyps Nicht-rekursive Konstruktoren Terminierungsfall Rekursive Konstruktoren rekursive Problemzerlegung Weiteres Beispiel: Funktion transponiere (s. Haskell-Vorlesung)

12 Strukturelle Rekursion über Listen Kleinstes Element einer nichtleeren Liste: minimum(x : xs) = min x xs where min a[] = a min a(x : xs) = if a <= x then min a xs else min x xs Hier folgt die Hilfsfunktion min dem Schema der Strukturellen Rekursion. Die Funktion minimum selbst kann nicht durch Strukturelle Rekursion definiert werden, da sie für den Terminierungsfall gerade nicht definiert ist.

13 Aufwand: Entspricht der Größe der Datenstruktur pro Konstruktor wird eine Gleichung angewandt. Das ist der Aufwand des Schemas. Hinzu kommt der Aufwand für die sonstige Operationen auf den rechten Seiten der Gleichungen.

14 Terminierung bei Struktureller Rekursion Terminierung ist gesichert, wenn die Datenstruktur eine endliche Formel ist. Endlos-Rekursion auf unendlichen Datenstrukturen. Beispiel: dauer (ad. libidum (P(1/2))).

15 3.3 Wohlfundierte Rekursion (Teile-und-Herrsche) Allgemeiner als die Strukturelle ist die Wohlfundierte Rekursion. Die Zerlegung des Problems folgt nicht dem rekursiven Aufbau der Datenstruktur. Die Aufgabe wird auf beliebige Aufgaben (der gleichen Art) zurückgeführt, die in einem wohldefinierten Sinn einfacher sein müssen.

16 Eine (partielle) Ordnungsrelation auf einer Menge M erfüllt die Gesetze x y und y z impliziert x z (Transitivität) x y und y x impliziert x = y (Antisymmetrie) x x (Reflexivität) Die Relation < ist definiert als x < y gdw x y und x y und > als y > x gdw x < y

17 Eine absteigende Kette aus M ist eine Folge von Elementen x 1 > x 2 > x 3 >... Eine Ordnungsrelation auf M heißt wohlfundiert, wenn jede absteigende Kette aus M endlich ist (und damit ein kleinstes Element hat).

18 Beispiele aus der Zahlenwelt (N, <) ist wohlfundiert (N, <) ist wohlfundiert für alle N N (Z, <) ist nicht wohlfundiert (Gegenbeispiel: 2 > 1 > 0 > 1 > 2... ) (R + 0, <) ist nicht wohlfundiert (Gegenbeispiel: 1 > 1/2 > 1/4 >... ) (N N, <) mit (a, b) (c, d) gdw a < c oder a = c und b d ist wohlfundiert. Man nennt dies lexikographische Erweiterung von (N, <).

19 Schema der Wohlfundierten Rekursion zur Lösung von P, gegeben eine wohlfundierte Ordnung auf Problemen der Art P: Falls P einfach, löse P direkt. Andernfalls: Bilde Probleme P 1,..., P k mit P > P i Löse P 1,..., P k (rekursiv) Kombiniere diese Lösungen zur Lösung von P Das Verfahren terminiert, weil alle so von P ausgehenden Ketten endlich sind und die Teilprobleme irgendwann einfach werden.

20 Die vier Bestandteile der Methode: Was ist einfach?, Löse direkt, Teile P auf!, und Kombiniere Teil-Lösungen! muss man sich für jede Anwendung neu überlegen. Dabei ist die Relation < ( einfacher ) frei wählbar, nur wohlfundiert muss sie sein.

21 Beispiel: Quicksort Sortiere Liste von n Elementen aufsteigend. Wohlfundierte Ordnung auf Listen: l 1 < l 2 gdw length(l 1 ) < length(l 2 ) Da length(l) N, ist diese Ordnung wohlfundiert.

22 Beispiel: Quicksort Sortiere Liste von n Elementen aufsteigend. Wohlfundierte Ordnung auf Listen: l 1 < l 2 gdw length(l 1 ) < length(l 2 ) Da length(l) N, ist diese Ordnung wohlfundiert. Quicksort (l): Falls l = [] oder l = [a]: Lösung = l. Anderfalls: Wähle x aus l, so dass x nicht maximal ist. Bilde Listen l 1 = [a x l, a x] l 2 = [a x l, x < a] Berechne ˆl1 = Quicksort(l 1 ) ˆl 2 = Quicksort(l 2 ) Lösung = ˆl 1 ++ ˆl 2

23 Achtung: x darf nicht maximales Element in l sein, weil dann l 1 < l verletzt ist. Die Listen l 1 und l 2 sind keine Unterstrukturen der Liste l, daher liegt keine Strukturelle Rekursion vor.

24 Aufwand l l l 1 l 2 [a ] 1 l 2 l l l l [a ] 2 l 22 [a ] 3 l guter Fall kritischer Fall

25 guter Fall: Teile: Rekursionstiefe: Kombiniere: insgesamt auf jeder Ebene 2 n Schritte log 2 n Ebenen n/2 Schritte pro Ebene 3 n log 2 n Schritte kritischer Fall: Teile: auf Ebene i 2 (n i) Schritte Kombiniere: auf jeder Ebene 1 Schritt Rekursionstiefe: n Ebenen insgesamt: n 1 2(n i) + 1 n = n + 2 i i=0 i=1 (n + 1) n = n n 2 + 2n Schritte

26 Beispiel: Schnelle Multiplikation langer Zahlen Vorüberlegung: Wir betrachten zwei n-stellige Zahlen x = x 1,..., x n, y = y 1,..., y n. A[ + ] ist der Aufwand einer Ziffern-Addition. A[ x + y ] 2 n A[ + ] (Addition der Überträge nicht vergessen!) A[ x y ] n 2 A[ ] + 2n 2 A[ + ] Multiplikation ist also erheblich aufwendiger.

27 Schon weil jede Ziffer im Inneren des Diagramms Resultat einer Multiplikation ist, braucht man n 2 elementare Multiplikationen. Besser geht es nicht oder doch?

28 Wir zerlegen die Zahlen in der Mitte x = x 1 x 0 x = x 1 10 n/2 + x 0 y = y 1 y 0 y = y 1 10 n/2 + y 0 x y = (x 1 10 n/2 + x 0 ) (y 1 10 n/2 + y 0 ) = x 1 y 1 10 n + (x 1 y 0 + x 0 y 1 ) 10 n/2 + x 0 y 0 Jetzt haben wir 1 Mulitplikation mit Aufwand n 2 durch vier ( ) 2 Multiplikationen mit Aufwand je n 2 ersetzt. Nichts ist dabei eingespart.

29 x y 1 1 x y 1 x y x y 0 0 xy Idee: Wir können den Wert x 1 y 0 + x 0 y 1 mit nur einer Multiplikation der Länge n/2 berechnen.

30 (x 0 x 1 )(y 0 y 1 ) = x 0 y 0 (x 1 y 0 + x 0 y 1 ) + x 1 y 1 Da x 0 y 0 und x 1 y 1 ohnehin berechnet werden, und Substraktionen nur Aufwand 3 n/2 haben, erhalten wir billig (x 1 y 0 + x 0 y 1 ) = x 1 y 1 + x 0 y 0 + (x 1 x 0 )(y 0 y 1 )

31 x 1 y 1 x y 0 x y 1 (x x )(y y ) xy x y 0 0

32 Die Teilaufgaben x 1 y 1, x 0 y 0, (x 1 x 0 ) (y 0 y 1 ) der Länge n/2 werden nach der gleichen Methode (wohlfundiert rekursiv) berechnet. Wir schätzen ab A[n] 3 A[n/2] < n 2. Ist dies eine signifikante Verbesserung? Damit werden wir uns in Kapitel 5 näher beschäftigen.

33 Das Problem des Handlungsreisenden Das Problem des Handlungsreisenden Ein Vertreter der Intelligent Design Corporation will 12 deutsche Elite-Universitäten besuchen. Die Standorte und ihre Entfernungen (Straßenkilometer) sind in Tabelle Dist angegeben, in Bild 1 sieht man ihre ungefähre Lage. Aber Vorsicht Straßenkilometer sind keine Entfernungen in Luftlinie.

34 Das Problem des Handlungsreisenden Tabelle der Entfernungen AC B BI HB FB HH K L M MS N TÜ Aachen Berlin Bielefeld Bremen Freiburg Hamburg Köln Leipzig München Münster Nürnberg 207 Tübingen Tabelle Dist: Entfernungen in Straßenkilometern

35 Das Problem des Handlungsreisenden Eine Rundtour 257 MS 74 BI 150 K 70 AC 685 HB 119 HH 284 N L 278 B 179 FB TÜ M

36 Das Problem des Handlungsreisenden Die Aufgabe Sein Ziel ist: Eine Rundtour mit beliebigem Ausgangspunkt und minimaler Gesamtstrecke. Jede Stadt darf nur einmal besucht werden (weil der Vertreter sich nach seinem Auftritt an einer Universität meistens in dieser Stadt nicht mehr blicken lassen darf).

37 Das Problem des Handlungsreisenden Vorüberlegungen Vorüberlegung 1: Die Länge einer Rundtour bleibt gleich, wenn wir nur den Start/Zielort ändern. Es ist also nicht nötig, einen besten Startpunkt zu suchen. Wir können eine Tour ebensogut immer in Aachen oder immer in Bielefeld beginnen lassen.

38 Das Problem des Handlungsreisenden Vorüberlegung 2: Wieviele verschiedene Rundtouren gibt es allgemein für n Städte? Zahl der Permutationen p(n) = n (n 1)... 1 = n! (1) Zahl dertouren t(n) = p(n 1) (2) Für 12 Städte t(12) = (3)

39 Das Problem des Handlungsreisenden Strategie 1: Erschöpfende Suche Wir berechnen alle Permutationen der Orte (ohne den festen Startort Bielefeld) perm [ ] = [[ ]] (4) perm xs = {[x : ps ps perm (remove x xs)] x xs]} (5) n gesamt[x 1,..., x n ] = dist(x i 1, x i ) + dist(x n, x 1 ) (6) i=2 Aus allen Touren wählen wir die kürzeste aus.

40 Das Problem des Handlungsreisenden Strategie 2 : Opportunistische Suche (Greedy) Wir fahren von jedem Ort zum nächstgelegenen, der noch nicht besucht wurde. Sei X die Menge der Städte und z 1, z 2,... unsere Route. Wir definieren einfach z 1 = Bielefeld (7) z i = argmin x {Dist(z i 1, x) x X \ {z 1,..., z i 1 }} (8) Hier bedeutet argmin x dasjenige x, das den Ausdruck Dist(z i 1, x) minimiert. Diese Lösung ist heuristisch. Sie gibt mit wenig Aufwand eine Antwort, aber vermutlich findet sie nicht die kürzeste Rundtour.

41 Das Problem des Handlungsreisenden Ergebnisse der Strategien Für unser Beispiel erhalten wir: Die opportunistische Strategie ab Bielefeld liefert die in der Karte eingetragene Rundtour. Sie ist 2690 km lang und nicht optimal. Von Bielefeld erst nach Bremen, das wäre besser ausgegangen! In Aachen anfangend, hätte das verfahren vermutlich eine bessere Tour gefunden. Die erschöpfende Suche soll in den Übungen implementiert werden.

42 Das Problem des Handlungsreisenden Abschätzung des Rechenaufwands Wir betrachten die Anzahl der berechnenten Routen, und die Berechnung einer Entfernungssumme für n Städte: Strategie 1 braucht etwa (n 1)! n = n! Rechenschritte. Strategie 2 braucht etwa n 2 Rechenschritte.

43 Das Problem des Handlungsreisenden Erste Begegnung mit dem praktisch Unmöglichen Unser Problem ist unter dem Namen Traveling Salesman Problem (TSP) berühmt; es ist eines der meist untersuchten Probleme der Informatik. Man kennt keinen Algorithmus, die das Ergebnis mit einer (in n) polynomialen Anzahl von Rechenschritten bestimmt. Für Informatiker sind solche Probleme eine besondere Herausforderung.