Übersicht. Datenstrukturen und Algorithmen. Die Teile-und-Beherrsche-Methode. Übersicht. Vorlesung 3: Rekursionsgleichungen (K4)

Transkript

1 Datenstrukturen und Algorithmen Vorlesung 3: (K4) 1 e für rekursive Algorithmen Prof. Dr. Erika Ábrahám 2 Theorie Hybrider Systeme Informatik 2 datenstrukturen-und-algorithmen/ Diese Präsentation verwendet in Teilen Folien von Joost-Pieter Katoen. 3 Lösen von 24. April 2014 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 1/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 2/36 e für rekursive Algorithmen e für rekursive Algorithmen Die Teile-und-Beherrsche-Methode 1 e für rekursive Algorithmen 2 3 Lösen von Teile-und-Beherrsche (divide-and-conquer) Teile das Problem in eine Anzahl von Teilproblemen auf Beherrsche die Teilprobleme kleine Teilprobleme: direktes Lösen große Teilprobleme: Teile-und-Beherrsche Verbinde die Lösungen der Teilprobleme zur Lösung des Ausgangsproblems Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 3/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 4/36

2 e für rekursive Algorithmen e für rekursive Algorithmen Summenberechnung Pascalsches Dreieck Iterative Berechnung (n IN) sum(n) = Rekursive Berechnung (n IN) n i 0 falls n = 0 sum(n) = sum(n 1) + n sonst Rekursive Berechnung (n, m IN, m n) pas(n, m) = 1 falls m = 0 m = n pas(n 1, m 1) + pas(n 1, m) sonst. Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 5/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 6/36 e für rekursive Algorithmen Multiplikation von Binärzahlen der Länge n Bisher: Addition und Multiplikation haben Zeitaufwand O(1) Addition: O(n) Bitoperationen Multiplikation: Auch O(n)? 1. Multiplikationsalgorithmus (a 1... a n ) (b 1... b n ) = (a 1... a n ) b 1 (a 1... a n ) b 2... (a 1... a n ) b n Summenbildung n 1 Additionen von Zahlen der Länge 2n O(n 2 )! e für rekursive Algorithmen Multiplikation von Binärzahlen der Länge n Beobachtung Seien a, b Binärzahlen mit n = 2 m bits. Dann a = a 1... a n/2 a n/ a n b = b 1... b n/2 b n/ b n }}}}}}}} a a b b a b = (a 2 n 2 + a ) (b 2 n 2 + b ) = a b 2 n + a b 2 n 2 + a b 2 n 2 + a b 2. Multiplikationsalgorithmus a b falls n = 1 mul(a, b, n) = mul(a, b, n 2 ) 2n + mul(a, b, n 2 ) 2 n 2 + mul(a, b, n 2 ) 2 n 2 + mul(a, b, n 2 ) sonst. Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 7/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 8/36

3 1 e für rekursive Algorithmen Rekursionsgleichung 2 3 Lösen von Eine Rekursionsgleichung ist eine Gleichung oder eine Ungleichung, die eine Funktion durch ihre eigenen Funktionswerte für kleinere Eingaben beschreibt. Wir benutzen um die Laufzeit von rekursiven Algorithmen zu beschreiben. Zur Ermittlung der Laufzeit lösen wir diese Gleichungen. Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 9/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 10/36 für O(Worst-Case-Laufzeit) für Worst-Case-Laufzeit Rekursionsgleichung für eine obere Grenze der Worst-Case Laufzeit T A (n) eines Algorithmus A mit Parameterlänge n aufstellen Elementare Operationen und ihre Kosten werden bestimmt. Bei sequentieller Komposition werden die Kosten addiert. Bei bedingter Verzweigung wird das Maximum der beiden Zweige genommen. Der Aufruf eines Unterprogrammes B mit Parameterlänge f (n) wird mit den Kosten T B (f (n)) der Ausführung des Unterprogrammes versehen. Auch rekursive Aufrufe werden wie Unterprogramm-Aufrufe behandelt. : Teile-und-Beherrsche (divide-and-conquer) Teile das Problem in eine Anzahl von Teilproblemen auf Beherrsche die Teilprobleme kleine Teilprobleme: direktes Lösen große Teilprobleme: Teile-und-Beherrsche Verbinde die Lösungen der Teilprobleme zur Lösung des Ausgangsproblems Laufzeit = Laufzeit Teilen + Laufzeit Beherrschen + Laufzeit Verbinden Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 11/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 12/36

4 Summenberechnung Pascalsches Dreieck Rekursive Berechnung (n IN) Laufzeit 0 falls n = 0 sum(n) = sum(n 1) + n sonst. T sum (n) = 0 falls n = T sum (n 1) + 1 sonst. Rekursive Berechnung (n, m IN, m n) pas(n, m) = Laufzeit 1 falls m = 0 m = n pas(n 1, m 1) + pas(n 1, m) sonst. T pas (n, m) = 0 falls m = 0 m = n 3 + T pas (n 1, m 1) + T pas (n 1, m) + 1 sonst. Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 13/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 14/36 Multiplikation von Binärzahlen der Länge n Lösen von 2. Multiplikationsalgorithmus a b falls n = 1 mul(a, b, n) = mul(a, b, n 2 ) 2n + mul(a, b, n 2 ) 2 n 2 + mul(a, b, n 2 ) 2 n 2 + mul(a, b, n 2 ) sonst. 1 e für rekursive Algorithmen 2 Laufzeit 1 falls n = 1 T mul (n) = d 1 n + 4 T mul ( n 2 ) + d 2 n sonst. 3 Lösen von Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 15/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 16/36

5 Lösen von Ansätze zur Lösung von Lösen von Lösungsansätze Substitutionsmethode: Lösung raten, per Induktion Korrektheit beweisen Rekursionsbaum-Methode: Rekursionsbaum aufstellen, Summenformeln beschränken : Liefert Lösungen für einer bestimmten Form, einfach aber nicht immer anwendbar Substitutionsmethode besteht aus zwei Schritten: 1. Rate die Form der Lösung, durch z.b. durch scharfes Hinsehen oder kurze Eingaben ausprobieren und einsetzen. 2. Vollständige Induktion um die Konstanten zu finden und zu zeigen, dass das Geratene eine Lösung ist. Bemerkungen Diese Methode ist sehr leistungsfähig, aber kann nur angewendet werden wenn es relativ einfach ist, die Form der Lösung zu erraten. Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 17/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 18/36 Lösen von Substitutionsmethode: Summenberechnung Laufzeit 0 falls n = 0 T sum (n) = T sum (n 1) + 2 sonst. Vermutung: T sum (n) O(n) Zeige: c > 0. n 0 0. n n 0. T sum (n) c n Induktionsanfang n 0 = 0: T sum (0) = 0 c 0 for all c > 0. Induktionsannahme: T sum (k) c k für alle 0 k < n Induktionsschritt: T sum (n) = T sum (n 1) + 2 c (n 1) + 2 = c n + (2 c) c n für c 2. Lösen von : Annahmenverstärkung Induktiv vs. invariant Eine asymptotische Schranke kann nicht immer direkt mit der vollständigen Induktion bewiesen werden. induktiv invariant T (n) = T ( n/2 ) + T ( n/2 ) + 1 T (n) O(n) Zu zeigen: c > 0. n 0 0. n n 0. T (n) c n T (n) = T ( n/2 )+T ( n/2 )+1 c n/2 +c n/2 +1 = c n + 1 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 19/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 20/36

6 Lösen von : Annahmenverstärkung T (n) = T ( n/2 ) + T ( n/2 ) + 1 T (n) O(n) Zu zeigen: c > 0. n 0 0. n n 0. T (n) c n T (n) = T ( n/2 )+T ( n/2 )+1 c n/2 +c n/2 +1 = c n + 1 Verstärke die Invariante und zeige T (n) O(n 1) und n 1 O(n) Zu zeigen: c > 0. n 0 0. n n 0. T (n) c (n 1) T (n) = T ( n/2 ) + T ( n/2 ) + 1 c( n/2 1) + c( n/2 1) + 1 = c (n 1) + (1 c) c (n 1) für c 1. Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 21/36 Lösen von : Variablentransformation Manchmal hilft eine Variablentransformation beim Lösen. T (n) = 2 T ( n ) + log n für n > 0 (Im Folgenden vernachlässigen wir die Rundung von Werten.) T (n) = 2 T ( n) + log n Variablentransformation m = log n ( T (2 m ) = 2 T 2 m/2) + m Umbenennung T (2 m ) = S(m) S(m) = 2 S(m/2) + m Substitutionsmethode S(m) c m log m S(m) O (m log m) m = log n T (n) O (log n log log n) Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 22/36 1 e für rekursive Algorithmen 2 3 Lösen von Lösen von Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 23/36 Lösen von Raten der Lösung durch Grundidee Stelle das Ineinander-Einsetzen als Baum dar, indem man Buch über das aktuelle Rekursionsargument und die nichtrekursiven Kosten führt. Rekursionsbaum 1. Jeder Knoten stellt die Kosten eines Teilproblems dar. Die Wurzel stellt die zu analysierenden Kosten T (n) dar. Die Blätter stellen die Kosten der Basisfälle dar, z.b. T (0) oder T (1). 2. Wir summieren die Kosten innerhalb jeder Ebene des Baumes. 3. Die Gesamtkosten := summieren über die Kosten aller Ebenen. Hinweis Ein Rekursionsbaum ist sehr nützlich, um eine Lösung zu raten, die dann mit Hilfe der Substitutionsmethode überprüft werden kann. Der Baum selber reicht jedoch meistens nicht als Beweis. Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 24/36

7 Lösen von Lösen von Rekursionsbaum: Der Rekursionsbaum von T (n) = 3 + n sieht etwa so aus: Rekursionsbaum: log 4 n T (n) n n 3 Aktuelles Rekursionsargument T (n) n Nichtrekursive Kosten T () T () T () T () T () T () 9 T () T () T () T () T () T () T (1) T (1) T (1) T (1) T (1) T (1) T (1) T (1) T (1) T (1) T (n) = 3 log 4 n = n log 4 3 log 4 n 1 }} Summe über alle Ebenen ( ) 3 i n 4 }} Kosten pro Ebene + c n log 4 3 }} Gesamtkosten für die Blätter mit T (1) = c Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 25/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 26/36 Rekursionsbaum: Lösen von Eine obere Schranke für die Komplexität erhält man nun folgendermaßen: T (n) = < = log 4 n 1 ( 3 4 ) i n + c n log 4 3 Vernachlässigen kleinerer Terme ( ) 3 i n + c n log 4 3 Geometrische Reihe (3/4) n + c nlog 4 3 Umformen = 4 n + c n log 4 3 Asymptotische Ordnung bestimmen setze ein, dass log 4 3 < 1 T (n) O(n). Korrektheit Lösen von Wir können die Substitutionsmethode benutzen, um die Vermutung zu bestätigen dass: T (n) O(n) eine obere Schranke von T (n) = 3 + n ist. T (n) = 3 + n 3c + n = 3 4 c n + n = Induktionshypothese ( 3 4 c + 1 ) n für c 4 folgt: c n Und wir stellen fest, dass es ein n 0 gibt, sodass T (n 0 ) c n 0 ist. Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 27/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 28/36

8 Lösen von Lösen von 1 e für rekursive Algorithmen 2 3 Lösen von Allgemeine Form der Rekursionsgleichung Eine Rekursionsgleichung für die Komplexitätsanalyse sieht meistens folgendermaßen aus: ( ) n T (n) = a T + f (n) b wobei a > 0, b > 1 gilt und f (n) eine gegebene Funktion ist. Intuition: Das zu analysierende Problem teilt sich jeweils in a Teilprobleme auf Jedes dieser Teilprobleme hat die Größe n b Die Kosten für das Aufteilen eines Problems und Kombinieren der Teillösungen sind f (n). Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 29/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 30/36 Lösen von Erinnerung: Rekursionsbaum T (n) = a T ( ) n b + f (n) log b n T (n/b 2 ) f (n/b 2 ) T (n/b) f (n/b)... T (n/b 2 ) f (n/b 2 ) T (n) f (n)... T (n/b) f (n/b) T (n/b 2 ) f (n/b 2 )... T (n/b 2 ) f (n/b 2 ) T (1) T (1) T (1) T (1) T (1) T (1) T (1) T (1) T (1) T (1) T (n) = log b n 1 }} Summe über alle Ebenen a log b n = n log b a a i f (n/b i) }} Kosten pro Ebene + c n log b a }} Gesamtkosten für die Blätter mit T (1) = c f (n) af (n/b) a 2 f (n/b 2 ) Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 31/36 Das T (n) = a T Lösen von ( n b ) + f (n) mit a 1 und b > 1. Anzahl der Blätter im Rekursionsbaum: n E mit E = log b a. Wenn Dann 1. f (n) O(n E ε ) für ein ε > 0 T (n) Θ(n E ) 2. f (n) Θ(n E ) T (n) Θ(n E log n) 3. f (n) Ω(n E+ε ) für ein ε > 0 und a f (n/b) d f (n) für ein d < 1 und n hinreichend groß T (n) Θ(f (n)) Bemerke, dass das nicht alle Fälle abdeckt. Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 32/36

9 Das verstehen Lösen von In jedem der 3 Fälle wird die Funktion f (n) mit n E = n log b a verglichen. : Intuition Wenn Dann 1. f (n) polynomiell kleiner ist als n E T (n) Θ(n E ) 2. f (n) und n E die gleiche Größe haben T (n) Θ(n E log n) 3. f (n) ist polynomiell größer als n E und erfüllt a f (n/b) d f (n) Nicht abgedeckte Fälle: T (n) Θ(f (n)) 1. f (n) ist kleiner als n E, jedoch nicht polynomiell kleiner. 2. f (n) ist größer als n E, jedoch nicht polynomiell größer. 3. f (n) ist polynomiell größer als n E, erfüllt nicht a f (n/b) d f (n). Lösen von Anwendung des s T (n) = 4 T (n/2) + n Somit: a = 4, b = 2 und f (n) = n; E = log 4/ log 2 = 2. Da f (n) = n O(n 2 ε ), gilt Fall 1: T (n) Θ(n 2 ) T (n) = 4 T (n/2) + n 2 Somit: a = 4, b = 2 und f (n) = n 2 ; E = log 4/ log 2 = 2. Da f (n) = n 2 O(n 2 ε ), gilt Fall 1 nicht. Aber weil f (n) = n 2 Θ(n 2 ), gilt Fall 2: T (n) Θ(n 2 log n) Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 33/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 34/36 Lösen von Anwendung des s T (n) = 4 T (n/2) + n 3 Somit: a = 4, b = 2 und f (n) = n 3 ; E = log 4/ log 2 = 2. Wegen E = 2 gelten Fälle 1 und 2 offenbar nicht. Da f (n) = n 3 Ω(n 2+ε ) für ε = 1, könnte Fall 3 gelten. Überprüfe: gilt f (n/2) d 4 f (n) für ein d < 1 und hinreichend große n? Dies liefert 1 8 n3 d 4 n3, und dies gilt für alle 1 2 d < 1 (und n) Somit gilt Fall 3 tatsächlich und wir folgern: T (n) Θ(n 3 ) Lösen von Das ist nicht immer anwendbar T (n) = 4 T (n/2) + n2 log n Also gilt: a = 4, b = 2 und f (n) = n 2 / log n; E = 2. Fall 1 ist nicht anwendbar: n 2 / log n O(n 2 ε ), da f (n)/n 2 = (log n) 1 O(n ε ). Fall 2 ist nicht anwendbar: n 2 / log n Θ(n 2 ). Fall 3 ist nicht anwendbar: f (n) Ω(n 2+ε ), da f (n)/n 2 = (log n) 1 O(n +ε ). Das hilft hier überhaupt nicht weiter! Durch Substitution erhält man: T (n) Θ(n 2 log log n) Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 35/36 Prof. Dr. Erika Ábrahám Datenstrukturen und Algorithmen 36/36