Algorithmen und Datenstrukturen 4. Vorlesung

Transkript

1 Algorithmen und Datenstrukturen 4 Vorlesung Karl-Heinz Niggl 25 April 26 FG KTuEA, TU Ilmenau AuD Lösen von Rekursionsgleichungen Die worst-case Laufzeit T A eines rekursiven Algorithmus A ist oft als Rekursion beschreibbar Def Eine totalgeordnete Menge (U, ) heißtwohlgeordnet, falls es keine -absteigenden Folgen u u u 2 gibt Bsp (N,<) ist eine wohlgeordnete Menge Def Eine Rekursion auf einer Wohlordnung (U, ) ist eine Funktion f : U V, die folgende Rekursionsgleichung erfüllt: f(u) = h(u, f(v) v u ) für u U Dabei ist h eine bereits definierte Funktion, die neben dem Rekursionsargument u auf beliebige Vorgängerwerte zurückgreifen darf, dh auf Werte f(v) mit v u FG KTuEA, TU Ilmenau AuD Lösen von Rekursionsgleichungen 2 Bsp ) Die Fibonacci-Funktion fib: N N { n falls n=, fib(n)= fib(n ) + fib(n 2) sonst 2) Die Laufzeit T(n) von merge-sort: { Θ() falls n= T(n)= T( n 2 ) + T( n 2 ) + Θ(n) sonst 3) Jede primitiv rekursive Funktion f : N k+ N: f(, y) = g( y) f(x+, y) = h(x, y,f(x, y)) 4) Die Ackermannfunktion (vgl Standard-Lehrbuch) Lösen von Rekursionsgleichungen 3 Die 3-stellige Ackermannfunktion A: N 3 N ist durch eine zweifache Rekursion (Hauptrekursionnachn undnebenrekursion nach y) definiert: A(,x,y) = y + x falls n = A(n +,x,) = falls n = falls n > A(n +,x,y + ) = A(n,x,A(n +,x,y)) Bem ) A ist nicht primitiv rekursiv wird später in AT oder AKKT bewiesen 2) Aber jeder n-te Ackermannsche Zweig A n : N 2 N, A n (x,y):=a(n, x, y), ist primitiv rekursiv FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD

2 Lösen von Rekursionsgleichungen 4 Ziele: ) Die Rekursionsbaum-Methode: Liefert ia eine gute Vermutungüberdie asymptotische LösungeinerRekursion 2) Induktionsbeweise für solche (korrekten) Vermutungen 3) Die Variablensubstitutionsmethode 4) Die Iterationsmethode: Wie Rekursionsbaum-Methode 5) Das Master-Theorem: Liefertasymptotische Lösungenfür Rekursionen der Gestalt: T(n) = a T(n/b) + f(n) wobei a, b > und n/b für n b oder n b steht Lösen von Rekursionsgleichungen 5 Zulässige Vernachlässigungen beim Formulieren und Lösen von Rekursionen T(n) = a T(n/b) + f(n): ) T(n) ist für n R + definiert Insb vernachlässige, 2) Man kann stets annehmen: T(n) = Θ() für hinreichend kleine n Man kann also Rekursionen wie folgt angeben: T(n) = a T(n/b) + f(n) Grund: Uns interessieren lediglich asymptotische Lösungen T(n) = Θ(g(n)) oder T(n) = O(g(n)) Eine exakte Angabe von T(n) für hinreichend kleine n verändert nicht die Wachstumsordnung von T(n) FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD Lösen von Rekursionsgleichungen 6 Bsp ) T(n) = 2 T( n 2 ) + n Wegen Ähnlichkeit zur Rekursionsgl bei merge-sort: Vermutung: T(n)=O(n log n) Zeige: () T(n) c n log n für c > und n n geeignet Wertverlaufsinduktion Sei n n beliebig (n noch offen) und gelte die IV für n/2 n (c> noch offen) Dann gilt: T(n) 2 (c n 2 log n 2 ) + n nach ) und IV c n log n 2 + n nach m m, Mono = c n log n c n log 2 + n nach log-regeln c n log n für jedes c Lösen von Rekursionsgleichungen 7 Fage: Was ist nun n bzw c>? Jedenfalls wird () T(n) c n log n falsch für n =, denn: T() = c log, da log = Aber für n=2,3 gilt schon (), denn für n = 2 gilt T(2) = 2 T() + 2 nach ) c 2 log 2 für c T() + und für n=3 folgt () aus T(3)=3 T() + 3 c 3 log 3 für c T() + Also setze n :=2, c:=t() + und () ist bewiesen FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD

3 Lösen von Rekursionsgleichungen 8 Bsp 2) Feinheiten: Manchmal vermutet man eine richtige asymptotische Lösung einer gegebenen Rekursion, aber der Induktionsbeweis geht nicht durch Betrachte zb: (2) T(n) = T( n/2 ) + T( n/2 ) + Man vermutet richtig: T(n)=O(n) Aber der Induktionsbeweis für T(n) c n scheitert für jedes c > und n Denn (2) und die IV liefern nur: T(n) c n/2 + c n/2 + = c n + nach Blatt 3 Was nun? Lösen von Rekursionsgleichungen 9 Bsp 2) Lösung: Man beweist eine verschärfte Aussage: n n : T(n) c n d für c,d > und n geeignet Wertverlaufsind Sei n n beliebig (n noch offen) und gelte die IV für n/2, n/2 n (c,d noch offen) Dann gilt: T(n) (c n/2 d) + (c n/2 d) + nach (2), IV = c n 2d + nach Blatt 3 c n d für jedes d Was ist nun n? Wähle n := 2, denn für n=2 gilt: T(2) = 2 T() + c 2 d für T() + d+ 2 c Dies legt auch c> fest, fertig FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD Lösen von Rekursionsgleichungen Bsp 3) Variablensubstitution: Hilft manchmal, um eine Lösung aus einer schon bekannten Lösung zu gewinnen ZB: (3) T(n) = 2 T( n) + log n Für m := log n erhalten wir aus (3) die Gleichung T(2 m ) = 2 T(2 m 2 ) + m Setzt man S(m) := T(2 m ), so erhält man die Rekursion: S(m) = 2 S(m/2) + m Nach Bsp ) gilt S(m) = O(m log m) Also erhalten wir: T(n)=T(2 m )=S(m)=O(m log m)=o(log n log(log n)) Lösen von Rekursionsgleichungen Bsp 4) Iterationsmethode: Falte schrittweise die gegebene Rekursion aus und führe Buch über die Kosten ZB: T(n) = n + 3 T(n/4) Schritt = n + 3 (n/4 + 3 T(n/6)) 2 Schritt = n n + 32 T(n/42 ) Ausrechnen = n n + 32 ( n + 3 T( n )) 3 Schritt = n n + (3 4 )2 n T( n ) Ausrechnen 4 3??? n ( 3 4 )i < n ( 3 4 )i geom Reihe i log 4 n = n 3/4 i= = O(n) Wissen! Wegen T(n) n gilt sogar T(n) = Θ(n) FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD 25426

4 Lösen von Rekursionsgleichungen 2 Lösen von Rekursionsgleichungen 3 Bsp 5) Rekursionsbaum-Methode: Liefert ia eine gute Vermutung über die asymptotische Lösung einer Rekursion Def Sei T(n) = eine Rekursion Der Rekursionsbaum für T(n) entstehe durch maximales Ausfalten von T(n) mit: Jeder innere Knoten ist mit den Kosten des zugehörigen rekursiven Aufrufs beschriftet Jedes Blatt ist mit den konstanten Kosten Θ() für genügend kleine Problemgrößen beschriftet Summe derkostenallerstufen=gesamtkostenderrekursion T(n) Dies führt (ia nach Vereinfachung) zu einer guten Vermutung über die Lösung für T(n) Bsp T(n) = 3 T(n/4) + T(n) FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD Lösen von Rekursionsgleichungen 4 Bsp T(n) = 3 T(n/4) + Lösen von Rekursionsgleichungen 5 Bsp T(n) = 3 T(n/4) + T( n 4 ) T(n 4 ) T( n 4 ) 3 6 cn2 2 T( n 6 ) T( n 6 ) T( n 6 ) T( n 6 ) T( n 6 ) T( n T( n 6 ) T( n 6 ) T( n 6 ) 6 ) FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD

5 Lösen von Rekursionsgleichungen 6 Bsp T(n) = 3 T(n/4) + Lösen von Rekursionsgleichungen 7 c( n 4 )2 3 6 cn2 3 6 cn2 2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 ( 3 6 )2 2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 ( 3 6 )2? T()T()T()T()T()T()T()T() T()T()T() T()T()T()T() Θ(n log4(3) )? T()T()T()T()T()T()T()T() T()T()T() T()T()T()T() Θ(n log4(3) ) Stufe i d=baumtiefe besteht aus 3 i Knoten (vgl Blatt 4) Kosten pro Knoten auf Stufe i < d: c ( n 4 i ) 2 = c n2 6 i = Kosten auf Stufe i < d: 3 i c n2 6 i = ( 3 6 )i FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD ? Lösen von Rekursionsgleichungen 8 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 c( n 6 )2 T()T()T()T()T()T()T()T() c( n 4 )2 c( n 6 )2 T()T()T() T()T()T()T() Stufe d: Problemgröße n= wird erreicht für d=log 4 n = Stufe d besteht aus n log 4 3 Knoten (vgl Blatt 4) = Kosten auf Stufe d: c n log 4 3 = Θ(n log 4 3 ) 3 6 cn2 ( 3 6 )2 Θ(n log4(3) ) Lösen von Rekursionsgleichungen 9 = Gesamtkosten von T(n) bei (log 4 n) + Stufen: T(n) = ( 3 6 )i cn2 + Θ(n log 4 3 ) i<log 4 n < cn2 6 )i + Θ(n log 4 3 ) ( 3 i= = 3/6 + Θ(nlog 4 3 ) = Θ(n 2 ) = Vermutung: T(n) = O(n 2 ) Wir zeigen: T(n) d n 2 für n 4 und d> geeignet FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD

6 Lösen von Rekursionsgleichungen 2 Wertverlaufsinduktion Sei n 4 beliebig n=4 = T(4) = 3 T() + c4 2 d4 2 für d c T() n>4 Dann gilt nach Def der Rekursion und IV: T(n) 3 (d ( n/4 ) 2 ) + 6 dn2 3 + dn 2 für d 3 c 6 denn 6 dn2 3 + dn 2 c d ( 3/6) Wähle also d max{c + 6 T(), 3 3 c} 6 Bem Es gilt auch T(n) = Ω(n 2 ) Denn jeder Aufruf von T bzgl Problemgröße n trägt Kosten Θ(n 2 ) bei Lösen von Rekursionsgleichungen 2 Satz (Master-Theorem) Seien a,b> Konstanten und f : N R + eine Funktion Betrachte die Rekursion (6) T(n) = a T(n/b) + f(n) wobei n/b für n/b oder n/b steht Dann gilt: f(n)=o(n log b a ǫ ) für ein ǫ > = T(n)=Θ(n log b a ) 2 f(n)=θ(n log b a ) = T(n)=Θ(n log b a log n) 3 f(n)=ω(n log b a +ǫ ) für ein ǫ >, und a f(n/b) c f(n) für eine Konstante c (,) und n b = T(n)=Θ(f(n)) FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD Lösen von Rekursionsgleichungen 22 Beweis Seien a,b> und f : N R + wie im Master- Theorem (MT), und erfülle T(n) die Rekursionsgleichung: (6) T(n) = a T(n/b) + f(n) Sei nun N b := {n N n = b,b,b 2,} die Menge der exakten Potenzen von b Der Beweis erfolgt dann in zwei Schritten: Schritt Beweise MT für T(n) auf N b 2 Schritt Erweitere die Analyse für N b auf ganz N + Insbesondere behandle Aufrunden und Abrunden Lösen von Rekursionsgleichungen 23 Lemma (MT-) T : N b R + erfülle die Gleichnung: { Θ() falls n= T(n)= a T(n/b) + f(n) falls n=b i > = T(n) = Θ(n log b a ) + a j f(n/bj ) Lemma (MT-2) Sei g(n)= a j f(n/b j ) für n N b f(n)=o(n log b a ǫ ) für ein ǫ > = g(n)=o(n log b a ) 2 f(n)=θ(n log b a ) = g(n)=θ(n log b a log n) 3 a f(n/b) c f(n) für c (,), n b = g(n)=θ(f(n)) FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD

7 Lösen von Rekursionsgleichungen 24 Beweis von MT- Betrachte den Rekursionbaum für T(n): 2? f( n b ) f(n b ) f(n b ) a a a Θ()Θ()Θ()Θ()Θ()Θ()Θ()Θ() f(n) a f( n b 2) f( n b 2) f( n b 2) f( n b 2) f( n b 2) f( n f( n b 2) f( n b 2) f( n b 2) b 2) Θ()Θ()Θ() Θ()Θ()Θ()Θ() Stufe j d=baumtiefe=log b n besteht aus a j Knoten mit jeweils f(n/b j ) für j < d Stufe d besitzt n log b a Knoten mit jeweils Θ() f(n) a 2 f( n b 2) a 2 f( n b 2) Θ(n log b(a) ) Lösen von Rekursionsgleichungen 25 = Die Gesamkosten der Rekursion T(n) ergeben: T(n) = Kosten auf Stufe d + Kosten aller Stufen j < d = n log a Θ() b + a j f(n/bj ) = Θ(n log b a ) + a j f(n/b j ) Beweis von MT-2 Tafelmitschrift! FG KTuEA, TU Ilmenau AuD FG KTuEA, TU Ilmenau AuD Lösen von Rekursionsgleichungen 26 Lemma (MT-2) Sei g(n)= a j f(n/b j ) für n N b f(n)=o(n log b a ǫ ) für ein ǫ > = g(n)=o(n log b a ) 2 f(n)=θ(n log b a ) = g(n)=θ(n log b a log n) 3 a f(n/b) c f(n) für c (,), n b = g(n)=θ(f(n)) Interpretation: Die drei Fälle entsprechen den drei möglichen Vergleichen zwischen den Kosten f(n) der Wurzel und den Gesamtkosten Θ(n log b a ) der Blätter In jedem Fall gewinnt das dominierende Wachstum FG KTuEA, TU Ilmenau AuD

8