Rekursionen (Teschl/Teschl 8.1/8.2)

Transkript

1 Rekursionen (Teschl/Teschl 8.1/8.2) treten in vielen Algorithmen auf: Eine Rekursion ist eine Folge von Zahlen a 0, a 1, a 2,.., bei der jedes a n aus seinen Vorgängern berechnet wird: Beispiele a n = f n (a n 1, a n 2,..., a n k ) Horner-Schema: y i = y i 1 x + b i, Verzinsung mit Zinssatz r: a n = (1 + r) a n 1, Approximation von ( ) 2: a n = 1 a n a n 1, Speicherplatz auf CDs: a n = a n 1 + a n 2. Allgemein basieren zahlreiche Verfahren zur näherungsweisen Lösung von Gleichungen bzw. Gleichungssystemen auf Rekursionen. folgen13.pdf, Seite 1

2 Einschub: Folgen (Teschl/Teschl 6.1) Eine (Zahlen-)Folge (a n ) = (a n ) n N ist eine Abbildung a : N R, n a n. Die reellen Zahlen a 1, a 2, a 3,... heiÿen Folgenglieder. Beispiel: a n = 2 n ergibt die Folge 2, 4, 8, 16,..., die Folgenglied a 6 ist dann gleich 2 6 = 64. Mögliche Beschreibung von Folgen durch geschlossenen Ausdruck (Funktionsgleichung), z. B. (an ) = ( 1 n (an ) = ( n+1 n (an ) = (( n ) : 1, 1 2, 1 3,... ) : 2, 3 2, 4 3, 5 4,... ) n ) : 2; 2, 25; 2, 37; 2, 44;... Hier kann zu gegebenem n N das Folgenglied a n direkt berechnet werden. folgen13.pdf, Seite 2

3 Rekursive Folgen Hier wird jedes Folgenglied aus seinem/seinen Vorgänger(n) berechnet, d. h. um a n zu berechnen, müssen vorher a 1, a 2,..., a n 1 bestimmt werden. Beispiele ( ) Die Rekursionsvorschrift a n = 1 a n a n 1 bzw. ) a n+1 = (a 1 2 n + 2an mit dem Startwert a 1 = 1 ergibt die ) Folge a 1 = 1; a 2 = (a a1 = 3; 2 2 ) ( a 3 = (a a2 = ) = 17 1, 417; 12 ) a 4 = (a a3 1, 414; a 5 1, 414;... 2 Mit a 0 = a 1 = 1 und der Rekursionsvorschrift a n+1 = a n + a n 1 erhält man die Folge der FibonacciZahlen 1, 1, 2, 3, 5, 8, 13, 21,..., bei der jedes Folgenglied die Summe seiner zwei Vorgänger ist. folgen13.pdf, Seite 3

4 Konvergenz Eine Folge (a n ) konvergiert gegen den Grenzwert a R, wenn ε > 0 N 0 N n N 0 : a n a < ε, Für alle ε > 0 gibt es ein N 0 N, sodass für alls n N 0 gilt a n a < ε. Notation: lim n a n = a (von lateinisch Limes Grenze) In Worten: Die Folgenglieder a n nähern sich für groÿe n dem Grenzwert a beliebig an. Beispiele 1 lim n = 0, lim n n n+1 = 1 ( n lim n n n) = e = 2, (Eulersche Zahl) ) Die durch a 1 = 1 und a n+1 = (a 1 2 n + 2an rekursiv denierte Folge konvergiert gegen 2. folgen13.pdf, Seite 4

5 Beispiel: Approximation von 2 a 1 = 1 a 2 = 1, 5 a 3 = 1, a 4 = 1, a 5 = 1, a n = 1, für n 6. Divergente Folgen Eine Folge, die gegen kein a R konvergiert, heiÿt divergent. Beispiel Die Folge 1, 1, 2, 3, 5, 8,... der FibonacciZahlen ist divergent, ebenso die alternierende Folge 1, 1, 1, 1,... folgen13.pdf, Seite 5

6 Bestimmt divergente Folgen streben gegen oder : Man sagt lim n a n =, falls es zu jeder Konstante c R ein N 0 N gibt, sodass a n > c für alle n N 0, analog lim n a n =, falls es zu jeder Konstante c R ein N 0 N gibt, sodass a n < c für alle n N 0. Eigenschaft Ist (a n ) bestimmt divergent (d. h. lim n a n = oder lim n a n = ), so gilt lim n 1 a n = 0. 1 Ist umgekehrt lim n a n = 0 und a n > 0 (bzw. a n < 0) für n N 0, so folgt lim n a n = (bzw. lim n a n = ). folgen13.pdf, Seite 6

7 Eigenschaften konvergenter Folgen Der Grenzwert einer konvergenten Folge ist eindeutig bestimmt. Sind (a n ) und (b n ) konvergente Folgen mit lim n a n = a und lim n b n = b, so gelten die Grenzwertsätze lim n (a n ± b n ) = a ± b, lim n (c a n ) = c a, lim n (a n b n ) = a b, a lim n n b n = a, falls b 0. b Beispiel lim n 2n 2 4n + 5 3n 2 + n 1 = lim n 2 4 n + 5 n n 1 n 2 = 2 3. folgen13.pdf, Seite 7

8 Bemerkungen Die Grenzwertsätze lassen sich in vielen Situationen sinngemäÿ auf den Fall bestimmt divergenter Folgen (also a oder b ist oder ) übertragen. Dabei ist jedoch zu beachten, dass Ausdrücke wie, 0 oder nicht sinnvoll deniert sind. Nicht jede divergente Folge ist bestimmt divergent. Gegenbeispiele sind Folgen wie 1, 1, 1, 1,..., 1, 2, 3, 4, 5, 6,... oder 1, 2, 3, 4, 3, 2, 1, 2, 3, 4, 3, 2, 1,... folgen13.pdf, Seite 8

9 Grenzwerte und stetige Funktionen Ist lim n a n = a, so gilt für stetige Funktionen f wie z. B. Polynome, rationale Funktionen, Wurzel-, Exponential- und Logarithmusfunktion oder sin und cos lim f (a n) = f (a), n falls a n und a im Denitionsbereich von f liegen. Beispiele lim n cos 1 = cos 0 = 1 n lim n2 +1 n = lim n+1 n = lim n n 2 +1 (n+1) 2 1+1/n 2 = lim n 1+2/n+1/n 2 = 1 = 1 n 2 +1 n 2 +2n+1 folgen13.pdf, Seite 9

10 Monotone Folgen Eine Folge (a n ) ist monoton wachsend oder monoton steigend, wenn a n+1 a n für alle n bzw. monoton fallend, wenn a n+1 a n für alle n. Sie heiÿt monoton, wenn sie entweder monoton steigend oder monoton fallend ist. Eine Folge (a n ) ist beschränkt, wenn es eine Konstante c gibt mit a n c für alle n. Satz Jede monotone und beschränkte Folge ist konvergent. Beispiel ) n a n = ( n lim n a n = e = 2, (Eulersche Zahl) folgen13.pdf, Seite 10

11 Beispiel 2 Die Folge (a n ) sei rekursiv deniert durch ) (a n + = 1an 1 + (a n 1) 2 a n+1 = 1 2 2a n mit einem beliebig vorgegebenen Startwert a 0 > 1. Es folgt a n 1 für n 1, also ist (a n ) nach unten beschränkt. Weiter ist a n a n+1 = a n 1 ) (a n + 1an = 1 ) (a n 1an 0 für alle n. 2 2 Es folgt, dass (a n ) monoton fallend ist und somit a n = a n a 0 für alle n, d. h. (a n ) ist beschränkt. Die Folge ist also monoton fallend und beschränkt und somit konvergent. folgen13.pdf, Seite 11

12 Berechnung des Grenzwerts im Beispiel Für den (noch unbekannten) Grenzwert a = lim n a n gilt ) a = lim a 1 n+1 = lim (a n + 1an = 1 ( a + 1 ) n n 2 2 a 1 2 a = a a = 1 a = 1 a = 1. a2 Folgerung: Berechnung von x für x > 0 beliebig Mit der oben betrachteten Folge (a n ) und b n = x a n folgt lim n b n = x und b n+1 = x a n+1 = 1 ( ) x x an + = 1 ) (b n + xbn, 2 2 d. h. die Folge mit der Rekursionsformel b n+1 = 1 2 konvergiert gegen x. a n (b n + xbn ) folgen13.pdf, Seite 12

13 Bemerkung Die Vorgehensweise bei der Berechnung des Grenzwertes kann verallgemeinert werden: Die Folge (a n ) sei rekursiv deeniert durch die Vorschrift a n+1 = f (a n ) mit einer stetigen Funktion f : R R. Wenn der Grenzwert a = lim n a n existiert, so muss gelten a = lim n a n = lim n a n+1 = lim n f (a n ) = f (lim n a n ) = f (a), d. h. a erfüllt die Gleichung f (a) = a (man sagt a ist Fixpunkt von f ). Dabei wurde benutzt, dass für jede konvergente Folge (a n ) gilt lim n a n = lim n a n+1. Warnung: Die obige Argumentation funktioniert nur, wenn vorausgesetzt wird, dass der Grenzwert a = lim n a n existiert. folgen13.pdf, Seite 13

14 Im Beispiel Die Funktion f (x) = 1 2 Fixpunkt x 0 = 1. ( x + 1 x ) hat für x > 0 den eindeutigen folgen13.pdf, Seite 14

15 Komplexität von Algorithmen (Teschl/Teschl 8.3) Beispiel: Suchen eines Datensatzes in einer Datenbank mit n Einträgen (z. B. Telefonbuch) Lineare Suche: bis zu n Vergleiche nötig, Lexikalische Suche: log 2 n Vergleiche genügen. folgen13.pdf, Seite 15

16 Einschub: Logarithmen Für eine Konstante a > 0 ist der Logarithmus zur Basis a, y = log a x, für x (0; ) deniert als (eindeutig bestimmte) Zahl y R mit a y = x, d. h. y = log a x ist die Umkehrfunktion von x = a y. Der Logarithmus zur Basis e = 2, heiÿt natürlicher Logarithmus, Notation ln x = log e x Beispiel: log 2 8 = 3, da 2 3 = 8 Rechenregeln log a 1 = 0, log a (x y) = log a x + log a y, log a x y = log a x log a y, log a x b = b log a x, log a x = log b x log b a, speziell log a x = ln x ln a folgen13.pdf, Seite 16

17 Beispiel zur Komplexität: Rechenaufwand bei der Auswertung (Berechnung) von Polynomen direkt: p(x) = a n x... x a 1 x + a 0 erfordert n Additionen und n + (n 1) = 1 n(n + 1) Multiplikationen 2 (nach Gauÿscher Summenformel, siehe Beispiel zur vollständigen Induktion). Mit Horner-Schema: jeweils n Additionen und Multiplikationen. Fazit Aufwand bei Hornerschema O(n) gegenüber O(n 2 ) bei direkter Berechnung. folgen13.pdf, Seite 17

18 O Symbol (LandauSymbol) Gegeben seien zwei Folgen (a n ) und (b n ). Man sagt a n = O(b n ) (sprich GroÿO), wenn es eine Konstante C gibt mit a n C b n für alle n. a n wächst nicht stärker als b n. Äquivalent dazu ist, dass b n > 0 für alle n und die Folge beschränkt ist. Alternative Notation (formal korrekter): a n O(b n ) ( ) a n b n folgen13.pdf, Seite 18

19 Beispiele 1 2 n n = O(n2 ), denn aus n n 2 für alle n N folgt n ( 1 + ) 3 2 n n 2 = 2n2 Alternativ kann die Folge der Quotienten betrachtet werden: a n b n = 1 n2 +3n = 1 (1 + 3) 1 für n 2 n 2 2 n 2 Da jede konvergente Folge beschränkt ist, folgt daraus a n = O(b n ) mit a n = n und b 2 n2 n = n 2. 2 n + log 2 n = O(n), denn log 2 n n n + log 2 n 2n Fazit: Der am stärksten wachsende Anteil einer Summe bestimmt das Gesamtwachstum. folgen13.pdf, Seite 19

20 Kleines osymbol a n = o(b n ) (sprich KleinO), a wenn b n > 0 und lim n n b n = 0 a n wächst langsamer als b n Bemerkung a n = o(b n ) a n = O(b n ) Beispiel n = o(n), denn n n = n1/2 n 1 = n = n 1/2 = 1 n 0 für n. folgen13.pdf, Seite 20

21 Vergleich des Wachstums elementarer Folgen 1 = o(log b n), wenn b > 1, da log b n 1 log b n 0 log b n = o(n r ), wenn r > 0, n r = o(n s ), wenn r < s, da nr n s = n r s 0, wenn r s < 0 n r = o(b n ), wenn b > 1, b n = o(c n ), wenn b < c, da = ( ) bn b n 0, wenn b < 1 c n c c b n = o(n!), n! = o(n n ). Bemerkung Wegen log b n = log n c log c n = log log c b log b n c b haben Logarithmen mit unterschiedlichen Basen das gleiche Wachstumsverhalten. folgen13.pdf, Seite 21

22 Beispiele log 2 n = o( n), d. h. die Wurzelfunktion wächst (für n ) stärker als log 2 n n = o(n) (Wurzel wächst langsamer als n) n = o(n 2 ) n 3 = o(n 5 ) (je gröÿer die Potenz, desto stärker das Wachstum) n 8 = o(2 n ) (Exponentialfunktion wächst stärker als jede Potenz) 2 n = o(3 n ) 10 n = o(n!) n! = o(n n ) folgen13.pdf, Seite 22

23 folgen13.pdf, Seite 23

24 Beispiel Komplexität O(n!) Ein Computer, der Rechenschritte pro Sekunde schat, benötigt für n! Rechenschritte 0, 004 Sekunden bei n = 10, 0, 5 Sekunden bei n = 12, 87 Sekunden bei n = 14, knapp 6 Stunden bei n = 16, 4 Tage bei n = 17, fast 4 Jahre bei n = 19, 77 Jahre bei n = 20, Jahre bei n = 22 folgen13.pdf, Seite 24

25 Eigenschaften der O Symbole Ist a n = O(b n ) und b n = O(c n ), so folgt a n = O(c n ). Steht an (mindestens) einer der beiden Stellen ein Klein-o, so ist a n = o(c n ). Aus a n = O(c n ) und b n = O(c n ) folgt r a n + s b n = O(c n ) für beliebige r, s R. Ist a n = o(c n ) und b n = o(c n ), so ist r a n + s b n = o(c n ) Ist a n = O(b n ) und c n = O(d n ), so folgt a n c n = O(b n d n ) Steht an (mindestens) einer der beiden Stellen ein Klein-o, so ist a n c n = o(b n d n ). Ist a n = o(b n ), so kann nicht gelten b n = O(a n ). Dagegen sind a n = O(b n ) und b n = O(a n ) gleichzeitig möglich (Beispiel a n = n 2 + n und b n = 2n 2 ). folgen13.pdf, Seite 25

26 Beispiele Aus n 2 = o(2 n ) und 2 n = o(n!) folgt n 2 = o(n!). n 2 + 2n + n = O(n 2 ), da n = o(n 2 ) und n = n 1/2 = o(n 2 ) 2n + n = o(n 2 ) 2n + n = O(n 2 ) 3 2 n + n 2 + log 2 n = O(2 n ), da n 2 = o(2 n ) und log 2 n = o(2 n ) n 2 + 2n ln n = O(n 2 ), da ln n = O(n) n ln n = O(n 2 ) (5n 3 + 2n 2 n + 3) log 7 n = O(n 3 log 7 n) = O(n 3 ln n) (da log 7 n = ln n = O(ln n)) ln 7 Aus 3n 2 + n = O(n 2 ) und ln n = o(n) folgt (3n 2 + n) ln n = o(n 3 ) folgen13.pdf, Seite 26

27 Bemerkungen Der Ausdruck b n im OSymbol O(b n ) ist nicht eindeutig bestimmt. Z. B. ist n = O(n 3 ) oder n = O(n ln n)). In der Praxis sucht man eine Folge (b n ), die möglichst einfach ist (wie (n), (n 2 ), (n ln n) oder (n!)) und die das das Wachstum möglichst gut abschätzt. Das Gesamtwachstum einer Summe wird immer durch den Summanden mit dem gröÿten Wachstum bestimmt (z. B. n 2 + 2n = O(n 2 )). Wegen log b n = ln n ist O(log ln b b 1 n) gleichbedeutend mit O(log b2 n). Mit schreibt in diesem Fall einfach O(log n) und spricht von logarithmischem Wachstum. folgen13.pdf, Seite 27

28 Sortieralgorithmen (gegeben Liste mit n Einträgen) naiver Ansatz: Suche kleinsten Listeneintrag und setze ihn an erste Stelle, suche zweitkleinsten Eintrag... (n 1) + (n 2) = 1 n(n 1) Vergleiche 2 und n 1 Vertauschungen Aufwand O(n 2 ). Bubble Sort: Aufwand O(n 2 ) Merge Sort: Aufwand O(n log 2 n) Quick Sort: Aufwand O(n 2 ) im worst case, jedoch meist O(n log 2 n) folgen13.pdf, Seite 28

29 Beispiel Merge Sort folgen13.pdf, Seite 29

30 Bemerkung Im Beispiel benötigt Merge Sort 14 Vergleiche gegenüber 21 bei Bubble Sort. Bei Sortierung einer Liste mit 1000 Einträgen benötigt Bubble Sort = Vergleiche, während Merge Sort 2 mit weniger als = auskommt (wegen 2 10 = 1024 log ). Somit ist der Aufwand mit Bubble Sort mehr als 50 mal so groÿ wie mit Merge Sort. folgen13.pdf, Seite 30

31 Vergleich von Rechenzeiten Die Laufzeit bei Sortierung einer Liste mit n Einträgen mit Bubble Sort beträgt etwa c n 2, wobei c eine (unbekannte, rechnerabhängige) Konstante ist. Erhöht sich die Zahl der Listeneinträge auf m, so wächst der Rechenaufwand um den Faktor cm2 = ( ) m 2 cn 2 n Dauert beispielsweise die Sortierung einer Liste mit 1000 Einträgen 0,001 Sekunden, so sind bei Einträgen 0,1 Sekunden und bei Einträgen etwa 15 Minuten zu erwarten. Bei Merge Sort wächst der Aufwand dagegen nur um den Faktor m log m. Bei 0,001 Sekunden für 1000 Einträge führt n log n dies zu 2 Sekunden für Einträge. folgen13.pdf, Seite 31