Algorithmik 1. Organisatorisches. Friedrich-Alexander-Universität Erlangen-Nürnberg. Informatik 2/8 Programmiersysteme / Künstliche Intelligenz

Transkript

1 Orgaisatorisches Algorithmik 1 Regelug um die Weihachtspause: Diestag, : Vorlesug fällt aus Mittwoch, : Vorlesug fidet statt Der Tutoriebetrieb läuft bis zum (eischließlich) ud startet wieder am Verlägerte Abgabefriste Lotto-Aufgabe vo Blatt 8: Motag, , 9:00 Uhr 9. Übugsblatt: Motag, , 9:00 Uhr. Prof. Dr. Michael Philippse / Prof. Dr. Herbert Stoya Friedrich-Alexader-Uiversität Erlage-Nürberg Iformatik 2/8 Programmiersysteme / Küstliche Itelligez Algorithmik 1, WS 2004/05, Folie 13-2 Kapitel 13 - Skalierbarkeit ud Aufwad Algorithmewahl Diest Algorithme ud Datestrukture Zuverlässigkeit Korrektheit Robustheit Aufwad Skalierbarkeit Skalierbarkeit: Beherrschbarkeit des Wachstums Hady aus! geeigete Fuktioalität Klasse moderat steigeder Aufwad Algorithmus Algorithmik 1, WS 2004/05, Folie 13-3 Dyamische Mege, ADT Algorithmik 1, WS 2004/05, Folie 13-4 O-Kalkül, Komplexität

2 Aufwad Die Größe der Mege der Eigabedate für eie Algorithmus ka stark variiere. Das Verhalte eies Algorithmus sollte durch die Größe der Eigabedate ur moderat beeiflusst werde: Zum Beispiel soll ei Sortieralgorithmus 10, 100, 1000, 10000,... Dateelemete sortiere köe, ohe bei mehr Elemete bedeuted mehr Ressource (Zeit, Speicher) zu beötige. Bei der Implemetierug eies Algorithmus sollte ma also daach strebe, dass der Zeit- ud Speicheraufwad ur moderat mit der Größe der Eigabedate wächst. Beispiel: Coutig Sort Sortiere atürlicher Zahle x[0],...,x[] // Maximum suche for (it i=0; i<=; i++) Häufigkeit des Vorkommes s... if (x[i]> max) max=x[i]; 0 1 Durchläufe 2 max // Neues Feld der Läge max+1 iitialisiere it s[] = ew it[max+1]; for (it i=0; i<=max; i++) s[i]=0; max Durchläufe // Zähle, wie oft welche Zahl i x vorkommt for (it i=0; i<=; i++) s[x[i]]++; Durchläufe // x eu auffülle for (it i=0, j=0; i<=max; i++) while (s[i]>0) {x[j++]=i; s[i]--; mid. max Durchläufe Algorithmik 1, WS 2004/05, Folie 13-5 Isgesamt 2 +2 max Schleifedurchläufe zum Sortiere vo atürliche Zahle (Duplikate möglich). Taugt der Algorithmus was? Uter welche Umstäde ist er sivoll? Algorithmik 1, WS 2004/05, Folie 13-6 Vergleich vo Algorithme Algorithme verbrauche Rechezeit: Ausführugszeit des Programms selbst I der Praxis auch: Zeit für Ei-/Ausgabe, Zeit für Betriebsystem,... verbrauche Speicher für Programm ud Datestrukture: Platz für das Programm selbst Platz für seie statische Datestrukture Platz für seie dyamische Datestrukture Fragestelluge: Ist Algorithmus A scheller/sparsamer als Algorithmus B? Ka ei Algorithmus sigifikat verbessert werde? Umfag ud Aufwad Umfag : Azahl der Eigabewerte, z.b. Läge eier Liste Aufwad T() : Meist Azahl der Zeiteiheite, die der Algorithmus für Problem mit Umfag beötigt. Machmal: Azahl der Speichereiheite. Hägt der Aufwad icht ur vom Umfag ab, soder auch vo de tatsächliche Eigabewerte, da iteressiert ferer: ugüstigster Aufwad ( worst-case ) mittlerer Aufwad ( average-case ) Aufwad im beste Fall ( best-case ) Algorithmik 1, WS 2004/05, Folie 13-7 Algorithmik 1, WS 2004/05, Folie 13-8

3 Biärer Suchbaum = Biärbaum, für desse Kote k gilt value(left) < value(k) < value(right), falls die Kider existiere. Es muss eie (totale) Ordugsrelatio < auf dem Elemettyp T existiere, damit ma die Werte der Kote vergleiche ka. Beispiel Algorithmik 1, WS 2004/05, Folie < < 3 < < < Welche Aufwad hat das Eifüge eies eue Kotes? Suchbäume sehe je ach Eifügereihefolge aders aus (1) Algorithmik 1, WS 2004/05, Folie Beim Eifüge vo 3 müsse 2 Kote utersucht werde. Beim Eifüge vo 5 müsse 2 Kote utersucht werde. Suchbäume sehe je ach Eifügereihefolge aders aus (2) Beim Eifüge vo 2 müsse 3 Kote utersucht werde. Beim Eifüge vo 5 muss ur 1 Kote utersucht werde. Suchbäume sehe je ach Eifügereihefolge aders aus (3) Der Aufwad des Eifüges hägt ab vo der Azahl der scho vorhadee Kote im Baum (Umfag ) de tatsächliche Eigabewerte. Zeitaufwad im beste Fall: 1 Kote muss utersucht werde Zeitaufwad im schlechteste Fall: Kote sid i absteigeder Sortierug eigefügt worde. Der Baum ist zur Liste degeeriert. Der eizufügede +1-te Kote hat de kleiste Wert. Alle vorhadee Kote müsse utersucht werde. Mittlerer Zeitaufwad: Bei gleichverteilte Kotewerte müsse log Kote utersucht werde. Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie 13-12

4 Asymptotischer Aufwad Der exakte Aufwad eies Algorithmus etwa i Form der Azahl der Recheschritte bis zur Termiierug oder der verbrauchte Zeit ist kaum berechebar. Lieare Faktore sid für die Theorie uiteressat. Verschiedee Recher sid um Faktore uterschiedlich schell (GHz-Klasse) Wichtiger ist die ugefähre Größeordug, mit der der Aufwad i Abhägigkeit vom Umfag Eigabe wächst. Hierbei iteressiert vor allem der Aufwad für sehr große Umfäge. T() g() Algorithmik 1, WS 2004/05, Folie f() T() f() g() 10 Umfag 100 Umfag f,g: Aufwad uterschiedl. Algorithme. O-Kalkül Um die Größeordug des Aufwadswachstums festzulege, wird das asymptotische Verhalte der Aufwadsfuktio zumeist mit eiem Repräsetate eier bestimmte Fuktiosklasse vergliche. Der O-Kalkül erlaubt die Beschreibug solcher Vergleiche zwische Fuktioe. Edmud Ladau, , deutscher Zahletheoretiker Algorithmik 1, WS 2004/05, Folie Grudgedake: Obere Schrake: Wir teile Fuktioe, die Aufwad bereche i Fuktiosklasse ei. Für c,, 0 ù Igoriere GHz-Klasse O(f()) = { g() c>0 0 >0 0 : 0 g() c f() O-Notatio (asymptotisch obere Schrake), groß-o h()0o(f()): h() wächst höchstes so schell wie f() Defiitio: O(f()) = { g() c>0 0 >0 0 : 0 g() c f() Mege! sprich: groß-o f,g reellwertig, asymptotisch icht-egativ Ab Umstiegspukt 0 ist g() kleier als f() multipliziert mit eier beliebige Kostate. h() 0 O(f()) c f() h() h() O(f()) bedeutet: h() wächst höchstes so schell wie f(). Selbst bei eier Multiplikatio mit eiem beliebig große Faktor ist h() für große kleier als f(). 0 Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie 13-16

5 O-Notatio (asymptotisch obere Schrake), groß-o O(f()) = { g() c>0 0 >0 0 : 0 g() c f() Beispiele: Betrachte h() = 2 + Es gilt ² I der Mege O(²) sid (auch) alle Fuktioe, dere Wert ab eiem 0 uter 2² sid. Daher gilt h() = ²+ 0 O( 2 ) Betrachte h() = 5²+15 Es gilt ab 6: 5² ² 3. I der Mege O( 3 ) sid (auch) alle Fuktioe, dere Wert ab eiem 0 uter 6² sid. Daher gilt h() = 5²+15 0 O( 3 ) Es gilt atürlich auch h() 0 O( 2 ) Algorithmik 1, WS 2004/05, Folie O-Kalkül gibt sehr grobe obere Schrake a. Beispiel (1) Gegebe: x, a, a -1,..., a 0 Gesucht: P (x) = a x + a -1 x a 1 x + a 0 Horer-Schema (für Vo-Neuma-Recher): p = a[]; for (it i = -1; i >= 0; i--) p = p * x + a[i]; Zeitaufwad ist i O() Algorithmik 1, WS 2004/05, Folie Die Schleife wird mal durchlaufe. Jeder Durchlauf hat kostate Zeitbedarf. Beispiel (2) Gegebe: Aufgabe: Algorithmik 1, WS 2004/05, Folie Zeichefolge A = a 1, a 2,..., a Stelle fest, ob A ei Palidrom ist, d.h. i {1...: a i =a +1-i Algorithmus (für Vo-Neuma-Recher): for (it i=1; i<=; i++) { if (a[i]!= a[+1-i]) { retur false; retur true; Zeitaufwad ist i O() Die Schleife wird höchstes/im schlimmste Fall mal durchlaufe. Für jede Durchlauf ka ei maximaler, aber kostater oberer Zeitbedarf agegebe werde. Bei Falluterscheidug, i der Regel Aufwad des teuerste Falls veraschlage Implemetierugsbeispiel legth eier Liste (1) Liste class Liste {... //rekursiver Asatz it legth() { retur legth(kopf); private it legth(elemet e) { if (e == ull) retur 0; else retur 1+legth(e.voriges); legth wird rekursiv aufgerufe, dabei wird die Liste jeweils um 1 Elemet gekürzt. Bei Elemete gibt es Aufrufe. Der Rumpf hat kostate maximale Zeitbedarf Algorithmik 1, WS 2004/05, Folie kopf Zeitaufwad ist i O() Elemet voriges voriges voriges

6 Implemetierugsbeispiel legth eier Liste (2) Liste class Liste {... //etrekursivierte Fassug it legth() { it le = 0; Elemet e = kopf; while (e!= ull) { e = e.voriges; le += 1; retur le; kostater Aufwad vor ud ach der Schleife. Der Schleiferumpf hat kostate Aufwad. Die Schleife wird für jedes der Elemete eimal durchlaufe. Algorithmik 1, WS 2004/05, Folie kopf 0, e 1, e 2, e 3, e Elemet voriges voriges voriges Zeitaufwad ist i O(). Implemetierugsbeispiel legth eier Liste (3) class Liste { it legth Liste() {... legth = 0;... Liste apped(elemet eu) {... legth++; Liste tail() {... legth--; it legth() { retur legth;... Algorithmik 1, WS 2004/05, Folie Jetzt ist die Listeläge i kostater Zeit O(1) ablesbar. Dafür falle bei m Operatioe m Eiheite zusätzliche Aufwads a. O-Kalkül diet also der pi-mal-daume-abschätzug des Aufwads i Abhägigkeit der Problemgröße! Ist diese Daumeschätzug aussagekräftig? Illustratio am Beispiel (1) Aufgabe: Fide i eiem Zahlevektor de Abschitt, desse Elemete addiert, die größte Summe ergebe. Hierfür gibt es eie Algorithmus mit O( 3 ) ud eie mit O(), siehe Abschitt Alpha 21164A (533 MHz), C-Programm, O( 3 )-Algo. Radio Shack TRS-80 (2,03 MHz), BASIC-Programm, O()-Algo. 10 0,58µs 195ms ,58ms 1,95s ,58s 19,5s mi 40s 3mi 15s d 16h 6mi 40s 32mi 30s y 142d 23h 6mi 40s 5h 25mi Umschlagpukt bei ca. =5800 ud t=1 mi 53 s Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie 13-24

7 Illustratio am Beispiel (2) auf eiem Recher, der 1 Nao-Sekude (10-9 ) pro Operatio braucht, dauert die Berechug vo f() f()=ld µs µs µs µs µs µs µs µs µs µs µs Algorithmik 1, WS 2004/05, Folie f()= 0.01 µs 0.02 µs 0.03 µs 0.04 µs 0.05 µs 0.1 µs 1.0 µs 10 µs 0.1 ms 1 ms 0.01 s f()= ld µs µs µs µs µs µs µs 130 µs 1.67 ms ms 0.23 s f()= µs 0.4 µs 0.9 µs 1.6 µs 2.5 µs 10 µs 1 ms 100 ms 10 s 16.7 mi 1.16 Tage f()=2 1 µs 1 ms 1 s 18.3 mi 13 Tage Jahre f()=! 3.63 ms 77.1 Jahre Jahre Illustratio am Beispiel (3) Laufzeite für ei Problem vom Umfag =1000 auf uterschiedlich schelle Recher ud mit uterschiedlich schelle Algorithme besserer Algorithmus Aufwad Laufzeit 1000/Sek. log log Algorithmik 1, WS 2004/05, Folie Laufzeit 2000/Sek. Laufzeit 4000/Sek schellerer Recher 0.25 Laufzeit 8000/Sek Aufwad für ei Problem: Verschiedee Algorithme zur Berechug vo f köe bei gleicher Eigabe uterschiedliche Aufwad habe. Eigetlich iteressiert ma sich für de Aufwad des Problems ud icht für de Aufwad eies kokrete Algorithmus Daher zwei Aufgabe: Bestimme kleiste mögliche Aufwad für das Problem = Komplexität des Problems Bestimme Algorithmus mit kleistem mögliche Aufwad Dauerbeschäftigug des Algorithmikers, auch für us i weite Teile der Vorlesug! Auf de tatsächliche Aufwad habe auch Eifluss: Programmiersprache Recherorgaisatio Prozessorgeschwidigkeit Algorithmik 1, WS 2004/05, Folie Recheregel (1) Erierug: O(f()) = { g() c>0 0 >0 0 : 0 g() c f() Seie f() 0 O(r()) ud g() 0 O(s()), c>0 kostat. Da f() + g() 0 O(r() + s()) f() g() 0 O(r() s()) c f() 0 O(r()) f() ± c 0 O(r()) Exemplarische Beweis-Skizze: Es gibt Kostate c 1, 1, c 2, 2, so dass f() c 1 r() für > 1 ud g() c 2 s() für > 2. Mit dem größere c i ud dem größere j köe die erste beide obige Recheregel gezeigt werde. Algorithmik 1, WS 2004/05, Folie Kostate ±c muss rechts vo f() stehe, wege asymptotisch icht-egativ

8 Recheregel (2) Etsprechede Regel für Subtraktio gilt icht. Exemplarisches Gegebeispiel: f() = O( 2 ) g() = 2 0 O( 2 ) f()-g() = = 2 0 O( 2 ) aber: ó O( 2-2 )=O(0) Etsprechede Regel für Divisio gilt icht. Es gilt ur: f() / g() 0 O(r() / g()) icht: s() Recheregel (3) Bei O(log ) ka ma auf die Basis des Logarithmus verzichte, da der Wechsel der Basis ur eie kostate Verschiebug ausmacht. Für c>0 ud a>1 ud f() mooto steiged gilt: f c () 0 O(a f() ). Expoetielle Fuktioe wachse stärker als polyomielle Fuktioe Beispiele: c 0 O(a ) (log a ) c 0 O(a log a ) = O() Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie Amerkuge zum Eiweg-Gleichheitszeiche I der Literatur fidet ma oft statt f 0 O(g) eie Schreibweise mit Gleichheitszeiche: f = O(g). Die rechte Seite O(g) ethält viel mehr Iformatioe als die like. Ma muss daher beim Lese 0 oder f deke. Die Tatsache, dass auf der rechte Seite eie Mege steht wird dabei verborge. Quelle vieler Fehler! Achtug: das Gleichheitszeiche ka ma i diesem Fall ur i eie Richtug lese: Die Rückrichtug gilt icht: O(g) f Recheregel (4) Erweiterug: arithmetische Operatioe auf Fuktioeklasse Es gilt (für Fuktioe f,g ud Kostate c>0): c O(f) = O(c f) = O(f) O(f) O(g) = O(f g) O(f g) = f O(g) O(O(f)) = O(f) O(f) ± c = O(f ± c) = O(f) O(f) + O(f) = O(f) O(f+g) = O(max(f,g)) aber atürlich icht: O(f) = f Für jede Kostate ud jede Umstiegspukt auf der like Seite gibt es eie Kostate ud eie Umstiegspukt für die rechte Seite. Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie 13-32

9 Beweis vo O(f+g) = O(max(f, g)) Richtug f: Sei t() 0 O(f()+g()). Da gibt es ei c0ú + ud ei 0 0ù, so dass für alle > 0 gilt t() c (f()+g()) Nach Def. vo max: 2 c max(f(), g()) Mit c = 2 c gilt für alle > 0 damit t() c max(f(), g()) Also ist t() 0 O(max(f(), g())) Richtug g: Sei t() 0 O(max(f(), g())). Da gibt es ei c0ú + ud ei 0 0ù, so dass für alle > 0 gilt t() c max(f(), g()) Nach Def. vo max: c (f()+g()) Also ist t() 0 O(f()+g()) Beispiele * 0 O( * ) //obige Recheregel = O(17 * ) //obige Recheregel = 17 * O() //obige Recheregel = O() //obige Recheregel a x + a -1 x -1 + a -2 x a 0 = O(x ) Beweis durch vollstädige Iduktio: Iduktiosafag =0 : a 0 0 O(a 0 ) = a 0 * O(1) = O(x 0 ) Iduktiosschritt -1 : a x + a -1 x -1 + a -2 x a 0 0 O(x * (a x -1 + a -1 x a 1 ) + a 0 ) = O(x * (a x -1 + a -1 x a 1 )) = O(x) * O(a x -1 + a -1 x a 1 ) = O(x) * O(x -1 ) //Iduktiosvoraussetzug = O(x ) q.e.d. Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie Das O-Kalkül gibt eie sehr grobe obere Schrake a. Alle Algorithme, die wir bisher kee gelert habe sid i O(2 ), sie brauche also icht mehr als expoetielle Zeitaufwad. Weitere Abschätzuge sid ötig egere Greze ach obe Utere Schrake Doald Kuth: Meist wird mit Aufwad im O-Kalkül argumetiert, ma meit dabei aber eigetlich die kleiste obere Schrake. Dafür gibt es adere Fuktiosklasse... o-notatio (obere Schrake), klei-o h() 0 o(f()): h() wächst deutlich lagsamer als f() Defiitio: Jetzt icht wie bei O es gibt irgedeie Kostate, soder egal für welche Kostate. o(f()) = { g() c>0 0 >0 0 : 0 g() < c f() h() 0 o(f()) c f() h() 0 Aders ausgedrückt: es gilt also: lim h() / f() = 0 Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie 13-36

10 o-notatio (obere Schrake), klei-o o(f()) = { g() c>0 0 >0 0 : 0 g() < c f() Beispiele: 2 0 o( 2 ) 2 wächst deutlich lagsamer als ². Für jede Kostate c>0 ka also ei 0 agegebe werde, so dass ab 0 gilt: c ² > 2. Ω-Notatio (asymptotisch utere Schrake), groß-omega h() 0 Ω(f()): h() wächst midestes so schell wie f() Defiitio: Ω(f()) = { g() c>0 0 >0 0 : 0 c f() g() h() 2 2 ó o( 2 ) h() 0 Ω(f()) c f() 2 ² wächst dagege icht deutlich lagsamer als ². Z.B. ka für die Kostate c=1 kei 0 agegebe werde, so dass ab 0 gilt: ² > 2 ². 0 Währed O gewissermasse zum Ausdruck brigt, steht o für <. Algorithmik 1, WS 2004/05, Folie Beispiele: Ω( 2 ) Ω(2 ) ó Ω( 3 ) Algorithmik 1, WS 2004/05, Folie ω-notatio (utere Schrake), klei-omega h() 0 ω(f()): h() wächst deutlich scheller als f() Defiitio: ω(f()) = { g() c>0 0 >0 0 : 0 c f() < g() h() ω-notatio (utere Schrake), klei-omega ω(f()) = { g() c>0 0 >0 0 : 0 c f() < g() Beispiele: 2 /2 0 ω() 2 /2 ó ω( 2 ) h() 0 ω(f()) c f() Währed Ω gewissermaße zum Ausdruck brigt, steht ω für >. 0 Aders ausgedrückt: Es gilt also: lim h() / f() = Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie 13-40

11 Θ-Notatio (asymptotisch gebude), groß-theta h() 0 Θ(f()): h() wächst ebeso schell wie f() Defiitio: Θ(f()) = { g() c 1 >0 c 2 >0 0 >0 0 : 0 c 1 f() g() c 2 f() h() 0 Θ(f()) 0 c 2 f() h() c 1 f() Recheregel (5) Sadwich-Gedake : f() 0 Θ(g()) geau da, we f() 0 O(g()) ud f() 0 Ω(g()). Symmetrie: f() 0 Θ(g()) geau da, we g() 0 Θ(f()) Beweisskizze: Y: Es gibt c 1 >0, c 2 >0, 0 >0 so dass für alle > 0 gilt: 0 c 1 g() f() c 2 g() Damit gilt auch 0 g() f()/c 1 ud 0 f()/c 2 g() Z: aalog Keie Symmetrieeigeschaft: O, o, Ω, ω Beispiele: a 2 + b 0 Θ( 2 ) a 2 ó Θ() a 2 ó Θ( 3 ) Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie Recheregel (6) f() 0 O(g()) geau da, we g() 0 Ω(f()) Iformell: f wächst höchstes so schell wie g = g wächst midestes so schell wie f f() 0 o(g()) geau da, we g() 0 ω(f()) Iformell: f wächst deutlich lagsamer als g = g wächst deutlich scheller als f. Reflexivität: f() 0 Θ(f()), f() 0 O(f()), f() 0 Ω(f()) Keie Reflexivität: o ud ω Trasitivität: We f() 0 O(g()) ud g() 0 O(h()), da f() 0 O(h()). Auch trasitiv: o, Ω, ω, Θ Eifluss des Maschiemodells auf de Aufwad Der Aufwad eies Algorithmus hägt vo der zugrudeliegede Recherarchitektur ab. Bisher Radom Access Machie (RAM), Vo-Neuma-Recher Diet i der Regel als Maschiemodell für Aufwadsberechuge: ei Prozessor Hauptspeicher ubeschräkt groß Speicherzelle ubeschräkt lag eie Zeiteiheit je elemetarer Operatio a i a i+1 a i+2... a j-1 a j... Rechewerk Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie 13-44

12 Die Turig-Maschie Turig-Maschie wird i der theoretische (Potetiell) uedliches Bad mit Felder Iformatik vertieft. Geau ei Zeiche je Feld Ei Schreib-/Lesekopf bewegt sich über das Bad. Nur das Zeiche, auf dem der Lesekopf steht, ka im ächste Recheschritt verädert werde. Der Kopf ka i eiem Recheschritt ei Feld ach liks oder ei Feld ach rechts bewegt werde. a i a i+1 a i+2... a j-1 a j Aufwad hägt vom Maschiemodell ab (1) Palidrom-Algorithmus für Turig-Maschie: Kopfbeweguge a 1 a 2 a 3... a -1 a Rechewerk Aufwad i O( 2 ) Rechewerk Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie Aufwad hägt vom Maschiemodell ab (2) Palidrom-Algorithmus für 2-Kopf-Turig-Maschie: Kopfbeweguge 1 2 a 1 a 2 a 3... a -1 a Rechewerk Aufwad i O() Rekurreze We ei Algorithmus sich selbst rekursiv aufruft, ka seie Laufzeit oft mit eier Rekurrez beschriebe werde. Eie Rekurrez ist eie Gleichug oder Ugleichug, bei der der Fuktioswert i Form vo Fuktioswerte für kleiere Eigabewerte beschriebe wird. Eie allgemeie Algorithmus zur Lösug eier Rekurrez gibt es icht. Beispiel Rekurrez des Skylie-Problems, Abschitt 8.5 T(1) = 1 T() = 2 T(/2) + Liste i zwei Hälfte aufteile Ergebis zusammebaue I Abschitt 8.5 erarbeitete Lösug der Rekurrez: T() = +. log 2 () 0 O(. log 2 ()) Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie 13-48

13 Löse vo Rekurrezrelatioe: Abschätzugsmethode (1) Eie Rekurrez lässt sich löse, idem eie Lösug errate wird: Bereche T() für eiige. Schätze geschlossee Form für T() (oder ggf. ur Schrake). Beweise (Iduktio?), dass das geschätzte T() korrekt ist. Beispiel: Für als 2er Potez: T() = 2 T(/2) + 4 ud T(1) = 1 T(1) = 1 = 1 +5 T(2) = = 6 +10=2 5 T(4) = = =4 5 T(8) = = =8 5 T(16) = = 76 = = = = = Daher Vermutug: T() = O() Löse vo Rekurrezrelatioe: Abschätzugsmethode (2) Eie Rekurrez lässt sich löse, idem eie Lösug errate wird: Bereche T() für eiige. Schätze geschlossee Form für T() (oder ggf. ur Schrake). Beweise (Iduktio?), dass das geschätzte T() korrekt ist. Beispiel: Für als 2er-Potez: T() = 2 T(/2) + 4 ud T(1) = 1, Vermutug: T() = O() Beweis Iduktiosafag =1: T(1) = 1 = Iduktiosschluss (/2 ): T() = 2 T(/2) + 4 = 2 (5 /2-4) + 4 = 5-4 //q.e.d. Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie Abschätzugsmethode am Fiboacci-Beispiel (1) fib() = fib(-1) + fib(-2) fib(1) = fib(2) = 1 Abschätzugsmethode am Fiboacci-Beispiel (2) fib() = fib(-1) + fib(-2) fib(1) = fib(2) = 1 1. Versuch: Da der Wert vo fib die Summe der beide vorhergehede Werte ist, ist eie plausible Aahme, dass fib jedesmal verdoppelt wird. Daher Versuch: fib() = c 2 Das ist aber falsch! Wege fib() = fib(-1) + fib(-2) müsste gelte c 2 = c c = = //falsch! 2. Versuch: Statt fib() = c 2 versuche fib() = c a Aus fib() = fib(-1) + fib(-2) ergibt sich a = a -1 + a -2 a 2 = a + 1 Y a 1 = ½ (1 + 5) w a 2 = ½ (1-5) Per Iduktio lässt sich zeige: fib() 0 O(a 1 ) Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie 13-52

14 Abschätzugsmethode am Fiboacci-Beispiel (3) fib() = fib(-1) + fib(-2) fib(1) = fib(2) = 1 2. Versuch, Fortsetzug zur exakte Lösug Mit fib() = c 1 a 1 + c 2 a 2 lasse sich aus de Startwerte die Kostate c 1 ud c 2 bestimme. Löse dazu das Gleichugssystem 1 = c 1 a 1 + c 2 a 2 1 = c 1 a 12 + c 2 a 2 2 Es ergebe sich c 1 = 1/ 5 ud c 2 = -1/ 5 Damit 1 1 fib() = ((½ (1+ 5)) - ( ½ (1-5)) ) 5 5 Diese Techik ist awedbar für alle Rekurreze der Form F() = b 1 F(-1) + b 2 F(-2) b k F(-k) Algorithmik 1, WS 2004/05, Folie Abschätzugsmethode am Teile-ud-Herrsche-Beispiel (1) Betrachte für 2er-Potez, also =2 k : T(2)=1 T(2) 2T()+2-1 Gesucht ist f(), so dass T() 0 O(f()). Errate: f() = 2, T()0O( 2 ). Nachweis per Iduktio Iduktiosafag: T(2) = 1 4 = 2 2 Iduktioshypothese: T() 2, für >0 Iduktiosschluss ( 2 ): T(2) 2T() //Rekurrez //Iduktiosvoraussetzug //grobe Abschätzug ach obe = (2) 2 q.e.d. Gibt es keie bessere obere Schrake? Algorithmik 1, WS 2004/05, Folie Abschätzugsmethode am Teile-ud-Herrsche-Beispiel (2) Betrachte für 2er-Potez, also =2 k : T(2)=1 T(2) 2T()+2-1 Gesucht ist f(), so dass T() 0 O(f()). Errate: f() = log 2, T()0O( log 2 ). Nachweis per Iduktio Iduktiosafag: T(2) = 1 2 = 2 log 2 (2) Iduktioshypothese: T() log 2, für >0 Iduktiosschluss ( 2 ): T(2) 2T() //Rekurrez 2 log //Iduktiosvoraussetzug 2 (log 2 +1) //leichte Abschätzug ach obe Abschätzugsmethode am Teile-ud-Herrsche-Beispiel (3) Betrachte für alle : T(2)=1 T(2) 2T()+2-1 Gilt T() 0 O( log 2 ) auch für Nicht-2er-Poteze? Aahme: 2 k-1 < < 2 k T() T(2 k ) //Mootoie vo T c 1 2 k log 2 (2 k ) //Defiitio O, c 1 Kostate c 1 2 log 2 (2) //2 k < 2 c 2 log 2 //c 2 Kostate = O( log 2 ) q.e.d. Algorithmik 1, WS 2004/05, Folie = 2 (log 2 + log 2 2) //log 2 = 2 log 2 (2) q.e.d. Was gilt für Nicht-2er-Poteze? Algorithmik 1, WS 2004/05, Folie Fazit: I de meiste Fälle reicht die Betrachtug vo 2er-Poteze.

15 Allgemeie Lösug für Teile-ud-Herrsche-Probleme (1) Teile-ud-Herrsche-Probleme lasse sich im allgemeie durch eie Rekurrez der Form T() = a T(/b) + f() charakterisiere, wobei a 1 ud b 1 ud f() eie Fuktio über ù. Beispiel: Beim Skylie-Problem betrachtete wir die Rekurrez T() = 2 T(/2) +. Als Lösug hatte wir + log 2 ermittelt. Es gibt eie allgemeie Lösug für derartige Rekurreze, die i der Theoretische Iformatik erläutert ud bewiese wird die im Sie eier Formelsammlug beutzt werde, um de Aufwad vo Teile-ud-Herrsche-Algorithme zu ermittel. Allgemeie Lösug für Teile-ud-Herrsche-Probleme (2) Hauptsatz über lieare Rekurreze Sei a 1 ud b 1, sei f() eie Fuktio ud T() gegebe durch die Rekurrez T() = a T(/b) + f() Da ist T() asymptotisch beschräkt durch: We f()0o( log b a-ε ) für ε>0, da T() 0 Θ( log b a ). We f()0θ( log b a ), da T() 0 Θ( log b a log 2 ). We f()0ω( log b a+ε ) für ε>0 ud we a f(/b) c f() für c < 1 ud geüged große, da T() 0 Θ(f()). Algorithmik 1, WS 2004/05, Folie Algorithmik 1, WS 2004/05, Folie Beispiele zur Awedug des Hauptsatzes über Rekurreze (1) Sei a 1 ud b 1, sei f() eie Fuktio ud T() gegebe durch T() = a T(/b) + f() Da ist T() asymptotisch beschräkt durch: We f()0o( log b a-ε ) für ε>0, da T() 0 Θ( log b a ). We f()0θ( log b a ), da T() 0 Θ( log b a log 2 ). We f()0ω( log b a+ε ) für ε>0 ud we a f(/b) c f() für c < 1 ud geüged große, da T() 0 Θ(f()). T() = 9 T(/3) + Somit a=9, b=3, f() = log b a = log 3 9 = 2. Da f() 0 O( log 3 9-ε ) mit ε=1, wird der erste Fall erfüllt ud daher ergibt sich T() 0 Θ( 2 ). Algorithmik 1, WS 2004/05, Folie Beispiele zur Awedug des Hauptsatzes über Rekurreze (2) Sei a 1 ud b 1, sei f() eie Fuktio ud T() gegebe durch T() = a T(/b) + f() Da ist T() asymptotisch beschräkt durch: We f()0o( log b a-ε ) für ε>0, da T() 0 Θ( log b a ). We f()0θ( log b a ), da T() 0 Θ( log b a log 2 ). We f()0ω( log b a+ε ) für ε>0 ud we a f(/b) c f() für c < 1 ud geüged große, da T() 0 Θ(f()). T() = 3 T(/4) + log 2 Somit a=3, b=4, f() = log 2 log b a = log 4 3 0,793. Da f() 0 Ω( log 4 3+ε ) mit ε 0,2 wird der dritte Fall erfüllt. Noch zu zeige, dass für geüged große die Bedigug erfüllt ist. a f(/b) = 3 (/4)log 2 (/4) (3/4) log 2 = c f() mit c=3/4 gilt für große ud daher ergibt sich T() 0 Θ( log 2 ). Algorithmik 1, WS 2004/05, Folie 13-60

16 Nützliche Formel zur Aufwadsaalyse = ½ (+1) = = 1 / 6 (+1) (2+1) log b a= 1/log a b log a x= log b x/ log b a b log b x = x b log a x = x log a b llog 2 im 0 Θ( log 2 ) i=1 Algorithmik 1, WS 2004/05, Folie 13-61