Teil VII : Zeitkomplexität von Algorithmen

Transkript

1 Teil VII : Zeitkomplexität vo Algorithme. Algorithme ud ihr Berechugsaufwad. Aufwadsabschätzug Wachstum vo Fuktioe. Aufwad vo Suchalgorithme K. Murma, H. Neuma, Fakultät für Iformatik, Uiversität Ulm, 00. Algorithme ud ihr Berechugsaufwad Motivatio Beispiel Fide eier Müze

2 Motivatio Problem I der Vergageheit wurde bereits Algorithme vorgestellt, dere Ausführugsdauer trotz gleicher Fuktioalität bei idetische Date uterschiedlich lag ausfiel! Bsp. : Suche vo Textsegmete (Stadardalgorithmus ach Automatemodell vs. Boyer-Moore-Algorithmus Berechug der Fiboacci-Zahle (rekursiver vs. iterativer Algorithmus expoetieller vs. liearer Aufwad Lösug des Problems der Türme vo Haoi (rekursiver Algorithmus mit + (- Trasportoperatioe vs. eies eifache Algorithmus mit Umlauf auf Kreis expoetieller vs. liearer Aufwad Ziel : Utersuchug der Größeordug des Wachstums der Laufzeit eies Algorithmus i Abhägigkeit der Azahl der Date eifache Charakterisierug des Aufwads eier Algorithmus erlaubt de Vergleich der Performaz verschiedeer algorithmischer Lösuge Utersuchugsgegestad Für große Datemege wird der (asymptotische Aufwad eies Algorithmus gesucht : I welcher Weise wächst die Laufzeit eies Algorithmus mit wachseder Größe der Eigabedatemege? { } = Grezbetrachtug : Eigabedate asympotische Notatio Zeitkomplexität

3 Beispiel Fide eier Müze Problembeschreibug geg. : Mege idetisch ausseheder Müze, vo dee geau eie Müze schwerer ist als alle adere, die restliche Müze sid utereiader alle gleich schwer Aufgabe : Auffide der schwerere Müze, wobei als Hilfsmittel eie Balkewaage zur Verfügug steht Lösugsasätze I. Lösug Strategie : Jede Müze wird gege eie adere gewoge, bis die Balkewaage eie Müze als schwerere achweist Voraussetzug :Azahl der Müze muß gerade sei! Lösugsschema : Eis-ach-dem-adere Name des Algorithmus : Fide-Mueze- Eigabe : alle Mueze Ausgabe : gesuchte schwere Mueze haufe := gesamtmege-der-mueze; WHILE keie-mueze-ausgesodert DO imm--mueze-vom-haufe; IF gewicht(mueze- = gewicht(mueze- THEN (* -- icht gefude * lege-beide-mueze-beiseite ELSE (* -- eie Mueze ist die gesuchte * IF gewicht(mueze- > gewicht(mueze- THEN sodere-mueze-aus(mueze- ELSE sodere-mueze-aus(mueze- END END END END Fide-Mueze-.

4 II. Lösug Strategie : Die zu utersuchede Gruppe vo Müze wird immer halbiert, wobei die schwerere Hälfte weiter aalysiert wird solage, bis sie ur och eie Müze ethält ( divide-ad-coquer Voraussetzug : Azahl der Müze ist N =! Lösugsschema : Teile-ud-Herrsche Name des Algorithmus : Fide-Mueze- Eigabe : alle Mueze Ausgabe : gesuchte schwere Mueze zu-utersuchede-muezmege := gesamtmege-der-mueze; WHILE groesse(zu-utersuchede-muezmege > DO gruppe- := erste-haelfte(zu-utersuchede-muezmege; gruppe- := zweite-haelfte(zu-utersuchede-muezmege; IF gewicht(gruppe- > gewicht(gruppe- THEN zu-utersuchede-muezmege := gruppe- ELSE zu-utersuchede-muezmege := gruppe- END END; sodere-mueze-aus(zu-utersuchede-muezmege END Fide-Mueze-. III. Lösug Vorüberlegug : Beim Schema Teile-ud-Herrsche ware ie Müzgruppe gleich schwer Verfahre ka och effizieter werde, idem möglicherweise gleich schwere Gruppe ausgesodert werde köe Strategie : Die zu utersuchede Gruppe vo Müze wird immer i drei Gruppe geteilt, vo dee für die Wägug gleich groß sid (die Größe der Restgruppe ist beliebig, aber kleier als die adere Gruppe ( alle Möglichkeite der Balkewaage werde geutzt! Gruppe 49 Müze Gruppe Gruppe 4

5 Lösugsschema : Dreiteilug Name des Algorithmus : Fide-Mueze- Eigabe : alle Mueze Ausgabe : gesuchte schwere Mueze zu-utersuchede-muezmege := gesamtmege-der-mueze; WHILE groesse(zu-utersuchede-muezmege > DO gruppe- := ugefaehr-ei-drittel(zu-utersuchede-muezmege; gruppe- := gleich-grosser-teil(zu-utersuchede-muezmege; gruppe- := rest(zu-utersuchede-muezmege; IF gewicht(gruppe- = gewicht(gruppe- THEN zu-utersuchede-muezmege := gruppe- ELSE IF gewicht(gruppe- > gewicht(gruppe- THEN zu-utersuchede-muezmege := gruppe- ELSE zu-utersuchede-muezmege := gruppe- END END END; sodere-mueze-aus(zu-utersuchede-muezmege END Fide-Mueze-. Aalyse Die Azahl der Wäguge Beispiel mit 8 Müze Methode. Wägug. Wägug. Wägug 4. Wägug ( Eis-ach-dem-adere Miimal Maximal 4 Im Mittel x, x, x, x4 0/8 =.5 5

6 Beispiel mit 8 Müze (cot d Methode. Wägug. Wägug. Wägug 4. Wägug ( Teile-ud-Herrsche Miimal Maximal Im Mittel ( Dreiteilug Miimal Maximal Im Mittel Mittlere ud maximale Azahl vo Wäguge Methode Azahl der Müze ( ( Eis-ach-dem-adere f( ( Teile-ud-Herrsche f( ( Dreiteilug f( Für viele Fragestelluge ist ma a dem schlechteste Fall iteressiert, um eie Abschätzug der maximal mögliche Dauer des Algorithmus bei der Bearbeitug der Problemstellug zu erhalte! hier : maximale Azahl der Wäguge bei gegebeer Mege vo Müze 6

7 Abschätzug der Ordug des Berechugs-Aufwads Allgemeie Frage : Welche Fuktio f( beschreibt de Berechugs- Aufwad für das Problem bei gegebeer Azahl vo Date? Vo welcher Art ist die Fuktio f(, d.h. ka ma für de maximale (mittlere, miimale Aufwad eie eifache Klasse vo Fuktioe agebe?. Aufwadsabschätzug Wachstum vo Fuktioe Asymptotische Notatio O-Notatio Asymptotische Notatio i Gleichuge Aalyse vo Algorithme Regel für die O-Notatio 7

8 Asymptotische Notatio O-Notatio Aufwad Beschreibug asymptotischer Lauf- /Ausführugszeite vo Algorithme mittels Fuktioe auf N 0 (Mege der at. Zahle ikl. 0 c g( f ( c g( ( O( g( f = O-Notatio : Ω-Notatio : 0 asymptotisch obere Begrezug eier Fuktio asymptotisch utere Begrezug eier Fuktio hier vo Iteresse! Θ-Notatio : asymptotisch feste Begrezug (Eigrezug eier Fuktio Formale Charakterisierug Def.: O-Notatio Eie Fuktio f( heißt vo der Art O( g(, wobei O( g( die Mege vo Fuktioe O( g( = { f(, für die es Zahle c, 0 gibt, so daß ( 0 : 0 f( c g( } defiiert. f( gehört der durch O( g( festgelegte Mege vo Fuktioe a, we eie positive Kostate c existiert ud f( für ei geüged großes 0 uterhalb vo c g( liegt. I adere Worte: Für alle Werte > 0 ist f( c g(! Notatio : eigetlich f O g, jedoch legt die Mege eie Charakteristik (Art der Fuktio fest, so daß typischerweise die Notatio f = O g verwedet wird! ( ( ( ( ( ( 8

9 Beispiele. Lieare Fuktio f ( = a + b = O( Asatz : somit : a + b c a 0 b + = : c ( ( a + b c, a > 0 a lim + b = 0 f = O mit c = a + b, = 0. Asatz : somit : a + b c, a > 0 b a + b c a + c b 0 = 5: a + c 5 b f ( = O( mit c = a +, 0 0 b lim a + = a Es wird stets diejeige Fuktio kleister Ordug gesucht!. Quadratische Fuktio f ( = = O( Asatz : = a c = 0, 0 ± 00 6 = ( c > a c = 4 somit : Lösuge : ( ( = 9.58 = 0.4 = = = x x f = O mit c = 4, 0 = 0 : ceilig : floor ( x R : x < x x x < x + 9

10 Geerell gesucht : Für g( solle möglichst eifache (typische Fuktioe agegebe werde, z.b., log log, log,, log,,,..., log,, Awedug Die O-Notatio gestattet die Agabe der Ausführugszeit vo Algorithme zur Bearbeitug vo Datemege. Dabei gibt die Struktur des Algorithmus Aufschluß über de maximale Aufwad (~ Azahl der Verarbeitugsschritte, eie gegebee Datemege bestehed aus Elemete zu bearbeite! O-Notatio 0 = : a + b c obere Greze für de Aufwad Begrezug der Laufzeit eies Algorithmus für beliebige Eigabedate Die Aussage die Ausführugszeit ist O( g( bedeutet, daß die Ausführugszeit als Fuktio der Größe der Mege vo Eigabedate O( g( ist! im ugüstigste Fall 0

11 Aalyse vo Algorithme Allgemeie Zielsetzug Voraussage des Bedarfs a Ressource, die ei Algorithmus für seie Ausführug beötigt Ressource : Speicher Badbreite für Dateübermittlug (Kommuikatio Logische Gatter Reche- / Ausführugszeit ( Zeitkomplexität eies Problems Modell : Geerische -Prozessor radom access Maschie (~ edliche Zustads-Maschie Jede Istruktio wird sequetiell acheiader, Schritt für Schritt, ausgeführt (d.h. keie parallele, ebeläufige Prozesse! Utersuchug der Performaz eies Algorithmus Abhägigkeit der Ausführugszeit (im ugüstigste Fall, als Fuktio vo der Azahl der Eigabedate O-Notatio Berechugskomplexität ( Computatioal complexity Fragestellug : geg. : Algorithmus (zur Lösug eier gestellte Aufgabe Zu zeige, daß a die Ausführugszeit vo der Art O( f( ist (für irgedeie Fuktio f ud b es keie Algorithmus mit eier Ausführugszeit vo der Art O( g( gibt, für die gilt : ( ( g lim = 0 f

12 Asymptotische Notatio i Gleichuge. Asymptotische Notatio i Gleichuge auf der rechte Seite : Die asymptotische Notatio steht als Platzhalter für eie aoyme, icht äher spezifizierte, Fuktio Bsp.: bedeutet d.h. ( + + = + O i= hier : ( O i + + = + f = + O ( ( f ( Die Azahl der aoyme Fuktioe i eiem Ausdruck etspricht der Azahl des Auftretes der asymptotische Notatio Bsp.: bedeutet ur eie eizige aoyme Fuktio, ( + O( + O( icht (! O + + O( i = O i = O i= i= ( = O( f ( i O (.. Asymptotische Notatio i Gleichuge auf der like Seite : Bsp.: + = ( O( O Iterpretatio : Uabhägig davo, wie die aoyme Fuktio auf der like Seite gewählt wird, existiert stets eie Möglichkeit, die aoyme( Fuktio(e der rechte Seite so zu wähle, daß die Gleichug gültig ist! ( : + f ( = g( O ( O ( (Bsp.! präziserer gröberer Detaillierugsgrad Auswertugsrichtug

13 Regel für die O-Notatio. Mehrere Fuktioe : Trasitivität : ( = O( g( g( O( h( f = ( O( h( f = Reflexivität : Bew.: ( O( f ( f = f ( c f ( für beliebige, c. Recheregel : I. II. III. IV. O c O( f ( ( f ( + O( f ( ( f ( O( g( O( O( f ( O = = = = O O( f ( O( f ( ( f ( g( O( f ( Beweise : zu I : zu II : zu III : zu IV : c O O ( f ( = { g( ( : g( c f ( } ( c f ( c f ( 0 ( f ( + O( f ( O( f ( ( + c f ( c f ( c f c c c für alle (!!! ( c f ( ( c g( c ( f ( g( c + c c für alle c c c für alle ( ( f ( O O g( ( c f ( c c f = c O( f ( g( = c c c f ( g( c c für alle

14 . Aufwad vo Suchalgorithme Problemstellug Suche i eiem Telephobuch Schema der beide Suchalgorithme ud ihr Aufwad Häufig auftretede Komplexitäts-Klasse Problemstellug Suche i eiem Telephobuch geg. : Mege vo Datesätze Eiträge (Datesätze der Form Name, Vorame Adresse Telephoummer beachte : I eiem Telephobuch sid die Eiträge alphabetisch ach dem Name geordet! Aufgabe : Suche ach eiem (oder mehrere Datesätze mit eier bestimmte Eigeschaft die Eigeschafte etspreche bestimmte Eiträge i de Telephobücher (Name Vorame 4

15 . Suche ach Name : Ausutzug der Ordug. Telephobuch i der Mitte aufschlage. vergleiche gesuchte Name mit dem aktuelle Name auf der aufgeschlagee Seite. IF ORD(gesuchter Name < ORD(aktueller Name THEN suche Name i erster Hälfte ELSE suche Name i zweiter Hälfte 4. Verfahre mit der jeweilige Hälfte wieder wie geat, solage bis der gesuchte Name gefude ist biäre Suche. Suche ach Telepho-Nummer : das Telephobuch ist icht ach de Nummer geordet ud muß daher der Reihe ach elemet-weise durchsucht werde. begie mit erste Elemet des Telephobuchs. vergleiche gesuchte Nummer mit jeweils ächstem Elemet, solage bis die Nummer gefude (oder das Ede erreicht ist lieare Suche Schema der beide Suchalgorithme ud ihr Aufwad Lieare Suche Gesuchtes Elemet : x = Idex : pos = Gefude! Beachte : Wäre das gesuchte Elemet x = 9, so hätte ma 9 Suchschritte beötigt! 5

16 Biäre Suche Gesuchtes Elemet : x = Idex : Mi = 0 Max = Mi = 0 Max = Mi = 5 Max = 8 6 Mi = 5 Max = 6 Gefude! Hiweise :. Der mittlere Wert für die Teilug berechet sich aus ( Mi Max / m = +. Uabhägig, welches Elemet gesucht wird, beötigt ma eie kostate Azahl vo Suchschritte Aufwad Vergleich Verfahre Azahl der Elemete mittlerer Aufwad max. Aufwad O( Lieare Suche / O( Biäre Suche log ( log O( log Hiweis : Für die Komplexitätsabschätzug bei der Bestimmug der obere Schrake wird mittels der O-Notatio eie Klasse vo Fuktioe für große Werte vo bestimmt. Wg. der Relatio gilt f ( c g( ( log ( = O( log (, da ( = log ( 0 O( log( O log = c 6

17 Häufig auftretede Komplexitäts-Klasse g( Bezeichug log log log / kostat logarithmisch liear log-liear quadratisch kubisch expoetiell Hiweise :. Komplexitäte der Form N, N, N 4,... et ma polyomial. Elemetare Uterschiede gibt es zwische expoetiellem ud polyomialem Laufzeitverhalte Lösuge für ei gestelltes Problem köe, je ach Strategie, eie uterschiedliche Berechugsaufwad habe; zur Bestimmug des im Mittel oder maximal auftretede Verarbeitugsaufwads aalysiert ma die Zeitkomplexität eies Algorithmus Für die Bestimmug des Verarbeitugsaufwads ist die Größe der Eigabedatemege (Azahl der Elemete die bestimmede Größe Häufig ist ma a dem im ugüstigste Fall auftretede Berechugsaufwad für große Datemege, d.h. (sehr groß iteressiert; zur Abschätzug eier obere Schrake dieses Aufwads bediet ma sich der O-Notatio Häufig auftretede Komplexitäts-Klasse sid Algorithme mit kostatem, logarithmischem, liearem, polyomialem sowie expoetiellem Aufwad 7