Spezielle Algorithmen

Transkript

1 Prof. Jürgen Sauer Spezelle Algorthmen Skrptum zur Vorlesung m SS

2

3 Inhaltsverzechns Lteraturverzechns GRUNDLEGENDE KONZEPTE Datenstruktur und Algorthmus Algorthmsche Grundkonzepte..... Algorthmenbegrffe..... Termnerung und Determnsmus Algorthmenbaustene Paradgmen der Algorthmenbeschrebung Paradgmen und Programmersprachen Formale Egenschaften von Algorthmen Komplextät....3 Daten und Datenstrukturen Datentyp Datenstruktur Relatonen und Ordnungen Klassfkaton von Datenstrukturen Defntonsmethoden für Datenstrukturen GRAPHEN UND GRAPHENALGORITHMEN Enführung Grundlagen Defntonen Darstellung n Rechnerprogrammen Durchlaufen von Graphen Tefensuche (depth-frst search) Bretensuche (breadth-frst search) Implementerung Topologscher Sort Transtve Hülle Berechnung der Errechbarket mttels Matrxmultplkaton Warshalls Algorthmus zur Bestmmung der Wegematrx Floyds Algorthmus zur Bestmmung der Abstandsmatrx....5 Kürzeste Wege De Datenstrukturen Graph, Vertex, Edge für de Berechnung kürzester Wege Kürzeste Pfade n gerchteten, ungewchteten Graphen Berechnung der kürzesten Pfadlängen n gewchteten Graphen (Algorthmus von Dkstra) Berechnung der kürzesten Pfadlängen n gewchteten Graphen mt negatven Kosten Berechnung der kürzesten Pfadlängen n gewchteten, azyklschen Graphen All pars shorted Path Mnmale Spannbäume Der Algorthmus von Prm Der Algorthmus von Kruskal....7 Netzwerkflüsse Maxmale Flüsse

4 .7. Konstemnmale Flüsse Matchng Ausgangspunkt, Motverendes Bespel, Defntonen, maxmales Matchng Bpartter Graph Maxmale Zuordnung m allgemenen Fall PROBLEMLÖSUNG DURCH SUCHEN Lösen von Problemen Repräsentaton von Zustandsräumen Repräsentaton von Problemreduktonen And / Or-Graphen Unnformerte Suchstrategen n Zustandsraumrepräsenta-tonen Informerte (heurstsche) Suche n Zustandsraumrepräsenta-tonen Geordnete Zustandsraum-Suche Gerge Bestensuche A*-Suche Lokale Suchalgorthmen und Optmerungsprobleme Hllclmbng-Suche Smulated Annealng und sene Geschwster Genetsche Algorthmen Lokale Suche n stetgen Räumen Gradentenverfahren Zufallsansteg (Monte-Carlo Zufalls-Suche) Newton sches Verfahren Spele Algorthmen für das Suchen n Spelbäumen Spelbäume n Mnmax-Notaton Alpha-Beta-Prunng Probleme unter Rand- oder Nebenbedngungen NEURONALE NETZE Enführung Bologsche bzw. psychologsche Grundlagen Überführung n en datentechnsches Verarbetungsmodell (NN) We arbeten Neuronale Netzwerke? Allgemener Aufbau neuronaler Netze Informatonsverarbetung n neuronalen Netzen Mathematsche Grundlagen zum Lernverhalten NN Topologen NN NN-Modelle Netzwerktypen Das Perzeptron Snglelayer-Perzeptron (SLP) Multlayer-Perzeptron (MLP) Support Vector Machnes Lnear separerbare Probleme

5 4.5. Ncht lnear trennbare Klassfzerer SVM Backpropagaton Netzwerke Beschrebung Grundlagen Festlegen von Parameterwerten: Lernrate ε und Momentum Testphase (Recall) KONZEPT UND ARBEITSWEISE VON GENETISCHE ALGORITHMEN Evoluton und Genetk Prnzpelle Arbetswese genetscher Algorthmen Arbetswese von genetschen Algorthmen Struktur enes genetschen Algorthmus Phasen enes genetschen Suchalgorthmus Modellerung Konfgurerung De Realserungsphase Verfahrensbewertung bzw. Verfahrensverbesserung Güte enes genetschen Algorthmus Anwendungen En genetscher Algorthmus für das Problem des Handlungs-resenden En genetscher Algorthmus für das Packproblem Genetc Functon Fnder

6 6

7 Lteraturverzechns Sauer, Jürgen: Programmeren n Java, Skrptum zur Vorlesung m WS 5/7 Sauer, Jürgen: Programmeren n C++, Skrptum zur Vorlesung m SS 6 Sauer, Jürgen: Datenbanken, Skrptum zur Vorlesung m SS 7 Sauer, Jürgen: Operatons Research, Skrptum zur Vorlesung m SS Sauer, Jürgen: Algorthmen und Datenstrukturen, Skrptum zur Vorlesung m SS 9 Sauer, Jürgen: Neuronale Netze, Fuzzy Control Systeme und Genetsche Algorthmen, Skrptum zur Vorlesung m WS 9 / Böhrnger, Bernhard u. Choprs, Carlo u. Futo, Ivan: Wssensbaserte System emt Prolog, Addson-Wesley, Bonn 988 Sedgewck, Robert: Algorthmen n Java, 3.überarbetete Auflage, Pearson Studum, München., 3 Sedgewck, Robert: Algorthmen n C++, Tel bs 4, 3.überarbetete Auflage, Pearson Studum, München., Wrth, Ncklaus: Algorthmen und Datenstrukturen,. duchgesehene Auflage, Teubner, Stuttgart 979 Ottmann, Thomas und Wdmayer, Peter: Algorthmen und Datenstrukturen, BI Wssenschaftsverlag, Mannhem /Wen /Zürch 99 Wess, Marc Allen: Data Structures and Algorthm Analyss n Java, Pearson, Boston., 7 Saake, Gunter und Sattler, Ka Uwe: Algorthmen und Datenstrukturen, dpunkt.verlag,. überarbetete Auflage, Hedelberg, 4 Maurer, H.: Datenstrukturen und Programmerverfahren, Teubner,Stuttgart 974 Krüger, Gudo und Stark, Thomas: Handbuch der Java-Programmerung, 5. Auflage, HTML-Ausgabe 5.., Addson-Wesley, 7 Ullenboom, Chrstan: Java st auch ene Insel, 7. aktualserte Auflage, HTML- Verson 7

8 Ammeraal, Leendert: Programmdesgn und Algorthmrn n C, Hanser Verlag München Wen, 989 Russel, Stuart und Norvg, Peter: Künstlche Intellgenz,. Auflage, Pearson Studum, 3 Sedgewck, Robert und Wayne, Kevn: Introducton to Programmng n Java, Pearson, Boston, 8 Ford, Wllam und Topp, Wllam: Data Structures wth C++, Prentce Hall. Englewood Clffs, 996 8

9 . Grundlegende Konzepte. Datenstruktur und Algorthmus In den 5er Jahren bedeutete Rechnen auf enem Computer wetgehend numersches Lösen wssenschaftlch-technscher Probleme. Kontroll- und Datenstrukturen waren sehr enfach und brauchten daher ncht weter untersucht werden. En bedeutender Anstoß kam her aus der kommerzellen Datenverarbetung (DV). So führte her bspw. de Frage des Zugrffs auf en Element ener endlchen Menge zu ener großen Sammlung von Algorthmen, de grundlegende Aufgaben der DV lösen. Dabe ergab sch: De Lestungsfähgket deser Lösungen (Programme) st wesentlch bestmmt durch geegnete Organsatonsformen für de zu bearbetenden Daten. Der Datentyp oder de Datenstruktur und de zugehörgen Algorthmen snd demnach en entschedender Bestandtel enes lestungsfähgen Programms. Datenstrukturen 3 und Programmerverfahren blden ene Enhet. Be der Formulerung des Lösungswegs st man auf ene bestmmte Darstellung der Daten festgelegt. Ren gefühlsmäßg könnte man sagen: Daten gehen den Algorthmen voraus. Programmeren führt drekt zum Denken n Datenstrukturen, um Datenelemente, de zuenander n Bezehung stehen, zusammen zu fassen. Mt Hlfe solcher Datenstrukturen st es möglch, sch auf de relevanten Egenschaften der Umwelt zu konzentreren und egene Modelle zu blden. De Lestung des Rechners wrd dabe vom renen Zahlenrechnen auf das wetaus höhere Nveau der Verarbetung von Daten angehoben Datenstrukturen und Algorthmen blden de wesentlchen Bestandtele der Programmerung. En erster Versuch soll dese zentralen Begrffe so festlegen (bzw. abgrenzen): Datenstruktur En auf Daten anwendbares Ordnungsschema (z.b. en Datensatz oder Array). Mt der Hlfe von Datenstrukturen lassen sch de Daten nterpreteren und spezfsche Operatonen auf hnen ausführen Algorthmus Verarbetungsvorschrft, de angbt, we Engabe(daten) schrttwese mt Hlfe von Anwesungen auf Rechnern n Ausgabe(daten) umgewandelt werden. Für de Lösung enes Problems exsteren mest mehrere Algorthmen, de sch n der Länge sowe der für de Ausführung benötgte Zet unterscheden. Programm und Programmersprache En Programm st de Formulerung enes Algorthmus und sener Datenbereche n ener Programmersprache. Ene Programmersprache erlaubt, Algorthmen präzse zu beschreben. Insbesondere legen se fest: D. E. Knuth hat enen großen Tel deses Wssens n "The Art of Computer Programmng" zusammengefaßt

10 - de elementaren Operatonen - de Möglchketen zu hrer Kombnaton - de zulässgen Datenbereche. Algorthmsche Grundkonzepte.. Algorthmenbegrffe Algorthmen m Alltag Gegeben st en Problem. Ene Handlungsvorschrft, deren mechansches Befolgen - ohne Verständns des Problems - mt snnvollen Engabedaten - zur Lösung des Problems führt, wrd Algorthmus genannt. En Problem, für dessen Lösung en Algorthmus exstert, heßt berechenbar. Bsp.: - Zerlegung handwerklcher Arbeten n enzelne Schrtte - Kochrezepte - Verfahren zur schrftlchen Multplkaton - Algorthmen zur Bestmmung des größten gemensamen Teles zweer natürlchen Zahlen - Bestmmung enes Schaltahres - Spelregeln Der ntutve Algorthmenbegrff En Algorthmus st ene präzse (d.h. n ener festgelegten Sprache abgefasste) endlche Verarbetungsvorschrft, de genau festlegt, we de Instanzen ener Klasse von Problemen gelöst werden. En Algorthmus lefert ene Funkton (Abbldung), de festlegt, we aus ener zulässgen Engabe de Ausgabe ermttelt werden kann. En Algorthmus (n der EDV) st - en Lösungsschrtt für ene Problemklasse (konkretes Problem wrd durch Engabeparameter dentfzert) - geegnet für de Implementerung als Rechnerpogramm - endlche Folge von elementaren, ausführbaren Instruktonen Verarbetungsschrtten.. Termnerung und Determnsmus Abgeletet vom ntutven Algorthmenbegrff spelen be der Konzepton von Algorthmen de Begrffe Termnerung, Determnsmus und Vollständgket ene Rolle: Termnerung En Algorthmus heßt termnerend, wenn er (be eder erlaubten Engabe von Parametern) nach endlch velen Schrtten abbrcht.

11 Determnsmus En Algorthmus hat enen determnstschen Ablauf 4, wenn er ene endeutge Schrttfolge bestzt. Der Algorthmus läuft be edem Ablauf mt den glechen Engaben durch deselbe Berechnung. En Algorthmus lefert en determnertes Ergebns, wenn be vorgegebener Engabe (auch be mehrfacher Durchführung) stets en endeutges Ergebns errecht wrd. Ncht determnstsche Algorthmen mt determnertem Ergebns heßen determnert. Ncht determnstsche Algorthmen können zu enem determnertem Ergebns führen, z.b.:. Nmm ene Zahl x unglech Null. Entweder: Addere das Drefache von x zu x und tele das Ergebns durch den Anfangswert von x Oder: Subtrahere 4 von x und subtrahere das Ergebns von x 3. Schrebe das Ergebns auf Vollständgket Alle Fälle, de be korrekten Engabedaten auftreten können, werden berückschtgt. Bsp.: Nchtvollständge Algorthmen () Wähle zufällg ene Zahl x () Wähle zufällg ene Zahl y (3) Das Ergebns st x/y Was st, wenn y == sen sollte Ncht termnerender Algorthmus () Wähle zufällg ene Zahl x () Ist de Zahl gerade, wederhole ab () (3) Ist de Zahl ungerade, wederhole ab () Ncht determnerter Algorthmus () Wähle zufällg ene natürlche Zahl zwschen 6 und 64 () Prüfe, ob de Zahl ene Prmzahl st. (3) Falls ncht, wederhole ab. Das Ergens st mmer ene Prmzahl, aber ncht de gleche, daher st der Algorthmus ncht determnert. Determnstsche, termnerende Algorthmen defneren ewels ene En/Ausgabefunkton: f : Engabewerte -> Ausgabewerte Algorthmen geben ene konstruktv ausführbare Beschrebung deser Funkton, de Funkton heßt Bedeutung (Semantk) des Algorthmus. Es kann mehrere verschedene Algorthmen mt der glechen Bedeutung geben. 4

12 ..3 Algorthmenbaustene Gängge Baustene zur Beschrebung bzw. Ausführung von Algorthmen snd: - elementare Operatonen - sequentelle Ausführung (en Prozessor) Der Sequenzoperator st ;. Sequenzen ohne Sequenzoperator snd häufg durchnummerert und können schrttwese verfenert werden, z.b: () Koche Wasser () Gb Kaffepulver n Tasse (3) Fülle Wasser n Tasse () kann verfenert werden zu: Öffne Kaffeedose; Entnehme Löffel von Kaffee; Kppe Löffel n Tasse; Schleße Kaffeedose; - parallele Ausführung - bedngte Ausführung De Auswahl / Selekton kann allgemen so formulert werden: falls Bedngung, dann Schrtt bzw. falls Bedngung dann Schrtt a sonst Schrtt b falls... dann... sonst... entsprcht n Programmersprachen den Konstrukten: f Bedngung then... else f f Bedngung then else endf f (Bedngung) else - Schlefe (Iteraton) Dafür schrebt man allgemen wederhole Schrtte bs Abbruchkrterum Häufg fndet man auch de Varante solange Bedngung führe aus Schrtte bzw. de Iteraton über festen Berech wederhole für Berechsangabe Schlefenrumpf

13 Dese Schlefenkonstrukte entsprechen ewels den Programmersprachen- Konstrukten: wederhole... bs... repeat... untl do whle... solange führe aus whle do... whle (... )... wederhole für for each... do for... do for (... )... - Unterprogramm (Telalgortmus) - Rekurson 5 Ene Funkton (mt oder ohne Rückgabewert, mt oder ohne Parameter) darf n der Deklaraton hres Rumpfes den egenen Namen verwenden. Herdurch kommt es zu enem rekursven Aufruf. Typscherwese werden de aktuellen Parameter so modfzert, daß de Problemgröße schrumpft, damt nach mehrmalgem Wederholen deses Prnzps ken weterer Aufruf erforderlch st und de Rekurson abbrechen kann. Übung _: Rekurson 5 3

14 ..4 Paradgmen der Algorthmenbeschrebung En Algorthmenparadgma legt Denkmuster fest, de ener Beschrebung enes Algorthmus zugrunde legen. Faßt man enen Algorthmus als Beschrebung enes allgemenen Verfahrens unter Verwendung ausführbarer elementarer Schrtte auf, dann gbt es grundlegende Arten, Schrtte von Algorthmen zu noteren: - Applkatve Algorthmen snd ene Verallgemenerung der Funktonsauswertung mathematsch noterter Funktonen. In hnen spelt de Rekurson 6 ene wesentlche Rolle. - Imperatve Algorthmen baseren auf enem enfachen Maschnenmodell mt gespecherten und änderbaren Werten. Her werden prmär Schlefen und Alternatven als Kontrollbaustene engesetzt. In der Informatk snd darüber hnaus noch folgende Paradgmen wchtg: - Obektorenterte Algorthmen. In enem obektorenterten Algorthmus werden Datenstrukturen und Methoden zu ener Klasse zusammengefasst. Von eder Klasse können Obekte gemäß der Datenstruktur erstellt und über de Methode manpulert werden. Das obektorenterte Paradgma st ken Algorthmenparadgma m engeren Snne, da es sch um en Paradgma zur Strukturerung von Algorthmen handelt, das sowohl mt applkatven, mperatven und logschen Konzepten zusammen engesetzt werden kann. - logsche (deduktve) Algorthmen. En logscher Algorthmus führt Berechnungen durch, ndem er aus Fakten und Regeln durch Abletungen n enem logschen Kalkül wetere Fakten auswest. Deduktve Algorthmen bestehen aus ener Rehe logscher Aussagen und enem Auswertungsalgorthmus für Anfragen. De Kombnaton logsches Programm, Auswertungsalgorthmus und konkrete Anfrage, legen de Berechnungsfolge fest. Übung _: Prolog - Genetsche Algorthmen. En Genetscher Algorthmus (GA) ahmt de Strategen aus der Evolutonstheore nach, um zu enem Problem ene möglcht gute Lösung zu fnden. Vorrangg versuchen Genetsche Algorthmen 7 ene Analoge zu der bologschen Selekton und Genetk zum Entwurf robuster Suchmethoden herzustellen. Übung _3: Genetsche Algorthmen - Neuronale Netze (NN) blden das Analogon zur Informatonsverarbetung n Nervenzellen und damt nsbesondere n Gehrnen. Neuronen enes NN entsprechen den Nervervenzellen. En NN st aus velen Neuronen zusammengesetzt, de mtenander durch Nervenbahnen verbunden snd. Übung _4: Neuronale Netze 8 6 vgl. Skrptum: Algorthmen und Datenstrukturen SS9, vgl. 4. 4

15 ..5 Paradgmen und Programmersprachen Zu den Paradgmen korresponderen ewels Programmersprachen, de desen Ansatz realseren. Moderne Programmersprachen umfassen oft Ansätze mehrerer Paradgmen. So st bspw. Java bzw. C++ obektorentert 9, umfasst aber auch mperatve und applkatve Elemente. Bezogen auf de Umsetzung von Algorthmen durch Programmersprachen unterschedet man zwschen prnzpellen Programmerstlen, de verschedene Programmersprachen mehr oder wenger unterstützen. - Imperatve (prozedurale Sprachen), z.b. Fortran, Pascal, Modula und C, orenteren sch am Ablauf von Algorthmen, de enen (globalen Zustand transformeren. Modularserung gescheht auf der Ebene enzelner Prozeduren. - Logsche und funktonale Sprachen, z.b. Prolog und LISP, stützen sch auf symbolsche Grundlagen, Prädkate oder Funktonen, de formal ausgewertet werden. In Prolog st en Programm ene Menge logscher Formeln, der Ablauf enes Programms en logscher Bewes m Resolutonskalkül. In LISP werden Funktonen aufgerufen - Obekt-orenterte Sprachen C++, Smalltalk, Java) orenteren sch an den nformatonstragenden Obekten, de Methoden zur Verfügung stellen, lokal hre Informatonen zu ändern und Nachrchten an andere Obekte zusenden. De klensten Enheten snd Obekte, auf Programmerenheten Klassen. Algorthmsche Funktonaltäten snd wetgehend n Methoden versteckt. Übung _5: Imperatve und logsche Lösung des 8-Damen Problems. - Genetsche Algorthmen, neuronale Netze passen ncht drekt zum klassschen Algorthmenbegrff, obwohl se häufg als Algorthmenparadgma bezechnet werden. Ene passende Bezechnung wäre her Programmerparadgma, da Programme erzeugt werden, ohne dass en Lösungsalgorthmus angegeben wrd. 9 Vgl. Skrptum zur Vorlesung m WS 5 / 6: Programmeren n Java,. bzw. Skrptum zur Vorlesung m SS 6: Programmeren n C

16 ..6 Formale Egenschaften von Algorthmen..6. Korrekthet, Termnerung, Hoare-Kalkül, Halteproblem..6.. Korrekthet, Termnerung De wchtgste formale Egenschaft enes Algorthmus st de Korrekthet. Dazu muß gezegt werden, daß der Algorthmus de ewels gestellte Aufgabe rchtg löst. Man kann de Korrekthet enes Algorthmus m Allg. ncht durch Testen an ausgewählten Bespelen nachwesen3: Durch Testen kann ledglch nachgewesen werden, dass sch en Programm für endlch vele Engaben korrekt verhält. Durch ene Verfkaton kann nachgewesen werden, dass sch das Programm für alle Engaben korrekt verhält. Be der Zuscherungsmethode snd zwschen den Statements sogenannte Zuscherungen engesetzt, de ene Aussage darstellen über de momentane Bezehung zwschen den Varablen. Typscherwese gbt man Zuscherungen als Kommentare vor. Programmverfkaton st der Nachwes, dass de Zuscherungen für en Programm tatsächlch gelten. Se entsprcht der Durchführung enes mathematschen Beweses (ener Abletung). Gezegt wrd damt: Das entsprechende Programm st korrekt bzgl. sener Spezfkaton. /* P */ whle (b) { /* P && b */ /* P */ } /* P &&!b */ De Schlefennvarante P muß ene Aussage über das n der Schlefe errechnete Resultat R enthalten: P B R Zuscherungen enthalten boolsche Ausdrücke, von denen der Programmerer annmmt, dass se an entsprechender Stelle gelten. Begnnend mt der ersten, offenschtlch rchtgen Zuscherung lässt sch als letzte Zuscherung ene Aussage über das berechnete Ergebns durch Anwendung der Korrekthetsformel 4 ableten: { P } A { Q } P und Q snd Zuscherungen P st de pre-condton (Vorbedngung), beschrebt de Bedngungen (constrants). Q st de post-condton (Nachbedngung), beschrebt den Zustand nach Ausführung der Methode De Korrekthetsformel bedeutet: Jede Ausführung von A, be der zu Begnn P erfüllt st, termnert n enem Zustand, n dem Q erfüllt st. 3 E. Dkstra formulerte das so: Man kann durch Testen de Anwesenhet von Fehlern, aber ncht de Abwesenhet von Fehlern nachwesen. 4 Robert Floyd hatte 967 de Idee den Kanten von Flussdagrammen Prädkate zuzuordnen, um Korrekthetsbewese zu führen. C.A.R. Hoare entwckelte de Idee weter, ndem er Programme mt "Zuscherungen" anrecherte. Er entwckelte das nach hm benannte "Hoare Trpel" 6

17 De Korrekthetsformel bestmmt partelle Korrekthet : "Wenn P bem Start von A erfüllt st, und A termnert, dann wrd am Ende Q gelten". Für de Termnerung glt folgende Formel: { P} A. Se bedeutet: "Wenn P bem Start von A erfüllt st, wrd A termneren. Partelle Korrekthet und Termnerung führen zur totale Korrekthet. Totale Korrekthet st ene stärkere Anforderung an das Programm. Bsp.:. Partelle Korrekthet ncht aber totale Korrekthet zegt {true} whle (x!=) x = x-; {x==}, da kene Termnerung bzgl. x <.. De Hoare-Formel {x>} whle (x > ) x = x+; {false} termnert ne. Se st partell korrekt, aber ncht total korrekt. Generell drückt de Gültgket von {P} A {false} Nchttermnerung aus, d.h. {P} A {false} st partell korrekt, A termnmert aber ncht, für alle Anfangszustände, de P erfüllen Hoare-Kalkül Das Hoare Kalkül umfasst ene Menge von Regeln, de sch aus Prämssen und Schlussfolgerung zusammensetzen: Prämsse Prämsse Prämsse n Konkluson Mt dem Hoare Kalkül kann partelle (und evtl. totale) Korrekthet enes Programms nachgewesen werden: - Zerlege den Algorthmus n sene enzelnen Anwesungen und füge vor (und nach) eder Ausführung geegnete Vor- und Nachbedngungen en. - Zege, dass de enzelnen Anwesungen korrekt snd - Bewese de Korrekthet des gesamten Algorthmus aus der Korrekthet der enzelnen Aussagen. De grundlegende Idee von Hoare zum konstruktven Bewes parteller und totaler Korrekthet st: Lete (rückwärts schretend) ausgehend von der (gewünschten) Nachbedngung de Vorbedngung ab Halteproblem Das Halteproblem kann durch de folgende Fragestellung beschreben werden: Gbt es en Programm, das für en belebges anderes Programm entschedet, ob es für ene bestmmte Engabe n ene Endlosschlefe gerät oder ncht? Das allgemene Halteproblem drückt offenbar folgende Frage aus: Hält Algorthmus x be der Engabe von y? 7

18 Anschaulcher Bewes der Unentschedbarket des Halteproblems Annahme. Es gbt ene Maschne (Algorthmus) STOP mt Engaben: Algorthmentext x und ene Engabe y und Ausgaben: - JA: x stoppt be der Engabe von y - NEIN: x stoppt ncht be der Engabe von y x y STOP JA NEIN Mt deser Maschne STOP kann man ene Maschne SELTSAM konstrueren: x x x SELTSAM JA NEIN OK De Engabe von x wrd getestet, ob x be der Engabe von x stoppt. Im JA-Fall wrd n ene Endlosschlefe gegangen, de ne anhält. Im NEIN-Fall hält SELTSAM mt der Anzege OK an. Es folgt nun de Engabe von SELTSAM (für sch selbst) mt der Frage: Hält SELTSAM be der Engabe von SELTSAM?. Wenn JA, wrd de JA-Anwesung von STOP angelaufen und SELTSAM gerät n ene Endlosschlefe, hält also ncht (Wderspruch!). Wenn NEIN, so wrd der NEIN-Ausgang von STOP angelaufen, und SELTSAM stoppt mt OK (Wderspruch!) Der Wderspruch folgt aus der Annahme, dass ene STOP-Maschne exstert, was vernent werden muß. Ncht entschedbare (berechenbare) Probleme Das Halteproblem st en Bsp. für en semantsches Problem von Algorthmen, nämlch en Problem der folgenden Art: Kann man anhand enes Programmtextes entscheden, ob de berechnete Funkton (Semantk) ene bestmmte Egenschaft hat. De Algorthmentheore (Satz von Rce) hat dazu folgende Aussage gegeben: Jede ncht trvale semantsche Egenschaft von Algorthmen st ncht entschedbar. Ncht entschedbar snd u.a. folgende Probleme:. Ist de Funkton überall defnert?. Berechnen gegebene Algorthmen deselbe Funkton? 3. Ist en gegebener Algorthmus korrekt, d.h. berechnet er de gegebene (gewünschte) Funkton? Das bedeutet ncht, dass man solche Fragen ncht m Enzelfall entscheden könnte. Es st edoch prnzpell unmöglch, ene allgemene Methode herfür zu fnden, also 8

19 z.b. ene Algorthmus, der de Korrekthet aller Algorthmen nachwest (und damt auch sene egene)...6. Effzenz De zwete wchtge Egenschaft enes Algorthmus st sene Effzenz. De wchtgsten Maße für de Effzenz snd der zur Ausführung des Algorthmus benötgte Specherplatz und de benötgte Rechenzet (Laufzet):. Man kann de Laufzet durch Implementerung des Algorthmus n ener Programmersprache (z.b. C++) auf enem konkreten Rechner für ene Menge repräsentatver Engaben messen. Bsp.: Implementerung enes enfachen Sorteralgorthmus n C++ mt Messen der CPU-Zet 5. #nclude <tme.h> // clock_t start, fnsh; start = clock(); sort( ); fnsh = clock(); cout << "sort hat " << double (fnsh start) / CLOCKS_PER_SEC << " Sek. benoetgt\n"; // Solche expermentell ermttelten Meßergebnsse lassen sch ncht oder nur schwer auf andere Implementerungen und andere Rechner übertragen.. Aus deser Schwergket beten sch Auswege an:. Man benutzt enen dealserenden Modellrechner als Referenzmaschne und mßt de auf desem Rechner zur Ausführung des Algorthmus benötgte Zet und benötgten Specherplatz. En n der Lteratur 6 zu desem Zweck häufg benutztes Maschnenmodell st das der RAM (Random-Access- Maschne). Ene solche Maschne verfügt über enge Regster und ene (abzählbar unendlche) Menge enzeln addresserbarer Specherzellen. Regster und Specherzellen können e ene (m Prnzp) unbeschränkt große (ganze oder reelle) Zahl aufnehmen. Das Befehlsrepertore für ene RAM ähnelt ener enfachen, herkömmlchen Assemblersprache. De Kostenmaße Specherplatz und Laufzet enthalten dann folgende Bedeutung: Der von enem Algorthmus benötgte Specherplatz st de Anzahl der zur Ausführung benötgten RAM-Specherzellen. De benötgte Zet st de Zahl der ausgeführten RAM-Befehle.. Bestmmung enger für de Effzenz des Algorthmus besonders charakterstscher Parameter 7. Laufzet und Specherbedarf enes Algorthmus hängen n der Regel von der Größe der Engabe ab 8. Man unterschedet zwschen dem Verhalten m besten Fall, dem Verhalten m Mttel (average case) und dem Verhalten m schlechtesten Fall (worst case). In den mesten Fällen führt man ene worstcase Analyse für de Ausführung enes Algorthmus der Problengröße N durch. Dabe kommt es auf den Specherplatz ncht an, ledglch de Größenordnung der Laufzet- und Specherplatzfunktonen n Abhänggket von der Größe der Engabe N wrd bestmmt. Zum Ausdruch deser Größenordnung hat sch ene besondere Notaton engebürgert: de O-Notaton bzw. Bg-O-Notaton. 5 In Java steht zur Zetmessung de Methode currenttmemlls() aus System zur Verfügung. currenttmemlls bestmmt de Anzahl der Mllsekunden, de set Mtternacht des..97 vergangen snd. 6 Vgl. Aho, Hopcroft, Ullman: The Desgn and Analyss of Computer Algorthms, Addson-Wesley Publshng Company 7 So st es bspw. üblch, de Laufzet enes Verfahrens zum Sorteren ener Folge von Schlüsseln durch de Anzahl der dabe ausgeführten Verglechsoperatonen zwschen Schlüsseln und de Anzahl der ausgeführten Bewegungen von den ewelgen betroffenen Datensätzen zu messen. 8 de m Enhetskostenmaß oder m logarthmschen Kostenmaß gemessen wrd 9

20 Laufzet T(N): De Laufzet gbt exakt an, wevel Schrtte en Algorthmus be ener Engabelänge N benötgt. T(N) kann man m Rahmen sog. assymptotscher Kostenmaße abschätzen. Für dese Abschätzung exsteren de sog. Bg-O-Notaton (bzw. Ω - und Θ -Notaton): Bg-O-Notaton: En Funkton f (N) heßt von der Ordnung O ( g( N)), wenn Konstante c und n exsteren, so dass f ( N) c o g( N) für alle N > n. De Bg-O-Notaton lefert ene Obergrenze für de Wachstumsrate von Funktonen: f O(g), wenn f höchstens so schnell we g wächst. Man sagt dann: de Laufzet enes Algorthmus "T(N) st O(N)" oder "T(N) st en O(N)". Bg- Ω -Notaton: En Funkton f (N) heßt von der Ordnung Ω ( g( N)), wenn Konstante c und n exsteren, so dass f ( N) co g( N) für alle N > n. De Bg- Ω -Notaton lefert ene Untergrenze für de Wachstumsrate von Funktonen: f Ω(g), wenn f mndestens so schnell we g wächst. θ -Notaton: Das Laufzetverhalten enes Algorthmus st θ (N), falls O( N) = Ω( N). Über θ (N) kann das Laufzetverhalten exakt beschreben werden. Damt lässt sch der Zetbedarf enes Algorthmus darstellen als ene Zetfunkton T (N) 9 aus dem Berech der postven reellen Zahlen: En Algorthmus hat de Komplextät O (g), wenn T ( N) O( g) glt. Mestens erfolgt de Abschätzung hnschtlch der oberen Schranken (Worst Case): Groß-O-Notaton. T (N) c g( n) f Θ(g) c g( n) n N Abb..-7: Assymptotsche Kostenmaße Zetbedarf enes Algorthmus: Ist N de Problemgröße, A en Algorthmus, dann hat en Algorthmus de Komplextät O (g), wenn für den Zetbedarf von A T A ( n) O( g) glt. Wenn ncht explzt anders beschreben, st T A (n) maxmale Laufzet für de gegebene Faustregel n der O-Notaton 9 falls ncht explzt anders beschreben, st T (N) de maxmale Laufzet für de gegebene Problemgröße N

21 Rechenregeln zur O-Notaton. O( f ), falls g O( f ) Addton: f + g O(max( f, g)) = O( g), falls f O( g) De Addtonsregel dent zur Bestmmung der Komplextät be Hnterenanderausführung der Programme Multplkaton: f g O( f g) De Multplkatonsregel dent zur Bestmmung der Komplextät von nenandergeschachtelten Schlefen Lneartät: f ( n) = a g( n) + b Ω() f O( g)..7 Komplextät Für de algorthmsche Lösung enes gegebenen Problems st es unerläßlch, daß der gefundene Algorthmus das Problem korrekt löst. Darüber hnaus st es natürlch wünschenswert, daß er des mt möglchst gerngem Aufwand tut. De Theore der Komplextät von Algorthmen beschäftgt sch damt, gegebene Algorthmen hnschtlch hres Aufwands abzuschätzen und darüber hnaus für gegebene Problemklassen anzugeben, mt welchem Mndestaufwand Probleme deser Klasse gelöst werden können. Mestens geht es be der Ananlyse der Komplextät von Algorthmen (bzw. Problemklassen) darum, als Maß für den Aufwand ene Funkton anzugeben, wobe f ( Ν) = a bedeutet: Be enem Problem der Größe N st der Aufwand a. De Problemgröße N bezechnet dabe n der Regel en grobes Maß für den Umfang ener Engabe, z.b. de Anzahl der Elemente n der Engabelste oder de Größe enes bestmmten Engabewertes. Der Aufwand a st n der Regel en grobes Maß für de Rechenzet. De Rechenzet wrd häufg dadurch abgeschätzt, daß man zählt, we häufg ene bestmmte Operaton ausgeführt wrd, z.b. Specherzugrffe, Multplkatonen, Addtonen, Vergleche, etc. Bsp.: We oft wrd de Wertzuwesung x = x + n folgenden Anwesungen ausgeführt?. x = x + ;.....-mal. for (=; <= n; ++) x = x + ;....n-mal 3. for (=; <= n; ++) for ( = ; <= n; ++) x = x + ; n -mal De Aufwandfunkton läßt sch n den wengsten Fällen exakt bestmmen. Vorherrschende Analysemethoden snd: - Abschätzungen des Aufwands m schlechtesten Fall - Abschätzungen des Aufwands m Mttel Selbst herfür lassen sch m Allg. kene exakten Angaben machen. Man beschränkt sch dann auf ungefähres Rechnen n Größenordnungen. Bsp.: Gegeben: n a, a, a3,..., an Z Gesucht: Der Index der (ersten) größten Zahl unter den a (=,...,n) Lösung: max = ;

22 for (=;<=n;++) f (a max < a ) max = We oft wrd de Anwesung max = m Mttel ausgeführt (abhängg von n)? De gesuchte mttlere Anzahl se T n. Offenbar glt: T n n. max = wrd genau dann ausgeführt, wenn a das größte der Elemente a, a, a3,..., a st. Angenommen wrd Glechvertelung: Für edes =,..., n hat edes der Elemente a, a, a3,..., an de gleche Chance das größte zu sen, d.h.: Be N Durchläufen wrd N/n-mal de Anwesung max = ausgeführt. Daraus folgt für N Tn (Aufwendungen be N Durchläufen vom max = ): N N N N T n = N = N( ) 3 n 3 n Des st Hn, de n-te harmonsche Zahl. Für Hn st kene geschlossene Formel bekannt, edoch ene ungefähre Abschätzung: Tn = H n ln n + γ. Interessant st nur, daß Tn logarthmsch von n abhängt. Man schrebt T n st von der Ordnung logn, de multplkatve und addtve Konstante sowe de Bass des Logarthmus bleben unspezfzert. Dese sog. (Landau'sche) Bg-O-Notaton läßt sch mathematsch exakt defneren: f ( n) f ( n) = O( g( n)) : c, n n n : f ( n) c g( n), d.h. st für genügend große n g( n) durch ene Konstante c beschränkt. f wächst ncht stärker als g. Dese Begrffsbldung wendet man be der Analyse von Algorthmen an, um Aufwandsfunktonen durch Engabe ener enfachen Verglechsfunkton abzuschätzen, so daß f ( n) = O( g( n)) glt, also das Wachstum von f durch das von g beschränkt st. Gebräuchlche Verglechsfunktonen snd: O-Notaton Aufwand Problemklasse O () Konstanter Aufwand Enge Suchverfahren für Tabellen ( Hashng ) O (log n) Logarthmscher Aufwand Allgemene Suchverfahren für Tabellen (Bnäre Suche) O (n) Lnearer Aufwand Sequentelle Suche, Suche n Texten, syntaktsche Analyse n Programmen O( n log n) schlaues Sorteren, z.b. Qucksort O ( n ) Quadratscher Aufwand Enge dynamsche Optmerungsverfahren, z.b. optmale Suchbäume); dummes Sorteren, z.b. Bubble-Sort O ( n k ) für k Multplkatonen Matrx mal Vektor O ( n ) Exponenteller Aufwand Vele Optmerungsprobleme, automatsches Bewesen (m Prädkatenkalkül. Stufe) O (n!) Alle Permutatonen Zur Veranschaulchung des Wachstums konnen de folgende Tabellen betrachtet werden: f(n) N= 4 =6 5 =56 ldn 4 8 N Eulersche Konstante γ =

23 N ldn N N N Unter der Annahme Schrtt dauert μ s = 6 s folgt für N= N μ s μ s 3 μ s 4 μ s 5 μ s 6 μ s N μ s 4 μ s 9 μ s.6 ms.5 ms 3.6 ms N 3 ms 8 ms 7 ms 64 ms 5 ms 6 ms N ms s 8 mn 3 Tage 36 Jahre 366 Jahre 3 N 59 ms 58 mn 6.5 Jahre 3855 Jahre 8 Jahre 3 Jahre N! 3,6 s 77 Jahre 6 Jahre 3 Jahre 49 Jahre 66 Jahre Abb..-: Polynomal- und Exponentalzet..7. Laufzetberechnungen..7.. Analyse der Laufzet De Laufzet st bestmmt durch de Anzahl der durchgeführten elementaren Operatonen (Grundrechenarten, Vergleche, Feldzugrffe, Zugrffe auf de Komponenten ener Struktur, etc.) De Angabe der Laufzet n Abhänggket von konkreten Engabewerten st m Allg. ncht möglch oder sehr aufwendg. Daher betrachtet man de Laufzet häufg n Abhänggket von der Größe (dem Umfang) der Engabe. Defnton: T(n) = Anzahl der elementaren Operatonen, de zur Bearbetung ener Engabe der Größe n bearbetet werden. Ene Analyse der Laufzet bezeht sch auf den besten, den schlechtesten und den mttleren Fall: -T mn (n) = mnmale Anzahl der Operatonen, de durchgeführt werden, um ene Engabe der Größe n zu bearbeten. - T max (n) = maxmale Anzahl der elementaren Operatonen, de durchgeführt werden, um ene Engabe der Größe n zu bearbeten. Ist ene Wahrschenlchketsvertelung der Engabedaten gegeben, kann auch ene mttlere Laufzet T mt (n) ermttelt werden. Bsp.: Sequentelle Suche n Folgen Gegeben st ene Zahl n, n Zahlen a, a,, a n (alle verscheden), ene Zahl b. Gesucht st der Index =,,,n, so dass b == a, falls en Index exstert. Andernfalls st = n+. Lösung: = ; whle ( <= n && b!= a ) = + ; Aufwand der Suche: Ergebns hängt von der Engabe ab, d.h. von n, a,, a n und b. erfolgreche Suche (wenn b == a ): S = Schrtte. erfolglose Suche S = n+ Schrtte Zel: globalere Aussagen, de nur von ener enfachen Größe abhängen, z.b. von der Länge n der Folge. ) We groß st S für gegebenes n m schlechtesten Fall? - m schlechtesten Fall: b wrd erst m letzten Schrtt gefunden: b = a n, S = n m schlechtesten Fall ) We groß st S für gegebenes n m Mttel - m Mttel 3

24 - Wederholte Anwendung mt verschedenen Engaben - Annahme über Häufgket: We oft wrd b an erster, zweter, letzter Stelle gefunden? - Insgesamt für N-Suchvorgänge N N N M = n = n n n M S = Schrtte, also N - für ene Suche N n ( n) = N n n ( n + ) S = n + m Mttel be Glechvertelung n + = N..7.. Asymptotsche Analyse der Laufzet ( Bg-O ) (Analyse der Komplextät durch Angabe ener Funkton f : N N als Maß für den Aufwand) Defnton: f (n) st n der Größenordnung von g (n) f ( n) = O( g( n)), falls Konstante c und n exsteren, so dass f ( n) c g( n) für n n. f ( n) st für genügend große n durch ene Konstante c beschränkt, d.h. f wächst g( n) ncht schneller als g. Zel der Charakterserung T ( n) = O( g( n)) st es, ene möglchst enfache Funkton g (n) zu fnden. Bspw. st T ( n) = O( n) besser als T ( n) = O(5n + ). Wünschenswert st auch de Charakterserung der Laufzet mt ener möglchst klenen Größenordnung. De O-Nataton besteht n der Angabe ener asymptotschen oberen Schranke für de Aufwandsfunkton (Wachstumsgeschwndgket bzw. Größenordnung) Vorgehenswese be der Analyse für Kontrollstrukturen De Algorthmen werden gemäß hrer Kontrollstruktur von nnen nach außen analysert. In der Laufzet, de sch dann ergbt, werden anschleßend de Konstanten durch den Übergang zur O-Notaton besetgt. Anwesungen: Anwesungen, de aus ener konstanten Anzahl von elementaren Operatonen bestehen, erhalten ene konstante Laufzet. Sequenz A,A,,A n. Werden für de enzelnen Anwesungen, de Laufzeten T, T,,T n ermttelt, dann ergbt sch für de Sequenz de Laufzet T=T +T + +T n Schlefe, de genau n-mal durchlaufen wrd, z.b. for-schlefe ohne break: for (=;<=n;++) A; Wrd für A de Laufzet T ermttelt, dann ergbt sch als Laufzet für de for-schlefe T = n T =. Egentlch müsste zu T noch ene Konstante C für <=n und ++ und C für = hnzugezählt werden. Bem späteren Übergang zur O-Notaton würde de Konstanten edoch wegfallen 3. Fallunterschedung (mt else-tel): f (B) A, else A; Her muß zwschen der Laufzet m besten und schlechtesten Fall unterscheden werden: T mn =mn(t,t ), T max =max(t,t ), wobe T de Laufzet für A und T de Laufzet für A st. Man geht davon aus, dass de Bedngung B konstante Zet benötgt und wegen des späteren Übergangs zur O-Notaton enfachhetshalber ncht mtgezählt werden muß. geegnetes n und c müssen angegeben werden, um zu zegen, dass ) ( ( )) 3 vgl. Skrptum,..7 4 f ( n = O g n glt

25 Schlefe mt k-malgen Durchläufen, wobe n <=k<=n. Dese trtt typscherwese be whle-schlefen auf. Es muß dann ene Analyse für den besten Fall (k=n ) und den schlechtesten Fall (k=n ) durchgeführt werden. Rekurson mt n n : Es ergeben sch rekursve Glechungen für de Laufzeten Bsp.: rekursve Fakultätsberechnung nt fak(nt n) { f (n == ) return ; else return n*fak(n-); } Man erhält folgende Laufzet: T n = C für n = T n = C + T ( n ) ) für n > Durch wederholtes Ensetzen: T ( n) = C + C C + C = O( n) Rekurson mt Tele und Herrsche. n mal f ( x, n) { f ( n == ) () {// Bassfall /* löse Pr oblem drekt, Ergebns se loes* / return loes; } else{// Teleschrtt /* tele xntelprobleme xund x ewels dergröße n / * / () loe = f ( x, n / ); loe = f ( x, n / ); // Herrscheschrtt /* Setze Loesung loes für x aus loeund loe zusammen* / (3) return loes; } } Für den Bassfall () wrd ene konstante Anzahl C Operatonen angesetzt. () und (3) benötgen lnearen Aufwand und damt C n Operatonen. T ( n) = C falls n = T ( n) = C n + T ( n / ) 45 Durch Ensetzen ergbt sch: T ( n) = Cn + ( C n / + T ( n / 4) ) = C n + 4 T ( n / 4) ) Durch nochmalges Ensetzen ergbt sch: T ( n) = 3 C n + 8 T ( n / 8) ) log n T ( n) = log ( n) C n + T () log Mt n = n und T ( ) = C erhält man: T ( n) = C n log ( n) + C n 4 n lässt sch log n -mal halberen. Falls n ene Zweerpotenz st (d.h. n = k ), lässt sch n sogar exakt log n = k oft halberen. n soll der Enfachhet halber her ene Zweerpotenz sen. 5 Rekurrenzglechung: De Analyse rekursver Algorthmen führt mestens auf ene sog. Rekurrenzglechung 5

26 Lösung von Rekurrenzglechungen Ene Rekurrenzrelaton (kurz Rekurrenz) st ene Methode, ene Funkton durch enen Ausdruck zu defneren, der de zu defnerende Funkton selbst enthält, z.b. Fbonacc-Zahlen6. We löst man Rekurrenzglechungen? Es gbt Verfahren: Substtutonsmethode bzw. Mastertheorem. Zur Lösung von Rekurrenzglechungen haben snd Verfahrenstechnken bekannt: Substtutonsmethode bzw. Mastertheorem. Lösung mt der Substtutonsmethode: Rate ene Lösung (z.b. über den Rekursonsbaum) Bewese de Korrekthet der Lösung per Indukton Lösung mt dem Mastertheorem: Mt dem Mastertheorem kann man sehr enfach Rekurrenzen der Form N T ( n) T + Θ( n) Vollständge Indukton = berechnen Das Bewesverfahren der vollständgen Indukton st en Verfahren, mt dem Aussagen über natürlche Zahlen bewesen werden können. Neben Aussagen über natürlche Zahlen können auch damt gut Aussagen bewesen werden de - rekursv defnerte Strukturen und - abzählbare Strukturen betreffen. Grunddee: Ene Aussage st gültg für alle natürlchen Zahlen n N, wenn man nachwesen kann: De Aussage glt für de erste natürlche Zahl n = (Induktonsanfang) Wenn de Aussage für ene natürlche Zahl n glt, dann glt se auch für hren Nachfolger n+ (Induktonsschrtt) n Enf. Bsp.: S( n) = = n = n ( n + ) = Bewes: Induktonsanfang: ( + ) = Induktonsschrtt: Induktonsvoraussetzung: k ( k + ) Zu zegen, dass glt: ( k + ) ( k+ ) k + k = + ( k + ) ) = k ( k + ) + k + = ( k = = = ( k + k + k + ) = ( k + ) ( k + ) + k) + (k + ) 6 vgl. Skrptum: Algorthmen und Datenstrukturen SS9,

27 Asymptotsche Abschätzung mt dem Master-Theorem Das Mastertheorem hlft be der Abschätzung der Rekurrenzen der Form T ( n) = a T ( n / b) + f ( n) 7. Leder hat es aber zwe Defntonslücken, d.h. es gbt enge Rekurrenzen deser Form, de ncht mt dem Mastertheorem lösbar snd Master-Theorem - a und b > snd Konstanten. f (n) st ene Funkton und T (n) st über den nchtnegatven ganzen Zahlen durch folgende Rekurrenzglechung defnert: T ( n) = a T ( n / b) + f ( n). Interpretere n / b so, dass entweder n / b oder n / b - Dann kann T (n) folgendermaßen asymptotsch abgeschätzt werden: logb Θ( n T ( n) = Θ Θ( f ( n)) a ) logb a ( n log n) falls : ε > mt f ( n) = Ω( n log a+ ε b falls glt : ε > mt ) c < : n > n f ( n) = O( n falls glt : f ( n) = Θ( n log a ε log : a f ( n / b) c f ( n) b b a ) ) Anwendung des Theorems an engen Bespelen. T ( n) = 9 T ( n / 3) + n a = 9, b = 3, f ( n) = n Da ( ) ( log 9 ε f n = O n 3 ) mt ε = glt, kann Fall des Master-Theorems angewendet werden. 9 Somt glt: T ( n) = Θ( n ) log ( ) 3 = Θ n. T ( n) = T (n / 3) + a =, b = 3/ log log3 / Da n b a = n = n = st, glt logb a f ( n) = Θ( n ) = Θ( ), und es kommt Fall des log Master-Theorems zur Anwendung. Somt glt: ( ) ( T n = Θ n 3 / log n) = Θ(log n ) 3. T ( n) = 3 T ( n / 4) + n log n a = 3, b = 4, f ( n) = nlog n log Es st n logb a = n 4 = O( n ). Somt st ( ) ( log 3 ε f n = Ω n + 4 ) mt ε.. Weterhn glt für hnrechend große n: a f ( n) = 3 ( n / 4) log( n / 4) ( 3/ 4) n log n. Fall 3 des Master- Theorems kann damt angewandt werden: T ( n) = O( f ( n)) = Θ( n log n) Achtung! Es gbt Fälle, n denen de Struktur der Glechung zu passen schent, aber ken Fall des Master-Theorems exstert, für den alle Bedngungen erfüllt snd. - T ( n) = T ( n ) + n log( n) -- a =, b =, f ( n) = n log( n) log a -- Da f ( n) = n log( n) asymptotsch größer st als n b = n st man versucht, Fall 3 des Master-Theorems anzuwenden -- Allerdngs st f (n) ncht polynomal größer als n, da für alle postve Konstanten ε > das Verhältns f ( n) n = nlogn / n logn asymptotsch klener st als log a = b -- Das Master-Theorem kann n desem Fall nchtr angewendet werden. ε n 7 Solche Rekurrenzen treten oft be der Analyse sogenannter Dvde-and-Conquer-Algorthmen auf. 7

28 ..7. Berechnungsgrundlagen für rechnersche Komplextät..7.. System-Effzenz und rechnersche Effzenz Effzente Algorthmen zechnen sch aus durch - schnelle Bearbetungsfolgen (Systemeffzenz) auf unterschedlche Rechnersystemen. Her wrd de Laufzet der dversen Suchalgorthmen auf dem Rechner (bzw. verschedene Rechnersysteme) ermttelt und mtenander verglchen. De zetlche Beanspruchung wrd über de nterne Systemuhr gemessen und st abhängg vom Rechnertyp - Inanspruchnahme von möglchst weng (Arbets-) Specher - Optmerung wchtger Lestungsmerkmale, z.b. de Anzahl der Verglechsbedngungen, de Anzahl der Iteratonen, de Anzahl der Anwesungen (, de der Algorthmus benutzt). De Berechnungskrteren bestmmen de sog. rechnersche Komplextät n ener Datensammlung. Man sprcht auch von der rechnerschen Effzenz P- bzw. NP-Probleme Von besonderem Interesse für de Praxs st der Untersched zwschen Problemen mt polynomaler Laufzet (d.h. T ( N) = O( p( N)), p = Polynom n N) und solchen mt ncht polynomaler Laufzet. Probleme mt polynomaler Laufzet nennt man lecht, alle übrgen Probleme heßen hart (oder unzugänglch). Harte Probleme snd praktsch ncht mehr (wohl aber theoretsch) algorthmsch lösbar, denn selbst für klene Engaben benötgt en derartger Algorthmus Rechenzet, de ncht mehr zumutbar st und lecht en Menschenalter überschretet 8. Vele wchtge Problemlösungsverfahren legen n dem Berech zwschen lechten und harten Problemen. Man kann ncht zegen, dass dese Probleme lecht snd, denn es gbt für se kenen Polynomalzet-Algorthmus. Umgekehrt kann man auch ncht sagen, dass es sch um harte Probleme handelt. Der Fakt, dass ken Polynomalzet- Algorthmus gefunden wurde, schleßt de Exstenz enes solchem Algorthmus ncht aus. Möglcherwese hat man sch be der Suche danach bsher noch ncht klug genug angestellt. Es wrd dann nach set Jahrzenten erfogloser Forschung angenommen, dass es für dese Probleme kene polynomellen Algorthmen gbt. Man sprcht n desem Fall von der Klasse der sog. NP-vollständgen Probleme. 9 Es st heute allgemene Überzeugung, daß höchstens solche Algorthmen praktkabel snd, deren Laufzet durch en Polynom n der Problemgröße beschränkt blebt. Algorthmen, de exponentelle Schrttzahl erfordern, snd schon für relatv klene Problemgrößen ncht mehr ausführbar. Problemklasse P Menge aller Probleme, de mt Hlfe determnstscher Algorthmen n polynomaler Zet gelöst werden können. Be Lösung durch ene determnstsche Turngmaschne 3 kann für edes Problem k deser Klasseen Polynom der Form n angegeben werden, das de Zetkomplextät m Verhältns zur Engabe nach oben beschränkt. 8 vgl. Abb..- 9 nchtdetermnstsch polynomal 3 en häufg verwendetes Modell zur exakten Analyse der Zetkomplextät st de determnstsche Turngmaschne, welche als Abstrakton enes realen Computers angesehen werden kann. 8

29 P wrd auch als Klasse der praktsch lösbaren Probleme bezechnet. Problemklasse EXP Anstelle enes Polynoms wrd her als obere Schranke für de Zetkomplextät ene k n Funkton n Abhänggket von der Engabelänge n angegeben. De Lösung der schwersten Probleme deser Klasse benötgt also exponentelle Zet. Weterhn st de Klasse P vollständg n EXP enthalten. Problemklasse NP Menge aller Probleme, de nur mt nchtdetermnstschen 3 Algorthmen n polynomaler Zet gelöst werden können. De Komplextätsklasse NP 3 st de Menge aller von nchtdetermnstschen Turngmaschnen n Polynomalzet lösbaren Probleme. Da sch Probleme aus P natürlch auch nchtdetermnstsch n Polynomalzet lösen lassen, st P ene Telmenge von NP. NP-Vollständgket - Allgemen: P NP - Jedoch offenes Problem, ob sch NP-Probleme ncht edoch mt polynomalen Aufwand lösen lassen (also P = NP ) - Bewesbar: Exstenz ener Klasse von verwandten Problemen aus NP mt folgender Egenschaft: Falls enes deser Proble n polynomaler Zet mt enem determnstschen Algorthmus gelöst werden könnte, so st des für alle Probleme aus NP möglch. - NP-vollständge Probleme: Problem des Handlungsresenden (TSP), Rucksackproblem Vele praktsche Anwendungen für NP-vollständge Probleme, we z.b. TSP, Rucksackproblem, oder das Problem der Färbung von Graphen, wären m Fall P = NP theoretsch optmal n kurzer Zet lösbar. P versus NP Unklar st, ob de beden Klassen dentsch snd, und damt auch, ob de schwersten Probleme der Klasse NP ebenso effzent we be der Komplextätsklasse P gelöst werden können 33. Lösung des Problems Bsher exsteren zum exakten Lösen von NP-vollständgen Problemen nur Exponentalzetalgorthmen auf determnstschen Rechenmaschnen. Andere Klassen von Problemen, welche garantert mndestens exponentelle Laufzet 3 Nchtdetermnsmus: Raten der rchtgen Varante be mehreren Lösungen En anschaulsches Problem aus NP, für das ncht klar st, ob es n P enthalten st, st das Rucksackproblem. 9

30 benötgen, veranschaulchen de derzet praktsche Unlösbarket von NPvollständgen Problemen, d.h.: P NP. Mt dem Bewes von P NP wären NP- Probleme endgültg als schwer lösbar klassfzert. Übung _7: Grenzen der Berechenbarket.3 Daten und Datenstrukturen.3. Datentyp En Algorthmus verarbetet Daten. En Datentyp soll glechartge Daten zusammenfassen und de nötgen Bassoperatonen zur Verfügung stellen. En Datentyp st durch Angaben festgelegt:. Ene Menge von Daten (Werte). Ene Menge von Operatonen auf desen Daten En Datentyp 34 st demnach ene Zusammenfassung von Werteberechen und Operatonen zu ener Enhet..3. Datenstruktur Komplexe Datentypen, sog. Datenstrukturen, werden durch Kombnaton prmtver Datentypen gebldet. Se bestzen selbst spezfsche Operatonen. Ene Datenstruktur st en Datentyp und dent zur Organsaton von Daten zur effzenten Unterstützung bestmmter Operatonen. Betrachtet wrd en Ausschntt aus der realen Welt, z.b. de Hörer deser Vorlesung an enem bestmmten Tag: Juergen Regensburg Bad Hersfeld 3..7 Fredrch-. Ebertstr. 4 Josef Lesel Mara Dese Daten können sch zetlch ändern, z.b. ene Woche später kann ene veränderte Zusammensetzung der Zuhörerschaft vorlegen. Es st aber deutlch erkennbar: De Modelldaten entsprechen enem zetnvaranten Schema: NAME WOHNORT GEBURTSORT GEB.-DATUM STRASSE Dese Feststellung entsprcht enem Abstraktonsprozeß und führt zur Datenstruktur. Se bestmmt den Rahmen (Schema) für de Beschrebung enes Datenbestandes. Der Datenbestand st dann ene Ansammlung von Datenelementen (Knoten), der Knotentyp st durch das Schema festgelegt. 34 Vgl. Skrptum Programmeren n Java WS 5 / 6:.3.4,.4..3,.3 3

31 Der Wert enes Knoten k K wrd mt wk bezechnet und st en n -Tupel von Zechenfolgen; wk bezechnet de -te Komponente des Knoten. Es glt wk = ( wk, w k,..., w n k) De Knotenwerte des vorstehenden Bespels snd: wk = (Jürgen,Regensburg,Bad Hersfeld,...,Ulmenweg ) wk = (Josef,Straubng_,...,...,... ) wk 3 = (Lesel,...,...,...,... )... wk n = (,,,, ) Welche Operatonen snd mt deser Datenstruktur möglch? Be der vorlegenden Tabelle snd z.b. Zugrffsfunktonen zum Enfügen, Löschen und Ändern enes Tabellenentrages möglche Operatonen. Generell bestmmen Datenstrukturen auch de Operatonen, de mt desen Strukturen ausgeführt werden dürfen. Zusammenhänge zwschen den Knoten enes Datenbestandes lassen sch mt Hlfe von Relatonen bequem darstellen. Den vorlegenden Datenbestand wrd man aus Verarbetungsgründen bspw. nach enem bestmmten Merkmal anordnen (Ordnungsrelaton). Dafür steht her (m vorlegenden Bespel) der Name der Studenten: Josef Juergen Lesel Abb..3-: Enfacher Zusammenhang zwschen Knoten enes Datenbestandes Datenstrukturen bestehen also aus Knoten(den enzelnen Datenobekten) und Relatonen (Verbndungen). De Verbndungen bestmmen de Struktur des Datenbestandes. Bsp.:. An Bayerschen Fachhochschulen snd m Hauptstudum mndestens allgemenwssenschaftlche Wahlfächer zu absolveren. Zwschen den enzelnen Fächern, den Dozenten, de dese Fächer betreuen, und den Studenten bestehen Verbndungen. De Obektmengen der Studenten und de der Dozenten st nach den Namen sortert (geordnet). De Datenstruktur, aus der hervorgeht, welche Vorlesungen de Studenten be welchen Dozenten hören, st: 3