Wissensbasierte Systeme. Kombinatorische Explosion und die Notwendigkeit Heuristischer Suche. Heuristiken und ihre Eigenschaften

Transkript

1 1 Michael Beetz Technische Universität München Wintersemester 2004/05 Kombinatorische Explosion und die Notwendigkeit Heuristischer Suche 2 3 der Eigenschaften der 4 : 8-Puzzle 5 Heuristiken und ihre Eigenschaften Uninformierte Suchmethoden benötigen exponentielle Zeit und können nur für einfachste Probleme benutzt werden. 15 Puzzle: Rubik s Cube: Million Jahre bei 1 Million Drehungen pro Sekunde Schach: Lösung: benutze zusätzliche Information um die Komplexität zu verringern Informierte Suchalgorithmen wählen den nächsten zu expandierenden Knoten basierend auf einer Abschätzung, wie schnell der Knoten zum Ziel führt, aus. setze Domänwissen ein: Slogan: more knowledge less search Domänwissen ist in der Form von Faustregeln Heuristiken sind einfache Regeln, die Zustände bezüglich ihrer Nähe zum Ziel bewerten Gute Heuristiken sind gute Abschätzungen einfach (schnell) zu berechnen

2 Generischer Algorithmus Suchverfahren unterscheiden sich durch die Strategie zur Auswahl des Knotens im Suchbaum, der als nächstes expandiert werden soll. Uninformierte Suche: starre Strategien ohne Information über Kosten von gegebenem Knoten bis zum Ziel. Informierte Suche: Information über Kosten von gegebenem Knoten bis zum Ziel in Form einer Evaluierungsfunktion h, die jedem Knoten eine reelle Zahl zuweist. Wenn h immer richtig ist, brauchen wir nicht zu suchen! (best-first search): Suchverfahren, das Knoten mit dem besten h-wert expandiert. (Greedy Search) für gierige Suche Eine Möglichkeit die Güte von Knoten zu beurteilen ist es, ihren Abstand zum Ziel zu schätzen. h(n) = geschätzter Abstand von n zum Ziel Einzige tatsächliche Einschränkung für h: h(n) = 0 falls n Zielknoten. mit dieser Funktion heit gierige Suche. Routensuche: h = Luftlinienentfernung zwischen zwei Orten.

3 von Arad nach Bucharest Heuristiken Die Evaluierungsfunktion h im Falle gieriger Suche wird auch heuristische Funktion oder Heuristik genannt. Das Wort Heuristik ist vom griechischen Verb hɛυρισκɛιν abgeleitet (vgl. auch Hɛυρɛκα!) und wurde vom Mathematiker Polya eingeführt, um Problemlösungstechniken zu beschreiben In der KI gibt es zwei Bedeutungen: Heuristiken sind schnelle aber u.u. unvollständige Methoden, um Probleme zu lösen [Newell, Shaw, Simon 1963] (gierige Suche ist tatsächlich i.allg. nicht vollständig) Heuristiken sind Methoden, um die Suche im Normalfall zu beschleunigen. Auf jeden Fall ist eine Heuristik problemspezifisch und fokussiert die Suche! der Eigenschaften der A : Minimierung der geschätzten Pfadkosten für A -Suche der Eigenschaften der A verbindet uniforme Kostensuche mit gieriger Suche. g(n) = tatsächliche Kosten vom Anfangszustand bis n. h(n) = geschätzte Kosten von n bis zum nächsten Ziel. f (n) = g(n) + h(n), d.h. geschätzte Kosten des günstigsten Pfades, der durch n verläuft. Seien h (n) die tatsächlichen Kosten des optimalen Pfades von n zum nächsten Ziel. h heit zulässig, wenn für alle n gilt: h(n) h (n). Wir verlangen für A, dass h zulässig ist (Luftlinienentfernung ist zulässig)

4 der Eigenschaften der A -Suche von Arad nach Bucharest der Eigenschaften der : Pfadplanung für Roboter in einer Grid-Welt der Eigenschaften der der Eigenschaften der Konturen in A Optimalität von A Innerhalb des Suchraums ergeben sich Konturen, in denen jeweils für gegebenen f -Wert alle Knoten expandiert werden: Beh.: Die erste von A gefundene Lösung ist eine mit minimalen Pfadkosten. Beweis: Wir nehmen an, dass es einen Zielknoten G mit optimalen Pfadkosten f gibt, dass A aber einen anderen Knoten G 2 mit g(g 2 ) > f gefunden hat. 420 Konturen für f = 380, 400, Sei n ein Knoten auf dem optimalen Pfad vom Start nach G, der noch nicht expandiert wurde. Da h ja zulässig ist, haben wir Wissensbasierte f (n) f Systeme.

5 Vollständigkeit und Komplexität der Eigenschaften der Iterative A -Tiefensuche: IDA der Eigenschaften der Vollständigkeit: A findet eine Lösung, falls es eine gibt, unter der Voraussetzung, dass (1) jeder Knoten nur endlich viele Nachfolgerknoten hat und (2) es eine positive Konstante δ gibt, so dass jeder Operator mindestens die Kosten δ hat. nur endlich viele Knoten n mit f (n) f. Komplexität: Falls h (n) h(n) O(log(h (n)), werden nur subexponentiell viele Knoten expandiert. Normalerweise: Exponentielles Wachstum, weil der Fehler proportional zu den Pfadkosten ist. Idee: Kombination von IDS und A, d.h. es werden alle Knoten innerhalb einer Kontur abgesucht. : : 8-Puzzle Empirische Auswertung : 8-Puzzle d = Abstand vom Ziel Durchschnitt über 100 Instanzen h 1 = Zahl der Kästchen in falscher Position h 2 = Summe der Distanzen der Kästchen zu ihrer Zielposition (Manhattan-Distanz)

6 Effekt der heuristischen Genauigkeit : 8-Puzzle Der : 8-Puzzle Effektiver Verzweigungsfaktor: Sei N = Zahl der expandierten Knoten d = Tiefe der Lösung im Suchraum dann ist b der Verzweigungsfaktor eines uniformen Suchbaums der Tiefe d und der N Knoten enthält N = 1 + b + (b ) (b ) n dominierende Heuristiken h 1 dominiert h 2, falls für alle Knoten n gilt: h 1 (n) h 2 (n) Das bedeuted, daß A mit h 1 im Durchschnitt weniger Knoten expandiert durch : 8-Puzzle Problemrelaxierung Spielregel: Ein Plättchen kann von Zelle A auf Zelle B geschoben werden, falls 1 A und B benachbart sind 2 B frei ist relaxierte Probleme: 1... falls A und B benachbart sind 2... falls B frei ist 3... falls wahr (falsch plazierte Plättchen) Hill climbing Für viele Probleme ist es irrelevant, wie man zum Zielzustand kommt nur der Zielzustand selber ist interessant (8-Damen Problem, VLSI Design, TSP). Wenn sich auerdem ein Qualitätsma für Zustände angeben lät, kann man lokale Suche benutzen, um Lösungen zu finden. Idee: Man fängt mit einer zufällig gewählten Konfiguration an und verbessert diese schrittweise Hill climbing

7 Probleme bei lokaler Suche Lokale Maxima: Der Algorithmus gibt eine suboptimale Lösung aus. Im Simulated-Annealing-Algorithmus erfolgt das Injizieren von Rauschen systematisch: Erst stark, dann abnehmend. Plateaus: Hier kann der Algorithmus nur zufällig herumwandern. Grate: Ähnlich wie Plateaus. Lösungen: Neustarts, wenn keine Verbesserung mehr Rauschen injizieren (Random walk) Tabu-Suche: Die letzten n angewandten Operatoren nicht anwenden Welche Strategien (mit welchen Parametern) erfolgreich sind (auf einer Problemklasse), kann man meist nur empirisch bestimmen. Wird seit den frühen 80er für VLSI Layout und andere Optimierungsprobleme eingesetzt. Zusammenfassung Heuristiken fokussieren die Suche. expandiert die (nach irgendeinem Ma) am besten bewerteten Knoten zuerst. Mit der Minimierung der geschätzten Kosten zum Ziel h erhalten wir gierige Suche. Minimierung von f (n) = g(n) + h(n) kombiniert uniforme Kostensuche mit gieriger Suche. Falls h(n) zulässig ist, d.h. h nie überschätzt, erhalten wir A -Suche, die vollständig und optimal ist. IDA ist eine Kombination von iterativer Tiefensuche und A.