Künstliche Intelligenz

Transkript

1 Künstliche Intelligenz Vorlesung 3: Suchverfahren Informierte Suche 1/78

2 WIEDERHOLUNG Bislang uninformierte Strategien BFS, DFS, Iteratives Vertiefen, Bidirektionale Suche Wichtige Begriffe: Suchraum, Suchbaum, Grenze 2/78

3 71 Oradea Neamt Zerind 75 Arad Timisoara Drobeta 151 Sibiu 99 Fagaras 80 Rimnicu Vilcea Lugoj Mehadia 120 Pitesti Bucharest 90 Craiova Giurgiu 87 Iasi Urziceni Vaslui Hirsova 86 Eforie 3/78

4 (a) The initial state Arad Sibiu Timisoara Zerind Arad Fagaras Oradea Rimnicu Vilcea Arad Lugoj Arad Oradea (b) After expanding Arad Arad Sibiu Timisoara Zerind Arad Fagaras Oradea Rimnicu Vilcea Arad Lugoj Arad Oradea (c) After expanding Sibiu Arad Sibiu Timisoara Zerind Arad Fagaras Oradea Rimnicu Vilcea Arad Lugoj Arad Oradea 4/78

5 5/78

6 Abbildung 1: Reihenfolge von Suchbäume 6/78

7 (a) (b) (c) Abbildung 2: Trennungseigenschaft auf der Grenze 7/78

8 PROBLEME DAMIT? Suchgrids sind wichtig in Computerspiele Jeder Zustand hat 4 Nachfolger Ein Suchbaum der Tiefe d hat 4 d Blätter Es existieren aber nur ungefähr 2d 2 verschiedene Zustände nach d Schritte von irgendeinem Zustand ausgehend d = 20: Knoten aber nur 800 verschiedene Zustände Redundante Pfade machen lösbare Probleme unlösbar... 8/78

9 INFRASTRUKTUR FÜR SUCHALGORITHMEN Für jeden Knoten n wird eine 4-elementige Datenstruktur erzeugt: n.state: Der Zustand der dem Knoten n im Zustandsraum (Statespace) entspricht. n.parent: Der Vorgänger von n im Suchbaum. n.actions: Die Handlung, die n aus seinem Vorgänger erzeugt hat. n.path-cost: Die Kosten, die entstehen, um aus dem initialen Zustand nach n zu gelangen. 9/78

10 PARENT STATE Node ACTION = Right PATH-COST = Abbildung 3: Knoten sind Datenstrukturen 10/78

11 11/78

12 Wichtig!!! Welcher ist der Unterschied zwischen Knoten und Zustand? 12/78

13 Wichtig!!! Welcher ist der Unterschied zwischen Knoten und Zustand? Grenze wird als Warteschlange gespeichert EMPTY?(queue) POP(queue) INSERT(element, queue) LIFO (Stapel), FIFO 12/78

14 BREITENSUCHE 13/78

15 BREITENSUCHE Vollständige Suche für endlicher Verzweigungsfaktor Ist optimal falls die Pfadkosten eine stetig wachsende Funktion in der Tiefe des Knotens ist Zeitkomplexität (Anzahl der besuchten Knoten in der Tiefe d): 1 + b + b 2 + b b d + b(b d 1) = O(b d+1 ). Speicherkomplexität: O(b d+1 ). 14/78

16 BREITENSUCHE Abbildung 4: Verzweigungsfaktor b = 10, 1 Million Knoten/Sekunde, 1000 Bytes/Knoten 15/78

17 GELERNTE LEKTIONEN AUS DER BFS Der Speicherplatz ist ein viel größeres Problem als die Laufzeit... Exponentielle Suchprobleme können mit uninformierte Methoden nur für sehr kleine Instanzen gelöst werden. 16/78

18 TIEFENSUCHE A A A B C B C B C D E F G H I J K L M N O D E F G H I J K L M N O D E F G H I J K L M N O A A A B C B C C D E F G H I J K L M N O D E F G I J K L M N O E F G J K L M N O A A C B C C E F G E F G F G J K L M N O K L M N O L M N O A A A C C C F G F G F G L M N O L M N O M N O 17/78

19 TIEFENSUCHE Falls der Algorithmus den falschen Pfad wählt, kann es sein, dass die Lösung nicht gefunden wird nicht vollständig kein Optimum Zeitkomplexität: O(b m ), wobei m die maximale Tiefe ist Es kann vorkommen, dass d << m, wobei d die Tiefe des Optimum ist. Speicherkomplexität: Speichert nur ein Pfad von der Wurzel zu einem Blatt, sowie die nicht expandierten Nachfolgerknoten Expandierte Knoten werden entfernt, sobald alle Nachfolger erforscht wurden O(bm), wobei m die maximale Tiefe bezeichnet Kann mittels Backtracking verringert werden Erzeuge jeweils ein Nachfolger (statt alle) O(m) Zustände Modifiziere den laufenden Zustand, statt ihn zu kopieren O(1) Zustände und O(m) Handlungen 18/78

20 EINGESCHRÄNKTE TIEFENSUCHE Knoten in Tiefe I werden als nachfolgerfreie Knoten behandelt Wie bestimmen wir die Schranke? Allgemeines Wissen über das Problem Praktische Untersuchungen 19/78

21 ITERATIVE TIEFENSUCHE Tiefensuche ist nicht vollständig Wie macht man die Tiefensuche vollständig? Suche ist vollständig Suche ist optimal Geringe Speicherkomplexität: O(bd) Zeitkomplexität: O(b d ) ist aber besser als BFS, welches ein weiteres Level untersucht Iterative Tiefensuche ist DIE Suchmetode für sehr große Suchräume und die Tiefe der Lösung ist unbekannt. 20/78

22 ITERATIVE TIEFENSUCHE A A A B C B C B C D E F G H I J K L M N O D E F G H I J K L M N O D E F G H I J K L M N O A A A B C B C B C D E F G H I J K L M N O D E F G H I J K L M N O D E F G H I J K L M N O A A A B C B C B C D E F G H I J K L M N O D E F G H I J K L M N O D E F G H I J K L M N O A A A B C B C B C D E F G H I J K L M N O D E F G H I J K L M N O D E F G H I J K L M N O 21/78

23 UNIFORME KOSTENSUCHE Alle Handlungen haben gleichem Kost BFS ist optimal Uniforme Kostensuche expandiert den Knoten mit dem kleinsten Pfadkosten g(n). Dafür wird die Grenze als Prioritätsschlange gespeichert. 22/78

24 UNIFORME KOSTENSUCHE 23/78

25 UNIFORME KOSTENSUCHE Sibiu 99 Fagaras 80 Rimnicu Vilcea 97 Pitesti Bucharest 24/78

26 Abbildung 5: Vergleich der Suchstrategien: B Verzweigungsfaktor, d Tiefe der Lösung, m Tiefe der Suchbaums, l Schranke der Tiefensuche. a vollständig, falls b endlich, b vollständig für Kosten ɛ > 0, c optimal bei konstanten Kosten, d falls BFS in beiden Richtungen 25/78

27 INFORMIERTE SUCHSTRATEGIEN 26/78

28 INFORMIERTE SUCHSTRATEGIEN (ISS) Benutzt neben der Definition des Problems auch problemspezifisches Wissen. Findet Lösungen effizienter als eine uninformierte Strategie Der Suchraum ist eingeschränkt durch intelligente Auswahl der Knoten Dies funktioniert über einer Evaluierungsfunktion Diese Funktion ist immer problemspezifisch 27/78

29 INFORMIERTE SUCHSTRATEGIEN (ISS) Definition Die Suche nennt man informiert, wenn (zusätzlich) eine Bewertung aller Knoten des Suchraumes angegeben werden kann. Knotenbewertung Schätzfunktion Ähnlichkeit zum Zielknoten oder auch Schätzung des Abstands zum Zielknoten Bewertung des Zielknotens: Sollte Maximum / Minimum der Schätzfunktion sein 28/78

30 HEURISTISCHE SUCHE Definition Eine Heuristik (Daumenregel) ist eine Schätzfunktion, die in vielen praktischen Fällen, die richtige Richtung zum Ziel angibt. Suchproblem ist äquivalent zu: Minimierung (bzw. Maximierung) einer Knotenbewertung (einer Funktion) auf einem (implizit gegebenen) gerichteten Graphen Variante: Maximierung in einer Menge oder in einem n-dimensionaler Raum. 29/78

31 SUCHSTRATEGIEN IN BÄUMEN Evaluationsfunktionen f (n) - Kosten durch Knoten (Zustand) n h(n) - Kosten eines Lösungspfades von Knoten n zum Zielknoten g(n) - Kosten eines Lösungspfades vom initialen Knoten zum Knoten n f (n) = g(n) + h(n) 30/78

32 8-PUZZLE. BEISPIEL 31/78

33 8-PUZZLE. BEISPIEL 32/78

34 8-PUZZLE. BEISPIEL 33/78

35 8-PUZZLE. BEISPIEL 34/78

36 8-PUZZLE. BEISPIEL 35/78

37 8-PUZZLE. BEISPIEL 36/78

38 8-PUZZLE. BEISPIEL 37/78

39 8-PUZZLE. BEISPIEL 38/78

40 8-PUZZLE. BEISPIEL 39/78

41 8-PUZZLE. BEISPIEL 40/78

42 8-PUZZLE. BEISPIEL 41/78

43 8-PUZZLE. BEISPIEL 42/78

44 8-PUZZLE. BEISPIEL 43/78

45 SUCHSTRATEGIEN IN BÄUMEN: TREE SEARCH WIEDERHOLUNG function TREE - SEARCH (problem) returns eine Lösung oder einen Fehler Die Grenzknoten mit dem Ausgangszustand von problem initialisieren loop do if die Grenze ist leer then return Fehler Wähle einen Blattknoten aus und entferne ihn aus den Grenzknoten if Knoten enthält einen Zielzustand then return die entsprechende Lösung Knoten expandieren und der Grenze die resultierenden Knoten hinzufügen 44/78

46 SUCHSTRATEGIEN IN BÄUMEN: GRAPH-SEARCH WIEDERHOLUNG function GRAPH-SEARCH(problem) returns eine Lösung oder einen Fehler Die Grenzknoten mit dem Ausgangszustand von problem initialisieren Die untersuchte Menge als leer initialisieren loop do if die Grenze ist leer then return Fehler Wähle einen Blattknoten aus und entferne ihn aus den Grenzknoten if Knoten enthält einen Zielzustand then return die entsprechende Lösung Füge den Knoten zur untersuchten Menge hinzu Knoten expandieren und der Grenze die resultierenden Knoten hinzufügen Nur, wenn nicht in der Grenze der untersuchten Menge 45/78

47 ISS: BESTENSUCHE (BEST-FIRST) GREEDY SUCHE Ist eine Instanz des TREE-SEARCH oder GRAPH-SEARCH Algorithmus und wählt einen Knoten auf Basis einer Evaluierungsfunktion f (n) zur Expandierung aus. Evaluierungsfunktion: Kostenabschätzungsfunktion - der Knoten mit der geringsten Bewertung wird zuerst erweitert. Die Wahl von f bestimmt die Suchstrategie Beispiel: Suche mit einheitlichen Kosten f = Pfadkosten Strategien Expandiere den Knoten der dem Ziel am nächsten liegt Suche die billigste/teuerste Lösung 46/78

48 ISS: BESTENSUCHE (BEST-FIRST) 47/78

49 ISS: BESTENSUCHE (BEST-FIRST) Komplexität: b Verzweigungsfaktor, d maximale Tiefe der Lösung Zeitkomplexität T(n) = 1 + b + b b d O(b d ) Speicherkomplexität: S(n) = T(n) Vollständigkeit: NEIN - unendliche Pfade, falls jeder einzelne Knoten als beste Lösung evaluiert wird Optimalität - abhängig von der Heuristik Vorteile: Spezifische Information macht die Suche schneller Gute Geschwindigkeit Nachteile: Evaluierung der Zustände erfordert Ressoursen (komputationelle, physische...) Anwendungen: Web crawler (automatic indexer), Spiele 48/78

50 ISS: BESTENSUCHE (BEST-FIRST) 49/78

51 BEISPIEL: BESTENSUCHE (BEST-FIRST) 50/78

52 BEISPIEL: BESTENSUCHE (BEST-FIRST) 51/78

53 BEISPIEL: BESTENSUCHE (BEST-FIRST) 52/78

54 BEISPIEL: BESTENSUCHE (BEST-FIRST) 53/78

55 BEISPIEL: BESTENSUCHE (BEST-FIRST) 54/78

56 BEISPIEL: BESTENSUCHE (BEST-FIRST) 55/78

57 8-PUZZLE. BEISPIEL 56/78

58 BEST-FIRST-SUCHE: EIGENSCHAFTEN entspricht einer gesteuerten Tiefensuche daher unvollständig Platzbedarf ist durch die Speicherung der besuchten Knoten exponentiell in der Tiefe. Durch Betrachtung aller Knoten auf dem Stack können lokale Maxima schneller verlassen werden, als beim Hill-Climbing 57/78

59 BFS - WEITERE BEISPIELE Missionäre und Kanibale: h(n) Anzahl der Personen auf dem initialen Ufer 8-Puzzle: h(n) Anzahl der Steine am falschen Platz ODER h(n) - Manhatten Entfernung (Entfernung zum Ziel) Problem des Handlungsreisenden: h(n) Entfernung zum nächsten Nachbar Auszahlen einer Summe mit minimaler Anzahl von Münzen: h(n) wähle einen Münzwert kleiner als die auszuzahlende Summe 58/78

60 GREEDY ISS Komplexität Zeit Komplexität DFS b Verzweigungsfaktor, dmax maximale Tiefe der Suche T(n) = 1 + b + b b dmax T(n) = 1 + b + b b dmax O(b dmax ) Speicherkomplexität BFS: d - Tiefe der Lösung, dann S(n) = 1 + b + b b d O(b dmax ) Vollständigkeit: NEIN; Optimalität: möglich Vorteile: findert schnell eine Lösung (nicht immer optimal), insbesondere für kleine Datensätze Nachteile: Die Summe der optimalen lokalen Lösungen globale optimale Entscheidung. Ex. TSP Anwendungen: Planungsaufgaben partielle Summen: Münzen, Rucksack Puzzles Optimale Pfade in Graphen 59/78

61 GREEDY ISS: BEISPIEL LUFTLINIEN DISTANZ HEURISTIK Arad Bucharest Craiova Drobeta Eforie Fagaras Giurgiu Hirsova Iasi Lugoj Mehadia Neamt Oradea Pitesti Rimnicu Vilcea Sibiu Timisoara Urziceni Vaslui Zerind Abbildung 6: h SLD Heuristikwerte - Entfernung nach Bukarest 60/78

62 GREEDY ISS: BEISPIEL LUFTLINIEN DISTANZ HEURISTIK (a) The initial state (b) After expanding Arad Arad 366 Arad Sibiu Timisoara Zerind (c) After expanding Sibiu Arad Sibiu Timisoara 329 Zerind 374 Arad Fagaras Oradea Rimnicu Vilcea (d) After expanding Fagaras Arad Sibiu Timisoara Zerind Arad Fagaras Oradea Rimnicu Vilcea Sibiu Bucharest /78

63 OPTIMALITÄTSBEDINGUNGEN Zulässigkeit: Die Heuristik überschätzt nie die Kosten. Konsistenz (Monotonie): Für jeden Knoten n und jeden Nachfolger n erzeugt durch eine Handlung a, die abgeschätzten Kosten um das Goal aus n zu erreichen sind nicht größer als die Kosten, die notwendig sind um n zu erreichen plus der Abschätzung der Kosten um das Goal von n aus zu erreichen: h(n) c(n, a, n ) + h(n ). 62/78

64 BERGSTEIGERPROZEDUR (HILL-CLIMBING) Auch als Gradientenaufstieg bekannt Gradient: Richtung der Vergrößerung einer Funktion (Berechnung durch Differenzieren) Parameter der Bergsteigerprozedur Menge der initialen Knoten Nachfolgerfunktion (Nachbarschaftsrelation) Bewertungsfunktion der Knoten, wobei wir annehmen, dass Zielknoten maximale Werte haben (Minimierung erfolgt analog) Zieltest 63/78

65 BERGSTEIGEN 64/78

66 BEISPIEL: BERGSTEIGEN 65/78

67 BEISPIEL: BERGSTEIGEN 66/78

68 BEISPIEL: BERGSTEIGEN 67/78

69 BEISPIEL: BERGSTEIGEN 68/78

70 BEISPIEL: BERGSTEIGEN 69/78

71 BEISPIEL: BERGSTEIGEN 70/78

72 BEISPIEL: BERGSTEIGEN 71/78

73 BEISPIEL: BERGSTEIGEN 72/78

74 BEISPIEL: BERGSTEIGEN 73/78

75 BEISPIEL: BERGSTEIGEN 74/78

76 BEISPIEL: BERGSTEIGEN 75/78

77 BEISPIEL: BERGSTEIGEN 76/78

78 EIGENSCHAFTEN DER BERGSTEIGERPROZEDUR Entspricht einer gesteuerten Tiefensuche mit Sharing daher nicht-vollständig Platzbedarf ist durch die Speicherung der besuchten Knoten exponentiell in der Tiefe. Varianten Optimierung einer Funktion ohne Zieltest: Bergsteige ohne Stack, stets zum nächst höheren Knoten Wenn nur noch Abstiege möglich sind, stoppe und gebe aktuellen Knoten aus Findet lokales Maximum, aber nicht notwendigerweise globales 77/78

79 BEST-FIRST-SUCHE UND CLIMBING Ähnlich zum Hillclimbing, aber: Wählte stets als nächsten zu expandierenden Knoten, den mit dem besten Wert Änderung im Algorithmus: sortiere alle Knoten auf dem Stack 78/78