Künstliche Intelligenz

Transkript

1 Künstliche Intelligenz Fachbereich Jens Lüssem Reinhard Gerndt Wolfenbüttel, Sommersemester 2009

2 KI-Themen (I) Lokale Suchverfahren Hill Climbing Greedy Search A*-Suche Breitensuche Tiefensuche Einfache Suchverfahren Simulated Annealing Heuristiken Backtracking Constraint Satisfaction Problems Tabu Search Min Conflicts Genetische Algorithmen Evolutionäre Programmierung Evolutionäre Algorithmen 2

3 KI-Themen (II) Logik Aussagenlogik Prädikatenlogik Logische Programmierung Heuristiken 3

4 KI-Themen (III) Klassifikation Entscheidungsbäume Nearest Neighbor Neuronale Netze Heuristiken 4

5 KI-Themen (IV) Unsicheres Wissen Bayessche Netze Heuristiken 5

6 Gliederung der Veranstaltung Einführung & Motivation Suchverfahren Modellierung mit Logik Klassifikation Verarbeitung unsicheren Wissens 6

7 Gliederung der Veranstaltung Einführung & Motivation Suchverfahren Modellierung mit Logik Klassifikation Verarbeitung unsicheren Wissens 7

8 Agenda Themenblock: Einführung & Motivation Organisation Motivation Agenten Problemtypen 8

9 Unterlagen: Folien und Literatur Organisation Von Jens Lüssem, basieren teilweise auf einem Foliensatz aus der Universität Bonn 10% Note durch Poster und Präsentation 90% Note durch Klausur ohne Unterlagen Vorlesung und Labor in Kooperation mit der FH Kiel (Jens Lüssem) Selbststudienanteil Labor mit Exkursion Termin: t.b.d. 9

10 Unterlagen: Folien und Literatur Literatur Russel & Norvig: Artificial Intelligence A Modern Approach (umfassendes Standardwerk, gibt es auch auf deutsch!) Lämmel & Cleve: Künstliche Intelligenz (einfach geschrieben) Luger: Künstliche Intelligenz (umfassendes Buch) 10

11 Motivation Sony startete am den Verkauf von einem vierbeinigen Unterhaltungsroboter AIBO Preis: ca AIBO ist ein autonomer Roboter AIBO reagiert auf externe Stimulation 11

12 Motivation Honda stellte am den Roboter ASIMO vor Preis: ca (Tagesmiete) ASIMO kann auf 2 Beinen gehen ASIMO kann Treppen steigen ASIMO kann (sehr) begrenzt auf Handsignale reagieren 12

13 Motivation Was braucht ein intelligentes System? Suchen nach Lösungen in einer Umwelt Wahrnehmung der Umwelt Repräsentation von Wissen über die Umwelt Her- bzw. Ableitung von neuem Wissen Planung von Handlungsabläufen Ausführung von Handlungen Umgang mit Unsicherheit Lernen 13

14 Motivation Was ist künstliche Intelligenz? Einige Definitionen Systeme, die wie Menschen denken The exciting new effort to make computers think... machines with minds, in the full and literal sense (Haugeland, 1985) The automation of activities that we associate with human thinking, activities such as decision making, problem solving, learning... (Bellmann, 1978) Systeme, die wie Menschen handeln The art of creating machines that perform functions that require intelligence when performed by people (Kurzweil, 1990) The study of how to make computers do things at which, at the moment, people are better (Rich & Knight, 1991) 14

15 Motivation Was ist künstliche Intelligenz? Einige Definitionen Systeme, die rational denken The study of mental faculties through the use of computational models (McDermott, 1985) The study of the computations that make it possible to perceive, reason, and act. (Winston, 1992) Systeme, die rational handeln Computational Intelligence is the study of the design of intelligent agents (Poole et al., 1998) Artificial Intelligence... is concerned with intelligent behavior in artefacts. (Nilsson, 1998) 15

16 Ansatz: Systeme, die wie Menschen handeln Nachbildung menschlichen Verhaltens steht im Vordergrund Beispiel: Turing-Test (in der KI kaum verfolgt) Turing, Alan ( ) britischer Mathematiker Erfinder der Turing-Maschine erstes Automatenmodell zur formalen Präzisierung der Begriffe Berechenbarkeit, Entscheidbarkeit etc. Turing-Test (1950) 16

17 Ansatz: Systeme, die wie Menschen handeln Turing-Test (1950) 5 min Online-Gespräch über Tastatur und Textbildschirm Sprachverstehen: Natural Language Processing Wissen: Automated Reasoning Lernen: Machine Learning Übungsaufgabe: Besuchen Sie ALICE auf der Website und führen Sie den Turing-Test durch. Zeichnen Sie Ihr Gespräch auf und berichten Sie darüber in der kommenden Woche. 17

18 Ansatz: Systeme, die wie Menschen denken Welche kognitiven Fähigkeiten sind notwendig, um intelligente Leistungen wie Menschen zu erbringen? hierbei ist es nicht wichtig, Aufgaben präzise zu lösen vielmehr ist es wichtig, Aufgaben so wie ein Mensch zu lösen, nämlich approximativ Gegenstand von Kognitionswissenschaft und kognitiver Psychologie 18

19 Ansatz: Systeme, die rational denken Wie sollen wir denken? Rationalität als idealisiertes Konzept von Intelligenz Logischer Ansatz: Regeln für korrekte Schlüsse aus korrekten Prämissen Probleme: Darstellung informeller Sachverhalte durch logischen Formalismus (W/F vs. Unsicherheit, Unschärfe und Unvollständigkeit) ist schwierig Undurchführbarkeit prinzipieller Lösungsansätze durch Inferenz (Kombinatorische Explosion) 19

20 Ansatz: Systeme, die rational denken Agenten lateinisch: agere handeln, tun agieren autonom in und mit ihrem Umwelt nehmen durch Sensoren ihre Umwelt wahr ( Perzepte) manipulieren ihre Umwelt mit ihren Effektoren ( Aktionen) Sensoren Perzepte Agent Umgebung Aktionen Effektoren 20

21 Ansatz: Systeme, die rational denken Rationale Agenten agieren so, dass gegebene Ziele erreicht werden unter folgenden Voraussetzungen: Eindrücke von der Umwelt sind korrekt Überzeugungen sind richtig Rationales Denken ist eine Voraussetzung für rationales Handeln, allerdings keine notwendige Voraussetzung. Übungsaufgabe: Beschreiben Sie mindestens eine Situation rationalen Handelns, der kein rationales Denken vorausging! 21

22 Ansatz: Systeme, die rational denken Vorteile des Ansatzes über rationale Agenten rationales Handeln umfasst i. A. rationales Denken rationales Verhalten sollte allgemeinen Regeln folgen Zugänglichkeit für eine wissenschaftliche Betrachtung Sicht der Mathematik, und Ingenieurswissenschaften wird gestärkt: Definierbarkeit, Messbarkeit, Beweisbarkeit 22

23 KI-Landschaft Anwendungsfelder Expertensysteme Assistenzsysteme Bildverstehende Systeme Sprachverstehende Systeme Sprachgenerierende Systeme Robotik... 23

24 KI-Landschaft Methoden Problemlösen und Suche Wissensrepräsentation Wissensverarbeitung Verarbeitung unsicheren Wissens Handlungsplanung Maschinelles Lernen Neuronale Netze Bayessche Netze... 24

25 KI-Landschaft Interdisziplinarität Mathematik Ingenieurswissenschaften Psychologie Philosophie Linguistik Biologie Neurowissenschaften... 25

26 KI gestern und heute Entstehung der KI zeitgleich mit der Entwicklung der ersten Computer beschäftigten sich die ersten Wissenschaftler mit der Frage: Können Computer den menschlichen Geist nachbilden? ( Turing-Test) Frühe Beteiligung der Disziplinen: Philosophie Mathematik Psychologie Linguistik 26

27 KI gestern und heute Entstehung der KI 1956 Dartmouth Workshop: McCarthy führt den Begriff Artificial Intelligence ein Demonstrationssysteme für Mikrowelten zeigen intelligentes Verhalten Auftreten der ersten großen Probleme Systeme für Mikrowelten nicht skalierbar (reale Anwendungen bleiben außen vor) Intelligentes Verhalten benötigt viel Wissen (Aufkommen von wissensbasierten Systemen) 27

28 KI gestern und heute Entstehung der KI Kommerzieller Erfolg von Expertensystemen intensive Forschungsförderung (v. a. fifth generation computer systems projects in Japan) Rückkehr neuronaler Netze Entzauberung von Expertensystemen Ende des fifth generation computer systems projects KI-Winter 28

29 KI gestern und heute Entstehung der KI seit 1990 Integration probabilistischer Methoden Agentenorientierte Sichtweise Mathematisierung von KI-Techniken 29

30 KI gestern und heute KI Status Quo Verwendung vieler koexistierender Paradigmen z. B. probabilistisch vs. analytisch (Computerlinguistik) häufig auch Hybridansätze Verwendung vieler Methoden logische Methoden algorithmische Methoden entscheidungstheoretische Methoden 30

31 KI gestern und heute KI Status Quo Verwendung vieler Herangehensweisen theoretische Herangehensweise systemorientierte Herangehensweise experimentell algorithmische Herangehensweise 31

32 KI gestern und heute KI Status Quo Beispiele für die experimentell algorithmische Herangehensweise Viele KI-Probleme sind schwierig (NP-hart), können aber mit guten Heuristiken und Suchtechniken Probleminstanzen bis zu einer gewissen Größe gut lösen: Erfüllbarkeit boolescher Formeln randomisierte, lokale Suchtechniken können Formeln bis zu Variablen lösen 32

33 KI gestern und heute KI Status Quo Übungsaufgabe: Überlegen Sie sich, ob ein Roboter viele Umgebungsvariablen benötigt, um sich in einem unbekannten Raum zu bewegen! 33

34 Was versteht man unter einem Agenten? Agenten agieren autonom nehmen durch Sensoren ihre Umwelt wahr ( Perzepte) manipulieren ihre Umwelt mit ihren Effektoren ( Aktionen) Sensoren Perzepte Agent Umgebung Aktionen Effektoren 34

35 Was versteht man unter einem rationalen Agenten? Rationale Agenten... machen das Richtige Zur Beurteilung rationaler Agenten müssen objektive Performanzkriterien angelegt werden Beispiel: autonomer Staubsauger Wie viele qm pro Stunde werden gereinigt? Wie hoch ist der Reinheitsgrad? Wie hoch ist der Stromverbrauch? Wie hoch ist der Sicherheitsstandard? (Verhalten gegenüber Kleinkindern und Haustieren) 35

36 Was versteht man unter einem rationalen Agenten? Optimales Verhalten ist für rationale Agenten oft unmöglich: unvollständige Wahrnehmung Optimierung unter Unsicherheit hohe Berechnungskomplexität Optimierung unter Ressourcenbeschränkung 36

37 Was versteht man unter einem rationalen Agenten? Rationale Agenten vs. allwissende Agenten Ein allwissender Agent kennt sämtliche tatsächlichen Effekte seiner Aktionen Ein rationaler Agent handelt dagegen auf Grund seines Wissens und seiner Wahrnehmungen. Er versucht die erwartete Performanz zu maximieren. 37

38 Was versteht man unter einem rationalen Agenten? Rationales Handeln ist abhängig von: Performanzkriterien (Ziele) Wahrnehmungssequenzen (in der Regel ist eine aktive Wahrnehmung erforderlich) Wissen über die Welt möglichen Aktionen 38

39 Was versteht man unter einem rationalen Agenten? Idealer rationaler Agent... ist ein Agent, der für alle möglichen Wahrnehmungssequenzen und gegebenem Wissen über die Welt die Aktion auswählt, die die Performanz maximiert. wird realisiert durch eine Agentenfunktion: Idealer_Rationaler_Agent: Wahrnehmungssequenz x Weltwissen Aktion 39

40 Was versteht man unter einem rationalen Agenten? Beispiele rationaler Agenten Agententyp Perzepte Aktionen Ziele Umgebung Medizinisches Diagnosesyste m Symptome, Antworten von Patienten Fragen stellen, Tests durchführen Gesunder Patient, Minimierung von Kosten Krankenhaus, Patient Interaktiver Englisch-Tutor Eingegebene Worte Übungsaufgaben stellen, Korrektur Maximieren der Testergebnisse Gruppe von Studierenden Satellitenbild- Analysesystem Bildpunkt unterschiedlicher Helligkeit Kategorisierung des Bildmaterials Korrekte Kategorisierung Bilder des Satelliten 40

41 Wie sieht die Struktur rationaler Agenten aus? Realisierung einer Agentenfunktion durch ein Agentenprogramm und einer Agentenarchitektur, die auch die Schnittstellen zur Umwelt realisiert (Perzepte, Aktionen) Agentenstruktur = Agentenarchitektur + Agentenprogramm 41

42 Wie sieht die Struktur rationaler Agenten aus? Prinzip eines Agentenprogramms function AGENT (Perzept) returns Aktion static: Wissen Wissen UPDATE-MEMORY (Wissen, Perzept) Aktion CHOOSE-BEST-ACTION (Wissen) Wissen UPDATE-MEMORY (Wissen, Aktion) return Aktion Bemerkung: Bewertung der Performanz ist nicht Teil des Agenten, sondern erfolgt von außen. 42

43 Wie sieht die Struktur rationaler Agenten aus? Prinzip eines tabellengesteuerten Agenten function TABLE-DRIVEN-AGENT (Perzept) returns Aktion static: Perzepte (initial: leere Liste), Tabelle (Perzeptsequenzen) Perzepte APPEND (Perzept) Aktion LOOKUP (Perzepte, Tabelle) return Aktion 43

44 Wie sieht die Struktur rationaler Agenten aus? Probleme bei tabellengesteuerten Agenten Tabelle kann sehr groß werden (z. B. beim Schach: Zeilen) Tabelle muss explizit erstellt werden aufwendig Agentenfunktion kann man nicht als intelligent bezeichnen (z. B. keine Generalisierung möglich) 44

45 Welche Klassen von Agenten existieren? Einfache reflexive Agenten Agent Sensoren Regeln Wie sieht die Welt aus? Welche Aktion soll ich ausführen? Umgebung Effektoren Reaktion nur aufgrund des aktuellen Perzepts (keine Betrachtung der Perzepthistorie) 45

46 Welche Klassen von Agenten existieren? Prinzip eines einfachen reflexiven Agenten function SIMPLE-REFLEX-AGENT (Perzept) returns Aktion static: Regeln (Regelmenge) Status INTERPRET-INPUT (Perzept) Regel RULE-MATCH (Status, Regeln) Aktion RULE-ACTION (Regel) return Aktion Bemerkung: Status: Interpretation nur aufgrund des aktuellen Perzepts 46

47 Welche Klassen von Agenten existieren? Prinzip eines einfachen reflexiven Agenten Ansatz sinnvoll für vollständig beobachtbare Umwelt (Aktuelles Perzept umfasst die relevante Information für die Auwahl der Aktion) die Lösung einfacher Aufgaben das Auslösen von Reflexen 47

48 Welche Klassen von Agenten existieren? Agenten mit internem Weltmodell Agent Status Wie verändert sich die Welt? Was bewirkten meine Aktionen? Regeln Sensoren Wie sieht die Welt aus? Welche Aktion soll ich ausführen? Umgebung Weltmodell besteht aus: Zustandsmodell Änderungsmodell Wechselwirkungsmodell Effektoren Internes (Um-)Weltmodell bestimmt neben dem aktuellen Perzept die Auswahl von Aktionen 48

49 Welche Klassen von Agenten existieren? Prinzip eines Agenten mit internem Weltmodell function REFLEX-AGENT-WITH-STATE (Perzept) returns Aktion static: Status (Beschreibung der Welt), Regeln (Regelmenge) Status UPDATE-STATE (Status, Perzept) Regel RULE-MATCH (Status, Regeln) Aktion RULE-ACTION (Regel) Status UPDATE-STATE (Status, Aktion) return Aktion 49

50 Welche Klassen von Agenten existieren? Prinzip eines Agenten mit internem Weltmodell Agent erhält eine neue Zustandsbeschreibung durch: das Änderungsmodell (aktueller Zustand + Perzept) das Änderungs- und Wechselwirkungsmodell (aktueller Zustand + Aktion) Weltmodell umfassender als Perzepthistorie (nicht beobachtete und nicht beobachtbare Zusammenhänge fließen mit in das Weltmodell ein) 50

51 Welche Klassen von Agenten existieren? Zielbasierte Agenten Agent Sensoren Status Wie verändert sich die Welt? Was bewirkten meine Aktionen? Ziele Wie sieht die Welt aus? Was wird passieren, wenn ich die Aktion ausführe? Welche Aktion soll ich ausführen? Umgebung Effektoren Weltmodell und Perzepte sind für die Aktionenauswahl nicht ausreichend, wenn die richtige Aktion von explizit vorgegebenen Zielen abhängt 51

52 Welche Klassen von Agenten existieren? Nutzenbasierte Agenten Agent Status Wie verändert sich die Welt? Was bewirkten meine Aktionen? Ziele Sensoren Wie sieht die Welt aus? Was wird passieren, wenn ich die Aktion ausführe? Wie glücklich bin ich in diesem Zustand? Welche Aktion soll ich ausführen? Umgebung Meist führen mehrere Aktionsfolgen zu einem Ziel. Um eine Auswahl der nächsten Aktion zu treffen, kann der Nutzen des erreichten Zustands herangezogen werden Effektoren Explizite Nutzenfunktionen sind umfassender als Zielrepräsentationen, da komplexere Zusammenhänge (z. B. Effizienz) einfließen können 52

53 Wie kann die Umgebung charakterisiert werden? Charakterisierung der Umgebung zugänglich vs. unzugänglich Sind alle relevanten Aspekte der Welt den Sensoren zugänglich? deterministisch vs. nicht deterministisch Hängt der nächste Weltzustand allein vom jetzigen Zustand und der ausgeführten Aktion ab? episodisch vs. nicht episodisch Kann die Qualität einer Aktion innerhalb einer einzelnen Episode (d. h. Perzept + Aktion) bewertet werden? statisch vs. dynamisch Kann sich die Welt ändern, während der Agent reflektiert? diskret vs. kontinuierlich Ist die Welt diskret? 53

54 Wie kann die Umgebung charakterisiert werden? Beispiele für Umgebungen Umgebung zugänglich deterministisch episodisch statisch diskret Medizinisches Diagnosesystem Interaktiver Englisch-Tutor Satellitenbild- Analysesystem Schach- Computer Taxifahren Nein Nein Nein Nein Nein Nein Nein Nein Nein Ja Ja Ja Ja teilw. Nein Ja Ja Nein Ja Ja Nein Nein Nein Nein Nein 54

55 Wie sieht die Struktur lernender Agenten aus? Ein lernender Agent evaluiert sich selbst, um eine bessere Performanz zu erreichen Ein lernender Agent besteht aus 4 Komponenten: Performanzkomponente (Verwendung eines der beschriebenen Agentenkonzepte) Bewertungskomponente (Bewertung der Performanzergebnisse anhand von Benchmarks) Lernkomponente (Generierung von Änderungsvorschlägen für die Performanzkomponente aufgrund der Bewertung der bisherigen Performanzergebnisse) Problemgenerator (Auswahl von Aktionen, die der Explorationen dienen) 55

56 Wie sieht die Struktur lernender Agenten aus? Lernende Agenten Benchmar k Sensoren Feedback Lernziele Änderungen Wissen Umgebung Lernkomponente Performanzkomponente Bewertungskomponente Problemgenerator Agent Effektoren 56

57 Problemlösende Agenten Entwurf von Agenten nach dem folgenden Schema: Formulieren (des Problems) Suchen (einer zum Erreichen des Ziels geeigneten Aktionsfolge) Ausführen (dieser Aktionsfolge) 57

58 Problemlösende Agenten Einfacher problemlösender Agent 58

59 Problemformulierungen Problemformulierung Festlegung des Zustandsraumes der Welt durch Abstraktion: ausschließliche Betrachtung relevanter Aspekte mit Bestimmung des Problemtyps: abhängig vom verfügbaren Wissen über Zustände der Welt und Aktionen Festlegung des Startzustands: Zustände der Welt mit bestimmten Starteigenschaften Festlegung der Aktionen zur Überführung (Transformation) von Zuständen der Welt 59

60 Problemformulierungen Problemformulierung Formulierung des Zielzustands: Zustände der Welt mit bestimmten Zieleigenschaften Bestimmung der Kosten: für das Suchen (Suchkosten, Offline-Kosten) für die Ausführung (Pfadkosten, Online-Kosten) 60

61 Problemformulierungen Beispiel: Staubsaugender Agent Zustandsraum der Welt 2 Agentenpositionen (jeweils eine in jedem Raum) In jedem der Räume befindet sich entweder Schmutz oder kein Schmutz 61

62 Problemformulierungen Beispiel: Staubsaugender Agent Startzustand: jeder beliebige Zustand (Z) Aktionen: links (L) rechts (R) staubsaugen (S) Zielzustand: kein Schmutz in beiden Räumen (d. h. Zustände 7 bzw. 8) Pfadkosten: pro Aktion eine Kosteneinheit mögliche Lösungen bei Startzustand Z 1 : Lösung 1: S (Z 5 ) R (Z 6 ) S (Z 8 ) 62

63 Problemtypen Problemtypen: Wissen über Zustände und Aktionen Einzustandsproblem vollständig beobachtbare Umwelt deterministische Aktionen Agent weiß immer eindeutig, in welchem Zustand der Welt er sich befindet Agent weiß immer eindeutig, in welchen Zustand der Welt er durch eine Aktion gelangen wird 63

64 Problemtypen Problemtypen: Wissen über Zustände und Aktionen Mehrzustandsproblem vollständig unbeobachtbare Umwelt (keine Sensoren) Agent weiß nur, in welcher Menge von Zuständen der Welt er sich befindet 64

65 Problemtypen Problemtypen: Wissen über Zustände und Aktionen Kontingenzproblem partiell beobachtbare Umwelt oder nichtdeterministische Aktionen keine eindeutige Aktionsfolge zur Lösung ist im Voraus bestimmbar, da Abhängigkeiten bzgl. tatsächlicher Zwischenzustände vorliegen 65

66 Problemtypen Problemtypen: Wissen über Zustände und Aktionen Explorationsproblem Umwelt und Effekte der Aktionen sind teilweise oder vollständig unbekannt gruseligster Fall (sparen wir uns für ein späteres Kapitel auf) 66

67 Problemtypen Staubsaugerwelt als Einzustandsproblem Falls das Wissen um die Welt und die Aktionen vollständig ist, weiß der staubsaugende Agent immer und wo er sich befindet und Schmutz zu finden ist. Problemlösen reduziert sich dann auf die Suche nach einem Pfad vom Startzustand zu einem Zielzustand 67

68 Problemtypen Staubsaugerwelt als Einzustandsproblem

69 Problemtypen Staubsaugerwelt als Mehrzustandsproblem Aktionen des staubsaugenden Agenten sind verlässlich (Effekte der Aktionen sind deterministisch) Agent besitzt allerdings keine Sensoren Agent weiß somit (von Beginn an) nicht, wo er ist Agent weiß somit (von Beginn an) nicht, wo Schmutz ist Problem kann trotzdem gelöst werden Zustände werden zu Wissenszuständen (Belief States) 69

70 Problemtypen Staubsaugerwelt als Mehrzustandsproblem 70