Wahrnehmung, Weltmodell. Modellierung anderer Akteure. Programmierung Intelligenter Roboter. Bewusstes Handeln, alternativ: Reflexe.

Transkript

1 Modellierung anderer Akteure Bezug auf bekannte Entscheidungsstrukturen (eigenes Team) Wahrnehmung, Weltmodell Zusammenfassung: Unvollständige, unsichere Sensordaten Wahrnehmungen: Aufbereitete Sensorinformationen Modellierung unbekannten Verhaltens Data Mining, Statistik Verhaltensweisen identifizieren Unterstellung einer (mentalen) Struktur Matching Interpretation RoboCup 1 Weltmodell: ( Annahmen, nicht Wissen ) Integration neuer Wahrnehmungen und bisheriger Annahmen Integration kommunizierter Informationen Simulation von Verläufen Zuverlässigkeitsbewertungen RoboCup 2 Programmierung Intelligenter Roboter Bewusstes Handeln, alternativ: Reflexe Fähigkeiten Wahrnehmung Steuerung Intelligente Steuerung Auswahl von Fähigkeiten Kontrolle der Fortschritte Ich sehe das Licht links vor mir. Ich will zum Licht. Dafür muss ich nach links vorn gehen. Dafür muss ich mich nach links drehen und vorwärts laufen. Dafür muss ich das rechte Bein nach vorn setzen. usw. Lichtliebhaber 64 Bit RISC MIPS Prozessor, 100 MHz 32 MB Speicher Memorystick 16 MB RoboCup 3 Braitenberg Vehikel Lichtscheu RoboCup 4

2 Reflexe (Stimulus-Response) Zum Ball laufen Anlass zum Handeln Stimulus-Response Reagieren auf Ereignis aus der Umgebung Ziel-gerichtet Handeln gemäß selbst gesetzter Ziele RoboCup 5 RoboCup 6 Zielgerichtetes Verhalten Handeln gemäß selbst gesetzter Ziele Plan für Kooperation Kooperation Gemeinsame Absicht (Doppelpass) RoboCup 7 RoboCup 8

3 Grober Ablauf der Steuerung (Sensorik: Informationen erfassen) Wahrnehmung: Interpretation der Sensordaten, - einschließlich Kommunikation - Aktualisierung des internen Modells Entscheidung: Bewertung von Optionen, Auswahl von Zielen Planung: Bewertung von Fähigkeiten, Aktionen planen - einschließlich Kommunikation - (Ausführung: Aktionen ausführen) Als Prozesse (bzw. Threads) Sensorik Wahrnehmung Entscheidung Planung Ausführung sense percept select means-ends execute Können prinzipiell nebenläufig arbeiten RoboCup 9 RoboCup 10 Interaktion der Prozesse, z.b.: sense-think-act-zyklus sense execute percept means-ends select Sensor-Aktor-Kopplung sense select execute RoboCup 11 Zeithorizonte und Zustände Vergangenheit ohne Zustand: nur aktuelle Wahrnehmung mit Zustand: Weltmodell Zukunft ohne/mit Vorausschau ohne Zustand: stimulus-response mit Zustand: zielgerichtet (Verpflichtungen: Ziele, Absichten etc.) Zustand: Information über Taktgrenzen hinweg aufbewahren und verwenden. Vorausschau: Innerhalb eines Taktes zukünftige Entwicklungen simulieren. RoboCup 12

4 Vergangenheit ohne Zustand Nur aktuelle Sensorinformation auswertbar Vergangenheit mit Zustand: Weltmodell Auch frühere Wahrnehmungen berücksichtigen Wahrnehmung Wahrnehmung Sensorauswertung Sensorauswertung Zur Entscheidungskomponente ZUSTANDSKOMPONENTE Weltmodell (Belief) Zur Entscheidungskomponente RoboCup 13 Zeit RoboCup 14 Zeit AT Humboldt98 Weltmodell Zukunft: Ohne Vorausschau Beispiel Einflußbereiche ( Potentialfelder ): Für jeden Punkt des Feldes berechnen: Grad der Beherrschung Bedeutung etc. Abgeleitete Handlungen: Ball in gut beherrschten Gebieten Halten Stellungsspiel: Beherrschte Gebiete erweitern etc. RoboCup 15 RoboCup 16

5 Zukunft: Gekoppelte Aktionen Zukunft: Vorausschau (Simulation) Beipiel: Kicken bestehend aus mehreren kick(power,dir)-aktionen Aktuelle Aktion berechnen durch Aktuelles Weltmodell a b Auswahl Beste Variante Funktion (physikal. Modell) Neuronales Netz Aktion: b Aktorik Zeit RoboCup 17 RoboCup 18 Zukunft: Vorausschau (Simulation), Beispiele Wo kann der (laufende) Ball zuerst erreicht werden? Zukunft: Vorausschau (Simulation), Beispiele Wer ist zuerst am Ball? RoboCup 19 RoboCup 20

6 Zukunft: Vorausschau (Simulation), Beispiele Zukunft: Fortgesetzte Vorausschau Zu wem spielen? b Aktuelles Weltmodell a b Auswahl Vorher ausgewählt Beste Variante Aktion: b Aktorik PROBLEM 1: Aufwendige wiederholte Berechnungen Zeit RoboCup 21 RoboCup 22 Zukunft: Fortgesetzte Vorausschau Gründe für Revision Weiterer Zeithorizont Fortsetzung der bisherigen Auswahl vs. Revision der bisherigen Auswahl Dynamische Umgebung (unerwartete Entwicklung) Unvollständige Information Unsichere Information b Aktuelles Weltmodell a b Vorher ausgewählt Beste Variante b Aktuelles Weltmodell a b Vorher ausgewählt Beste Variante PROBLEME 2-4: Instabiles Verhalten Aktion: b Aktorik Aktion: a Aktorik Gefahr von Oszillationen (Beispiel: Intercept) Zeit Zeit Unsicherheit bei Kooperation (Beispiel: Wer erreicht Ball zuerst) RoboCup 23 RoboCup 24

7 Oszillationen: Beispiel Intercept Verrauschte Sensor-Daten führen zu Bewegungsänderungen Zukunft: Mit Zustand Speichern von Verpflichtungen (Commitments): Aufträge, Ziele, Wünsche, Absichten Pläne im Sinne von Effizienz - wiederholte Berechnungen vermeiden - schnelle Handlungsfähigkeit Stabilität - Ziele/Absichten steuern Handlungen - Absichten setzen Rahmen für weitere Absichten RoboCup 25 RoboCup 26 Zukunft: Mit Zustand AT Humboldt 98 Weltmodell (Belief) Analyse, (Ziel-)Auswahl Intercept Intercept Dribbeln ZUSTANDSKOMPONENTE Commitments (Aktions-)Auswahl Aktorik Zeit RoboCup 27 RoboCup 28

8 AT Humboldt 98 Komplette Vorausschau im Takt der Sensorinformationen Optionen für Basishandlungen Goalkick, Pass, Forward-Pass, Dribbeln, GotoBasePosition, Probleme bei AT Humboldt 98 Einwurf, Abstoß, Freistoß, Anstoß Entscheidungsprozedur: 1. Auswahl aussichtsreicher Optionen: Desire 2. Entscheidung für ein Desire: Intention 3. Umsetzung der Intention mittels Skill (parametrisierbarer Plan) Stabilisierungsstrategie: Bevorzugung der alten Intention Force-Continuation RoboCup 29 RoboCup 30 Probleme bei AT Humboldt 98 Probleme bei AT Humboldt 98 Torwart ausspielen Abwehrkette durchbrechen RoboCup 31 RoboCup 32

9 Probleme bei AT Humboldt 98 Lösungsvorschläge Generelle Schwierigkeiten bzgl. Entscheidungskomponente Stellungsspiel, Spiel ohne Ball Anbieten, Sichern, Decken, (Problem:Universelle GoTo-Option wird in unterschiedlichen Kontexten benutzt) Längerfristige Optionen Kombinationen aus einfacheren Optionen Kooperatives Spiel Doppelpaß, Flügelwechsel, Zeitprobleme Skalierbarkeit (mehr Optionen, komplexere Optionen) Bezüglich Zeit (für komplexe Analysen/Entscheidungen) Trennung von - Deliberator (langfristig Planung) und - Executor (kurzfristige Ausführung) Least-Commitment-Strategie d.h. verzögerte (zeitnahe) Festlegungen z.b. für Parameter Beispiel: - Paß zu Mitspieler - Paß zu Mitspieler Nr 7 - Kick auf Position (x,y) mit Geschwindigkeit v Hierarchische Struktur der Optionen Fallbasierte Analyse von Spielsituationen RoboCup 33 RoboCup 34 Bezüglich - Längerfristige Optionen - Kooperatives Spiel - Skalierbarkeit Lösungsvorschläge Komplexe Optionen in hierarchischer Struktur Rollen der Spieler in kooperativen Optionen Beispiel: Doppelpaß = 1.Spieler: Dribbeln, Passen, Freilaufen, Intercept 2.Spieler: Freilaufen, Intercept, Passen Lösungsvorschläge Bezüglich - Stellungsspiel, Spiel ohne Ball (Anbieten, Sichern, Decken,) Einbettung in hierarchische Struktur - unterschiedliche Kontexte für Analyse/Auswahl Doppelpaß, Durchbrechen der Abwehrkette,, Einwurf, Angriff stören, Abseitsfalle,, gegnerischer Freistoß, - Aufruf bei Ausführung komplexer Pläne z.b. in Doppelpaß RoboCup 35 RoboCup 36

10 BDI-Modell BDI = Belief-Desire-Intention Versuch der Strukturierung angelehnt an Psychologie/Philosophie Persistente Zustände für Annahmen (belief) Potentielle Ziele: Wünsche (desire) Absichten/(partielle) Pläne (intention) oder Annahmen (belief) Ziele (desire) Pläne (intention) RoboCup 37 Zustände (Gedächtnis) der Prozesse sense percept select means-ends execute Wahrnehmung: Weltmodell Weltmodell := Weltmodell + Sensordaten Entscheidung: Ziel Ziel := Ziel + Weltmodell Planung: Plan Plan := Plan + Ziel BDI = Belief-Desire-Intention RoboCup 38 Zustände der Prozesse als längerfristiges (!) Gedächtnis allgemein für Komplexitätsreduktion Stabilität des Verhaltens Wissen über Vergangenheit speziell: Weltmodell bei beschränkter Sensorinformation. Theoretisch reicht Weltmodell (mit Historie) generell aus (Speicherung/Rekonstruktion früherer Abläufe) Kontroversen um emergentes Verhalten RoboCup 39 Zustand für Entscheidung: Ziele etc. Vorgegebene Grundmenge: Optionen Zustand: Ziel(e) Entkopplung von Planung (means-ends) In komplexeren Szenarien weitere Trennung: Wünsche (desire): potentielle Ziele Absichten (intention): angestrebte Ziele (nach commitment) Forderung: Ziele/Absichten in sinnvoller Weise stabil Einschränkung des Suchraums durch Absichten Screen of admissibility Zeithorizont von Absichten: Festlegung (commitment) nur soweit erforderlich ( least commitment, Verfeinerung, hierarchische/partielle Pläne, Planskelette, ) RoboCup 40

11 Entscheidung ohne persistente Ziel-Zustände select: Weltmodelle Optionen Momentanes_Ziel := select(weltmodell) Einfache Verfahren für select: Tabelle, neuronales Netz, Entscheidungsbaum, ( stimulus Response ) Aufwendigere Verfahren mit Vorausschau: Simulation, Nützlickeitsberechnung, ( reaktiv? / deliberativ? ) Reaktiv? Deliberativ? Klassisch: reaktiv = einfach, kein Zustand, subsymbolisch, Primitive Verhaltensweisen deliberativ = komplex, Zustände, symbolisch, zielgerichtet, Planung, komplexes, langfristiges Verhalten hybrid = Kombination (Schichtenarchitekturen) RoboCup 41 RoboCup 42 Reaktiv? Deliberativ? world model commitment deliberation symbolic sensor-actor (state) (state) coupling reactive no no no no yes deliberative persistent persistent yes yes no hybrid persistent persistent yes yes yes SRwWM persistent no no yes/no no chess program (persistent) no yes yes no SRwWM = stimulus response with worldmodel (nach Russell-Norvig) RoboCup 43 Mit persistenten Ziel-Zuständen select:weltmodelle x Optionen Optionen Ziel := select( Weltmodell, Ziel ) Beispiel: Simulationsliga AT Humboldt 98: - bisherige intention I überprüfen: falls Fanatismus-Bedingung : weiter verfolgen sonst: - Nützlichkeiten alternativer Optionen abschätzen - nützlichste Optionen ( desire ) näher untersuchen, beste als intention-kandidat I alter fixieren - Vergleich bisherige intention I mit Kandidat I alter, Entscheidung für aktuelle intention RoboCup 44

12 Zustände für Planung: Pläne Vorgegebene Grundmenge: Aktionen, Skills, Skripte, Zustand: (parametrisierter) Plan + Abarbeitungszustand Auswahl von Fähigkeiten: means-ends: Pläne x Optionen Pläne Plan := means-ends( Plan, Ziel ) Planungsverfahren z.b. Bahnplanung Kognitive Architekturen: BDI-Modell sense Roboter-Programm execute Beschreibung anderer Roboter percept means-ends select Wahrnehmung: Weltmodell (Belief) neues Weltmodell := altes Weltmodell + Sensordaten Entscheidung: Ziel (Desire) neues Ziel := altes Ziel + Weltmodell Planung: Plan (Intention) neuer Plan := alter Plan + Ziel RoboCup 45 RoboCup 46 Ablauf im BDI-Modell percept Weltmodell Ziel sense select means-ends Plan execute sense Weltmodell Ziel percept select means-ends Plan execute sense Weltmodell Ziel percept select means-ends Plan execute Mehrfache Interferenzen: Synchronisationskonflikte (inhaltlich, zeitlich) Speziell in dynamischen Umgebungen Erfahrung mit AT Humboldt /98: Erfolge aufgrund guter Skills Erfolge aufgrund transparenter Architektur 1999/2000: bei wachsender Komplexität Probleme mit Vergleich von Nützlichkeiten Probleme mit parallelen Zielen Probleme mit langfristigen Absichten Probleme mit konsequenter Softwarewartung RoboCup 47 RoboCup 48

13 Neue Konzepte Synchronisation mit Server: zeitkritische Entscheidungen (10 msec): Executor vorberechnete Alternativen aktuellste Daten Vor-/Nachbedingungen langfristige Vorausberechnungen: Deliberator Thread-Ersatz-Modell Komplexe Skills als Kombination einfacher Skills Doppelpaß Durchbruch Flankenwechsel Torwart ausspielen RoboCup 49 Lösungsvorschläge Bezüglich Zeit (für komplexe Analysen/Entscheidungen) Trennung von - Deliberator (langfristig Planung) und - Executor (kurzfristige Ausführung) Least-Commitment-Strategie d.h. verzögerte (zeitnahe) Festlegungen z.b. für Parameter Beispiel: - Paß zu Mitspieler - Paß zu Mitspieler Nr 7 - Kick auf Position (x,y) mit Geschwindigkeit v Hierarchische Struktur der Optionen Fallbasierte Analyse von Spielsituationen RoboCup 50 Lösungsvorschläge Bezüglich - Längerfristige Optionen - Kooperatives Spiel - Skalierbarkeit Komplexe Optionen in hierarchischer Struktur Rollen der Spieler in kooperativen Optionen Beispiel: Doppelpaß = 1.Spieler: Dribbeln, Passen, Freilaufen, Intercept 2.Spieler: Freilaufen, Intercept, Passen Lösungsvorschläge Bezüglich - Stellungsspiel, Spiel ohne Ball (Anbieten, Sichern, Decken,) Einbettung in hierarchische Struktur - unterschiedliche Kontexte für Analyse/Auswahl Doppelpaß, Durchbrechen der Abwehrkette,, Einwurf, Angriff stören, Abseitsfalle,, gegnerischer Freistoß, - Aufruf bei Ausführung komplexer Pläne z.b. in Doppelpaß RoboCup 51 RoboCup 52

14 Optionenhierarchie Fußballspielen Optionenhierarchie: 2 Arten von Optionen Alternative Unteroptionen ( Oder-Verzweigung ) Angriff Verteidigung... Angriff Torschuß Doppelpaß/1 Doppelpaß/2 Flügelwechsel/1 Attackieren Kick Dribbeln... Passen Freilaufen Annehmen Abseitsfalle... Torschuß Doppelpaß/1 Doppelpaß/2 Flügelwechsel/1 Auswahlkriterien erforderlich: Utilities (kontextbezogen, d.h. innerhalb der Option) Fallbasierte Kriterien Abbruch-/Ersetzungskriterien erforderlich: Bedingungen Utilities, Fallbasierte Kriterien RoboCup 53 RoboCup 54 Optionenhierarchie: 2 Arten von Optionen Verknüpfte Unteroptionen ( Und-Verzweigung ) sequentielle Abarbeitung bzw. vernetzt Doppelpaß/1 Dribbeln Passen Freilaufen Annehmen Optionen, Wünsche, Absichten Optionen beschreiben die Möglichkeiten ( Wertebereich ) Auswahlprozeß entscheidet über auszuführende Optionen: Absichten (Intention) Auswahlprozeß kann alternative Optionen bereitstellen: Wünsche (Desire) Abbruch-/Übergangskriterien erforderlich: Bedingungen Fallbasierte Kriterien Technische Umsetzung: Status einer Option z.b. sleeping, intended, desired RoboCup 55 RoboCup 56

15 Absichten Absichten: Die zur Ausführung ausgewählten Optionen Unterschiedlicher Abarbeitungszustand (Status) von Absichten, z.b.: intended-waiting intended-active intended-cancelled intended-succeeded intended-failed Absichtenbaum Die Absichten bilden einen Teilbaum des Optionenbaums Angriff Fußballspielen Verteidigung... Torschuß Doppelpaß/1 Doppelpaß/2 Flügelwechsel/1 Attackieren Kick Dribbeln... Passen Freilaufen Annehmen... Abseitsfalle RoboCup 57 RoboCup 58 Arbeitsweise des Deliberators Der Deliberator wählt den Absichtenbaum aus. Grundlagen dafür: Analyse der Situation Nützlichkeitsberechnungen Fallbasierte Techniken (Ähnlichkeit zu Standardsituationen) Angriff Doppelpaß/1 Dribbeln Passen Freilaufen Annehmen Fußballspielen RoboCup 59 Aktivitätspfad Die aktuell ausgeführten Absichten (intended-active) bilden den Aktivitätspfad Fußballspielen Angriff Verteidigung... Torschuß Doppelpaß/1 Doppelpaß/2 Flügelwechsel/1 Attackieren Kick Dribbeln... Passen Freilaufen Annehmen Abseitsfalle RoboCup 60

16 Arbeitsweise des Executors Der Executor erzeugt jeweils eine Aktion: Er beginnt an der Wurzel des Aktivitätspfades und bearbeitet nacheinander alle Unterabsichten (Unterschied zu Prozedurkeller!). Die unterste Absicht erzeugt die aktuelle Aktion. In jeder Unterabsicht werden die Bedingungen geprüft und ggf. erfolgen Zustandsübergänge zur Aktivierung neuer Absichten. Gründe z.b.: bisherige Absicht abgeschlossen bisherige Absicht fehlgeschlagen bessere Alternative Problem: Backtracking notwendig? Fußballspielen Angriff Doppelpaß/1 Passen Sanfter Schuß kick(50,10) Formale Beschreibung Zustandsmaschinen: Jeweils genau ein Zustand ist aktuell Zustände beschreiben Optionen/Absichten(/Wünsche) Transitionen für Übergänge mit Beschriftung z.b. für Übergangsbedingungen) Absicht = aktueller Zustand Petri-Netze: Verteilter aktueller Zustand (mehrere markierte Plätze) Plätze beschreiben Optionen/Absichten(/Wünsche) Transitionen für Übergänge (mit Beschriftung) (parallele) Absichten = markierte Plätze RoboCup 61 RoboCup 62 Formale Beschreibung: Beispiel 1 ( Oder-Verzweigung ) Zustand (Platz) Bedingung Aktueller Zustand (markierter Platz) Angriff Übergang (Transition) mit Bedingungen Formale Beschreibung: Beispiel 2 ( Und-Verzweigung ) Zustand (Platz) Übergang (Transition) Bedingung mit Bedingungen Aktueller Zustand (markierter Platz) MaxUtility MaxUtility MaxUtility Dribbeln Passen Freilaufen Annehmen Torschuß Doppelpaß/1 Doppelpaß/2 Ball außerhalb kickrange Fertig oder Abbrechen Fertig oder Abbrechen Mitspieler frei Paß abgeschlossen Mitspieler hat Paß abgeschlossen RoboCup 63 RoboCup 64

17 Einfügen weiterer Möglichkeiten 1. Variante 2. Variante Tor frei MaxUtility Torschuß Ball außerhalb kickrange Mitspieler frei MaxUtility Tor frei Angriff Fertig oder Abbrechen MaxUtility Doppelpaß/1 Paß abgeschlossen Tor frei Fertig oder Abbrechen Doppelpaß/2 Dribbeln Passen Freilaufen Annehmen Tor frei Torschuß RoboCup 65 Mitspieler hat Paß abgeschlossen Einfügen weiterer Möglichkeiten Weitere Möglichkeiten betreffen bereits vorgesehene Abweichungen vom Standardverhalten, z.b.: Günstigere Möglichkeiten Alternative Ausführung Korrektur der Ausführung Fehlschlag bei der Ausführung Problem: evtl. unterschiedliche Absichten betroffen für Test der Bedingungen Alternative Ausführung Backtracking vorsehen? RoboCup 66 Parametrisierung Parameter z.b.: Mitspieler-Nr. für Paß, Durchbruch, Flügelwechsel, Mitspieler-Nr. zum Anspielen Mitspieler-Position zum Anspielen Zielpunkt/Zielgeschwindigkeit für Kick Gegenspieler/Mitspieler bzgl. Freilaufen Zielgebiet zum Freilaufen Zielpunkt zum Freilaufen Enthalten in Agenda bei jeder Absicht Unterschiedlicher Grad der Festlegung bzgl. Spezifik der Absichten (Absicht/Unterabsichten) Zeitnähe zur Ausführung: Least Commitment Fallbasierte Techniken Ausgangspunkt: Absichten = Standard-Situationen = (Generische) Fälle Ähnlichkeit für Situationsanalyse Retrieval für Auswahl geeigneter Absichten Adaption für Parametrisierung Später: Bewerten + Lernen aus Erfahrung Analyse des gegnerischen Verhaltens RoboCup 67 RoboCup 68

18 Standarsituationen als Fälle Analyse: Indizierung anhand der Spielsituation (ausgewählte Merkmale, Ähnlichkeit) Passende prototypische Spielsituation: Retrieval von Standardsituationen Geeignete Spielzüge: Verhalten in Standardsituation (mit Anpassung) Kooperatives Spiel: Zusammengehörige Spielmuster Zielsetzungen BDI-Architektur + FBS-Techniken mit Langfristig erreichbaren Zielen Vermeidung wiederholter langwieriger Deliberationsprozesse Stabiles Verhalten Koordination im Team Intuitive Modellierung (Standardsituationen) Skalierbarkeit Klare technologische Umsetzung Bewerten + Lernen aus Erfahrung Analyse des gegnerischen Verhaltens RoboCup 69 RoboCup 70