Planung von Handlungen bei unsicherer Information

Transkript

1 Planung von Handlungen bei unsicherer Information Dr.-Ing. Bernd Ludwig Lehrstuhl für Künstliche Intelligenz Friedrich-Alexander-Universität Erlangen-Nürnberg Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

2 Gliederung 1 Unterschiede zwischen MDP und POMDP 2 Ein Beispiel für den POMDP-Algorithmus 3 Wertiteration in diesem Beispiel 4 Planung im Beispiel des einfachen Roboters Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

3 Mathematische Modellierung verrauschter Messungen MDP: die Effekte einer Aktion sind nichtdeterministisch. Nach Ausführung der optimalen policy ist der neue Zustand eindeutig bestimmt (als Effekt der ausgeführten Aktion). POMDP: der neue Zustand ist nicht eindeutig bekannt, wenn die ausgeführte Aktion bekannt ist. Stattdessen muss er über Messungen geschätzt werden. Über den neuen Zustand herrscht also zu jeder Zeit Unsicherheit. Beispiel Robertino Durch das Ausführen einer Fahrkommandos ist nicht eindeutig bestimmt, ob Robertino tatsächlich an der beabsichtigten Position angekommen ist. Robertino muss eine Messung durchführen, daraus die aktuelle Position schätzen und dann feststellen, ob er die beabsichtigte Position erreicht hat. Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

4 Schema eines Kontrollalgorithmus Robertino muss Planen, Planausführen und Messen verzahnen. Plan-Execute-Sense-Zyklus 1 Starte mit einer initialen Situation! 2 Berechne einen Plan! 3 Führe den ersten Schritt aus! 4 Messe die Umgebung und ermittle eine neue Situation! 5 Fahre bei 2 fort! Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

5 Initiale Situation in einem Markov-Prozess Bewegungsmodell Wie bei einem MDP wird Robertinos Bewegung als nichtdeterministische Funktion P(X t = x t X t 1 = x t 1, U t = u t ) modelliert. Umgebungsmodell Jede Zelle gibt an, mit welcher Wahrscheinlichkeit sich Robertino in ihr aufhalten kann. Je heller die Farbe, desto höher die Wahrscheinlichkeit. Dabei sind X t, X t 1 und U t (den Nichtdeterminismus beschreibende) Zufallsvariable. x t, x t 1 und u t sind zulässige Ergebnisse der Zufallsexperimente, d.h. befahrbare Positionen in der Karte bzw. erlaubte Fahranweisungen. Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

6 Berücksichtigung von Messwerten (Sensormodell) Messergebnisse hängen von Robertinos Position ab. Da Sensoren verrauscht sind, ist die Abbildung Robertino auf Position x gemessener Wert ist z nichtdeterministisch und wird durch eine stochastische Funktion P(Z t = z t X t = x t ) modelliert. Experiment zur Bestimmung des Sensormodells Stelle Robertino auf eine definierte Position ˆx. Führe N Messungen durch mit den Ergebnissen { 1 z,..., N z}. Ermittle P(Z = i z X = ˆx) = #(Z =i z, X = ˆx) #(X = ˆx) Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

7 Modell eines einfachen Roboters u 3 u 3 z 1 z 2 u 3 x 1 x 2 z 1 z 2 u 3 u 1 u 2 u 1 u 2 Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

8 Modell eines einfachen Roboters Wir geben den Zuständen zunächst eine anschauliche Erklärung: Interpretation des Zustandsautomaten Zustände x1 : Hindernis voraus x2 : Hindernis hinten Messungen z 1 : neues Hindernis voraus erkannt z2 : neues Hindernis hinten erkannt Aktionen u1 : fahre vorwärts u 2 : fahre rückwärts u3 : drehe dich um Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

9 Modell eines einfachen Roboters Zustandsübergang des Kontrollautomaten p(x 1 x 1, u 3 ) = 0.2 p(x 2 x 1, u 3 ) = 0.8 p(x 1 x 2, u 3 ) = 0.8 p(x 2 x 2, u 3 ) = 0.2 Sensormodell Payoffs p(z 1 x 1 ) = 0.7 p(z 2 x 1 ) = 0.3 p(z 1 x 2 ) = 0.3 p(z 2 x 2 ) = 0.7 r(x 1, u 1 ) = 100 r(x 2, u 1 ) = 100 r(x 1, u 2 ) = 100 r(x 2, u 2 ) = 50 r(x 1, u 3 ) = 1 r(x 2, u 3 ) = 1 Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

10 Modell eines einfachen Roboters Die Strategie bildet probabilistische Annahmen über Zustände auf Kontrollaktionen ab: π : [0, 1] n {u 1, u 2, u 3 } Bei endlich vielen Zuständen kann eine Annahme als Vektor von Wahrscheinlichkeiten formalisiert werden: b = (P(x 1 ), P(x 2 ),..., P(x n )) = (p 1,..., p N ) Dafür kann man ein Histogramm angeben. Der reward für b und die Aktion u ist der erwartete payoff über alle Zustände: r(b, u) = P(x) r(x, u) x {x 1,...,x n} Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

11 Auswahl der nächsten Steueranweisung In diesem Beispiel wissen wir: p 2 = 1 p 1. Berechnung des payoff für jede Steueranweisung: Graphisch: r(b, u 1 ) = 100p p 2 = 200p r(b, u 2 ) = 100p 1 50p 2 = 150p 1 50 r(b, u 3 ) = p 1 p 2 = 1 Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

12 Auswahl der nächsten Steueranweisung Die Berechnung von V T (b) (Planungshorizont T=1) läuft darauf hinaus, diejenige Steueranweisung zu finden, die den erwarteten payoff maximiert: V T (b) = max r(b, u) = max { 200p 1+100, 150p 1 50} u {u 1,u 2,u 3 } u {u 1,u 2,u 3 } Welche Aktion im ersten Schritt optimal ist, hängt also davon ab, welche Annahme für die Planung initial ist. Für V (b) erhalten wir also die folgende T = 1-optimale Strategie: π 1 (b) = { u1 falls p(x 1 ) 3 7 u 2 falls p(x 1 ) > 3 7 Schlussfolgerung: V 1 (b) ist eine stückweise lineare Funktion. Die Linearität folgt aus der Linearität des Erwartungswerts. Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

13 Effekt der Ausführung der optimalen policy Das Ausführen des besten Aktion ändert den Zustand des Systems. Die Änderung ist abhängig davon, wie wahrscheinlich welcher Zustandsübergang ist. Bei gegebener Annahme b und gegebener Aktion u {u 1, u 2, u 3 } gilt im Beispiel: u = u 1 oder u = u 2 : b P(X = x 1 ) P(X = x 2 ) P(X = e) = X = x 1 X = x 2 X = e x i, u x i, u x i, u b P(X = x 1 ) P(X = x 2 ) P(X = e) Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

14 Effekt der Ausführung der optimalen policy Das ergibt: p 1 p 2 0 = Das System erreicht also sicher den Endzustand. Für u = u 3 : p 1 p 2 0 ( ) p1 = p 1 Die Annahme verschiebt sich von (p 1 p 2 ) zu (p 1 p 2 ). Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

15 Messungen Zur Bestimmung der optimalen Aktion im ersten Schritt wurde der auf Grund einer angenommenen Verteilung für die Wahrscheinlichkeit der Position erwartete Nutzen herangezogen: r(b, u) = x P(x) r(x, u) Der Nutzen der Aktionen im zweiten Schritt hängt von der auf Grund der ersten Aktion zu erwartenden Verteilung für die Position des Robtors ab: V 2 (b) = max r(b, u) + P(b u, b) V 1 (b ) u b Der Nutzen für zwei aufeinanderfolgende Aktionen ist also der Nutzen für die erste Aktion plus dem auf Grund der neuen Annahme b für die zweite Aktion erwarteten Nutzen. Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

16 Messungen Der Suchraum für policies besteht also aus der Menge aller Wahrscheinlichkeitsverteilungen über die Verteilung P(b)! Die Wahrscheinlichkeit P(b u, b) fragt ja danach, wie wahrscheinlich die Verteilung b ist, wenn die letzte Aktion u und die letzte Hypothese b bekannt sind. Suchraum des einfachen Roboters Im Beispiel ist b eine Funktion der Wahrscheinlichkeit p1, mit der Robertino sich im Zustand x 1 befindet. Denn: P(x 2 ) := p 2 = 1 p 1 Nach der ersten Aktion wird P(x 1 ) von der durch u ausgelösten Wahrscheinlichkeit beeinflusst, mit der Robertino in einen anderen Zustand gelangt: z.b.: P(x 1 u, x 1 ) P(x 1 ) wird außerdem durch die Messungen nach u beeinflusst. Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

17 Messungen Beim Planen zukünftiger Aktionen können die Messungen aber nicht bekannt sein, weil sie ja noch gar nicht durchgeführt wurden! Wir müssen uns also auf den Erwartungswert der durchzuführenden Messungen beschränken: Schätzung neuer Annahmen P(b u, b) = z = z = z P(b, u, b, z) P(u, b) P(b z, u, b) P(z, u, b) P(u, b) P(z u, b) P(b z, u, b) = E z u,b (b z, u, b) Wir summieren nicht über u und b, weil beide bekannt sind! Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

18 Berechnung von V T (b) bei T > 1 Wir können jetzt unsere Formel für V 2 (b) aktualisieren: V 2 (b) = max r(b, u) + P(b u, b) V 1 (b ) u b = max r(b, u) + P(z u, b) P(b z, u, b) V 1 (b ) u b z Das Summieren über b bedeutet extrem viel Rechenaufwand. Wenn die Verteilung b kontinuierlich ist, muss die Summe sogar durch ein Integral ersetzt werden. Das ist der allgemeine Fall eines POMDP: ( ) V T (b ) = P(z u, b) P(b z, u, b)dz V 1 (b )db Müssen wir wirklich immer den ganzen Suchraum durchgehen? Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

19 Berechnung von V T (b) bei T > 1 Die Antwort liefert eine Analyse des Plan-Execute-Sense-Zyklus: Welche Wahrscheinlichkeiten benutzt Robertino in einer aktuellen Situation? Robertino wird mit einer initialen Annahme b 0 gestartet. Damit ist eine Wahrscheinlichkeitsverteilung fixiert. Dann führt Robertino eine Aktion u1 aus. Die zu erwartenden Messungen sind durch b0 und u 1 determiniert! Das Modell eines einfachen Roboters gibt an, wie für jede mögliche Position ihre neue Wahrscheinlichkeit bei festem b 0 und u 1 berechnet wird: P( ) = x P( u 1, x) P(x) wird über u 1 von jedem x mit P( u 1, x) erreicht! Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

20 Berechnung von V T (b) bei T > 1 Damit ist eine Wahrscheinlichkeitsverteilung b fixiert: { P(b 1 für genau dieses b z, u, b) = 0 für alle anderen Annahmen Die Formel V 2 (b) = max r(b, u) + u b P(z u, b) P(b z, u, b) V 1 (b ) z vereinfacht sich also zu: V 2 (b) = max r(b, u) + u z P(z u, b) V 1 (b (b, u, z)) Die Annahme über Robertinos Position kann nun nur noch von den Messungen beeinflusst werden. Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

21 Berechnung von V T (b) bei T > 1 Rekursive Berechnung von V 1 (b (b, u, z)): V 1 (b b,u,z ) = max r(b b,u,z, u ) = max P( b, u, z) r(, ) jetzt greift das Modell des einfachen Roboters = max x P(, b, u, z, x) P(b, u, z) r(, ) Jetzt schreiben wir die stochastische Abhängigkeit der Zufallsvariablen so, dass sich das Sensormodell anwenden läßt: max x max x P(, b, u, z, x) P(b, u, z) P(z, b, u, x) P(, b, u, x) P(b, u, z) r(, ) = r(, ) Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

22 Berechnung von V T (b) bei T > 1 max Die Messung nach Ausführung von u hängt nicht von der Position und der Annahme vor der Ausführung ab: max x max max x max x P(z, b, u, x) P(, b, u, x) P(b, u, z) x P(z, u) P(, b, u, x) P(b, u, z) P(z, u) P( b, u, x) P(b, u, x) P(b, u, z) P(z, u) P( b, u, x) P(x b, u) P(b, u) P(z b, u) P(b, u) x P(z, u) P( b, u, x) P(x b, u) P(z b, u) r(, ) = r(, ) = r(, ) = r(, ) = r(, ) Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

23 Berechnung von V T (b) bei T > 1 Der Zustandsübergang von x nach hängt nicht von anderen Positionen als x ab: max max x x P(z, u) P( b, u, x) P(x b, u) P(z b, u) P(z, u) P( u, x) P(x b, u) P(z b, u) x hängt nicht von der nachfolgenden Aktion ab: max x Bei fixiertem b gilt: P(b) = 1: max x P(z, u) P( u, x) P(x b) P(z b, u) P(z, u) P( u, x) P(x) P(z b, u) r(, ) = r(, ) = r(, ) = r(, ) Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

24 Berechnung von V T (b) bei T > 1 Laut Sensormodell hängt z nicht von u ab: max x P(z, u) P( u, x) P(x) P(z b, u) r(, ) = 1 P(z b, u) max P(z ) P( u, x) P(x) r(, ) Insgesamt ergibt sich: V 2 (b) = max r(b, u) + u P(z u, b) z = max r(b, u) + u z x max P(z ) P( u, x) P(x),x max r(, ) P(z b, u) P(z ) P( u, x) P(x) r(, ),x Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

25 Planung von zwei Schritten Zur Berechnung von V 2 (b) muss diejenige Kombination für (u, ) gefunden werden, die den Wert von V 2 (b) maximiert: u = u 1 u = u 2 u = u 3 = u 1 = u 2... V 2 (b u,)... = u 3 In den beiden Fällen u = u 1 und u = u 2 gilt nach dem Modell des einfachen Roboters: Damit ergibt sich: V 2 (b u 1 ) = r(b, u 1 ) = x x, : P( u, x) = 0 P(x) r(x, u 1 ) = 200 p V 2 (b u 2 ) = r(b, u 2 ) = x P(x) r(x, u 2 ) = 150p 1 50 Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

26 Planung von zwei Schritten Komplexer ist der Fall u = u 3 : 60 p 1 50 V 2 (b) = 1+max 51 p z , 24 p 1 0, 62 +max z 2 60 p p , 24 p 1 0, 38 Eine obere Schranke dafür ist: V 2 (b) = 1 + max 120 p p , 76 p 1 50, 38 9 p p , 24 p , 62 60, 24 p 1 10, 62 35, 76 p , 38 1 Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

27 Finden des Maximums Welchen Wert hat V 2 (b) für u 3 in Abhängigkeit von p 1? Alle linearen Funktionen, aus denen das Maximum ermittelt werden soll, in einem Koordinatensystem. Davon sind nicht alle wichtig. Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28

28 Finden des Maximums Wir müssen auch die Aktionen u 1 und u 2 berücksichtigen. Jede liefert eine weitere lineare Funktion: Alle linearen Funktionen für u 1, u 2 und u 3. Entscheidend sind nur drei Funktionen. V 2 (b) ist eine stückweise lineare Funktion. Die Linearität rührt aus der Linearität des Erwartungswerts. Dr.-Ing. Bernd Ludwig (FAU ER) POMDP / 28