Kybernetik Intelligent Agents- Action Selection

Transkript

1 Kybernetik Intelligent Agents- Action Selection Mohamed Oubbati Institut für Neuroinformatik Tel.: (+49) 731 / mohamed.oubbati@uni-ulm.de

2 Intelligent Agents

3 Intelligent Agents Environment Agent Intelligent Agents continuously perform 4 functions: 1. Perception (sensory data + interpretation). 2. Reasoning. 3. Decision making. 4. Action selection to affect the environment in order to meet its design objectives.

4 Intelligent Agents Agent objective Environment - Perception - Reasoning -Decision Action selection

5 Intelligent Agents Agent objective Environment - Perception - Reasoning -Decision Action selection How should the agent select actions?

6 Intelligent Agents How should the agent select actions? One way is to use architectures from control theory.

7 Intelligent Agents How should the agent select actions? Sollwert + - e Regler System Sensor

8 Intelligent Agents How should the agent select actions? Sollwert + - e Agent (action selection) Environment Sensor

9 Intelligent Agents How should the agent select actions? We consider the following control architectures 1. ON-OFF 2. PID 3. MRAC (Model Reference Adaptive Control) 4. MPC (Model Predictive Control)

10 ON-OFF Regler

11 ON-OFF Regler Diese Art der Regelung wird nur für einfache Anwendungen eingesetzt. Beispiel 1

12 ON-OFF Regler Beispiel 2: Regelung der Temperature im Backofen Soll-Wert + - ON/OFF Aktuelle Temperatur Temperatur Sensor - Der Regler schaltet "Aus", wenn die Temperatur höher als der Soll-Wert ist. - Der Regler schaltet "Ein", wenn der Soll-Wert unterschritten wird.

13 PID Regler

14 PID Regler PID-Regler besteht aus folgenden Anteilen: - Proportionalen Anteil (P-Regler) - Integralen Anteil (I-Regler) - Differentialen Anteil (D-Regler)

15 PID Regler P-Regler Er bestimmt die Stellgröße u(t) durch Multiplikation der Regelabweichung e(t) mit einem Faktor Kp: V(t) + e(t) P-Regler u(t) System y(t) - u(t)= Kp e(t)

16 PID Regler P-Regler Er bestimmt die Stellgröße u(t) durch Multiplikation der Regelabweichung e(t) mit einem Faktor Kp: V(t) + e(t) P-Regler u(t) System y(t) - u(t)= Kp e(t) - reagiert nur auf aktuellen Wert der Regelabweichung e(t) berücksichtigt nur die Gegenwart. - je größer (kleiner) die Regelabweichung e(t), desto größer (kleiner) ist die Stellgröße u(t). - Getting closer to the desired value means that the control signal u(t) does practically nothing! eine bleibende Regelabweichung.

17 P-Regler Simulation V(t) + - e(t) P-Regler u(t) System && y + 10 y& + 5 = u y(t)

18 P-Regler Sollwert Kp=50

19 P-Regler Sollwert Kp=100

20 P-Regler Sollwert Kp=200

21 P-Regler Sollwert Kp=300

22 P-Regler P-Regler Zusammenfassung Die Regeldifferenz und die Ausregelzeit werden kleiner, wenn Kp größer gewählt wird. Aber dazu erhalt man eine stärkere Überschwingung!

23 P-Regler P-Regler einfach im Aufbau und damit relative preiswert. das Verhalten wird nur durch die Einstellung des Parameters Kp. Kp Kp bleibende Regeldifferenz Überschwingweite

24 I-Regler I-Regler Beim I-Regler (integrierender Regler) ist die Stellgröße u(t), abgesehen vom Anfangswert, proportional zum Zeitintegral der Regelabweichung e(t): V + e I-Regler u System y - u 1 ( t ) = e ( τ ) d τ k i t 0 alle zurückliegenden Werte der Regelabweichung e(t) werden integriert. berücksichtigt die Vergangenheit. Advantage If e(t) remains non-zero (even for small values) for a length of time, the control signal u(t) gets larger and larger as time goes on! keine bleibende Regelabweichung

25 I-Regler I-Regler Simulation V(t) + - e(t) I-Regler u(t) System && y + 10 y& + 5 = u y(t)

26 I-Regler Ki=0.8

27 I-Regler Ki=10

28 I-Regler Ki=30

29 I-Regler Ki=50

30 I-Regler I-Regler keine bleibende Regeldifferenz. I-Regler greift langsamer ein als P-Regler.

31 PI-Regler PI-Regler Die Kombination eines I-Reglers mit einem P-Regler führt zum PI-Regler. u 1 ( t ) = K + p e ( t ) e ( τ ) d τ k i t 0

32 PI-Regler PI-Regler Simulation V(t) + - e(t) PI-Regler u(t) System && y + 10 y& + 5 = u y(t)

33 PI-Regler PI-Regler Kp=60 Ki=30

34 PI-Regler Kp=60 Ki=30

35 PI-Regler Kp=100 Ki=90

36 PI-Regler PI-Regler - anfangs schneller als der I-Regler. - präziser als der P-Regler (keine bleibende Regeldifferenz) Einstellung von zwei Reglerparametern (Zeit Aufwand beim Tuning)

37 D-Regler D-Regler Der D-Regler (differentialer Regler) bestimmt den Stellwert aus der zeitlichen Ableitung der Regelabweichung. V + e D-Regler u System y - u ( t ) = K d de ( t ) dt -Der D-Regler reagiert auf der Änderung der Regelabweichung. - Die Änderung zeigt, wohin die Regelabweichung in der Zukunft gehen wird. berücksichtigt die Zukunft. - Je stärker die Änderung der Regelabweichung e(t), desto größer ist die Stellgröße u(t). Überschwingen wird minimiert.

38 PI-Regler D-Regler Simulation V(t) + - e(t) D-Regler u(t) System && y + 10 y& + 5 = u y(t)

39 D-Regler Sollwert Kd=50

40 D-Regler Sollwert Kd=50

41 D-Regler D-Regler greift sofort ein beim Auftreten einer Regeldifferenz. Das Überschwingen zu minimieren. - reagiert nicht auf eine konstante Regeldifferenz. - verstärkt Messrauschen.

42 PD-Regler PD-Regler Die Parallelschaltung eines D-Reglers und eines P-Reglers führt zum PD-Regler. u( t) = K e( t) + p K d de( t) dt

43 PI-Regler D-Regler Simulation V(t) + - e(t) PD-Regler u(t) System && y + 10 y& + 5 = u y(t)

44 PD-Regler Sollwert Kp=10 Kd=50

45 PD-Regler Sollwert Kp=100 Kd=60

46 PD-Regler PD-Regler sehr schneller Regler, und größere Regeldifferenz werden vermieden. bleibende Regeldifferenz tritt auf.

47 PID-Regler PID-Regler Der PID-Regler vereint die Verhaltensweisen der P-, I-, und D-Regler. u( t) 1 = K p e( t) + e( τ ) dτ + K i t 0 K d d dt e( t)

48 PI-Regler PID-Regler Simulation V(t) + - e(t) PID-Regler u(t) System && y + 10 y& + 5 = u y(t)

49 PID-Regler Sollwert Kp=300 Ki=150 Kd=80

50 PID-Regler PID-Regler - reagiert schnell - läßt keine bleibende Regeldifferenz zu - erlaubt keine großen Regelabweichungen Einstellung eines PID-Regler erfordert einen großen Zeitaufwand

51 PID-Regler Die Merkmale der elementaren PID-Regler

52 Model Reference Adaptive Control (MRAC)

53 MRAC desired output actual output reference model Regler Adjustment Mechanism System + - Das Modell-Referenz-Verfahren besteht aus dem Regler und einem Referenzmodell. Das Ziel ist dann, das dynamische Verhalten des Regelkreises in Übereinstimmung mit dem Referenzmodell zu bringen.

54 Model Predictive Control (MPC)

55 MPC desired output actual output Regler control inputs System System model Systemidentifikation Beim MPC wird zuerst ein Modell des Systems verwendet, um die zukünftigen Zustände des Systems zu berechnen (vorhersagen). Aufgrund dieser Prädiktion wird dann die geeignete Eingangssignale (control inputs) gewählt.