Sicherheit bei lernenden Robotern

Transkript

1 15. Januar 2009

2 Sicherheitsbegriff Herangehensweisen Beschreibung des Begriffs Sicherheit Sicherheit ist... Schutz vor Bedrohung und Schaden Zuverlässigkeit Safety: Schutz der Umgebung (accident prevention) Security: Schutz des Systems (crime prevention)

3 Herangehensweisen Einleitung Sicherheitsbegriff Herangehensweisen Inhärente Sicherheit Reduktion der Auswirkungen Polsterung Reduktion der Bewegungsenergie Schutzvorrichtungen, Warnhinweise Integrierte Sicherheit Reduktion der Eintrittswahrscheinlichkeit Erhöhung der Ausfallsicherheit Fehlerfreiheit Fehlererkennung und -behebung Redundanz

4 Verbesserung der Softwarequalität durch modellgetriebene Softwareentwicklung Programmierrichtlinien Verifikationsstrategien hierarchische Architektur

5 Einleitung Einführung (teil-)automatisierte Untersuchung des Softwareverhaltens Vergleich Modell - tatsächlich entstandene Software Formalisierung des Modells nötig z.b. Theorembeweiser, Endliche Automaten, Model Checking Zu führende Beweise: 1 Programm terminiert 2 Programm überführt jeden Zustand, in dem bestimmte Vorbedingungen P gelten, in einen Zustand, in dem bestimmte Nachbedingungen N gelten

6 Beispiel: Model Checking Fragestellung: Erfüllt das Programm die Spezifikation? Spezifikation = Programm? Funktionsweise entspricht vollständigem Black-Box-Test: 1 Berechnung sämtlicher möglicher Variablenbelegungen 2 Test der zu verifizierenden Eigenschaft für jede Belegung Problem: Suchraumexplosion Beschränkung auf Äquivalenzklassentests kein echter Beweis mehr

7 Einleitung Probleme Spezifikationsfehler fehlende / fehlerhafte Beweisersoftware Halteproblem und Gödelscher Unvollständigkeitssatz Fazit vollständige formale Verifikation weder machbar noch wirtschaftlich Erstellung formaler Spezifikationen sehr aufwändig für Teilprobleme aber durchaus verwendbar gute Ergebnisse für überschaubare (Sicherheits-)Probleme

8 Hierarchical Control System genereller Aufbau Strukturierung in logische Ebenen Interaktion mit darüber- und darunterliegenden Ebenen Implementierungen Reference Model Architecture (RMA), James Albus Real-Time Control System Architecture (RCS), NIST Verwendung bei der Entwicklung unbemannter Fahrzeuge

9 Reference Model Architecture (RMA)

10 Hierarchical Control System Ziele hoher Abstraktionsgrad Wiederverwendbarkeit automatische Codegenerierung aus UML-Modellen Sicherheitsaspekte Sicherheitsrichtlinien angepasst an Modellhierarchie einfache Realisierung von Redundanz

11 Multi-Layered Reinforcement Learning Eigenschaften Anwendung: Robocup, Universität Osaka Vorteil: bei Komponententausch wird gelerntes Wissen behalten Policy-Lerngeschwindigkeit des Gesamtsystems verbessert sich

12 Multi-Layered Reinforcement Learning Vergleich der Policy-Lerngeschwindigkeit monolithisches/hierarchisches System Behavior Aquisition by Multi-Layered Reinforcement Learning Yasutake Takahashi & Minoru Asada, Osaka University

13 Multi-Layered Reinforcement Learning Eigenschaften Anwendung: Robocup, Universität Osaka Vorteil: bei Komponententausch wird gelerntes Wissen behalten Policy-Lerngeschwindigkeit des Gesamtsystems verbessert sich Nachteil: schwierige Umsetzung Aufteilung in Sub-Goals Zuordnung von selten auftretenden Rewards

14 Quellen Vorlesung Theoretische Informatik, Prof. W. Ertel Vorlesung, Prof. W. Koch National Institute of Standards and Technology, United States of America, Behavior Aquisition by Multi-Layered Reinforcement Learning, Yasutake Takahashi & Minoru Asada, Osaka University, 1999 Multi-Layered Learning System for Real Robot Behavior Acquisition, Yasutake Takahashi & Minoru Asada, Osaka University, 2004