Vorstellung des Roboterfußball-Teams TORF

Transkript

1 C A R L V O N O S S I E T Z K Y Vorstellung des Roboterfußball-Teams TORF Johannes Diemke Vortrag im Rahmen der Projektgruppe Oldenburger Robot Soccer Team im Wintersemester 2009/2010

2 Übersicht 1 Motivation 2 Grundlagen 3 Vorarbeiten der PG TORF 4 Fazit Johannes Diemke Teamvorstellung TORF 10. November /48

3 Motivation Zielsetzung der PG Verbesserung des bestehenden Roboterfußball-Teams TORF Umfassende Vorarbeiten Auszeichnung Beste PG des Jahres Teilnahme an den RoboCup German Open 2010 Voraussetzung Kenntnisse unterschiedlicher KI-Techniken Verständnis der vorhandenen Architektur und Funktionsweise Fähigkeiten und Restriktionen erkennen Verbesserungspotential erkennen Johannes Diemke Teamvorstellung TORF 10. November /48

4 Motivation PG TORF - Das alte Team (Quelle: Projektgruppe TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

5 Vom Computerschach zum Roboterfußball Claude E. Shannon schlägt Automaten vor der Menschen im Schach schlägt Fortan Prüfstein für neu entwickelte Verfahren Entstehung leistungsfähiger Spielstrategien und Suchverfahren Computerschach war bereits kein Prüfstein mehr für KI Roboterfußball wird das neue Standardproblem Deep Blue gewinnt gegen den Schachweltmeister Garri Kasparov Johannes Diemke Teamvorstellung TORF 10. November /48

6 Vom Computerschach zum Roboterfußball IBMs Deep Blue vs. Kasparov (Quellen: & Johannes Diemke Teamvorstellung TORF 10. November /48

7 Roboterfußball Besonderheiten des Roboterfußballs Herausforderung für Robotik und KI Völlig andere Aspekte als beim Computerschach Dynamische Umgebung Unvollständige Informationen Echtzeitanforderungen Unvorhersehbare Ereignisse... Johannes Diemke Teamvorstellung TORF 10. November /48

8 Roboterfußball Weitere Vorteile des Roboterfußballs Populäre Sportart Einfaches und bekanntes Regelwerk Leistungsfähigkeit von Verfahren lässt sich einfach messen: Erzielte Tore Platzierung Evolution der Verfahren durch Wettkämpfe RoboCup Federation of International Robot-Soccer Association (FIRA) Johannes Diemke Teamvorstellung TORF 10. November /48

9 RoboCup Die internationale RoboCup-Initiative Veranstaltet seit 1997 den RoboCup Roboterfußball Weltmeisterschaft RoboCup German Open in Deutschland Verschiedene Ligen: 2D Simulation / 3D Simulation Small Size Four Legged (Aibo) / Standard Platform League (Nao) Humanoid... Johannes Diemke Teamvorstellung TORF 10. November /48

10 RoboCup Zielsetzung der RoboCup-Initiative Bis zum Jahr 2050 den amtierenden menschlichen Weltmeister in einem gewöhnlichen Fußballspiel besiegen (Quelle: Johannes Diemke Teamvorstellung TORF 10. November /48

11 RoboCup Die 2D-Simulationsliga Gespielt wird auf RoboCup Soccer Simulator Server Spieler verbinden sich als Client Übernimmt vollständige Simulation Zwei Teams aus je 11 autonomen Spielern + Coach Jeder Spieler ist ein autonomer Software-Agent Agenten nach Russell & Norvig Definition Als Agent kann alles angesehen werden, was seine Umwelt durch Sensoren wahrnimmt und durch Effektoren beeinflusst. Johannes Diemke Teamvorstellung TORF 10. November /48

12 RoboCup RoboCup Soccer Simulator Simulator ist gemäß Client-Server-Architektur ein Server Angebotener Dienst ist die Simulation: Verwaltung der Spieler und des Balls Simulation einfacher Physik Visuelle und auditive Wahrnehmung Simulation von Beschränkungen (Verrauschen, partielle Beobachtbarkeit) Spieler, Coach und Trainer melden sich an Kommunikation über S-Expressions Verwendet wird das UDP/IP-Protokoll Johannes Diemke Teamvorstellung TORF 10. November /48

13 Arbeitsumgebung Klassifikation der Arbeitsumgebung Ziel Erfolgt nach PEAS-Beschreibung (Russell & Norvig) Akronym für Performance, Environment, Actuators, Sensors Besteht aus: Beschreibung der Arbeitsumgebung Umgebungsklassifikation Dient Ableitung erster Anforderungen an einen Software-Agenten Johannes Diemke Teamvorstellung TORF 10. November /48

14 Arbeitsumgebung Beschreibung der Arbeitsumgebung Agententyp Spieler Trainer Coach Leistungsbewertung Stabilität, Geschwindigkeit, kongruentes Verhalten Stabilität, Geschwindigkeit Umgebung Aktuatoren Sensoren RoboCup Soccer Server RoboCup Soccer Server Spielerkommandos (dash, turn, say,... ) change mode, move, start, say,... say, look, eyes, team names,... Sehen und Hören RoboCup Soccer Server (im Trainingsmodus) Spielfeldübersicht Stabilität, Geschwindigkeit Spielfeldübersicht (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

15 Arbeitsumgebung Umgebungsklassifikation Anhand folgender Eigenschaften: Vollständig vs. teilweise beobachtbar Deterministisch vs. stochastisch Episodisch vs. sequentiell Statisch vs. dynamisch Diskret vs. stetig Einzelagenten vs. Multiagenten-Umgebung Erste Schlüsse bzgl. der Anforderungen Verwaltung eines inneren Zustandes (Weltmodell) Keine absoluten Aussagen über Folgezustände (Wahrscheinlichkeiten) Vorausdenken Veränderung der Umgebung während der Entscheidungsfindung Johannes Diemke Teamvorstellung TORF 10. November /48

16 Agenten Spieler als modellbasierter Reflex-Agent Teilweise Beobachtbarkeit macht Verwaltung eines Zustandes notwendig (Quelle: Russell & Norvig) Johannes Diemke Teamvorstellung TORF 10. November /48

17 Vorarbeiten der PG TORF Komponentenmodell des Spieler-Agenten (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

18 Vorarbeiten der PG TORF Das Weltmodell (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

19 Das Weltmodell Zweck Grundlage des Entscheidungsprozesses Besitzt Ist-Zustand und Dynamikwissen Möglichst korrekte Abbildung der Arbeitsumgebung Umgang mit verrauschten Daten Erfassung von: Objekten (Spieler, Ball, Flaggen,... ) Punktestand und Spielphase Johannes Diemke Teamvorstellung TORF 10. November /48

20 Das Weltmodell Bestimmung der eigenen Position Durch Winkel und Entfernungen der Flaggen Unterscheidung zweier Fälle (a) und (b) (a) Zwei Flaggen. (b) Eine Flagge. (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

21 Das Weltmodell Bestimmung der eigenen Position (Forts.) Berechnete Positionen sind verfälscht Sensordaten werden künstlich verrauscht (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

22 Das Weltmodell Bestimmung der eigenen Position (Forts.) Verringerung der Verfälschung: Bildung von Flaggenpaaren Schätzung durch das [sic] Kalman-Filter Sind keine Flaggen sichtbar: Bestimmung über Dynamik des Kalman-Filters Johannes Diemke Teamvorstellung TORF 10. November /48

23 Das Weltmodell Grafische Darstellung des Weltmodells (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

24 Vorarbeiten der PG TORF Der Planer (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

25 Der Planer Zweck Umsetzung des Entscheidungsprozesses Festlegen der Strategie und das Starten der Skills Hierarchischer Planer Benötigt Planerdatenbank mit Domänenwissen Zugriff auf das Weltmodell über Literale Unterstützung von Team-Skills Johannes Diemke Teamvorstellung TORF 10. November /48

26 Der Planer Die Planer-Architektur Messages Com start Skill Planner state (via literals) Worldmodel status push / pop select method free kick set piece offensiv play soccer Stack play soccer offensiv defensive normal play Database (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

27 Der Planer Auschnitt der Planerdatenbank BallPossessionHandling NearestToBall Negation of (NearestToBall) kick2goalcomplex NearestToBall Do Positioning, Offensive DoPositioningSkillParam lookaround LookAroundSkillParam Negation of (NearestToBall) NearestToBall intercept InterceptSkillParam kicktogoal Kick2PosSkillParam NearestToBall (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

28 Vorarbeiten der PG TORF Skills (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

29 Skills Zweck Realisierung grundlegender Fertigkeiten Verwaltung durch Skill-Manager Unterscheidung von zwei Arten Primitive Skills (kapseln S-Expressions) Komplexe Skills Händische Implementierung nicht trivial Einsatz von Lernverfahren bietet sich an Johannes Diemke Teamvorstellung TORF 10. November /48

30 Skills Hierarchische Struktur der Skills package Data[ PlayerSkills] Player Skills receivepass dribble dopass dopositioning dokickoffformatio kick2pos CatchComplex findobjec stopball ProbabilisticGoalie intercept TurnHeadComplex go2pos lookaround followpath goalie teleport2pos say kick dash catch turnbody changeview turnhead move (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

31 Skills Aktivitätsdiagramm für den Go2Pos-Skill (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

32 Vorarbeiten der PG TORF Kommunikation (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

33 Kommunikation Zweck Absprachen zwischen Spieler-Agenten (Taktiken auf Teamebene) Beispiel: Passspiel Spieler-Agent empfängt nicht jede Nachricht: Maximale Entfernung eingeschränkte Nachrichtenlänge Vorgegebenes Alphabet Σ Erste Nachricht je Simulations-Zyklus Johannes Diemke Teamvorstellung TORF 10. November /48

34 Kommunikation Implementiertes Verfahren Einteilung in Cluster mit je einem Router Verwendung von Zeitmultiplexing (Vermeiden von Kollisionen) Problem Derzeit nicht vollständig funktionsfähig Aufgabe Protokoll auf Korrektheit prüfen Gegebenenfalls Alternativen entwerfen Johannes Diemke Teamvorstellung TORF 10. November /48

35 Trainer- und Coach-Framework Aufbau Trainer Trainer und Coach sind eine Applikation Gemeinsamkeiten: Message-Broker Weltmodell Controller Nach Sternarchitektur aufgebaut Trainiert Spieler Austauschbare Lerntechniken (KI-Module) Laden von Spielsituationen im XML-Format Johannes Diemke Teamvorstellung TORF 10. November /48

36 Trainer- und Coach-Framework Sternarchitektur des Trainers (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

37 Trainer- und Coach-Framework Gemeinsame Architektur von Trainer und Coach Architektur des Trainer-Agenten BasicCoach RCSS-Server WorldModel Message- Broker Controller Trainer-Agent Coach-Agent Learning- Technique XML-Situation Player-Types Spieler-Agent Trainee/LT (Quelle: Abschlußbericht PG TORF) Datenfluss Vererbung Projektgruppe TORF Universität Oldenburg Fakultät II Department für Informatik Abteilung LLS Johannes Diemke Teamvorstellung TORF 10. November /48 18/23

38 Trainer- und Coach-Framework activity Trainer[ Trainer ] Ablauf einer Trainingssession und des Trainings MB verbinden WM verbinden LT laden init LT Bei LT registrieren Clients verabschieden Training durchführen Genug Clients Client aufnehmen Auf Clients lauschen Lernergebnisse speichern zu wenig Clients LT abmelden aufräumen activity Trainer[ Training durchführen ] Lerntechnik starten Instruktionen an Spieler senden Spieler beobachten Ergebnisse von Spieler empfangen Training nicht beendet Training beendet Ergebnisse auswerten (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

39 Trainer- und Coach-Framework Coach Vergibt momentan nur Spielertypen 18 zufällig generierte Spielertypen Werden nach Zufallsprinzip vom RCSS zugewiesen Coach kann diese neu zuweisen Data-Mining für optimale Heuristik (LogfileAnalysis) Johannes Diemke Teamvorstellung TORF 10. November /48

40 Hilfsprogramme TORF Strategy Tool Manuelle Erstellung der Planderdatenbank zu aufwändig Boost-Serialisierung (Metadaten) Umfang des Domänenwissens entscheidend Intention Komfortable Erstellung von Planerdatenbanken Visuelle Darstellung der Daten Schnelle Entwicklung mittels der NetBeans Platform 6.1 Anbindung an Planer über das JNI mittels SWIG Johannes Diemke Teamvorstellung TORF 10. November /48

41 Hilfsprogramme Hauptfenster des TORF Strategy Tool (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

42 Hilfsprogramme Probleme Interoperabilität zwischen Java und C++ Aus der Verwendung von SWIG resultieren einige Probleme: Verlust von Polymorphie Speicherverwaltung (keine Destruktion auf C++-Seite)... Mögliche Problemlösung Entwurfsentscheidungen überdenken Johannes Diemke Teamvorstellung TORF 10. November /48

43 Hilfsprogramme LogfileAnalysis Sammlung von Python-Skripten Auswertung von Logdateien Enthalten kompletten Spielverlauf Offizielle Spiele ab dem Jahr 1997 verfügbar Prädestiniert für Analysezwecke mittels Data-Mining Johannes Diemke Teamvorstellung TORF 10. November /48

44 Hilfsprogramme Feldabdeckungsanalyse (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

45 Hilfsprogramme Torschussanalyse (Quelle: Abschlußbericht PG TORF) Johannes Diemke Teamvorstellung TORF 10. November /48

46 Vorarbeiten der PG TORF Fazit Umfangreiche Vorarbeiten der PG TORF Handlungsumgebung sehr komplex Grobarchitektur ist gute Grundlage für Erweiterungen Leistungspotential des Planers besser ausschöpfen Fehlendes Domänenwissen Johannes Diemke Teamvorstellung TORF 10. November /48

47 Vorarbeiten der PG TORF Fazit (Forts.) Weitere Skills implementieren Nutzen von Lernverfahren Fertigstellung der Kommunikations-Komponente Erweitern des Trainer und Coach-Frameworks: KI-Module Umfangreichere Unterstützung durch den Coach TORF Strategy Tool Entwurfsentscheidungen überdenken Probleme beseitigen Johannes Diemke Teamvorstellung TORF 10. November /48

48 Literatur Universität Oldenburg, Projektgruppe TORF Team Oldenburger Robo-Fußball Abschlussbericht The RoboCup Federation RoboCup Stuart Russell und Peter Norvig Künstliche Intelligenz: Ein moderner Ansatz IBM Corporation Deep Blue Johannes Diemke Teamvorstellung TORF 10. November /48