Taktilsensorbasierte Steuerung von Roboterarmen zur Erstellung einer Haptischen Datenbank

Transkript

1 Taktilsensorbasierte Steuerung von Roboterarmen zur Erstellung einer Haptischen Datenbank Matthias Schöpfer 1 Gunther Heidemann 2 Helge Ritter 1 1 {mschoepf,helge}@techfak.uni-bielefeld.de Technische Fakultät - AG Neuroinformatik Universität Bielefeld 2 gh@informatik.uni-stuttgart.de VIS / Abteilung Intelligente Systeme Universität Stuttgart 18. Juli 2007 Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 1 / 23

2 Übersicht Setup AG Neuroinformatik Wozu eine taktile Datenbank? Übersicht 1 Setup AG Neuroinformatik 2 Taktile Datenbank Hardware zur Abtastverfahren Datenstruktur 3 : Taktile Klassifikation Überblick VPL-Klassifikator 4 Aktuelle Arbeit: Reinforcement Learning 5 und Ausblick Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 2 / 23

3 Übersicht Setup AG Neuroinformatik Wozu eine taktile Datenbank? Shadow Hand Features 20 DOF 40 Pneumatische Muskeln Abmessungen ähnlich wie beim Menschen Steifigkeit durch Muskeln steuerbar Echtzeitkontrolle via RT-Linux und Onboard Mircocontroller CAN-Bus Interface Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 3 / 23

4 Übersicht Setup AG Neuroinformatik Wozu eine taktile Datenbank? Greifheuristiken in Simulation und Realität Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 4 / 23

5 Übersicht Setup AG Neuroinformatik Wozu eine taktile Datenbank? Shadow Hand in Aktion Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 5 / 23

6 Übersicht Setup AG Neuroinformatik Wozu eine taktile Datenbank? Bimanuales Setup Zwei 7 DOF Mitsubishi PA-10 Industrieroboter Ansteuerung unter Linux Pfad-Planer mit dynamischer Hindernissvermeidung Kollisionserkennung und Vermeidung in Echtzeit Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 6 / 23

7 Übersicht Setup AG Neuroinformatik Wozu eine taktile Datenbank? Taktile Sensorik Taktile Wahrnehmung wichtig für stabilen Griff Erkennung/Klassifikation (un-)bekannter Objekte Materialschonende Handhabung Das Greifen/Manipulieren als solches Bisher verfügbare Taktilsensoren für die Shadowhand unzureichend Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 7 / 23

8 Übersicht Setup AG Neuroinformatik Wozu eine taktile Datenbank? Wozu eine taktile Datenbank? Die meisten Veröffentlichungen im taktilen Bereich betreffen neue Sensoren Veröffentlichungen über neue Verarbeitungsverfahren sind eher selten und speziell Vergleich verschiedener Verfahren schwierig Komplexe Hardwaresetups erfordern großen Aufwand selbst bei simplen Ansätzen Lösung: Eine taktile Datenbank Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 8 / 23

9 Übersicht Setup AG Neuroinformatik Wozu eine taktile Datenbank? Wozu eine taktile Datenbank? forts. Beispiele CV: Columbia Object Image Library (COIL), VisTex Anwendungen (off-line): Slip Erkennung, Form Rekonstruktion, Klassifikation auf taktilen oder haptischen Features, Features aus taktilen/haptischen Daten extrahieren, Entwicklung explorativer Strategien,... Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 9 / 23

10 Übersicht Setup AG Neuroinformatik Wozu eine taktile Datenbank? Wozu eine taktile Datenbank? forts. Beispiele CV: Columbia Object Image Library (COIL), VisTex Anwendungen (off-line): Slip Erkennung, Form Rekonstruktion, Klassifikation auf taktilen oder haptischen Features, Features aus taktilen/haptischen Daten extrahieren, Entwicklung explorativer Strategien,... Erspart einem viel Zeit am Roboter Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 9 / 23

11 Motivation Hardware Abtastverfahren Datenstruktur Sensor Typ: DSA IS ( Resistiver Sensor, Auflösung: 16 x 16 Matrix pro Tact-El 12 bit 1-25 Hz. Benutzt: 10 Hz 6mm (1/4 inch) Abstand zwischen den Sensorzellen Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 10 / 23

12 Hardware Abtastverfahren Datenstruktur Hardware-Setup Sensor befestigt am End-Effektor eines 6-DOF Unimation Puma 200. Roboter gesteuert über RCCL (Robot Control C Library, Entwicklung: V. Hayward,J. Lloyd, T. Scherer). Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 11 / 23

13 Hardware Abtastverfahren Datenstruktur Voraussetzungen Alle abgetasteten Objekte kleiner als die Sensoroberfläche (10 80 mm) Rollen über das Objekt mit konstantem Druck Trajektorienberechnung in Echtzeit Zu jedem taktilen Muster wird die T 0 6 Transformation gespeichert 16 verschiedene Objekte generierten 44 Ansichten, also stabile Positionen Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 12 / 23

14 Hardware Abtastverfahren Datenstruktur Abtastverfahren Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 13 / 23

15 Hardware Abtastverfahren Datenstruktur Abtastverfahren forts. Verschiedene Winkel ( in 10 Schritten) und Translationen (0mm,0mm), (3mm,0mm), (0mm,3mm), (3mm,3mm) Einzelner Abtastvorgang benötigt ca. 4 Minuten Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 14 / 23

16 Hardware Abtastverfahren Datenstruktur Datenstruktur Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 15 / 23

17 Hardware Abtastverfahren Datenstruktur Statistiken 14 Millionen Haptische (also taktile und kinästhetische) Frames Ergibt ca. 5.8 Gigabyte an komprimierten Daten Netto Zeit von ca. 530 Stunden (Komplikationen nicht mit eingerechnet). Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 16 / 23

18 Überblick VPL Aktuelle Arbeiten Die VPL Klassifikationsarchitektur 3 Phasen Klassifikator (Vektor Quantisierung, PCA, LLM-Neuronales Netz) Kombiniert Merkmalsextraktion ( Phase) und -klassifikation (3. Phase) Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 17 / 23

19 Überblick VPL Aktuelle Arbeiten Die VPL Klassifikationsarchitektur forts. Als Eingabe dienen unterabgetastete taktile Zeitserien: 16 x 16 (Matrix) x 100 Beispiele aus der Zeitserie = x R (!) Ansatz: Anstatt Merkmalsextraktion mit Weltwissen, den Klassifikator die Merkmale selber finden lassen. Merkmalsextraktion (unüberwacht): lokale PCA auf den Rohdaten x Die dimensionsreduzierte PCA-Projektion von x wird klassifiziert von zugeordneten Neuronalen Netz (Lernverfahren überwacht) Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 18 / 23

20 Überblick VPL Aktuelle Arbeiten Warum VPL? VPL ist ausgelegt auf komplexe und hochdimensionale Datenverteilungen Keine Overfitting-Effekte in den wenigen Parametern Gute Kombination aus unüberwachtem ( Phase) und überwachtem Lernverfahren (3. Phase) Geeignet, um ein Gefühl für die taktilen Daten zu entwickeln, also insbesondere Generalisierung über bestimmte Parameter (Rotation, Translation,... ) Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 19 / 23

21 Überblick VPL Aktuelle Arbeiten Training Test Erg. zuf. Roll Angle (RA) & Offset Rotation (OR) Paar, Translational Offset (TO)=(0mm,0mm) TO=(3mm,0mm) 29.5% Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 20 / 23

22 Überblick VPL Aktuelle Arbeiten Training Test Erg. zuf. Roll Angle (RA) & Offset Rotation TO=(3mm,0mm) 29.5% (OR) Paar, Translational Offset (TO)=(0mm,0mm) zuf. RA & OR Paar, TO=(0mm,0mm) OR training 69.9% Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 20 / 23

23 Überblick VPL Aktuelle Arbeiten Training Test Erg. zuf. Roll Angle (RA) & Offset Rotation TO=(3mm,0mm) 29.5% (OR) Paar, Translational Offset (TO)=(0mm,0mm) zuf. RA & OR Paar, TO=(0mm,0mm) OR training 69.9% zuf. RA & OR Paar, TO={(0mm,0mm), TO=(3mm,3mm) 97.2% (3mm,0mm), (0mm,3mm)} Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 20 / 23

24 Überblick VPL Aktuelle Arbeiten Training Test Erg. zuf. Roll Angle (RA) & Offset Rotation TO=(3mm,0mm) 29.5% (OR) Paar, Translational Offset (TO)=(0mm,0mm) zuf. RA & OR Paar, TO=(0mm,0mm) OR training 69.9% zuf. RA & OR Paar, TO={(0mm,0mm), TO=(3mm,3mm) 97.2% (3mm,0mm), (0mm,3mm)} OR = {x, x + 20 }, zuf. RA & TO OR={x + 10 } 84.1% Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 20 / 23

25 Überblick VPL Aktuelle Arbeiten Training Test Erg. zuf. Roll Angle (RA) & Offset Rotation TO=(3mm,0mm) 29.5% (OR) Paar, Translational Offset (TO)=(0mm,0mm) zuf. RA & OR Paar, TO=(0mm,0mm) OR training 69.9% zuf. RA & OR Paar, TO={(0mm,0mm), TO=(3mm,3mm) 97.2% (3mm,0mm), (0mm,3mm)} OR = {x, x + 20 }, zuf. RA & TO OR={x + 10 } 84.1% OR={x, x + 10, x + 30, x + 40 }, zuf. RA & TO OR={x + 20 } 89.2% Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 20 / 23

26 Überblick VPL Aktuelle Arbeiten Training Test Erg. zuf. Roll Angle (RA) & Offset Rotation TO=(3mm,0mm) 29.5% (OR) Paar, Translational Offset (TO)=(0mm,0mm) zuf. RA & OR Paar, TO=(0mm,0mm) OR training 69.9% zuf. RA & OR Paar, TO={(0mm,0mm), TO=(3mm,3mm) 97.2% (3mm,0mm), (0mm,3mm)} OR = {x, x + 20 }, zuf. RA & TO OR={x + 10 } 84.1% OR={x, x + 10, x + 30, x + 40 }, zuf. OR={x + 20 } 89.2% RA & TO OR={x, x + 10, x + 30, x + 40 }, zuf. OR={x + 20 }, 91.9% RA, TO={(0mm,0mm), (3mm,0mm), TO=(3mm,3mm) (0mm,3mm)} Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 20 / 23

27 Überblick VPL Aktuelle Arbeiten Training Test Erg. zuf. Roll Angle (RA) & Offset Rotation TO=(3mm,0mm) 29.5% (OR) Paar, Translational Offset (TO)=(0mm,0mm) zuf. RA & OR Paar, TO=(0mm,0mm) OR training 69.9% zuf. RA & OR Paar, TO={(0mm,0mm), TO=(3mm,3mm) 97.2% (3mm,0mm), (0mm,3mm)} OR = {x, x + 20 }, zuf. RA & TO OR={x + 10 } 84.1% OR={x, x + 10, x + 30, x + 40 }, zuf. OR={x + 20 } 89.2% RA & TO OR={x, x + 10, x + 30, x + 40 }, zuf. OR={x + 20 }, 91.9% RA, TO={(0mm,0mm), (3mm,0mm), TO=(3mm,3mm) (0mm,3mm)} zuf. OR & TO, RA=0 RA=45 6.0% Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 20 / 23

28 Überblick VPL Aktuelle Arbeiten Reinforcement Learning Welche Kraft wird zum Greifen benötigt? Idee: Lernen des Idealen Drucks durch Versuch und Irrtum Reinforcement Learning Belohnung: kleinere Kraft länger gehalten Strafe Objekt verloren Lernerfolg bei Versuchen Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 21 / 23

29 Vorstellung Robotik-Setup AG Neuroinformatik Umfangreiche haptische Datenbank mit 16 verschiedenen Objekten in 44 verschiedenen Positionen Datenbank kann verwendet werden, um neue Algorithmen auf haptischen Daten zu entwickeln Eine erste Anwendung (Objekt-Klassifikation auf taktilen Daten) wurde vorgestellt Reinforcement Learning zum Erlernen der idealen Kraft beim Greifen Ausblick: Entwicklung weiterer haptischer Verfahren auf Basis der Taktilen Datenbank Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 22 / 23

30 Vielen Dank für Ihre Aufmerksamkeit! Schöpfer, Heidemann, Ritter Universitäten Bielefeld und Stuttgart 23 / 23