Visuelle Vorwärtsmodelle für einen Roboter-Kamera- Kopf

Transkript

1 Visuelle Vorwärtsmodelle für einen Roboter-Kamera- Kopf Diplomvortrag Diplomand Silvio Große

2 Inhalt Einleitung Ziele Projektbeschreibung Theoretischer Hintergrund Vorwärtsmodelle adaptive Architektur: hier Multi Layer Perceptron LogPolar Mapping Praktischer Hintergrund Architektur Flussdiagramme Klassenübersicht Forschungsideen, weiterführende Ansätze

3 Einleitung Ziele: näherungsweise Erlernen Konstruktion technische Nachbildung potentieller Teilbereiche des menschlichen visuellen Systems von Vorwärtsmodellen für visuelle Sensordaten einer adaptiven Architektur zum Erlernen der Vorwärtsmodelle

4 Einleitung Projektbeschreibung: Motto was wäre wenn : Verschiebung der Sichtachse in X und/oder Y-Richtung

5 Einleitung Projektbeschreibung: Motto was wäre wenn : Verschiebung der Sichtachse in X und/oder Y-Richtung technisch gesehen + +

6 Theorie interne Modelle: kognitionspsychologische Relevant Wenn Vorstellung, dass erlernte Bewegungen als motorische Programme gespeichert werden können ist, dass die motorischen Kommandos vor Versendung feststehen müssen (Keele, 1968) eine reaktive Bewegung begonnen hat, wird sie durchgeführt ohne Rückmeldung über den Verlauf Belegt durch Test mit Menschen und Affen (Kelso, 1977; Kelso, Holt & Flatt, 1980; Lashley, 1971; Provins, 1958; Taub, 1976; Taub & Berman, 1968) Miall/Wolpert: Forward Models for Physiological Motor Control (1996) Karniel: Three creatures named forward model (2002) Blakemore/Wolpert/Frith: Why can't you tickle yourself?

7 Theorie interne Modelle: Inverse transformieren Modelle: gewünschte Bewegungsziele in erforderliche Efferenzen (Bewegungsinformationen) Vorwärtsmodelle transformieren dienen können efferente Kommandos in zu erwartende sensorische Konsequenzen der Prädiktion (Vorhersage) des Bewegungsverlaufs. dazu benutzt werden, inverse Modelle zu entwickeln

8 Theorie Vorwärtsmodelle: Allgemein: In Was wäre wenn der Robotik : Sensorische Veränderung vorhersagen Positionsänderung der Kamera Positionsänderung des Roboters Positionsänderung des Zielobjektes Vorhersage der resultierenden Handlungs-Konsequenzen Situation t(0) Motor-Kommando Motorkommando Situation t(0) inverses Modell Motorsystem Situation t(1) Vorwärtsmodell Schätzung neue Situation Vorwärtsmodell inverses Modell

9 Theorie - Neuronale Netze Modellierung & Simulation biologischer neuron. Netze Funktionsapproximation Speicherung von Informationen Anwendungen (z.b.): Interpretation von Sensordaten Prozeßsteuerung Schrifterkennung Risikomanagement Robotersteuerung

10 Theorie - Neuronale Netze Elemente einen neuronalen Netzes Menge von Neuronen (elementare Prozessoren) Verbindungen zwischen den Neuronen im Netz (Synapsen) Gewichte der Verbindungen Propagierungsregel für das Weiterleiten des Inputs Aktivierungs-Zustände der Neuronen Output-Funktionen und Schwellwerte der Neuronen Aktivierungsregel ( Verknüpfung Input/Output ) Lernregel Umgebung, in der das lernende System arbeiten soll

11 Theorie - Neuronale Netze Biologische Grundlage Neuron Axon (Verbindungsstrecken) Synapse

12 Theorie - Neuronale Netze Umsetzung in der Informatik Input / Eingangsschicht / Gewichtung / Aktivierung / Outputfunktion / Output x1 x2 x3 W1 W2 W3 Aktivierung Output- Funktion xn Wn

13 Theorie - Neuronale Netze - MLP Multi Das Layer Perceptron Perceptron (Rosenblatt, 1958) besteht aus zwei Neuronengruppen, die eine empfängt Eingabesignale (Stimuli), und die andere berechnet daraus eine Ausgabe. Das Multi Layer Perceptron erweitert die Arbeitsweise des Perceptrons um mehrere Zwischenschichten, die ebenfalls gewichtet Signale verarbeiten und weitergeben. Perceptron Multi Layer Perceptron

14 Theorie - Neuronale Netze - MLP Multi Layer Perceptron Anzahl der Neuronen in Eingabe- und Ausgabeschicht - N bzw. M Die Stärke des ausgesendeten Signals oder Aktivität wird mit bezeichnet bzw. O i Verbindung vom j-ten Eingabeneuron zum i-ten Ausgabeneuron hat Stärke J ij. Die gewichtete Summe der Eingabesignale ergibt sich als für das betreffende Ausgabeneuron als Der Ausgabewert eines Neurons wird aus dieser Summe durch die Anwendung einer Funktion g bestimmt:

15 Theorie - Neuronale Netze - MLP Multi Layer Perceptron Lerne aus Fehlern - Backpropagation Fehlerminimierung: D = Menge der Trainingsbeispiele t = korrekter Output für d aus D o = berechneter Output für d aus D

16 Theorie LogPolar Mapping Der Mensch Sichtachse + 7 Grad scharf, hochauflösend Nach außen hin nimmt Auflösung ab Am äußeren Rand nur noch Grautöne

17 Theorie LogPolar Mapping Warum? Näherungsmodell der visuellen Verarbeitung in der Retina bzgl. Informationsdichte Datenreduktion Vermeidung Konzentration von Reizüberflutung auf das Wesentliche

18 Theorie LogPolar Mapping Umrechnung Punkte der kartesischen Koordinaten in Log-Polar-Koordinaten im bezug zum Mittelpunkt in Betrag und Phasenwinkel darstellen:

19 Theorie LogPolar Mapping Log-Polar-Transformation Rück-Transformation

20 Theorie LogPolar Mapping Wahl des inneren/äußeren Radius Erstellung eines Log-Polar-Bildes Koordinatenindizee Abtastrate und Log-Polar-Zentrums

21 Theorie LogPolar Mapping Zentrum LPM

22 Pratischer Hintergrund Klassenübersicht Abstract class FWM Bereich Netzwerk Bindeglied class FWM_MLP class FWM_NGPCA class Image Bereich Bildverarbeitung class ImageEditing class Mapping class LogPolarMapping

23 Praktischer Hintergrund Architektur Image Virt. Class FWM Class Image 4 LPM erbt ImageEditing Class mapping erzeugt erzeugt erzeugt Class ImageEditing Pattern Class FWM NGPCA Class FWM MLP nwvec erzeugt Class BasicNetwork Pattern Class MLP erzeugt MLP Patternset NGPCA Class NGPCA

24 Pratischer Hintergrund Fluss allgem. Bild 1 Motorkom mando (Bild 1 -> Bild 2) Bild 2 Bild n LogPolar Mapping LogPolar Center Mapping Pattern 1 Pattern n Patternset Visuelles MLP

25 Pratischer Hintergrund Zustände trainset erstellen Training Init Params S A B1 C1 Training testset erstellen testset erstellen testsingle möglich B2 testset evaluieren Training C2 Training testset evaluieren S A B1 B2 C1 C2 = Startzustand = Parameter initialisiert = trainset erstellt = testset erstellt = Netz trainiert = testset erstellt / Netz trainiert

26 Aussichten / Forschungsideen Welche neuronale Netzwerkstruktur ist am besten geeignet für solch ein visuelles Netzwerk verschiedene Netztopologien NGPCA Welche Vorverarbeitungsschritte wären sinnvoll technische Bildverbesserung: Nutzung Opening/Closing (schärft Ränder und schließt Lücken) Binärbilder (Schwellwert + Opening / Closing) zur Visuelle, Entwicklung von inversen Modellen lokale Navigation (mobile Roboter, Tisch-Roboter) Objektverfolgung