Echtzeitfähige Algorithmen für markerloses Tracking und Umfelderkennung , Dr.-Ing. Steffen Herbort, A.R.T. GmbH

Größe: px

Ab Seite anzeigen:

Download "Echtzeitfähige Algorithmen für markerloses Tracking und Umfelderkennung , Dr.-Ing. Steffen Herbort, A.R.T. GmbH"

Kirsten Beyer
vor 6 Jahren
Abrufe

1 Echtzeitfähige Algorithmen für markerloses Tracking und Umfelderkennung ,

TP 2: Arbeiten von A.R.T. TP2: Tracking und

2 TP 2: Arbeiten von A.R.T. TP2: Tracking und Umfelderkennung Markerloses Tracking texturierte Objekte Umfelderkennung homogene Objekte Lokalisation über Kamerabilder ( Verpose ) Erkennung des Arbeitspunktes Kamera Schrauber mit Kamera PC mit Verpose-Software Output

3 Markerloses outside-in Tracking Aufbau Controller Kamera Controller Feature-Tracking Kanten-Tracking Controller Ablauf 2D-Merkmale extrahieren, auswählen, verfolgen 3D-Korrespondenzen berechnen 6D-Objekt in Punktewolke finden, Pose berechnen intel i5-4570s (4x2,9GHz) intel i7-5930k (6x3,9GHz) Datenmenge: ca. 0,25 Gigabyte pro Sekunde (8 30Hz und 1MP Auflösung)

Kamerabild Vergrößerung Featurepunkte Erkennung: FAST -Algorithmus [Rosten und Drummond, 2006]

4 Markerloses Tracking mit Feature-Punkten Features für 6D Tracking: Bild-Punkte (2D), die in aufeinander folgenden Frames erkannt und trotz Objektbewegungen zugeordnet werden können. Kamerabild Vergrößerung Featurepunkte Erkennung: FAST -Algorithmus [Rosten und Drummond, 2006] Zuordnung: Berechnung einer Signatur ( FREAK-Deskriptor ) für jeden Punkt [Alahi et al., 2012] Zeitliche Verfolgung der Features: Track 2D

5 Markerloses Tracking mit Feature-Punkten 2D Tracking Neu entwickelter Ansatz zum 2D-Tracking (ca. 2ms/Frame)

2D-Featurepunkten Nutzung von Deskriptoren und

6 Markerloses Tracking mit Feature-Punkten Bildung von 3D-Korrespondenzen von zusammengehörenden 2D-Featurepunkten Nutzung von Deskriptoren und geometrische Nebenbedingungen Erzeugt 3D-Punktewolke 3D-Punkt z y x Kamera 1 Kamera 2

7 Markerloses Tracking mit Feature-Punkten Bestimmung der 6D-Initialpose ( Fangen des Targets ) Teaching: 3D Szene (Punktewolke) z y x Objekt-Modell 3D-Feature Positionen 2D/3D-Deskriptoren

8 Markerloses Tracking mit Feature-Punkten markerloses 6D-Tracking: Genauigkeit: ca. +/- 2mm, Echtzeit-Tracking bei 30Hz mit 4 Kameras möglich

9 Markerloses Tracking mit Objektkanten Schwach / nicht texturierte Objekte: Tracking von Kanten anstatt Feature-Punkten Kamerabild Kantenbild Unterschiede zu Features Kanten sind nur in einer Richtung lokalisierbar Kaum Deskriptor-Informationen verfügbar

Markerloses Tracking mit Objektkanten z y Erster Schritt für das 6D-Tracking:

Templatebasiertes 2D-Verfahren Suche nach übereinstimmenden Bildkanten Für

10 Markerloses Tracking mit Objektkanten z y Erster Schritt für das 6D-Tracking: Initialpose muss gefunden werden Deskriptoren wie beim Feature-Tracking nicht verfügbar Kein Hinweis auf Zuordnung!? Kantenmodell Kamerabild gefangene Pose Ansatz zum Fangen der Pose: Linemod Templatebasiertes 2D-Verfahren Suche nach übereinstimmenden Bildkanten Für Multikamera-Posenschätzung erweitert Linemod: Hinterstoisser et al., 2012, Gradient Response Maps for Real-Time Detection of Texture-Less Objects x

11 Markerloses Tracking mit Objektkanten 6D-Linemod:

Kanten sind nur in einer Richtung lokalisierbar Frame N+1 Suche senkrecht zu den Edgelets nach

12 Markerloses Tracking mit Objektkanten Pose und Edgeletpositionen im Bild sind bekannt Frame N Edgelets liegen auf den Kanten Objekt bewegt sich nach oben Edgelets nicht mehr auf den Kanten Kanten sind nur in einer Richtung lokalisierbar Frame N+1 Suche senkrecht zu den Edgelets nach neuen Kanten Anpassung der Pose über Ausgleichsrechnung in 2D über alle Kameras Edgelets auf den Kanten

13 Markerloses Tracking mit Objektkanten markerloses 6D-Tracking: Genauigkeit: ca. +/- 2mm, Echtzeit-Tracking mit 30Hz in bis zu 8 Kameras möglich

14 Jetzt: Umfelderkennung Problemstellung: Aktuelle Schraubposition bei Fließfertigung nicht bekannt Wichtig zur automatisierten Qualitätskontrolle Bei Outside-In Tracking: Line-of-sight problem Daher: Kamera am Werkzeug

15 Verify Pose ( Verpose ) 1 Kamerabasierte Ermittlung von Schraubpositionen Ziel: Vier Schraubpunkte sicher erkennen Nicht-Schraubpunkt ( Garbage ) sicher erkennen

16 Verpose: Lösungsansatz Herausforderungen: Verwechselbarkeit, variierende Umgebung (Lackfarbe, Lage der Kabel) Lösung Systematische, statistische Analyse der Umgebung Machine-Learning zur automatischen Identifikation relevanter Bildinformationen Verschiedene Ansätze verfügbar (Neuronale Netze, Bag-of-Words, Random Forests,...)

17 Verpose: Lösungsansatz mit Convolutional Neural Networks Convolutional Neural Network (CNN, dt. faltendes neuronales Netzwerk ) Aufbau: Feature map Feature vector Feature vector Klassifizierung Wahrsch. [%] Feature map Input 1 4 x 60 x x x 120 x 120 Gewichtung & Kompression Merkmals-Extraktion Faltung: Klassifikation Löcher werden betont Filter Bild Ergebnis 2 3 Schraubpunkt 4

x 60 x 60 241 x 241 128 4 Fehler zwischen Vorhersage & Daten 4 x 120 x 120 Back propagation Lernen der Filter:

18 Convolutional Neural Networks (CNNs) Lernen der Filter und Gewichte erfordert annotierte Daten ( supervised learning ) 4 Feature map Feature vector Feature vector Klassifizierung Vorhersage Wahrheit 1 4 x 60 x x Fehler zwischen Vorhersage & Daten 4 x 120 x 120 Back propagation Lernen der Filter: Layer 2 Layer 1 Initialisierung nachher Initialisierung Schraubpunkt nachher Wahrscheinlichkeit Feature map Input

CNN Training Erfordert eine große Anzahl von Trainingsdaten (Ideal: > 10 Samples / Parameter) Trainingskarosserie 1857 Bilder 1 Karosserie 1 Lackfarbe Bandkarosserien 13438 Bilder 10 Karosserien

19 CNN Training Erfordert eine große Anzahl von Trainingsdaten (Ideal: > 10 Samples / Parameter) Trainingskarosserie 1857 Bilder 1 Karosserie 1 Lackfarbe Bandkarosserien Bilder 10 Karosserien Mehrere Lackfarben Garbage 697 Bilder 1 Karosserie nicht-schraubpunkte Evaluation erfolgt über ein vom Training unabhängiges Testset Bandkarosserien 1210 Bilder 300 Karosserien verschiedene Lackfarben Forschungsaufgaben Netzkonfiguration komplex Framework für weitreichende Tests entwickelt Overfitting Generierung automatischer Bildvariationen Garbage-Erkennung nicht durch Klasse 0 möglich Gatekeeper über Autoencoder entwickelt Steigerung der Robustheit Kombination mehrerer (starker) Klassifikatoren

20 Ergebnis Verpose: Erkennung Schraubpunkte: >98% / Erkennung Garbage: > 98%

21 Ergebnis Verpose: Erkennung Schraubpunkte: >98% / Erkennung Garbage: > 98%

22 Vielen Dank! Demos am Stand von ART!

Ähnliche Dokumente

Neue Ansätze für Mustererkennung und automatisches Lernen

Z Y X Neue Ansätze für Mustererkennung und automatisches Lernen Vortrag im Rahmen des 2. Technologieforums Bildverarbeitung am 03./04. November 2015 Johannes Zügner STEMMER IMAGING GmbH, Puchheim GLIEDERUNG