ERKENNUNG UND MANIPULATION VON OBJEKTEN IM EINZELHANDEL UND LOGISTIK Joshua Hampp, Fraunhofer IPA, Stuttgart joshua.hampp@ipa.fraunhofer.de
Einleitung Care-O-bot: Eine Produktvision eines mobilen Serviceroboters zur Unterstützung bei der täglichen Haushaltsarbeit www.care-o-bot.de
Einleitung Warenhäuser und Logistikzentren: Kiva: Lagerroboter Swisslog: gestapelte Behälter mit fahrerlosem Transportsystem Jedoch manuelle Kommisionierung Magazino: Einzelkommisionierung Einzelhandel: Simbe Tally: Bestandsprüfung von Warenregalen image courtesy: Kiva Systems, Swisslog, Magazino, Simbe Robotics
Einleitung Greifen von Objekten Roboter zur Zielposition fahren (optional) Objekterkennung und -lokalisierung Greifplannung Plannung der Armbewegung und kollisionsfreie Ausführung (online Hinderniserkennung) speed x5 Objekterkennung und lokalisierung (visuell) Bilderfassung (Farbbild, Stereobild, 3D Sensoren, etc.) Detektion (Welche Objekte sind sichtbar?) Lokalisierung jedes erkannten Objektes = Bestimmung der 3D Pose in Relation zum Sensor (und damit zum Roboter)
Übersicht der Verfahren zur Objekterkennung Verschiedene Arten von Eingangsdaten und Sensoren 2D Bilder Graustufen Farbe Multispektral 3D Punktewolken Stereo Vision (mit Farbdaten, rechenintensiv, fehlende Tiefendaten auf texturlosen Flächen, outdoor tauglich) Strukturiertes Licht durch monokular oder stereo System (Farbdaten durch zusätzl. Kamera, z. T. rechenintensiv, Tiefendaten auf texturlosen Flächen, i. d. R. nur indoor) time-of-flight Sensoren (Farbdaten durch zusätzl. Kamera, recheneffizient, Tiefendaten auf texturlosen Flächen, auch outdoor möglich)
Übersicht der Verfahren zur Objekterkennung Mögliche Objekte: Untexturierte vs. texturierte Feste vs. gelenkige vs. flexible
Objekterkennung des IPA Übersicht Roboter können zuvor eingelernte Objekte erkennen Einlernphase Erkennungsphase Datenaufnahme Objektmodellierung und - training Objekt erkennen Roboter rotiert das Objekt in seinem Greifer und nimmt verschiedene Ansichten auf Roboter extrahiert Merkmalspunte und die 3D Struktur des Objektes Roboter erkennt das Objekt in einer unbekannten Szene
Objekterkennung des IPA Übersicht Datenaufnahme Sensorfusion: Stereokamera + time-of-flight Sensor erzeugen eine dichtes und genaues Tiefenbild Linkes Farbbild (1368x1038) Rechtes Farbbild (1368x1038) Sensorkopf des Care-O-bot 3 ToF-Bild (200x200 ToF, 640x480 Kinect) Disparität der Stereokamera Disparität beider Kamerasystemen
Objekterkennung des IPA Übersicht Datenaufnahme Datenaufnahme von Objektbildern aus verschiedenen Ansichten durch Rotation im Robotergreifer
Objekterkennung des IPA Objektmodellierung Roboter extrahiert Merkmalspunkte (z. B. SURF oder skaleninvariante ORB + Farbhistogramm) und 3D Struktur des Objekts für alle Perspektiven Überführung der Einzelansichten in konsistentes 3D-Gesamtmodell Registrierung der Ansichten in ein gemeinsames Koordinatensystem durch Nutzung von Odometrie des Greifers und Zuordnung der Merkmale über mehrere Ansichten ( sparse bundle adjustment )
Objekterkennung des IPA Übersicht Objektmodellierung Registrierung der Ansichten Merkmalsmodel Objektmodel
Objekterkennung des IPA Übersicht Erkennung
Objekterkennung des IPA Übersicht Beispiel Lokalisierung von unsortierten Objekten
Objektklassifizierung Klassifzierung anhand der Form durch Regressionsanalyse der 3D Oberfläche Klassifizierung von unbekannten Objekten Grundlage zur Interaktion mit der Umwelt
Anwendung im Einzelhandel Hoher Preisdruck Herausforderung: automatisierte Palettierung, Kommissionierung und Handhabung 3D Objekterkennung und - manipulation von >10.000 Waren aussichtsreiches Anwendungsfeld: Swisslog, Amazon/Kiva, Magazino, Simbe Robotics, DHL, Fetch Robotics image courtesy: Kiva Systems, Swisslog, Magazino, Simbe Robotics
Anwendung im Einzelhandel image courtesy: Amazon Lessons from the Amazon Picking Challenge, N. Correll, K. Bekris, D. Berenson, O. Brock, A. Causo, K. Hauser, K. Okada, A. Rodriguez, J. Romano and P. Wurman, 2016.
Anwendung im Einzelhandel Anforderungen an die Objekterkennung: Große Anzahl an Artikeln nach allen suchen? Abdeckung der kompletten Produktpalette oder Entlastung durch 80%-Lösung z. B. durch Mensch-Maschine-Kooperation bei Kommisionierung Nutzung von Vorwissen (vorgegebene Strukturen, Regale, bekannte Lagerplätze von best. Objekten, Entfernung des Hintergrunds, ) Sensorbefestigung (am Arm, Torso, Kopf) Anforderungen an die Objektmodellierung: Häufiger Produkt- und Verpackungswechsel Einlernen vieler Objekte Automatisierte Aufnahmestationen Lernen von Produktbildern Zentralisierte Modeldatenbank (z. B. Cloud )
Anwendung im Einzelhandel Objekterkennungssystem des IPA: Anwendungen bei der Inventur im Einzelhandel (und zukünftig in der Reinigung) Prüfen von falsch platzierten Waren, leeren Kartons und freien Regalen
Anwendung im Einzelhandel Objekterkennungssystem des IPA: Anwendungen bei der Inventur im Einzelhandel (und zukünftig in der Reinigung) Prüfen von falsch platzierten Waren, leeren Kartons und freien Regalen
Anwendung im Einzelhandel
Fazit Unterschiedliche Ansätze der Objekterkennung, je nach Anwendungsfall Neben der Erkennung sind weitere Maßnahmen für die Praxistauglichkeit notwendig Kombination verschiedener Technologien notwendig Anwendungspotenzial im Einzelhandel und Logistik speed x5 joshua.hampp@ipa.fraunhofer.de