3D-Sensoren auf PMD-Basis zur Objekterkennung und -verfolgung

Transkript

1 3D-Sensoren auf PMD-Basis zur Objekterkennung und -verfolgung Dipl.-Phys. Hartmut Eigenbrod 10 Jahre Fraunhofer-Allianz Vision Erlangen, 26. Oktober Gliederung Laufzeitkameras und ihre Vor- und Nachteile Software-Tools für Laufzeitkameras Anwendungsbeispiele Überwachung von Sicherheitsbereichen Hinderniserkennung bei mobilen Systemen Zusammenfassung und Ausblick 2 1

2 Laufzeitkameras Bildaufnahme mit Laufzeitkameras Laufzeitkameras liefern gleichzeitig Graustufen- UND Abstandsbilder: Bild: Intensität Kamerasystem mit Beleuchtung Bild: Entfernung 3 Laufzeitkameras Vor- und Nachteile der Technologie Vorteile: Hohe Bildrate (etwa 15 fps) Relativ großes Blickfeld (etwa 45 ) 3D-Information direkt aus der Kamera Kompakte Bauweise Keine Mechanik Augensicherheit Nachteile: Geringe Auflösung (160 x 120 Pixel) Messungenauigkeit (~10 cm) 4 2

3 Laufzeitkameras Messprinzip Amplitudenmoduliertes Infrarotlicht wird von der Kamera ausgesendet und an Objekten reflektiert. In der Kamera wird für jeden Pixel die Phasenverschiebung ermittelt und daraus der Objektabstand berechnet. Schnelles 2,5 D-Bild der Oberfläche mit Tiefeninformation auf jedem Pixel 5 Laufzeitkameras Kommerziell verfügbare Kameras Momentan sind 3 Klassen von Laufzeitkameras erhältlich: PMDtec 19k CSEM Swissranger SR3000 Etwa Pixel Tiefengenauigkeit 10 cm Bildrate 10 bis 20 Bilder pro Sekunde Preis pro Kamera etwa ifm O3D-Sensor Etwa 3000 Pixel Tiefengenauigkeit <10 cm Bildrate 20 bis 50 Bilder pro Sekunde Preis pro Sensor etwa 700 Programmierbarer Sensor mit Schaltausgängen PMDtec A2 Etwa 1000 Pixel 40 W IR-Lichtquelle 50 Bilder pro Sekunde Preis pro Kamera etwa Speziell für Automotive 6 3

4 Software-Tools Bildaufnahme mit Laufzeitkameras Laufzeitkameras eröffnen neue Einsatzmöglichkeiten: Mobile Systeme Sicherheitstechnik Robotik und Automatisierung Laufzeitkameras erfordern neue Algorithmik für optimale Bilder: Kalibrierung Filter Robustere Algorithmen Entwicklung von Software-Tools speziell für Laufzeitkameras: Intensitätsabhängige Kamerakalibrierung Amplitudenfilter Referenzszenenvergleich Sicherheitsraumüberwachung Ebenendetektion Objekterkennung 7 Software-Tools Kamerakalibrierung Zu den wesentlichen Messfehlern bei Laufzeitkameras gehören: Intensitätsabhängigkeit der Tiefenmessung Umgebungslicht Sehr geringer Dynamikbereich Bewegungsartefakte Temperaturdrift Rauschen Ebenes Schachbrett im Tiefenbild 8 4

5 Software-Tools Intensitätsabhängige Entfernungskalibrierung Grundprinzip: Kalibrierung der Entfernungsmessung für jeden Pixel Reduzierung des Einflusses von Intensität, Fremdlicht und Temperatur Software-Tool des Fraunhofer IPA: Zwei-Ebenen-Kalibrierung Verwendung mehrerer Integrationszeiten (50 bis 100 verschiedene) Mittlung des Tiefenbildes zur Erreichung konstanter Intensität Affine Korrekturfunktion für jedes Pixel (Echtzeitkorrektur möglich) Minimierung des Rausches bei guter Erhaltung der Bilddaten Geringer Dynamikbereich erfordert Fusion mehrerer Aufnahmen 9 Software-Tools Ergebnis der Kalibrierung Ausgangsdaten für eine Ebene: Ergebnis nach Kalibrierung : Abstandsbild Intensität Die Ebene ist wieder eine Ebene 10 5

6 Anwendungen Beispiele aus der Praxis Überwachung von Sicherheitsbereichen: Überwachen eines Raumes gegen unbefugtes Eindringen Objektverfolgung Möglichkeit des sensitiven Schaltens Zwei Ansätze: Referenzszenenhinterlegung & dynamische Sicherheitsbereiche Hinderniserkennung bei mobilen Systemen: Unterscheidung zwischen Hindernissen und Bodenmarkierungen Objekterkennung 11 Anwendungen Überwachung von Sicherheitsbereichen Überwachung von Sicherheitsbereichen Laufzeitkameras eignen sich sehr gut für das einfache Verfahren der Referenzszenenhinterlegung: Aufnahme einer Szenerie Anschließend Detektion von Veränderungen Unabhängig von Umgebungslicht Größe eindringender Objekte kann geschätzt werden 12 6

7 Anwendungen Überwachung von Sicherheitsbereichen Hinterlegung von Referenzszenen Einteilung in Zonen bietet die Möglichkeit, sensitiv zu schalten: Denkbare Zoneneinteilung: Rot Gefahr! Gelb Achtung Blau ohne Bedeutung (Objekt wird unterdrückt) 13 Anwendungen Überwachung von Sicherheitsbereichen Dynamische Überwachung Festlegung von dynamischen Sicherheitsbereichen um Objekte: Echte 3D-Überwachung (bis auf Abschattungen) möglich Zunächst noch an Robotersteuerung gekoppelt Ziel: Selbständiges Erkennen des zu überwachenden Objekts (Film) 14 7

8 Anwendungen Hinderniserkennung Hindernisdetektion bei mobilen Systemen Die dreidimensionale Umgebungserfassung der Laufzeitkameras bietet zahlreiche Vorteile gegenüber 2D-Bildverarbeitung oder Laserscannern bei der Erkennung schwieriger Objekte: Regalböden Halbgeöffnete Rolltore Kranhaken Rampen oder Vertiefungen im Boden Einsatz von Laufzeitkameras auch für mobile Systeme 15 Anwendungen Hinderniserkennung Unterscheidung Boden vs. Hindernis Laufzeitkameras erfassen auch den Boden vor dem Fahrzeug: Boden muss von Hindernissen unterschieden werden Ist Boden vor dem Fahrzeug vorhanden? 16 8

9 Anwendungen Hinderniserkennung Ablauf der Hinderniserkennung Ablauf der Hinderniserkennung nach Aufnahme des Laufzeitbildes: Einpassung der Bodenebene in die Messdaten Plausibilitätscheck Segmentierung der Hindernisse Projektion der Hindernisse in die Bodenebene 2D-Karte 17 Anwendungen Hinderniserkennung Ergebnisse aus der Praxis Erkennung von Hindernissen vor einem Gabelstapler 2D-Ansicht (Standard-Kamera) Zwischenergebnis der Segmentierung 18 9

10 SmartVision Technische Anwendungen Die Untersuchung von Laufzeitkameras und ihrer möglichen Einsatzmöglichkeiten erfolgt im Rahmen des Forschungsprojekts SmartVision, gefördert im InnoNet- Programm des Bundesministeriums für Wirtschaft und Technologie. Evaluation der Einsatzmöglichkeiten: Automatisierung Mobile Systeme Sicherheitssysteme 19 Zusammenfassung und Ausblick Zukünftige Entwicklungen Hardware-Entwicklung: Physikalische Grenzen mit aktuellem Design nahezu erreicht Vision der Kamera-Hersteller: entweder Verdopplung der Bildauflösung (neues Chipdesign 0,18μm) oder Verdopplung der Genauigkeit (bisheriges Chipdesign 0,6 μm) Genauigkeit von Laserscanner und Stereoverfahren wird nicht erreicht Weiterentwicklung der Kalibrierungsmethoden notwendig Verbesserung der aktiven Beleuchtung für Außenaufnahmen notwendig 20 10