Dynamic Robot Architecture for Robust Realtime Computer Vision

Größe: px

Ab Seite anzeigen:

Download "Dynamic Robot Architecture for Robust Realtime Computer Vision"

Günter Linden
vor 6 Jahren
Abrufe

Research Collection Doctoral Thesis Dynamic Robot Architecture for Robust Realtime Computer Vision Author(s): Meier, Lorenz Publication Date: 2017 Permanent Link: https://doi.org/10.

1 Research Collection Doctoral Thesis Dynamic Robot Architecture for Robust Realtime Computer Vision Author(s): Meier, Lorenz Publication Date: 2017 Permanent Link: Rights / License: In Copyright - Non-Commercial Use Permitted This page was generated automatically upon download from the ETH Zurich Research Collection. For more information please consult the Terms of use. ETH Library

2 DISS. ETH NO Dynamic Robot Architecture for Robust Realtime Computer Vision A thesis submitted to attain the degree of DOCTOR OF SCIENCES of ETH Zürich (Dr. sc. ETH Zürich) presented by Lorenz Meier MSc ETH in Computer Science ETH Zürich citizen of Germany accepted on the recommendation of Prof. Marc Pollefeys Prof. Roland Siegwart Prof. Davide Scaramuzza 2017

3 Abstract This dissertation presents a novel and complete system architecture for dynamic systems using onboard computer vision. The architecture is derived from port-based automata in a sound theoretical framework and implemented in Linux and real-time operating systems. It improved over the existing state of the art by combining real-time robot control and high-performance computer vision in one architecture. The software framework supports deeply embedded devices like digital signal processors and central processing units. The communication architecture scales from basic sensor data to full camera frames. It networks low-level and high-level processors in a hybrid system and allows to run port-based objects on either core concurrently and communicating through a publish-subscribe framework. The dissertation leverages this base architecture to develop fundamental design patterns for robust realtime computer vision on resource constrained flying systems. A major unsolved challenge for obstacle detection for micro air vehicles are power-lines and other types of suspended wires. As the dynamics of a micro air vehicle are undamped, any loss of position tracking in the vision pipeline can lead to a catastrophic failure. We account for this with a tightly integrated software-hardware design for robot localization. Robust vision is equally important for obstacle avoidance. We contribute a failure prediction and fusion algorithm for stereo which enables the fusion of two stereo pairs. This contribution allows to reliably detect power-lines, which are invisible to traditional stereo setups. The dissertation contributes overall a holistic system architecture for real-time and robust computer-vision and control. iii

4 Zusammenfassung Diese Dissertation stellt eine neue und umfassende Systemarchitektur für Dynamic Systems mit onboard Bildverarbeitung vor. Die Architektur basiert auf einem von port based automata hergeleitetem theoretischen Modell und wurde in Linux und einem Echtzeit-Betriebssystem implementiert. Die Kombination von Echtzeit Regelung von Robotern mit hochleistungs Bildverarbeitung in einer einzigen Architektur war eine deutliche Verbesserung des bisherigen Stand der Technik. Die Systemarchitektur unterstützt tief in Hardware integrierte Systeme wie Digital Signal Verarbeitungs Prozessoren und Zentralprozessoren und skaliert damit von einfachen Sensordaten bis bin zu kompletten Kamerabildern. Sie verbindet Microcontroller und Prozessoren in einem hybriden System und erlaubt es, port basierte Objekte auf beiden Kernen gleichzeitig auszuführen und sie dabei durch ein publish-subscribe Framework kommunizieren zu lassen. Die Dissertation nutzt diese Basis-Architektur, um grundsätzliche design patterns für die robuste Bildverarbeitung auf fliegenden Systemen mit beschränkter Leistung zu entwickeln. Eines der grossen ungelösten Probleme bei der Hindernis- Erkennung auf Micro Air Vehicles (MAV) ist die Erkennung von Stromleitungen und anderer Arten von Hindernissen. Durch die Dynamik und Beweglichkeit eines MAV kann jeder Verlust der Positonsschätzung zu einem katastrophalen Versagen führen. Die Arbeit wird diesen Anforderungen mit einem stark integrierten Software-Hardware Design zur Positions-Schätzung von Robotern gerecht. Die robuste Bildverarbeitung ist auch für das Ausweichen von Hindernissen wichtig. Diese Arbeit entwickelt einen Algorithv

5 mus, der systematische Fehler bei der Berechnung von Stereo Tiefenbildern vorhersagt und die entstehenden Fehler mithilfe eines zweiten Kamerapaars behebt. Dies ermöglicht es, Stromleitungen zuverlässig zu erkennen, die sonst für traditionelle Stereo Algorithmen unsichtbar bleiben. Diese Dissertation trägt insgesamt eine ganzheitliche Systemarchitektur für Echtzeit Bildverarbeitung und robuste Regelung bei. vi

Ähnliche Dokumente

Efficient Design Space Exploration for Embedded Systems

Diss. ETH No. 16589 Efficient Design Space Exploration for Embedded Systems A dissertation submitted to the SWISS FEDERAL INSTITUTE OF TECHNOLOGY ZURICH for the degree of Doctor of Sciences presented by