Bildauswertung in UAV Prof. Dr. Nailja Luth Prof. N. Luth Emden 2014-1 OTH Ost-Bayerische Technische Hochschule Amberg-Weiden Prof. N. Luth Emden 2014-2 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 1
OTH Ost-Bayerische Technische Hochschule Amberg Prof. N. Luth Emden 2014-3 OTH Ost-Bayerische Technische Hochschule Amberg Prof. N. Luth Emden 2014-4 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 2
Labor Visual Computing (Prof. Luth) Lehre & Forschung & Entwicklung 1. Digitale Bildbearbeitung 2. Computer Vision, Industrielle Bildverarbeitung 3. 3D-Computergraphik 4. Visual Computing In den Studiengängen (höhere Semester): 1) Industrial Informatics 2) Mediatechnik 3) Elektro-Informationstechnik Prof. N. Luth Emden 2014-5 Labor Visual Computing (Prof. Luth) Computer Vision Visual Computing Bildbeschreibung Computergrafik Bild Prof. N. Luth Emden 2014-6 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 3
Labor Visual Computing (Prof. Luth) Bearbeitete Themen im Projekt Mikrokopter im Lab Visual Computing 1) Aufbau eines autonomen Mikrokopters 2) Untersuchungen zu Mikrokopter-geeigneten Sensoren 3) Entwicklung von Verfahren für autonomen (kollissionsfreien) Fliegen des Mikrokopters Kooperation mit Mikrokopter-Firmen und Vermessungspartnern (HS Regensburg) Prof. N. Luth Emden 2014-7 Übersicht über ausgewählte Verfahren zur automatischen Bildauswertung Computer Vision befindet sich in eine gute Situation mit einer Breiten Verfügbarkeit von verteilten Intellektuellen Resourcen, Methoden und Bilddaten. Prof. N. Luth Emden 2014-8 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 4
In den letzten 20 Jahren erlebt das Gebiet Computer Vision eine enormen SW- und HW-Entwicklung: preiswert, miniaturisiert, vernetzt, stark verbreitet, leicht bedienbar und zugänglich. Die Bild-, Open Source und Growdsourcing-Plattformen eröffnen unzählige Möglichkeiten für die verteilte, KOLLEKTIVE, KREATIVE und effiziente Weiterentwicklung von Verfahren, Anwendungen und Technologien. Prof. N. Luth Emden 2014-9 Stetig wachsendes Bildaufkommen Von1970 bis 2030: bis zu 10 21 (Umfang in Zetabereich) Neue Anforderungen an automatische Verfahren, die Bilder effizient auszuwerten Aufgrund der Miniaturisierung und wachsender Energieffizienz wächst das Spektrum kamerabasierter Applikationen Prof. N. Luth Emden 2014-10 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 5
Automatische Bildauswertung Wie kann der Inhalt eines Bildes automatisch extrahiert werden? Prof. N. Luth Emden 2014-11 Computer Vision: Bildauswertung Automatische Extraktion des Bildinhaltes simuliert den komplexen Prozess des menschlichen Sehens Das ist sehr kompliziert! Wir sehen Computer sehen Prof. N. Luth Emden 2014-12 Pixelwerte ohne Bezug zum Inhalt der Szene Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 6
Objekt Detektion und Erkennung Sukzessive Reduktion des Datenvolumens Filt Suche Extr Erken object Bild: 48*10 6 Bild: 48*10 6 ROI: 12*10 4 104 Prof. N. Luth Emden 2014-13 Projekte mit Drohne 1) Untersuchung zu Kopter-geeigneten Sensoren u.a. von Kameras und Gimbal-Eignung für Kopter 2) Bildaufnahmen für diversen Szenarien und Testmaterial 3) Entwicklung von Verfahren zur Bewegungsdetektion, Objektverfolgung 4) Untersuchungen zur Generierung von 3D-Geländemodellen 5) Entwicklung von Verfahren zur bildbasierten Landung Prof. N. Luth Emden 2014-14 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 7
Projekte mit Drohne: Kameras & Bildaufnahmen 1) Recherche und Test von geeigneten Kameras und Gimbal 2) Workflow für Bildaufnahmen für verschiedene Szenarien - Videodokumentation (BA Peter Langgärtner bis Jan. 2015) - Aufnahme von Testbildern für die Methodenentwicklung Prof. N. Luth Emden 2014-15 Projekte mit Drohne: Bewegungsdetektion Bewegungsdetektion auf Basis von 1) Kalman-Filter 2) Optischen Fluss Prof. N. Luth Emden 2014-16 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 8
Bewegungsdetektion Prädiktionsfilter dient der Beschränkung des Suchbereichs durch Schätzung der neuen Objektposition im aktuellen Bild Prof. N. Luth Emden 2014-17 Bewegungsdetektion: Kalman Filter oder Optischer Fluss Prof. N. Luth Emden 2014-18 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 9
Projekte zur Drohne 4) Untersuchungen zur Generierung von 3D-Geländemodellen Prof. N. Luth Emden 2014-19 3D-MODELLGELÄNDE AUS BILDSEQUENZEN Auf Basis von Bildsequenzen mit Überlappung wird automatisch ein 3D-Geländemodell erstellt (SW Photoscan von Agisoft) CV-Aufgaben: 1) Überlappungsverminderung 2) Extraktion von bewegten Objekten Prof. N. Luth Emden 2014-20 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 10
3D-MODELLGELÄNDE AUS BILDSEQUENZEN MIT PHOTOSCAN 1) Aufnahme von Bildsequenzen Prof. N. Luth Emden 2014-21 3D-MODELLGELÄNDE AUS BILDSEQUENZEN MIT PHOTOSCAN 2) Generierung von Punktwolken Prof. N. Luth Emden 2014-22 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 11
3D-MODELLGELÄNDE AUS BILDSEQUENZEN MIT PHOTOSCAN 3) Generierung von dichten Punktwolken Prof. N. Luth Emden 2014-23 3D-MODELLGELÄNDE AUS BILDSEQUENZEN MIT PHOTOSCAN 3) Generierung eines 3D-Gittermodells Prof. N. Luth Emden 2014-24 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 12
3D-MODELLGELÄNDE AUS BILDSEQUENZEN MIT PHOTOSCAN 3) Fertiges 3D-Modell Prof. N. Luth Emden 2014-25 3D-MODELLGELÄNDE AUS BILDSEQUENZEN MIT PHOTOSCAN Einsatz einer Kopter- Bildserie Prof. N. Luth Emden 2014-26 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 13
Einsatz von Kopter- Bildserie Prof. N. Luth Emden 2014-27 Einsatz von Kopter- Bildserie Prof. N. Luth Emden 2014-28 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 14
Einsatz von Kopter- Bildserie Prof. N. Luth Emden 2014-29 Einsatz von Kopter- Bildserie Prof. N. Luth Emden 2014-30 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 15
Einsatz von Kopter- Bildserie Prof. N. Luth Emden 2014-31 Einsatz von Kopter- Bildserie Prof. N. Luth Emden 2014-32 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 16
Einsatz von Kopter- Bildserie Prof. N. Luth Emden 2014-33 Projekte zur Drohne 5) Entwicklung von Verfahren zur bildbasierten Landung Prof. N. Luth Emden 2014-34 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 17
Automatische bildbasierte Landung Auf Basis der automatischen Erkennung einer Landeplattform werden folgende Aktionen ausgelöst: 1) Abschätzung der Flughöhe 2) Abschätzung der Kopterorientierung 3) Steuerung des Kopters Prof. N. Luth Emden 2014-35 Landeplattform-Erkennung Bildbasierte Landung eines Mikrokopters unter Einsatz eines Landeplattform-Musters (LPM). Prof. N. Luth Emden 2014-36 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 18
Aufgaben Detektion des Landeplattformmusters (LPM) im Bild (auch unvollständig) Extraktion des Landeplattformmusters (LPM) Erkennung von einzelnen Figuren und des Gesamtmusters Entfernungsschätzung der Landeplattform zur Kamera Berechnung der LPM-Drehwinkels Prof. N. Luth Emden 2014-37 Anforderungen Robustheit gegenüber Störungen und Verzerrungen Sichere Erkennung des zentralen LPM-Markers Sichere Abstandsschätzung Sichere Orientierungswinkelabschätzung Prof. N. Luth Emden 2014-38 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 19
Vorverarbeitung Prof. N. Luth Emden 2014-39 Konturen-Extraktion Canny-Kantendetektion Skelettierung Suche nach geschlossenen Konturen Polygonale Approximation von Konturen Prof. N. Luth Emden 2014-40 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 20
Extraktion relevanter Konturen Area = 0.01* min S Bild Prof. N. Luth Emden 2014-41 Figuren-Klassifikation Geometrische Merkmale Merkmal Dreieck Quadrat Sechseck Kreis Zentraler Marker Roundness k k = 0.55 ± 0.05 k = 0.78 ± 0.05 k = 0,83 ± 0.05 k > 0,8 k > 0,8 Rectangularity R 0.49< R < 0.7 R > 0.8 R = 0.74 ± 0.05 0.69 < R < 0.77 R > 0.69 Eccentricity ε 0.01 < ε < 0.03 ε 0 ε 0 ε 0 ε 0 Triangularity T 0.85<T< 1.0 T = 0,74 ± 0.05 T = 0,69 ± 0.05 0.68 < T < 0.8 0.68 < T < 0.8 Winkelanzahl n 3-6 4-5 6-7 8 8 Prof. N. Luth Emden 2014-42 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 21
Figuren-Klassifikation Prof. N. Luth Emden 2014-43 Entfernung und Winkelschätzung Entfernung = 9,8 m Winkel = - 43 Prof. N. Luth Emden 2014-44 Prof. Dr.-Ing. N. Luth: Vorlesung Bildverarbeitung & Computergrafik, Seite 22