3D-Rekonstruktion von Kanalschächten aus Videosequenzen

Transkript

1 3D-Rekonstruktion von Kanalschächten aus Videosequenzen Dipl. Inf. Sandro Esquivel Prof. Dr.-Ing. Reinhard Koch Arbeitsgruppe Multimediale Informationsverarbeitung Christian-Albrechts-Universität Kiel Heino Rehse IBAK Helmut Hunger GmbH & Co. KG, Kiel

2 Gliederung Einleitung und Problemstellung Verfahren zur Schachtrekonstruktion Modifiziertes Structure from Motion Globale Korrektur der Rekonstruktion Schachtprofilvermessung und Modellerzeugung Tests und Auswertungen Zusammenfassung 2

3 Schachtinspektion IBAK Panoramo SI Schachtinspektion mit Kamerasystem IBAK Panoramo SI Manuelle Auswertung der Bildsequenzen durch Experten 3

4 Aufnahme der Bildsequenzen Kabel Herablassen der Fisheye-Kamera am Kabel (3 cm / sec) Schachteinstieg Schacht Aufnahme mit Blitzlicht alle cm Kabelführungslänge Kamera mit Inertialsensor Horizontalprofile Fisheye-Kamerabildsequenz Schachtboden 4

5 Automatische Schachtrekonstruktion Unsere Ziele: Automatische Schachtvermessung Bestimmen der Kameraposen 80 cm Unser Verfahren:. Modifiziertes Structure from Motion 2. Globale Korrektur der Rekonstruktion 3. Vermessen der Schachtquerschnitte

6 Probleme und Anforderungen Schlechte Sichtverhältnisse, Reflektionen Starke Verzerrung, große Verschiebung, kurze Sichtbarkeit von Punkten Echtzeitanforderungen: 3 cm / sec Geschwindigkeit 7 Hz 6

7 Verfahren zur Schachtrekonstruktion Einleitung und Problemstellung Verfahren zur Schachtrekonstruktion Modifiziertes Structure from Motion Globale Korrektur der Rekonstruktion Schachtprofilvermessung und Modellerzeugung Tests und Auswertungen Zusammenfassung 7

8 Ablauf des Verfahrens Kamerabild Rotationssensordaten Bildvorverarbeitung Rotationskompensation Zylinderabwicklung Detektieren und Verfolgen von Merkmalspunkten KLT-Tracker 2 Structure from Motion Kameraposen und 3D-Struktur berechnen 3 Globale Korrektur Kamerapfad und 3DStruktur korrigieren Kameraposen Geometrieschätzung Profile klassifizieren 3D-Modell erzeugen Profilmessungen 4 8 3D-Punkte 3D-Modell

9 3. Structure from Motion Initialisierungsphase x0 x C0 2D-2DKorrespondenz C 9

10 3. Structure from Motion Initialisierungsphase x0 X x C0 2D-2DKorrespondenz C 0

11 3. Structure from Motion Initialisierungsphase x0 X x C0 2D-2DKorrespondenz C Kameraabstand = cm

12 3. Structure from Motion Trackingphase X 2D-3DKorrespondenz x2 x0 x C0 2D-2DKorrespondenz 2D-2DKorrespondenz C 2 C2

13 . Vorverarbeitung Rotationskompensation Rotationssensordaten 4 Fisheye-Kamerabild Rotationskompensiertes Bild Hauptpunkt 3

14 . Vorverarbeitung Zylinderabwicklung Zylinderbild, rotationskompensiert Fisheye-Kamerabild 3 4 Hauptpunkt 4

15 2. Erzeugen von Punktkorrespondenzen Initialisierung: Detektiere Merkmalspunkte Korrespondenzsuche entlang gesamter Bildzeile 2 Suchfenster 3 4 Bild 0 Merkmale Bild

16 2. Erzeugen von Punktkorrespondenzen Initialisierung: Detektiere Merkmalspunkte Korrespondenzsuche entlang gesamter Bildzeile Erzeuge zeilenabhängige Verschiebungsfunktion Suchfenster 2 Bildzeile [pel] 3 4 Bild 0 Merkmale Bild 6 Verschiebung [pel]

17 2. Erzeugen von Punktkorrespondenzen Tracking: Prädiziere neue Position mit Verschiebungsfunktion Kleineres Suchfenster an Zielposition 2 Suchfenster Bildzeile [pel] 3 4 Bild k Bild k+ 7 Verschiebung [pel]

18 2. Erzeugen von Punktkorrespondenzen Tracking: Prädiziere neue Position mit Verschiebungsfunktion Kleineres Suchfenster an Zielposition Aktualisiere Verschiebungsfunktion 2 Suchfenster Bildzeile [pel] 3 4 Bild k Bild k+ 8 Verschiebung [pel]

19 3. Structure from Motion Berechne 3D-Punktwolke Berechne Kameraposen für jedes Bild (Position + Orientierung)

20 4. Globale Korrektur Fehlerakkumulation Ungenaue Kamerakalibrierung 2 verbogene konische Rekonstruktion Globale Optimierung notwendig 3 Bündelausgleichverfahren ungeeignet! 4 20

21 4. Globale Korrektur Korrektur der Rekonstruktion mit geometrischem Vorwissen: Mittlerer Kamerapfad bekannt 2 (Schwerkraftvektor = z-achse) Kameravorschub zwischen 3 Frames bekannt (ca. cm) 4 2

22 4. Globale Korrektur Approximiere mittleren Kamerapfad durch Polynom P(t) Transformiere 3D-Punkte/Kameraposen durch Abbildung von P(t) auf P*(t) = cm t ez Mittlerer Kamerapfad P(t) Vorschub der Kamera ( cm) z-achse ez (Schwerkraftvektor) Fehlerhafte Rekonstruktion Korrigierte Rekonstruktion 22

23 . Klassifizieren des Schachtprofils Klassifizierung der Schachtkontur in Querschnitten Robuste 2D-Formschätzung aus 3D-Punkten 2 Kreisprofil 3 4 Rechteckprofil 23

24 Ablauf des Verfahrens Kamerabild Rotationssensordaten Bildvorverarbeitung Rotationskompensation Zylinderabwicklung Detektieren und Verfolgen von Merkmalspunkten KLT-Tracker 2 Structure from Motion Kameraposen und 3D-Struktur berechnen 3 Globale Korrektur Kamerapfad und 3DStruktur korrigieren Kameraposen Geometrieschätzung Profile klassifizieren 3D-Modell erzeugen Profilmessungen D-Punkte 3D-Modell

25 Erzeugen von 3D-Modellen Verbinden aufeinanderfolgender Konturen gleicher Geometrie optional Fitting von 3D-Formen 2 Ausgabe: 3 Drahtgittermodell Texturiertes Modell 4 2

26 Verwenden der Kameraposen für manuelle Vermessung Manuelle Wahl von Messpunkten in einem Kamerabild Automatische Korrespondenzsuche im Folgebild Triangulieren von 3D-Punkten mit Hilfe der bekannten Kameraposen Ausgabe des Messergebnisses im 3D-Raum Berechneter Kreis Messpunkte im Bild 2 cm 26

27 Tests und Auswertungen Einleitung und Problemstellung Verfahren zur Schachtrekonstruktion Modifiziertes Structure from Motion Globale Korrektur der Rekonstruktion Schachtprofilvermessung und Modellerzeugung Tests und Auswertungen Zusammenfassung 27

28 Auswertung der Profilvermessung Mittlerer Schätzfehler von 7 Testsequenzen 8% mit Korrektur ohne Korrektur (Mittelwert + Std.) 6% Schachtteile mit Kreisprofil Schachtteile mit Rechteckprofil 4% 2% 0% Testsequenz Nr. Erfolgsquote der Klassifierung der Schachtquerschnitte 00% 90% 80% 70% Testsequenz Nr. 29

29 Auswertung der geometrischen Korrektur Variiere intrinsische Kameraparameter (hier: Öffnungswinkel) Systematischer Rekonstruktionsfehler (hier: bis zu cm) Kompensation durch geometrische Korrektur Durchmesserschätzung [cm] 20 cm 0 cm Parameterfehler ohne geometrische Korrektur 00 cm 90 cm 04 cm 02 cm ground truth mit geometrischer Korrektur Bild Nr cm 98 cm 96 cm ground truth Bild Nr. 30

30 Zusammenfassung Einleitung und Problemstellung Verfahren zur Schachtrekonstruktion Modifiziertes Structure from Motion Globale Korrektur der Rekonstruktion Schachtprofilvermessung und Modellerzeugung Tests und Auswertungen Zusammenfassung 3

31 Zusammenfassung Robustes automatisches Verfahren zur bildbasierten Vermessung von Kanalschächten mit dem Kamerasystem IBAK Panoramo SI Einfache geometrische Korrektur ersetzt Bundle Adjustment Erzeugen von 3D-Modellen der Schachtgeometrie möglich Berechnete Kameraposen können zur manuellen Vermessung von Strukturen weiterverwendet werden Echtzeitfähigkeit ermöglicht Einsatz vor Ort Erfolgreicher Einsatz der Software in der Praxis 36

32 Danke für die Aufmerksamkeit! 37