Untersuchung und Modellierung des Rolling-Shutter-Effekts für photogrammetrische Einzel- und Mehrbildauswertungen

Größe: px

Ab Seite anzeigen:

Download "Untersuchung und Modellierung des Rolling-Shutter-Effekts für photogrammetrische Einzel- und Mehrbildauswertungen"

Jacob Franke
vor 5 Jahren
Abrufe

1 Untersuchung und Modellierung des Rolling-Shutter-Effekts für photogrammetrische Einzel- und Mehrbildauswertungen 16. Oldenburger 3D-Tage 2017 Oldenburg, 2. Februar 2017 Robin Rofallski & Thomas Luhmann Institut für Angewandte Photogrammetrie und Geoinformatik Jade Hochschule Oldenburg

2 ROLLING SHUTTER Viele Kameratypen nutzen heute Sensoren mit CMOS-Technologie Besitzen i.d.r. keine interne Speichermöglichkeit der gemessenen Spannungen Sensor wird zeilenweise belichtet und ausgelesen Belichtung zu endlich vielen Zeitpunkten Bei kurzen Belichtungszeiten problematisch für die Blitzsynchronisation Erzeugt Bildverzerrungen wenn eine Bewegung während der Belichtung stattfindet Rolling-Shutter-Effekt nach Ringaby,

3 ROLLING-SHUTTER-EFFEKT Affine Parameter Sun & Liu,

4 ROLLING-SHUTTER-EFFEKT wikipedia.org, 2016a 4

5 ROLLING-SHUTTER-EFFEKT Magerand & Bartoli,

6 ROLLING-SHUTTER-EFFEKT wikipedia.org, 2016b 6

7 MODELLIERUNG Kollinearitätsgleichungen sehen eine äußere Orientierung pro Bild vor (Global-Shutter-Modell) 6 Freiheitsgrade pro Bild XX TT = XX 0 YY 0 ZZ 0 TT RR(aa, bb, cc, dd) Rolling Shutter erzeugt eine äußere Orientierung pro Bildzeile TT XX TT1 = XX 0,1 YY 0,1 ZZ 0,1 TT XX TT2 = XX 0,2 YY 0,2 ZZ 0,2 TT XX TTnn = XX 0,nn YY 0,nn ZZ 0,nn RR 11 (aa 1, bb 1, cc 1, dd 1 ) RR 22 (aa 2, bb 2, cc 2, dd 2 ) RR nn (aa nn, bb nn, cc nn, dd nn ) 6 Freiheitsgrade pro Zeile 6n Freiheitsgrade pro Bild Problem: Hohe Anzahl an Unbekannten macht es unmöglich, alle äußeren Orientierungen aufzulösen 7

8 FUNKTIONALES MODELL Lösung: Beschränkung auf zwei äußere Orientierungen pro Bild Interpolation XX TT1 = XX 0,1 YY 0,1 ZZ 0,1 TT XX TTnn = XX 0,nn YY 0,nn ZZ 0,nn TT =XXTT1 +VV RR 11 (aa 1, bb 1, cc 1, dd 1 ) RR nn aa nn, bb nn, cc nn, dd nn 8

9 ERWEITERTES MODELL Kollinearitätsgleichungen für Rolling Shutter Zusätzliche Variablen V Translation während der Bildaufnahme qq 1, qq nn Einheitsquaternionen für die Rotation RR iiiiii : Interpolierte Rotationsmatrix, abhängig von ττ ττ Normalisierter Interpolationsfaktor, abhängig von y 12 Freiheitsgrade Min. 6 räumlich verteilte Punkte ττ = yy mmmmmm yy ii yy mmmmmm yy mmmmmm xx = xx 0 + zzz rr 11 XX XX 0 + rr 21 YY YY 0 + rr 31 ZZ ZZ 0 rr 13 XX XX 0 + rr 23 YY YY 0 + rr 33 ZZ ZZ 0 + xx yy = yy 0 + zzz rr 12 XX XX 0 + rr 22 YY YY 0 + rr 32 ZZ ZZ 0 rr 13 XX XX 0 + rr 23 YY YY 0 + rr 33 ZZ ZZ 0 + yy 9

10 ERWEITERTES MODELL Kollinearitätsgleichungen für Rolling Shutter Zusätzliche Variablen V Translation während der Bildaufnahme qq 1, qq nn Einheitsquaternionen für die Rotation RR iiiiii : Interpolierte Rotationsmatrix, abhängig von ττ ττ Normalisierter Interpolationsfaktor, abhängig von y 12 Freiheitsgrade Min. 6 räumlich verteilte Punkte ττ = yy mmmmmm yy ii yy mmmmmm yy mmmmmm xx = xx 0 + zzz rr iiiiii ττ 11 XX (XX 0 + ττ VV xx ) + rr iiiiii ττ 21 YY (YY 0 + ττ VV yy ) + rr iiiiii ττ 31 ZZ ZZ 0 + ττ VV zz rr iiiiii ττ 13 XX XX 0 + ττ VV xx + rr iiiiii ττ 23 YY YY 0 + ττ VV yy + rr iiiiii ττ 33 ZZ ZZ 0 + ττ VV zz + xx yy = yy 0 + zzz rr iiiiii ττ 12 XX (XX 0 + ττ VV xx ) + rr iiiiii ττ 22 YY (YY 0 + ττ VV yy ) + rr iiiiii ττ 32 ZZ ZZ 0 + ττ VV zz rr iiiiii ττ 13 XX XX 0 + ττ VV xx + rr iiiiii ττ 23 YY YY 0 + ττ VV yy + rr iiiiii ττ 33 ZZ ZZ 0 + ττ VV zz + yy 10

ERWEITERTES MODELL Kollinearitätsgleichungen für Rolling Shutter Zusätzliche Variablen V Translation während der Bildaufnahme qq 1, qq nn Einheitsquaternionen für die Rotation RR iiiiii :

6 räumlich verteilte Punkte ττ = yy mmmmmm yy ii yy mmmmmm yy mmmmmm xx = xx 0 + zzz rr iiiiii ττ 11 XX (XX 0 + ττ VV xx ) + rr iiiiii ττ 21 YY (YY 0 + ττ VV yy ) + rr iiiiii ττ 31 ZZ ZZ 0 + ττ VV zz

11 ERWEITERTES MODELL Kollinearitätsgleichungen für Rolling Shutter Zusätzliche Variablen V Translation während der Bildaufnahme qq 1, qq nn Einheitsquaternionen für die Rotation RR iiiiii : Interpolierte Rotationsmatrix, abhängig von ττ ττ Normalisierter Interpolationsfaktor, abhängig von y 12 Freiheitsgrade Min. 6 räumlich verteilte Punkte ττ = yy mmmmmm yy ii yy mmmmmm yy mmmmmm xx = xx 0 + zzz rr iiiiii ττ 11 XX (XX 0 + ττ VV xx ) + rr iiiiii ττ 21 YY (YY 0 + ττ VV yy ) + rr iiiiii ττ 31 ZZ ZZ 0 + ττ VV zz rr iiiiii ττ 13 XX XX 0 + ττ VV xx + rr iiiiii ττ 23 YY YY 0 + ττ VV yy + rr iiiiii ττ 33 ZZ ZZ 0 + ττ VV zz + xx yy = yy 0 + zzz rr iiiiii ττ 12 XX (XX 0 + ττ VV xx ) + rr iiiiii ττ 22 YY (YY 0 + ττ VV yy ) + rr iiiiii ττ 32 ZZ ZZ 0 + ττ VV zz rr iiiiii ττ 13 XX XX 0 + ττ VV xx + rr iiiiii ττ 23 YY YY 0 + ττ VV yy + rr iiiiii ττ 33 ZZ ZZ 0 + ττ VV zz + yy 11

12 KINEMATISCHE FÄLLE 12

13 KINEMATISCHE FÄLLE 13

14 KINEMATISCHE FÄLLE 14

15 VERSUCHSAUFBAU 15

16 AUSWERTUNG - EINZELBILD Kamera MoveInspect Räumlicher Rückwärtsschnitt aus Referenz (Global Shutter) Transformation der MI-Daten auf die Referenz Räumlicher Rückwärtsschnitt aus Testfeld mit... Global Shutter Rolling Shutter Transformation des Testfeldes auf die transformierten MI- Daten 6DOF-Berechnung 6DOF-Berechnung Transformationspar ameter für 6DOF- Punkt Räumliche Ellipsenausgleichung Abstand Ellipse - 6DOF Abstand Ellipse - 6DOF 16

17 ERGEBNISSE EINZELBILD ELLIPSENAUSGLEICHUNG Standardabweichung X Y Z XYZ Ellipse 0,031 mm 0,072 mm 0,079 mm 0,111 mm 17

18 ERGEBNISSE EINZELBILD ABWEICHUNGEN ZUR ELLIPSE Global Shutter Rolling Shutter RMS (XYZ) Max. Abweichung Relative Genauigkeit Nicht konvergiert 1,302 mm 6,072 mm 1:260 0,0 % 0,246 mm 0,920 mm 1:1715 2,7 % 18

19 AUSWERTUNG - MEHRBILD 19

20 ERGEBNISSE - MEHRBILD RMS (XYZ) Max. Abweichung Relative Genauigkeit Global Shutter 0,864 mm 1,910 mm 1:383 Rolling Shutter 0,101 mm 0,183 mm 1:

21 ERGEBNISSE - MEHRBILD RMS (XYZ) Max. Abweichung Relative Genauigkeit Global Shutter 0,864 mm 1,910 mm 1:383 Rolling Shutter 0,101 mm 0,183 mm 1:3992 Rolling Shutter mit GS-Näherung 0,490 mm 1,139 mm 1:642 21

22 ZUSAMMENFASSUNG UND AUSBLICK Das Modell beschreibt die realen Gegebenheiten Genauigkeitssteigerung > Faktor 5 Parameter der äußeren Orientierung(en) sind stark korreliert Singuläre Gleichungssysteme Ungenaue Parameterschätzung Räumliche Tiefe ist wichtig für ein robustes Ergebnis Näherungswerte haben einen hohen Einfluss auf die Parameter Ausblick Verbesserung der Näherungswerte/Robustheit Entzerrung der Bilder für Global Shutter Auswertungen High-Speed Anwendungen mit Low-Cost-Kameras 22

23 Robin Rofallski & Thomas Luhmann 23

24 QUELLEN Magerand, L., & Bartoli, A. (2010). A generic rolling shutter camera model and its application to dynamic pose estimation. In IEEE (Hg.): International symposium on 3D data processing, visualization and transmission. Ringaby, E. (2012): Geometric Computer Vision for Rolling-shutter and Push-broom Sensors. Linköping: Linköping University Electronic Press (Linköping Studies in Science and Technology. Thesis, 1535). Sun, Y.; Liu, G. (2012): Rolling shutter distortion removal based on curve interpolation. In: IEEE Transactions on Consumer Electronics 58 (3), S wikipedia.org (2016a). Rolling-Shutter-Effekt eines digitalen CMOS-Bildsensors. Zugriff am unter: n.jpg wikipedia.org (2016b). Rolling-Shutter-Effekt an einem Propeller. Zugriff am unter: Effekt#/media/File:Turboprop_Rolling_Shutter.jpg 24

Ähnliche Dokumente

Untersuchung und Modellierung des Rolling-Shutter-Effekts für photogrammetrische Einzel- und Mehrbildauswertungen

Untersuchung und Modellierung des Rolling-Shutter-Effekts für photogrammetrische Einzel- und Mehrbildauswertungen ROBIN ROFALLSKI 1 & THOMAS LUHMANN 1 Zusammenfassung: CMOS-Sensoren nutzen ein elektronisches