3D-Aspekte bei der Bildfusion am Beispiel von IR- und VIS-Daten Referenten: Dipl.-Ing. Torsten Koch PD Dr. Karl-Heinz Franke

Transkript

1 3D-Aspekte bei der Bildfusion am Beispiel von IR- und VIS-Daten Referenten: Dipl.-Ing. Torsten Koch PD Dr. Karl-Heinz Franke Bildmaterial mit freundlicher Genehmigung von JenOptik L.O.S.

2 Zielstellung 4 Zuordnung der Pixel aus visuellen und infrarotem Bild, welche zu selben Objektpunkt gehören 4 Hervorhebung der Morphologie (z.b. für Fehlererkennung) 4 Gewinnung zusätzlicher Informationen durch Kombination der Merkmalsattribute beider Bilder (z.b. für Augmentierung mit Temperaturinformation bei Hot-Spot- Detektion) 2

3 Problemstellung 4 Schwache Korrelation von IR und VIS 4 optisches Glas ist für thermisches IR undurchlässig 4 Einsatz von speziellen Material zur Fertigung von IR-Linsen (undurchlässig für sichtbare Strahlung! ) 4 Aufteilung des Strahlengangs 4 perspektivische Verzerrungen bei räumlich ausgedehnten Objekten Transmissivität % IR Glas Silizium Germanium λ [µm] 3

4 Lösungsansätze ( subjektive Einordnung ) Hardwareaufwand Strahlteiler Inverse View- Interpolation affine Transformation modellbasierte Bildfusion Softwareaufwand 4

5 Inverse View-Interpolation 4 Einsatz von zwei VIS- und einer IR-Kamera 4 Suche nach homologen Punkten zwischen beiden VIS-Bildern 4 Beruht auf der Umkehrung des Verfahrens zur Zwischenbildsynthese (nach Scharstein,Chen) 4 Setzt entzerrtes Bildmaterial voraus 5

6 Inverse View-Interpolation Scan-Line 6

7 Inverse View-Interpolation Scan-Line? η 1 η 2 7

8 Inverse View-Interpolation d 1 Scan-Line?? d d 1 2 = η η 1 2 d 2 8

9 Inverse View-Interpolation Linkes VIS-Kamerabild IR-Kamerabild (in Falschfarben) rechtes VIS-Kamerabild Fusionsergebnis (IR- mit rechtem VIS- Bild registriert) 9

10 Inverse View-Interpolation 4Vorteile: kein kein Modell Modell notwendig grundsätzlich für für jede jede Szene Szene anwendbar Tiefeninformation extrahierbar (wichtig für für Thermografie) 4 Nachteile: Punkt-Korrespondenzen nicht nicht immer immer sicher sicher zu zu finden finden Entstehung sog. sog. Lücken und und Löcher Fehlzuordnungen möglich Rechenaufwand relativ relativ hoch hoch (proportional zu zu Pixelanzahl) 10

11 Modellbasierte Bildfusion VIS IR Lage- und Orientierungs- Information des Objektes Modell 4 Ziel: lokale Bildfusion (nur die Bildregionen, die zum Objekt gehören) Gewinnung von Tiefeninformation evtl. Bereitstellung zusätzlicher Informationen über die Oberflächeneigenschaften des Objekts 4 Einsatzbedingungen: Modell eines Objektes muß vorhanden sein Objekt sollte möglichst bildfüllend dargestellt sein innere und äußere Kameraparameter bestimmbar (durch Kalibrierung) feste gegenseitige Anordnung der Kameras Algorithmus 11

12 Modellbasierte Bildfusion Arbeitsweise Kalibrierung Verzeichnungskorrektur Merkmals-Extraktion Festlegung der Merkmals- Korrespondenzen Aspektbestimmung Rückprojektion Bilder mischen 12

13 Modellbasierte Bildfusion 4Ziel: Kalibrierung IR- IR-und VIS-Kamera werden werden gleichzeitig mit mit dem dem selben selben Normal Normal kalibriert Bestimmung der der inneren und und äußeren Parameter beider beider Kameras Daraus Daraus Gewinnung des des Aspektunterschieds 4Vorraussetzung: Kalibriermerkmale müssen im im IR- IR-und im im VIS-Bild extrahierbar sein sein räumliche Anordnung der der Kalibriermerkmale 13

14 Modellbasierte Bildfusion Merkmalsextraktion 14

15 Modellbasierte Bildfusion Kantenkorrespondenzen 15

16 Modellbasierte Bildfusion Aspektbestimmung 4 Ziel: Ermittlung der der Lage Lage und und Orientierung der der Kamera im im Objekt-Koordinatensystem. entspricht Transformation von von Objektkoordinatensystem V in in das das Kamerakoordinatensystem K: K: f a ( o) := R o + t 3 o V ; t R, f a ( o) K 16

17 Modellbasierte Bildfusion Aspektbestimmung y Kamera- Koordinatensystem K x -z A (Augpunkt) Modell- Koordinatensystem V Aspekt Abbildungsebene der Kamera Objekt 17

18 Modellbasierte Bildfusion Rückprojektion P 2,n A 2 s n P 1,n A 1 Kamera 2 Kamera 1 Objekt 18

19 Modellbasierte Bildfusion VIS-Bild IR-Bild Transformationsergebnis (IR- auf VIS-Bild projiziert und überblendet) 19

20 Modellbasierte Bildfusion 4Vorteile: Tiefeninformation extrahierbar (wichtig für für Thermografie) zusätzliche Objekteigenschaften können können durch durch Modell Modell beschrieben werden werden unter unter Umständen auch auch nachträgliche Fusion Fusion möglich geringerer gerätetechnischer Aufwand als als bei bei Inverser View-Interpolation 4 Nachteile: Modell Modell notwendig relativ relativ hohe hohe Anforderungen an an die die Objekterkennung 20

21 Einsatzmöglichkeiten 4 Qualitätskontrolle h Verifikation von elektronischen Schaltungen h Detektion von Rissen oder Einschlüssen 4 Inspektionsaufgaben h Industrie h Energiewirtschaft h Gebäudeinspektionen h Leckageortung 21