Entwicklung eines 3D-Scanners mit farbigem strukturiertem Licht unter Verwendung von HDR-Bilddaten. Diplomverteidigung Frank Michel

Transkript

1 Entwicklung eines 3D-Scanners mit farbigem strukturiertem Licht unter Verwendung von HDR-Bilddaten Diplomverteidigung Frank Michel

2 Gliederung Einführung Kodierung des Projektionsmusters HDR-Bilddaten Korrespondenzanalyse Ergebnisse 2

3 Einführung 3D-Rekonstruktion Idee: - Punktwolke aus einem Foto generieren Umsetzung: - Kamera, Projektor und Objekt bilden ein Dreieck -Rekonstruktion über räumliche Information des Kamera-Projektor-Systems 3

4 Einführung 3D-Rekonstruktion 4

5 Einführung 3D-Rekonstruktion 5

6 Einführung Aktive Kodierung zur Korrespondenzanalyse Welche Positionen in den Bildern korrespondieren? 6

7 DeBruijn-Sequenzen -A(k,n) ist eine Zeichenfolge über einem k-stelligen Alphabet, bei dem jede n-stellige Teilsequenz nur einmal vorkommt - A(2,4): [0000] Teilsequenzen: 0000, 0001, 0010, 0100, 1001, 0011, 0110, 1101, 1010, 0101, 1011, 0111, jede Position innerhalb des Codes kann über die Betrachtung der benachbarten Zeichen eindeutig ermittelt werden 7

8 DeBruijn-Sequenzen -A(k,n) ist eine Zeichenfolge über einem k-stelligen Alphabet, bei dem jede n-stellige Teilsequenz nur einmal vorkommt - A(2,4): 0[0001] Teilsequenzen: 0000, 0001, 0010, 0100, 1001, 0011, 0110, 1101, 1010, 0101, 1011, 0111, jede Position innerhalb des Codes kann über die Betrachtung der benachbarten Zeichen eindeutig ermittelt werden 8

9 DeBruijn-Sequenzen -A(k,n) ist eine Zeichenfolge über einem k-stelligen Alphabet, bei dem jede n-stellige Teilsequenz nur einmal vorkommt - A(2,4): 00[0010] Teilsequenzen: 0000, 0001, 0010, 0100, 1001, 0011, 0110, 1101, 1010, 0101, 1011, 0111, jede Position innerhalb des Codes kann über die Betrachtung der benachbarten Zeichen eindeutig ermittelt werden 9

10 DeBruijn-Sequenzen Necklace: ist eine Äquivalenzklasse von n-stelligen Zeichenketten über einem k- stelligen Alphabet Lyndonwort: ist ein aperiodisches Necklace 10

11 DeBruijn-Sequenzen -Verkettung der Reduktionender Necklacesund Lyndonwörter in lexikographischer Reihenfolge ergibt die de Bruijn-Sequenz 11

12 DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz - Farben werden im 3-stelligen Binärkode repräsentiert, z.b. entspricht (011) Cyan - jedem Zeichen des Alphabets wird ein binäres Tripel zugewiesen -Farbübergang entsteht durch die XOR-Verknüpfung der Farbkomponente mit dem Repräsentant des Zeichens aus der de Bruijn-Sequenz - neutrales Element 000 wird nicht verwendet 12

13 DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz 13

14 DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz 14

15 DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz 15

16 DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz 16

17 DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz 17

18 DeBruijn-Sequenzen De Bruijn-Sequenz A(5,3) 18

19 HighDynamicRange-Bilder - Irradiance beschreibt die einfallende Leistung auf eine Fläche - einfallende Photonen erzeugen eine Spannung, die sich proportional zum einfallenden Licht verhält -FilterinderKamerapassendasSignalan - Pixelwerte verhalten sich nicht linear zum einfallenden Licht 19

20 HighDynamicRange-Bilder - HDR-Bilder sind in der Lage, hohe Helligkeitsunterschiede einer Szene zu abzubilden -dadurch werden die bei LDR-Bildern auftretenden Unter-bzw. Überbelichtungen in Fotographien vermieden - höhere Auflösung der Farbtiefe bei HDR-Aufnahmen - Techniken zur Erstellung: HDR-Kamera, computergenerierte Bilder, LDR-Bilderserien 20

21 HighDynamicRange-Bildererzeugen Camera-Response-Curve(CRC) -CRC beschreibt die lineare Abbildung der eingefallenen Strahlung (Irradiance) auf Pixelintensitäten im Kamerabild bei bekannter Belichtungszeit - CRC ist bei jeder Kamera unterschiedlich - Linearisierung der Abbildung von Helligkeit auf RGB-Farbwerte durch die CRC - Berechnung mit Hilfe eines linearen Gleichungssystems aus Bilddaten 21

22 HighDynamicRange-Bildererzeugen Camera-Response-Curve(CRC) 22

23 HighDynamicRange-Bildererzeugen HDR-Bild aus LDR-Bildsequenzen Idee: - jedes Pixel ist in mindestens einem der Bilder korrekt beleuchtet Umsetzung: -ein Pixel im HDR-Bild ergibt sich aus der gewichteten Kombination der Informationen aus den verschiedenen Belichtungsstufen 23

24 HighDynamicRange-Bildererzeugen HDR-Bild aus LDR-Bildsequenzen - Aufnahme mehrerer Bilder der Szene - dabei wird die Belichtungszeit der Bilder variiert - pro Pixel sind mehrere Messwerte vorhanden, diese werden gewichtet aufsummiert - Minderung des Rauschens im Bild 24

25 HighDynamicRange-Bilder LDR-Belichtungsreihe 25

26 HighDynamicRange-Bilder HDR-Bild 26

27 Korrespondenzanalyse 27

28 Korrespondenzanalyse Ziel: -Zuweisung der Farbübergänge aus dem Kamerabild zu Farbübergängen im Projektorbild Umsetzung: - Detektion der Kanten im Kamerabild -Zuordnung von korrespondierenden Kantenpixeln zwischen Kamera und Projektor Probleme: - Verdeckung der Kante - Fehler beim Erkennen der Kante - Störeinflüsse durch technische Limitierungen der verwendeten Geräte 28

29 Korrespondenzanalyse Detektion der Kanten im Kamerabild -Störungen in der Kamera und dem Projektor führen zu einer Verfälschung des Farbcodes - diese haben Einfluss auf das Ergebnis der Rekonstruktion - Fehlerbehebung mit Anisotroper Diffusionsfilterung 29

30 Korrespondenzanalyse Detektion der Kanten im Kamerabild 30

31 Korrespondenzanalyse Detektion der Kanten im Kamerabild -Kanten erstrecken sich über mehrere Pixel; keine harten Farbübergänge, sondern Farbverläufe - Box-Filter betrachtet einen größeren Bereich um das Pixel, dies führt zur Mehrfachdetektion der Kanten -Non-Maximum Supressionum Kantenposition auf ein Pixel zu beschränken 31

32 Korrespondenzanalyse Detektion der Kanten im Kamerabild 32

33 Korrespondenzanalyse Detektion der Kanten im Kamerabild - Kanten werden zeilenweise detektiert - keine Information über die Nachbarschaftsbeziehungen zwischen den Zeilen bekannt -Klassifizierung der Kanten durch die Farbübergangszustände und die Position in der x-dimension 33

34 Korrespondenzanalyse Labeling-Ansatz -Farbübergänge im Projektorbildbilden die Menge der potentziellenlabel - Farbübergänge im Kamerabild stellen die Merkmale dar 34

35 Korrespondenzanalyse Markov-Random-Field (MRF) - MRF ist ein ungerichtetes statistisches Graphenmodell - Darstellung als Netzwerk, in dem die Knoten die Farbkantenpixel im Kamerabild repräsentieren Kanten die Nachbarschaftsbeziehungen zwischen den Kantenpixeln abbilden 35

36 Korrespondenzanalyse Markov-Random-Field (MRF) -durch die Eigenschaft der bedingten Unabhängigkeit im MRF müssen nicht alle Knoten für die Berechnung betrachtet werden, sondern nur die vorher festgelegten direkten Nachbarn 36

37 Korrespondenzanalyse Energie-Minimierungs-Ansatz Datenterm beschreibt die Kosten für die Zuweisung eines Labels zu einem Knoten Nachbarschaftsterm beschreibt die Kosten für die Zuweisung der Label und zu 2 benachbarten Knoten 37

38 Korrespondenzanalyse Energie-Minimierungs-Ansatz Bestimmen des Datenterms für einen Knoten E data (f p ) dis c (f p ) = jm c L c (f p )j E data (f p ) = X c dis c (f p ) 38

39 Korrespondenzanalyse Energie-Minimierungs-Ansatz Bestimmen der Diskontinuitätskosten - Bewertung basierend auf der de Bruijn-Sequenz 39

40 Korrespondenzanalyse Belief-Propagation - iteratives Verfahren bei dem Nachrichten zwischen den Knoten ausgetauscht werden - berechnen einer Nachricht, die vom Knoten zum Knoten gesendet wird 40

41 Korrespondenzanalyse Belief-Propagation 41

42 Korrespondenzanalyse Belief-Propagation 42

43 Korrespondenzanalyse Belief-Propagation - Berechnung des Labels mit minimaler Energie 43

44 Korrespondenzanalyse Triangulation 44

45 Ergebnisse 45

46 Ergebnisse 46

47 Ergebnisse 47

48 VielenDankfürIhreAufmerksamkeit! 48