Entwicklung eines 3D-Scanners mit farbigem strukturiertem Licht unter Verwendung von HDR-Bilddaten Diplomverteidigung Frank Michel
Gliederung Einführung Kodierung des Projektionsmusters HDR-Bilddaten Korrespondenzanalyse Ergebnisse 2
Einführung 3D-Rekonstruktion Idee: - Punktwolke aus einem Foto generieren Umsetzung: - Kamera, Projektor und Objekt bilden ein Dreieck -Rekonstruktion über räumliche Information des Kamera-Projektor-Systems 3
Einführung 3D-Rekonstruktion 4
Einführung 3D-Rekonstruktion 5
Einführung Aktive Kodierung zur Korrespondenzanalyse Welche Positionen in den Bildern korrespondieren? 6
DeBruijn-Sequenzen -A(k,n) ist eine Zeichenfolge über einem k-stelligen Alphabet, bei dem jede n-stellige Teilsequenz nur einmal vorkommt - A(2,4): [0000]100110101111 - Teilsequenzen: 0000, 0001, 0010, 0100, 1001, 0011, 0110, 1101, 1010, 0101, 1011, 0111, 1111 -jede Position innerhalb des Codes kann über die Betrachtung der benachbarten Zeichen eindeutig ermittelt werden 7
DeBruijn-Sequenzen -A(k,n) ist eine Zeichenfolge über einem k-stelligen Alphabet, bei dem jede n-stellige Teilsequenz nur einmal vorkommt - A(2,4): 0[0001]00110101111 - Teilsequenzen: 0000, 0001, 0010, 0100, 1001, 0011, 0110, 1101, 1010, 0101, 1011, 0111, 1111 -jede Position innerhalb des Codes kann über die Betrachtung der benachbarten Zeichen eindeutig ermittelt werden 8
DeBruijn-Sequenzen -A(k,n) ist eine Zeichenfolge über einem k-stelligen Alphabet, bei dem jede n-stellige Teilsequenz nur einmal vorkommt - A(2,4): 00[0010]0110101111 - Teilsequenzen: 0000, 0001, 0010, 0100, 1001, 0011, 0110, 1101, 1010, 0101, 1011, 0111, 1111 -jede Position innerhalb des Codes kann über die Betrachtung der benachbarten Zeichen eindeutig ermittelt werden 9
DeBruijn-Sequenzen Necklace: ist eine Äquivalenzklasse von n-stelligen Zeichenketten über einem k- stelligen Alphabet Lyndonwort: ist ein aperiodisches Necklace 10
DeBruijn-Sequenzen -Verkettung der Reduktionender Necklacesund Lyndonwörter in lexikographischer Reihenfolge ergibt die de Bruijn-Sequenz 11
DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz - Farben werden im 3-stelligen Binärkode repräsentiert, z.b. entspricht (011) Cyan - jedem Zeichen des Alphabets wird ein binäres Tripel zugewiesen -Farbübergang entsteht durch die XOR-Verknüpfung der Farbkomponente mit dem Repräsentant des Zeichens aus der de Bruijn-Sequenz - neutrales Element 000 wird nicht verwendet 12
DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz 13
DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz 14
DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz 15
DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz 16
DeBruijn-Sequenzen Kodierung der Farbinformationen mit Hilfe der de Bruijn-Sequenz 17
DeBruijn-Sequenzen De Bruijn-Sequenz A(5,3) 18
HighDynamicRange-Bilder - Irradiance beschreibt die einfallende Leistung auf eine Fläche - einfallende Photonen erzeugen eine Spannung, die sich proportional zum einfallenden Licht verhält -FilterinderKamerapassendasSignalan - Pixelwerte verhalten sich nicht linear zum einfallenden Licht 19
HighDynamicRange-Bilder - HDR-Bilder sind in der Lage, hohe Helligkeitsunterschiede einer Szene zu abzubilden -dadurch werden die bei LDR-Bildern auftretenden Unter-bzw. Überbelichtungen in Fotographien vermieden - höhere Auflösung der Farbtiefe bei HDR-Aufnahmen - Techniken zur Erstellung: HDR-Kamera, computergenerierte Bilder, LDR-Bilderserien 20
HighDynamicRange-Bildererzeugen Camera-Response-Curve(CRC) -CRC beschreibt die lineare Abbildung der eingefallenen Strahlung (Irradiance) auf Pixelintensitäten 0 255 im Kamerabild bei bekannter Belichtungszeit - CRC ist bei jeder Kamera unterschiedlich - Linearisierung der Abbildung von Helligkeit auf RGB-Farbwerte durch die CRC - Berechnung mit Hilfe eines linearen Gleichungssystems aus Bilddaten 21
HighDynamicRange-Bildererzeugen Camera-Response-Curve(CRC) 22
HighDynamicRange-Bildererzeugen HDR-Bild aus LDR-Bildsequenzen Idee: - jedes Pixel ist in mindestens einem der Bilder korrekt beleuchtet Umsetzung: -ein Pixel im HDR-Bild ergibt sich aus der gewichteten Kombination der Informationen aus den verschiedenen Belichtungsstufen 23
HighDynamicRange-Bildererzeugen HDR-Bild aus LDR-Bildsequenzen - Aufnahme mehrerer Bilder der Szene - dabei wird die Belichtungszeit der Bilder variiert - pro Pixel sind mehrere Messwerte vorhanden, diese werden gewichtet aufsummiert - Minderung des Rauschens im Bild 24
HighDynamicRange-Bilder LDR-Belichtungsreihe 25
HighDynamicRange-Bilder HDR-Bild 26
Korrespondenzanalyse 27
Korrespondenzanalyse Ziel: -Zuweisung der Farbübergänge aus dem Kamerabild zu Farbübergängen im Projektorbild Umsetzung: - Detektion der Kanten im Kamerabild -Zuordnung von korrespondierenden Kantenpixeln zwischen Kamera und Projektor Probleme: - Verdeckung der Kante - Fehler beim Erkennen der Kante - Störeinflüsse durch technische Limitierungen der verwendeten Geräte 28
Korrespondenzanalyse Detektion der Kanten im Kamerabild -Störungen in der Kamera und dem Projektor führen zu einer Verfälschung des Farbcodes - diese haben Einfluss auf das Ergebnis der Rekonstruktion - Fehlerbehebung mit Anisotroper Diffusionsfilterung 29
Korrespondenzanalyse Detektion der Kanten im Kamerabild 30
Korrespondenzanalyse Detektion der Kanten im Kamerabild -Kanten erstrecken sich über mehrere Pixel; keine harten Farbübergänge, sondern Farbverläufe - Box-Filter betrachtet einen größeren Bereich um das Pixel, dies führt zur Mehrfachdetektion der Kanten -Non-Maximum Supressionum Kantenposition auf ein Pixel zu beschränken 31
Korrespondenzanalyse Detektion der Kanten im Kamerabild 32
Korrespondenzanalyse Detektion der Kanten im Kamerabild - Kanten werden zeilenweise detektiert - keine Information über die Nachbarschaftsbeziehungen zwischen den Zeilen bekannt -Klassifizierung der Kanten durch die Farbübergangszustände und die Position in der x-dimension 33
Korrespondenzanalyse Labeling-Ansatz -Farbübergänge im Projektorbildbilden die Menge der potentziellenlabel - Farbübergänge im Kamerabild stellen die Merkmale dar 34
Korrespondenzanalyse Markov-Random-Field (MRF) - MRF ist ein ungerichtetes statistisches Graphenmodell - Darstellung als Netzwerk, in dem die Knoten die Farbkantenpixel im Kamerabild repräsentieren Kanten die Nachbarschaftsbeziehungen zwischen den Kantenpixeln abbilden 35
Korrespondenzanalyse Markov-Random-Field (MRF) -durch die Eigenschaft der bedingten Unabhängigkeit im MRF müssen nicht alle Knoten für die Berechnung betrachtet werden, sondern nur die vorher festgelegten direkten Nachbarn 36
Korrespondenzanalyse Energie-Minimierungs-Ansatz Datenterm beschreibt die Kosten für die Zuweisung eines Labels zu einem Knoten Nachbarschaftsterm beschreibt die Kosten für die Zuweisung der Label und zu 2 benachbarten Knoten 37
Korrespondenzanalyse Energie-Minimierungs-Ansatz Bestimmen des Datenterms für einen Knoten E data (f p ) dis c (f p ) = jm c L c (f p )j E data (f p ) = X c dis c (f p ) 38
Korrespondenzanalyse Energie-Minimierungs-Ansatz Bestimmen der Diskontinuitätskosten - Bewertung basierend auf der de Bruijn-Sequenz 39
Korrespondenzanalyse Belief-Propagation - iteratives Verfahren bei dem Nachrichten zwischen den Knoten ausgetauscht werden - berechnen einer Nachricht, die vom Knoten zum Knoten gesendet wird 40
Korrespondenzanalyse Belief-Propagation 41
Korrespondenzanalyse Belief-Propagation 42
Korrespondenzanalyse Belief-Propagation - Berechnung des Labels mit minimaler Energie 43
Korrespondenzanalyse Triangulation 44
Ergebnisse 45
Ergebnisse 46
Ergebnisse 47
VielenDankfürIhreAufmerksamkeit! 48