Graphische Datenverarbeitung I WS 2011/2012

Transkript

1 Graphische Datenverarbeitung I WS 2011/2012 Prof. Dr. techn. Dieter Fellner Dipl. Inf. Matthias Bein matthias.bein@gris.informatik.tu-darmstadt.de Tel.: GDV1 WS 11/12 Fellner, Bein 1

2 Heute: Eingabedaten - ein Problem der Graphik Aquisition 3D-Modelle Material Texturen Umgebung Beleuchtung Komposition Transformation Parametrisierung Bild gerendert von Ingo Wald Interaktion Navigation Manipulation GDV1 WS 11/12 Fellner, Bein 2

3 Interaktive Eingabegeräte (2D) Direkte graphische Eingabegeräte Touchscreen Verschiedene Techniken (kapazitativ, resistiv, infrarot,...) Ständig neue Techniken Lichtgriffel (seit Mitte des 20. Jahrhunderts, veraltet) Bsp. Resistiv Indirekte graphische Eingabegeräte Maus, Trackball Optisch Optischer Sensor tastet Unterlage ab (Kamera mit ca. 15x15-30x30 Pixel und Bilder/s) Einfache Mustererkennung zur Erkennung der Relativbewegung Mechanisch (seit 1982 kommerziell, Xerox Parc, veraltet) Graphiktablett GDV1 WS 11/12 Fellner, Bein 3

4 GDV1 WS 11/12 Fellner, Bein 4 The UnMousePad (Siggraph 2009)

5 Digitaler Stift: Anoto Infrarotkamera erkennt spezielles Punktmuster (50-100FPS) Muster nahezu unsichtbar für das menschliche Auge Aufdruckbar (Papier,Folie) Jeder Snapshot enthält genügend Informationen zur globalen Positionsbestimmung Punktmusterausschnitte sind einzigartig GDV1 WS 11/12 Fellner, Bein 5

6 Interaktive Eingabegeräte (3D) Tracker 3 oder 6 Freiheitsgrade (DOF, Degrees of Freedom) Absolute Position plus (optional) Richtung Mechanisch, optisch, magnetisch, Beispiele Marker Tracking mit Infrarot-Kameras Project Natal (XBox Kinect) Markerless Tracking Optische Daten und Wii Tiefenwerte (Z-Cam) Kamera sieht Box mit IR-LEDs auf dem Bildschirm Beschleunigungssensoren GDV1 WS 11/12 Fellner, Bein 6

7 Interaktive Eingabegeräte (3D) Phantom (Force Feedback) 6 DOF über Gelenkwinkel Haptisches Feedback erlaubt virtuelles Berühren eines Objekts (Ausgabe-Feature) Datenhandschuh Bewegungsinformationen der Beugungs- und Abduktionssensoren werden erfasst und zur Schnittstelle des PCs geleitet mechanisch optisch optisch, nur eine Kamera GDV1 WS 11/12 Fellner, Bein 7

8 Interaktive Eingabegeräte (3D) Motion Capture-Systeme Erfassung von Positionen und Bewegungen des Körpers Mechanische Systeme Optische Systeme Reflektierende Markierungen werden von speziellen IR- Hochgeschwindigkeitskameras erfasst 3D-Positionen werden durch Triangulierung berechnet Bildquelle: Vicon GDV1 WS 11/12 Fellner, Bein 8

9 Heute: Eingabedaten - ein Problem der Graphik Aquisition 3D-Modelle Material Texturen Umgebung Beleuchtung Komposition Transformation Parametrisierung Bild gerendert von Ingo Wald Interaktion Navigation Manipulation GDV1 WS 11/12 Fellner, Bein 9

10 Abtastung Realer Objekte GDV1 WS 11/12 Fellner, Bein 10

11 Abtastung Realer Objekte Verarbeitungsschritte Dreiecksnetz Original- Objekt Einzelne Tiefenkarten Registrierte Punktwolke nachbearbeitetes Netz Aufnahme von mehreren Tiefenbildern (= diskrete Menge von Abtastpunkten/3D-Daten aus einer Sicht) Registrierung: Überlagerung zu einer Punktwolke, bzw. Dreiecksnetz, Transformation in gemeinsames Koordinatensystem Weitere Bearbeitungsschritte zur Erzeugung des endgültigen Modells GDV1 WS 11/12 Fellner, Bein 11

12 Abtastung Realer Objekte Beispielanwendung: Reverse Engineering Anwendungen: Gebiete bei denen (halb) automatische Designprozesse notwendig sind Prothesen (Medizin, Zahntechnik) Formkontrolle (Werkzeuge) Automobil & Flugzeugindustrie, Beispiel: Abtastung eines Silberpfeil W Stunden Messzeit Circa 100 Millionen Messpunkte Abstand 2cm 80 Stunden Bearbeitungszeit für CAD-Modell GDV1 WS 11/12 Fellner, Bein 12

13 Taxonomie: Erzeugung von Tiefenbildern Kontakt Mechanisch Inertial (Inkrementell) Tiefenbilderzeugung Transmissiv CT (Computertomographie) Ultraschall MR (Magnetresonanz) Reflektiv Nicht optisch Optisch Radar Sonar GDV1 WS 11/12 Fellner, Bein 13

14 Taxonomie: Erzeugung von Tiefenbildern (2) Optische Methoden Passiv Aktiv Generierung von Tiefeninformation aus Bildern und Videos via Bewegung, Beleuchtung,Textur, Fokus/Defokus Bildverarbeitung, Computer Vision Stereo mit Zusatzinformation: Markerpunkte, projizierte Textur, aktive Tiefe aus Defokus, photometrisch (variiere Lichtquellen) Aktive Triangulation Time of Flight GDV1 WS 11/12 Fellner, Bein 14

15 Vor- und Nachteile Optischer Verfahren Vorteile: Kontaktfrei Sicher (Beschädigung des Objekts unwahrscheinlich) Typischerweise kostengünstig und schnell Nachteile: Abhängigkeit von optischen Eigenschaften des Objekts Empfindlichkeit gegenüber Transparenz Messfehler durch Mehrfachreflexion, Spiegelungen Verdeckungsproblematik Textur GDV1 WS 11/12 Fellner, Bein 15

16 Aktive Optische Verfahren Ein zusätzliches Signal wird in die Szene projiziert Weiteres Bauteil, erfordert oftmals zusätzliche Kalibrierung Erzielt oft eine hohe Präzision Beispiele: 3D-Scanning (Messung von Reflektionseigenschaften) Digital Michelangelo Project GDV1 WS 11/12 Fellner, Bein 16

17 Vor- und Nachteile Aktiver Optischer Verfahren Vorteile: Erzeugen dichte Menge von Abtastpunkten (fast beliebige Feinheit des Abtastens) Normalerweise robuster und genauer als passive Verfahren, insensitiver hinsichtlich Rauschen Weniger rechenintensiv Nachteile: Zusätzliche Lichtquelle (Projektor, Laser) in der Szene wird benötigt Normalerweise etwas teurer als passive, optische Methoden GDV1 WS 11/12 Fellner, Bein 17

18 Optische Triangulation Erzeugung von Tiefen aus Stereoinformation Ähnlich dem menschlichen Sehen Kann Objekte bis etwa zur Größe eines Menschen einscannen Aktive und passive Verfahren Linke Kamera Basislänge b α b z= tan ( α) + tan ( β) (x,z) Rechte Kamera β GDV1 WS 11/12 Fellner, Bein 18

19 Optische Triangulation Passives System: n 2 Kameras Korrespondenzen in den Bildern müssen gefunden werden (schwierig) GDV1 WS 11/12 Fellner, Bein 19

20 Epipolargeometrie Zur Einschränkung des Suchraums beim Lösen des Korrespondenzproblems. Kamerakalibrierung vorausgestzt. X: Punkt in der Szene O L, O R : Fokus der linken und rechten Kamera X L, X R : Projektionen von X auf die Bildebenen der Kameras e L, e R : Epipolarpunkt: Projektion der Fokusse auf die Bildebenen Die Gerade O L -X wird in der linken Kamera als Punkt X L wahrgenommen, in der rechten Kamera als Gerade e R -X R (Epipolarlinie) Einfacher Ansatz: berechne zu einem Pixel in einem Bild die Epipolarlinie im anderen Bild und suche auf dieser eine Übereinstimmung GDV1 WS 11/12 Fellner, Bein 20

21 Web-based 3D-Reconstruction EPOCH European Network of Excellence in Open Cultural Heritage MeshLab ARC 3D Webservice GDV1 WS 11/12 Fellner, Bein 21

22 Aktive Optische Triangulation Aktiver Aufbau mit Laser als Lichtquelle Laser b z= tan ( α) + tan ( β) Spiegel α Basislänge b (x,z) β Strahlschnitt Kamera GDV1 WS 11/12 Fellner, Bein 22

23 Aktive Optische Triangulation Laser als aktive Lichtquelle Wird über die Szene bewegt Der reflektierte Punkt kann eindeutig identifiziert und zur Triangulation verwendet werden GDV1 WS 11/12 Fellner, Bein 23

24 Aktive Optische Triangulation Verbessertes System: Laserlinie statt eines einzelnen Laserstrahls GDV1 WS 11/12 Fellner, Bein 24

25 Praktische Probleme optischer Triangulation Ungünstige Materialeigenschaften des Objekts (dunkel, spiegelnd) Mehrfachreflexion des Objekts Ausgefranste Kanten am Rand des Objekts Texturrelief (erzeugt ungewollt real nicht vorhandene Geometrie) GDV1 WS 11/12 Fellner, Bein 25

26 Verdeckungen Kamera Lichtquelle Kamera sieht den beleuchteten Punkt nicht Punkt liegt im Schatten Kürzere Basisline führt zu weniger Verdeckungen Längere Basislinie führt zu erhöhter Präzision GDV1 WS 11/12 Fellner, Bein 26

27 Aktive Optische Triangulation Streifenlichtprojektion (Lampe statt Laser) Reflektiertes Streifenmuster wird analysiert GDV1 WS 11/12 Fellner, Bein 27

28 Triangulation Streifenprojektionsverfahren Optische Messmethoden, die Bildsequenzen zur Abtastung verwenden Kleinere Aufnahmezeiten durch Projektion mehrerer Streifen Simultane Erzeugung vieler Abtastpunkte Vorgehensweise: Identifikation der Streifen in Bildern der Kamera Rückrechnung der Tiefe Annahmen: Projektor und Kameraposition sind bekannt Oberfläche ist glatt (Streifen werden auf konsistente Kurven abgebildet) GDV1 WS 11/12 Fellner, Bein 28

29 Prinzip der Streifenprojektion GDV1 WS 11/12 Fellner, Bein 29

30 Streifenprojektionsverfahren (schwarz/weiss) Projektor beleuchtet Objekt zeitlich sequentiell mit Mustern paralleler schwarz-weiss Streifen unterschiedlicher Breite Kamera registriert projiziertes Streifenmuster (=Projektionsmuster) unter bekanntem Blickwinkel Für jedes Projektionsmuster wird ein Bild aufgenommen Für jeden Bildpunkt entsteht zeitliche Folge unterschiedlicher Helligkeitswerte GDV1 WS 11/12 Fellner, Bein 30

31 Streifenprojektionsverfahren (schwarz/weiss) Berechnung der Abtastpunkte Zeitliche Folge von Helligkeitswerten eines Bildpunkts erlaubt Berechnung der eindeutigen Nummer (Code) eines Streifens Nummer dieses Streifens spezifiziert Lichtebene, Bildpunkt spezifiziert Lichtstrahl, Schnittpunkt ergibt Abtastpunkt (Kamera und Projektorposition bekannt) Zeit ssss wsss 0 1 ssws 4 swsw GDV1 WS 11/12 Fellner, Bein 31 Ort

32 Streifenprojektionsverfahren (schwarz/weiss) Berechnung der Abtastpunkte Zeitliche Folge von Helligkeitswerten eines Bildpunkts erlaubt Berechnung der eindeutigen Nummer (Code) eines Streifens Nummer dieses Streifens spezifiziert Lichtebene, Bildpunkt spezifiziert Lichtstrahl, Schnittpunkt ergibt Abtastpunkt (Kamera und Projektorposition bekannt) GDV1 WS 11/12 Fellner, Bein 32

33 Gray Code Streifenmuster Zur Verringerung/Erkennung von möglichen Ablesefehlern wechselt in jedem Punkt der Code nur einmal Benachbarte Codes unterscheiden sich nur um eine Ziffer, im Binärcode also 1 Bit Zur Umrechnung siehe: Weisstein, Eric W. "Gray Code." From MathWorld--A Wolfram Web Resource. Zeit GDV1 WS 11/12 Fellner, Bein 33 Ort

34 Triangulation Diskussion Genauigkeit abhängig vom Arbeitsbereich typisch ~1000:1 also: Genauigkeit etwa 1/1000 der gemessenen Distanz, z.b. 50 cm Arbeitsbereich, 0.5 mm Genauigkeit Funktioniert gut für kleine oder relativ nah abgetastete Objekte Schwierigkeiten für sehr grosse und weiter entfernte Objekte Basislänge zu gross, Reflektion wird zu schwach Problem: mögliche Verdeckung des Kamerabildes oder der Lichtquelle Gradwanderung zwischen schlechter Abtastung für zu kleine Winkel und mehr Verdeckungsproblemen bei grossen Winkeln Praxis: sinnvoller Bereich für Triangulationswinkel: Komplexe Objekte erzeugen sehr grosse Mengen von Abtastpunkten; speicherintensiv z.b. David, circa 5 Meter hoch, etwa 2 Milliarden Abtastpunkte, hunderte Scans Weiterverarbeitung erfordert Mesh-Dezimation, LOD (Level of detail techniques) GDV1 WS 11/12 Fellner, Bein 34

35 Streifenprojektionsverfahren mit Farbe Abbildung von Farbstreifen im Bild wird zur Gewinnung der Tiefeninformation verwendet Abfolge der ausgesendeten Farbstreifen ist bekannt GDV1 WS 11/12 Fellner, Bein 35

36 Tiefenbestimmung mittels Time of Flight Idee: Bestimmung der Zeit, die ein Lichtpuls (mit Lichtgeschwindigkeit c) von der Quelle zum Objekt und zurück benötigt Daraus ergibt sich der Abstand r des Objekts, denn t r= 1 2 c t Spiegel Spiegel Sensor halbdurchlässiger Spiegel Lichtquelle (Laser) GDV1 WS 11/12 Fellner, Bein 36

37 Tiefenbestimmung mittels Time of Flight Vorteile: Grosse bis sehr grosse Arbeitsvolumen Relativ kostengünstig Einfacher Aufbau Nachteile: Mässige Genauigkeit (~5 mm.) Schnelligkeit der Lichtausbreitung erfordert sehr genaue Zeitmessung im 30 Pico-Sekunden Bereich Unabhängig von der Objektgrösse Anwendung auf diffus reflektierende Objekte Vermessung von Gebäuden, Räumen, Ruinen Abstandsbestimmung (z.b. Flugzeug Boden, Erde -- Mond) GDV1 WS 11/12 Fellner, Bein 37

38 Zusammenfassung: Eingabedaten - ein Problem der Graphik Aquisition 3D-Modelle Material Texturen Umgebung Beleuchtung Komposition Transformation Parametrisierung Bild gerendert von Ingo Wald Interaktion Navigation Manipulation GDV1 WS 11/12 Fellner, Bein 38