Graphische Datenverarbeitung I Eingabe Graphischer Daten

Transkript

1 Graphische Datenverarbeitung I Eingabe Graphischer Daten 1

2 3D Graphik-Pipeline CPU GPU Anwendung Geometrieverarbeitung Rasterisierung Ausgabe Eingabe graphischer Daten Repräsentation von 3D Daten Graphische Primitive Transformationen Räumliche Datenstrukturen 2

3 Interaktive Direkt graphische Lichtgriffel Touchscreen Indirekt graphische Graphisches Tablett Maus / Rollkugel Mechanisch Optisch Joystick Tracker Phantom Datenhandschuh 3

4 Interaktive Direkt graphische Lichtgriffel Touchscreen Indirekt graphische Graphisches Tablett Maus / Rollkugel Tracker Mechanisch Optisch Phantom Datenhandschuh Signalerzeugung: -- elektrostatisch -- akustisch Surface Acoustic Wave 4

5 Interaktive Direkt graphische Lichtgriffel Touchscreen Indirekt graphische Graphisches Tablett Maus / Rollkugel Tracker Mechanisch Optisch Phantom Datenhandschuh Magnetspule des Pucks sorgt für erhöhte Spannung aus der (x,y) bestimmt wird 5

6 Interaktive Direkt graphische Lichtgriffel Touchscreen Indirekt graphische Graphisches Tablett Maus & Rollkugel (Trackball) Mechanisch Optisch Tracker Phantom Datenhandschuh 6

7 Interaktive Direkt graphische Lichtgriffel Touchscreen Indirekt graphische Graphisches Tablett Maus & Rollkugel (Trackball) Mechanisch Optisch Tracker Phantom Datenhandschuh Mechanische Maus (seit 1982 kommerziell, Xerox Parc) Drehung der Rollkugel wird über 2 Lochscheiben (x,y-richtung ) mit je 2 Fotodioden in Impulse umgesetzt Zustandänderung bestimmt Bewegung in in x und y-richtung am Display Drücken der Maustasten: Impuls 7

8 Interaktive Direkt graphische Lichtgriffel Touchscreen Indirekt graphische Graphisches Tablett Maus & Rollkugel Mechanisch Leuchtdiode & Fototransistor (anstatt Rollkugel) Optischer Sensor tastet Raster auf Unterlage ab Optisch Ca. 15x15-30x30 pixel Tracker to Bilder/s Phantom einfache Mustererkennung Datenhandschuh 8

9 Interaktive Direkt graphische 3 oder 6 Freiheitsgrade (DOF, Degrees of freedom): absolute Lichtgriffel Touchscreen Indirekt graphische Position plus optional: Richtung mechanisch (rechts) akkustisch (Ultraschall) optisch (Kameras, unten) Graphisches Tablett magnetisch Maus / Rollkugel Mechanisch Optisch Tracker Phantom Datenhandschuh 9

10 Interaktive Direkt graphische Lichtgriffel Touchscreen Indirekt graphische Graphisches Tablett Maus / Rollkugel Tracker Mechanisch Optisch Phantom 6 DOF über Gelenkwinkel Haptisches Feedback erlaubt virtuelles Berühren eines Objekts (Ausgabe- Feature) Variante (rechts): direktes Eingabegerät Datenhandschuh 10

11 Interaktive Direkt graphische Lichtgriffel Touchscreen Indirekt graphische Graphisches Tablett Maus / Rollkugel Tracker Mechanisch Optisch Phantom Datenhandschuh Bewegungs-Informationen der Beugungs-und Abduktionssensoren werden über optische Kabel im Positions-Datenerfassung-Sensor erfasst und zur Schnittstelle des PCs geleitet magnetisch mechanisch optisch 11

12 Abtastung realer Objekte Erzeugung von geometrischen Daten 12

13 Abtastung realer Objekte Aufnahme von mehreren Tiefenbildern (= diskrete Menge von Abtastpunkten/3D-Daten aus einer Sicht) Registrierung: Überlagerung zu einer Punktwolke, bzw. Dreiecksnetz, Transformation in gemeinsames Koordinatensystem 13

14 Abtastung realer Objekte Beispielanwendung: Reverse Engineering Anwendungen: Gebiete bei denen (halb) automatische Designprozesse notwendig sind Circa 1000 Systeme in Deutschland Prothesen (Medizin, Zahntechnik), Formkontrolle (Werkzeuge), Automobil & Flugzeugindustrie, Beispiel: Abtastung eines Silberpfeil W196,14 Stunden Messzeit, circa100 Millionen Messpunkte, Abstand 2cm, 80 Stunden Bearbeitungszeit für CAD-Modell 14

15 Erzeugung von Tiefenbildern Taxonomie (= Klassifizierung) Tiefenbild- erzeugung Kontakt Transmissiv Mechanisch Inertial Ultraschall Tracker Magnetische Tracker CT (Computertomographie( Computertomographie) Ultraschall MR (Magnetresonanz( Magnetresonanz) Reflektiv Nicht optisch Optisch Radar Sonar 15

16 Gewinnung von Tiefenbildern Taxonomie Optische Methoden Passiv Aktiv Generierung von Tiefen-Information aus (Video)Bildern: Stereo Bewegung Beleuchtung Textur Fokus Defokus (Bildverarbeitung, Computer Vision) Aktive Varianten passiver Methoden Stereo mit Zusatzinformation: Markerpunkte, projizierte Textur, aktive Tiefe aus Defokus, photometrisch (variiere Lichtquellen) Time of flight Triangulation Generierung von Tiefen- Information durch Licht in der Szene (GDV) 16

17 Gewinnung von Tiefenbildern Optische Methoden Vorteile: Kontaktfrei Sicher (Beschädigung des Objekts unwahrscheinlich) Typischerweise kostengünstig und schnell Nachteile: Abhängigkeit von optischen Eigenschaften des Objekts Empfindlichkeit gegenüber Transparenz Messfehler durch Mehrfachreflexion Spiegelungen Verdeckungsproblematik Textur 17

18 Gewinnung von Tiefenbildern Aktive Optische Methoden Vorteile: erzeugen dichte Menge von Abtastpunkten (fast beliebige Feinheit des Abtastens) normalerweise robuster und genauer als passive Verfahren, insensitiver hinsichtlich Rauschen (Noise) weniger rechenintensiv Nachteile: zusätzliche Lichtquelle (Laser) in der Szene wird benötigt entspricht nicht dem normalen menschlichen Sehen Normalerweise etwas teurer als einige passive, optische Methoden 18

19 Pulsed Time of Flight Idee: Bestimmung der Zeit Δt,die ein Lichtpuls (mit Licht- Geschwindigkeit c) von der Quelle zum Objekt und zurück benötigt, dies ergibt Abstand r des Objekts, denn Spiegel Szene, Objekte r 1 = c Δ t 2 Spiegel Sensor Halbdurchlässiger Spiegel Lichtquelle (Laser) 19

20 Pulsed Time of Flight Vorteile: grosse bis sehr grosse Arbeitsvolumen relativ kostengünstig einfacher Aufbau Nachteile: mässige Genauigkeit (~5 mm.) Schnelligkeit der Lichtausbreitung erfordert sehr genaue Zeitmessung im 30 Pico-Sekunden Bereich unabhängig von der Objektgrösse Anwendung auf diffus reflektierende Objekte Vermessung von Gebäuden, Räumen, Ruinen Abstandsbestimmung (z.b. Flugzeug Boden, Erde -- Mond) 20

21 Triangulation Projektor (Laser) mit beweglichem Spiegel wirft Lichtstrahlen in die Szene, welche das Mess-Objekt an Punkten trifft Kamera erfaßt Reflektion der Punkte aus einem weiteren Winkel β Basislänge (Abstand Projektor-Kamera) d und Winkel α, β zwischen Lichtstrahlen und Basis erlauben Bestimmung der 3D-Position des Mess-Punkts Objekt α Laser β Kamera β d Namensgebung Triangulation: Aufnahmeeinheit (= Projektor & Kamera) bildet zusammen mit beleuchtetem Punkt des Mess-Objekts ein Dreieck 21

22 Triangulation unabhängige Bewegung von Kamera und Lichtquelle führt zu Problemen daher:kamera und Lichtquelle werden fest miteinander verbunden, dann kennt man d zudem: f 0 bekannt, sowie die Winkel und p aktuell bestimmt Abstand z zum 3D-Objekt berechnet sich aus dem Strahlensatz: z / ( z + f 0 ) = d / ( p + d + f 0 * tan(θ)) z 22

23 Triangulation Bewegung von Kamera und Lichtquelle entlang dem Objekt um das Objekt rotierend 23

24 Triangulation Bewegung von Kamera und Lichtquelle 24

25 Triangulation Diskussion Genauigkeit abhängig vom Arbeitsbereich (typisch ~1000:1 also: Genauigkeit etwa 1/1000 der gemessenen Distanz, z.b. 5 cm Arbeitsbereich, 50 μm Genauigkeit) funktioniert gut für kleine oder relativ nah abgetastete Objekte Schwierigkeiten für sehr grosse und weiter entfernte Objekte (Basislänge zu gross, Reflektion wird zu schwach) Problem: mögliche Verdeckung des Kamerabildes oder der Lichtquelle Gradwanderung zwischen schlechter Abtastung für zu kleine Winkel und mehr Verdeckungsproblemen bei grossen Winkeln (Praxis: sinnvoller Bereich für Triangulationswinkel: : ) Komplexe Objekte erzeugen sehr grosse Mengen von Abtastpunkten speicherintensiv (z.b. David, circa 5 Meter hoch, etwa 2 Milliarden Abtastpunkte, hunderte Scans), Weiterverarbeitung erfordert Mesh-Dezimation, LOD (Level of detail techniques) 25

26 Triangulation Praktische Probleme bedingt durch: ungünstige Materialeigenschaften des Objekts (dunkel, spiegelnd) Mehrfachreflexion des Objekts Ausgefranste Kanten am Rand des Objekts Texturrelief (erzeugt ungewollt real nicht vorhandene Geometrie) 26

27 Triangulation Streifenprojektionsverfahren (Streifenlichoptometrie) Optische Messmethoden, die Bildsequenzen zur Abtastung verwenden kleinere Aufnahmezeiten durch Projektion mehrerer Streifen simultane Erzeugung vieler Abtastpunkte Vorgehensweise : Identifikation der Streifen in Bildern der Kamera, dann Rückrechnung der Tiefe Annahmen: Projektor und Kameraposition sind bekannt Oberfläche ist glatt (Streifen werden auf konsistente Kurven abgebildet) 27

28 Triangulation Prinzip der Streifenprojektion 28

29 Triangulation Streifenprojektionsverfahren mit Farbe Abbildung von Farbstreifen im Bild wird zur Gewinnung der Tiefeninformation verwendet Abfolge der ausgesendeten Farbstreifen ist bekannt 29

30 Triangulation Streifenprojektionsverfahren (schwarz--weiss) Projektor beleuchtet Objekt zeitlich sequentiell mit Mustern paralleler schwarz-weiss Streifen unterschiedlicher Breite Kamera registriert projiziertes Streifenmuster (=Projektionsmuster) unter bekanntem Blickwinkel Für jedes Projektionsmuster wird ein Bild aufgenommen Für jeden Bildpunkt entsteht zeitliche Folge unterschiedlicher Helligkeitswerte 30

31 Triangulation Streifenprojektionsverfahren (schwarz--weiss) Zeit Berechnung der Abtastpunkte zeitliche Folge von Helligkeitswerten eines Bildpunkts erlaubt Berechnung der eindeutigen Nummer (Code) eines Streifens (Streifen-Identifikation) Nummer dieses Streifens spezifiziert Lichtebene, Bildpunkt spezifiziert Lichtstrahl, Schnittpunkt ergibt Abtastpunkt (Kamera und Projektorposition bekannt) Ort 31

32 Triangulation Gray Code Streifenmuster Zeit zur Verringerung/Erkennung von möglichen Ablesefehlern wechselt in jedem Punkt der Code nur einmal benachbarte Codes unterscheiden sich nur um eine Ziffer, im Binärcode also 1 Bit Ort 32

33 Gray Code Funktionsweise & Beispiel 1 an n-ter Position hat Wertigkeit 2 n -1: 1,3,7,15,31, (n=1,2,3,4,5, ) 1 en werden von rechts beginnend subtrahiert, wobei 0 en ausgelassen werden Beispiel: n=3 111=7-(3-1)=5 101=7-1=6 011=3-1=2 33