Virtuelle Welten in der Wissenschaft

Transkript

1 Virtuelle Welten in der Wissenschaft Prof. Stefan Gumhold Professur für Computergraphik und Visualisierung Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 1

2 Motivation ELBE-Simulation, KP CGV 2009 gemeinsam mit Helmholtz-Zentrum Dresden Rossendorf Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 2

3 Virtuelle Welten geometrische Modellierung Modellbildung Animation Simulation Interaktion Darstellung Visualisierung Prof. Dr. Stefan Gumhold, Computer Graphics 3

4 Virtuelle Welten geometrische Modellierung interaktive Modellierung 3D Aufnahme der realen Welt prozedurale Modellierung dynamisches 3D Scanning Dichte Tiefenkarten von Webcam Baum Tomographie Prof. Dr. Stefan Gumhold, Computer Graphics 4

5 Dynamisches 3D Scanning Strukturiertes Licht mit Bewegungskompension 1280x fps Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 5

6 Dynamisches 3D Scanning Prinzip der Tiefenrekonstruktion: Projektorebenen Schnittpunkte Korrespondenzen zwischen Kamera und Projektorbild werden aktiv mittels Kodierung im Projektionsmuster hergestellt! Kamera Sichtstrahlen Projektor Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 6

7 Dynamisches 3D Scanning Scanverarbeitung Rohdaten: Entfernung von Ausreißern, Rauschen und unerwünschten Hintergrundobjekten, Registrierung von mehreren Scans: Punktkorrespondenzen Zwei Teilscans mit Punktkorrespondenze n: Resampling, Einfärbung, Berechnung von Oberflächennormalen, Kombiniertes Modell p i q i Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 7

8 Dynamisches 3D Scanning Geometriekompression Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 8

10 Dichte Tiefenkarten von Webcam Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 10

11 Dichte Tiefenkarten von Webcam E h I x I x i i i Linearisierung h dx x 1 X x h x 2 h u Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 11 h E h E h, u i a h b i i i a h(x) b i h u 2 i h kopple duale Tiefenkarte u u alternierende Optimierung mit dx min E h, u u E h, u min dx

12 Dichte Tiefenkarten von Webcam 3 Bilder mit 450x375, 2.0fps (NVidia Tesla C1060) Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 12

18 Baum Tomographie Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 18

20 Baum Tomographie 0 opak 1 transparent min / mul Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 20

21 Baum Tomographie 0 opak 1 transparent max Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 21

22 Baum Tomographie 0 opak 1 transparent mul / raycast / exp sum log Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 22

23 Baum Tomographie 0 opak 1 transparent raycast max Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 23

25 Baum Tomographie Vogelkirsche Inputbilder: 18 Auflösung: 2400x1600 Output: GPU Time: 24sec GPU-speedup: 12x Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 25

26 Baum Tomographie Vogelkirsche Inputbilder: 18 Auflösung: 2400x1600 Output: GPU Time: 1:10min GPU-speedup: 34x Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 26

27 Baum Tomographie Vogelkirsche Inputbilder: 18 Auflösung: 2400x1600 Output: GPU Time: 14min GPU-speedup: 50x Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 27

29 Virtuelle Welten Animation Simulation Keyframe- Interpolation physikalische Simulation Charakteranimation Beschneiungssimulation Sprühreinigungssimulation Prof. Dr. Stefan Gumhold, Computer Graphics 29

30 Beschneiungssimulation Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 30

31 Beschneiungssimulation Modellbildung horizontal Glättung Sichtbarkeit Randbedingung Austausch am Rand Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 31

32 Beschneiungssimulation Modellbildung Randbedingungen: h( 0, x ) h h( t, x ) h 0 0 ( x) ( x) (t) h(t) V=0 h 0 Zeitentwicklung: h( t, x) k h( t, x) s( t, x) t x V ( t, x) ( t, x) ( t, x) Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 32

33 Beschneiungssimulation Simulation Diskretisierung auf Stapel von Tiefenkarten Zeitintegration durch Faltung mit vorintegriertem Kern ( ) * (, ) h( t, x) s x t t x Generierung von Brücken und Überhängen Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 33

34 Beschneiungssimulation Darstellung generiere Texturkoordinaten entlang des Schneerandes bilde Randtextur auf Transparenz ab Kombiniere mit 3D Bumpmap v u Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 34

35 Beschneiungssimulation Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 35

36 Virtuelle Welten Animation Simulation Keyframe- Interpolation physikalische Simulation Charakteranimation Beschneiungssimulation Sprühreinigungssimulation Prof. Dr. Stefan Gumhold, Computer Graphics 36

37 Sprühreinigungssimulation Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 37

38 Sprühreinigungssimulation Versuchsstand für Sprühreinigungstests Fraunhofer AVV, Dresden, Heidelberger Str. Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 38

39 Sprühreinigungssimulation Versuchsanordnung im Inneren UV-Strahler Düse Uranin Kamera Seitenansicht Düsenansicht Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 39

40 Sprühreinigungssimulation Der Chicago River am St. Patrick s Day, Wikipedia Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 40

41 Sprühreinigungssimulation Simulation auf tesseliertem CAD-Modell Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 41

42 Sprühreinigungssimulation Speicherung von Attributen auf Dreiecksnetz Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 42

43 Sprühreinigungssimulation Kompression mit Hilfe von Sigmoid Funktion Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 43

44 Sprühreinigungssimulation Validierung im Experiment Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 44

45 Sprühreinigungssimulation Validierung im Experiment Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 45

47 Virtuelle Welten Darstellung Visualisierung globale Beleuchtung Echtzeitgraphik illustrative Darstellung Rasterisierung glatter Flächen Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 47

48 Rasterisierung glatter Flächen Kugeln und Ellipsoide Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 48

49 Rasterisierung glatter Flächen Stilisierte Linienprimitive Vortex Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 49

50 Rasterisierung glatter Flächen Stilisierte Linienprimitive Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 50

51 Rasterisierung glatter Flächen Glatte Oberflächen Mesh vs SLIM reflection lines Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 51

52 Rasterisierung glatter Flächen Berechne projizierte Silhouette bedecke Silhouette mit Graphikprimitiv Vertex Shader schneide pro Pixel Strahl mit Fläche Beleuchtungsberechnung Fragment Shader Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 52

53 Rasterisierung glatter Flächen Beiträge Formel für direkte Berechnung des sichtbaren Schnitts effizientes Verwerfen nicht sichtbarer Rückseiten Nutzung der Rechenleistung des Rasterisierers Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 53

54 Rasterisierung glatter Flächen Kombination mit Vektortexturen und Transparenz Stefan Schmutz Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 54

55 Rasterisierung glatter Flächen globale Beleuchtungseffekte Ambient Occlusion Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 55

56 Project VICCI Visual and Interactive Cyber-Physical Systems Control and Integration Ambient Assisted Living + Cyber-Physical Systems Smart Home CPS assisting resident Sensors (Cameras, Temperatures, etc.) und Actuators (Light, radiator valve, service robot, etc.) Team: 8 Ph.D. + 2 PostDoc from 4 Chairs Computer Graphics & Visualization Software Engineering Ubiquitous Systems Software Technology Multimedia Technology 02/19/2013 Prof. Dr. Stefan Gumhold, CGV for Robotics 56

57 Scientific Goals Service Robot Turtle-bots: Roomba with platform for sensors humanoider Nao robot omni-directionale platform with arm Kuka Youbot with Kinova Jaco Computer Vision and Sensor Fusion detect, search, localization, cartography path- and grab-planning CPS Software world model and middleware with semantic reasoning distributed, adaptive, object oriented process engine visualization for control and supervision, development tools 02/19/2013 Prof. Dr. Stefan Gumhold, CGV for Robotics 57

58 Learn to Recognize Object, Pose & Segmentation Learn from rendered RGBD generate 3D scans of typical objects found in household generate training data with fast GPU-based rendering of objects in different poses learn regression tree field model Recognition from RGBD compute per pixel object id and pose find objects with RANSAC fit 3D Scan of object to RGBD 02/19/2013 Prof. Dr. Stefan Gumhold, CGV for Robotics 58

59 Particle Filter Based Tracking observations (video frames) states (object s positions) 02/19/2013 Prof. Dr. Stefan Gumhold, CGV for Robotics 59

60 Vielen Dank an die Koautoren Carsten Stoll, Sören König, Niels v. Festenberg, Marcel Spehr, Jan Stühmer, Daniel Cremers, Dominik Vock und den Studenten der Komplexpraktika Prof. Dr. Stefan Gumhold, Computergraphik und Visualisierung 60