Visualisierung und 3D Computergraphik auf mobilen Geräten

Transkript

1 Visualisierung und 3D Computergraphik auf mobilen Geräten Daniel Weiskopf Institut für Visualisierung und Interaktive Systeme

2 Übersicht Hintergrund Nexus-Umfeld 3D Graphik auf mobilen Geräten Visualisierungsverfahren Positionsbestimmung Interaktionsmethoden Zusammenfassung

3 Hintergrund Im Sonderforschungsbereich (SFB) 627: Projekt C5: Präsentationstechniken und Augmented-Reality Projekt D2: Orientierungshilfen für Blinde Weitere Forschungsschwerpunkte des Instituts: Interaktive 3D Computergraphik Visualisierung Mensch-Maschine-Kommunikation

4 Visualisierung Perzeption, NPR Algorithmen, Szenengraphen Mensch- Maschine- Schnittstelle Web-Graphik, Mobile Graphik Interaktive 3D Graphik

5 Nexus-Umfeld Daten im Umgebungsmodell mit Raumbezug 3D Graphik auf mobilen Geräten Abstrakte Daten mit indirektem Raumbezug Visualisierung auf kleinen Geräten Herstellung des realen Raumbezugs Augmented-Reality (AR) Direkte 3D Interaktion (ortsbasiert) Sensoren (Position, Orientierung) Gebäude Räume (Multi-) Sensoren Modellerstellung -aktualisierung -konsistenz Umgebungsmodell Modell- -präsentation -nutzung (Mobile) Displays 2D/3D- Karten Geom. Abstraktionen

6 Nexus-Umfeld Reale Welt Smart Factory Anwendungen Stadtführer Informationsräume Umgebungsmodell Sensordaten AR-Anwendungen Navigation Föderation Multimedia WWW Digitale Bibliotheken

7 3D Graphik auf mobilen Geräten Verschiedenste Gerätetypen PDA SmartPhone TabletPC Augmented-Reality

8 3D Graphik auf mobilen Geräten 3D Graphik auf mobilen Geräten schwierig Geringe Unterstützung durch Graphikhardware Wenige Software APIs Beschränkte Bandbreite Stromverbrauch Ansätze 3D Rendering am Graphik-Server mit Image Streaming Vereinfachte Darstellungstechniken

9 Systemarchitektur Client / Server Architektur Aufbereitung der Daten anhängig von Client-Hardware Szenenkomplexität 3D-Szene NEXUS Umgebungsmodell Föderation Caching / Aufbereitung Sub 3D-Szene Video

10 Systemarchitektur: Caching-Server Hält von den Clients benötigten Teile des Umgebungsmodells Caching-Strategien, um nicht mehr benötigte Teile des Modells aus dem Cache zu entfernen Zugriffsschnittstelle auf die Nexus-Plattform Anfragen Aktualisierungen

11 Systemarchitektur: Image Streaming Render-Server Bildkompression Reduktion der benötigten Bandbreite Bildbasiert Color Cell Compression (CCC), ZLIB, Render Server Lese Bildspeicher Übertragung WLAN Mobiles Gerät Kompression

12 Cartoon-Shading Farbquantisierung Hohe Kompressionsraten

13 Liniengraphik Idee Generierung von 2D Daten aus 3D Szene Weitere Reduktion der übertragenen Datenmenge Liniengraphik + Schnelle Extraktion + Effiziente Darstellung + Verringerung der benötigten Füllrate - Verlust von Schattierung und Farbe

14 Liniengraphik Erzeugung im Caching-Server Erkennung von Merkmalskanten (im Objektraum) Verdeckungsberechnung (im Bildraum)

15 Visualisierungsansätze Darstellung von nichtgeometrischen Daten Visualisierungstechnik ist abhängig von Datentyp (Skalar, Vektor, Text,...) Client/Benutzer-Einstellungen (Balkendiagram bevorzugt, mittlere Größe,...) Leistungsfähigkeit der Client-Hardware Automatisierte Auswahl über Datenbank

16 Visualisierungstechniken im AR-Szenario Head-Mounted Display mit Laptop Status Objekt Informationen Textinformationen Info Icons

17 Visualisierung von Daten Skalare Daten: Volumenvisualisierung Vektorfelder Tensorfelder Hochdimensionale Daten

18 Positionsbestimmung Grundlegendes Problem bei mobilen Geräten Abhängig vom Anwendungsgebiet Innenraum Außenraum Größe des abgedeckten Bereichs Infrastruktur Kosten Fusion verschiedener Sensorinformationen

19 Positionsbestimmung Optisches Tracking Sehr genau (mm) Räumliche Beschränkung Verdeckungsprobleme WLAN Positionierung Über empfangene Signalstärke Benötigt Referenzwerte der Signalstärken Ungenau (m) Inertialsensoren Gut für Bestimmung der Orientierung

20 Positionsbestimmung Abgleich durch Benutzer Anvisieren von Zielmarken Position und Orientierung optisch nachschärfen Grobe Orientierung durch Sensoren Abgleich von Merkmalen im Kamerabild mit Umgebungsmodell Marker-Less Tracking

21 Interaktionsmodelle Fragestellungen Kein einheitliches Bedienungsmodell wie für Arbeitsplatzrechner Eingeschränkte Eingabegeräte Abhängig von der Anwendung

22 Interaktion durch Orientierung Orientierung dient als weitere Eingabeschnittstelle Abbildung auf Interaktionen TabletPC mit Orientierungssensor ausgerüstet Generische Integration für Windows und Linux Einsetzbar in beliebigen Applikationen (Acrobat, Browser, E- Book Reader, Spiele, )

23 Reduzierte AR-Interaktion TabletPC statt AR-Brille Anreicherung durch Überlagerung auf dem Display Orientierungsmessung

24 Anwendung: Smart Factory Intelligente Fabrikhalle Erfasste Werkzeug/Maschinenzustände darstellen Navigation Montageanleitungen Fabrikplanung Gefahrensituationen Condition: MED Condition: BAD Insert here Condition: OK

25 Zusammenfassung Fokussierung auf 3D Graphik Effizienz von 3D Darstellungen Server-Konzept und Image Streaming Vereinfachte Darstellungstechniken Visualisierung aller Informationen aus einem Umgebungsmodell Automatisches System zur Auswahl von Visualisierungsverfahren Orientierung als Interaktionsmethode

26 Ausblick Hardwareunterstützung für 3D Graphik auf mobilen Geräten Computerspiele Weiterentwicklung von APIs OpenGL ES Direct3D Mobile Langfristige Probleme Stromverbrauch Bandbreite Interaktion Darstellung auf kleinen Displays Positionsbestimmung

27 Weitere Informationen Beteiligte Personen J. Diepstraten, M. Eißele, T. Ertl, A. Hub Demonstratoren zu C5 und D2 Weitere Informationen: (Teilprojekte C5 und D2)