Visualisierung und 3D Computergraphik auf mobilen Geräten Daniel Weiskopf Institut für Visualisierung und Interaktive Systeme
Übersicht Hintergrund Nexus-Umfeld 3D Graphik auf mobilen Geräten Visualisierungsverfahren Positionsbestimmung Interaktionsmethoden Zusammenfassung
Hintergrund Im Sonderforschungsbereich (SFB) 627: Projekt C5: Präsentationstechniken und Augmented-Reality Projekt D2: Orientierungshilfen für Blinde Weitere Forschungsschwerpunkte des Instituts: Interaktive 3D Computergraphik Visualisierung Mensch-Maschine-Kommunikation
Visualisierung Perzeption, NPR Algorithmen, Szenengraphen Mensch- Maschine- Schnittstelle Web-Graphik, Mobile Graphik Interaktive 3D Graphik
Nexus-Umfeld Daten im Umgebungsmodell mit Raumbezug 3D Graphik auf mobilen Geräten Abstrakte Daten mit indirektem Raumbezug Visualisierung auf kleinen Geräten Herstellung des realen Raumbezugs Augmented-Reality (AR) Direkte 3D Interaktion (ortsbasiert) Sensoren (Position, Orientierung) Gebäude Räume (Multi-) Sensoren Modellerstellung -aktualisierung -konsistenz Umgebungsmodell Modell- -präsentation -nutzung (Mobile) Displays 2D/3D- Karten Geom. Abstraktionen
Nexus-Umfeld Reale Welt Smart Factory Anwendungen Stadtführer Informationsräume Umgebungsmodell Sensordaten AR-Anwendungen Navigation Föderation Multimedia WWW Digitale Bibliotheken
3D Graphik auf mobilen Geräten Verschiedenste Gerätetypen PDA SmartPhone TabletPC Augmented-Reality
3D Graphik auf mobilen Geräten 3D Graphik auf mobilen Geräten schwierig Geringe Unterstützung durch Graphikhardware Wenige Software APIs Beschränkte Bandbreite Stromverbrauch Ansätze 3D Rendering am Graphik-Server mit Image Streaming Vereinfachte Darstellungstechniken
Systemarchitektur Client / Server Architektur Aufbereitung der Daten anhängig von Client-Hardware Szenenkomplexität 3D-Szene NEXUS Umgebungsmodell Föderation Caching / Aufbereitung Sub 3D-Szene Video
Systemarchitektur: Caching-Server Hält von den Clients benötigten Teile des Umgebungsmodells Caching-Strategien, um nicht mehr benötigte Teile des Modells aus dem Cache zu entfernen Zugriffsschnittstelle auf die Nexus-Plattform Anfragen Aktualisierungen
Systemarchitektur: Image Streaming Render-Server Bildkompression Reduktion der benötigten Bandbreite Bildbasiert Color Cell Compression (CCC), ZLIB, Render Server Lese Bildspeicher Übertragung WLAN Mobiles Gerät Kompression
Cartoon-Shading Farbquantisierung Hohe Kompressionsraten
Liniengraphik Idee Generierung von 2D Daten aus 3D Szene Weitere Reduktion der übertragenen Datenmenge Liniengraphik + Schnelle Extraktion + Effiziente Darstellung + Verringerung der benötigten Füllrate - Verlust von Schattierung und Farbe
Liniengraphik Erzeugung im Caching-Server Erkennung von Merkmalskanten (im Objektraum) Verdeckungsberechnung (im Bildraum)
Visualisierungsansätze Darstellung von nichtgeometrischen Daten Visualisierungstechnik ist abhängig von Datentyp (Skalar, Vektor, Text,...) Client/Benutzer-Einstellungen (Balkendiagram bevorzugt, mittlere Größe,...) Leistungsfähigkeit der Client-Hardware Automatisierte Auswahl über Datenbank
Visualisierungstechniken im AR-Szenario Head-Mounted Display mit Laptop Status Objekt Informationen Textinformationen Info Icons
Visualisierung von Daten Skalare Daten: Volumenvisualisierung Vektorfelder Tensorfelder Hochdimensionale Daten
Positionsbestimmung Grundlegendes Problem bei mobilen Geräten Abhängig vom Anwendungsgebiet Innenraum Außenraum Größe des abgedeckten Bereichs Infrastruktur Kosten Fusion verschiedener Sensorinformationen
Positionsbestimmung Optisches Tracking Sehr genau (mm) Räumliche Beschränkung Verdeckungsprobleme WLAN Positionierung Über empfangene Signalstärke Benötigt Referenzwerte der Signalstärken Ungenau (m) Inertialsensoren Gut für Bestimmung der Orientierung
Positionsbestimmung Abgleich durch Benutzer Anvisieren von Zielmarken Position und Orientierung optisch nachschärfen Grobe Orientierung durch Sensoren Abgleich von Merkmalen im Kamerabild mit Umgebungsmodell Marker-Less Tracking
Interaktionsmodelle Fragestellungen Kein einheitliches Bedienungsmodell wie für Arbeitsplatzrechner Eingeschränkte Eingabegeräte Abhängig von der Anwendung
Interaktion durch Orientierung Orientierung dient als weitere Eingabeschnittstelle Abbildung auf Interaktionen TabletPC mit Orientierungssensor ausgerüstet Generische Integration für Windows und Linux Einsetzbar in beliebigen Applikationen (Acrobat, Browser, E- Book Reader, Spiele, )
Reduzierte AR-Interaktion TabletPC statt AR-Brille Anreicherung durch Überlagerung auf dem Display Orientierungsmessung
Anwendung: Smart Factory Intelligente Fabrikhalle Erfasste Werkzeug/Maschinenzustände darstellen Navigation Montageanleitungen Fabrikplanung Gefahrensituationen Condition: MED Condition: BAD Insert here Condition: OK
Zusammenfassung Fokussierung auf 3D Graphik Effizienz von 3D Darstellungen Server-Konzept und Image Streaming Vereinfachte Darstellungstechniken Visualisierung aller Informationen aus einem Umgebungsmodell Automatisches System zur Auswahl von Visualisierungsverfahren Orientierung als Interaktionsmethode
Ausblick Hardwareunterstützung für 3D Graphik auf mobilen Geräten Computerspiele Weiterentwicklung von APIs OpenGL ES Direct3D Mobile Langfristige Probleme Stromverbrauch Bandbreite Interaktion Darstellung auf kleinen Displays Positionsbestimmung
Weitere Informationen Beteiligte Personen J. Diepstraten, M. Eißele, T. Ertl, A. Hub Demonstratoren zu C5 und D2 Weitere Informationen: www.nexus.uni-stuttgart.de (Teilprojekte C5 und D2) www.vis.uni-stuttgart.de Email: weiskopf@vis.uni-stuttgart.de