Mixed Reality. Nira Dietrich

Transkript

1 Mixed Reality Nira Dietrich

2 Gliederung 1. DWARF --> SHEEP 2. Studierstube --> Mahjonng 3. Fazit

3 DWARF Distributed Wearable Augmented Reality Framework Entwickelt an der TU München seit Anfang 2000 Versuch, ein Framework zu schaffen, mit dem AR- Systeme entwickelt werden können hardwareübergreifend plattformübergreifend mobil ( wearable ) nutzbar wiederverwendbar

4 DWARF - Services Module komplette Funktionalität von Hard- und Software in einer Hardware-Box zur Laufzeit erweiterbar Software in einem Modul: Treiber, Services, Service- Manager Services definieren 'needs' und 'abilities', die je einen bestimmten Typ haben Service-Manager als Middleware-Komponente auf jedem Modul identisch übernimmt systeminterne Kommunikation

5 DWARF - Entwicklung Aufbau jedes AR-Systems ist dreischichtig 1. low-level: Tracker, Displays, Datenbanken high-level: low-level in Services mit generell benötigter Funktionalität gekapselt --> DWARF 3. Applikation Entwickeln einer Anwendung: benötigte high-level-services wählen low-level-module wählen Anwendung entwickeln evtl. neue Framework-kompatible Module entwickeln installieren und konfigurieren (über XML)

6 DWARF - Services Positionserkennung (Tracking) Weltmodell Aufgabenmodellierung (Taskflow Engine) Ansprechen externer Geräte (Context-aware service access) Benutzeroberfläche (User Interface Engine)

7 SHEEP Shared Environment Entertainment Pasture Demonstration und Test von DWARF

8 SHEEP Jedes Schaf kennt die Position der anderen und versucht ohne Zusammenstoße bei der Herde zu bleiben Ein echtes Plastikschaf wird von der Herde erkannt Über Spracherkennung und Zauberstab können Schafe eingefügt und entfernt werden ( insert, die ) Schafe können mit Palm aufgenommen werden Über HMD auch mit den Händen aufnehmbar Zuschauer über getrackte Laptops

9 SHEEP Aufbau des Spiels

10 SHEEP Services bei SHEEP: Tracking DTrack, Adapter: UDP in DWARF pose events Schafsimulation Interaktion: Taskflow Engine mit Petrinetzen und Tokens Visualisierung: Szenenbeschreibungen in VRML Verwendete Middleware ist CORBA-basiert Netzwerk 100 Mbit-Ethernet, IEEE wireless jam sessions : Entwickeln am laufenden System Gute Akzeptanz durch Benutzer

11 Studierstube Entwickelt an der TU Wien ab 1996 Eines der ersten kollaborativen Augmented Reality Systeme 3D-interface als generelle Arbeitsumgebung 3D Fenster mit ähnlichen Merkmalen wie 2D Fenster (begrenzt, positionieren, resizen, min., max., Fokus) Multi-User / Multi-Host System (face-to-face, remote) Multi-Tasking Multi-Document-Interface (MDI)

12 3D Fenster

13 Studierstube Kollektion von C++ Klassen Setzt auf OpenInventor auf Vielfältige grafische Umgebung Objektorientierter Szenengraph Besteht aus erweitertem OIV und Runtime-Framework, das die nötige Umgebung für Applikationen schafft Applikationen können separat geschrieben, kompiliert und geladen werden Tracking geschieht über externe Tracking-Applikation OpenTracker

14 Studierstube Eingabe über Personal Interaction Panel Pinchglove Tastatur Ausgabe über HMDs, Virtual Tables (VT) Projektionsleinwand Individuelle Views für unterschiedliche Benutzer, d. h. eine Szene wird für den Blickwinkel jedes Benutzers gerendert

15 Personal Interaction Panel (PIP) Grafik-Tablet mit Stift und Markern User kann seine Hände sehen haptisches Feedback intuitiv, schnell und einfach zu erlernen nicht so schnell erschöpfend Manipulationsmöglichkeiten im PIP-Sheet festgelegt

16 Applikationsobjekt Enthält: Anwendungsdaten grafische Repräsentation der Daten Anwendung, die die Daten verändern kann Interaktion NUR über grafische Repräsentation, d.h. im 3D Fenster oder über PIP Für jedes Objekt(u. jeden User) gibt es eine Instanz des PIP-Sheets Kein Start einer Applikation sondern Erzeugen eines Objekts von einem best. Applikationstyp

17 Locales Szene mit unabhängigem Koordinatensystem Physisch an einem Ort Jedes Display zeigt ein Locale an, ein Locale kann von mehreren Displays angezeigt werden Applikation ist Singleton mit der Möglichkeit, jedem Locale genau ein Replikat zur Verfügung zu stellen Replikate sind synchronisiert Modifikationen können nur am Original ( Master ) durchgeführt werden Der Master benachrichtigt alle Slaves (Replikate) bei Änderungen, Master und Slaves vertauschbar

18 Mahjonng v ähnlich zu Studierstube: PIPs, HMDs, Private Ansichten, kollaborativ

19 Fazit Virtuelle Präsenz nicht Zielsetzung, da darauf geachtet wird, dass die echte Realität noch gesehen wird Vorstufe zur virtuellen Präsenz, da eine halbvirtuelle Welt gesehen wird, jedoch Erweiterung hier nur Objekte, Erweiterung mit Menschen aber auch möglich (Uni in Singapur 3D Live) entwickelte Methoden könnten für virtuelle Präsenz sehr gut verwendet werden (bes. Tracking, Multimodalität, HMDs... )

20 Persönliches Fazit Wenig Öffentlichkeitsarbeit Bemühen um Intuitivität --> gute Akzeptanz durch Benutzer Erfolgreiche Bemühungen DWARF und Studierstube miteinander zu verbinden, zeigen wie zukunftsträchtig komponentenbasierte Systeme im AR-Bereich sind Tracking ist hochpräzise, aber: optisches Tracking für lebendiges System eher ungeeignet (Marker verdeckt) Wissen um hochtechnische Details von AR-Systemen nicht mehr notwendig um Applikationen zu entwickeln, Standards (C++, Java, VRML, Corba, XML...) werden verwendet, deshalb größere Chancen auf Entwicklung von Applikationen