Konzeption und Realisierung der Integration von realen Kommunikationsendgeräten in virtuelle Umgebungen

Konzeption und Realisierung der Integration von realen Kommunikationsendgeräten in virtuelle Umgebungen Diplomarbeit im Fachgebiet Graphisch-Interaktive Systeme, Fachbereich Informatik, Technische Universität Darmstadt, 2000 Oliver Hinz I. Einleitung II. Konzept III. Realisierung IV. Resümee Gliederung Oliver Hinz 2/24

I. Einleitung Realer Gegenstand als Metapher für das Pendant in einer virtuellen Welt Pendant in einer 3D- und 2D-Umgebung Komponentenbasierung Oliver Hinz 3/24 Motivation Wiederverwendbarkeit durch Komponentenbasierung Einsatz in anderen Applikationen ETOILE Oliver Hinz 4/24

ETOILE Environment for Team, Organisational und Individual Learning in Emergencies Training von Notfallsituationen VR-System zur Visualisierung Intelligente Agenten Verteiltes System Oliver Hinz 5/24 II. Konzept 3D-Objekt 3D 2D Telefonie 2D-Objekt Telefonie- Objekt Kommunikation 3D-Features 2D-Features Telefonie-Features Vertikaler Entwurf Horizontaler Entwurf Verteilte Anwendung Oliver Hinz 6/24

Vertikaler Entwurf 3D-Objekt Nachricht Identifikation über Telefonnummer Abgeschlossene Komponente Skalierbarkeit Telefonie-Objekt 2D-Objekt Nachrichtenbus Telefon-Komponente Kommunikation nach außen möglich Schnittstelle Nachrichtenbus Oliver Hinz 7/24 Horizontaler Entwurf Features des 2D- und 3D-Objektes Darstellung eines Telefonmodells in der entsprechenden Umgebung Nachrichten empfangen und senden Auslösen von Ereignissen durch den Benutzer Oliver Hinz 8/24

Entwurf der Telefonie-Funktionalität Hardware- und Betriebssystem-abhängig Java Telephony API-Spezifikation Implementierung durch Hardware-Hersteller oder Binding Vorteil: Kann zu einem späteren Zeitpunkt ersetzt werden Features: Abspielen von Soundfiles & Vermitteln von Gesprächen Oliver Hinz 9/24 JTAPI-Bindings -7$3, -7$3,Ã%LQGLQJÃ TAPI Binding Call Path Binding Propietary Unix Bindings Sun Binding Novell Binding 7HOHSKRQ\Ã $3,Ã TAPI IBM Call Path SunXTL TSAPI 26Ã Windows OS/2 Unix Solaris NetWare +DUGZDUHÃ,%0Ã&RPSDWLEOHÃ :RUNVWDWLRQÃ 1RYHOOÃ 1HW]ZHUNÃ Oliver Hinz 10/24

Verteilte Anwendung Problem 1: Synchronisierung über Rechnergrenzen Anwendung 1 Anwendung 2 Telefonkomponente Telefonkomponente Kommunikation, z.b RPC RMI oder CORBA Oliver Hinz 11/24 Verteilte Anwendung Problem 2: Hohe Hardware-Vorraussetzung Anwendung 1 Basis-System Telefonkomponente Anwendung 2 Telefonkomponente Oliver Hinz 12/24

Allgemeines III. Realisierung Implementierung in Java Kommunikation über Java InfoBus Komponentenorientierung durch JavaBeans Aufbauend auf den Ergebnissen der Java3D-Beans JTAPI-/CAPI-Binding Prototypische Umsetzung auf Windows-Betriebssystemen Oliver Hinz 13/24 Struktur ETOILE 2D VR LearnerApp 1 2D VR LearnerApp 2 2D VR TrainerApplikation LearnerApp n 2D VR Nachrichtenbus mittels RMI Oliver Hinz 14/24

Aufbau der Telefonie-Server-Daten Nachricht: 141.2.158.35=Telefonie-Server Anmeldung z.b. 141.2.158.34 z.b. 141.2.158.35 LearnerApp Starten... 141.2.158.35 TrainerApplikation Starten... Oliver Hinz 15/24 Sammlung der TelefonBean-Daten 2D VR SendBeanData [Data1,..., Data n] PhoneBus TelephoneServices TrainerApplikation Oliver Hinz 16/24

Gesprächsmöglichkeiten Fall Mensch zu Mensch Agenten Menschen Fall Mensch zu Agent Fall Agent zu Mensch Fall Agent zu Agent Oliver Hinz 17/24 Beispiel: VR Anruf PhoneService TrainerApp LearnerApp1 LearnerApp2 9LUWXHOOH1U 1024 2000 1025 76HUYHU Nein Ja Ja 5HDOH1U 069-97995-158 AGENT_Agent1 069-97995-160,3$GUHVVH 141.2.158.34 141.2.158.40 141.2.158.130 LearnerApp3 Ereignis: PhoneService: TrainerApp-Regelsystem: Starten Suche Auf Initialisierung Abfragen Meldung LearnerApp1: Feststellung Das Synchronisation LearnerApp2: Rechner Gespräch nach von der der LearnerApplikationen freiem der durch 141.2.158.40 BeanDaten Anruf Mensch-zu-Agent 1024-1025 Telefonie-Server-Tauglichkeit aller VR PhoneService-> T-Server von Zustände 1024 1025 XY.wav wird nach an beendet Methode die soll 1025 2000 Mensch durch TrainerApp abgespielt RMI-Abfrage zu Mensch werden HumanCallsAgent( 06997995158, LinkHuman( 06997995158, 06997995160 ) XY.wav ) ausgelöst Oliver Hinz 18/24

Aufbau einer 2D-Szene Oliver Hinz 19/24 Aufbau einer 3D-Szene Oliver Hinz 20/24

Visualisierung der Zustände RING! Oliver Hinz 21/24 Vorteile IV. Resümee Visuelles Editieren von Szenarien möglich Einsatz von realen Kommunikationsendgeräten bedarf geringer Gewöhnungszeit des Benutzers n Applikationen benötigen m Telefonieserver, wobei m<n möglich Programmierung in Java begünstigt Plattformunabhängigkeit Komponente kann in versch. Applikationen genutzt werden Oliver Hinz 22/24

Nachteile Programmierung von JTAPI-Bindings notwendig Editieren von Szenarien mit zwei verschiedenen Tools mögliche Erweiterungen Editieren eines Szenarios in 3D kreiert ein 2D-Abbild nach entsprechenden Regeln Überordnung von Workplace-Beans und Room-Beans Kommunikation mit Agenten muß umgesetzt werden Oliver Hinz 23/24 Ausblick Modell ausbaufähig Spracherkennung durch die Agenten Verschmelzung der Realität und virtueller Realität zu einer anderen, dritten Wirklichkeit (Mixed Reality) Oliver Hinz 24/24

Vielen Dank für Ihre Aufmerksamkeit!