Immersive Voice Communication. Sprachübertragung in bevölkerten virtuellen Welten

Transkript

1 Seminar: Algorithmen zur Unterstützung von Immersive Gaming Leitung: Tonio Triebel, HWS 08 Universität Mannheim Immersive Voice Communication Sprachübertragung in bevölkerten virtuellen Welten Referent: Andreas Orzyszek

2 Übersicht Einleitung Sprachkommunikation heute Sprachkommunikation morgen Systemarchitektur Netzgrundlage Gesamtsystem Komponenten Algorithmen Angular Clustering Grid Summerization Meinungen / Ausblick Testergebnisse Weitere Schritte Folie 2 / 15

3 Sprachkommunikation heute Sprachkommunikation morgen Folie 3 / 15

4 Sprachkommunikation heute Sprachkommunikation morgen Walkie Talkie Style Folie 3 / 15

5 Sprachkommunikation heute Sprachkommunikation morgen Walkie Talkie Style Nur einer kann reden Folie 3 / 15

6 Sprachkommunikation heute Sprachkommunikation morgen Walkie Talkie Style Nur einer kann reden Bei mehreren Sprechern Verständigungsprobleme Folie 3 / 15

7 Sprachkommunikation heute Sprachkommunikation morgen Walkie Talkie Style Nur einer kann reden Bei mehreren Sprechern Verständigungsprobleme Realitätsverlust im Spiel Folie 3 / 15

8 Sprachkommunikation heute Sprachkommunikation morgen Quelle: Folie 4 / 15

9 Sprachkommunikation heute Sprachkommunikation morgen Kommunikation wie im richtigen Leben Quelle: Folie 4 / 15

10 Sprachkommunikation heute Sprachkommunikation morgen Kommunikation wie im richtigen Leben Raumklang Quelle: Folie 4 / 15

11 Sprachkommunikation heute Sprachkommunikation morgen Kommunikation wie im richtigen Leben Raumklang Diskussionsmöglichkeit Quelle: Folie 4 / 15

12 Sprachkommunikation heute Sprachkommunikation morgen Kommunikation wie im richtigen Leben Raumklang Diskussionsmöglichkeit Verknüpfung der Sinne Quelle: Folie 4 / 15

13 Netzgrundlage Gesamtsystem Komponenten Distributed Local Server Ansatz Folie 5 / 15

14 Netzgrundlage Gesamtsystem Komponenten Local Server Nutzer Distributed Local Server Ansatz Datenleitungen Folie 5 / 15

15 Netzgrundlage Gesamtsystem Komponenten Local Server Distributed Local Server Ansatz Nutzer Vorteile: Geringes Delay Kontrolle über das Netz kein Bandbreitenproblem Datenleitungen Folie 5 / 15

16 Netzgrundlage Gesamtsystem Komponenten Local Server Distributed Local Server Ansatz Nutzer Vorteile: Geringes Delay Kontrolle über das Netz kein Bandbreitenproblem Nachteile: Skalierbarkeit Position der Server kritisch Datenleitungen Folie 5 / 15

17 Netzgrundlage Gesamtsystem Komponenten DICE: Dense Immersive Communication Environment Folie 6 / 15

18 Netzgrundlage Gesamtsystem Komponenten DICE: Dense Immersive Communication Environment Ausgabe auf jedem möglichen Lautsprechersystem Audio Client B2 Anbindung (z.b. ADSL) Scene Creation Servers (SCS) B1 Control Server VE Client (Quake 3 Wolfenstein ET) B3 B4 Game Server Heim PC B5 Folie 6 / 15

19 Netzgrundlage Gesamtsystem Komponenten B1 - Scene Creation Servers: Folie 7 / 15

20 Netzgrundlage Gesamtsystem Komponenten B1 - Scene Creation Servers: Vereinfachung der Audio Szene Weiterleitung an die Clients Folie 7 / 15

21 Netzgrundlage Gesamtsystem Komponenten B1 - Scene Creation Servers: Vereinfachung der Audio Szene Weiterleitung an die Clients B2 - Audioclient: Folie 7 / 15

22 Netzgrundlage Gesamtsystem Komponenten B1 - Scene Creation Servers: Vereinfachung der Audio Szene Weiterleitung an die Clients B2 - Audioclient: Erzeugen des Raumklangs Ausgabe per Hardware Folie 7 / 15

23 Netzgrundlage Gesamtsystem Komponenten B1 - Scene Creation Servers: Vereinfachung der Audio Szene Weiterleitung an die Clients B2 - Audioclient: Erzeugen des Raumklangs Ausgabe per Hardware B3 - Control Server: Folie 7 / 15

24 Netzgrundlage Gesamtsystem Komponenten B1 - Scene Creation Servers: Vereinfachung der Audio Szene Weiterleitung an die Clients B2 - Audioclient: Erzeugen des Raumklangs Ausgabe per Hardware B3 - Control Server: Auslesen der Avatarpositionen Auslesen von Umgebungsdaten Justierung der SCS Folie 7 / 15

25 Netzgrundlage Gesamtsystem Komponenten B1 - Scene Creation Servers: Vereinfachung der Audio Szene Weiterleitung an die Clients B2 - Audioclient: Erzeugen des Raumklangs Ausgabe per Hardware B3 - Control Server: Auslesen der Avatarpositionen Auslesen von Umgebungsdaten Justierung der SCS B4 + B5 - VE Client / Server: Folie 7 / 15

26 Netzgrundlage Gesamtsystem Komponenten B1 - Scene Creation Servers: Vereinfachung der Audio Szene Weiterleitung an die Clients B2 - Audioclient: Erzeugen des Raumklangs Ausgabe per Hardware B3 - Control Server: Auslesen der Avatarpositionen Auslesen von Umgebungsdaten Justierung der SCS B4 + B5 - VE Client / Server: Sie sind hier nicht weiter von Bedeutung. Sie dienen nur dazu, eine virtuelle Welt zu erzeugen. Folie 7 / 15

27 Angular Clustering Grid Summerization Ein SCS sendet immer K Audiostreams an den Clienten Diese Streams sind eine gewichtete Mischung aller Audiosignale der umliegenden Avatare Folie 8 / 15

28 Angular Clustering Grid Summerization Ein SCS sendet immer K Audiostreams an den Clienten Diese Streams sind eine gewichtete Mischung aller Audiosignale der umliegenden Avatare Es gibt Interactive Zone- und Background Zone Cluster Folie 8 / 15

29 Angular Clustering Grid Summerization Ein SCS sendet immer K Audiostreams an den Clienten Diese Streams sind eine gewichtete Mischung aller Audiosignale der umliegenden Avatare Es gibt Interactive Zone- und Background Zone Cluster Es werden immer M <= K Interactive Zone Cluster erstellt Folie 8 / 15

30 Angular Clustering Grid Summerization Ein SCS sendet immer K Audiostreams an den Clienten Diese Streams sind eine gewichtete Mischung aller Audiosignale der umliegenden Avatare Es gibt Interactive Zone- und Background Zone Cluster Es werden immer M <= K Interactive Zone Cluster erstellt Annahme: Abweichungen bei entfernten Avataren sind erträglich! Daher ergibt sich ein Bereich mit akzeptablem Fehler, es gilt: oj =E min E max D oj D max Folie 8 / 15

31 Angular Clustering Grid Summerization 1. Wähle den Avatar, mit dem geringsten Abstand zum Clienten. 2. Wenn er zu keinem bestehenden Cluster gehört, erzeuge ein neues Cluster um diesen Avatar, sonst stecke ihn in ein Cluster. 3. Wiederhole Schritt 1 und 2 bis M Cluster erzeugt wurden. 4. Finde die größte Lücke zwischen den Clustern und erzeuge in ihrer Mitte ein neues Cluster. 5. Wiederhole Schritt 3 bis K Cluster erzeugt wurden. 6. Ordne die restlichen Avatare einem der K Cluster zu. Folie 9 / 15

32 Angular Clustering Grid Summerization 1. Wähle den Avatar, mit dem geringsten Abstand zum Clienten. 2. Wenn er zu keinem bestehenden Cluster gehört, erzeuge ein neues Cluster um diesen Avatar, sonst stecke ihn in ein Cluster. 3. Wiederhole Schritt 1 und 2 bis M Cluster erzeugt wurden. Avatar k 4. Finde die größte Lücke zwischen den Clustern und erzeuge in ihrer Mitte ein neues Cluster. Avatar O 5. Wiederhole Schritt 3 bis K Cluster erzeugt wurden. 6. Ordne die restlichen Avatare einem der K Cluster zu. Hörweite von Avatar O Folie 10 / 15

33 Angular Clustering Grid Summerization 1. Wähle den Avatar, mit dem geringsten Abstand zum Clienten. Bereich für akzeptablen Fehler 2. Wenn er zu keinem bestehenden Cluster gehört, erzeuge ein neues Cluster um diesen Avatar, sonst stecke ihn in ein Cluster. 3. Wiederhole Schritt 1 und 2 bis M Cluster erzeugt wurden. 4. Finde die größte Lücke zwischen den Clustern und erzeuge in ihrer Mitte ein neues Cluster. 5. Wiederhole Schritt 3 bis K Cluster erzeugt wurden. Avatar k k Avatar O 6. Ordne die restlichen Avatare einem der K Cluster zu. Hörweite von Avatar O Folie 10 / 15

34 Angular Clustering Grid Summerization 1. Wähle den Avatar, mit dem geringsten Abstand zum Clienten. 2. Wenn er zu keinem bestehenden Cluster gehört, erzeuge ein neues Cluster um diesen Avatar, sonst stecke ihn in ein Cluster. Bereich für akzeptablen Fehler jk Avatar j D oj 3. Wiederhole Schritt 1 und 2 bis M Cluster erzeugt wurden. 4. Finde die größte Lücke zwischen den Clustern und erzeuge in ihrer Mitte ein neues Cluster. 5. Wiederhole Schritt 3 bis K Cluster erzeugt wurden. Avatar k k Avatar O 6. Ordne die restlichen Avatare einem der K Cluster zu. Hörweite von Avatar O Folie 10 / 15

35 Angular Clustering Grid Summerization 1. Wähle den Avatar, mit dem geringsten Abstand zum Clienten. 2. Wenn er zu keinem bestehenden Cluster gehört, erzeuge ein neues Cluster um diesen Avatar, sonst stecke ihn in ein Cluster. Bereich für akzeptablen Fehler jk Avatar j D oj 3. Wiederhole Schritt 1 und 2 bis M Cluster erzeugt wurden. 4. Finde die größte Lücke zwischen den Clustern und erzeuge in ihrer Mitte ein neues Cluster. 5. Wiederhole Schritt 3 bis K Cluster erzeugt wurden. Avatar k k Avatar O 6. Ordne die restlichen Avatare einem der K Cluster zu. Avatar l Hörweite von Avatar O Folie 10 / 15

36 Angular Clustering Grid Summerization 1. Wähle den Avatar, mit dem geringsten Abstand zum Clienten. 2. Wenn er zu keinem bestehenden Cluster gehört, erzeuge ein neues Cluster um diesen Avatar, sonst stecke ihn in ein Cluster. 3. Wiederhole Schritt 1 und 2 bis M Cluster erzeugt wurden. 4. Finde die größte Lücke zwischen den Clustern und erzeuge in ihrer Mitte ein neues Cluster. 5. Wiederhole Schritt 3 bis K Cluster erzeugt wurden. 6. Ordne die restlichen Avatare einem der K Cluster zu. Folie 11 / 15

37 Angular Clustering Grid Summerization Avatare Client Hörweite Ausschnitt der virtuellen Welt Folie 12 / 15

38 Angular Clustering Grid Summerization Avatare Client Hörweite Cluster 1 Cluster 2 Ausschnitt der virtuellen Welt Folie 12 / 15

39 Angular Clustering Grid Summerization Avatare Client Hörweite Massezentrum der Zelle Cluster 1 Cluster 2 Ausschnitt der virtuellen Welt Folie 12 / 15

40 Testergebnisse weitere Schritte Ende Folie 13 / 15

41 Testergebnisse weitere Schritte Ende Neue taktische Möglichkeiten Folie 13 / 15

42 Testergebnisse weitere Schritte Ende Neue taktische Möglichkeiten Realistisches Gefühl, man vergisst, dass man nur spielt Folie 13 / 15

43 Testergebnisse weitere Schritte Ende Neue taktische Möglichkeiten Realistisches Gefühl, man vergisst, dass man nur spielt Man sollte trotzdem über eine Art Walkie Talkie nachdenken Folie 13 / 15

44 Testergebnisse weitere Schritte Ende Folie 14 / 15

45 Testergebnisse weitere Schritte Ende Neue Versuchsreihe mit mehr als 32 Spielern Test mit anderen virtuellen Welten z.b. Konferenz Folie 14 / 15

46 Testergebnisse weitere Schritte Ende Weitere Fragen? Folie 15 / 15