Vortrag zur Bachelorarbeit von Filipp Andjelo

Transkript

1 Vortrag zur Bachelorarbeit von Filipp Andjelo Thema: Entwurf, Implementierung und Erprobung einer Bibliothek für die Integration von 3D-Audio in ein netzverteiltes System 1. Prüfer: Herr Dr.-Ing. Stephan Olbrich 2. Prüfer: Prof. Dr.-Ing. Claus-Eberhard Liedtke Betreuer: Nils Jensen 4. Mai 2005 Filipp Andjelo

2 Inhalt Ziel und Zweck DSVR Problemanalyse Entwurf Design und Architektur Pipes and Filters 3D-Audioausgabe Audioeingabe Übertragung Echtzeit-kritischer Daten Codec Speex Erprobung Ausblick Filipp Andjelo Folie 2

3 Grundlagen 3D-Audioausgabe Kodierung und Komprimierung von Audiodaten Datenübertragung und VoIP-Technologien Persistenz von Audiodaten, Audioformate Filipp Andjelo Folie 3

4 Ziel und Zweck der Arbeit Ziel: Zweck: eine Bibliothek mit Funktionen für 3D-Audioausgabe sowie Übertragung von Echtzeit-kritischen Daten. Virtual Reality Software wie DSVR mit Telekonferenz Fähigkeiten zu erweitern um virtuelle Konferenzräume modellieren zu können. Filipp Andjelo Folie 4

5 Was ist DSVR? Simulations- und Visualisierungsmiddleware Aufbereitung aufwändiger Ergebnisse in 3D-Szenen zum: Datentransport Speicherung und Abruf in einem Streamingverfahren 3D-Betrachtung netzverteilte Realisierung Filipp Andjelo Folie 5

6 Zweck (2) Kommunikation mehrerer Nutzer in einem virtuellen Konferenzraum gleichzeitige Betrachtung der errechneten Volumenbilder 3D-Audioausgabe vereinfacht die Kommunikation der Nutzer Visueller Kontakt der Nutzer mit Hilfe der virtuellen Videoleinwänden Input: Audio: Mikrofon Video: Kamera (Capturing) Filipp Andjelo Folie 6

7 Problemanalyse Grundsätzliche Anforderungen: Plattform-Unabhängigkeit bzw. einfache Portierbarkeit Erleichterung der zukünftigen Wartung und Veränderung Funktionale Anforderungen: Verbindungen auf-/abbauen (Audio-)Daten versenden/empfangen 3D-Audiopositionierung Audioausgabe Persistenz der Audiodaten Filipp Andjelo Folie 7

8 Design und Architektur Hybrid zwischen Interface und Pipes and Filters -Mustern Interface -Muster ist eine Kapselung von Funktionen anderer Bibliotheken innerhalb jeder Komponente Pipes and Filters -Muster strukturiert Systeme, die einen Datenstrom bearbeiten. (UNIX-Shell: ps -A grep netscape) Filipp Andjelo Folie 8

9 Pipes and Filters -Muster Daten persistent speichern Audosignal komprimieren Daten versenden Zum Hörer Audiosignal dekomprimieren Codec wird verwendet, falls die Audiodaten in komprimierter Form ankommen Daten empfangen Audiosignal ausgeben Filipp Andjelo Folie 9

10 Entwurf Datenfluss bei der üblichen IP-Telefonie: Audiosignal aufnehmen Daten versenden Daten empfangen Audiosignal ausgeben Filipp Andjelo Folie 10

11 Entwurf (2) Datenfluss mit Berücksichtigung der Persistenz und Audioausgabe mit 3D-Positionierung: Audiosignal aufnehmen Audiosignal persistent speichern Daten versenden Daten empfangen Audiosignal persistent speichern Audioquelle positionieren Audiosignal ausgeben Filipp Andjelo Folie 11

12 Entwurf (3) Datenfluss mit Berücksichtigung der Persistenz, Audioausgabe mit 3D-Positionierung und Codec: Audiosignal aufnehmen Daten Komprimieren Audiosignal persistent speichern Daten versenden Daten empfangen Audiosignal persistent speichern Daten Dekomprimieren Audioquelle positionieren Audiosignal ausgeben Filipp Andjelo Folie 12

13 3D-Audioausgabe Geschieht anhand üblicher Surround-Sound Systeme Rechner mit Subwoofer Satelliten Hörer (An-)Steuerung mit Hilfe von Bibliotheken wie: DirectSound (aus dem DirectX Paket) Simple DirectMedia Layer (SDL) Open Audio Library (OpenAL) Filipp Andjelo Folie 13

14 3D-Audioausgabe (2) Aufbau einer Bibliothek zur Steuerung von 3D-Audio-Systemen Nutzer Objekt Audiodaten Listener Source Buffer Bibliothek (z.b. OpenAL) Treiber Soundkarte Lautsprecher Filipp Andjelo Folie 14

15 3D-Audioausgabe (3) Buffer, Source und Listener Management 3D-Positionierung der Source und des Listeners Steuerung der Wiedergabe (auch mit Queue) Filipp Andjelo Folie 15

16 Audioeingabe Über ein Mikrofon War nicht das Ziel der Arbeit OpenAL beinhaltete bis zum 17.März 2005 keine Capturing Funktionen. Daher war die Systemunabhängige Implementierung erschwert Für die Erprobung wurden Funktionen für die Aufzeichnung des Audiosignals unter Windows implementiert Filipp Andjelo Folie 16

17 Echtzeit (Audio-)Datenübertragung Ideal: je 20ms ein Paket Real: Jitter und Packet loss Ziel: Delays konstant und klein zu halten Sprecher Hörer Datenpakete Client A Client B Filipp Andjelo Folie 17

18 Echtzeit (Audio-)Datenübertragung (2) Das Internet wurde ursprünglich nicht für die Übertragung Echtzeitkritischer Daten konzipiert Datenübertragung Übertragung von Echtzeit-Kritischen Daten Übertragung von Kontrollstrukturen Kapselung Kapselung UDP TCP IP Physical Layer Filipp Andjelo Folie 18

19 Echtzeit (Audio-)Datenübertragung (3) Zuordnung von Paketen TCP UDP IP IP IP IP IP IP Port Port Socket Socket Socket Socket Nutzung 1 Nutzung 2 Nutzung 3 Nutzung 1 Nutzung 2 Nutzung 3 Mehrere Verbindungen über ein TCP Port möglich Für jede UDP Verbindung soll eigener Port verwendet werden Filipp Andjelo Folie 19

20 Codec Digitalisierung von Audiodaten: Quantisierung (in der Regel 2 n Werte) Abtastrate (in Hz) Bitrate ergibt sich aus Abtastrate und Quantisierung zum Bespiel: Abtastrate: 8000Hz (8000 Werte/s) Quantisierung: 8 Bit/Wert Bitrate: 8000 Werte/s * 8 Bit/Wert = 64kBit/s Format Bitrate Min Bitrate Max GSM 13 kbit/s 13 kbit/s G kbit/s 8 kbit/s G kbit/s 6.4 kbit/s Speex 2 kbit/s 44 kbit/s (Ogg)Vorbis 16kBit/s 128 kbit/s MPEG 1 Layer 3 (MP3) 8kBit/s 320kBit/s Filipp Andjelo Folie 20

21 Speex Drei Qualitätsstufen: Narrowband mit 8 khz Abtastrate Wideband mit 16 khz Abtastrate Ultra-Wideband mit 32kHz Abtastrate Einige Features: Basiert auf OggVorbis Variable bit-rate (VBR) Voice Activity Detection (VAD) Discontinuous Transmission (DTX) Filipp Andjelo Folie 21

22 Speex (2) Qualität, Bitraten und Performance von Speex (Narrowband) Bitrate(Bit/s) Mflops Qualität Unbrauchbar Sehr lautes Rauschen ,5 Lautes Rauschen, noch verwendbar Rauschen, verwendbar Kaum Rauschen Rauschen nur mit Kopfhörern bemerkbar Rauschen nur mit guten Kopfhörern bemerkbar ,5 Rauschen sogar mit guten Kopfhörern kaum bemerkbar ,5 Rauschen nicht hörbar, sehr gute Qualität sogar bei Musik Die Dekomprimierung beträgt meistens zwischen 0,5 und 1 Mflops Filipp Andjelo Folie 22

23 Erprobung Betriebssystem: Windows XP SP2 Hardware: AMD Athlon XP 1600+, Intel Celeron Mobile 1.5 Ghz, Intel Pentium III 700MHz, Transmeta TM-8600 RAM: 256MB-512MB 100 mbit/s LAN; 11,22,54 mbit/s WLAN; 56kbit/s Analog Creative SoundBlaster Live! 5.1 Creative SoundBlaster Live! Value AC'97 Stereo Recorder wurde für die Erprobung nur unter Windows Implementiert Filipp Andjelo Folie 23

24 Erprobung: Paketverzögerungen Verzögerungen bei den Audiopaketen Wiedergabe mit einer Queue Filipp Andjelo Folie 24

25 Erprobung: Paketverzögerungen (2) Verzögerungen bei den Audiopaketen Wiedergabe ohne einer Queue Filipp Andjelo Folie 25

26 Erprobung: Probleme und Einschränkungen Audio: Probleme mit zu kleinen Audiopaketen Fehlerhafte Wiedergabe einer Queue mit 8Bit Buffern Urteil: OpenAL ist nur bedingt für VoIP geeignet Datenübertragung: je Verbindung ein Port nötig Codec: 16Bit Daten werden erwartet, 8Bit Daten müssen konvertiert werden Filipp Andjelo Folie 26

27 Ausblick Persistenz Audioaufnahme mit OpenAL Einbindung und Erprobung in DSVR Protokoll wie RTP, RTSP SDL für die Audioausgabe Filipp Andjelo Folie 27

28 Danke für Ihre Aufmerksamkeit! F I N Filipp Andjelo Folie 28