Titelvorschlag: Adaptive Synchronisation von MPEG-4 Datenströmen bei der Übertragung über RTP in Best-Effort Netzen

Transkript

1 Titelvorschlag: Adaptive Synchronisation von MPEG-4 Datenströmen bei der Übertragung über RTP in Best-Effort Netzen Einleitungsvortrag zur Diplomarbeit erstellt von Konstantin Heikelson

2 Gliederung Einführung in MPEG-4 Praktikum Voraussetzungen, Aufgaben Interaktionen Synchronisation Diplom Überblick über die Anwendung Problembeschreibung Integration in MPEG-4 Framework Zeitplan 2

3 Einführung in MPEG-4 (Layerstruktur) Display and User Interaction Interactive Audiovisual Scene Composition and Rendering Object Descriptor Scene Description Inform ation Primitive AV Objects... Upchannel Compression Information Layer Elementary Streams Elementary Stream Interface SL SL SL SL SL SL... Sync SL Layer SL-Packetized Streams Stream Multiplex Interface FlexMux FlexMux FlexMux (PES) MPEG-2 TS (RTP) UDP IP AAL2 ATM H223 PSTN DAB Mux... TransMux Layer TransMux Streams Transmission/Storage Medium 3

4 Einführung in MPEG-4 (Comp. Layer) Compression Layer: Szenenbeschreibung Object Descriptor Datentypabhängige Encoder/Decoder: liefern datentyp- und kodierungsunabhängige AU (Access Unit) Pakete AU Paket ist die kleinste Einheit, die unabhängig von den anderen bearbeitet und angezeigt werden kann Jedem AU Paket wird ein Timestamp zugeordnet Annahme: konstante Ende-zu-Ende Verzögerung 4

5 Einführung in MPEG-4 (Sync-Layer) Sync-Layer: AU Pakete werden in SL-Pakete fragmentiert, die für die Synchronisation unterschiedlicher Datenströme verwendet werden. Synchronisation erfolgt anhand der Timestamps, die den AU-Paketen zugeordnet werden. Ein SL-Paket besteht aus einem SL-Header und einem SL-Payload. Informationen wie Sequenznummer und Länge des Pakets werden nicht im SL-Paket abgespeichert. Diese Aufgabe ist der darunter liegenden Transportschicht zugeordnet. AU-Paket SL-Paket SL-Paket Header Payload 5

6 Einführung in MPEG-4 (Transp.-Layer) Transport-Layer: von MPEG-4 Standard nicht spezifiziert nur die Schnittstellen zur Transportschicht sind definiert (DMIF). Elementary Streams Elementary Stream Interface SL SL SL SL SL... SL SL Sync Layer FlexMux Channel SL-Packetized Streams DMIF Application Interface FlexMux FlexMux FlexMux DMIF Layer TransMux Channel FlexMux Streams DMIF Network Interface File Broadcast Interactive (RTP) UDP IP (PES) MPEG2 TS AAL2 ATM H223 PSTN DAB Mux TransMux Layer (not specified in MPEG-4) Delivery Layer TransMux Streams 6

7 Voraussetzungen, Aufgaben Einarbeitung in MPEG-4 und einen von der MPEG-Gruppe implementierten MPEG-4 Player (IM1-Player) Erweiterung der Interaktionsmöglichkeiten des IM1-Players Synchronisation unter den Voraussetzungen der konstanten Ende-zu-Ende Verzögerung (vgl. MPEG-4 Standard) Netzwerkfähigkeit 7

8 Interaktionen Kooperatives Arbeiten mit MPEG-4? Clientseitige Szenenänderungen zur Laufzeit Benachrichtigung aller Teilnehmer über die Szenenänderungen eines Clients 8

9 Interaktionen (clientseitig) 9

10 Interaktionen (serverseitig) Ein Server mit der Router -Funktionalität Alle an den Änderungen interessierte Clients müssen sich beim Server anmelden Jeder am Server angemeldeter Client teilt die Szenenänderungen dem Server umgehend mit Der Server leitet die Information über die Szenenänderungen an alle anderen Clients Client Server Client Client 10

11 Synchronisation In der MPEG-4 Szenenbeschreibung lässt sich nicht eingeben, welche Streaming-Objekte untereinander synchronisiert werden sollen Nach MPEG-4 Applications muss Synchronisation in der Anwendung selbst implementiert werden MPEG-4 Annahme: konstante Ende-zu-Ende Verzögerung 11

12 Synchronisation Intra-Stream-Synchronisation Intra-Stream Intra-Stream Failure Inter-Stream-Synchronisation Inter-Stream Failure 12

13 Synchronisation Verfahren: Synchronisiere jeden Strom intra-stream Synchronisiere beliebige Pakete mit den gleichen Timestamps aller Ströme Intra-Stream synchronisiert Sync-Point t Das Verfahren garantiert die Inter-Stream- Synchronisation der Datenströme Die Messungen haben ergeben, dass die maximale Abweichung der Ströme untereinander maximal 1 ms betrug 13

14 Überblick über die Anwendung Gegeben: Der IM1-Player implementiert weitgehend den MPEG-4 Standard (MPEG Gruppe) Abspielen lokaler MPEG-4 Files Beschränkte Interaktionsmöglichkeiten Ziel: Eine netzwerkfähige Client/Server Anwendung mit erhöhten Interaktionsmöglichkeiten 14

15 Überblick über die Anwendung Nachrichtenserver mit erhöhten Interaktionsmöglichkeiten soll in Zusammenarbeit mit GMD erstellt werden Nachrichtensprecher (Audio) Nachrichtensprecher (Video 1) Informations- Video (Video 2) Untertitel (Video 3) 15

16 Überblick über die Anwendung Starten und Stoppen von Strömen Vor- und Zurückspulen Synchronisation vom beliebigen Zeitpunkt Untertit.-Video Inf.-Video Sprecher-Video enge Synchronisation Sprecher-Audio Sync-Point t 16

17 Problembeschreibung (Netzwerkschicht) Übertragung der MPEG-4 Datenpakete (AU- Pakete) über RTP Anbindung der Netzwerkschicht (RTP) an das Layermodell von MPEG-4 (Diskussion in IETF AVT-Gruppe) Abbildung von SL-Paketen auf RTP-Pakete (Diskussion in IETF AVT-Gruppe) Aufbau des Backchannels (wichtig für Synchronisation) 17

18 Problembeschreibung (Netzwerkschicht) Alternativen für die Verwendung von RTP in MPEG-4: Übertragung von ESs über RTP mit eigenen Payload- Typen RTP-Header Video-Paket RTP-Header Audio-Paket Übertragung von ESs in Form von AU-Paketen über RTP RTP-Header SL-Paket 18

19 Problembeschreibung (Synchronisation) Synchronisation datentyp- und kodierungsunabhängiger Datenströme Keine konstante Ende-zu-Ende Verzögerung Evtl. viele Datenströme Anpassung an sich ändernde Netzwerk- und Benutzeranforderungen 19

20 Problembeschreibung (Synchronisation) Auswahl eines geeigneten serverseitigen Schedulingverfahrens Earliest Deadline Rule Weighted Shortest Processing TS=1 TS=3 Paket 1 Paket 2 EDR: 1,2 WSP: 2,1 20

21 Problembeschreibung (Synchronisation) Synchronisationsverfahren Master-Stream-Synchronisation Master Slave Slave Alle ströme werden individuell behandelt Intra-Stream synchronisiert 0 t 21

22 Problembeschreibung (Synchronisation) Adaptionsmechanismen: Falls einer der Ströme in seiner Qualität nicht angezeigt werden kann (Paketverluste, fehlende Bandbreite), werden alle Ströme herunterskaliert. Jeder einzelne Strom wird an die sich ändernde Bedingungen individuell angepasst 22

23 Integration in MPEG-4 Framework Display and User Interaction Interactive Audiovisual Scene Composition and Rendering Object Descriptor Scene Description Inform ation Prim itive AV Objects... Upchannel Compression Inform ation Layer zu modifizierende Layer Elementary Streams Elementary Stream Interface SL SL SL SL SL SL... Sync SL Layer SL-Packetized Streams Stream M ultiplex Interface FlexMux FlexMux FlexMux (PES) MPEG-2 TS (RTP) UDP IP AAL2 ATM H223 PSTN DAB Mux... TransM ux Layer TransM ux Streams Transmission/Storage M edium 23

24 Intergration in MPEG-4 Framework Netzwerkschicht RTP als Übertragungsprotokoll Abbildung von SL-Paketen auf RTP-Pakete Synchronisation Master-Stream-Synchronisation Behandeln der Slave-Ströme als einen Strom bei der Adaption 24

25 Zeitplan Konzeptionierung Implementierung Messung, Bewertung Dokumentation Septemb. Oktober Novemb. Dezemb. Januar Februar 25

26 Literatur MPEG-4 Applications, ISO/IEC JTC1/SC29/WG11 MPEG 99/N2724, March 1999/Seoul C.Herpel, A. Eleftheriadis, MPEG-4 Systems: Elementary Stream Managment, 1999 K.Rothermel, T.Helbig, An Adaptive Stream Synchronization Protocol, 5th International Workshop on Network and Operating System Support für Digital Audio and Video, April 18-21, 1995 S.Baqai, M. Farrukh Khan, M. Woo, Quality-Based Evaluation of Multimedia Synchronization Protocols for Distributed Multimedia Information Systems, 1996 C.Class, Synchronization Issues in Distributed Applications: Definitions, Problems, and Quality of Synchronzation, 1997 R.Rejaie, M.Handley, D.Estrin, Architectural Considerations for Playback of Quality Adaptive Video over the Internet, 1998 Z.Lifshitz, DMIF Implementation on Local Area Networks which Provide a Non- Guaranteed Quality of Service, ISO/IEC JTC1/SC29/WG11, September 1997 G.Guillemot, P.Christ, S.Wesner, A.Klemets, RTP Payload Format for MPEG-4 with Flexible Error Resiliency, IETF, Internet-Draft March 2000 Y.Kikuchi, T.Nomura, S.Fukunaga, Y.Matsui, H.Kimata, RTP Payload Format for MPEG-4 Audio/Visual Streams, IETF Internet-Draft February 2000 Civanlar, Basso, Casner, Herpel-Thomson, RTP Payload Format for MPEG-4 Streams, IETF, Internet-Draft April