Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik DIPLOMARBEIT

Transkript

1 Technische Universität Ilmenau Fakultät für Elektrotechnik und Informationstechnik DIPLOMARBEIT Untersuchungen zur Fehlerempfindlichkeit von MPEG-4 ACE und H.26L bei DVB kompatibler Übertragung in Rundfunkkanälen vorgelegt von: Carsten Gertzen geboren am : in Goch Studiengang: Medientechnologie Studienrichtung: Audiovisuelle Technik Verantwortlicher Professor: Betreuender wiss. Mitarbeiter: Prof.Dr.-Ing. K. Brandenburg Dipl.-Ing. M. Erdmann Dipl.-Ing. A. Zistler (IRT München) Dipl.-Ing. G. Stoll (IRT München) Dr.-Ing. R. Schäfer (IRT München) Beginn der Arbeit: Abgabe der Arbeit: Registriernummer: D-16 München, den

2 Gliederung 1. Einleitung 1 2. Digital Video Broadcasting (DVB) DVB-Transportstrom DVB-Datenrundfunk 9 3. MPEG MPEG-4-System MPEG-4-Visual MPEG-4-DMIF H.264 / MPEG-4-AVC Übertragung von MPEG-4-Daten im MPEG-2-Transportstrom Übertragung individueller MPEG-4-Elementarströme Übertragung von MPEG-4-Szenen Einbindung von FlexMux-Streams Umsetzung der Aufgabenstellung Festlegung der Übertragungsarten Übertragungsarten DVB multiprotocol encapsulation DVB datastreaming DVB-Multiplexer DVB-Demultiplexer Testsequenzen Videokodierung H.264 / AVC MPEG-4-Visual Versuchsaufbau und Durchführung Rauschsimulation Simulierte Übertragungsstrecke Ergebnisse Literaturverzeichnis Abbildungs- und Tabellenverzeichnis Abkürzungsverzeichnis 61

3 Gliederung Anhang A Coder Konfiguration H B Coder Konfiguration MPEG-4 Microsoft 66 C Coder Configuration MPEG-4 MoMuSys 69 D SDP-File 71 E Inhaltsverzeichnis der DVD 72 Erklärung 74 Thesen 75

4 1. Einleitung 1. Einleitung Im Standard für das digitale Fernsehen, Digital Video Broadcasting (DVB), wird für die Kodierung und Übertragung von Video heute ausschließlich der MPEG-2 Standard benutzt. Mit der Entwicklung deutlich effizienterer Kodierverfahren wie MPEG-4-Visual und H.26L wird derzeit eine möglichst kompatible Erweiterung des DVB-Standards diskutiert. Für die Beurteilung eines Kodierverfahrens in DVB ist neben der Kodiereffizienz auch das Verhalten bei Übertragungsfehlern ausschlaggebend. Neben dem Datenreduktionsverfahren selbst können dabei die im DVB-Standard vorhandenen Paketierungsverfahren eine Rolle spielen. Im Rahmen der Diplomarbeit sollen die Vor- und Nachteile der verschiedenen, standardisierten Paketierungsverfahren für die Übertragung von MPEG-4 und H.26L im DVB-Transportstrom unter der Berücksichtigung ihrer Komplexität und Kompatibilität mit existierenden Infrastrukturen und Diensten diskutiert, geeignete kompatible Verfahren ausgewählt und die resultierende Fehlerempfindlichkeit ermittelt werden. Zu diesem Zweck soll ein System erstellt werden, welches das Multiplexen der Elementarströme mit den gewählten Verfahren, die Übertragung mit gezieltem Einführen von Fehlern, das Demultiplexen und eine Auswertung der Videosequenzen ermöglicht. Die schriftliche Ausarbeitung dieser Diplomarbeit gibt zunächst einen Überblick zu den verschiedenen Standards DVB, MPEG-2, MPEG-4 und H.26L, mit dem Schwerpunkt auf der Übertragungstechnik, und stellt anschließend die Umsetzung der Aufgabenstellung dar. Die Videokodierungstechniken der einzelnen Standards werden im weiterem nicht näher erläutert. Es erfolgt stattdessen für jeden verwendeten Encoder eine Betrachtung der Konfigurationsparameter. 1

5 2. Digital Video Broadcasting 2. Digital Video Broadcasting (DVB) DVB ist ein Projekt, das Spezifikationen für den digitalen Rundfunk entwickelt, die dann durch die European Telecommunications Standards (ETSI) oder das Centre for Electrotechnical Standards (CENELEC) standardisiert und publiziert werden. Die Vorschläge zur Standardisierung erfolgen meist durch das Joint Technical Committee (JTC), das einen Zusammenschluss der ETSI, CENELEC und der European Broadcast Union (EBU) darstellt, der International Telecommunication Union (ITU) oder dem Digital Audio Visual Council (DAVIC). Für jede Spezifikation wird ein Set von Anwenderbedürfnissen durch ein commercial module (CM) erarbeitet und anschließend durch ein technical module (TM) entsprechend der Vorgaben umgesetzt. Die DVB-Technologie hat sich zum wesentlichen Bestandteil des weltweiten, digitalen Rundfunks entwickelt und setzt den Standard für die Übertragung über Satellit, Kabel und terrestrischer Antenne sowie den dazu benötigten Geräten. Technische Grundlage der DVB-Entwicklungen ist der durch die Moving Pictures Experts Group (MPEG) definierte MPEG-2-Transportstrom (MPEG-2-TS), dessen Transportstrompakete als Daten-Container verwendet werden. DVB service information [DVB-SI] ermöglichen, den Inhalt dieser Pakete auszuwerten und die Übertragungsmöglichkeiten des MPEG-2-Transportstroms entsprechend der Rundfunkbedürfnisse zu erweitern. Hierdurch ist es möglich ein breites Spektrum digitaler Dienste anzubieten, das neben der Übertragung von Fernsehkanälen unterschiedlichster Normen auch multimediale, interaktive Anwendungen beinhaltet. 2

6 2. Digital Video Broadcasting 2.1 DVB-Transportstrom Der MPEG-2-Transportstrom ermöglicht in seiner Grundfunktion die Übertragung von MPEG-2 kodierten Audio- und Videosignalen. Diese Kodierung wird im digitalen Rundfunk auch als Standardkodierung verwendet. Einzeln kodierte Signale bestehen dabei aus elementaren Bitströmen, so genannten elementary streams (ESs), die durch Verfahren des MPEG-2-System Standards [MPEG2-1] weiter verarbeitet werden können. Eine vereinfachte Übersicht dieser Weiterverarbeitung zeigt Abbildung 2-1. Abb.2-1 Übersicht zu MPEG-2-System Die Daten der ESs werden in Pakete verpackt, die dann die ursprünglichen Daten, einen Paketstartkopf (Header) und optionale Zusatzdaten enthalten. Den Strom dieser Pakete bezeichnet man als packetized elementary stream (PES). Ein PES kann durch eine Identifizierungsnummer (stream id) eindeutig von anderen PES im System unterschieden werden. Die optionalen Zusatzdaten können unter anderem noch Zeitmarken enthalten (presentation time stamp (PTS) und decoding time stamp (DTS)), die eine Synchronisation des PES ermöglichen. Abbildung 2-2 zeigt den vollständigen Aufbau eines PES-Paketes. 3

7 2. Digital Video Broadcasting Abb. 2-2 MPEG-2 PES-Paket Diagramm [MPEG2-1] Der MPEG-2-System Standard definiert zwei verschiedene Multiplexarten. Der im weiteren nicht näher erläuterte program stream (PS) Multiplex wird in Systemen verwendet, bei denen nahezu keine Übertragungsfehlern auftreten und nur ein einziges Programm paketiert wird, zum Beispiel bei der digital versatile disk (DVD). Der transport stream (TS) Multiplex wird in fehleranfälligen Übertragungsverfahren und bei der Paketierung mehrerer Programme verwendet. Dieses ist typisch für den digitalen Rundfunk. Ein TS-Multiplexer fügt einzelne Audio- / Video-PESs und weitere Daten zu einem Transportstrom zusammen. Dabei erzeugt er Transportpakete mit einer festen Länge von 188 Bytes. Eine Synchronisierung der einzelnen PESs kann durch den Bezug der PTS und DTS zur program clock reference (PCR) erfolgen. Zur Unterscheidung der verschiedenen Elementarströme im Transportstrom enthält der Header eines jeden Transportstrompaketes eine eindeutige Identifizierung für den Paketinhalt (packet identifier (PID)). Dabei tragen Pakete, die zur gleichen Quelle gehören, auch die gleiche PID. Des weiteren enthält der 4 Byte lange Header alle Informationen, die der Demultiplexer zur Regeneration der Elementarströme benötigt. Die restlichen 184 Bytes enthalten Nutzdaten oder Informationen zur Verwaltung des Transportstroms. Abbildung 2-3 zeigt seinen vollständigen Aufbau. 4

8 2. Digital Video Broadcasting Abb. 2-3 Aufbau des MPEG-2-Transportstroms [MPEG2-1] Damit aus den Transportstrom-Paketen wieder ein vollständiges Programm aus Audio, Video und Zusatzdaten erzeugt werden kann, fügt der Multiplexer zusätzliche Informationen in den Transportstrom ein. Diese Informationen definiert MPEG-2 als program spezific information (PSI). In der PSI wird unter anderem festgehalten, welche Audio- und Videoströme zu einem Programm oder Dienst (Service) gehören und unter welchem PID sie im Transportstrom zu finden sind. Die PSI sind Listen, die bestimmte Informationen nach einer vorgegebenen Syntax enthalten. Die Listen werden von MPEG-2 als Tabellen (Tables) bezeichnet. Jede Tabelle wird in Transportstrom-Paketen mit jeweils gleichem PID übertragen. Einige der Tabellen tragen dabei fest vorgegebene PIDs, andere erhalten sie dynamisch zugewiesen. 5

9 2. Digital Video Broadcasting Die PSI-Tabellen sind: 1. PAT- program assosiation table, PID 0: Die PAT ist das Kernstück der PSI- Tabellen. Sie beschreibt alle im Transportstrom enthaltenen Services (Fernseh- / Radioprogramme, Datendienste) und weist jedem Service eine eigene Tabelle (PMT) zu. 2. PMT- program map table: Die PMT fasst die Komponenten eines Services (Audio, Video, Daten) in einer Tabelle zusammen. Dabei erhalten PMTs verschiedener Services interschiedliche PIDs. 3. CAT- conditional access table, PID 1: In der CAT sind Informationen über verschlüsselte Services (z.b. PayTV) enthalten. Ist die Summe der Datenraten der Elementarströme und PSI-Tabellen geringer als die vorgegebene Transportstromrate, so werden zusätzliche Leerpakete (Stuffing) in den Strom eingefügt. Der Demultiplexer verwirft diese nicht informationstragenden Daten, sowie alle anderen Services die nicht selektiert sind. Wie bereits erwähnt baut DVB auf den MPEG-2 Standard auf. So wird digitaler Rundfunk gemäß DVB durch einen MPEG-2-Transportstrom übertragen. Zur Identifikation der einzelnen Programme und ihrer Elementarströme werden die von MPEG-2 definierten PSI-Tabellen verwendet. Mit diesen Informationen kann nur eine Übersicht über alle in einem Transportstrom enthaltenen Programme gegeben werden. Die Programme anderer Transportströme, die auf einem anderen Kanal oder Transponder gesendet werden, können durch die MPEG-2-Syntax nicht signalisiert werden. Deshalb definiert der DVB Standard zusätzliche service informations (DVB-SI), mit denen mehrere Transportströme verknüpft und zusätzlichen Informationen übermitteln werden können. Die SI sind, ähnlich der PSI, als Tabellen aufgebaut und werden im MPEG-2-System Standard über sogenannte private sections eingebunden. Die Struktur von private sections, mit der im DVB Standard auch zusätzliche Services wie Datenrundfunk realisiert werden können, zeigt Abbildung

10 2. Digital Video Broadcasting Abb.2-4 MPEG-2 private sections Diagramm [MPEG2-1] Ein DVB-konformer Transportstrom muss die folgenden vier SI-Tabellen enthalten. 1. NIT - network information table, PID 16: Die NIT führt das Datenangebot (Services) eines Netzwerkbetreibers zu einer Gruppe zusammen. In der NIT sind die technischen Attribute des einen oder mehrerer Transportströme eines Betreibers vermerkt. Diese technischen Attribute sind Einstellungen wie Frequenz, Polarisation (bei Satellit), Grad der Fehlerschutzkodierung und Nutzdatenrate, die der Empfänger benötigt, um den Transportstrom empfangen und dekodieren zu können. Außerdem wird bei der Vergabe von Senderechten für digitales Fernsehen jedem Betreiber eine Identifizierungsnummer zugewiesen. 2. SDT service description table, PID 17: Die SDT beschreibt alle in einem Transportstrom enthaltenen Dienste. Sie enthält unter anderem deren Namen und den Namen des jeweiligen Dienstanbieters. 3. EIT event information table, PID 18: Der DVB-Standard bezeichnet eine Fernsehsendung als Event. Die EIT beschreibt die Events aller Programme eines Transportstroms mit Namen, Sendezeit, Dauer und optional einer kurzen Inhaltsbeschreibung. 4. TDT time and date table, PID 20: Mit der TDT wird regelmäßig die aktuelle Zeit übertragen, die der Empfänger zur Synchronisation seiner internen Uhr verwendet. 7

11 2. Digital Video Broadcasting Außerdem sieht DVB noch drei weitere SI-Tabellen zur Navigation in den Transportströmen vor, deren Verwendung jedoch optional ist: 1. BAT bouquet association table, PID 17: Die BAT führt die Dienste eines Dienstanbieters zu einem so genannten Programmbouquet zusammen. Die BAT trägt die gleiche PID wie die SDT. Durch die im Header des Paketes vermerkte table-id werden die Tabellen voneinander unterschieden. 2. RST running status table, PID 19: Die RST gibt Auskunft darüber, welche Events aktuell laufen. Sie soll im Gegensatz zu den EITs sehr kurz sein. 3. ST stuffing table, PID : wird die vorgegebene Bandbreite eines Transportstromes nicht durch die Nutzdaten ausgefüllt, so müssen zusätzliche Pakete ohne Nutzinhalt (Stuffing) in den Strom eingefügt werden. Die PID für Stuffing ist nicht fest vorgegeben. Es können verschiedene SI-Tabellen für das Stuffing verwendet werden. Der DVB-Transportstrom ist auf der modulierten Übertragungsstrecke durch zwei Verfahren mit einem Fehlerschutz gesichert. Zunächst wird jedem Paket mittels Reed-Solomon-Kodierung eine 16 Byte lange Prüfsumme hinzugefügt. Die Reed- Solomon-Kodierung wird als äußerer Fehlerschutz bezeichnet. Zusätzlich gibt es einen inneren Fehlerschutz durch eine Viterbi-Kodierung die bei DVB-T und optional bei DVB-S genutzt wird. Die Viterbi-Kodierung beruht auf einem Faltungsschema, wobei Fehler im Empfangssignal aufgrund von statistischen Vorhersagen korrigiert werden. Diese verwendeten Fehlerschutzverfahren ermöglichen eine quasi fehlerfreie (QEF, quasi error free) Übertragung mit einer Bitfehlerrate (BER) von bis

12 2. Digital Video Broadcasting 2.2 DVB-Datenrundfunk Applications Application level interface service specific DVB data piping service specific DVB data streaming PES service specific datagram spec. (eg IP/IPX) DVB multi protocol encaps. DSM-CC priv. data service specific DVB data carousel DSM-CC data carousel Section service specific DVB object carousel DSM-CC object carousel DSM-CC data carousel service specific MPEG-2 Transport Stream Application area: Data Piping data_broadcast_id: 0x0001 Data Streaming 0x0002 0x0003 0x0004 Multi-protocol encapsulation 0x0005 Data Carousel 0x0006 Object Carousel 0x0007 Registered service t.b.d : Service specific : DVB defined : Other standards (IETF,ISO) : DSM-CC defined Abb. 2-5 DVB-Datenrundfunk Diagramm [DVB-SI] Abbildung 2-5 zeigt eine Übersicht der Spezifikationen des DVB Datenrundfunks aus dem Standard EN [DVB-SI] [DVB-DATA]. Daten können in diesem Sinne als private data signalisierte Applikationen mit DVB eigener Identifizierung (data_broadcast_id) durch den MPEG-2-TS transportiert werden. Diese Applikationen sind: 1. Datapiping 2. Datastreaming 3. Multiprotocol encapsulation 4. Data carousel 5. Object carousel Des weiteren sieht der DVB Standard auch die Registrierung eines eigenen Dienstes für den Datenrundfunk vor. 9

13 2. Digital Video Broadcasting Aus der Legende unterhalb der Abbildung geht hervor, welche Bereiche durch welche Organisationen standardisiert sind. DSM-CC ist die Abkürzung für digital storage medium command and control und wird im MPEG-2 Standard [MPEG2-1] spezifiziert. Es ist ein grundsätzlich netzwerkunabhängiges Kommunikationsprotokoll, das grundlegende Kontrollfunktionen und Operationen zur Verwaltung von MPEG-2-Bitströmen auf digitalen Speichermedien ermöglicht und kompatibel mit dem MPEG-2 private sections Format ist. DSM-CC ermöglicht es Ordnerstrukturen auf dem Speichermedium zu erstellen. Erweiterungen des DSM-CC-Protokolls sind vorgesehen um Dienste wie video on demand, interactive video services und video networks zu ermöglichen. Im folgenden werden die Eigenschaften der verschiedenen DVB-Protokolle kurz erläutert. Datapiping (DVB-DP) Dieses Protokoll wird für Dienste verwendet, die eine einfache, asynchrone Übertragung von Daten über ein DVB-konformes Netzwerk benötigen. Daten werden direkt als Nutzdaten in die payload der MPEG-2-Transportstrom Pakete eingefügt. Datastreaming (DVB-DS) Dieses Protokoll ermöglicht streaming-orientierte Dienste in asynchroner, synchroner oder synchronisierter Übertragungsweise über ein DVB konformes Netzwerk. Die Daten werden in program elementary stream (PES) Paketen eingefügt. Synchronisierte Übertragung ermöglicht eine Synchronisierung mit anderen im Transportstrom befindlichen Audio- und Videostreams über PTS, DTS und PCR. Multiprotocol encapsulation (DVB-MPE) Hierdurch können Datenströme anderer Kommunikationsprotokolle über ein DVBkonformes Netzwerk übertragen werden. Die Einbindung des internet protocol (IP) ist hierbei nur ein Beispiel, das jedoch sehr oft verwendet wird. MPE wurde zu diesem Zweck optimiert. 10

14 2. Digital Video Broadcasting Data carousel (DVB-DC) Dieses Protokoll kann für eine periodische Übertragung von Daten-Modulen genutzt werden. Diese Daten können modifiziert, eingefügt oder aus der Übertragung heraus genommen werden. Die Module besitzen eine feste Größe und können zu Gruppen zusammengeschlossen werden die wiederum zu sogenannten Supergruppen zusammengefasst werden können. Die Daten werden in DSM-CC sections eingebunden. Object carousels (DVB-OC) Das Object Carousel wurde zur Unterstützung von Diensten spezifiziert, die eine periodische Aussendung von Objekten erfordern. Hierdurch können interaktive Dienste realisiert werden. Die Daten werden durch das DSM-CC object carousel und das DSM-CC data carousel übertragen die in MPEG-2 DSM-CC spezifiziert sind. 11

15 3. MPEG-4 3. MPEG-4 Mit dem MPEG-4 Standard wird das Ziel verfolgt, eine Konvergenz von TV/Film/Unterhaltung, Computerbereich und Telekommunikation zu ermöglichen. Hierzu wurden im Juli 1995 acht grundlegende Funktionen beschrieben, die nützlich für zukünftige audiovisuelle Anwendungen sind und nicht hinreichend durch damalig bestehende Kodierungsstandards erfüllt wurden. Diese acht Funktionen können in folgende drei Klassen zusammengefasst werden [N998]. 1. inhaltsbezogene Interaktivität - inhaltsbezogene Zugriffsmöglichkeit auf multimediale Daten - inhaltsbezogene Manipulation und Editierung von Bitströmen - hybride Kodierung von natürlichen und synthetischen Objekten - zeitlich unabhängiger Zugriff auf Datenströme 2. Kompressionseffizienz - verbesserte Kodierungseffizienz - Kodierung von mehreren, konkurrierenden Datenströmen 3. universeller Zugriff - Robustheit in fehleranfälligen Umgebungen - inhaltsbezogene Skalierbarkeit Eine detaillierte Übersicht gibt das Dokument MPEG-4 requirements [N4319]. Aus den oben aufgelisteten Eigenschaften ist zu erkennen, dass in MPEG-4, im Gegensatz zu MPEG-1 und MPEG-2, nicht das primäre Ziel der effizientesten Kompression von audiovisuellen Signalen verfolgt wird. Es bestehen jedoch Bestrebungen, die erweiterten Funktionen durch eine möglichst geringe Anzahl von Bits umzusetzen. Hierzu sind in der Entwicklungsphase des MPEG-4 Standards Werkzeuge entwickelt worden, die speziell folgende Funktionen realisieren [TM4B] : 1. Effiziente Kodierung einer Reihe von verschiedenen Datentypen - Videos mit verschieden Ansprüchen, von sehr kleiner Datenrate bis hin zu sehr hoher, subjektiver Qualität 13

16 3. MPEG-4 - Musik und Sprache über einen sehr weiten Bitratenbereich, von transparenter Musikübertragung bis hin zur sehr gering bitratiger Sprache - Generisch dynamische 3D Objekte als auch spezielle Objekte wie menschliche Gesichter und Körper - Synthetische Sprache und Musik und Unterstützung für 3D Audioräume - Text und Grafiken 2. Unterstützung feiner Abstufungen in der Qualität und in zeitlicher und örtlicher Dimension (fine grain scalability (FGS)) 3. Fehler-Belastbarkeit der einzelnen Datentypen durch Maßnahmen in der Kodierungsschicht (error resilience) 4. Unabhängige Repräsentation von verschiedenen Objekten in einer Szene zum unabhängigen Zugriff und der Wiederverwendung 5. Synchronisiertes Zusammenfügen von audio- und visuellen Objekten (natürliche und synthetische) in eine audiovisuelle Szene 6. Beschreibung der Objekte und Ereignisse in einer Szene 7. Unterstützung von Interaktions- und Weiterleitungsmöglichkeiten 8. Management und Schützung von Urheberrechten auf audiovisuellen Inhalten und Algorithmen (intellectual property management and protection (IPMP)) 9. Unterstützung eines Übertragungsmedium-unabhängigen Präsentationsformats Der endscheidendste Unterschied zu vorherigen audiovisuellen Kodierungsstandards ist das objektbasierte, audiovisuelle Präsentationsmodell, das MPEG-4 zugrunde liegt. Eine objektbasierte Szene besteht aus individuellen, unabhängigen Objekten die in einem räumlichen und zeitlichen Bezug zueinander stehen. Dieser Präsentationsansatz bietet eine Reihe von Vorteilen. Erstens können verschiedene Objekte jeweils angepasst kodiert werden. Zweitens können verschiedene Datentypen harmonisch in eine Szene integriert werden. Drittens besteht die Möglichkeit mit Objekten zu interagieren und durch diese zu navigieren. Es gibt viele weitere Vorteile wie selektive Bitzuweisung, einfache Wiederverwendung von Objekten und ergonomische Kodierung zur Internetübertragung durch Skalierung. 14

17 3. MPEG-4 Der MPEG-4 Standard gliedert sich organisatorisch in verschiedene Teilbereiche (Parts). Diese Teilbereiche sind MPEG-typisch folgendermaßen aufgebaut [TM4B] : Part 1: System [MPEG4-1] Dieser Teilbereich spezifiziert Szenenbeschreibungen, Multiplexen, Synchronisation, Puffer Management und das Management von Urheberrechten (IPMP) Part 2: Visual [MPEG4-2] Dieser Teilbereich spezifiziert die kodierte Repräsentation von natürlichen und synthetischen, visuellen Objekten Part 3: Audio [MPEG4-3] Dieser Teilbereich spezifiziert die kodierte Repräsentation von natürlichen und synthetischen, Audioobjekten Part 4: Conformance testing [MPEG4-4] Dieser Teilbereich definiert Konformitätsbedingungen für Bitströme und Geräte. Er wird benutzt um MPEG-4 Implementationen zu Testen Part 5: Reference software [MPEG4-5] Dieser Teilbereich beinhaltet Software, die die meisten Teilbereiche von MPEG-4 integriert und umsetzt. Diese Software kann benutzt werden, um MPEG-4-konforme Implementationen umzusetzen. Die ISO behält die copyrights auf den Quellcode. Part 6: Delivery multimedia integration framework (DMIF) [MPEG4-6] Teilbereich 6 definiert ein session protocol zum Management von multimedialen Streams über verschiedene Übertragungstechnologien Die folgenden MPEG-4 Parts sind im Gegensatz zu den vorangegangenen Teilbereichen keine Spezifikationen des Standards sondern werden als technical report (TR) bezeichnet. Die Deklaration zum international standard (IS) durch die ISO/IEC steht noch aus. 15

18 3. MPEG-4 Part 7: Optimized visual reference software [N4554] Dieser Teilbereich beinhaltet optimierte Software für visuelle Werkzeuge wie schnelle Bewegungsabschätzung, schnelle globale Bewegungsabschätzung, und schnelle und robuste Sprite-Erstellung. Diese optimierte Software wird optimization model (OM) genannt. Part 8: Carriage of MPEG-4 contents over IP networks [N4427] Dieser Teilbereich spezifiziert das Einbinden von MPEG-4 Inhalten in verschiedene IP-basierte Protokolle Part 9: Reference hardware description [N4218] Teilbereich 9 wird übertragbare, synthetisierbare / simulierbare, sehr schnelle integrierte Schaltkreisbeschreibungssprache (VHDL) für MPEG-4 Werkzeuge beinhalten Part 10: Advanced video coding (AVC) [N4466, N4508] Dieser Teilbereich wird eine Videokodierungssyntax und Werkzeuge beinhalten die aus der Kooperation der MPEG WG11 SG29 und der ITU-T SG16 hervorgehen. Die Kooperation ist bekannt unter der Bezeichnung Joint Video Team (JVT). Als Grundlage dient der existierende Videokodierungsstandard H.26L 16

19 3. MPEG MPEG-4-System Abb. 3-1 MPEG-4 Terminal Architektur [MPEG4-1] Abbildung 3-1 zeigt die Architektur eines MPEG-4 Terminals. Im unteren Teil ist das Übertragungs- oder Speichermedium abgebildet, dass die unteren Schichten der Übertragungsschicht darstellt. MPEG-4 Daten können durch eine Vielzahl von Übertragungssystemen transportiert werden. Dazu zählen unter anderem MPEG-2- Transportströme, UDP/RTP über IP, und MPEG-4 Files (MP4). Die meisten der aktuell verwendeten Systeme mit einer Transportschicht bieten eigenständige Wege an, Informationen zu multiplexen. Ist es einem System nicht möglich, die Bedürfnisse von MPEG-4 im Bezug auf geringe Verzögerungszeiten zu bedienen, oder sollte die Signalisierung der zahlreichen Elementarströme einer Präsentation zu aufwändig sein, so bietet MPEG-4 ein eigenes Multiplexverfahren 17

20 3. MPEG-4 an. Dieses Multiplexverfahren wird als FlexMux bezeichnet und kann auf bestehende Übertragungsschichten aufgesetzt werden. Die Übertragungsschicht bietet dem MPEG-4 Terminal eine Reihe von Elementarströmen an. Diese Ströme können Daten audiovisueller Objekten, Szenenbeschreibungen, Objektbeschreibungen oder Metadaten beinhalten. Aus der Abbildung 3-1 ist zu erkennen, dass es nicht nur möglich ist, Daten von einem Server zu empfangen, sondern auch Daten an den Server zurück zu senden. MPEG-4 standardisiert sowohl den Mechanismus, der die Steuerung einer solchen Rückmeldung im Terminal übernimmt, als auch das Format, in der diese Rückmeldung zu dem Server übertragen wird. Es ist sehr wichtig, dass die verschiedenen Elementarstromtypen einen gemeinsamen Synchronisationsmechanismus besitzen. Diese Funktion bietet die MPEG-4- Synchronisationsschicht (SL). Die Synchronisationsschicht ist ein flexibles und anpassungsfähiges Paketisierungswerkzeug das eine Einbindung von Zeit-, Aufteilungs-, und Kontinuitätsinformationen in den zugeordneten Datenpaketen realisieren kann. Diese Informationen werden zu den Daten-Einheiten, die access units (AU) genannt werden, hinzugefügt. Access units umfassen eine ganze Präsentationseinheit z.b. ein Vollbild eines Videos. Die einzelnen Elementarströme werden zu den entsprechenden Decodern geleitet, die dann daraus Kompositionseinheiten generieren z.b. ein decodiertes Videobild oder, in der MPEG-4 Terminologie, ein video object plane (VOP). Damit der Empfänger weiß, um welche Art von Information es sich in einem Elementarstrom handelt, wird eine Kontrollinformation in der Form einer Objektbeschreibung (OD) verwendet. Die Objektbeschreibung beschreibt die Eigenschaften von Elementarströmen und wird verwendet um einen oder mehrere Elementarströme mit einem Objekt in einer Szene zu verknüpfen. Hierdurch kann das Terminal den Inhalt identifizieren, der zu ihm übertragen wird und ihn entsprechend weiterverarbeiten. Objektbeschreibungen können zudem Objektinhaltsinformationen (OCI) transportieren, oder auf solche verweisen. OCI beinhalten Metainformationen zu einem Objekt und können als Vorstufe zu MPEG-7 angesehen werden. Im Sinne einer MPEG-4 Präsentation muss mindestens ein Elementarstrom eine Szenenbeschreibung beinhalten, die sich auf die verknüpften Inhalte bezieht. Die Szenenbeschreibung definiert die räumliche und zeitliche Anordnung der 18

21 3. MPEG-4 verschiedenen Objekte, deren dynamisches Verhalten und sämtliche interaktive Eigenschaften, die in der Präsentation eingebunden sind. Die Szenenbeschreibungssprache wird als binary format for scenes (BIFS) bezeichnet und vervollständigt die Objektbeschreibungsarchitektur, die Objekte und deren Eigenschaften beschreibt. Die Schlüsselfunktion der Szenenbeschreibung ist, dass sie die gesamte Zeitsteuerung beinhalten kann und in einem eigenen Elementarstrom übertragen wird. Hierdurch ist es möglich Szenen dynamisch über die Zeit anzupassen oder zu verändern. Dieses ist die Grundlage für interaktive Anwendungen. 3.2 MPEG-4-Visual Auf die Details des MPEG-4-Visual Standards [MPEG4-2] wird in dieser Arbeit nicht weiter eingegangen. Stattdessen soll hier ein Überblick über die wichtigsten Werkzeuge gegeben werden, die im MPEG-4-Visual Standard definiert werden [TM4B]. Videokompressionswerkzeuge: Videokompressionswerkzeuge definieren Algorithmen, die eine effiziente Videokompression mit Bitraten zwischen 5 kbit/s und 1 Gbit/s und Auflösungen von sub-qcif bis 4k*4k Pixeln ermöglichen, wobei progressives und interlaced basiertes Video unterstützt wird. Ferner besteht die Möglichkeit Texturen mit variabler Qualität zu kodieren. Durch die Unterstützung zufälliger Zugriffe, können Navigationsschritte wie Pause und schnelles Vor- und Zurückspulen in gespeicherten oder gestreamten Videosequenzen ermöglicht werden. Des weiteren bestehen verschiedene Möglichkeiten der räumlich-, zeitlich- und objekt-bezogenen Skalierung. Werkzeuge zur Fehlerrobustheit: Die Fehlerrobustheit (error robustness) ermöglicht den Zugriff auf Bilder und Videos auch über fehleranfällige Übertragungsmedien. Es werden speziell Burst-Fehler, die bei Funkübertragungen auftreten können, und Paketverlust-Fehler, die bei Internetübertragungen auftreten können, berücksichtigt. 19

22 3. MPEG-4 Feine Skalierbarkeit der Auflösung (fine grain scalability (FGS)): FGS ermöglicht kleine Qualitätssprünge durch Hinzunahme oder Abzug von Schichten, die Zusatzinformationen bezüglich der Auflösung beinhalten. Diese Qualitätsskalierbarkeit kann besonders im Bereich IP-Streaming und statistischer Multiplex in Rundfunkkanälen genutzt werden. Profil und Alphakanal Kodierung: Durch eine binäre Alpha-Matte kann die Zugehörigkeit eines Pixels zu einem Objekt definiert werden. Eine Graustufen-Matte ermöglicht die Zuweisung einer Transparenz für jedes einzelne Pixel. Gesicht und Körper Animation: Die Gesichts- und Körperanimations-Werkzeuge legen Parameter zur Definition, Kalibration und Animation von synthetisierten Gesichtern und Körpern fest. Die 3D- Modelle selbst sind nicht in MPEG-4 standardisiert. Kodierung von 2D-Netzen: Die Kodierung von zweidimensionalen Netzen ermöglicht Bewegungsverfolgung animierter Objekte, Bewegungsvorhersage, und heben die Übertragung von Texturen, dynamischer Netze auf. Es existiert auch eine geometrische Kompression von Bewegungsvektoren. Kodierung von 3D-Netzen: MPEG-4 beinhaltet Werkzeuge zur Kodierung dreidimensionaler, polygonaler Netze. Polygonale Netze werden üblicherweise zur Repräsentation dreidimensionaler Objekte verwendet. Die zugrunde liegende Technik komprimiert die Verbindungen, Geometrie und Eigenschaften wie Schattenrichtungen, Farbe und Texturkoordinaten von polygonalen 3D-Netzen. 20

23 3. MPEG-4 Die Tabellen 3-1 und 3-2 geben nochmals einen detaillierten Überblick, welche Werkzeuge bei welchem Objekttyp verwendet werden können. Tab. 3-1 Werkzeuge fürmpeg-4- Visual Objekttypen der Version 1 [MPEG4-2] 21

24 3. MPEG-4 Tab. 3-2 Werkzeuge für MPEG-4-Visual Objekttypen der Version 2 [MPEG4-2] 22

25 3. MPEG MPEG-4-DMIF Das delivery multimedia integration framework (DMIF) wird in dem Standard ISO/IEC [MPEG4-6] definiert. Auch hier soll nur ein Überblick auf die wichtigsten Werkzeuge gegeben und durch Abbildung 3-2 die Kommunikationsarchitektur skizziert werden [TM4B]. Abb.3-2 DMIF-Kommunikationsarchitektur [MPEG4-6] DMIF-Applikations-Schnittstelle (DAI): Die DAI ist eine transparente Applikations-Schnittstelle, die einen Zugriff auf multimediale Inhalte ermöglicht. Dabei ist es unerheblich über welche Übertragungskanäle die Applikation die Daten bezieht. Denkbar sind Broadcastkanäle, der Zugriff auf gespeicherte Daten oder interaktive Verbindungen zu anderen Applikationen. Das Kommunikationsmodell, das dieser Schnittstelle unterliegt, ermöglicht eine ständige Überwachung der Dienstqualität (QoS), spezifische Anfragen und Rückmeldung bei Dienstqualitätsverstößen. Ferner ist ein gleichzeitiger Empfang, Darstellung und Synchronisation von MPEG-4-Inhalten über verschiedene Übertragungsmedien möglich. DMIF-Signalisierungsprotokoll: Das DMIF-Signalisierungsprotokoll ist ein allgemeines session level Protokoll für gestreamte, multimediale Daten. Das Protokoll wird auf der Empfangsseite zur Konfiguration der Ablagestapel von Übertragungsprotokollen verwendet. Es wurde im Hinblick auf zukünftige Netzwerktechnologien entworfen und ermöglicht Funktionen 23

26 3. MPEG-4 die derzeitige Techniken noch nicht unterstützen. Dieses beinhaltet Dienstqualitätsund Ressourcen Management und Operationen über eine Vielzahl von Netzen, wobei heterogene Netze eingeschlossen sind. Die Implementation einer DMIF-Instanz für ein Übertragungsmedium ist die Aufgabe der jeweiligen Standardisierungsorganisation. Derzeit existiert eine DMIF-Instanz für das MP4-File und IP/UDP/RTP-Streaming. Eine DMIF-Instanz für den MPEG-2- Transportstrom ist zwar definiert, jedoch in keinem verfügbaren, DVB-konformen Gerät bisher implementiert worden. 24

27 4. H.264 / MPEG-4-AVC 4. H.264 / MPEG-4-AVC Abb. 4-1 Joint Video Team Der Videokompressionsstandard H.264 / MPEG-4-AVC basiert auf dem H.26L Standard der ITU. Er befindet sich derzeit noch in der Entwicklung und wird voraussichtlich im Dezember 2002 fertig gestellt sein. Die Videokodierung verspricht einen signifikanten Fortschritt gegenüber allen voran gegangenen Videokompressionsstandards. So wird eine durchschnittlich, zweifache Kodierungseffizienz gegenüber MPEG-2-kodiertes Video, bei gleicher subjektiver Qualität erwartet. Der Standard wird gemeinsam von Mitgliedern der ITU-T-Video Quality Experts Group (VCEG) und Mitgliedern der ISO-Moving Pictures Experts Group (MPEG) entwickelt. Diese Kooperation wird als Joint Video Team (JVT) bezeichnet. Die Ergebnisse dieser Entwicklung werden bei der ITU-T unter der Bezeichnung H.264 (ehemals H.26L) geführt, während die ISO/IEC diese als MPEG-4 Advanced Video Coding (AVC) bezeichnet und als MPEG-4 Part 10 [N4466, N4508] in den Standard aufnimmt. Abbildung 4-1 skizziert diese Zusammenhänge. Durch die Einbindung von AVC in den MPEG-4 Standard kann diese Videokodierungstechnik in Zukunft vollständig in das MPEG-4-System Konzept integriert werden und von dessen Infrastruktur profitieren. Es wird erwartet, dass MPEG-4-AVC langfristig den derzeitigen Videokompressionsstandard MPEG-4 advanced simple profile (ASP) und den MPEG-2- Videokompressionsstandard in einer Vielzahl von Anwendungen ablösen wird. Das Spektrum der unterstützten Videoformate erstreckt sich über alle Datenraten, 25

28 4. H.264 / MPEG-4-AVC Qualitätsstufen und Videoanwendungen. So werden zum Beispiel Videoanwendungen, wie schmalbandige Funkübertragung, Standard- und High- Definition TV, Videostreaming über das Internet und Formate für digitales Kino unterstützt. Abbildung 4-2 zeigt, dass sich H.264 / MPEG-4-AVC in zwei konzeptuelle Schichten aufteilen lässt. Zum einen ist dies die Videocodierungsschicht (VCL) und zum anderen die Netzwerk-Abstraktionsschicht (NAL). Mit Hilfe der NAL können Videodaten der VCL über ein breites Spektrum von Netzwerken transportiert werden. Die Standardisierung durch das JVT endet mit der Definition einer Schnittstelle zur NAL. Die Einbindung von H.264 / AVC-Daten in ein Transportmedium ist das Aufgabengebiet des jeweiligen Standardisierungsgremiums. Die VCL Schnittstelle ist im Gegensatz zur NAL rein konzeptuell und hilft die Bereiche der Kodierung und der Übertragung voneinander abzugrenzen. Abb. 4-2 Übersicht zum H.264 / MPEG-4-AVC Standard Die höchste Abstraktionsstufe der Videodaten in der Videokodierungsschicht wird als slice bezeichnet und fasst eine bestimmte Anzahl von Makroblöcken eines Bildes zusammen. Durch die NAL wird die VCL von den Details der Transportschicht, die H.264 / AVC-Daten transportieren soll, getrennt. Hier wird eine allgemeine und 26

29 4. H.264 / MPEG-4-AVC netzwerkunabhängige Präsentation von Informationen definiert, die über das silce- Niveau hinausgeht. Die Datenpakete, die an die Transportschicht übergeben werden, bezeichnet man als network abstraction layer units (NALUs). Eine NALU besteht aus einem Bytegroßen Header und einer payload, die in den meisten Fällen die Makroblöcke eines slices beinhaltet. Der Header selbst besitzt ein Flag zur Kennzeichnung von Übertragungsfehlern, ein Verwerfungs-Flag und eine Kennzeichnung des NALU- Types. Die NAL unterstützt noch weitere Funktionen. So ist es möglich, NALUs zu unterteilen bzw. zusammenzufassen oder Informationen einzubinden die ein Bild, eine Gruppe von Bildern oder eine Sequenz kennzeichnen. Zur einfachen Einbindung von H.264 / AVC-Daten in Übertragungssysteme, die Byte- Stream orientiert sind (z.b. MPEG-2) werden NALUs in Startcodes eingekapselt. Diese Startcodes haben eine Länge von 16 oder 24 Bits und werden Byte-orientiert in den Bitstrom eingefügt. Ein Stopfmechanismus verhindert, dass Daten der payload nicht mit der Syntax von Startcodes kollidieren. Des weiteren spezifiziert der Standard eine Methode, mit der Kodierungsparameter in Form eines bestimmten NALU-Types übertragen werden können. Dieses ermöglicht den Aufbau verschiedener, logischer Übertragungskanäle oder die Erstellung eines Kontrollprotokolls ähnlich dem des session description protocols (SDP) [RFC2327]. Es sei nochmals explizit darauf hingewiesen, dass H.264 / AVC-Daten, wie bei Elementarströmen üblich, keine time stamps beinhalten, so das diese Synchronisationssignalisierung vollständig durch die Transportschicht übernommen werden muss. 27

30 5. Übertragung von MPEG-4Daten im MPEG-2-Transportstrom 5. Übertragung von MPEG-4-Daten im MPEG-2-Transportstrom In der aktuellen Version des MPEG-2-System Standards [MPEG2-1] wird die Einbindung von MPEG-4-Daten in den MPEG-2-Programm- und Transportstrom beschrieben. Grundsätzlich erfolgt dabei eine Unterscheidung zwischen der Übertragung individueller Elementarströme und ganzer MPEG-4-Szenen. 5.1 Übertragung individueller MPEG-4-Elementarströme Der Transport individueller MPEG-4-Elementarströme über MPEG-2-System beschränkt sich auf Ströme, die nicht auf die Funktionen von MPEG-4-System angewiesen sind. Das sind Audio- und Videoelementarströme. Durch diese Übertragungsart können Dienste entwickelt werden, die MPEG-4 statt MPEG-2- Kompression nutzen um z.b. die erhöhte Kodierungseffizienz oder das separate Kodieren einzelner Objekte auszunutzen. Weiterhin können auch ohne eine separate Szenenbeschreibung des MPEG-4-System Standards [MPEG4-1], durch das Übereinanderlegen einzelner Objekte, einfache Szenen erstellt werden. Individuelle MPEG-4-Elementarströme werden, wie MPEG-2-Elementarströme, als packetized elementary stream (PES) in den MPEG-2-Programm- und Transportstrom eingebunden. Hierzu wurden im MPEG-2-System Standard neue stream_id Werte für den PES-Header und neue stream_type Werte für die program map table (PMT) definiert. Die Synchronisation erfolgt vollständig durch Mechanismen des MPEG-2- Standards, in dem ein Bezug der decoding time stamp (DTS) und presentation time stamp (PTS), die sich im jeweiligen PES-Header befinden, zur program clock reference (PCR) vorgenommen wird. Dadurch können MPEG-4-Daten auch mit MPEG-2-Daten synchronisiert werden. Audio-Elementarströme müssen jedoch vor der Einbindung durch einen low-overhead MPEG-4 audio transport multiplex (LATM) vorverarbeitet werden. Die Profil- und Levelbeschreibung der MPEG-4-Elementarströme, die ein MPEG-4- Decoder zur Dekodierung benötigt, erfolgt durch einen MPEG-4_video_descriptor oder MPEG-4_audio_descriptor in der zweiten Beschreibungsschleife der PMT, deren Aufbau in Abbildung 5-1dargestellt ist. 28

31 5. Übertragung von MPEG-4Daten im MPEG-2-Transportstrom Abb.5-1 Program Map Table Diagramm [MPEG2-1] 5.2 Übertragung von MPEG-4-Szenen Durch die Einbindung von MPEG-4-Präsentationen mit Szenen- und Objektbeschreibungen in MPEG-2-System können MPEG-2-Dienste erheblich durch Interaktivität erweitert werden. Die Synchronisation der einzelnen Objekte einer MPEG-4-Szene basiert dabei auf Mechanismen, die der MPEG-4-System Standard beschreibt. Jedes Objekt bzw. jeder Elementarstrom wird zunächst in einen separaten synchronized layer (SL) - packetized stream verpackt und kann anschließend durch eine entsprechende delivery multimedia integration framework (DMIF)-Instanz in einen so genannten TransMux Stream umgewandelt werden. In MPEG-2-System werden MPEG-4-SL-packetized streams in MPEG-2-PES eingebunden. Jedes SL-Paket wird in die payload eines PES-Paketes geschrieben. Zudem signalisiert ein stream_id Wert, dass ein PES einen SL-packetized stream enthält. Es gibt, aus Gründen der Kompatibilität mit MPEG-2, eine Reihe von Einschränkungen bezüglich der zeitlichen Signalisierung von SL-packetized streams, die in PES eingebunden werden. So muss die object clock reference (OCR) eine Auflösung haben, die durch 90kHz teilbar ist. Andere Zeitmarken (CTS, DTS) müssen die gleiche Auflösung haben bzw. durch einen ganzzahligen Wert teilbar sein. Zudem sollte die Länge der Zähler (CTS, DTS und OCR), die modulo aufgebaut sind, so gewählt werden, dass sie zur gleichen Zeit zurückgesetzt werden. 29

32 5. Übertragung von MPEG-4Daten im MPEG-2-Transportstrom Die Zeitsteuerung der SL-packetized streams ist der Zeitsteuerung der MPEG-2- TS/PS in folgender Weise untergeordnet. Alle SL-packetized streams müssen eine OCR-Zeitmarke beinhalten. Wenn ein SL-Paket eine OCR hat, so muss das einkapselnde PES-Paket eine PTS haben. Der Wert dieser PTS drückt bezogen auf die MPEG-2-Zeitachse, den gleichen Zeitpunkt aus, wie der OCR Wert bezogen auf die MPEG-4-Objektzeitachse. Deshalb sind beide Zeitachsen fest miteinander gekoppelt, obwohl die Zeitmarken möglicherweise eine unterschiedliche Auflösung und Versatz haben. Durch die feste Kopplung der Zeitachsen ist es auch hier möglich, MPEG-2-Daten mit MPEG-4-Daten synchronisiert darzustellen Einbindung von FlexMux-Streams Durch den FlexMux-Multiplex können mehrere MPEG-4-Elementarströme in einen MPEG-2-PES eingebunden werden. Dieses ist aus Effizienzgründen sinnvoll für Elementarströme mit geringen Datenraten. Bei diesem Verfahren wird eine Anzahl von FlexMux-Paketen in ein PES-Paket eingekapselt und ein stream_id Wert signalisiert das ein PES einen FlexMux-Stream beinhaltet. Im Gegensatz zu der Übertragung von SL-packetized streams wird eine FlexMux-clock reference (FCR) statt einer OCR eingebunden. Für die FCR gelten jedoch die gleichen Bedingungen bezüglich der PTS, wie zuvor bei der OCR beschrieben. Szenen- und Objektbeschreibungs-Streams können in einfachen MPEG-4- Präsentationen recht statisch sein und brauchen während der Präsentationszeit nicht mehr verändert zu werden. Um einen zufälligen Zugriff auf eine Präsentation zu ermöglichen müssen diese regelmäßig wiederholt werden. MPEG-2 bietet in solchen Fällen die Einbindung in sections an. FlexMux-Streams, die ausschließlich Szenenund Objektbeschreibungs-Streams beinhalten, können also auch die MPEG-2- sections- Syntax statt die PES-Syntax nutzen. Abbildung 5-2 zeigt die verschiedenen Einbindungsmöglichkeiten von MPEG-4- System-Streams mit entsprechender Signalisierung im MPEG-2-System-Stream und Abbildung 5-3 zeigt eine Gesamtübersicht einer beispielsweisen, eingebundenen MPEG-4-Szene in einen MPEG-2-Transportstrom. 30

33 5. Übertragung von MPEG-4Daten im MPEG-2-Transportstrom Abb.5-2 Einbindung und Signalisierung von MPEG-4-Daten in MPEG-2 [MPEG2-1] Abb.5-3 Beispiel eingebundener MPEG-4-Daten in MPEG-2 [MPEG2-1] 31

34 6. Umsetzung der Aufgabenstellung 6.0 Umsetzung der Aufgabenstellung Abb.6-1 Einbindung von MPEG-4-Visual und H.264 / AVC-Daten in den DVB-TS Abbildung 6-1 skizziert die verschiedenen Möglichkeiten der Einbindung von Videoelementarströmen des MPEG-4-Visual und H.264 / MPEG-AVC Standards in den DVB-Transportstrom. Es sei darauf hingewiesen, dass MPEG-4-ACE nur eine Bezeichnung für ein bestimmtes Profil des MPEG-4 Standards ist, die Aussagen bezüglich der Übertragungsmöglichkeiten jedoch auf alle MPEG-4 natural visual profiles als projizierbar angenommen werden. Des weiteren ist die Standardisierung von H.264 / AVC zum Zeitpunkt dieser Arbeit noch nicht abgeschlossen, so dass sich die Aussagen bezüglich der Einbindung in andere Standards auf das Dokument Requirements for AVC Codec [N4672] stützen. Kernaussagen dieses Dokumentes bezogen auf das Diplomarbeitsthema sind: - It shall be possible to define AVC content as a visual elementary stream within the MPEG-4 System architecture - The specification for the carriage of AVC content over MPEG-2 Systems shall use IS :2000 or extension of it Folgt man diesen Aussagen und fasst die Definitionen von DVB, MPEG-2-System, MPEG-4-System und H.264 / AVC zusammen, so kann folgende Tabelle 6-1 aufgestellt werden, die einen Überblick zu möglichen Übertragungsvarianten gibt. 32

35 6. Umsetzung der Aufgabenstellung MPEG-4 über MPEG-2 MPEG-4 System über MPEG-2 MPEG-4 System über IP H.264 über IP MPEG-4 System MPEG-4 System über IP Elementarstrom MPEG-4 H.264 in NAL x (x) 1 (x) 1 x (x) 1 (x) 1 MPEG-4 visual x x x x x SL x (x) 4 x (x) 4 Paketierung FlexMux (x) 2 x IP-Paketierung IP/UDP/RTP x x x MPEG-2 PES x x Paketierung Section (x) 3 x x DVB Datapiping x x Signalisierung Datastreaming x x MPE x x (x) 1 ist noch nicht standardisiert (x) 2 nur Szenen- und Objektbeschreibung (x) 3 optionale Einbindung der Szenen- und Objektbeschreibung als FMS oder SLS (x) 4 die SL-Paketierung wird durch IP/UDP/RTP übernommen Tab. 6-1 Übertragungsvarianten Der zweiten Zuweisungsspalte, (vierte Tabellenspalte), ist zu entnehmen, dass eine MPEG-4-Szene in den MPEG-2-Transportstrom eingebunden werden soll. Teil dieser Szene ist ein MPEG-4 visual elementary stream (ES) dessen access units (AU) in Pakete des synchronized layers (SL) gepackt werden. Die SL-Pakete werden in Pakete des MPEG-2 packetized elementary stream (PES) eingebunden und dieses im DVB-Transportstrom als datastreaming signalisiert. Zu einer MPEG-4-Szene gehört eine Szenen- und eine Objektbeschreibung. Beide Beschreibungen werden als scene description stream (SDS) und object description stream (ODS) ebenfalls in SL-Pakete eingepackt und können identisch zum MPEG- 4-Visual ES im PES transportiert werden. Optional können der SDS und der ODS in einen FlexMux-Stream (FMS) gemultiplext werden. Dieser FMS kann wiederum in den PES eingebunden werden oder auch in MPEG-2 sections. MPEG-2 sections ermöglicht nicht nur die Übertragung von FlexMux-Streams, sondern auch die Übertragung des SDSs und ODSs als SL-Stream. Voraussichtlich würde die Übertragung eines H.264 / AVC-Elementarstroms identisch aussehen, wenn die Integration dieses Standards in MPEG-4 abgeschlossen ist. 33

36 6. Umsetzung der Aufgabenstellung Neben den aufgeführten Übertragungsvarianten gibt es noch andere. Der Fokus der Arbeit liegt jedoch auf Implementierungen, die durch die beteiligten Standardisierungsorganisationen favorisiert werden und eine Aussicht auf praktische Anwendung versprechen. Die Einbindung eines neuen Kodierungsstandards in die DVB-Infrastruktur ist dann sinnvoll, wenn bestehende Inhalte oder Dienste durch den neuen Standard erweitert, vor allem aber dieser mit ihnen kompatibel synchronisiert werden kann. Demnach ist die Verwendung von DVB datapiping (DVB-DP) für eine streamingorientierte Anwendung nicht ratsam. DVB-DP könnte jedoch zur Übertragung von MP4-Files genutzt werden. Anders stellt es sich mit der Einbindung von IP-Streaming durch DVB multiprotocol encapsulation (MPE) dar. Zwar kann hier, ohne proprietäre Erweiterungen, keine bildgenaue Synchronisation mit den MPEG-2 packetized elementary streams (PES) / DVB data streams (DVB-DS) erstellt werden, IP/UDP/RTP-Streaming über DVB-MPE ist zur Zeit jedoch die am häufigsten, angewendete Übertragungsweise von MPEG-4-Daten über DVB. Die Ursache liegt in einer bereits existierenden und weit verbreiteten DMIF-Instanz für MPEG-4 über IP in MPEG-4-Playern und einer noch nicht implementierten DMIF-Instanz für MPEG-4 über MPEG-2 in DVB-konformen Empfangsgeräten. 6.1 Festlegung der Übertragungsart Den vorangegangenen Betrachtungen kann entnommen werden, dass es zwei zu favorisierende Übertragungsarten für streaming-orientierte Anwendungen im DVB Standard gibt. Als erstes ist dieses das DVB datastreaming als packetized elementary stream (PES) und als zweites IP/UDP/RTP-Streaming über DVB multiprotocol encapsulation (MPE). Der MPEG-2-System Standard bietet durch die PES-Struktur einen zuverlässigen Synchronisationsmechanismus an, auf den streaming-orientierte Anwendungen zurückgreifen können. Wird hingegen eine andere Übertragungsart gewählt, so muss die Anwendung einen eigenen Synchronisationsmechanismus definieren. Dieses wird im MPEG-4-System Standard durch die Einbindung der Elementarströme in synchronized layer (SL) Paketen realisiert. Die SL-Syntax ist sehr variabel und besteht aus zwei Teilen, dem sync layer configuration descriptor und dem sync layer packet header. Der sync layer configuration descriptor beschreibt den Aufbau der 34

37 6. Umsetzung der Aufgabenstellung SL-Pakete, die in der Regel aus einem SL-Header und einer access unit (AU) bestehen und wird selbst außerhalb des SL-Streams übertragen. Er ist Teil der elementary stream description, die wiederum Teil des object descriptors ist. Die SL- Header können also nach Bedarf für jeden Elementarstrom einzeln angepasst werden. Bietet das Transportmedium, dass SL-Pakete einkapselt, Eigenschaften an, die den Elementen des SL-Headers entsprechen, so können diese aus dem SL-Header entfernt werden und die benötigte Signalisierung durch das Transportmedium übernommen werden. Das Dokument RTP Payload Format for MPEG-4 Streams [M4RTP] geht sogar so weit, dass die Signalisierung des SL-Headers vollständig durch RTP-Header übernommen werden kann. SL-Header existieren demnach nur noch konzeptuell und haben die Bitlänge Null. Dem entsprechend wird angenommen, dass bei Elementarströmen, die als PES übertragen werden, ebenfalls die SL-Synchronisations-Signalisierung vollständig durch PES-Header übernommen werden kann. Anders sieht es bei der Einbindung des scene description stream (SDS) und object description stream (ODS) als SL-Stream in MPEG-2 sections aus. Hier muss die gesamte Synchronisation durch reale SL-Header übernommen werden. Die flexible sync layer Konfiguration ermöglicht aber eine Synchronisierung mit den in PES eingebundenen Elementarströmen, die durch entsprechende Konfiguration des sync layer configuration descriptors als SL-Streams angesehen werden können. Die Verwaltung der entsprechenden Ströme im DVB-Transportstrom muss auf der Sende- und Empfangsseite von einer DMIF-Instanz für den MPEG-2 bzw. DVB- Transportstrom übernommen werden. Für die, im Rahmen dieser Arbeit, getroffene Auswahl der Übertragungsarten zur Untersuchung der Fehlerempfindlichkeit von MPEG-4-ACE und H.264 bei DVBkonformer Übertragung in Rundfunkkanälen haben die vorangegangenen Schlussfolgerungen folgende Konsequenz: - Es werden individuelle MPEG-4 visual elementary streams als RTP-Streams durch DVB multiprotocol encapsulation übertragen 35