Frame Frame Frame Frame CIF/QCIF GOB GOB... GOB. Macro Block. Motion Vector

Transkript

1 2.3 H.261 (8) Datenstrom von H.261 Frame Frame Frame Frame... Start Code Time Ref CIF/QCIF GOB GOB... GOB GOB Start GOB Number Quantizer... MB Addr. Intra/ Inter Quant Motion Vector Coded s nach Handley Auflösungen CIF oder QCIF D H.263 Nachfolger von H.261 ITU-T Standard von 1996 ähnliches Design Zahlreiche optionale Erweiterungen Auflösung der Bewegungsvektoren auf halbe Pixel genau detailreichere Bewegungsvorhersage basiert auf 8 x 8 Blöcken statt 16 x 16 bessere Endcodierung (Syntax-based arithmetic coding) zusätzliche Auflösungsoptionen SQCIF, QCIF, CIF, 4CIF, 16CIF Frame-Prediction vorwärts und rückwärts Makroblock enthält Differenzen zu vorangegangenem Frame und zu nachfolgendem Frame ähnlich MPEG D.34

2 2.5 MPEG-Codierungen Moving Pictures Exptert Group (MPEG) Standardisierung über ISO/IEC International Standards Organization/International Electrotechnical Commission MPEG-1, -2 und -4 als Codierungsstandards Audio- und Videodaten MPEG-1 Qualität in etwa von H.261 CIF MPEG-2 hohe Qualität: DVD, digitales Fernsehen (DVB-T), HDTV Audio Layer 3 bekannt als MP3 MPEG-4 geringe Bitraten (mobile Systeme) Skalierbarkeit (auch für HDTV geeignet) D MPEG-1 Datenrate 1 bis 1,5 MBit/s höhere Auflösungen möglich aber wenig gebräuchlich progressiver Scan Drei Framearten I-Frame alle Makroblöcke sind Intraframe-codiert wird regelmäßig alle n-frames codiert P-Frame einige Makroblöcke beziehen sich auf vorherigen I-Frame oder P-Frame B-Frame einige Makroblöcke beziehen sich auf den vorherige und nachfolgenden Frame D.36

3 2.6 MPEG-1 (2) Motivaton für B-Frames bewegliche Objekt vor Hintergrund Bewegung des Objekts effizient codiert durch Bewegungsvektoren Was passiert mit Hintergrund? Bezug zum Folgebild erlaubt einfache Codierung Überblendeffekte Codierung als Mittel zwischen den Daten zweier Bilder Group of Pictures I-Frame und alle folgenden Frames bis zum nächsten I-Frame D MPEG-1 (3) Codierung mit B-Frames Aufbewahrung mehrerer Bilder im Encoder Senden der P-Frames außer der Reihe Beispiel: ankommende Frames: codiert als: I B B P B B I gesendet: I P B B I B B Nachteil höherer Speicheraufwand (Puffer) höhere Komplexität (Rechenzeit) höhere Verzögerung Vorteil: effiziente Codierung B-Frame hat etwa halbe Größe eines P-Frames D.38

4 2.6 MPEG-1 (4) GOP-Anordnung obliegt dem Encoder z.b. IPPP, IBPBP, IBBPBP optimierte Algorithmen können ideale Anordnung berechnen hoher Aufwand, sinnvoll evtl. in On-Demand-Szenarien Einstreuen von I-Frames nach bestimmter Framezahl erlaubt Implementierung von schnellem Vor- oder Rücklauf durch Ausspielen der I-Frames und evtl. von P-Frames Skalierung in der Framerate leicht möglich D MPEG-2 Standardisiert als ISO/IEC bis -9 Verbessert MPEG-1 für höhere Qualität geeignet (z.b. DVD) Verbesserungen Unterstützung für Interlaced-Scan verschiedene Varianten für Größe der Farbinformation genauere Koeffizienten für DCT höhere Datenrate (4 100 MBit/s) verschiedene Seitenverhältnisse (4:3, 16:9) skalierbare Datenströme D.40

5 2.7 MPEG-2 (2) Skalierbarkeit Aufteilung der Daten auf mehrere Datenströme (Layers) Base-Layer enthält substanzielle Information, aber in geringer Qualität Enhancement-Layer enthält zusätzliche Information zur Qualitätssteigerung Modi der Skalierbarkeit Datenpartitionierung Base-Layer: DCT-Koeffizienten für niedere Frequenzen Enhancement-Layer: Koeffizienten für höhere Frequenzen Signal-Rauschabstand Base-Layer: grobe Quantisierung Enhancement-Layer: Delta für feine Quantisierung D MPEG-2 (3) Modi der Skalierbarkeit (fortges.) Spatiale Skalierbarkeit Base-Layer: normale Bildqualität Enhancement-Layer: Zusatzinfo für HDTV Temporale Skalierbarkeit Base-Layer: 30 Frames pro Sekunde Enhancement-Layer: Erweiterung für 60 Frames pro Sekunde Vorteil der Skalierbarkeit leichte Aufspaltung des Stroms für Clients mit niedrigeren Anforderungen oder Fähigkeiten z.b. Adaptierungsknoten im Netz filter Enhancement-Layer aus z.b. Filterung beim Ausspielen D.42

6 2.7 MPEG-2 (4) Profile und Levels Profil definiert Codierungsverfahren (5 Profile) z.b. Simple Profile: keine B-Frames, keine Skalierbarkeit z.b. High Profile: B-Frames, SNR oder spatiale Skalierbarkeit Level definiert Auflösung und Framerate (4 Levels) z.b. High Level: 1920 x 1152 x 60, Low Level: 352 x 288 x 30 theoretische Auflösung des MPEG-2 Formats x D MPEG-2 (5) MPEG-2 Video-Encoder liefert Elementardatenstrom ES (Elementary Stream) Sequence Header Sequence Sequence Header Sequence... Height Width Aspect Ratio Bit Rate Picture Rate GOP Header Frame Frame... Frame Frame Header Slice Slice... Slice Temporal Ref Frame Type... Frame Structure Slice Header... MB Addr. Type Quant Motion Vectors Coded s D.44

7 2.7 MPEG-2 (6) MPEG-2 Audio Encoder liefert ebenfalls ES MPEG-2 Packetised Elementary Streams (PES) Packetierung in Einzelpakete pro ES unterschiedlich lange Pakete Paketheader Stromidentifikation MPEG-2 Program Stream PES-Pakete mehrerer ES werden gemischt zu mehreren Program-Stream-Packs pro Pack: Header und bis zu 16 Video- und 32 Audio-PES-Pakete gleiche Zeitbasis für Time-References notwendig typisch für Audio + Video entwickelt für fehlerfreie Umgebungen z.b. Format in einer MPEG-2-Datei D MPEG-2 (7) MPEG-2 Transport Stream (TS) für fehlerhafte Übertragungen entwickelt z.b. Netzwerk, drahtlose Netzwerke fixe Paketgröße von 188 Byte motiviert von ATM-Zellen (47 Byte Nutzlast; 188 = 4 * 47) Header enthält Informationen über im Paket enthaltene PES-Pakete erleichtert Resynchronisation und Fehlererholung D.46

8 2.8 MPEG-4 Standardisiert als ISO/IEC (1999) MPEG-4 Version 2 (2000) Zielsetzung niedrige Bitraten (z.b. 10 kbit/s) mobile Nutzer Handy-TV, Videotelefonie auf dem Handy hohe Skalierbarkeit sehr hohe Bitraten erreichbar (z.b. 1 GBit/s) Integration von Videoobjekten in eine Szenerie Media-Objects D MPEG-4 (2) Media-Objects Standbilder z.b. Hintergrund Videoobjekte z.b. sprechende Person ohne Hintergrund Audioobjekte z.b. Sprachdaten der sprechenden Person Text und Grafik z.b. eingeblendete Texte bei Nachrichtensendungen synthetische Audiodaten synthetische Bilddaten z.b. animierte Filme, animierte Avatare, 3D-Objekte D.48

9 2.8 MPEG-4 (3) Standardisiertes Konzept zum Aufbau einer Szene Platzierung von Media-Objects im Raum Anwendung von Transformationen zur Änderung der geometrischen und akustischen Erscheinungsform Komposition von Media-Objects aus einfacheren Objekten Zuordnung von Datenströmen an Media-Objects z.b. Audiostrom zu Person z.b. Videostrom wird in Bild oder Leinwand aus der Szene eingepasst z.b. Datenstrom koordiniert Animation eines Kunstkopfs/Avatars (Lippenund Mimikinformation) Definition von Benutzerinteraktionen mit den Media-Objects in der Szene Integration von VRML-Konzepten zur Darstellung, Transformation von und Interaktion mit 3D-Objekten D MPEG-4 (4) Sprite-Technik beweglicher Bildbereich über Hintergrund (Sprite) Bilder von D. Farin Hintergrund wird weniger häufig übermittelt Ausschnitt aus Hintergrund bestimmt durch Szene und Blickwinkel Vordergrundobjekt wird hinzugefügt D.50

10 2.9 H.264 MPEG-4 Part 10 auch als H.264 bezeichnet verbesserter Videocodierungsstandard (2003) Verbesserungen gegenüber MPEG-2 bis zu 32 Bezugsframes für P- und B-Frames MPEG-2 nur 2 Bezugsframes skalierbare größe bei Bewegungskompensation genauere Anpassung an Geometrie des bewegten Objekts Viertelpixel-Auflösung bei Bewegungsvektoren gewichtete Übernahme von Blöcken z.b. für Fading-Effekte mehrere Codierungsformate für DCT-Koeffizienten Vorteil typisch: halbe Datenrate von MPEG-2 bei gleicher Qualität D.51 3 Referenzen Verwendete Ressourcen, weitere Informationen H. Schulzrinne, A. Rao, R. Lanphier: Real Time Streaming Protocol (RTSP). RFC 2326, April H. Schulzrinne, S. Casner: RTP profile for audio and video conferences with minimal control. RFC July Wikipedia. < M. Handley: Multimedia Systems (Z04/Z24). Vorlesungsfolien, < D. Farin, P. de With, W. Effelsberg: Minimizing MPEG-4 Sprite Coding-Cost using Multi-Sprites. Proc. of the SPIE Visual Communications and Image Processing Conf. Vortragsfolien, < D.52