Medien- Technik. Digitales Video. Prinzip: Sequenz Digitaler Einzelbilder mit eingestreuten Ton-Samples .MOV .MPG .AVI

Transkript

1 Digitales Video Prinzip: Sequenz Digitaler Einzelbilder mit eingestreuten Ton-Samples.MOV.AVI.MPG

2

3 Überblick (digitale) Fernsehstandards USA Grand Alliance HDTV MPEG-2 Dolby AC-3 Europa European DVB Project DTVB (terrestrisch) ETS (Sat.) ETS (Kabel) DTVB: HDTV, mehr Programme, mobil & handheld, Telefonie/Computer

4 MPEG-1 PAL 1,7 MB MPEG-1 VideoCD 1,9MB MPEG kB AVI 27MB MPEG MPEG-1 Zielsetzung: Video auf CD 1,15-1,5 Mbit/sec SIF 352 * 288 Pixel max. 30 f/s non-interlaced MPEG-2 Viele Formate, hohe Kompression p64 / H.261 PAL / NTSC MP@ML Main profile at Main Level bis 15MBit/sec Multiplexing MPEG-7 Multimedia & Video MPEG-4 MPEG-3 Very low bitrate HDTV

5 Unterschiede MPEG 1 und MPEG 2 Parameter MPEG-1 MPEG-2 Grösse/Pixel std. 50 % 360*288 (352*240) 360*288 (352*240) low level Grösse/Pixel std. 100% n. mlg. 720*596 (704*480) main level Grösse/Pixel HDTV 4:3 n. mgl. 1440*1152 high1440 level Grösse/Pixel HDTV 16:9 n. mgl. 1920*1080 high level Grösse Scanvorlage <720*576 (704*480) <16384*16384 Farbformat YCC 4:2:0 (Scan 4:2:2) 4:2:2 (Scan bis 4:4:4) Makroblöcke/Bild 396 levelabhängig Makroblöcke/sec. <396*25 (330*30) levelabhängig Bildwiederholrate <30 pps <30 pps Bitrate <1,862 Mbit/s MBit/s Interlace nein ja Ton 2-Kanal Surround-Sound mgl.

6 Intraframe- Komprimierung innerhalb eines Bildes Interframe- Komprimierung über mehrere Bilder DCT mit vorgegebener Quantisierungsmatrix MPEG-Prinzip VLC mit fester Tabelle

7 I-Frames, Intra-Frames P-Frames, Predicted Frame + = I-Frame wie JPEG komprimieren Vorhersagefehler (Differenz) JPEG komprimieren P-Frame := I-Frame+ Prediction Error

8 Bewegungsabschätzung Woher kommt dieser Block?

9 Bewegungsvektoren ermitteln Blockmatching Probieren innerhalb eines Nahbereichs Mean Absolute Error MAE M 1 N 1 ( i, j) = C[ x + k, y + l] P[ x + i + k, y + j + l] k= 0 l= 0 Full Search (Hoher Aufwand, 30 GOPS bei 720*480, Nahbereich 15) bis auf Halbpixel-Ebene Hierarchische Verfahren auf verkleinerten Bildern suchen Parallele Verfahren 0,8-1 GOPS

10 Die zweidimensionale logarithmische Suche (TDL) 1. 5 rote Blöcke (im Abstand d/2) untersuchen, falls beste Übereinstimmung in der Mitte, halbiere d und wiederhole Ansonsten um den besten Punkt kruzförmig weiter.

11 Die dreistufige Suche (TSS) 1. Untersuche 9 Blöcke im Abstand 3 2. Um den besten alle im Abstand 2 3. Um den besten im Abstand 1

12 Die orthogonale Suche (OSA) Beginne mit 3 Blöcken horizontal Um den besten vertikal Verringere Schrittweite, beim besten horizontal weiter

13 One-at-a-Time Suchalgorithmus (OTS) Suche solange in x-richtung, bis davor und dahinter schlechtere Übereinstimmung Jetzt vertikal weiter.

14 Die kreuzweise Suche (CSA) Wie logarithmische Suche, nächster Schritt jedoch X-förmig um beste Übereinstimmung mit halber Schrittweite.

15 Bidirektionale Prädiktion I = Intra-Frame P = Predictive Frame B = Bidirektionaler Frame Buchempfehlung: Haskell/Puri/Netravali Digital Video An Introduction to MPEG-2

16 Flußbild Motion Estimation Makroblöcke 16*16 Pixel Falls Block mit Vorgänger ähnlich: Standbild Sonst verschobenen Block suchen Bezugsblock-gefundenem Block

17 MPEG Bit-Stream Sequenz-Schicht Header (Magic number, Bildgröße, Seitenverh., f/s, Bitrate n*400, Buffer size, Intra-,nonintra- Quantisierungsmatrizen GOP-Schicht Header (Magic number, Timecode 1. Bild), beginnt mit I- oder B- Frame,endet mit I- oder P- Frame Einzelbild-Schicht Header (Magic number, Bildnummer i. Gruppe, Bildtyp I, B, P, D, Max. Vektorgröße Block-Schicht variable Länge, markiert durch EOB, kann Nullblock sein Makroblock-Schicht Header (Magic number, Füllbits, MB-Typ (I,B,P), Quantisierungsfaktor) Slice-Schicht Header (Magic number, vertikale Position)

18 I B B P Differenzbilder zum Ausgangsbild Differenzen Bild:Bild vorwärtsgeschätzt intracodiert bidirektional interpoliert übersprungen

19 Quelle:

20 Tools MPEG 4 Kompressionsverfahren Video/Audiosynchronisation Bewegungsabschätzung usw. MSDL: MPEG-4 Syntax description Language NSHC: Synthetic and Natural Hybrid Coding Flexibility 0: fixed set of tools & algorithms 1: configurable fixed set 2: downloadable set & configuration Profile Konfiguration von Tools, Algorithmen Algorithms DCT-Verfahren Code Excited Linear Prediction usw. Level constraints & performance criteria Conformance Points Standardkonfigurationen (z.b. MPEG-1)

21 MPEG 4 Grundlegende Funktionalitäten Synchronisation versch. Datenströne (Audio, Video, etc.) Zusätzliche Datenkanäle Virtuelle Kanaldefinition Geringe Verzögerung Interaktive Benutzereingriffe Übertragbar über verschiedene Medien Verschlüsselung, Authentifizierung etc. Multipoint-Fähigkeit Anpassbarkeit von Audio-, Bitrate, Qualität Low-Level Modus

22 Medienobjekte (natürlich, synthetisch) Video-Objekt Audio-Objekt Koordinatensystem Backchannel Streaming Media MPEG 4

23 MPEG 4 Delivery Multimedia Integration Framework

24 H.261 Bildtelefonie Y/CC-Anordnung 4 Schichten Common Intermediate Format CIF

25 H.261-Encoder Intraframes Interframe MC nach Bedarf MC +/- 15 Pixel Loop Filter gegen Fliegenschiß

26 Vorlesung Medientechnik SS 2005 Dr. Manfred Jackel Studiengang Computervisualistik Universität Koblenz-Landau Campus Koblenz Postfach Koblenz Manfred Jackel WWW: mtech.uni-koblenz.de Literatur zu diesem Kapitel Hyperlinks zu diesem Kapitel Grafik-Quellen