Medien- Technik. Prinzip: Sequenz Digitaler Einzelbilder mit eingestreuten Ton-Samples

Transkript

1 Digitales Video Prinzip: Sequenz Digitaler Einzelbilder mit eingestreuten Ton-Samples.MOV.MPG.AVI

2

3 Überblick (digitale) Fernsehstandards USA Grand Alliance HDTV MPEG-2 Dolby AC-3 Europa European DVB Project DTVB (terrestrisch) ETS (Sat.) ETS (Kabel) DVB-T: HDTV, mehr Programme, mobil & handheld, Telefonie/Computer

4 MPEG-1 PAL 1,7 MB MPEG-1 VideoCD 1,9MB MPEG kB AVI 27MB MPEG MPEG-1 Zielsetzung: Video auf CD 1,15-1,5 Mbit/sec SIF 352 * 288 Pixel max. 30 f/s non-interlaced MPEG-4 MPEG-2 Viele Formate, hohe Kompression p64 / H.261 PAL / NTSC MP@ML Main profile at Main Level bis 15MBit/sec Multiplexing MPEG-7 Multimedia & Video MPEG-21 Digital Rights Management Very low bitrate g g g

5 Unterschiede MPEG 1 und MPEG 2 Parameter MPEG-1 MPEG-2 Gö Grösse/Pixel std. 50% 360*288 (352*240) 360*288 (352*240) low level l Grösse/Pixel std. 100% n. mlg. 720*596 (704*480) main level Grösse/Pixel HDTV 4:3 n. mgl. 1440*1152 high1440 level Grösse/Pixel HDTV 16:9 n. mgl. 1920*1080 high level Grösse Scanvorlage <720*576 (704*480) <16384*16384 Farbformat YCC 4:2:0 (Scan 4:2:2) 4:2:2 (Scan bis 4:4:4) Makroblöcke/Bild 396 levelabhängig Makroblöcke/sec. <396*25 (330*30) levelabhängig Bildwiederholrate <30 pps <30 pps Bitrate <1,862 Mbit/s MBit/s Interlace nein ja Ton 2-Kanal Surround-Sound mgl.

6 DCT mit vorgegebener Quantisierungsmatrix Interframe- Komprimierung über mehrere Bilder Intraframe- Komprimierung innerhalb eines Bildes MPEG-Prinzip VLC mit fester Tabelle

7 I-Frames, Intra-Frames P-Frames, Predicted d Frame + = I-Frame wie JPEG komprimieren Vorhersagefehler (Differenz) JPEG komprimieren P-Frame := I-Frame+ Prediction Error

8 Bewegungsabschätzung Woher kommt dieser Block?

9 Bewegungsvektoren g ermitteln Blockmatching Probieren innerhalb eines Nahbereichs Mean Absolute Error MAE M 1 N 1 ( i, j) = C[ x + k, y + l] P[ x + i + k, y + j + l] k= 0 l= 0 Full Search (Hoher Aufwand, 30 GOPS bei 720*480, Nahbereich 15) bis auf Halbpixel-Ebene Hierarchische Verfahren auf verkleinerten Bildern suchen Parallele Verfahren 08 0,8-1 GOPS

10 Die zweidimensionale logarithmische i h Suche (TDL) 1. 5 rote Blöcke (im Abstand d/2) untersuchen, falls beste Übereinstimmung in der Mitte, halbiere d und wiederhole 1. 2 A t d b t P kt 2. Ansonsten um den besten Punkt kruzförmig weiter.

11 Die dreistufige Suche (TSS) 1. Untersuche 9 Blöcke im Abstand 3 2. Um den besten alle im Abstand 2 3. Um den besten im Abstand 1

12 Die orthogonale Suche (OSA) Beginne mit 3 Blöcken horizontal Um den besten vertikal Verringere Schrittweite, beim besten horizontal weiter

13 One-at-a-Time a Suchalgorithmus (OTS) Suche solange in x-richtung, bis davor und dahinter schlechtere Übereinstimmung Jetzt vertikal weiter.

14 Die kreuzweise Suche (CSA) Wi l ith i h S h ä h t Wie logarithmische Suche, nächster Schritt jedoch X-förmig um beste Übereinstimmung mit halber Schrittweite.

15 Bidirektionale Prädiktion I = Intra-Frame P = Predictive Frame B = Bidirektionaler Frame Buchempfehlung: hl Haskell/Puri/Netravali Digital Video An Introduction to MPEG-2

16 MPEG-Frames

17 Flußbild Motion Estimation Makroblöcke 16*16 Pixel Falls Block mit Vorgänger ähnlich: Standbild Sonst verschobenen Block suchen Bezugsblock-gefundenem Block

18 MPEG Bit-Stream Sequenz-Schicht Header (Magic number, Bildgröße, Seitenverh., f/s, Bitrate n*400, Buffer size, Intra-,nonintra- Quantisierungsmatrizen GOP-Schicht Header (Magic number, Timecode 1. Bild), beginnt mit I- oder B- Frame,endet mit I- oder P- Frame Einzelbild-Schicht Header (Magic number, Bildnummer i. Gruppe, Bildtyp I, B, P, D, Max. Vektorgröße Block-Schicht variable Länge, markiert durch EOB, kann Nullblock sein Makroblock-Schicht Header (Magic number, Füllbits, MB-Typ (I,B,P), Quantisierungsfaktor) Slice-Schicht Header (Magic number, vertikale Position)

19 Mpeg Datenstrom

20 I B B P Differenzbilder zum Ausgangsbild Differenzen Bild:Bild vorwärtsgeschätzt intracodiert bidirektional interpoliert übersprungen

21 Quelle:

22 Tools MPEG 4 Kompressionsverfahren Video/Audiosynchronisation Bewegungsabschätzung usw. MSDL: MPEG-4 Syntax description Language NSHC: Synthetic and Natural Hybrid Coding Flexibility 0: fixed set of tools & algorithms 1: configurable fixed set 2: downloadable set & configuration Profile Konfiguration von Tools, Algorithmen Algorithms DCT-Verfahren Code C d Excited Linear Prediction usw. Level constraints t & performance criteria i Conformance Points Standardkonfigurationen (z.b. MPEG-1)

23 MPEG 4 Grundlegende Funktionalitäten Synchronisation versch. Datenströne (Audio, Video, etc.) Zusätzliche Datenkanäle Virtuelle Kanaldefinition Geringe g Verzögerung g Interaktive Benutzereingriffe Übertragbar über verschiedene Medien Verschlüsselung, Authentifizierung etc. Multipoint-Fähigkeit Anpassbarkeit von Audio-, Bitrate, Qualität Low-Level Modus

24 MPEG 4 Grundlegende Funktionalitäten Shape Coding Objekte erkennen und bewegen Global Motion Compensation Schwenken, Zoom, etc. Größere Bildbereiche für mehrere Frames zusammen kodieren Quarter Pixel Motion Compensation Qpel Verschiebungsveltoren auf ¼ Pixel Genauigkeit Video Object Planes (VOP) Ähnlich wie Gops werden Video-Objekte durch I-, B- und P-Frames dargestellt

25 Medienobjekte (natürlich, synthetisch) Video-Objekt Audio-Objekt Koordinatensystem Backchannel Streaming Media MPEG 4

26 MPEG 4 Delivery Multimedia Integration Framework

27 H.261 Bildtelefonie Medien- Y/CC-Anordnung 4 Schichten Common Intermediate Format CIF

28 H.261-Encoder Intraframes Interframe MC nach Bedarf MC +/- 15 Pixel Loop Filter gegen Fliegenschiß

29 Vorlesung Medientechnik WS 2008/9 Dr. Manfred Jackel Studiengang Computervisualistik Universität Koblenz-Landau Campus Koblenz Postfach Koblenz Manfred Jackel WWW: mtech.uni-koblenz.de Literatur zu diesem Kapitel Hyperlinks zu diesem Kapitel Grafik-Quellen