Medientechnik WS 2012/13. Medientechnik WS 2012/13 Manfred Jackel Universität Koblenz-Landau

Transkript

1 Medientechnik WS 2012/13 1

2 Digitales Video Prinzip: Sequenz Digitaler Einzelbilder mit eingestreuten Ton-Samples vag02-hq.avi.mov.avi.mpg 2

3 3

4 USA Grand Alliance HDTV MPEG-2 Dolby AC-3 Europa European DVB Project DTVB (terrestrisch) ETS (Sat.) ETS (Kabel) DVB-T: HDTV, mehr Programme, mobil & handheld, Telefonie/Computer 4

5 SDTV (standard definition television) 720*576 (Bildformat 4:3) 1024*576 (Bildformat 16:9) HDTV (high definition television) 1920*1080p60 16:9 p = progressiv Vollbilder 1920*1080p50 16:9 1920*1080p *1080i60 16:9 1280*720p60 16:9 1280*720p50 16:9 DVB S2 HD i = interlaced Halbbilder Zeilensprung 5

6 AVI unkomprimiert, 720`576, 25f/s 25,6MB 6

7 VideoCD, 352`288, 25f/s 1,88MB 1374Mbit/s 7

8 MPEG1 PAL, 352`288, 25f/s 1,65MB 1210 Mbit/s 8

9 MPEG1 384, 352`240, 24f/s 1,65MB 366kbit/s 9

10 MPEG-2 Viele Formate, hohe Kompression MPEG-1 PAL 1,7 MB MPEG-1 VideoCD 1,9MB MPEG kB MPEG-1 Zielsetzung: Video auf CD 1,15-1,5 Mbit/sec SIF 352 * 288 Pixel max. 30 f/s non-interlaced p64 / H.261 PAL / NTSC MP@ML Main profile at Main Level bis 15MBit/sec Multiplexing MPEG-7 AVI 27MB Multimedia & Video MPEG-4 MPEG-21 Very low bitrate Effizientere Kompression Digital Rights Management 10

11 Unterschiede MPEG 1 und MPEG 2 Parameter MPEG-1 MPEG-2 Grösse/Pixel std. 50 % 360*288 (352*240) 360*288 (352*240) low level Grösse/Pixel std. 100% n. mlg. 720*576 (704*480) main level Grösse/Pixel HDTV 4:3 n. mgl. 1440*1152 high1440 level Grösse/Pixel HDTV 16:9 n. mgl. 1920*1080 high level Grösse Scanvorlage <720*576 (704*480) <16384*16384 Farbformat YCC 4:2:0 (Scan 4:2:2) 4:2:2 (Scan bis 4:4:4) Makroblöcke/Bild 396 levelabhängig Makroblöcke/sec. <396*25 (330*30) levelabhängig Bildwiederholrate <30 pps <30 pps Bitrate <1,862 Mbit/s MBit/s Interlace nein ja Ton 2-Kanal Surround-Sound mgl. 11

12 DCT mit vorgegebener Quantisierungsmatrix Intraframe- Komprimierung innerhalb eines Bildes VLC mit fester Tabelle Interframe- Komprimierung über mehrere Bilder 12

13 + = I-Frame wie JPEG komprimieren Vorhersagefehler (Differenz) JPEG komprimieren P-Frame := I-Frame+ Prediction Error 13

14 Woher kommt dieser Block? 14

15 Blockmatching Probieren innerhalb eines Nahbereichs Mean Absolute Error MAE M 1 N 1 ( i, j) = C[ x + k, y + l] P[ x + i + k, y + j + l] k= 0 l= 0 Full Search (Hoher Aufwand, 30 GOPS bei 720*480, Nahbereich 15) bis auf Halbpixel-Ebene Hierarchische Verfahren auf verkleinerten Bildern suchen Parallele Verfahren 0,8-1 GOPS 15

16 1. 5 rote Blöcke (im Abstand d/2) untersuchen, falls beste Übereinstimmung in der Mitte, halbiere d und wiederhole Ansonsten um den besten Punkt kruzförmig weiter. 16

17 1. Untersuche 9 Blöcke im Abstand 3 2. Um den besten alle im Abstand 2 3. Um den besten im Abstand 1 17

18 Beginne mit 3 Blöcken horizontal Um den besten vertikal Verringere Schrittweite, beim besten horizontal weiter 18

19 Suche solange in x-richtung, bis davor und dahinter schlechtere Übereinstimmung Jetzt vertikal weiter. 19

20 Wie logarithmische Suche, nächster Schritt jedoch X-förmig um beste Übereinstimmung mit halber Schrittweite. 20

21 I = Intra-Frame P = Predictive Frame B = Bidirektionaler Frame Buchempfehlung: Haskell/Puri/Netravali Digital Video An Introduction to MPEG-2 21

22 22

23 23

24 Makroblöcke 16*16 Pixel Falls Block mit Vorgänger ähnlich: Standbild Sonst verschobenen Block suchen Bezugsblock-gefundenem Block 24

25 Sequenz-Schicht Header (Magic number, Bildgröße, Seitenverh., f/s, Bitrate n*400, Buffer size, Intra-,nonintra- Quantisierungsmatrizen GOP-Schicht Header (Magic number, Timecode 1. Bild), beginnt mit I- oder P- Frame,endet mit I- oder B- Frame Block-Schicht variable Länge, markiert durch EOB, kann Nullblock sein Makroblock-Schicht Header (Magic number, Füllbits, MB-Typ (I,B,P), Quantisierungsfaktor) Einzelbild-Schicht Header (Magic number, Bildnummer i. Gruppe, Bildtyp I, B, P, D, Max. Vektorgröße Slice-Schicht Header (Magic number, vertikale Position) 25

26 26

27 I B B P Differenzbilder zum Ausgangsbild Differenzen Bild:Bild vorwärtsgeschätzt intracodiert bidirektional interpoliert übersprungen 27

28 Quelle: 28

29 MPEG 4 MSDL: MPEG-4 Syntax description Language NSHC: Synthetic and Natural Hybrid Coding Tools Kompressionsverfahren Video/Audiosynchronisation Bewegungsabschätzung usw. Flexibility 0: fixed set of tools & algorithms 1: configurable fixed set 2: downloadable set & configuration Profile Konfiguration von Tools, Algorithmen Algorithms DCT-Verfahren Code Excited Linear Prediction usw. Level constraints & performance criteria Conformance Points Standardkonfigurationen (z.b. MPEG-1) 29

30 Synchronisation versch. Datenströme (Audio, Video, etc.) Zusätzliche Datenkanäle Virtuelle Kanaldefinition (Bandbreitenanpassung) Geringe Verzögerung Interaktive Benutzereingriffe Übertragbar über verschiedene Medien Verschlüsselung, Authentifizierung etc. Multipoint-Fähigkeit Anpassbarkeit von Audio-, Bitrate, Qualität Low-Level Modus 30

31 MPEG 4 Grundlegende Funktionalitäten Shape Coding Objekte erkennen und bewegen Global Motion Compensation Schwenken, Zoom, etc. Größere Bildbereiche für mehrere Frames zusammen kodieren Quarter Pixel Motion Compensation Qpel Verschiebungsvektoren auf ¼ Pixel Genauigkeit Video Object Planes (VOP) Ähnlich wie Gops werden Video-Objekte durch I-, B- und P-Frames dargestellt 31

32 Medienobjekte (natürlich, synthetisch) Video-Objekt Audio-Objekt Koordinatensystem Backchannel Streaming Media 32

33 Delivery Multimedia Integration Framework 33

34 Inter-Frame Vorhersagen aus vielen Bildern Bis zu 16 Referenzen auf frühere/spätere Bilder Bewegungsabschätzung mit variablen Blockgrößen 4*4,4*8, 8*4, 8*8, 8*16, 16*8, 16*16 Segmentierung eines MakroBlocks und Zuordnung von bis zu 32 Bewegungsvektoren zu den Segmenten Viertelpixel Bewegungsabschätzung 34

35 Variable Blockgrößen 16*16, 8*8, 4*4 u.v.m. 35

36 Vorlesung Medientechnik WS 2012/13 Dr. Manfred Jackel Studiengang Computervisualistik Universität Koblenz-Landau Campus Koblenz Postfach Koblenz Manfred Jackel WWW: mtech.uni-koblenz.de Literatur zu diesem Kapitel Hyperlinks zu diesem Kapitel Grafik-Quellen 36