FKTG Regionalveranstaltung Ilmenau. Datenratenreduktion. Rolf Hedtke Matthias Schnöll Fachhochschule Wiesbaden University of Applied Sciences

Transkript

1 FKTG Regionalveranstaltung Ilmenau Datenratenreduktion für HDTV Rolf Hedtke Matthias Schnöll Fachhochschule Wiesbaden University of Applied Sciences Fachbereich Ingeneurwissenschaften Studienbereich Fernsehtechnik und elektronische Medien

2 Agenda Einleitung Grundlagen Standards Messergebnisse Anwendungen im HDTV-Studiobereich

3 HDTV Parameter 720p/ i/ p/50 SD Aktive Bildpunkte 1280 x x x x 576 Frame-Rate (Hz) Netto Datenrate (10bit) (Gbit/s) ( 8bit) 0,9216 0,7373 1,0368 0,8294 2,0736 1,6589 0,207 0,166 1 Std. Speicherkap. (10bit) (GByte) ( 8bit) 414,7 331,8 466,6 373,2 933,2 746,5 93,1 74,7 Reduktionsfaktor (10bit) für 100Mbit/s ( 8bit) 9,2 7,4 10,4 8,3 20,7 16,6 2,1 1,7

4 Entwicklungen Datenrate (Mbit/s) MPEG-2 Encoder 1.Generation MPEG-4 Encoder MPEG-2 Encoder 2.Generation AVC/H263 Encoder Moore s Law MPEG-2 Encoder 3.Generation MPEG-2 Encoder 4.Generation MPEG-2 Encoder 5.Generation

5 Prinzipieller Intraframe Encoder Q Datenratenregelung Bild-Vorverarbeitung Transformations- Codierung Quantisierung Entropie Codierung Datenstrom- Pufferung HDTV Bilder Codierter Datenstrom

6 Bidirektionale Prädiktion nachfolgendes Bild aktuelles B-Bild F-Vektor P-Vektor vorangegangenes Bild B-Vektor B-Vektor F- Speicher P- Speicher

7 Prinzipieller Interframe Encoder Q Datenratenregelung - Bild-Vorverarbeitung Transformations- Codierung Quantisierung Entropie Codierung Datenstrom- Pufferung HDTV Bilder Interframe Codierung Q -1 Codierter Datenstrom DCT -1 VLC Bewegungsschätzung P-Bildspeicher, Prädikator F-Bildspeicher, Prädikator Vektoren

8 Bidirektionale Bildtypen... I B... B P B B P Datarate I B B P B B P B B P B B Picturetype

9 Skalierbarkeit Originalbild Örtliche Skalierung DS4 Q0 Encoder Basislayer US2 Q1 Decoder DS2 - Encoder + Decoder Erweiterungslayer 1 US2 Q2 - Encoder Erweiterungslayer 2

10 DV-Komprimierung DVC ursprünglich als Consumerformat entwickelt für Bandaufzeichnung (konstante Datenrate) DVCPRO gleiche Datenratenreduktion aber professionelle Laufwerke: Standard- TV als DVCPRO-25 (4:1:1-25Mbit/s) und DVCPRO-50 (4:2:2 50Mbit/s) DVCPRO-HD (heruntergefiltert 4:2:2-100Mbit/s) DCT Blöcke 8x8

11 DV-Encoder Superblocks Videosegment Macroblock Byte 384 Byte Y0 Y1 CR CB Y0 Y1 CR CB 1 5 Y C C C B Subsampling & Blockbildung DCT und Wichtung Puffer Quantisierung VLC & Datenstromgenerierung Intraframe- Bewegungserkennung 8x8 oder 2x8x4 Klassifizierung Klasse 0 3 QNO-Tabelle Entropie- Schätzung Stufen 0 15

12 MPEG -2 Standard für Fernsehübertragung 1994 verabschiedet (System, Video, Audio) Basiert auf MPEG-1 aber höhere Bildauflösung und Interlaced Format Nur Format (Decoder) standardisiert Toolbox Konzept (Intra- und Inter-Frame) Audio-Codierung (AC-3=Audio Coding Layer III)

13 MPEG -2 (max. 100Mbit/s) High High Profile Profile (4:2:2 oder 4:2:0, (volle Funktionlität) (4:2:2 oder 4:2:0, (volle Funktionlität) Spatial SpatialScalable Scalable (4:2:0, nur spatial skalierbar) (4:2:0, nur spatial skalierbar) SNR SNR Scalable Scalable (4:2:0, nur SNR - skalierbar (4:2:0, nur SNR - skalierbar PROFILES (Codierungswerkzeuge, Funktionalität) 4:2:2@ML (max 50M/s) MP@ML (max. 15Mbit/s) MP@H14L (max. 60Mbit/s) MP@HL (max. 60Mbit/s) Main Main Profile Profile (4:2:0, keine Skalierbarkeit) (4:2:0, keine Skalierbarkeit) (4:2:2, keine Skalierbarkeit) (4:2:2, keine Skalierbarkeit) Simple Simple Profile Profile (4:2:0, keine B-Frames, keine (4:2:0, keine B-Frames, keine Skalierbarkeit) Skalierbarkeit) Low LowLevel Level 25 Hz: 352 x Hz: 352 x Hz: 352 x Hz: 352 x 240 Main Main Level LevelHigh Level1440 High Level1440 High Level Level 25 Hz: 720 x Hz: 720 x Hz: 720 x Hz: 720 x Hz: 1440 x Hz: 1920 x Hz: 1440 x Hz: 1920 x Hz: 1440 x Hz: 1920 x Hz: 1440 x Hz: 1920 x 1080 LEVELS (Parametergrenzen)

14 MPEG-4 Codierung Codierung von Audiovisuellen Objekten - Video, Grafik, 3D-Objekte, Animation, Text, Audio und Sprache Standards für Komprimierung und Übertragung bei unterschiedliche Anwendungen ursprünglich für niedrige Datenraten (<56kbit/s, kbit/s, 384kbit/s 4Mbit/s) erweitert auf höhere Datenraten ( 1,2Gbit/s)

15 MPEG-4 Objekt Codierung Demultiplex Decodierung Objekt 1 Objekt 2 Objekt 3 M U X N e t w o r k..... Elementary Streams AV Objekte Szenenbeschreibung Hintergrund getrennte Codierung der AVOs (audio/visual Objects) Bitstrom L a y e r Upstream Data Zusammensetzung Encoder Decoder

16 MPEG-4 Codierwerkzeuge beliebige Objekte in der Relität schwierig zu codieren, daher können auch rechteckige Objekte ähnlich wie bei MPEG-2 codiert werden. Codiereffizienz wurde erhöht durch: - 4 x 8x8DCT-Blöcke = 1 Macroblock, aber jeder DCT- Block kann eigenen Bewegungsvektor besitzen - Bewegungskompensation mit einer Genauigkeit von bis zu ¼ Pixel - globale Bewegungskompensation für ein VOP mit mehreren Makroblöcken (zus. zu lokalen MVs) - Vorhersage des Bewegungsvektors aus drei benachbarten MVs - AC-Koeffizienten Schätzung in vertikaler und horizontaler Richtung (Vorteil bei Kanten) - Codierung von Sprites (Hintergrund-Standbilder)

17 MPEG-4 4 Video- Encoder Bildvorverarbeitung + - DCT Q VLC MUX Puffer Q -1 DCT -1 VLC S w i t c h B/MB- MC global MC Sprite MC + + Bewegungsschätzung Bildspeicher Umrandungs- Codierung für beliebige Objekte FB ING, Fernsehtechnik und elektronische Medien Ilmenau Hedtke

18 MPEG-4 4 Profiles 17 Visual Profile, u.a.: Main Advanced Coding Efficiency Core Core Scalable Core Studio Arbitrary Shape FGS Advanced Simple Simple Simple Scalable Simple Studio Rectangular Frame SNR & Temporal Scalability Higher Error Resilience Advanced Realtime Simple No Scalability Spatial & Temporal Scalability

19 MPEG-4 4 Studio Profile Speziell für die Anwendung im Studio mit hohen Datenraten (SMPTE 409M-2005 D16 ) I-Frames-only Bildgrößen von SDTV über HDTV bis Film Quantisierung 10 oder 12bit Y,C r,c b (4:2:2) oder RGB (4:4:4) Interlaced und Progressiv 8x8 DCT-Blöcke (8x16 oder 16x16 Macroblöcke) Macroblock Daten DCT Quantisierung VLC Codierung DPCM Golomb-Rice Codierung

20 MPEG-4 Standardisierung Teil 1 (ISO/IEC ): Systems Teil 2 (ISO/IEC ): Visual Teil 3 (ISO/IEC ): Audio Teil 4 (ISO/IEC ): Conformance Teil 5 (ISO/IEC ): Reference Software Teil 8 (ISO/IEC ): Carriage on IP networks Teil 10 (ISO/IEC ): Advanced Video Coding (AVC).. Teil 14 (ISO/IEC ): MPEG-4 File-Format Teil 15 (ISO/IEC ): AVC File Format Teil 21 bis Teil 25 in Bearbeitung

21 H264-AVC Codierung ISO/IEC MPEG (MPEG-4) ITU-T (H263) Joint Video Team (JVT) H264 Advanced Video Codec MPEG-4 Part 10 Einfache Implementierung bei doppelter Effizienz zu MPEG-2

22 H264-AVC Blockschaltbild Q Macro- Blöcke - Transformations- Codierung Quantisierung Entropie Codierung Q -1 DCT -1 Intraframe Prädiktion Interframe Prädiktion Bildspeicher Bildspeicher Bewegungsschätzung Deblocking- Filter Vektoren

23 H264/AVC zusätzliche Werkzeuge Integer 4 x 4 Transformation Intra -Prädiktion H = Q A B C D E F G H I a b c d J e f g h K i j k l L m n o p M N O P In-Loop Filterung Entropie-Codierung - Context adaptive VLC (CAVLC) - Context-based Adaptive Binary Arithmetic Codes (CABAC) (ca % effektiver wie CAVLC )

24 H264/AVC Multiple Referenzbilder Bewegungskompensation: Genauigkeit ¼ Pixel P B B B P Blocktypen für die Bewegungskompensation 0 16 x 16 8 x x 8 8 x x 16 4 x x 8 4 x 4 Macroblock Codeblock

25 H.264/ AVC Netzwerk - Interface H.264/AVC Codier Standard Video Coding Layer Encoder Video Coding Layer Decoder VCL-NAL Interface Network Abstraction Layer Encoder NAL Encoder Interface Network Abstraction Layer Decoder NAL Decoder Interface mapping to H.320 Transport Layer mapping to MPEG-2 Systems mapping to H.324 (M) mapping to RTP/IP mapping to ISO file format

26 AVC/H.264 Profile Overview ASO Redundant pictures SI and SP slice FMO Extended Baseline Data partitioning B slice I and P slice Motion-compensated prediction CAVLC In-loop deblocking Intra prediction Field coding MBAFF Weighted prediction 4:2:0 High Main CABAC Scaling matrices 8 8 spatial prediction 8 8 transform Monochrome format High bit sample bit depth High 10- Intra High 4:2:2 4:2:2 chroma format High 4:2:2 Intra High 4:4:4 4:4:4 chroma format 8-14bit sample bit depth Predictive lossless High 4:4:4 Intra

27 AVC/H.264 SVC-Erweiterung Skalierbare Erweiterung: -örtlich - qualitätsmässig - zeitlich

28 VC-1 1 (WM9) In Teilen ähnlich H264/AVC, aber mehr softwareorientiert und etwas geringere Komplexität (Decoder 2x schneller als H264) 1080p auf heutigen PCs decodierbar VC-1 specification SMPTE 421M VC-1 conformance SMPTE RP228 VC-1 transport SMPTE RP227

29 Vergleich von VC-1 1 und H.264 8x8 and 4x4 adaptive block size Frequency-dependent dequantization matrix CABAC or VLC Long filters for MC Complex loop filter Spatial intra prediction Multi-picture arbitrary-order referencing Intra PCM H.264 Block motion 16-bit integer transforms Bit-exact spec Fading prediction Loop filter 8x8, 4x8, 8x4, 4x4 adaptive block size Frequency-independent dequantization scaling VLC-based entropy coding 44 tap bicubic filters for MC Relatively-simple loop filter Overlap intra filtering Range reduction/expansion Resolution red./exp. VC-1

30 VC-1 1 Profiles and Levels HD HD HD HD Profile Level Max Bitrate z.b. Auflösung@frame rate Simple Low 96 kbits/sec 384 kbits/sec Main Low 2 Mbits/sec 320x240@24Hz (QVGA) Advanced (Interlace) Medium Medium High L0 L1 L2 L3 L4 10 Mbits/sec 20 Mbits/sec 2 Mbits/sec 10 Mbits/sec 20 Mbits/sec 45 Mbits/sec 135 Mbits/sec 176x144@15Hz (QCIF) 240x176@30Hz 352x288@15Hz (CIF) 720x480@30Hz (480p) 720x576@25Hz (576p) 1920x1080@30Hz (1080p) 352x288@30Hz (CIF) 720x480@30Hz (NTSC-SD) 720x576@25Hz (PAL-SD) 720x480@60Hz (480p) 720x576@50Hz 1280x720@25/30Hz (720p) 1920x1080@24Hz (1080p) 1920x1080@25/30Hz (1080i) 1280x720@50/60Hz (720p) 1920x1080@50/60Hz (1080p) 2048x1536@24Hz

31 Merkmale JPEG2000 Standard Nur Intraframe Codierung,sehr gute Kodiereffizienz Wahl des Kompressionsfaktors auch nach der Aufnahme Wahlweise verlustfreie oder verlustbehaftete Codierung bei nur einem Codec (auch nach Codierung wählbar) Skalierbarkeit bei Bildgröße und Qualität Bildgrößen bis Bildpunkten (in Höhe und Breite) Unterstützung der Bildformate bis zu 38 Bit/Komponente Mehrere Komponenten (bis 2 14 ) und Abtastformate (YUV, RGB, )

32 Encoder Blockschaltbild Input Bilddaten Genereller Encoder für I-Frames Output Bilddaten Bild-Vorverarbeitung Transformations- Codierung Quantisierung Entropie Codierung Datenstrom- Pufferung JPEG2000 Encoder Output Bilddaten Vorverarbeitung Diskrete Wavelet Transformation Quantisierung EBCOT Arithmetische Codierung Bitstrom Organisation Color transform 5/3 Filter 9/7 Filter Tier-1-Coding Tier-2-Coding

33 Diskrete Wavelet Transformation horizontale 1-dim. DWT vertikale 1-dim. DWT Filterbank H 2 Filterbank H Filterbank L 2 2 HH HL Filterbank L 2 Filterbank H Filterbank L 2 2 LH LL 2 Filtertypen: 9/7 und 5/3 (verlustlos( verlustlos)

34 Qualitätsskalierung tsskalierung LL3 HL3 HL2 LH3HH3 LL3 HL3 HL2 LL3 HL3 LH3HH3 LH2 HH2 HL2 LH3HH3 LH2 HH2 HL1 LH2 HH2 LH1 HL1 HL1 HH1 LH1 LH1 HH1 HH1 Bits MSBs

35 Skalierungsmöglichkeiten glichkeiten 2 L-R-C-P Qualitätslayer (L) Auflösung (R) Komponenten (C) Position (P) Daten Bitstrom: Q1 CIF R G B SD R G B Q2 CIF R G B SD R G B EBCOT: Embedded Block Coding with Optimized Truncation

36 Skalierungsmöglichkeiten glichkeiten 2 L-R-C-P Qualitätslayer (L) Auflösung (R) Komponenten (C) Position (P) Daten R-L-C-P Auflösung (R) Qualitätslayer (L) Komponenten (C) Position (P) P-C-R-L C-P-R-L R-P-C-L Bitstrom: CIF Q1 R G B Q2 R G B SD Q1 R G B Q2 R G B EBCOT: Embedded Block Coding with Optimized Truncation

37 VC-2 2 (Dirac( Dirac) Entwickelt von der BBC ursprünglich um HDTV 1080p/50 über die 1,5Gbit/s HD-SDI Schnittstelle übertragen zu können Für die Transformation werden Wavelets (Haar oder 5,3) eingesetzt SMPTE C24 standardisiert den Intra-Frame Encoder, Dirac kann auch Interframe-Codierung (für niedrigere Bitraten vorgesehen <50Mbit/s) Codiert Y,C R,C B mit 4:4:4 4:2:2 4:2:0 mit 8 / 10 / 12bit Mapping in SMPTE 292M (single link HD-SDI) wird derzeit von der SMPTE N26 bearbeitet. Im low-delay Modus 6 Zeilen Verzögerung möglich

38 VC-2 2 Encoder Quantisierungs- Schätzung Transformations- Codierung Wavelets Ordnen der Koeffizienten Quantisierung Entropie Codierung Datenstrom- Pufferung Subbänder oder Slices Exp-Golomb oder Arithmetische Codierung

39 VC2-Profiles & Levels 3 Profiles: - Low Delay Profile: kurze Verzögerungszeit, aber geringere Codiereffizienz (max. Verzögerung 1 Frame durch Codierungvon Bild- Slices, keine arithmetische Codierung ) - Simple Profile: gute Codiereffizient durch Frame (Field) Codierung, aber Verzögerung mind. 1 Bild. Keine arithmetische Codierung - Main Profile: beste Codiereffizienz, wie Simple Profile aber mit Arithmetischer Codierung 5 Levels: SD HD DC Ultra -HD Level max. Bildgrösse max. Bilder/sec max. Mbit/sec max. DWT-level x ,6 1080p/50(10b) x CF 6= 2, x x x ,8G 7

40 VC-2 2 / Dirac Varianten VC-2 Low Latency VC-2 Core Dirac Compression Factor: 2 8 Lossless 16 Gross (bis 100) Komplexität (Relativ) gering Mittel hoch Codiereinheiten: Slices Frames Access Units (GOPs) Verzögerung: gering (< 1 frame) mittel (>= 1frame) hoch (>> 1 frame) Arithmetische Coding: nein optional ja Codiereffizienz: niedrig Mittel hoch Motion Compensation: Nein nein ja

41 VC-3 3 (DNxHD( von AVID) SDI Entwickelt, um HDTV Editing und Mastering über eine Infrastruktur zu ermöglichen Hohe Qualität Mapping der Daten auf SDTI durch SMPTE-N26 Gute Generationsqualität (mehrfache Decodier- und Encodiervorgänge

42 VC-3 Algorithmus Intraframe Codierung 8x8 DCT basierend Quantisierung und Entropiecodierung (VLC) konstante Bitrate pro Frame (Bitratenkontrolle über das gesamte Bild) 4:2:2 YUV Bitraten: 36 Mbit/s (8 bit) 145 Mbit/s (8 bit) 220 Mbit/s (8 oder 10 bit)

43 Messungen PSNR = 10 log 10 (2 n -1) 2 MSE X Y mit MSE = 1/xy ΣΣ (p(x,y) p (x,y) x=0 y=0 2 PSNR entspricht nicht immer der subjektiven visuellen Wahrnehmung Erlaubt aber einfachen Vergleich bei ähnlichen Parametern mit ausreichender reproduzierbarer Genauigkeit Qualität ist sehr stark vom Bildinhalt abhängig Encoder wurden bei den Messungen nicht optimiert!!

44 Qualitätsvergleich tsvergleich (Codierung) PSNR[dB] > Vergleich JPEG2000, MPEG2 und H.264/AVC Quelle Orient ca. 20 Mbit/s Kompressionsfaktor > JPEG2000 (5/3 Filter) H264/AVC (I-Frames) MPEG-2 (GoP 12) MPEG-2 (I-Frames)

45 H264/AVC Inter und Intra Datenrate zu Auflösung mit Sequenz Dancer 12er GoP zu Intra Codierungen bei H Y-PSNR in db p i p50 720p50 Intra 720p50 GoP 1080i25 Intra 1080i25 GoP 1080p50 Intra 1080p50 GoP Datenrate in Mbit/s

46 H264 Intra und MPEG-2 2 GoP12 Vergleich von H.264 Intra zu MPEG-2 GoP bei der Testsequenz Dancer 45,000 Y-PSNR in db 40,000 35,000 30,000 25,000 MPEG-2 GoP 720p50 MPEG-2 GoP 1080i25 MPEG-2 GoP 1080p50 H.264 Intra 720p50 H.264 Intra 1080i25 H.264 Intra 1080p50 20, Datenrate in Mbit/s

47 Dirac - Codierung PSNR Datenrate db dancer 720p dancer 1080i dancer 1080p Datenrate [MBit/s]

48 JPEG2000 Nachbearbeitung 9/7-Filter ohne Bearbeitung 5/3-Filter ohne Bearbeitung 5/3-Negativ 5/3-Spiegelung

49 H264/AVC Intra Generationen Generationenuntersuchung bei Parkjoy mit Intra Codierung Y-PSNR in db p50 Normal 720p50 mit PictureFlip 1080i25 Normal 1080i25 mit PictureFlip 1080p50 Normal 1080p50 mit PictureFlip Generation

50 Dirac-Generationen Livingroom DNxHD Vergleich der verschiedenen Bildformate in zwei Kompressionsstufen PSNR-Werte [db] Generationen 1080i KF i KF8 720p KF11 720p KF8

51 Sony HDCAM-SR MPEG-4 4:2:2 / 4:4:4 440/880Mbit/s HDCAM 3:1:1 DCT 140Mbit/s

52 P2-Karte von Panasonic PCMCIA-Karte mit je 4 SD Speicherkarten (Interfacedatenrate Standard: 320Mbit/s High grade: 640Mbit/s) DVCPRO HD 4GB (4x1GB SD) = 4 min. 8GB (4x2GB SD) = 8 min. 16GB(4x4GB SD) = 16 min.

53 DVC Entwicklungen (Panasonic) Qualität 1080p D5-HD 2K Prozessor 4:4:4 JPEG2000 HD 720p 1080i SD & AVC-Intra 576i AV AVC-Intra (H.264) 50Mbit/s 2007

54 GV Infinity Camcorder

55 Grass Valley Infinity Speichermedium: - REV und REVpro (35GB / 110Mbit/s) - CF Flash Speicher - Anschlüsse: USB2.0 / IEEE1394 Komprimierung: -JPEG2000 HD 50 / 75 Mbit/s (~60 / 45min. Auf REV) - MPEG-2 HD (4:2:0) bis 50Mbit/s (Option)

56 IKEGAMI FieldPack 2

57 Consumer HDV Format Kompatibel zu DV-Format, verwendet normale DV-Kassette HDV-1 HDV-2 Abtastformat 4:2:0 Abtastwerte 1280x x1080 (aufgezeichnet 1440) Komprimierung MPEG2 Datenrate 19Mbit/s 25Mbit/s Framerate (24), 25, 30, 50, 60

58 JVC-HDV

59 Consumer AVCHD Format Spezifikationen von Panasonic und Sony - verwendet MPEG-4 Part 10 (AVC/H.264) - Datenrate ~24Mbit/s Aufnahmemedien: - 8cm DVD - SD Memory Card - Memory Stick - Festplattenlaufwerk Format: 4:2: (1920x1080 und 1440x1080) / 30i,25i,24p (1280x720) / 60p, 50p, 24p

60 Übersicht (Speicherung) Kassette Disk Flash magnetisch optisch System HD-D5 DVCPRO- HD HDCAM HDCAM- SR Field Pack Infinity (REV) XDCAM- HD P2 Infinity (CF) Hersteller Panasonic Panasonic Sony Sony Ikegami Grass- Valley Sony Panasonic Grass Valley Komprimierung DCT/ JPEG2000 DV DCT MPEG-4 DNxHD JPEG2000 MPEG-2 DCT / MPEG-2(I)/ (VC3) long GOP H264-I JPEG2000 Datenrate (Video) 233Mbit/s 82/92 Mbit/s 140Mbit/s 440/ 880 Mbit/s 144Mbit/s 50 / 75 Mbit/s 18 /25 /35/ 50 Mbit/s 100Mbit/s/ 50Mbit/s 50Mbit/s Spielzeit pro Speicher 63 min 124 min 126 min. 40 min. 124 min. 48 / 24 min. > 60 min. 60 / 45min. 122 / 92/ 64 min. 16 / 32min. 8 min.

61 Zusammenfassung Mbit/s HD- CAM DVCPRO -HD DCT 3:1:1 Scal. 1,33x (4:2:2) 4:2:2/4:4:4 HDCAM SR 4:2:2 HDV MPEG-4 Studio Profile XDCAM-HD 4:2:2 4:2:0 MPEG-2 Long GoP HD- D5 4:2:2/4:4:4 Infinity 4:2:2 JPEG2000 AVC-Intra 4:2:2/4:4:4 HD-SDI SDI DNxHD 4:2:2 4:2:2 4:2:2 4:2:0 4:2:0 4:2:2 AVC-HD H264-AVC VC-2 VC-3

62