Medium Video. Grundlagen / Basiswissen - Teil 2

Transkript

1 Medium Video Grundlagen / Basiswissen - Teil 2

2 Kompression et al

3 Kompressionsmethoden: Charakteristiken verlustfrei Originaldaten sind mit den decodierten Daten identisch verlustbehaftet decodierte Daten enthalten weniger Informationen als die Originaldaten Intraframe Bilder werden unabhängig voneinander kodiert Interframe Bilder werden unter Einbeziehung der vorangegangenen und/oder der folgenden Bilder kodiert

4 Kompressionsmethoden: Charakteristiken symmetrisch Aufwand für Encoding und Decoding ist gleich asymmetrisch Encoding ist aufwändiger als Decoding real-time Encoding-decoding delay sollte 50 ms nicht übersteigen skalierbar Basisparameter können unterschiedlichen Anforderungen angepasst werden Szenario: Handy-TV bis digitales Kino

5 Kodierung - Codecs Codec Software-Komponente, für die Kodierung und Dekodierung der Pixel hier findet die Kompression statt oft als Plugin für Videoarchtektur (VfW, QT, ) realisiert Ziel: optimale Qualität bei minimaler Dateigröße zwei Klassen lossless lossy typische Codecs MJPEG / DV DIVX, MPEG 1 / 2 H.264

6 Container-Formate Verpacken von Video und Audiodaten

7 Containerformate Was leisten Containerformate? Umschlag in den Video-/Audiodaten gesteckt werden definieren binäres Austauschformat (Datei) oft alternative Video-/Audiodaten möglich oft Metadaten möglich Was leisten Containerformate nicht? keine Kodierung der Audio- / Videodaten ( Codec)

8 Containerformate vs. Codec Container kodiert nicht Audio- / Videodaten selbst Medienkodierung über Codec Codec kann in Player-Software integriert sein oft aber PlugIn-Architektur: Codecs als austauschbare Software-Module einer ins OS integrierten Videoarchitektur

9 Beispiele für Containerformate QuickTime (Apple) Windows Media (Microsoft) Real Media (Real) Matroska (open standard)

10 Praxis Containerformate Problem-Szenario (PlugIn-Ansatz) Austausch einer Container-Datei beide Systeme können Container-Format öffnen Video/Audio spielt Codec fehlt Nachinstallation fehlender Codecs (nicht alle Codecs sind plattformübergreifend implementiert) Alternative: FLV, Flash Video mit festem Codec im Player kein Nachinstallieren von Codecs nötig aber: mit neuen Codecs in neuem Player auch Inkompatibilitäten

11 QuickTime Containerformat.mov Container-Format extrem flexibel speichert Video, Audio, Bild, Effekte Flash-Spuren, Untertitelspuren, Kapitelmarken, Masken Interaktivität über Skriptspuren, Sprites, Panoramen, VR große Anzahl hochqualitative Codecs spurbasiert häufig im professionellen Bereich als universelles Austauschformat genutzt

12 QuickTime Containerformat.mov Vorlage für.mp4 Datei-Format als MPEG-4 Part 14 übernommen

13 Flash-Video Containerformat.flv Container-Format i.d.r. als Stream (RTMP oder HTTP) Wiedergabe -> Flash-Player / Browser-PlugIn Codecs: Sorenson, On2 VP6, MPEG-4 H.264

14 Flash-Video Containerformat Integration in SWFs Steuerung durch Flash-Inhalte Interaktion mit Flash-Inhalten

15 Flash-Video - Codecs Flash-Player Sorenson VP6 H bis

16 Video-Codecs und -Kompression H.264 und Co...

17 Codec vs. Kompressionsverfahren Kompressionsverfahren Techniken, Algorithmen zur (De-)Kompression von (Video)Daten Beispiele MPEG-2 (Motion Compensation, Quantisierung, Variable Length Encoding (Huffman), DCT,...) Codec Stück Software das ein (De-)Kompressionsverfahren implementiert Beispiele Xvid (MPEG-4 ASP, MPEG-4 AVC)

18 Kompressionsverfahren

19 ITU H.264 (ISO/IEC MPEG-4 AVC) Sprachgebrauch: H.264 ISO / IEC Standard (14496) und ITU Standard (H.264) aka MPEG-4 Teil 10 aka MPEG-4/AVC hocheffizient, z.zt. State of the Art aber: sehr hohe Prozessorlast beim Schneiden hochflexibel einsetzbar HDTV, HDV Videokameras, Blue-ray und HD DVD DVB-H DMB (Mobilfernsehen), Videokonferenz

20 H.264 (MPEG-4 AVC) benötigt ~1/3 der Datenmenge von MPEG2 (DVD) Rechenaufwand 2-3x MPEG2 implementiert in XVID AVC, QuickTime H.264, DIVX 7, x264,... in Containern:.mp4.mov.flv.mkv...

21 MPEG-4 ASP Sprachgebrauch: MPEG 4 ISO / IEC Standard (MPEG 4 Teil 2 / ) gute Kompression bei vertretbaren Rechenaufwand ist H.264 bezgl. Kompressionsleistung unterlegen Implementiert in DIVX, XVID, QuickTime MPEG-4,..

22 Interframe Kompressionsstrategien

23 Interframe Kompression Motion Compensation

24 Kompression mit Motion Compensation - noch ein Beispiel Kamera-Bild Landschaftsbild Kamera-Schwenk Abschnitt verschwindet aus dem Bild Abschnitt wird nur verschoben Abschnitt erscheint neu in dem Bild

25 Motion Compensation in MPEG2

26 Codecs

27 DIVX / XVID DIVX kommerzieller MPEG-4 ASP Codec ab Version 7 auch H.264 Hersteller DivX Inc. Hardware-Unterstützung (z.b. DVD-Player) XVID freier MPEG-4 Codec implementiert MPEG-4 ASP neuere Versionen (XVID AVC) auch MPEG-4 AVC

28 DV / MJPEG Einzelbilder werden getrennt komprimiert JPEG-Kompressiontechniken gut zu schneiden und zu bearbeiten relativ geringe Kompressionsleistung DV PAL-Datenstrom mit 25MBit/s 4,6GB (DVD) = ~23 min

29 DV / MJPEG DV Standardverfahren zur Kompression für Digitale Videokameras implementiert in SD Mini-DV Kameras (minidv/dvcam) konstante Datenrate (25MBit/s) Kompression ca. 1:5, YUV 4:2:0 feste Auflösung (720x576) und Bildrate (25) MJPEG (aka Motion JPEG) ähnlich DV, Einsatz in (SVHS/Hi8) Nachteil: variable Datenrate

30 Farbunterabtastung Die Kompression vor der Kompression

31 Color Subsampling - Farbunterabtastung Kompression vor der Kompression Farbkodierung mit Helligkeits- und Farbkomponenten (YUV statt RGB) Quelle: A Digital Video Primer, Adobe reduziert Datenmenge der Farbinformation menschliches Auge ist empfindlicher für Helligkeitsinformationen

32 4:2:2, 4:1:1, 4:4:4??? Terminologie zur Beschreibung des Verfahrens zum Color Subsampling Faktoren die Verhältnis der Samplingfrequenzen/- häufigkeiten der Komponenten Y (Helligkeit), Cr (Farbkomponente 1) und Cb (Farbkomponente 2) ausdrücken

33 4:2:2, 4:1:1, 4:4:4??? YUV, Y:Cr:Cb 4:1:1 meint das die Farbkomponenten mit je ¼ Auflösung gegenüber der Helligkeit gemessen werden (13.5 MHz:3.375 MHz:3.375 MHz) Consumerbereich (ähnliches Sampling z.b. bei DV) 4:2:2 ist der professionelle Standard (z.b. Betamax, D1), (bester Kompromiss Farbtreue/Bandbreite)

34 Übliche Farbunterabtastungen 4:4:4 alle drei Komponenten werden in gleicher Qualität erfasst, keine Unterabtastung 4:2:2 U und V mit ½ Y-Genauigkeit erfasst = 50% Farbinformationen verloren 4:1:1 U und V ¼ Y-Genauigkeit erfasst = 75% Farbinformationen verloren

35 Übliche Farbunterabtastungen 4:2:0 75% Farbinformationen verloren jede zweite Zeile ohne Farbe (4:0:0), die andere 4:2:2 Verwendung im DV-Format (Digitale Videokameras (Consumer)) 4:2:2:4 vierte Komponente bezeichnet Abtastungs eines Keyingsignals (Alphakanal)

36 Aspect Ratio Hintergründe zu den heute verwendeten Bildformaten

37 Aspect Ratio / Seitenverhältnis beschreibt das Bildformat für Fernsehen, Kino, Fotos,... ausgedrückt in Zahlen mit der Breite als erster Zahl 4:3, 16:9, 2,35:1,... Notation Film 1,33:1 Notation TV 4:3 hat starken Einfluss auf die Bildgestaltung übliche Standards haben sich gebildet

38 Das Format 4:3 Warum gerade 4:3??

39 Aber warum gerade 4:3? Zeitreise zurück zu den Anfängen des Kinos 4:3 abgeleitet aus den Filmformaten der Stummfilmära nutzbare Filmfläche Filmtransport über Perforation

40 Filmtransport über Perforation Kinetoskop, früher Projektionsapparat erfunden um 1890 von William Kennedy Laurie Dickson und Thomas Alva Edison Film in 19-mm mit einseitiger Perforation von vier Löchern pro Bild

41 Der 35mm Filmstandard George Eastman, Erfinder des Filmmaterials Kodak mit 70-mm Breite Dickson & Eastman halbierten den 70-mm Kodak-Film brachten Perforationen an beiden Seiten an Geburt des Filmstandards 35-mm

42 Format 4:3 35mm-Breite abzüglich Perforation = 24mm 4 Löchern pro Bild nach Dickson also 24-mm x 18-mm = 1,333:1 = 4:3 Bildformat im Kino der Stummfilmära

43 4:3 - vom Film ins Fernsehen wurde fürs Fernsehen übernommen und hat unsere Sehgewohnheiten geprägt Übertragung auf andere elektronische Geräte

44 Einfluss Ton auf Bildformate Übergang Stummfilm Tonfilm Quelle: gruntmedia.com Quelle: Wikipedia Platz für Tonspur 1,33:1(4:3) 1,37:1 später noch weitere Formate heute Film meist: 1,85:1 oder 2,35:1

45 Das Format 16:9 Warum gerade 16.9 (1,77:1)?

46 Format 16:9 (1,77:1) - Hintergründe Fernsehen bedrohte in den 50ern die Filmindustrie deshalb technische Aufrüstung der Filmindustrie Innovationen verbesserten das Kinoerlebnis Entstehung immer neuer Kino-Breitbildformate Cinemascope, VistaVision, Cinerama, Technirama

47 Format 16:9 (1,77:1) Problem: Fernseher für Breitbild-Filme ungenügend Ende der 1980er sollte ein Breitbildformat für Fernsehen und Video festgelegt werden Dr. Kerns Powers vom David Sarnoff Research Center in Princeton führendes US-Forschungslabor für TV-Technologie er verglich alle wichtigen Film-Formate bei 16:9 waren im Schnitt die geringsten Verluste aller Formate zu beobachten

48 Format 16:9 (1,77:1)

49 Ausgangsmaterial Film- und Fernsehmaterial, Technik, Basiseigenschaften

50 Film auf 35-mm / 70-mm mit 24 fps gedreht oft im Seitenverhältnis von 1,85:1 oder 2,35:1 (Panavision, Cinemascope). mit 48 fps projiziert um Flimmern zu vermeiden jeder Frame wird vom Projektor doppelt angezeigt vier Filmbilder (A,B,C,D) werden als A,A,B,B,C,C,D,D angezeigt aktuell: verstärkt direktes Drehen mit Digitaltechnik

51 klassische Fernsehnormen PAL, NTSC, SECAM Grundidee aller Systeme: Schwarzweiss-kompatible Farbfernsehübertragung Ableitung eines Farbmodells das Helligkeit und Farbe trennt SECAM politisch motiviert Système élégant contre l'amérique Schutz der einheimischen Gerätehersteller

52 Fernsehnorm PAL PAL Phase Alternation Line Einsatz für TV in Westeuropa (außer Frankreich) und Australien 50 Hz (Halb-)Bildwiederholrate 25 fps mit 50 Halbbildern pro Sekunde digital 720x576 Pixel

53 Fernsehnorm NTSC NTSC National Television Standards Committee amerikanische Fernsehnorm 60Hz (Halb-)Bildwiederholrate, genau 59,94 Halbbilder/s 30 fps (exakt 29,97 fps) 525 Zeilen, davon 480 sichtbar Einsatz vor allem in USA und Japan

54 Fernsehnormen - Verbreitung PAL, NTSC, SECAM

55 Fernsehnormen HDTV High Definition TeleVision Hochauflösendes Fernsehen keine Abwärtskompatibilität neue Fernseher nötig bis zu 1920x1080 Pixel schärfer, auch für große Projektionsgrößen (bis ca. 5m geeignet) bietet progressive und interlaced Formate

56 Fernsehnormen HDTV verschiedene Modi, Kurzbezeichnungen: Schema: AbF (z.b. 1080i50, 720p25) A = Auflösung in Zeilen, b = Bildaufbauverfahren (i = interlaced, p = progressive), F = Bilder pro Sekunde 720p25 oder 720p= 25fps als Vollbilder 1080i50 = 50fps als Halbbilder

57 Ende