Medienproduktion WS 2009 / 2010 Dipl.-Inform. Alexander Schulze Prof. Dr. Ing. Klaus Rebensburg
Medium Video Grundlagen / Basiswissen - Teil 2
Kompression et al
Kompressionsmethoden: Charakteristiken verlustfrei Originaldaten sind mit den decodierten Daten identisch verlustbehaftet decodierte Daten enthalten weniger Informationen als die Originaldaten Intraframe Bilder werden unabhängig voneinander kodiert Interframe Bilder werden unter Einbeziehung der vorangegangenen und/oder der folgenden Bilder kodiert
Kompressionsmethoden: Charakteristiken symmetrisch Aufwand für Encoding und Decoding ist gleich asymmetrisch Encoding ist aufwändiger als Decoding real-time Encoding-decoding delay sollte 50 ms nicht übersteigen skalierbar Basisparameter können unterschiedlichen Anforderungen angepasst werden Szenario: Handy-TV bis digitales Kino
Kodierung - Codecs Codec Software-Komponente, für die Kodierung und Dekodierung der Pixel hier findet die Kompression statt oft als Plugin für Videoarchtektur (VfW, QT, ) realisiert Ziel: optimale Qualität bei minimaler Dateigröße zwei Klassen lossless lossy typische Codecs MJPEG / DV DIVX, MPEG 1 / 2 H.264
Container-Formate Verpacken von Video und Audiodaten
Containerformate Was leisten Containerformate? Umschlag in den Video-/Audiodaten gesteckt werden definieren binäres Austauschformat (Datei) oft alternative Video-/Audiodaten möglich oft Metadaten möglich Was leisten Containerformate nicht? keine Kodierung der Audio- / Videodaten ( Codec)
Containerformate vs. Codec Container kodiert nicht Audio- / Videodaten selbst Medienkodierung über Codec Codec kann in Player-Software integriert sein oft aber PlugIn-Architektur: Codecs als austauschbare Software-Module einer ins OS integrierten Videoarchitektur
Beispiele für Containerformate QuickTime (Apple) Windows Media (Microsoft) Real Media (Real) Matroska (open standard)
Praxis Containerformate Problem-Szenario (PlugIn-Ansatz) Austausch einer Container-Datei beide Systeme können Container-Format öffnen Video/Audio spielt Codec fehlt Nachinstallation fehlender Codecs (nicht alle Codecs sind plattformübergreifend implementiert) Alternative: FLV, Flash Video mit festem Codec im Player kein Nachinstallieren von Codecs nötig aber: mit neuen Codecs in neuem Player auch Inkompatibilitäten
QuickTime Containerformat.mov Container-Format extrem flexibel speichert Video, Audio, Bild, Effekte Flash-Spuren, Untertitelspuren, Kapitelmarken, Masken Interaktivität über Skriptspuren, Sprites, Panoramen, VR große Anzahl hochqualitative Codecs spurbasiert häufig im professionellen Bereich als universelles Austauschformat genutzt
QuickTime Containerformat.mov Vorlage für.mp4 Datei-Format als MPEG-4 Part 14 übernommen
Flash-Video Containerformat.flv Container-Format i.d.r. als Stream (RTMP oder HTTP) Wiedergabe -> Flash-Player / Browser-PlugIn Codecs: Sorenson, On2 VP6, MPEG-4 H.264
Flash-Video Containerformat Integration in SWFs Steuerung durch Flash-Inhalte Interaktion mit Flash-Inhalten
Flash-Video - Codecs Flash-Player Sorenson VP6 H.264 1..5 6 7 8 9.0.115
Video-Codecs und -Kompression H.264 und Co...
Codec vs. Kompressionsverfahren Kompressionsverfahren Techniken, Algorithmen zur (De-)Kompression von (Video)Daten Beispiele MPEG-2 (Motion Compensation, Quantisierung, Variable Length Encoding (Huffman), DCT,...) Codec Stück Software das ein (De-)Kompressionsverfahren implementiert Beispiele Xvid (MPEG-4 ASP, MPEG-4 AVC)
Kompressionsverfahren
ITU H.264 (ISO/IEC MPEG-4 AVC) Sprachgebrauch: H.264 ISO / IEC Standard (14496) und ITU Standard (H.264) aka MPEG-4 Teil 10 aka MPEG-4/AVC hocheffizient, z.zt. State of the Art aber: sehr hohe Prozessorlast beim Schneiden hochflexibel einsetzbar HDTV, HDV Videokameras, Blue-ray und HD DVD DVB-H DMB (Mobilfernsehen), Videokonferenz
H.264 (MPEG-4 AVC) benötigt ~1/3 der Datenmenge von MPEG2 (DVD) Rechenaufwand 2-3x MPEG2 implementiert in XVID AVC, QuickTime H.264, DIVX 7, x264,... in Containern:.mp4.mov.flv.mkv...
MPEG-4 ASP Sprachgebrauch: MPEG 4 ISO / IEC Standard (MPEG 4 Teil 2 / 14496-2) gute Kompression bei vertretbaren Rechenaufwand H.264 in Kompressionsleistung unterlegen Implementiert in DIVX, XVID, QuickTime MPEG-4,..
Interframe Kompressionsstrat
Interframe Kompression Motion Compensation
Kompression mit Motion Compensation - noch ein Beispiel Kamera-Bild Landschaftsbild Kamera-Schwenk Abschnitt verschwindet aus dem Bild Abschnitt wird nur verschoben Abschnitt erscheint neu in dem Bild
Motion Compensation in MPEG2
MPEG-1/2 Bildsegmentierung Macroblock Y Y Y Y Slice Picture Block Cr Cr Cr Cr Cb Cb Cb Cb
Codecs
DIVX / XVID DIVX kommerzieller MPEG-4 ASP Codec ab Version 7 auch H.264 Hersteller DivX Inc. Hardware-Unterstützung (z.b. DVD-Player) XVID freier MPEG-4 Codec implementiert MPEG-4 ASP neuere Versionen (XVID AVC) auch MPEG-4 AVC
DV / MJPEG Einzelbilder werden getrennt komprimiert JPEG-Kompressiontechniken gut zu schneiden und zu bearbeiten relativ geringe Kompressionsleistung DV PAL-Datenstrom mit 25MBit/s 4,6GB (DVD) = ~23 min
DV / MJPEG DV Standardverfahren zur Kompression für Digitale Videokameras implementiert in SD Mini-DV Kameras (minidv/dvcam) konstante Datenrate (25MBit/s) Kompression ca. 1:5, YUV 4:2:0 feste Auflösung (720x576) und Bildrate (25) MJPEG (aka Motion JPEG) ähnlich DV, Einsatz in (SVHS/Hi8) Nachteil: variable Datenrate
Farbunterabtastung Die Kompression vor der Kompression
Color Subsampling - Farbunterabtastung Kompression vor der Kompression Farbkodierung mit Helligkeits- und Farbkomponenten (YUV statt RGB) Quelle: A Digital Video Primer, Adobe reduziert Datenmenge der Farbinformation menschliches Auge ist empfindlicher für Helligkeitsinformationen
4:2:2, 4:1:1, 4:4:4??? Terminologie zur Beschreibung des Verfahrens zum Color Subsampling Faktoren die Verhältnis der Samplingfrequenzen/- häufigkeiten der Komponenten Y (Helligkeit), Cr (Farbkomponente 1) und Cb (Farbkomponente 2) ausdrücken
4:2:2, 4:1:1, 4:4:4??? YUV, Y:Cr:Cb 4:1:1 meint das die Farbkomponenten mit je ¼ Auflösung gegenüber der Helligkeit gemessen werden (13.5 MHz:3.375 MHz:3.375 MHz) Consumerbereich (ähnliches Sampling z.b. bei DV) 4:2:2 ist der professionelle Standard (z.b. Betamax, D1), (bester Kompromiss Farbtreue/Bandbreite)
Übliche Farbunterabtastungen 4:4:4 alle drei Komponenten werden in gleicher Qualität erfasst, keine Unterabtastung 4:2:2 U und V mit ½ Y-Genauigkeit erfasst = 50% Farbinformationen verloren 4:1:1 U und V ¼ Y-Genauigkeit erfasst = 75% Farbinformationen verloren
Übliche Farbunterabtastungen 4:2:0 75% Farbinformationen verloren jede zweite Zeile ohne Farbe (4:0:0), die andere 4:2:2 Verwendung im DV-Format (Digitale Videokameras (Consumer)) 4:2:2:4 vierte Komponente bezeichnet Abtastungs eines Keyingsignals (Alphakanal)
Aspect Ratio Hintergründe zu den heute verwendeten Bildformaten
Aspect Ration / Seitenverhältnis beschreibt das Bildformat für Fernsehen, Kino, Fotos,... ausgedrückt in Zahlen mit der Breite als erster Zahl 4:3, 16:9, 2,35:1,... Notation Film 1,37:1 Notation TV 4:3 hat starken Einfluss auf die Bildgestaltung übliche Standards haben sich gebildet
Das Format 4:3 Warum gerade 4:3??
Aber warum gerade 4:3? Zeitreise zurück zu den Anfängen des Kinos 4:3 abgeleitet aus den Filmformaten der Stummfilmära nutzbare Filmfläche Filmtransport über Perforation
Filmtransport über Perforation Kinetoskop, früher Projektionsapparat erfunden um 1890 von William Kennedy Laurie Dickson und Thomas Alva Edison Film in 19-mm mit einseitiger Perforation von vier Löchern pro Bild
Der 35mm Filmstandard George Eastman, Erfinder des Filmmaterials Kodak mit 70-mm Breite Dickson & Eastman halbierten den 70-mm Kodak-Film brachten Perforationen an beiden Seiten an Geburt des Filmstandards 35-mm
Format 4:3 35mm-Breite abzüglich Perforation = 24mm 4 Löchern pro Bild nach Dickson also 24-mm x 18-mm = 1,333:1 = 4:3 Bildformat im Kino der Stummfilmära
4:3 - vom Film ins Fernsehen wurde fürs Fernsehen übernommen und hat unsere Sehgewohnheiten geprägt Übertragung auf andere elektronische Geräte
Einfluss Ton auf Bildformate Übergang Stummfilm Tonfilm Quelle: gruntmedia.com Quelle: Wikipedia Platz für Tonspur 1,33:1(4:3) 1,37:1 später noch weitere Formate heute Film meist: 1,85:1 oder 2,35:1
Das Format 16:9 Warum gerade 16.9 (1,77:1)?
Format 16:9 (1,77:1) - Hintergründe Fernsehen bedrohte in den 50ern die Filmindustrie deshalb technische Aufrüstung der Filmindustrie Innovationen verbesserten das Kinoerlebnis Entstehung immer neuer Kino-Breitbildformate Cinemascope, VistaVision, Cinerama, Technirama
Format 16:9 (1,77:1) Problem: Fernseher für Breitbild-Filme ungenügend Ende der 1980er sollte ein Breitbildformat für Fernsehen und Video festgelegt werden Dr. Kerns Powers vom David Sarnoff Research Center in Princeton führendes US-Forschungslabor für TV-Technologie er verglich alle wichtigen Film-Formate bei 16:9 waren im Schnitt die geringsten Verluste aller Formate zu beobachten
Format 16:9 (1,77:1)
Ausgangsmaterial Film- und Fernsehmaterial, Technik, Basiseigenschaften
Film auf 35-mm / 70-mm mit 24 fps gedreht oft im Seitenverhältnis von 1,85:1 oder 2,35:1 (Panavision, Cinemascope). mit 48 fps projiziert um Flimmern zu vermeiden jeder Frame wird vom Projektor doppelt angezeigt vier Filmbilder (A,B,C,D) werden als A,A,B,B,C,C,D,D angezeigt aktuell: verstärkt direktes Drehen mit Digitaltechnik
klassische Fernsehnormen PAL, NTSC, SECAM Grundidee aller Systeme: Schwarzweiss-kompatible Farbfernsehübertragung Ableitung eines Farbmodells das Helligkeit und Farbe trennt SECAM politisch motiviert Système élégant contre l'amérique Schutz der einheimischen Gerätehersteller
Fernsehnorm PAL PAL Phase Alternation Line Einsatz für TV in Westeuropa (außer Frankreich) und Australien 50 Hz Bildwiederholrate, genau 25 Halbbilder/s 25 fps mit 50 Halbbildern pro Sekunde digital 720x576 Pixel
Fernsehnorm NTSC NTSC National Television Standards Committee amerikanische Fernsehnorm 60Hz Bildwiederholrate, genau 59,94 Halbbilder/s 30 fps (exakt 29,97 fps) 525 Zeilen, davon 480 sichtbar Einsatz vor allem in USA und Japan digital 720x480 Pixel
Fernsehnormen - Verbreitung PAL, NTSC, SECAM
Fernsehnormen HDTV High Definition TeleVision Hochauflösendes Fernsehen keine Abwärtskompatibilität neue Fernseher nötig bis zu 1920x1080 Pixel schärfer, auch für große Projektionsgrößen (bis ca. 5m geeignet) bietet progressive und interlaced Formate
Fernsehnormen HDTV verschiedene Modi, Kurzbezeichnungen: Schema: AbF (z.b. 1080i50, 720p25) A = Auflösung in Zeilen, b = Bildaufbauverfahren (i = interlaced, p = progressive), F = Bilder pro Sekunde 720p25 oder 720p= 25fps als Vollbilder 1080i50 = 50fps als Halbbilder
HDTV-Auflösung Hochauflösend, was heißt das in der Praxis
HDTV vs PAL Quelle: Gierlienger IRT
HDTV vs PAL Quelle: Gierlienger IRT
HDTV vs PAL Quelle: Gierlienger IRT
HDTV-Fernseher Aktuelle Displaytechniken Flüssigkristall LCD Plasma viele aktuelle 16:9 Fernseher können nicht jedes HDTV-Pixel darstellen viele Displays horizontal nur 800-1366 Pixel. Zuwenig für die 1920 horiz. Pixel von HDTV. spezielle digitale Schnittstelle (HDMI) mit integriertem Kopierschutz (HDCP)
HDTV - Betrachungswinkel Quelle: Gierlienger IRT
HDTV - Betrachungswinkel Quelle: Gierlienger IRT
Filmwiedergabe auf einem Fernseher PAL speedup, 3:2 Pulldown,
Film vs. Video unterschiedliche zeitliche Auflösung 24 fps Vollbilder vs. 25/30 fps mit Halbbildern Lösung 1 - Bildrichtig arbeiten je Filmbild ein Videobild Lösung 2 - Zeitrichtig arbeiten Verteilung weniger Filmbilder auf mehr Videobilder
Was zum Teufel ist 3:2 Pulldown? Warum? weil Film und Video so unterschiedlich sind Film 24fps, PAL 25fps (50 Halbbilder), NTSC 30fps (60 Halbbilder) Film -> NTSC 24,9 % schneller bei 1:1 Abbildung der Frames Lösung: Filmbilder periodisch wiederholen, um die 24 Bilder auf 30 Bilder zu verteilen
Was zum Teufel ist 3:2 Pulldown? Telecine Maschine zum Transfer von Filmmaterial auf Video Ausgabe D2 Digital Video (zum Senden oder Transfer auf VHS oder DVD) projiziert Film auf einen Videosensor der mit 60 fps wiederholt Filmbilder nach 3:2 Muster A,A,A,B,B,C,C,C,D,D,
3:2 Pulldown & DVD warum wertvollen DVD-Speicherplatz durch redundante Bilder verschwenden? gute Frage, muss nicht sein! typische Hollywood DVDs haben das Bildmaterial mit 24fps gespeichert das Pulldown erledigt der Player in Echtzeit NTSC-DVDs speichern das Bild im 480i24 Format 720x480 pixel per frame verteilt auf 2 interlaced 720x240 fields
3:2 Pulldown & DVD Probleme des Pulldown einige Videoframes bestehen aus zwei Halbbildern, die aus zwei unterschieldichen Filmbilden stammen
Film nach NTSC 3:2 Pulldown Film 24fps vs NTSC 30fps jedes ungerade Filmbild wird auf zwei NTSC- Halbbilder übertragen jedes gerade Filmbild auf drei NTSC-Halbbilder
Ende