Medienproduktion WS 2009 / Dipl.-Inform. Alexander Schulze Prof. Dr. Ing. Klaus Rebensburg

Transkript

1 Medienproduktion WS 2009 / 2010 Dipl.-Inform. Alexander Schulze Prof. Dr. Ing. Klaus Rebensburg

2 Medium Video Grundlagen / Basiswissen - Teil 2

3 Kompression et al

4 Kompressionsmethoden: Charakteristiken verlustfrei Originaldaten sind mit den decodierten Daten identisch verlustbehaftet decodierte Daten enthalten weniger Informationen als die Originaldaten Intraframe Bilder werden unabhängig voneinander kodiert Interframe Bilder werden unter Einbeziehung der vorangegangenen und/oder der folgenden Bilder kodiert

5 Kompressionsmethoden: Charakteristiken symmetrisch Aufwand für Encoding und Decoding ist gleich asymmetrisch Encoding ist aufwändiger als Decoding real-time Encoding-decoding delay sollte 50 ms nicht übersteigen skalierbar Basisparameter können unterschiedlichen Anforderungen angepasst werden Szenario: Handy-TV bis digitales Kino

6 Kodierung - Codecs Codec Software-Komponente, für die Kodierung und Dekodierung der Pixel hier findet die Kompression statt oft als Plugin für Videoarchtektur (VfW, QT, ) realisiert Ziel: optimale Qualität bei minimaler Dateigröße zwei Klassen lossless lossy typische Codecs MJPEG / DV DIVX, MPEG 1 / 2 H.264

7 Container-Formate Verpacken von Video und Audiodaten

8 Containerformate Was leisten Containerformate? Umschlag in den Video-/Audiodaten gesteckt werden definieren binäres Austauschformat (Datei) oft alternative Video-/Audiodaten möglich oft Metadaten möglich Was leisten Containerformate nicht? keine Kodierung der Audio- / Videodaten ( Codec)

9 Containerformate vs. Codec Container kodiert nicht Audio- / Videodaten selbst Medienkodierung über Codec Codec kann in Player-Software integriert sein oft aber PlugIn-Architektur: Codecs als austauschbare Software-Module einer ins OS integrierten Videoarchitektur

10 Beispiele für Containerformate QuickTime (Apple) Windows Media (Microsoft) Real Media (Real) Matroska (open standard)

11 Praxis Containerformate Problem-Szenario (PlugIn-Ansatz) Austausch einer Container-Datei beide Systeme können Container-Format öffnen Video/Audio spielt Codec fehlt Nachinstallation fehlender Codecs (nicht alle Codecs sind plattformübergreifend implementiert) Alternative: FLV, Flash Video mit festem Codec im Player kein Nachinstallieren von Codecs nötig aber: mit neuen Codecs in neuem Player auch Inkompatibilitäten

12 QuickTime Containerformat.mov Container-Format extrem flexibel speichert Video, Audio, Bild, Effekte Flash-Spuren, Untertitelspuren, Kapitelmarken, Masken Interaktivität über Skriptspuren, Sprites, Panoramen, VR große Anzahl hochqualitative Codecs spurbasiert häufig im professionellen Bereich als universelles Austauschformat genutzt

13 QuickTime Containerformat.mov Vorlage für.mp4 Datei-Format als MPEG-4 Part 14 übernommen

14 Flash-Video Containerformat.flv Container-Format i.d.r. als Stream (RTMP oder HTTP) Wiedergabe -> Flash-Player / Browser-PlugIn Codecs: Sorenson, On2 VP6, MPEG-4 H.264

15 Flash-Video Containerformat Integration in SWFs Steuerung durch Flash-Inhalte Interaktion mit Flash-Inhalten

16 Flash-Video - Codecs Flash-Player Sorenson VP6 H

17 Video-Codecs und -Kompression H.264 und Co...

18 Codec vs. Kompressionsverfahren Kompressionsverfahren Techniken, Algorithmen zur (De-)Kompression von (Video)Daten Beispiele MPEG-2 (Motion Compensation, Quantisierung, Variable Length Encoding (Huffman), DCT,...) Codec Stück Software das ein (De-)Kompressionsverfahren implementiert Beispiele Xvid (MPEG-4 ASP, MPEG-4 AVC)

19 Kompressionsverfahren

20 ITU H.264 (ISO/IEC MPEG-4 AVC) Sprachgebrauch: H.264 ISO / IEC Standard (14496) und ITU Standard (H.264) aka MPEG-4 Teil 10 aka MPEG-4/AVC hocheffizient, z.zt. State of the Art aber: sehr hohe Prozessorlast beim Schneiden hochflexibel einsetzbar HDTV, HDV Videokameras, Blue-ray und HD DVD DVB-H DMB (Mobilfernsehen), Videokonferenz

21 H.264 (MPEG-4 AVC) benötigt ~1/3 der Datenmenge von MPEG2 (DVD) Rechenaufwand 2-3x MPEG2 implementiert in XVID AVC, QuickTime H.264, DIVX 7, x264,... in Containern:.mp4.mov.flv.mkv...

22 MPEG-4 ASP Sprachgebrauch: MPEG 4 ISO / IEC Standard (MPEG 4 Teil 2 / ) gute Kompression bei vertretbaren Rechenaufwand H.264 in Kompressionsleistung unterlegen Implementiert in DIVX, XVID, QuickTime MPEG-4,..

23 Interframe Kompressionsstrat

24 Interframe Kompression Motion Compensation

25 Kompression mit Motion Compensation - noch ein Beispiel Kamera-Bild Landschaftsbild Kamera-Schwenk Abschnitt verschwindet aus dem Bild Abschnitt wird nur verschoben Abschnitt erscheint neu in dem Bild

26 Motion Compensation in MPEG2

27 MPEG-1/2 Bildsegmentierung Macroblock Y Y Y Y Slice Picture Block Cr Cr Cr Cr Cb Cb Cb Cb

28 Codecs

29 DIVX / XVID DIVX kommerzieller MPEG-4 ASP Codec ab Version 7 auch H.264 Hersteller DivX Inc. Hardware-Unterstützung (z.b. DVD-Player) XVID freier MPEG-4 Codec implementiert MPEG-4 ASP neuere Versionen (XVID AVC) auch MPEG-4 AVC

30 DV / MJPEG Einzelbilder werden getrennt komprimiert JPEG-Kompressiontechniken gut zu schneiden und zu bearbeiten relativ geringe Kompressionsleistung DV PAL-Datenstrom mit 25MBit/s 4,6GB (DVD) = ~23 min

31 DV / MJPEG DV Standardverfahren zur Kompression für Digitale Videokameras implementiert in SD Mini-DV Kameras (minidv/dvcam) konstante Datenrate (25MBit/s) Kompression ca. 1:5, YUV 4:2:0 feste Auflösung (720x576) und Bildrate (25) MJPEG (aka Motion JPEG) ähnlich DV, Einsatz in (SVHS/Hi8) Nachteil: variable Datenrate

32 Farbunterabtastung Die Kompression vor der Kompression

33 Color Subsampling - Farbunterabtastung Kompression vor der Kompression Farbkodierung mit Helligkeits- und Farbkomponenten (YUV statt RGB) Quelle: A Digital Video Primer, Adobe reduziert Datenmenge der Farbinformation menschliches Auge ist empfindlicher für Helligkeitsinformationen

34 4:2:2, 4:1:1, 4:4:4??? Terminologie zur Beschreibung des Verfahrens zum Color Subsampling Faktoren die Verhältnis der Samplingfrequenzen/- häufigkeiten der Komponenten Y (Helligkeit), Cr (Farbkomponente 1) und Cb (Farbkomponente 2) ausdrücken

35 4:2:2, 4:1:1, 4:4:4??? YUV, Y:Cr:Cb 4:1:1 meint das die Farbkomponenten mit je ¼ Auflösung gegenüber der Helligkeit gemessen werden (13.5 MHz:3.375 MHz:3.375 MHz) Consumerbereich (ähnliches Sampling z.b. bei DV) 4:2:2 ist der professionelle Standard (z.b. Betamax, D1), (bester Kompromiss Farbtreue/Bandbreite)

36 Übliche Farbunterabtastungen 4:4:4 alle drei Komponenten werden in gleicher Qualität erfasst, keine Unterabtastung 4:2:2 U und V mit ½ Y-Genauigkeit erfasst = 50% Farbinformationen verloren 4:1:1 U und V ¼ Y-Genauigkeit erfasst = 75% Farbinformationen verloren

37 Übliche Farbunterabtastungen 4:2:0 75% Farbinformationen verloren jede zweite Zeile ohne Farbe (4:0:0), die andere 4:2:2 Verwendung im DV-Format (Digitale Videokameras (Consumer)) 4:2:2:4 vierte Komponente bezeichnet Abtastungs eines Keyingsignals (Alphakanal)

38 Aspect Ratio Hintergründe zu den heute verwendeten Bildformaten

39 Aspect Ration / Seitenverhältnis beschreibt das Bildformat für Fernsehen, Kino, Fotos,... ausgedrückt in Zahlen mit der Breite als erster Zahl 4:3, 16:9, 2,35:1,... Notation Film 1,37:1 Notation TV 4:3 hat starken Einfluss auf die Bildgestaltung übliche Standards haben sich gebildet

40 Das Format 4:3 Warum gerade 4:3??

41 Aber warum gerade 4:3? Zeitreise zurück zu den Anfängen des Kinos 4:3 abgeleitet aus den Filmformaten der Stummfilmära nutzbare Filmfläche Filmtransport über Perforation

42 Filmtransport über Perforation Kinetoskop, früher Projektionsapparat erfunden um 1890 von William Kennedy Laurie Dickson und Thomas Alva Edison Film in 19-mm mit einseitiger Perforation von vier Löchern pro Bild

43 Der 35mm Filmstandard George Eastman, Erfinder des Filmmaterials Kodak mit 70-mm Breite Dickson & Eastman halbierten den 70-mm Kodak-Film brachten Perforationen an beiden Seiten an Geburt des Filmstandards 35-mm

44 Format 4:3 35mm-Breite abzüglich Perforation = 24mm 4 Löchern pro Bild nach Dickson also 24-mm x 18-mm = 1,333:1 = 4:3 Bildformat im Kino der Stummfilmära

45 4:3 - vom Film ins Fernsehen wurde fürs Fernsehen übernommen und hat unsere Sehgewohnheiten geprägt Übertragung auf andere elektronische Geräte

46 Einfluss Ton auf Bildformate Übergang Stummfilm Tonfilm Quelle: gruntmedia.com Quelle: Wikipedia Platz für Tonspur 1,33:1(4:3) 1,37:1 später noch weitere Formate heute Film meist: 1,85:1 oder 2,35:1

47 Das Format 16:9 Warum gerade 16.9 (1,77:1)?

48 Format 16:9 (1,77:1) - Hintergründe Fernsehen bedrohte in den 50ern die Filmindustrie deshalb technische Aufrüstung der Filmindustrie Innovationen verbesserten das Kinoerlebnis Entstehung immer neuer Kino-Breitbildformate Cinemascope, VistaVision, Cinerama, Technirama

49 Format 16:9 (1,77:1) Problem: Fernseher für Breitbild-Filme ungenügend Ende der 1980er sollte ein Breitbildformat für Fernsehen und Video festgelegt werden Dr. Kerns Powers vom David Sarnoff Research Center in Princeton führendes US-Forschungslabor für TV-Technologie er verglich alle wichtigen Film-Formate bei 16:9 waren im Schnitt die geringsten Verluste aller Formate zu beobachten

50 Format 16:9 (1,77:1)

51 Ausgangsmaterial Film- und Fernsehmaterial, Technik, Basiseigenschaften

52 Film auf 35-mm / 70-mm mit 24 fps gedreht oft im Seitenverhältnis von 1,85:1 oder 2,35:1 (Panavision, Cinemascope). mit 48 fps projiziert um Flimmern zu vermeiden jeder Frame wird vom Projektor doppelt angezeigt vier Filmbilder (A,B,C,D) werden als A,A,B,B,C,C,D,D angezeigt aktuell: verstärkt direktes Drehen mit Digitaltechnik

53 klassische Fernsehnormen PAL, NTSC, SECAM Grundidee aller Systeme: Schwarzweiss-kompatible Farbfernsehübertragung Ableitung eines Farbmodells das Helligkeit und Farbe trennt SECAM politisch motiviert Système élégant contre l'amérique Schutz der einheimischen Gerätehersteller

54 Fernsehnorm PAL PAL Phase Alternation Line Einsatz für TV in Westeuropa (außer Frankreich) und Australien 50 Hz Bildwiederholrate, genau 25 Halbbilder/s 25 fps mit 50 Halbbildern pro Sekunde digital 720x576 Pixel

55 Fernsehnorm NTSC NTSC National Television Standards Committee amerikanische Fernsehnorm 60Hz Bildwiederholrate, genau 59,94 Halbbilder/s 30 fps (exakt 29,97 fps) 525 Zeilen, davon 480 sichtbar Einsatz vor allem in USA und Japan digital 720x480 Pixel

56 Fernsehnormen - Verbreitung PAL, NTSC, SECAM

57 Fernsehnormen HDTV High Definition TeleVision Hochauflösendes Fernsehen keine Abwärtskompatibilität neue Fernseher nötig bis zu 1920x1080 Pixel schärfer, auch für große Projektionsgrößen (bis ca. 5m geeignet) bietet progressive und interlaced Formate

58 Fernsehnormen HDTV verschiedene Modi, Kurzbezeichnungen: Schema: AbF (z.b. 1080i50, 720p25) A = Auflösung in Zeilen, b = Bildaufbauverfahren (i = interlaced, p = progressive), F = Bilder pro Sekunde 720p25 oder 720p= 25fps als Vollbilder 1080i50 = 50fps als Halbbilder

59 HDTV-Auflösung Hochauflösend, was heißt das in der Praxis

60 HDTV vs PAL Quelle: Gierlienger IRT

61 HDTV vs PAL Quelle: Gierlienger IRT

62 HDTV vs PAL Quelle: Gierlienger IRT

63 HDTV-Fernseher Aktuelle Displaytechniken Flüssigkristall LCD Plasma viele aktuelle 16:9 Fernseher können nicht jedes HDTV-Pixel darstellen viele Displays horizontal nur Pixel. Zuwenig für die 1920 horiz. Pixel von HDTV. spezielle digitale Schnittstelle (HDMI) mit integriertem Kopierschutz (HDCP)

64 HDTV - Betrachungswinkel Quelle: Gierlienger IRT

65 HDTV - Betrachungswinkel Quelle: Gierlienger IRT

66 Filmwiedergabe auf einem Fernseher PAL speedup, 3:2 Pulldown,

67 Film vs. Video unterschiedliche zeitliche Auflösung 24 fps Vollbilder vs. 25/30 fps mit Halbbildern Lösung 1 - Bildrichtig arbeiten je Filmbild ein Videobild Lösung 2 - Zeitrichtig arbeiten Verteilung weniger Filmbilder auf mehr Videobilder

68 Was zum Teufel ist 3:2 Pulldown? Warum? weil Film und Video so unterschiedlich sind Film 24fps, PAL 25fps (50 Halbbilder), NTSC 30fps (60 Halbbilder) Film -> NTSC 24,9 % schneller bei 1:1 Abbildung der Frames Lösung: Filmbilder periodisch wiederholen, um die 24 Bilder auf 30 Bilder zu verteilen

69 Was zum Teufel ist 3:2 Pulldown? Telecine Maschine zum Transfer von Filmmaterial auf Video Ausgabe D2 Digital Video (zum Senden oder Transfer auf VHS oder DVD) projiziert Film auf einen Videosensor der mit 60 fps wiederholt Filmbilder nach 3:2 Muster A,A,A,B,B,C,C,C,D,D,

70 3:2 Pulldown & DVD warum wertvollen DVD-Speicherplatz durch redundante Bilder verschwenden? gute Frage, muss nicht sein! typische Hollywood DVDs haben das Bildmaterial mit 24fps gespeichert das Pulldown erledigt der Player in Echtzeit NTSC-DVDs speichern das Bild im 480i24 Format 720x480 pixel per frame verteilt auf 2 interlaced 720x240 fields

71 3:2 Pulldown & DVD Probleme des Pulldown einige Videoframes bestehen aus zwei Halbbildern, die aus zwei unterschieldichen Filmbilden stammen

72 Film nach NTSC 3:2 Pulldown Film 24fps vs NTSC 30fps jedes ungerade Filmbild wird auf zwei NTSC- Halbbilder übertragen jedes gerade Filmbild auf drei NTSC-Halbbilder

73 Ende