Multimediatechnik / Video Video-Verarbeitung Verarbeitung / Codecs / Formate http://www.nanocosmos.de/lietz/mtv Videoverarbeitung / Wiedergabe Einlesen von Videodaten von einer Quelle Disk/Internet/WLAN, Auspacken (Dateiformat) Audio/Video trennen ( Splitten( Splitten, Demultiplex ) Decodieren (Codec( Codec) Audio/Video getrennt voneinander Anzeige (Renderer( Renderer,, Grafikkarte, Soundkarte) Audio/Video getrennt Format unkomprimiert je nach Hardware/Treiber z.b. RGB, YUV Neu: auch komprimiert möglich m (Decodierung auf der Hardware!)
Video-Wiedergabe Quelle Splitter Decoder Ausgabe (Renderer( Renderer) Bild und Ton wird getrennt verarbeitet (decodiert) Beispiel: AVI-Video Video-Datei unkomprimiert (RGB24) Video-Wiedergabe Beispiel: MPEG-Video Komprimierte, gepackte Daten Ab hier unkomprimiert! (Video: RGB / YUV, Audio: PCM)
Playback mit DirectShow Beispiele für f r Datentypen: File Source: : Nur Output Pin (Daten aus Datei) Splitter: Input MPEG Stream,, Output 2 Pins MPEG Audio + Video Video Video-Decoder: Input MPEG-11 Video,, Output RGB24 Video-Renderer Renderer: : Input RGB24 (Grafikkarte) Hilfsmittel (Tool): GraphEdit (Microsoft) / GraphStudio (OpenSource) Video-Aufzeichnung (Capture( Capture) Eingabe-Ger Gerät t (Capture( Device): Video/Audio getrennt Codierung (Encoder( Encoder): Video/Audio getrennt Multiplex: Video/Audio kombiniert Ziel (Datei) uncompressed compressed
Videoverarbeitung / Codierung Aufnahme / Capture Wie wird Digitales Video erzeugt? Analog/Digital-Wandlung (Kamera, Capture-Device Device) Codierung (Kompression) Verarbeitung Schnitt, Effekte, Titel, Compositing, Mixing fast immer unkomprimiert! Codierung/Decodierung nötig, n evtl. mehrfach Export / Speicherung Codierung/Kompression Ausgabe auf DVD, Internet, Mobilgeräte Was ist ein Codec? Codecs Codierer (Encoder,, Kompressor) Decodierer (Decoder, Decompressor, Player) Hardware oder Softwaremodul Videocodec + Audiocodec + Multiplex Merke: Encoding: : Aufzeichnung / Erstellung von Videomaterial Decoding: : Wiedergabe / Playback Dateiformat kapselt Codec(s) Multiplex: Audio + Video + Sync, Timecodes,, Untertitel,
Video-Kompression Einfache Verfahren: YUV-4:2:2 / 4:2:0 Unkomprimiert = Alle Pixel unabhängig ngig voneinander Kompression: Nutzung der Abhängigkeiten (Gleichartigkeit, Redundanz) Komprimiert / Unkomprimiert (Compressed / Uncompressed) Unkomprimierte Formate: Alle Pixel sind voneinander unabhängig ngig RGB: je Pixel 3 Farbwerte R,G,B RGB24, RGB32, RGBA, YUV: je Pixel 1-31 3 Farbwerte Y,U,V (4:2:2, 4:2:0, ) UYVY, YUY2, I420, YV12, Komprimierte Formate: Pixel nicht mehr unabhängig ngig voneinander gespeichert RLE, JPEG, MPEG, DIVX, XVID, WMV, Real, Flash-Video Häufig Qualitätsverlust tsverlust beim Komprimieren
Video-Kompression / Datenreduktion Ziel: Datenmenge reduzieren ohne oder mit geringem Qualitätsverlust tsverlust Verlustfreie Kompression (lossless( lossless) Redundante ( überflüssige )) Daten werden reduziert Information bleibt erhalten Kein Qualitätsverlust: tsverlust: Mathematisch eindeutig rekonstruierbar Nur geringe oder keine Kompression möglich m (1:3) Beispiel: RGB, YUV, Lauflängencodierung Verlustbehaftete Kompression (lossy( lossy) Irrelevante ( nicht wahrnehmbare ) Daten reduziert Weniger Information, nicht 100% rekonstruierbar Qualitätsverlust tsverlust / Leichte Störungen zulässig ( Artefakte( Artefakte ) Hohe Kompression möglich (1:30) Lauflängencodierung (RLE) Information bleibt erhalten, verlustfreie Kompression Prinzip: doppelte Werte reduzieren 2 Bytes/Wert: 1 Lauflänge, 1 Wert Beispiel: 20 20 20 20 20 10 10 10 05 20 03 10 Kompressionsgrad = 8:4 = 2:1 Vorteil für f gleichmässige Flächen gut geeignet für f r synthetische Bilder (CG) Nicht direkt geeignet für f r reale Bilder (Foto/Video)
Quantisierung Information bleibt nicht erhalten, verlustbehaftete Kompression Prinzip: Stufeneinteilung durch Teilen und Runden Beispiel: 20 21 22 21 21 10 11 10 Lauflängencodierung? Quantisierung: : Teilen/Runden: (z.b. /10 * 10) 20 20 20 20 20 10 10 10 Lauflängencodierung möglich! m Qualitätsverlust! tsverlust! (Details) JPEG Codec-Standards (Einzelbilder) DCT oder lossless TIFF Container, erlaubt verschiedene Codecs Z.B. LZW, unkomprimiert RGB/YUV TGA / PNG / BMP Meist unkomprimiert RGB24
Codec-Standards (Video) DV (DigitalVideo( DigitalVideo) Bandaufzeichnung + Übertragung per Firewire,, SD + HD MPEG ( Moving Pictures Expert Group ) ISO/ITU Standards, viele Unterformate von Mobilformaten bis HD MPEG-1, MPEG-2, MPEG-4, MPEG4-AVC (=H.264) Video + Audio gesondert standardisiert (z.b. DVD, MP3) WindowsMedia Microsoft-Firmenstandard / SMPTE VC-1 1 / WMV Flash Video FLV-Container Container,, H.263, VP6, AVC/H.264 (seit Flash Version 9.x auch als MP4) DivX / XVID MPEG4-basiert, aber im AVI-Container Dateiformate (Codecs) Video-Dateiformate AVI (DV, MPEG-4/DivX, UYVY, u.a.).) Quicktime (Apple, Avid,, DV, u.a.).) MP4 (MPEG-4, AVC/H.264) MPG, DVD, VOB, TS (MPEG-2) Flash (Adobe, H.263, VP-6, H.264) WindowsMedia (Microsoft, WMV9) RealVideo (RealVideo10) Matroska (OpenSource für r verschiedene Codecs)
Format-Konvertierungen Problem: Datenkonvertierung beim Überspielen Verluste durch Re-Kompression Ziel im Studio: keine sichtbaren Verluste nach 7-fach7 fach-überspielung Nur geringe Kompression, hohe Bitraten/Datenmengen Video-Bearbeitung Blenden, Effekte, Helligkeit, Kontrast, Schnitte Alles nur unkomprimiert möglichm (wenige Ausnahmen) Meist verlustbehaftete Neucodierung notwendig!
Format-Auswahl Welches Format ist ideal? Keine eindeutige Antwort! PC: MPEG-2, MPEG-4 4 AVC/H.264, Flash Handy: MPEG-4 4 (MP4, 3GP) HDTV/Blueray: : H.264 (WindowsMedia( WindowsMedia?) Tendenz Richtung H.264 auch bei Flash, HDTV Studio-Formate Viele Formate, kein Standard! DigiBeta: : 720x576 MPEG2-IMX (I-Only( Only,, 50 Mbits/s) HDCAM: bis zu 4:4:4 YUV/RGB DVCAM: Profi-DV (50 Mbits/s).. HD: 720p oder 1080i?
Basis AVC/H.264 HD-Formate Blueray Disc: kommerzielle Filme AVC-HD: Aufnahmen (Kamera/Recorder) Speicherung auf Festplatte, Speicherkarte, selten DVD 720p, 1080i, 1080p, ca. 17 MBits/s Studio: z.b. XDCAM-HD, AVC100, DNxHD (Avid) Kompressionsfaktor / Effizienz Bitrate b (bits/s( bits/s, kbits/s,, MBits/s) Unkomprimiert RGB: 720x576x3x25 = 30 MB/s = 240MBits/s MPEG: 2-82 8 MBit/s (Kompression mind. 1:30) Bildauflösung x,y / Bildrate (fps( fps) Zusammengefasst: Bits/Pixel Q f = b / (x*y*fps( x*y*fps) Beispiel: DVD b = 8 MBits/s, x,y = 720x576, fps=25/s Q = 8.000.000 / (720*576*25) = 0,77 bits/pixel
Codier-Effizienz Bits pro Pixel Verfahren RGB 24 Anwendung Uncompressed Effizienz (bit/px) 24 YUV 4:2:2 16 YUV 4:2:0 M-JPEG MPEG-2 MPEG-4 ASP MPEG-4 AVC DV DVD DivX, Xvid, Mobil H.264, Blueray, HDTV 12 2 3 0,3 0,8 0,2 0,4 0,06-0,10 Formate und Datenraten Auflösung und Bitrate
Zusammenfassung Codecs Vielzahl verschiedener Formate verfügbar Dateiformat + Codierung Kein einheitlicher Standard (MPEG, H.264) Kennzahlen Auflösung, Bitrate, Bits/Pixel Fast alle Codecs sind verlustbehaftet!