Multimediatechnik / Video

Transkript

1 Multimediatechnik / Video Codecs / Streaming Was ist ein Codec? Codecs Codierer (Kompressor) Decodierer (Player) Hardware oder Softwaremodul Videocodec + Audiocodec + Multiplex (Kapselung) Multiplex: A/V Sync, Timecodes,, Dateiformat Dateiformat kapselt Codec(s) Audio+Video+Untertitel+Timecodes+.

2 Videoverarbeitung / Codierung Aufnahme / Capture Analog/Digital Codierung (Kompression) Verarbeitung Schnitt, Effekte, Titel, Compositing, Mixing Codierung/Decodierung, evtl. mehrfach Export Codierung/Kompression Ausgabe auf DVD, Internet, Mobilgeräte Videoverarbeitung / Wiedergabe Einlesen von Videodaten von einer Quelle Disk/Internet/WLAN, Auspacken Audio/Video trennen Decodieren (Codec( Codec) Audio/Video getrennt Anzeige (Render( Render) Audio/Video getrennt, Bildschirm/Lautsprecher

3 Video-Aufzeichnung (Capture( Capture) Eingabe-Ger Gerät t (Capture( Device): Video/Audio getrennt Codierung (Encoder( Encoder): Video/Audio getrennt Multiplex: Video/Audio kombiniert Ziel / Datei Video-Wiedergabe Quelle, Splitter,, Decoder, Ausgabe

4 JPEG Codec-Standards (Einzelbilder) DCT oder lossless TIFF Container, erlaubt verschiedene Codecs Z.B. LZW, unkomprimiert RGB/YUV TGA / PNG / BMP Meist unkomprimiert RGB24 DV (DigitalVideo( DigitalVideo) Codec-Standards (Video) Bandaufzeichnung + Übertragung per Firewire MPEG ISO/ITU Standards Video + Audio gesondert standardisiert MPEG-1, MPEG-2, MPEG-4, MPEG4-AVC (=H.264) WindowsMedia Microsoft-Firmenstandard / SMPTE VC-1 Flash Video H.263, VP6, AVC/H.264

5 Codec-Standard DV Digital Video, erstes rein digitales Consumer-Video Kamera+Aufzeichnung auf Band Übertragung über FireWire (IEEE-1394) Prinzip M-JPEG,, 25 Mbits/s,, 720x576i, YUV 4:2:0 Dateiformat (Container) meist AVI oder Quicktime H-DV: High Definition auf Band, Disk, Memory 1280x720p (progressive) 1440x1080i (interlaced( interlaced) MPEG-2 - basiert MPEG-1 1 / MPEG-2 ISO / ITU-Standards ab ca MPEG-1: Video-CD,, 352x288 Pixel, 1.1 MBits/s MPEG-2: DVD, Digital TV (DVB) Hauptunterschied MPEG-1: Interlaced verschiedene Profile, z.b. 4:2:0, 4:2:2, hohe Bitraten, GOP Teil 1: Systems (Multiplex Audio+Video) Programmstrom (DVD) / Transportstrom (DVB) Teil 2: Video Teil 3: Audio (auch MP3)

6 Teil 1: Systems Multiplex Audio+Video Szenenaufbau 2D/3D Teil 2: Video MPEG-4 4 / H.264 Verschiedene Profile, z.b. Advanced Simple, ASP Teil 3: Audio AAC, Teil 10: AVC (Advanced( Video Coding) ) = H.264 Teil 14: MP4-Dateiformat Anwendungen: Viele! (von Mobilgeräten/iPod bis HDTV) Video-Dateiformate MPEG-2 (DVB, MPG, DVD-VOB) VOB) MP4 AVI (MPEG-4, AVC/H.264) (DV, MPEG-4/DivX, UYVY, u.a.).) Quicktime (Apple, Avid,, DV, u.a.).) Flash (Adobe, H.263, VP-6, H.264) WindowsMedia (Microsoft, WMV9) RealVideo (RealVideo10) Matroska (OpenSource)

7 AVI (Video for Windows) Audio/Video Interleaved (nur) Container für f r verschiedene Formate Header: Auflösung (Breite/Höhe), Komprimierung, usw. biwidth Breite (z.b. 720) biheight Höhe (z.b. 576) biplanes Farbkanäle (z.b. 3) bibitcount bicompression Farbauflösung (z.b. 24) z.b. RGB,, UYVY, DIVX (FOURCC = 4 Character Code) AVI-Export

8 Quicktime (MOV) Für r Mac und Windows verfügbar (Installer( Installer) Architektur MOV = Container für f r verschiedene Codecs Quicktime Player zum Abspielen Quicktime Player Pro zum Codieren/Speichern Wie bei AVI zahlreiche Codecs innerhalb des MOV-Formates Quicktime-Export

9 Microsoft DirectShow Architektur zum Erzeugen und Abspielen von Video Plugins für r Windows Media Player u.a. Prinzip: Filter werden zusammengeschaltet Filter: Eingabe Verarbeitung Ausgabe Beispiele: Videocodec: : Input YUV,, Output MPEG4-Video Multiplexer: 2 Inputs Audio + Video,, Output Stream File Source: : Nur Output Pin (Daten aus Datei) DirectShow - GraphEdit Playback / Wiedergabe File Source Splitter Decoder - Renderer

10 Format-Auswahl Welches Format ist ideal? Keine eindeutige Antwort! PC: MPEG-2, MPEG-4 4 AVC/H.264, Flash Handy: MPEG-4 4 (MP4, 3GP) HDTV/Blueray: : H.264 (WindowsMedia( WindowsMedia?) Tendenz Richtung H.264, auch bei Flash Studio-Formate Viele Formate, kein Standard! DigiBeta: : 720x576 MPEG2-IMX (I-Only( Only,, 50 Mbits/s) HDCAM: bis zu 4:4:4 YUV/RGB DVCAM: Profi-DV (50 Mbits/s).. HD: 720p oder 1080i?

11 Format-Konvertierungen Problem: Datenkonvertierung beim Überspielen Verluste durch Re-Kompression Ziel im Studio: keine sichtbaren Verluste nach 7-fach7 fach-überspielung Nur geringe Kompression, hohe Bitraten/Datenmengen Basis AVC/H.264 HD-Formate Blueray Disc: kommerzielle Filme AVC-HD: Aufnahmen (Kamera/Recorder) Speicherung auf Festplatte, Speicherkarte, selten DVD 720p, 1080i, 1080p, ca. 17 MBits/s Studio: z.b. XDCAM-HD, AVC100, DNxHD (Avid)

12 Kompressionsfaktor / Effizienz Bitrate b (bits/s( bits/s, kbits/s,, MBits/s) Bildauflösung x,y / Bildrate (fps( fps) Zusammengefasst: Bits/Pixel Q f = b / (x*y*fps( x*y*fps) Beispiel: DVD b = 8 MBits/s, x,y = 720x576, fps=25/s Q = / (720*576*25) = 0,77 bits/pixel Formate und Datenraten Auflösung und Bitrate

13 Codier-Effizienz Bits pro Pixel Verfahren RGB 24 Anwendung Uncompressed Effizienz (bit/px) 24 YUV 4:2:2 16 YUV 4:2:0 M-JPEG MPEG-2 MPEG-4 ASP MPEG-4 AVC DV DVD DivX, Xvid, Mobil H.264, Blueray, HDTV ,3 0,8 0,2 0,4 0,06-0,10 Zusammenfassung Codecs Vielzahl verschiedener Formate verfügbar Dateiformat + Codierung Kein einheitlicher Standard (MPEG, H.264) Kennzahlen Auflösung, Bitrate, Bits/Pixel Fast alle Codecs sind verlustbehaftet!

14 Streaming Prinzip: Abspielen aus dem Netzwerk, ohne das gesamte Material herunterladen zu müssenm HTTP-Streaming Streaming-Verfahren Einfaches Verfahren Abspielen während w des Herunterladens Geht mit jedem Webserver (z.b. Apache) Z.B. Youtube Echter Streaming-Server Server: Schickt nur soviele Daten wie nötig n (Bitrate) Kontrollfunktionen Play, Pause, FF/REW flüssiges Abspielen langer Filme Spezielles Protokoll, z.b. RTSP

15 Unicast Streaming / Verteilung 1 Sender, 1 Empfänger (Punkt( Punkt-zu-Punkt) Multicast: 1 Sender, viele Empfänger (Punkt-Mehrpunkt) Broadcast: 1 Sender, alle Empfänger Peer-To To-Peer: Viele Sender + Empfänger Streaming Provider-Router unterstützen tzen oft nur Unicast

16 Streaming-Server Server - Produkte Kein Standard vorhanden für f r Netzprotokolle Microsoft WindowsMedia Server Adobe Flash Media Server Real Video Server Apple Quicktime Server