GPFS im Medienumfeld. Anwendungsbeispiel On-Demand Videoproduktion. Andreas Musch - ZDF

Transkript

1 im Medienumfeld Anwendungsbeispiel On-Demand Videoproduktion Andreas Musch - ZDF

2 Vorstellung Andreas Musch - Dipl. Ing. Medieninformatik (FH) Seit 6 Jahren im Bereich Online-Videoproduktion Fachgebiet: Videoeencoding online / Systemarchitektur Andreas Musch - ZDF

3 Inhalt Ondemand Video Produktion Workflow Segmented Encoding als Ersatz für die bestehende Lösung Systemarchitektur Windows & Linux im Mix Benchmarks & Produktionsstatistiken Andreas Musch - ZDF

4 Ondemand Videoproduktion Workflow Workflow / Metadata Manager Sendesysteme FTP MXF (MaterialExchangeFormat) FTP FTP Server SMB Server Encoder 01 Encoder 02 Encoder 03 Encoder 04 NLE Cut Mediathek bzw. CDN (z.b. h.264-mp4) Andreas Musch - ZDF

5 Ondemand Videoproduktion Segmented Encoding MXF Bsp. heutejournal (25-30Min) SD: DV50 ca. 10GByte HD: AVCI100 ca. 20GByte BILD TC In: 00:00: TC Out: 00:00: BILD TC In: 00:00: TC Out: 00:01: Encoder 01 00:00-00:45.mxf FS Encoder 02 00:40-01:25.mxf FS Encoder 01 h.264 SMB LocalShares Encoder 02 h.264 SMB LocalShares Encoder 03 - WMedia SMB LocalShares Encoder 04 Mobile SMB LocalShares Encoder 05 h.264 SMB LocalShares Encoder 06 Combine Vorteile der Segmentierung: Bei Ausfall eines Encoders kann jeder andere gleichberechtigt die Aufgaben übernehmen Durch massives Parallelisieren der Prozesse wird ein erheblicher Geschwindigkeitsvorteil erzielt. MP4 Andreas Musch - ZDF

6 Zeit [h:mm:ss] Zeit [h:mm:ss] Ondemand Videoproduktion Proof of Concept Quellvideo: Neues aus der Anstalt (~55min, 11,3GByte DV25 MXF, 3:50min Segmentlänge) 00:11:00 00:09:34 Bisherige lösung (Gesamtdauer des Segmentierungsvorgangs) 00:09:57 00:11:00 00:09:34 Testsystem (Gesamtdauer des Segmentierungsvorgangs) 00:08:07 00:08:07 00:06:41 00:06:33 00:06:41 00:05:33 00:05:14 00:05:14 00:03:48 00:03:48 00:03:02 00:02:22 00:00:55 00:02:22 00:00:55 00:01:29 Parallele Seg. Prozesse 4 8 Parallele Seg. Prozesse Andreas Musch - ZDF

7 Systemarchitektur Standort 3 Tiebreaker Node Standort 1 Encoder Gbit Mono LWL Failover-Bond Standort 2 Encoder n *1GBit -Interconnect 10GBit 10GBit 10GBit 10GBit 4x 10Gbit Interconnect n *1GBit -Interconnect 10GBit 10GBit 10GBit 10GBit Server 01 Server 02 Server 03 Server 04 Server 05 Server 06 Server 07 Server 08 SAN SAN Je 8Gbit FC FB09 FB10 4x 8Gbit FC Trunk FB09' Je 8Gbit FC FB10' 4x 8Gbit FC Trunk Je 8Gbit FC Je 8Gbit FC 6x DS3500 NSDs: 8x300GB SAS RAID10 12 * 2 NSDs ~ 17,2TByte Netto Andreas Musch - ZDF

8 Windows & Linux im Mix Alle Encoder basieren auf Windows 2008 R2 Workflow Management / auf Sles10/11 Synchronisierung der User- / GroupIDs Durch ActiveDirectory (SFU Erweiterung des ActiveDirectory s) auf Windows Durch Samba / Winbind auf Linux Es gibt keine lokalen User (außer root / Administrator) Nur durch diese Maßnahmen ist ein reibungsloser und sicherer Betrieb mit beiden Betriebssystem zu gewährleisten. Andreas Musch - ZDF

9 Zahlen Produktionsstatistiken Ca. 160 Videobeträge pro Tag für die ZDF Mediathek Entspricht ca. 26 Stunden Videomaterial pro Tag Pro Tag wird eine Datenmenge von ca. 585 GByte an QuellVideos (SD MXF DV50) verarbeitet. Erzeugt werden daraus ca. 65 GByte an Streams für die ZDF Mediathek (hauptsächlich h.264, teilweise mpeg2 / WindowsMedia als Austauschformat) Mit der Einführung des Regelbetriebs von HD in der ZDF Mediathek ist eine Verdopplung zu erwarten Zahlen basieren auf dem gemittelten Wert der Produktionsstatistik seit 2007 Andreas Musch - ZDF

10 Zahlen Performancewerte NSD-Server Ethernet-Sum Tier 1 FC Write (8x dd bs=1m) ~3Gbyte/s = 1,5Gbyte/s netto Tier 1 FC Read (8x dd bs=1m) 6,4Gbyte/s Tier 2 Ethernet Write (8x dd bs=1m) ~2,8Gbyte/s = 1,4Gbyte/s netto DS3500-Controller Traffic-Sum Tier 2 Ethernet Read (8x dd bs=1m) 4Gbyte/s Reduzierte Performance bei Tier2 READ Zugriff ist bedingt durch Probleme bei zwei Server Nodes, die nur 100MByte/s statt der auf anderen Knoten verfügbaren 500MByte/s liefern. Andreas Musch - ZDF

11 Vielen Dank für Ihre Aufmerksamkeit! Andreas Musch - ZDF