Medienarchitekturen: Flash Plattform. Diplom Informatiker (FH) Jens Reinhardt Grundlagen Multimedia

Transkript

1 Medienarchitekturen: Flash Plattform Diplom Informatiker (FH) Jens Reinhardt Grundlagen Multimedia 1

2 Termine Kompression und Datenformate 1 Kompression und Datenformate 2 Kompression und Datenformate 3 1 Bildbearbeitung 1 1 Bildbearbeitung 1 2 Bildbearbeitung Videotechnik 1 2 Bildbearbeitung Videotechnik 2 3 Videobearbeitung Farbe 3 Videobearbeitung Medienarchitekturen 1 4 Videobearbeitung Medienarchitekturen 2 4 Videobearbeitung Authoring 1 5 VirtualReality Authoring 2 5 VirtualReality Audio 6 Authoring/Flash Mediendesign 6 Authoring/Flash Multimedia XML 1 7 Authoring/Flash Multimedia XML 2 7 Authoring/Flash Mobile Multimedia 8 XML Fazit, Konsultationen 8 XML 2

3 Agenda Was ist Flash? Einsatz von Flash als Medienarchitektur SWF-Dateiformat Flash Media Server Familie Tools zur Contenterstellung 3

4 Was ist Flash? proprietäre integrierte Entwicklungsumgebung zur Erstellung multimedialer Inhalte (Flash Filme) resultierende Dateien liegen im SWF-Format vor Einsatz auf Webseiten als Werbebanner, Teil einer Webseite oder komplette Webseite, embedded Systems, Mobiltelefonen als UI Einsatz als Medienarchtektur: Zugriff auf Medien, Interaktion, Streaming,... plattformübergreifend 4

5 Was ist eine Medienarchitektur? Player für Videodateien? Multimedia-Standard? Ein Datenformat? Multimedia-Authoring Umgebung?... Beispiele... 5

6 Produktionsprozess zeitbasierter Medien Framework für die Integration zeitbasierter Medien erforderlich Set aus Funktionen und Datenstrukturen zur Integration, Wiedergabe und Transformation statischer und dynamischer Medien 6

7 Flash Datenformate 7

8 Eine Übersicht Dateiendung Funktion.AS.ASC.ASI.ASO.ASR.EXE.FLA.FLP.FLV.JSFL.SOL.SPL.SWC.SWD.SWF ActionScript-Dateien Serverseitige ActionScript-Dateien (Flash Communication Server) ActionScript-Intrinsic-Dateien (seit Flash MX 2004 Komponenten) ActionScript-Objektcode Serverseitige ActionScript-Dateien (ActionScript Remote / Flash Remoting) Ein standalone-flash-player (auch Projector genannt), der.swf- Datei(en) eingebettet enthält Quelldateien, auch Autorendateien genannt Flash-Projekt-Dokument Flash-Video-Dateien Flash-JavaScript-Dokument Local Shared Object (Flash-Cookie) FutureSplash-Dokument vorkompilierte Flash-MX-2004-Komponenten-Dateien Flash-Debugger-Dokument kompilierte Dateien (Shockwave Flash) 8

9 SWF File Format Shockwave Format SWF ( swiff ) Dateiformat liefert Vektorgra ken, Text, Pixelgra ken, Videos und Sound über das Internet unterstützt durch die Adobe Flash Player Software ef zientes Auslieferungsformat, kein Austauschformat zwischen Gra kprogrammen 9

10 SWF File Format Bildschirmausgabe Erweiterbarkeit Optimierung für Netzwerke Einfachheit Datei Unabhängigkeit Skalierbarkeit Geschwindigkeit 10

11 SWF File Structure swf beginnt immer mit header gefolgt von Serie von tagged data blocks FileAttributes Tag erst ab Version 8 und folgende muss als erstes Tag aufgeführt werden File-Ende durch End-tag de niert FileAttributes Header Tag Tag Tag End tag tag... 11

12 Header SWF File Header Field Type Comment Signature UI8 Signature byte: F indicates uncompressed C indicates compressed (SWF 6 and later only) Signature UI8 Signature byte always W Signature UI8 Signature byte always S Version UI8 Single byte file version (for example, 0x06 for SWF 6) FileLength UI32 Length of entire file in bytes FrameSize RECT Frame size in twips FrameRate UI16 Frame delay in 8.8 fixed number of frames per second FrameCount UI16 Total number of frames in file 12

13 Tag Ordnung in SWF-Dateien prinzipiell keine festgelegte Reihenfolge der Tags folgende Regeln sind dabei aber zu beachten: FileAttributes Tag muss als erstes Tag auftreten (SWF8 and later) ein Tag kann nur von vorherigen abhängig sein ein de nition Tag, welches einen character de niert muss vor einem control Tag auftreten, welches den entsprechenden character referenziert Streaming sound tags müssen geordnet sein End Tag ist immer das letzte Tag einer SWF Datei 13

14 Tag Kategorien De nition tags de nieren die Inhalte der SWF Datei shapes, text, sounds,... jedes de nition Tag wird eine eindeutige ID, character ID, zugeordnet Flash Player speichert character in einem Repository, dem dictionary Control tags erstellen und manipulieren gerenderte Instanzen von characters im dictionary Steuern den Fluss der Datei 14

15 Dictionary Tags in SWF file Dictionary DefineShape as character 1 DefineSound as character 2 DefineFont as character 3 PlaceObject character 1 Add shape to display list* DefineText as character 4 Uses font defined as character 3 PlaceObject character 4 Add text to display list* Character 1 Shape Character 2 Sound Character 3 Font Character 4 Text Character 5 Morph ShowFrame Render contents of the display* DefineMorphShape as character 5 StartSound character 2 PlaceObject character 5 Add Morph to display list* Contol tag Definition tag Character ShowFrame Render contents of the display* 15

16 Displaylist Definition Dictionary Display List DefineShape Character ID = 1 Character ID = 1 Character ID = 2 Depth = 4 Top DefineText Character ID = 1 Character ID = 2 Character ID = 3 Depth = 3 DefineSprite Character ID = 1 Character ID = 3 Character ID = 2 Depth = 2 Character ID = 1 Depth = 1 Bottom 16

17 Flash Player 17

18 Flash Player aktuelle Version: 10,0,22,87 Windows, Mac, Linux, Solaris Abspielsoftware für SWF-Files als Browser-PlugIn oder Stand Alone Player auch für andere Plattformen: PocketPC mit WindowsMobile OS FlashPlayer Version 6 (StandAlone) FlashPlayer Version 7 (ActiveX PlugIn) mobile Phones (Symbian, Brew,...) FlashLite Player (Version ) FlashPlayer SDK für eigene Devices Flash File Format Speci cation de niert den Aufbau des Dateiformats 18

19 Flash Player - Unterstützte Medienformate Typ Format Video Video H.264 MPEG-4: MP4, M4V, F4V, 3GPP Video FLV-Datei Sorenson Spark Video FLV-Datei ON2 VP6 Audio AAC+ / HE-AAC / AAC v1 / AAC v2 MPEG-4: MP4, M4V, F4V, 3GPP Audio MP3 MP3 Audio Nellymoser FLV-Datei Audio Speex FLV-Datei 19

20 Flash Player - Kompatibilität Codec SWF- Dateiformatversion Flash Player und AIR Sorenson Spark 6 Flash Player 6, Flash Lite 3 On2 VP6 6 Flash Player 8, Flash Lite 3 Nur Flash Player 8 und neuere Versionen unterstützen die Veröffentlichung und die Wiedergabe von On6 VP- Video. H.264 (MPEG-4 Part 10) 9 Flash Player 9 upd. 3, AIR 1.0 ADPCM 6 Flash Player 6, Flash Lite 3 MP3 6 Flash Player 6, Flash Lite 3 AAC (MPEG-4 Part 3) 9 Flash Player 9 upd. 3, AIR 1.0 Audio 10 Flash Player 10, AIR 1.5 Nellymoser 6 Flash Player 6 20

21 Gnash zusammengesetzt aus GNU und Flash freie Software zur Wiedergabe von swf-dateien (GPL) Ziel: freie Alternative zu Adobe Flash Player basiert auf GameSWF, quelloffener und freier Flash-Player von Thatcher Ulrich seit Version Beta-Stadium, unterstützt nicht alle Merkmale des Flash-Formates Verfügbar für: Fedora, Red Hat Enterprise Linux, Windows & Ubuntu noch? kein vollwertiger Ersatz 21

22 Swfdec Swiff deck Aktuell: Swfdec freie Wiedergabesoftware für swf-dateien unter Unix-Systemen (unter LGPL Softwarelizenz) Unterstützung der Funktionen von SWF Version 7 einige Videofunktionen des Flash 9 Players kein vollwertiger Ersatz 22

23 Flash Lite für mobile Geräte und digital Home optimierte Flash Laufzeitumgebung 400+ Geräte mit Flash Lite auf dem Markt ca. 800 Millionen Geräte bereits mit Flash Lite verkauft Features (Flash Lite 3): Faster performance H.264 and FLV support Object based extension maechanism Integrated authoring environment Persistent Data dynamic media ActionScript 2 support 23

24 Flash Autorenwerkzeug aktuelle Version: CS4 (Flash 10) Preis: ~850,-!, für Windows und Mac Tool zum Erstellen von interaktiven Flashinhalten Zeitleistenbasiert Vektorisierte Animationen im Web Mediahandling und, und, und (Verweis auf Vorlesung Multimedia Authoring - Flash) 24

25 Videoübertragung mit Flash Embedded Video Video eingebettet in SWF Datei Maintimeline (swf) bestimmt Timeline des Videos (fps) sollte nicht benutzt werden Progressive Download seit Flash MX 2004 Datenstrom wird kontinuierlich geladen eingeschränkte Navigationsfunktionen Bereitstellung über HTTP Streaming Streaming Server erforderlich 25

26 Flash Media Server Media Server Familie besteht aus: Flash Media Server Flash Media Interactive Server Flash Media Developer Server Flash Media Encoding Server Flash Media Rights Management Server 26

27 Flash Media Server Web Server send SWF 2 Media Server sends and receives data streams Client HTTP 1 3 RTMP 4 plays SWF using the Flash Player 27

28 Vorteile Streaming Schnelle Wiedergabe Live-Video Erweiterte Steuerung Ef ziente Nutzung der Netzwerkressourcen Besserer Schutz für bereitgestellte Inhalte Minimale Auslastung der Client-Ressourcen Überwachung, Auswertung und Protokollierung Vollständig durchsuchbare Videos Umfassende Interaktivität Aufnahme von Video (nur Flash Interaktive Server) Unterstützung für mehrere Anwender (nur Flash Interaktive Server) 28

29 Anwendungsfälle Streaming Streaming von Dateien, deren Bereitstellung länger als 30 Sekunden dauert oder mehr als 100 Kbps erfordert Erkennung der Bandbreite, sodass Videoinhalte in der besten Qualität bereitgestellt werden, die mit der verfügbaren Hardware möglich ist QoS-Kontrolle Bereitstellung von Videoerlebnissen mit Echtzeit- Datenaustausch und Interaktivität Streaming von Live-Video und -Audio Aufzeichnung von Video und Audio Übertragung von mehr Streams bei geringerem Bedarf an Bandbreite 29

30 Ausgewählte Features FMS HD-Video unterstützt die klassischen Formate FLV (Sorenson Spark, on2 VP6/mp3) und MPEG-4 (H.264/AAC+) beliebige Datenraten von 50 Kbps bis 20 Mbps für HD-Video und Au ösungen bis 1920 * 1080 Dynamisches Streaming Live-Video Bereitstellung für mobile Endgeräte Videos im FLV-Format (on2 VP6/mp3) an mobile Endgeräte streamen User Agent zur Optimierung für entsprechendes Device Programmierfunktionen 30

31 Flash Media Server Flash Media Interactive Server Flash Media Streaming Server Flash Media Development Server* Price US$4,500 US$995 Free Dynamic Streaming New x x x Integrated HTTP server New x x x DRM-protected H.264 streaming New x x x DVR functionality New x x XMP metadata support x x x Robust logging x x x Live HD/H.264 streaming x x x No client cache x x x Network ef ciencies x x x Bandwidth detection x x x Custom stream delivery x x x Timeshifting seek x x x SWF veri cation x x x Dynamic buffering x x x Quality of service monitoring x x x Firewall and proxy transversal x x x Mobile delivery to Adobe Flash Lite 3 x x x 31

32 Flash Media Server Flash Media Interactive Server Flash Media Streaming Server Flash Media Development Server* Encrypted RTMP (RTMPE) x x x IPv6 compliance x x x H.264 video and HE-AAC audio streaming x x x Ready to stream out of the box x x x Multiway applications x x Unlimited scalability with Origin/Edge x x Plug-in architecture for LDAP authentication x x C++ plug-in architecture x x Multipoint publishing x x Server 302 redirection x x AMF3 support x x Server-side playlists x x Server-side recording, including H.264 x x ashmediaserver&loc=en_us 32

33 Flash Media Server ashmediaserver/csvideo/ ustream/ 33

34 Flash Media Encoding Server umfassende Lösung zur Kodierung von Medien Aufbereitung verschiedenster Quellen für die Flashplattform skalierbar vollständige Integration in Flash-Media Plattform umfassende Unterstützung von Datenformaten Flexible Kodierung und Bearbeitung Stapelverarbeitung und Automatisierung ef ziente Kodierung Filterfunktionen für Audio und Video 34

35 Flash Media Live Encoder Aktuell Version 3.0 in Kombination mit Flash Media Server Senden von Livestreams über Internet Aufgabe: Inhalte der Videoquelle erfassen und encodieren Übermittlung an Streaming Server Streaming mit H.264 und on2 VP6, Nellymoser und MP3 encodiert bis 3 Streams in verschiedenen Bitraten Anpassung an Netzwerk durch Qualitätsänderungen 35

36 Flash Media Live Encoder 36

37 Flash Media Live Encoder 37

38 Red 5 - Open Source Flash Media Server Open Source Flash Server, aktuell 0.8 RC1 implementiert in JAVA und unterstützt: Streaming Video (FLV, F4V, MP4) Streaming Audio (MP3, F4A, M4A) Recording Client Streams (FLV only) Shared Objects Live Stream Publishing Remoting 38

39 FLV Encoder Software Adobe Media Encoder Super Final Cut... 39

40 Adobe Media Encoder Bestandteil von CS4 standalone encoding Applikation Export zu: Microsoft AVI, Quicktime, FLV, H.264,... AAC, AAC+, MP3, PCM fügt sich in den Work ow mit anderen Adobe Produkten ein (Premiere, Soundbooth, After Effects,...) Unterstützung des Flash Media Server 40

41 41

42 Super Simpli ed Universal Player Encoder & Renderer GUI to FFmpeg, MEncoder, MPlayer, x264, mppenc, ffmpeg2theora & the theora/vorbis RealProducer plugin für Windows, Freeware SUPER.html 42

43 Final Cut Professional Video Editing, Compositing and E!ects EUR 1300 (Studio), EUR 199 (Express) nalcutpro/ 43

44 Literatur 44

45 Vielen Dank für Ihr Interesse 45