Medienarchitekturen: Flash Plattform. Diplom Informatiker (FH) Jens Reinhardt Grundlagen Multimedia

Transkript

1 Medienarchitekturen: Flash Plattform Diplom Informatiker (FH) Jens Reinhardt Grundlagen Multimedia 1

2 Termine Kompression und Datenformate Kompression und Datenformate Kompression und Datenformate Audio Videotechnik Videotechnik Medienarchitekturen Medienarchitekturen Farbe Multimedia XML Multimedia XML Authoring Authoring Authoring Mobile Multimedia Fazit, Konsultationen Klausur Mündliche Prüfung 2

3 Übungen Bildbearbeitung 1 PS Bildbearbeitung 2 PS Videobearbeitung 1 FCP Videobearbeitung 2 FCP Virtual Reality QTVR-Authoring SMIL Multimedia XML Authoring 1 Flash Authoring 2 Flash 3

4 Agenda Was ist Flash? Flash Plattform Flash Geschichte SWF-Dateiformat FLV-Containerformat Beispiele 4

5 Was ist Flash? proprietäre integrierte Entwicklungsumgebung zur Erstellung multimedialer Inhalte (Flash Filme) Einsatz auf Webseiten als Werbebanner, Teil einer Webseite oder komplette Webseite, embedded Systems, Mobiltelefonen als UI, Interaktive CD- und DVD-ROM, CBT- Anwendungen,... Einsatz als Medienarchtektur: Zugriff auf Medien, Interaktion, Streaming,... plattformübergreifend 5

6 Was ist eine Medienarchitektur? Player für Videodateien? Multimedia-Standard? Ein Datenformat? Multimedia-Authoring Umgebung?... Beispiele... 6

7 Produktionsprozess zeitbasierter Medien 7

8 Flash Datenformate 8

9 Eine Übersicht Dateiendung.AS.ASC.ASI.ASO.ASR.EXE.FLA.FLP.FLV.JSFL.SOL.SPL.SWC.SWD.SWF Funktion ActionScript-Dateien Serverseitige ActionScript-Dateien (Flash Communication Server) ActionScript-Intrinsic-Dateien (seit Flash MX 2004 Komponenten) ActionScript-Objektcode Serverseitige ActionScript-Dateien (ActionScript Remote / Flash Remoting) Ein standalone-flash-player (auch Projector genannt), der.swf-datei(en) eingebettet enthält Quelldateien, auch Autorendateien genannt Flash-Projekt-Dokument Flash-Video-Dateien Flash-JavaScript-Dokument Local Shared Object (Flash-Cookie) FutureSplash-Dokument vorkompilierte Flash-MX-2004-Komponenten-Dateien Flash-Debugger-Dokument kompilierte Dateien (Shockwave Flash) 9

10 SWF File Format Shockwave Format SWF ( swiff ) Dateiformat liefert Vektorgra ken, Text, Pixelgra ken, Videos und Sound über das Internet unterstützt durch die Adobe Flash Player Software ef zientes Auslieferungsformat, kein Austauschformat zwischen Gra kprogrammen Plattform unabhängig folgende Ziele wurden bei der Entwicklung verfolgt: Bildschirmausgabe Erweiterbarkeit Optimierung für Netzwerke Einfachheit Datei Unabhängigkeit Skalierbarkeit Geschwindigkeit 10

11 SWF File Structure swf beginnt immer mit Header gefolgt von Serie von tagged data blocks FileAttributes Tag erst ab Version 8 und folgende muss als erstes Tag aufgeführt werden File-Ende durch Endtag de niert SWF File Header Field Type Comment Signature UI8 Signature byte: F indicates uncompressed C indicates compressed (SWF 6 and later only) Signature UI8 Signature byte always W Signature UI8 Signature byte always S Version UI8 Single byte file version (for example, 0x06 for SWF 6) FileLength UI32 Length of entire file in bytes FrameSize RECT Frame size in twips FrameRate UI16 Frame delay in 8.8 fixed number of frames per second FrameCount UI16 Total number of frames in file FileAttributes Header Tag Tag Tag End tag tag... 11

12 Tag Ordnung in SWF-Dateien prinzipiell keine festgelegte Reihenfolge der Tags folgende Regeln sind dabei aber zu beachten: FileAttributes Tag muss als erstes Tag auftreten (SWF8 and later) ein Tag kann nur von vorherigen abhängig sein ein de nition Tag, welches einen character de niert muss vor einem control Tag auftreten, welches den entsprechenden character referenziert Streaming sound tags müssen geordnet sein End Tag ist immer das letzte Tag einer SWF Datei FileAttributes Header Tag Tag Tag End tag tag... 12

13 Tag Kategorien Tags in SWF file Dictionary De nition tags de nieren die Inhalte der SWF Datei shapes, text, sounds,... jedes de nition Tag wird eine eindeutige ID, character ID, zugeordnet Flash Player speichert character in einem Repository, dem Dictionary Control tags erstellen und manipulieren gerenderte Instanzen von Characters im Dictionary Steuern den Fluss der Datei 13 DefineShape as character 1 DefineSound as character 2 DefineFont as character 3 PlaceObject character 1 Add shape to display list* DefineText as character 4 Uses font defined as character 3 PlaceObject character 4 Add text to display list* ShowFrame Render contents of the display* DefineMorphShape as character 5 StartSound character 2 PlaceObject character 5 Add Morph to display list* ShowFrame Render contents of the display* Character 1 Shape Character 2 Sound Character 3 Font Character 4 Text Character 5 Morph Contol tag Definition tag Character

14 Displaylist Definition Dictionary Display List DefineShape Character ID = 1 Character ID = 1 Character ID = 2 Depth = 4 Top DefineText Character ID = 1 Character ID = 2 Character ID = 3 Depth = 3 DefineSprite Character ID = 1 Character ID = 3 Character ID = 2 Depth = 2 Character ID = 1 Depth = 1 Bottom 14

15 Flash Video - FLV von Adobe entwickeltes offenes Containerformat Containerformat für Audio, Video und Daten je nach verwendeten Codecs kompatibel zu FlashPlayer ab Version 6 bzw. 7 Codecs: Video: Sorenson (Variante von H.263) (v7) Truemotion VP6 (von On2) (v8) H.264 Audio: MP3 (v7) HE-AAC Nellymoser Asao Codec Speex seit Flash Player 9 auch H.264 und HE-AAC möglich (Container: mp4, v, mov, 3gp, etc.) 15

16 Flash Video - F4V unterstützt sei Flash Player 9 Update 3 Dateiformat basiert auf MPEG4 - Part 12 de niert Container-Format für Streaming Audio und Video basiert auf Apple Quicktime Containerformat keine Erweiterung von FLV keine Unterstützung von Sorenson Spark on2 VP6 Nellymoser File Extension Description.f4v Video for Adobe Flash Player.f4p Protected Video for Adobe Flash Player.f4a Audio for Adobe Flash Player.f4b Audio Book for Adobe Flash Player v/ 16

17 RTMP Real Time Messaging Protocol von Adobe Systems entwickeltes proprietäres Netzwerkprotokoll seit April 2009 offen gelegt ( rtmp/) Audio, Video und sonstige Daten zu übertragen abhängig von Umgebungsbedingung RTMP direkt auf Basis TCP/IP Port 1935 RTMPT auf Basis HTTP RTMPS auf Basis HTTPS RTMP Server Implementierungen: Flash Media Server Wowza Media Server jeecam Communication Server Open Source RTMP Server: Red5 Project 17

18 18

19 Überblick Adobe Flash Platform 19

20 Clients 20

21 Flash Player aktuelle Version: (10.1 als Beta) Windows, Mac, Linux, Solaris Abspielsoftware für SWF-Files als Browser-PlugIn oder Stand Alone Player auch für andere Plattformen: PocketPC mit WindowsMobile OS FlashPlayer Version 6 (StandAlone, ActiveX PlugIn) FlashPlayer Version 7 (ActiveX PlugIn) mobile Phones (Symbian, Brew,...) FlashLite Player (Version ) FlashPlayer SDK für eigene Devices Flash File Format Speci cation de niert den Aufbau des Dateiformats 21

22 Medienarchitekturen Marktverbreitung Player Quelle: Millward Brown Survey, September 2009 (US, Canada, UK, France, Germany, Japan) 22

23 Flash Player Unterstützte Medienformate Typ Format Video Video H.264 MPEG-4: MP4, M4V, F4V, 3GPP Video FLV-Datei Sorenson Spark Video FLV-Datei ON2 VP6 Audio AAC+ / HE-AAC / AAC v1 / AAC v2 MPEG-4: MP4, M4V, F4V, 3GPP Audio MP3 MP3 Audio Nellymoser FLV-Datei Audio Speex FLV-Datei 23

24 Flash Player Kompatibilität Codec SWF- Dateiformatversion Flash Player und AIR Sorenson Spark 6 Flash Player 6, Flash Lite 3 On2 VP6 6 Flash Player 8, Flash Lite 3 Nur Flash Player 8 und neuere Versionen unterstützen die Veröffentlichung und die Wiedergabe von On6 VP- Video. H.264 (MPEG-4 Part 10) 9 Flash Player 9 upd. 3, AIR 1.0 ADPCM 6 Flash Player 6, Flash Lite 3 MP3 6 Flash Player 6, Flash Lite 3 AAC (MPEG-4 Part 3) 9 Flash Player 9 upd. 3, AIR 1.0 Speex 10 Flash Player 10, AIR 1.5 Nellymoser 6 Flash Player 6 24

25 Gnash zusammengesetzt aus GNU und Flash freie Software zur Wiedergabe von swf-dateien (GPL) Ziel: freie Alternative zu Adobe Flash Player basiert auf GameSWF, quelloffener und freier Flash-Player von Thatcher Ulrich seit Version Beta-Stadium, unterstützt nicht alle Merkmale des Flash- Formates Verfügbar für: Fedora, Red Hat Enterprise Linux, Windows & Ubuntu noch? kein vollwertiger Ersatz Swfdec Swiff deck Aktuell: Swfdec freie Wiedergabesoftware für swf-dateien unter Unix-Systemen (unter LGPL Softwarelizenz) Unterstützung der Funktionen von SWF Version 7 einige Videofunktionen des Flash 9 Players kein vollwertiger Ersatz 25

26 Flash Lite für mobile Geräte und digital Home optimierte Flash Laufzeitumgebung 400+ Geräte mit Flash Lite auf dem Markt ca. 800 Millionen Geräte bereits mit Flash Lite verkauft Features (Flash Lite 3): Faster performance H.264 and FLV support Object based extension mechanism Integrated authoring environment Persistent Data dynamic media ActionScript 2 support 26

27 Flash Lite 27

28 Adobe Air Laufzeitumgebung (Verion 1.5, 2.0 Beta) kombiniert Flash 10 und WebKit (Webpage Rendering Engine von Safari und Chrome) zu einer stand-alone Laufzeitumgebung Entwicklung möglich mit HTML/AJAX Adobe Flash Adobe Flex verfügbar für Windows, OS X und Linux Entwickler nutzen skills der Webentwicklung um Desktopanwendungen zu erstellen Features ermöglicht Zugriff auf das Filesystem (create, delete,...) drag and drop Interaktion mit OS SQLite System Noti cation 28

29 Flash Production Lifecycle 29

30 Flash Autorenwerkzeug aktuelle Version: CS4 (Flash 10) Preis: 699 $, für Windows und Mac Tool zum Erstellen von interaktiven Flashinhalten Zeitleistenbasiert Vektorisierte Animationen im Web Mediahandling integrierte Programmiersprache ActionScript 1, 2 und 3 30

31 Flex Framework open source Framework für die Entwicklung von Flash-Anwendungen (Flex 3 SDK) Sprache Compiler Debugger Flash Player 9 Runtime De nition von Layouts und Verhalten von Benutzerober ächen mit MXML Client-seitige Logik mit ActionScript 3 umfangreiche Komponentenbibliothek IDE: Flex Builder 3 (kostenp ichtig) basiert auf Eclipse Editoren für MXML, ActionScript und CSS 31

32 Flex - Beispiel 32

33 Flash Media Server Media Server Familie besteht aus: Flash Media Server Flash Media Interactive Server Flash Media Developer Server Flash Media Encoding Server Flash Media Rights Management Server 33

34 Videoübertragung mit Flash Embedded Video Video eingebettet in SWF Datei Maintimeline (swf) bestimmt Timeline des Videos (fps) sollte nicht benutzt werden Progressive Download seit Flash MX 2004 Datenstrom wird kontinuierlich geladen eingeschränkte Navigationsfunktionen Bereitstellung über HTTP Streaming Streaming Server erforderlich 34

35 Flash Media Server Webserver send swf HTTP Client plays swf using Adobe Flash Player RTMP 35 Flash Media Server sends and receives data streams

36 Vorteile Streaming Live-Video Schnelle Wiedergabe Erweiterte Steuerung Ef ziente Nutzung der Netzwerkressourcen Besserer Schutz für bereitgestellte Inhalte Minimale Auslastung der Client-Ressourcen Überwachung, Auswertung und Protokollierung Vollständig durchsuchbare Videos Umfassende Interaktivität Aufnahme von Video (nur Flash Interaktive Server) Unterstützung für mehrere Anwender (nur Flash Interaktive Server) 36

37 Anwendungsfälle Streaming Streaming von Dateien, deren Bereitstellung länger als 30 Sekunden dauert oder mehr als 100 Kbps erfordert Erkennung der Bandbreite, sodass Videoinhalte in der besten Qualität bereitgestellt werden, die mit der verfügbaren Hardware möglich ist QoS-Kontrolle Bereitstellung von Videoerlebnissen mit Echtzeit- Datenaustausch und Interaktivität Streaming von Live-Video und -Audio Aufzeichnung von Video und Audio Übertragung von mehr Streams bei geringerem Bedarf an Bandbreite 37

38 Ausgewählte Features FMS HD-Video unterstützt die klassischen Formate FLV (Sorenson Spark, on2 VP6/mp3) Live-Video und MPEG-4 (H.264/AAC+) beliebige Datenraten von 50 Kbps bis 20 Mbps für HD-Video und Au ösungen bis 1920 * 1080 Dynamisches Streaming Bereitstellung für mobile Endgeräte Videos im FLV-Format (on2 VP6/ mp3) an mobile Endgeräte streamen User Agent zur Optimierung für entsprechendes Device Programmierfunktionen 38

39 Flash Media Server Flash Media Interactive Server Flash Media Streaming Server Flash Media Development Server* Price US$4,500 US$995 Free Dynamic Streaming New x x x Integrated HTTP server New x x x DRM-protected H.264 streaming New x x x DVR functionality New x x XMP metadata support x x x Robust logging x x x Live HD/H.264 streaming x x x No client cache x x x Network ef ciencies x x x Bandwidth detection x x x Custom stream delivery x x x Timeshifting seek x x x SWF veri cation x x x Dynamic buffering x x x Quality of service monitoring x x x Firewall and proxy transversal x x x Mobile delivery to Adobe Flash Lite 3 x x x 39

40 Flash Media Server Flash Media Interactive Server Flash Media Streaming Server Flash Media Development Server* Encrypted RTMP (RTMPE) x x x IPv6 compliance x x x H.264 video and HE-AAC audio streaming x x x Ready to stream out of the box x x x Multiway applications x x Unlimited scalability with Origin/Edge x x Plug-in architecture for LDAP authentication x x C++ plug-in architecture x x Multipoint publishing x x Server 302 redirection x x AMF3 support x x Server-side playlists x x Server-side recording, including H. 264 x ashmediaserver&loc=en_us x 40

41 Flash Media Server ashmediaserver/csvideo/ ustream/ 41

42 Flash Media Encoding Server umfassende Lösung zur Kodierung von Medien Aufbereitung verschiedenster Quellen für die Flashplattform skalierbar vollständige Integration in Flash- Media Plattform umfassende Unterstützung von Datenformaten Flexible Kodierung und Bearbeitung Stapelverarbeitung und Automatisierung ef ziente Kodierung Filterfunktionen für Audio und Video 42

43 Flash Media Live Encoder Aktuell Version 3.0 in Kombination mit Flash Media Server Senden von Livestreams über Internet Aufgabe: Inhalte der Videoquelle erfassen und encodieren Übermittlung an Streaming Server Streaming mit H.264 und on2 VP6, Nellymoser und MP3 encodiert bis 3 Streams in verschiedenen Bitraten Anpassung an Netzwerk durch Qualitätsänderungen 43

44 Flash Media Live Encoder 44

45 Flash Media Live Encoder 45

46 Red 5 - Open Source Flash Media Server Open Source Flash Server, aktuell 0.8 RC1 implementiert in JAVA und unterstützt: Streaming Video (FLV, F4V, MP4) Streaming Audio (MP3, F4A, M4A) Recording Client Streams (FLV only) Shared Objects Live Stream Publishing Remoting 46

47 Flash Beispielanwendungen

48 Flash Geschichte 48

49 Flash Entwicklungsgeschichte 1984 Macromind wir gegründet 1985 VideoWork erscheint (später Director) 1992 Aus MacroMind und Authorware entsteht Macromedia 1995 Übernahme von Aldus, Hersteller des Gra kprogramms Freehand FutureWave veröffentlicht SmartSketch 1996 Firma FutureWave veröffentlicht vektorbasiertes Animationsprogramm FutureSplash Animator und Splash PlugIn Macromedia übernimmt FutureWave und entwickelt FutureSplash-Animator weiter 49

50 Flash Entwicklungsgeschichte 1997 Flash Version 1 und Shockwave FlashPlayer von Macromedia veröffentlicht Einbinden von Audio und Rastergra ken möglich Flash Version 2 Optimierung Rastergra ken fest de nierte Aktionen für einfache Interaktionen Flash Version 3 enthält erweiterten Befehlssatz stark erweiterte Interaktionsmöglichkeiten zuweisen von Aktionen auf Bilder und Schlüsselbilder Flash Version 4 weitgehende Verbesserung der nun integrierten Programmiersprache ActionScript Kontrollstrukturen wie Bedingungen und Schleifen Eingabefelder für komplexe Formulare CGI (Common Gateway Interface) 50

51 Flash Entwicklungsgeschichte im Sommer Flash Version 5 Anpassung von ActionScript an ECMA-Script Standard neue Objekte (z.b. XML) Debugger März Flash MX (Version 6) umfangreichere Funktionsbibliothek erstellen dynamischer Formen durch neue Drawing-API enthält Videocodec Unterstützung für Unicode weitere Anpassungen von ActionScript an ECMA Standard Objekt- und Ereignissmodell erweitert 2003 Oktober Flash MX 2004 ActionScript Juli Aktualisierung Flash MX auf

52 Flash Entwicklungsgeschichte 2005 Adobe übernimmt Macromedia für 3,4 Milliarden US-Dollar Juni Macromedia stellt Flash-Plattform vor August zusammen mit Studio 8 Flash 8 Professional sowie FlashPlayer 8 vorgestellt Bitmaps erzeugen oder ändern Filter (Gaußscher Weichzeichner, Schlagschatten, Verzerrung) Blending-Modes wie in Photoshop Datei-Upload FlashType Bitmap-Caching neuer Videocodec mit Alphakanal-Unterstützung (On2 VP6) standalone Videoencoder verbesserte Programmober äche Dezember Adobe schloss Akquisition von Macromedia ab 52

53 Flash Entwicklungsgeschichte 2006 im Juni erscheint FlashPlayer 9 (Win, MacOS X) bessere Integration von Flex 2 E4X 2007 Januar FlashPlayer 9 (Linux) Mai Flash CS 3 erlaubt Importe aus Photoshop und Illustrator 3D Unterstützung ActionScript Offenlegung der Spezi kation für swf und Flsh Video Oktober Flash CS4 und FlashPlayer RTMP wird offen gelegt FlashPlayer 10.1 wird OpenSource 53

54 FLV Encoder Software Adobe Media Encoder Super Sorenson Squeeze... 54

55 Adobe Media Encoder Bestandteil von CS4 standalone encoding Applikation Export zu: Microsoft AVI, Quicktime, FLV, H.264,... AAC, AAC+, MP3, PCM fügt sich in den Work ow mit anderen Adobe Produkten ein (Premiere, Soundbooth, After Effects,...) Unterstützung des Flash Media Server 55

56 Super Simpli ed Universal Player Encoder & Renderer GUI to FFmpeg, MEncoder, MPlayer, x264, mppenc, ffmpeg2theora & the theora/vorbis RealProducer plugin für Windows, Freeware SUPER.html 56

57 Sorenson Squeeze Version 6 Features: Deinterlacing, Audio- & Video-Filter, Audio normalization, Video noise reduction,... Integration in Avid, Final Cut, imovie, Adobe Premiere und Quicktime Pro Anwendungen Publish to YouTube, Twitter,... Audio import, DV-capture,... Noti cation via and sms Input Formats: AAC, AC3, AIFF, ASF, AVC-Intra, AVI, DV, MOV, MP3, MPEG-1, MPEG-2, MPEG-4, WAV, WMA, WMV Publish Formats: aacplus, AAC, AIFF, AVI, Sony PSP, 3GPP, DVD, DV Stream, Image Sequence, FLV (Sorenson Spark und On2 VP6), F4V, HD, MPEG-1, MPEG-2, MP3, MP4 (H.264), MOV, SWF, WAVE, WMV, plus other QuickTime export components Preise: Sorenson Squeeze 6 $799 Sorenson Squeeze 6 for Flash $499 57

58 Links RTMP ash.org/documentation/rtmp Flex ex/ Flash ash/ ash/ ashplayer/ (Player) Open Screen Project Air (Player) 58

59 Literatur 59

60 Literatur 60

61 Vielen Dank für Ihr Interesse 61