Medienarchitekturen und Virtual Reality

Transkript

1 Termine Kompression und Datenformate Kompression und Datenformate 2 Ü1/A Konferenz WCI Kompression und Datenformate 3 Ü2/A Videotechnik 1 Ü1/B Videotechnik 2 Ü3/A Farbe Ü2/B Medienarchitekturen und VR 1 Ü4/A Medienarchitekturen und VR 2 Ü3/B Audio in Multimedia-Anwendungen Ü5/A Autorensysteme 1 Ü4/B Autorensysteme 2 Ü5 Zusatztermin Mediendesign Ü5/B Multimedia-XML 1 Ü6/A Multimedia-XML 2 Ü6/B Mobile Multimedia Ü7/A Reserve Ü7/B Medienarchitekturen und Virtual Reality am Beispiel Quicktime 1 AGENDA Medienarchitektur QT QT Architektur Technologien Entwicklungsgeschichte Werkzeuge Interaktives QuickTime VR Beispiele Features VR Technik QTVR Authoring Weitere VR-Anwendungen/Ausblick AGENDA 3

2 Was ist Quicktime? Ein Player für Videodateien? Ein Multimedia-Standard? Ein Datenformat?»Video for Windows«von Apple? Multimedia-Authoring Umgebung? Prolog 5 Medienarchitektur QT Anforderungen Architektur Technologien Entwicklungsgeschichte Werkzeuge Bild-/Tonqualität Effizienz (Codierung) Skalierbarkeit Interoperabilität... Produktionsprozess zeitbasierter Medien Framework für die Integration zeitbasierter Medien erforderlich Set aus Funktionen und Datenstrukturen zur Integration, Wiedergabe und Transformation statischer und dynamischer Medien 7 8

3 Produktion von klassischen A/V-Anwendungen Produktion von objektbasierten MM-Anwendungen Sound Movie Encoder Sound Encoder Movie Sync. Multiplex Transmission Demultiplex Decoder Decoder Movie Picture Graphic Text Encoder Encoder Encoder Sync. Multiplex Transmission Decoder Demultiplex Decoder Decoder Compositing Rendering Movie Sound Encoder Sound Text Function Scene Scene graph Server Interaction channel Client Interaction Input Production Distribution Usage 9 10 Was ist Quicktime? Die QuickTime-Systembibliotheken für MacOS, Windows und Java ermöglichen: Medienarchitekturen Marktverbreitung Abspielen und Erstellen von Audio und Video-Dateien (z. B. AIFF, MPEG) Abspielen und Erstellen von synthetischer Musik (z. B. MIDI) Abspielen und Erstellen von Animationen (z. B. Flash, Anim) Abspielen und Erstellen von»virtual Reality Szenarien«(z. B. QTVR) Erweiterung des jeweiligen Betriebssystems um alle diese Fähigkeiten Quelle: Millward Brown Survey 2007 (US, Canada, UK, France, Germany, Japan) 11 12

4 Komponenten Player/Format-Kompatibilität * depends on codec QuickTime Basics Architektur Komponenten 13 Komponenten 14 Komponenten zentrale Zwei Management- Komponenten: Movie Toolbox Funktionsaufrufe von Anwendungen Bearbeitungsfunktionen Steuerungsfunktionen Dateizugriff (Öffnen/Speichern von Dokumenten) Compression Manager Funktionsaufrufe der Movie Toolbox oder von Anwendungen zur QuickTime Basics Architektur Komponenten 15 Geräteunabhängigen Komprimierung/Dekomprimierung Treiberunabhängigen Komprimierung/Dekomprimierung QuickTime Basics Architektur Komponenten 16

5 Komponenten Weitere QuickTime Systemkomponenten (I) Movie Controllers displays movies and provides playback controls Media Handlers interpret and manipulate media sample data Video Digitizers/Sequence Grabbers convert analog video data to digital form. Allows the ability to obtain digitized data from external sources Data Exchange import and export data from non-movie sources and non-movie formats. Compressors/Decompressors (Codecs) provide compression and decompression services for media (such as sounds and image sequences) Komponenten Weitere QuickTime Systemkomponenten (II) Transcoders translate data from one compressed format to another Video Output send video to devices (e.g. DV Cameras) not recognized as displays Graphics Importers display still images obtained from data in various file formats Graphics Exporters store still images in the same format that graphics importers handle Preview create and display previews Tween perform interpolation between values of various data types QuickTime Basics Architektur Komponenten 17 QuickTime Basics Architektur Komponenten 18 Komponenten Weitere QuickTime Systemkomponenten (III) Effects provide real-time effects and transitions Text Channel Clock generate timing information and schedule time-based callback events. Real-time streaming imports and exports text between movies and external text handling applications such as word processors allow you to receive movies and live video in real time without downloading large files Unterstützung von Standards MPEG-1 DV Cinepak RGB TIFF MLP ALaw SMPTE 253M AAC Unicode CCIR 601 DVC-Pro RTP SMIL AMR PNG MIDI MPEG-2 3GPP 3GPP2 GIF QCELP IEEE 1394 XML JPEG2000 JPEG IMA MP3 IIDC RTSP!Law Java SDV SDP ITU BT.709 YUV MPEG-4 H.261 H.263 H.264 QuickTime Basics Architektur Komponenten 19 QuickTime Basics Architektur Datenformate 20

6 QT-Datenformat Movie (.mov) QT-Datenformat Movie (.mov) Containerformat für zeitbasierte Medientypen Ein»Movie«besteht aus einem oder mehreren»tracks«ein»track«beinhaltet»media Samples«gleichen Datentyps und gleicher Zeitbasis»Movies«können auch externe Referenzen auf»media Samples«enthalten (z.b. URL) Ein»Movie«definiert ein zeitbasiertes Koordinatensystem (Sekunden) für alle Tracks Da jeder Track ein eigenes Zeitsystem haben kann (z. B. Sample Rates), werden diese in das Zeitsystem des Movies transformiert (Time Scaling) QuickTime Basics Architektur MOV-Datenformat 21 QuickTime Basics Architektur MOV-Datenformat 22 QT-Datenformat Movie (.mov) Movie Struktur Erstellungs-/Änderungsdatum Time Scale und Länge Aktuelle Zeitmarke im Movie Auswahl-Information Startzeit und Länge der Vorschau Zeitmarke für»movie Poster«Transformations-Matrix für die Wiedergabe QT-Datenformat Movie (.mov) Track Struktur Erstellungs-/Änderungsdatum Track ID Feste Referenz im Movie alternative Gruppen ID gleichen Typs z. B. für Mehrsprachigkeit Informationen zur visuellen Wiedergabe z. B. Höhe, Breite, Transformations-Matrix,... Lautstärke und Balance bei Audio-Tracks Wiedergabeparameter (Rate, Lautstärke usw.) Track-Daten Benutzerinformationen (copyright, credits, usw.) Media-Sample-Daten Benutzerinformationen z. B. Beschreibung des Track QuickTime Basics Architektur MOV-Datenformat 23 QuickTime Basics Architektur MOV-Datenformat 24

7 QT-Datenformat Movie (.mov) Media Sample Struktur Erstellungs-/Änderungsdatum Zeit-Koordinaten-System Time-Scale und Dauer Media-Handler Referenz auf QuickTime Komponente zur Dekodierung und Anzeige Media-Information Art, Kompression und Ablageort des Mediums Sprache und Wiedergabequalität Benutzerinformationen copyright, credits, usw. Quicktime Basics Technologien QT Streaming/TV QuickTime VR QuickTime Basics Architektur MOV-Datenformat 25 QuickTime Streaming/TV Wie funktioniert QT-Streaming? Technologien QT Streaming/TV QuickTime Streaming Format Streaming-Track als Steuerspur im Movie QuickTime Streaming Server verteilt lokal auf dem Server abgelegte QuickTime Streams (video on demand) unterstützt mehrere tausend gleichzeitige Nutzer unterstützt einige hundert Dateien fungiert als Reflektor für Live-Streaming Bietet Zugriffskontrolle auf Dateien über Authentifizierungsmodule QuickTime Basics Technologien Streaming 27 QuickTime Basics Technologien Streaming 28

8 QuickTime Streaming/TV QuickTime Streaming Server Kostenlos als Binary & OpenSource FreeBSD Red Hat Linux Solaris 9 Windows NT Server/Windows 2000/XP Server MacOS X Bestandteil von OS X 10.x Server Für viele verbreitete Betriebssysteme entwickelt QuickTime Streaming/TV Keine volumenabhängigen Lizenzgebühren Volle Streaming-Unterstützung für aktuelle Codecs und Formate z.b. MP3 Audio z.b. MPEG 4 Unterstützung gemäß ISO/ISMA-Standard H.264 Player-Basis 66,8% (2007) QuickTime Basics Technologien Streaming 29 QuickTime Basics Technologien Streaming 30 QuickTime VR Virtual Reality (VR)»Cubic VR«360 horizontale Rundum-Projektion Sphärische Projektion von 2D Real- oder virtuellen Bilderserien Vergrösserung Hot-Spots definieren Übergang in einen anderen»raum«quicktime Basics Entwicklungsgeschichte QuickTime Basics Technologien VR 31

9 QuickTime Entwicklungsgeschichte QuickTime 1.0 (1991) QuickTime Version 2 (1994) QuickTime für Windows Interactive Televsion music Full Screen Video Text Tracks QuickTime VR (1995) QuickTime 2.5 (1996) QuickTime Conferencing QuickTime für OS/2 Warp Knowledge Navigator, Apple 1992, QTv1.2, Cinepak QuickTime Basics Historie 33 QuickTime Entwicklungsgeschichte QuickTime 2.5 (II) (1997) MPEG-1 Codec QuickTime Plug-in 2.0 QuickTime Version 3 (1998) Sorenson Video Codec Qualcomm PureVoice Codec QDesign MusicCodec QuickTime für Java Flash 3 Integration Sprites Transparency QuickTime Entwicklungsgeschichte QuickTime Version 4 (1999) Streaming Server Software QuickTime TV Movie in a Movie (MIAM) SMIL 1.0 Javascript AppleScript QuickTime Basics Historie 35 QuickTime Basics Historie 36

10 QuickTime Entwicklungsgeschichte QuickTime Version 5 (2001) Automatic Component Downloader neuer Music Synthesizer Cubic VR 360 vertikales Panorama XML Import Broadcaster APIs MacOS (Classic) und MacOS X Flash 4 Integration MPEG-1 Streaming Support Optimierter DV Codec QuickTime Entwicklungsgeschichte QuickTime Version 6 (Q1/2000) ISO-konforme Unterstützung von MPEG-4-codecs MPEG-4 Streaming Support Flash 5/MX Unterstützung Audio-Format AAC Sprachausgabeformat CELP ISMA 1.0 (Internet Streaming Media Alliance) compliant DVC Pro 5.0 (PAL) QuickTime Broadcaster als kostenloses Zusatztool QuickTime Basics Historie 37 QuickTime Basics Historie 38 QuickTime Entwicklungsgeschichte QuickTime Version 7 (2005) H.264 Video Mehrkanal-Audio AV-Capture Steuerung im Vollbild-Modus Neu programmierte Medienarchitektur Core Video Core Image Core Audio Core Graphic Zero-Configuration Streaming Automator-Support Media Skins QuickTime Basics Historie 39

11 ezediamx ezediaqti & Drop Multimedia für WEB und Offline-Medien Drag Windows & Mac QuickTime Werkzeuge Cut, Authoring, Edit, Broadcast, Streaming, WebCam... 44

12 LiveStage Pro 4.6 Produktinformation Kosten Entwickler-Einfachlizenz USD 500, Runtime frei (QuickTime Player/Plug-in) Export als QuickTime Filmdatei QuickTime Media- und Track Typen Sprite, Instrument, Effect, Tween, Modifier, Picture, Text, Flash, Video, QT 3D, QT VR, Sound, MP3 audio, MIDI, JPEG Zeitachsenbasierte (timeline) Programmierung Scriptunterstützung durch QScript Authoring für Macintosh/Windows Graphische Drag-and-drop Programmierung Authoring Tool für interaktives QuickTime Unterstützung der Apple QuickTime Media Layer Technologie QuickTime Basics Werkzeuge 46 Adobe Golive QuickTime-WEB Authoring Environment US$ Produkt quasi ersatzlos gestrichen (3-2008) 47 QuickTime Basics Werkzeuge 48

13 FinalCut Pro Professional Video Editing, Compositing and Effects EUR 1300 (Studio), EUR 199 (Express) Shake Professional Video Compositing and Effects US$ QuickTime Basics Werkzeuge 49 QuickTime Basics Werkzeuge 50