Metadaten für itv MPEG Rückblick Metadaten, MPEG Überblick MPEG-21. Metadatenformate und Webservice Languages. (nicht nur) für IPTV

Transkript

1 Metadatenformate und Webservice Languages (nicht nur) für IPTV MPEG-7 TV-Anytime CableLabs MPEG-21 MXF, AAF P_Meta 2.0 BMF Ramm.x / RDFa EXIF WSDL WS-BPEL Metadaten für itv MPEG Rückblick Metadaten, MPEG-7 2. Überblick MPEG-21

2 1. Grundlagen von Metadaten Warum können Metadaten zur 'killer-applikation' führen? Interoperabilität zwischen Plattformen Wertschöpfungskette Deataillierte Metadaten garantieren bessere Performance und bessere Effizienz in der Suche Metadaten spielen eine wichtige Rolle für die Erstellung, Lieferung und Austausch multimedialer Assets durch einen virtuellen Service-Space 1. Grundlagen von Metadaten "We are on the verge of a metadata revolution. Get your data models clean and prepare for an interesting ride," Tim Barners-Lee (1999)

3 1. Grundlagen von Metadaten

4 Linkage tier: wie Beschreibungen und deren Teile zueinander gehören, aufeinander verweisen Synchronisation und Verlinkung (Bsp. Das gesamte Web)

5 2. Metadaten im itv-bereich "Existing digital broadcasting has a failed business model, as it ignores what the audience wants most: control. Metadata has provided a hidden "killer application" on the Internet and could be used to transform digital broadcasting into a viable service" Tom Worthigton, Australian National University 2. Metadaten im itv-bereich Flexible metadatenstrukturen Vs. Rigide Metadaten Metadata Lifecycle: Plannung Production Post-Production Delivery Consumption Interaction / Transaction An jedem Punkt werden die Metadaten angereichert.

6 3. MPEG eingeführt Set of descriptions for AV content stellt Beschreibungsschemata für multimediale Inhalte bereit Format- unanbhängige Beschreibungssprache zu Annotationen multimedialer Informationen Nur das Format der Inhaltsbeschreibung ist definiert, die Techniken für Encodierung, der Extraktion und der Nutzung der Beschreibungen ist offen. 3. MPEG-7 Unter der MPEG-7 Standardisierung fallen folgende Komponenten: Deskriptoren Deskriptoren Schemata Description Definition Language (DDL), eine Sprache zur Definition von Deskriptoren und Deskriptoren Schemata Möglichkeit zur Kodierung der Beschreibungen

7 3. MPEG-7 Teil 1 Systems: Spezifiziert die Werkzeuge, die benötigt werden, um MPEG-7 Beschreibungen vorzubereiten. Diese werden in Bezug auf die Effizienz im Transport und die Speicherung (Binärisation) beschrieben. Sie ermöglichen die Synchronisation von Inhalt und Beschreibung. Teil 2 Description Definition Language: Spezifiziert die Sprache für die Definition von neuer Deskriptoren Schemata (in MPEG-7 Version 1 noch nicht möglich) Teil 3 Visual: Spezifiziert die Beschreibungen und Beschreibungsschemata, die ausschließlich visuelle Informationen betreffen. Teil 4 Audio: Spezifiziert die Beschreibungen und Beschreibungsschemata, die ausschließlich hörbare Informationen betreffen. 3. MPEG-7 Teil 5 Generic Entities und Multimedia Description Schemes (MDS): Spezifiziert Beschreibungen und Beschreibungsschemata, die generische Eigenschaften beinhalten (keine audio- und videospezifischen Eigenschaften, also nur nicht-audiovisueller Inhalt). Teil 6 Reference Software: Beinhaltet ein Programm, das mit den Tools des MPEG-7 Standards korrespondiert. Teil 7 Conformance Testing: Definiert Richtlinien und Prozeduren für die Übereinstimmung der MPEG-7 Beschreibungen und Terminals. Teil 8 Extraction and Use of MPEG-7 Descriptions: Stellt Informationen über die Extraktion und Nutzung einiger Beschreibungstools bereit. Dieser Teil ist ein technischer Report [Lug03].

8 3. MPEG-7 Die Deskriptoren bei MPEG-7 können genutzt werden, um Multimedia- Inhalte bis ins kleinste Detail zu beschreiben. 3. MPEG-7 Deskriptoren sind Repräsentationen von Multimedia- Merkmalen. Sie definieren die Syntax und Semantik der Repräsentation. Durch die Instanziierung von Deskriptoren ist die Evaluation der korrespondierenden Merkmale möglich

9 3. MPEG-7 katalogisierte Merkmale: Die katalogisierten Merkmale sind Beschreibungen von Meta- Informationen einer Multimedia-Datei. Es ist keine automatische Extraktion dieser Merkmale aus der Datei möglich, aus diesem Grunde müssen sie manuell annotiert werden. Unter den katalogisierten Merkmalen fallen folgende Informationen: Titel, Hersteller, Genre, Zweck der Herstellung, Urheberrechte, finanzielle Informationen, Speicherformat, Kodierungsformat und eine eindeutige Identifikation. 3. MPEG-7 semantische Merkmale: Informationen über Objekte und Ereignisse ( Wer, Was, Wann, Wo? ). strukturelle Merkmale: Bei den strukturellen Merkmalen werden in physische, zeitliche und räumliche Segmente geteilt, die wiederum durch signalbasierte Merkmale (Farbe, Textur, Form, Bewegung, Geräusche) beschrieben werden [Ric03].

10 3. MPEG-7 Description Definition Language (DDL) Die DDL ist eine Sprache, die es ermöglicht, neue Deskriptoren Schemata und auch Deskriptoren zu erschaffen. Sie definiert somit die Deskriptoren und die Deskriptoren Schemata. Sie bietet nicht nur die Möglichkeit der Erschaffung, sondern auch der Erweiterung und Modifikation bereits bestehender Schemata. DDL benutzt XML Schema Language als Grundlage für ihre Syntax 3. MPEG-7 Die Aspekte der Kompression werden in der Binary Format for MPEG-7 (BiM) spezifiziert, die eine kompakte und streambare Repräsentation der MPEG-7 Beschreibungen darstellen. BiM ist äquivalent zu der textuellen Beschreibung, die durch die MPEG-7 DDL definiert wird. Die textuelle Darstellung ist auch bekannt als Textual Format for MPEG-7 (TeM)

11 3. MPEG-7 3. MPEG-7

12 3. MPEG-4 / AV-Objekte MPEG-7 / TV-Anytime Describes content, including: ProgramInformation (title, synopsis, genre, keywords, cast, Related Material (Trailer, Images), CreationLocation, Aggregation, Episode, Group, PromotianalInformation, ParentalGuidance, Language, ContentType (Movie, Series), SubTitle (SignLanguage) ) Service Information (name, genre, description, URL ) Schedules (time, date, channel, reruns, free/encrypted ) Purchase Information (price, currency, link to a price server) Segmentation Information (chapters of a movie, highlights of a sports event ) Program Reviews (Rating, Text, Reviewer), Credits Information (Actor - no Biographie, Producer), AwardsList GroupInformation (Highlights, Episioden) OnDemandContent (StartOfAvailability, EndOfAvailabilty, FirstAvailability, LastAvailability)

13 MPEG-7 / TV-Anytime UserDescription UsageHistory Observation Period, UserActionList (PlayStream, Record, Skip, SubmitQuery MPEG-7 / TV-Anytime UserDescription UserPreferences wird aus UsageHistory abgeleitet, FilteringAndSearchPreferences, BrowsingPreferences, enthält Deskriptoren mit entsprechender Gewichtung für z.b.: Genre oder Keyword Missing Descriptions Ausführliche Rechteverwaltung und Abrechnungsvereinbarungen fehlen keine Unterscheidung von Services zwischen OnDemand und Broadcast (nur über ServiceGenre) verschiedene Videos für denselben Content (SD und HD) nur umständlich abzubilden

14 CableLabs Nur Informationen für OnDemand Content Selbe Abbildungsmöglichkeiten, wie ProgramInformation aus TV- Anytime Describes additional content, including: Verfolgung von Änderungen über UpdateNum und Notification- Spezifikation RentalPeriod PreviewPeriod CopyPrivilages (Freely, Once - mit entpsrechenden Preisen) CategoryPrice (Preisangaben für SD und HD) - in TV-Anytime über PurchaseType abbildbar DistributorRoyaltyPercentage CopyProtection Chapter CategoryPath (Pfad für VOD-Auswahl) Market (Regionale Beschränkung) Subtitle (CaptionLanguage in TV-Anytime) AdAllowed CableLabs Missing Descriptions Beschreibungen für BroadcastContent kann nicht abgebildet werden - Schedule - Wiederholungen

15 3. MPEG-7 TV-Anytime Auszüge aus der Diplomarbeit von RM MPEG-21

16 MPEG-21 MPEG-21 ist mehr als simpler Metadaten-Standard > open multimedia framework (integriert viel vorhandene Metadaten-Systeme (z.b. DublinCore, SMPTE, MPEG-7) Haupt-Ziel: Transparente, durch DRM gesicherte und vollständig kompatible (interoperable) Nutzung von multimedialen Assets in der gesamten Wertschöpfungskette (Content-Anbieter,Netzwerke, Endgeräte, User) Focus: Erzeuger und Konsumenten MPEG-21 Wertschöpfungskette Erzeugen von Inhalten / Assets Content Produktion / MM-Authoring Vertrieb / Bereitstellung Personalisierung / Individualisierung Präsentation Verkauf

17 MPEG-21 MPEG-21 basiert auf 2 wesentlichen Konzepten: Auf einer fundamentalen Basis-Einheit im System, einem sog. 'struktirierten digitalen Objekt' Digital Item (DI) Und auf Nutzungs- und Interaktions-Konzepten für die User der DIs (digital items) MPEG-21 User Model Welche User-Gruppen gibt es? Individuelle Konsumenten Communities Organisationen Firmen Konsortien Behörden Die Interaktionsmöglichkeiten zwischen den Usern mit Hilfe der DIs sind wsentlich Die Definition der Aktions- und Interaktionsmöglichkeiten der User mit den DIs ist ein weiterer wichtiger Punkt

18 MPEG-21 Einige Beispiele für Aktionen / Interaktionen mit DIs Content Erstellung Bereitstellung von Content Archvierung des Contents Bewertung (rating) des Contents Modifikation des Contents Aggregation (andere Zusammenstellung) des Contents Modifikation der Verkaufsgruppe (Syndicating) Wiederverkauf Nutzen des Contents Transactions MPEG-21 MPEG-21 definiert die Beziehungen und Transaktionen zwischen Usern MPEG-21 definiert Interfaces und Protokolle für Transaktionen

19 MPEG-21 Was ist ein DI ein digital item? DI ist das 'was' in der MPEG-21 Welt DIs sind hierarchische Container mit Deklaration des Items (des Containers) Links auf Ressourcen Beschreibungen / Metadaten zu den Ressourcen Eine Ressource: any multimedia asset Descriptoren: können unterschiedliche Metadatenstandards sein und beschreiben die technischen, rechtlichen und semantischen Eigenschaften einer Ressource MPEG-21 Definition eines Digital Items Deklaration Container Item Item Item Descriptions Descriptions Resources Resources Resources bild1 bild2 text1 movie1 E-ticket MPEG-7 Image Descriptor MPEG-7 Movie Descriptor In Anlehnung an Lugmayr u.a.2004, S.54

20 MPEG-21 Definition eines Digital Items MPEG-21 Hauptfeatures Packen und katalogisieren von Multimedia-Assets zu DIs - as an atomic unit Schaffen eines Bewußtseins für digitalen Content beim User bei Fokussierung auf auf digitale Objekte/Items, die gespeichert, ausgetauscht, modifiziert usw. können Zugang zum Content anytime, anywhere, anyhow, by any means Interoperables Rigital Rights Management als Faktor für erfolgreichen Busines Unified content management based on abstract data structures Metadata Definitionen für logische digitale Pakete

21 MPEG-21 Die weserntlichen 7 Parts des Standards 1 - Vision, Technologies and Strategy: Beschreibung von MPEG-21 auf generellem Level, User-Szenarios, Beispiel-Applikationen 2 Digital Item Declaration (DID): was ist ein DI 3 Digital Item Identification and Description (DII): einzigartige Identifizierung und Beschreibung 4 Intellectual Property Management and Protection (IPMP): Rechtevergabe für einzelne DIs 5 Rights Expression Language: wer kann was nutzen 6 Rights Data Dictionary: Rechtemanagement bei den Usern MPEG-21 Bindung zwsichen User und digitalen Objekten Z.B.: Video-On-Demand 24Std. Nutzung Z.B.: itunes: Bindung an das Abspielgerät, 5facher Wechsel des Gerätes, usw Neue Möglichkeiten des Angebots digitaler Multimedia-Ressourcen Fotos Bilder Movies Audios Spiele Werbebanner usw

22 MPEG-21 / Digital Item Declaration Flexibles, unabhängiges XML-Schema für die Deklaration von Digital Items Digital Item Declaration Language (DIDL) Beschreibung eines DI durch seine Ressourcen, Metadaten und Beziehungen Eine DID enthält Beschreibungen der Syntax und Semantic eines jeden DID-Elemets Zusammengestze DI's (z.b. Flash, Powerpoint, Musikalbum) MPEG-21 / Beispiel von Container-Strukturen

23 MPEG-21 / Digital Item Declaration <DIDL> <Container> <Descriptor> <Statement type="text/xml"> <mpeg7:mpeg7> <mpeg7:descriptionunit xsi:type="creationinformationtype"> <mpeg7:creation> <mpeg7:title>music package</mpeg7:title> </mpeg7:creation> </mpeg7:descriptionunit> </mpeg7:mpeg7> </Statement> </Descriptor> <Item> <Descriptor> <Statement type="text/plain"> Music package </Statement> </Descriptor> <Item> <Component> <Resource ref="photo1.jpg" type="image/jpg"/> </Component> </Item> </Item> </Container> </DIDL> MPEG-21 / Beziehung zwischen Digital Item Declaration (orange) und Digital Item Identification (rosa)

24 MPEG-21 Intellectual Property Management and Protection Management für Urheber und Verwertungsrechte Flexibles System für unterschiedliche Business Modelle, Beschreibung Rechte durch Rights Expression Language (REL) Mapping auf Rights Data Dictonary (RDD), mit Transformation auf bestehende Systeme MPEG-21 MPEG REL (Rights Expression Language) Data Model

25 MPEG-21 Terminals and Networks Interoperabilit und Zugriff auf Content von allen Geräten über alle Netze Digital Item Adaption (DIA) zur Anpassung von medialem Content auf Netze und Endgeräte MPEG-21 / Beispiel für Terminals and Networks

26 MPEG-21 / Gesamtaufbau

27 P_Meta 2.0 Ein EBU-Standard P_Meta 2.0 für den Austausch von Metadaten im gesamten Produktionsprozess With P_META 2.0, the EBU has collated and defined a basic catalogue of data items that can be used as the building blocks for common information exchanges between content creators, distributors, archives and systems The result is a standard metadata library and toolkit that will be used to develop applications including programme exchange between broadcasters and possibly between production processes. It offers a way to share the meaning of electronic information necessary or useful for the business-to-business exchange and processing of programme-related information and content.

28 P_Meta 2.0 The Objective P_META is a library of common terms, data types and data structures representative of what are being used in production, to editorially identify, or technically describe content and associated rights. Such a library is often referred to as a toolbox. This toolbox is used to develop independent applications relating to activities such as programme exchange or (WBU ISOG) transmission booking information. P_Meta 2.0 P_META represents the 'semantic layer', also known as the 'descriptive metadata layer, that is the exact definition and meaning of each element of description considered to be representative of common production practices. This definition is based on the business meaning and understanding of each concept. P_META applies primarily to the business-tobusiness (B2B) environment although its interoperability with business-to-consumer (B2C) metadata is an essential feature

29 P_Meta 2.0 As a fundamental principle, the data analysis has been set to identify concepts or subjects which can be reused in a variety of applications, thus giving maximum precision in meaning, yet allowing maximum flexibility in the definition of the basic elements and data structures of the "P_META metadata schema". P_Meta 2.0

30 P_Meta 2.0 MXF / AAF

31 MXF The Material Exchange Format, MXF, is a File Format optimized for the interchange of material for the content creation industries. MXF is a wrapper format intended to encapsulate and accurately describe one or more clips of Essence. These Essence clips may be Pictures, Sound, Data or some combination of all of these. An MXF File contains enough information to allow two applications to interchange essence without any a-priori information. The MXF metadata allows applications to know the duration of the file, what essence codecs are required, what timeline complexity is involved and other key points to allow interchange. The key to MXF is the accurate description of the essence.

32 AAF - Advaced Authoring Format AAF and MXF - A complementary pair The AAF Association, along with the Pro-MPEG Forum and the SMPTE, is a co-creator of MXF. AAF and MXF combine to o er a well-rounded, complementary solution to the complex problems involved in the interchange and movement of media throughout the post production and distribution processes. AAF is primarily intended for post production interchange and supports external content references and downstream processing (such as e ect, fades, etc.); whereas, MXF is primarily intended for storage, broadcast and play-out MXF AAF is designed to be a data representation of works in progress, as compared to MXF (Material Exchange Format), which is for exchanging finished media products. While MXF uses a KLV (Key Length Value) format for storage, AAF uses the Structured Storage system. MXF was developed to be essentially a subset of the AAF data model, under the Zero Divergence Directive (ZDD) policy. This allows for workflows that involve the mixing of AAF and MXF.

33 BMF - Broadcast Metadata Exchange - ein IRT Projekt BMF is a Data Model for a controlled and unique Exchange of Metadata (not storage) BMF supports an overall production process Idea/Programme-Schema Planning, Programme Planning, Play-Out Planning Production Planning Editorial Work (concept of a product) Acquisition, Post Processing, Play-Out Preparation, Play-Out, Archiving BMF ist ein sehr umfangreiches Beschreibungsdatenmodell für Medienproduktion

34 BMF Ramm.x (RDFa)

35 Ramm.x What is basically missing is a framework that allows existing multimedia metadata hooking into the Semantic Web. To enable the deployment of multimedia metadata on the (Semantic) Web (2.0), one valid approach is to use the RDF data model for a generic deployment (description) of an arbitrary multimedia metadata format. To meet the requirements, ramm.x (i) utilises RDFa to deploy metadata, (ii) reuses formalisations of existing multimedia metadata formats, and finally (iii) o ers a light-weight vocabulary to enable tools to convert, validate, and exchange the metadata.