Semantische Co-Annotation und Videosuche mit yovisto.com

Transkript

1 Semantische Co-Annotation und Videosuche mit yovisto.com Dr. Harald Sack Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam 51. DFN-Betriebstagung Forum Multimedia-Dienste Berlin, 7. Oktober 2009

2 Semantische Co-Annotation und Videosuche mit yovisto.com 2 Etwas Statistik... Aufzeichnung und Archivierung universitärer Lehrveranstaltungen Suche in audiovisuellen Daten Automatische AV-Analyse Benutzergenerierte Co-Annotation Metadatenstandards Semantische Annotation von Videodaten Yovisto.com - akademische Videosuche Explorative Suche mit yovisto

3 Etwas Statistik... 3 Aktuelle Video-Nutzungsstatistiken für USA, August % aller Internet-Nutzer in den USA haben Videos im WWW angesehen 25 Milliarden Video Abrufe (Google/YouTube mit 40% Marktanteil) 161 Millionen Benutzer durchschnittlich jeweils 157 Videos aus dem WWW konsumiert der monatliche online Videokonsum betrug durchschnittlich 582 Minuten pro Internet-Nutzer die durchschnittliche Videolänge betrug 3.7 Minuten... Quellen: comscore.com, Google Sites Surpasses 10 Billion Video Views in August 2009

4 Etwas Statistik... 4 Aktuelle Video-Nutzungsstatistiken für Deutschland, Dezember ,5 Millionen Deutsche haben im Dezember ,4 Milliarden Videos abgerufen die durchschnittliche Videolänge betrug 4,1 Minuten... Google erhielt im Juli 2008 von über 100 Milliarden Suchanfragen alleine 3 Milliarden aus Deutschland Bereits 1.6 Millionen dieser Suchabfragen fanden über Mobiltelefone statt... Quellen: comscore.com, Germany had 28 Million Online Video Viewers Watch More Than 3 Billion Videos in December 2008

6 Aufzeichnung und Archivierung universitärer Lehrveranstaltungen 6 An den Universitäten wird die Präsenzlehre seit mehr als einer Dekade durch Vorlesungsaufzeichnungen ergänzt, die über das WWW zur Verfügung gestellt werden

7 Aufzeichnung und Archivierung universitärer Lehrveranstaltungen 6 An den Universitäten wird die Präsenzlehre seit mehr als einer Dekade durch Vorlesungsaufzeichnungen ergänzt, die über das WWW zur Verfügung gestellt werden

8 Aufzeichnung und Archivierung universitärer Lehrveranstaltungen 7 tele-task -- Teleteaching Anywhere Solution Kit seit 2002 zuerst an der Universität Trier, dann am HPI im Einsatz mobile (low-cost) Aufzeichnung, Encoding, Streaming out-of-the-box

9 Aufzeichnung und Archivierung universitärer Lehrveranstaltungen 8 tele-task -- Videoportal Zugriff auf >2000 Kurse, Einzelvorlesungen, Vorträge, Events von über 440 Dozenten

10 Aufzeichnung und Archivierung universitärer Lehrveranstaltungen 9 HPI on itunes U Zusätzlicher Distributionskanal für Video-Podcasts mit weltweiter Reichweite

12 Suche in audiovisuellen Daten 1 Wie findet man etwas in einem audiovisuellen Archiv? Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.

13 Suche in audiovisuellen Daten 1 Wie findet man etwas in einem audiovisuellen Archiv? Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen. Manuelle Analyse und Annotation

14 Suche in audiovisuellen Daten 2 Retrieval in Audiovisuellen (zeitabhängigen) Daten automatische inhaltliche Analyse ist schwierig und berechnungs-/speicheraufwändig Friedrich Wilhelm Murnau Stiftung, DFI

17 Suche in audiovisuellen Daten 2 Retrieval in Audiovisuellen (zeitabhängigen) Daten automatische inhaltliche Analyse ist schwierig und berechnungs-/speicheraufwändig Marlene Dietrich Friedrich Wilhelm Murnau Stiftung, DFI

18 Suche in audiovisuellen Daten 2 Retrieval in Audiovisuellen (zeitabhängigen) Daten automatische inhaltliche Analyse ist schwierig und berechnungs-/speicheraufwändig Marlene Dietrich???? Friedrich Wilhelm Murnau Stiftung, DFI

19 Suche in audiovisuellen Daten 2 Retrieval in Audiovisuellen (zeitabhängigen) Daten automatische inhaltliche Analyse ist schwierig und berechnungs-/speicheraufwändig Marlene Dietrich???????? Friedrich Wilhelm Murnau Stiftung, DFI

20 Suche in audiovisuellen Daten 2 Retrieval in Audiovisuellen (zeitabhängigen) Daten automatische inhaltliche Analyse ist schwierig und berechnungs-/speicheraufwändig Marlene Dietrich???????? {...ich bin von Kopf bis Fuß... Friedrich Wilhelm Murnau Stiftung, DFI

21 Suche in audiovisuellen Daten Automatische AV-Analyse 3 Strukturelle (temporäre) Segmentierung Grobsegmentierung (rein strukturell) --> Zerlegung Einzelbilder/Blöcke, Histogrammvergleich Zeit Feinsegmentierung (inhaltsbasiert) --> Objekterkennung/-verfolgung --> OCR/ICR --> Korrelation Audio/Video (NLP) Zusammenfassen Verfeinern Zusammenfassen Zeit

22 Suche in audiovisuellen Daten Automatische AV-Analyse 4 Inhaltsbezogene Videoanalyse Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten Metadaten Metadaten Metadaten Zeit Metadaten Metadaten Metadaten Metadaten setzen sich zusammen aus kombinierten Low Level/ High Level Deskriptoren Metadaten als Basis für traditionelles Information Retrieval

23 Suche in audiovisuellen Daten Automatische AV-Analyse 5 Automatische Metadatenextraktion

24 Suche in audiovisuellen Daten Automatische AV-Analyse 5 Automatische Metadatenextraktion ICR / OCR

25 Suche in audiovisuellen Daten Automatische AV-Analyse 5 Automatische Metadatenextraktion ICR / OCR ASR

26 Suche in audiovisuellen Daten Automatische AV-Analyse 5 Automatische Metadatenextraktion ICR / OCR Keyterm Spotting Dictionary ASR

27 Suche in audiovisuellen Daten Benutzergenerierte Co-Annotation 6 Benutzergenerierte Metadaten automatische Analyse nur begrenzt leistungsfähig mangelnde Genauigkeit / Vollständigkeit Benutzergenerierte Metadaten können qualitativ zuverlässiger sein autoritative Metadaten strukturierte Daten unstrukturierte (textuelle) Daten nicht-autoritative Metadaten Tags Kommentare Diskussionen Rezensionen Feedback etc...

28 Suche in audiovisuellen Daten Benutzergenerierte Co-Annotation 7 Kollaborative Annotation Apfel Quelle: wikipedia.de apple Apfel Obst Frühstück Frucht Benutzer kaufen Ressource Autor nicht-autoritative Metadaten autoritative Metadaten

29 Suche in audiovisuellen Daten Metadatenstandards 8 Metadaten für Audiovisuelle Medien Dublin Core LOM / SCORM Metadaten Metadaten Metadaten Zeit Metadaten Metadaten Metadaten Metadaten beziehen sich auf Zeitpunkt / Ort in den AV-Daten (spatio-temporale Annotation) Metadaten sind benutzerbezogen (Social Tagging, autoritative vs. nicht-autoritative Metadaten)

30 Suche in audiovisuellen Daten Metadatenstandards 9 Spatiale Annotation audiovisueller Daten (xmin, ymin, xmax, ymax) Hieroglyphen mit Königskartusche, Haute-Relief (xmin, ymin, xmax, ymax) Harald Sack

31 Suche in audiovisuellen Daten Metadatenstandards 0 MPEG-7 Metadata Description Framework umfassender XML-basierter Standard zur strukturellen und inhaltlichen Beschreibung von multimedialen Daten <!xml version= 1.0 encoding= iso > <Mpeg7 xmlns=urn:mpeg:mpeg7:schema:2001 > <AudioVisualSegment> <TextAnnotation type= heading xml:lang= de > <FreeTextAnnotation> Der Computer als universales Kommunikationsmedium </FreeTextAnnotation> </TextAnnotation>.. <MediaTime> <MediaTimePoint> T00:03:42.2 </MediaTimePoint> <MediaDuration> PT1M28.6S </MediaDuration> </MediaTime>.

32 Semantische Co-Annotation und Videosuche mit yovisto.com 1 Etwas Statistik... Aufzeichnung und Archivierung universitärer Lehrveranstaltungen Suche in audiovisuellen Daten Automatische AV-Analyse Metadatenstandards Benutzergenerierte Co-Annotation Semantische Annotation von Videodaten Yovisto.com - akademische Videosuche Explorative Suche mit yovisto

33 Semantische Annotation von Videodaten 2 Die ursprüngliche Vision des World Wide Web Tim Berners-Lee, Semantic Web Roadmap, Sept 1998 The Web was designed as an information space, with the goal that it should be useful not only for human-human communication, but also that machines would be able to participate and help Tim Berners-Lee Voraussetzung: Inhalte können maschinell gelesen und korrekt interpretiert (= verstanden) werden Wie kann das funktionieren?

34 Semantische Annotation von Videodaten 3 Inhalte im Web maschinell verstehen um Inhalte im Web maschinell verstehen zu können werden zwei unterschiedliche Ansätze verfolgt Natural Language Processing Natürliche Sprache soll mit Techniken der Linguistik und Statistik analysiert werden Die Bedeutung (Semantik) soll implizit (oder auch explizit) daraus erschlossen werden Techniken kommen im klassischen Information Retrieval (WWW-Suchmaschinen) zum Einsatz Semantic Web (Natürlichsprachliche) Web- Inhalte werden explizit mit Hilfe von semantischen Metadaten annotiert semantische Metadaten tragen die Bedeutung (Semantik) der Web-Inhalte und lassen sich maschinell lesen und korrekt interpretieren

35 Semantische Annotation von Videodaten 4 Inhalte im Web maschinell verstehen Text: Diego zu Bayern? Klassenzugehörigkeit Entitätenzuweisung Diego Ribas da Cunha (Instanz) ist ein Fußballspieler (Klasse) Die Bedeutung (Semantik) der Klassen muss ebenfalls explizit definiert werden. Bedeutung wird über geeignete Wissensrepräsentationen (Ontologien) kodiert Person ist eine Subklasse Superklasse (Klasse) ist eine

36 Semantische Annotation von Videodaten 5 Ontologien als Wissensrepräsentation verwenden gemeinsames Konzept Konzept ruft hervor referenziert Golf Symbol steht für Gegenstand Ogden, Richards, semiotisches Dreieck, 1923

37 Semantische Annotation von Videodaten 6 Ontologien als Wissensrepräsentation Philosophische Disziplin, die sich primär mit dem Sein, dem Seienden als solchem und mit den fundamentalen Typen von Entitäten beschäftigt (wikipedia) "An ontology is an explicit, formal specification of a shared conceptualization. The term is borrowed from philosophy, where an Ontology is a systematic account of Existence. For AI systems, what exists is that which can be represented. (Thomas R. Gruber, 1993) Konzeptualisierung: abstraktes Modell (Domäne, identifizierte relevante Begriffe, Beziehungen) Explizit: Bedeutungen aller Begriffe definiert Formal: maschinenverstehbar Gemeinsam: Konsens bzgl. Ontologie

38 Semantische Annotation von Videodaten 7 Das Semantic Web - Datenzentrierte Verarbeitung Die Bedeutung der Informationen (Semantik) wird durch standardisierte Wissensrepräsentationen (Ontologien) explizit formalisiert (strukturiert) Damit wird es möglich, die Bedeutung der Informationen maschinell zu verarbeiten unterschiedliche (heterogene) Daten miteinander in Beziehung zu setzen implizite (nicht offensichtliche) Information aus der vorhandenen (offensichtlichen) Information automatisch zu folgern Das Semantic Web ist eine Art globaler Datenbank, die ein universales Netz semantischer Aussagen bereit hält

39 Semantische Annotation von Videodaten 8 Inhalte im Semantic Web <?xml version="1.0" encoding="utf-8"?> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML+RDFa 1.0//EN" " <html xmlns=" xmlns:foaf=" version="xhtml+rdfa 1.0" xml:lang="en">... <body>... <div class= content about= instanceof= foaf:person > <span property= foaf:givenname >Diego</span> zu Bayern?... <img rel= foaf:depiction src= />... </div>... </body> </html> Webseite foaf:person Diego rdf:type foaf:givenname foaf:depiction Semantic Web Schichtenarchitektur

40 Semantische Annotation von Videodaten 9 Linked Data - Datenzentrierte Verarbeitung Ziel des Semantic Web:...to create a,web of Data

41 Semantische Annotation von Videodaten 9 Linked Data - Datenzentrierte Verarbeitung Ziel des Semantic Web:...to create a,web of Data

43 Yovisto.com - Akademische Videosuche 1

44 Yovisto.com - Akademische Videosuche 2 yovisto.com Videosuchmaschine mit dem Schwerpunkt akademischer Lehrveranstaltungen aktuell mehr als Vorlesungen und wissenschaftliche Vorträge aus der ganzen Welt automatische Segmentierung und Videoanalyse benutzergenerierte Co-Annotation Social Tagging Diskussionen Rezensionen Wikis Lernmaterialien Zielgenauer Zugriff auf gesuchte Videoinhalte

45 3 Yovisto.com - Akademische Videosuche Arbeitsweise search engine frontend WWW analyze and link to any available academic video recording in the WWW search for video content browse, play, and annotate video results video analysis and search index creation upload your own academic video recording

46 Yovisto.com - Akademische Videosuche 4 Yovisto Video Player

47 Yovisto.com - Akademische Videosuche 5 Semantische Annotation Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand Metadaten Metadaten Metadaten Zeit Metadaten Metadaten Metadaten Person xy Person yz Ort xyz Ereignis abc Person xy Ort yz semantische Metadaten (z.b. als DC-RDF / MPEG7-COMM u.a.)

48 Yovisto.com - Akademische Videosuche 6 Semantische Annotationen Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand Mapping der erkannten Entitäten gegen vorhandene Ontologien Person xy Ort yz Person xy Person yz Ort xyz Ereignis abc z.b. bibliografische Daten, geografische Daten, enzyklopädische Daten,...

50 Explorative Suche mit yovisto 8 Das Google Paradigma Eingabe einer Suchphrase Boolesche Verknüpfung einzelner Suchbegriffe Volltextsuche

51 Explorative Suche mit yovisto 9 Das Google Paradigma

52 Explorative Suche mit yovisto 9 Das Google Paradigma

53 Explorative Suche mit yovisto 0 Das Google Paradigma Erzeugung einer linearen (nach Relevanz gewichteten) Ergebnisliste TFIDF / PageRank Personalisierung (Logdatenanalyse)

54 Explorative Suche mit yovisto 0 Das Google Paradigma Erzeugung einer linearen (nach Relevanz gewichteten) Ergebnisliste TFIDF / PageRank Personalisierung (Logdatenanalyse)

55 Explorative Suche mit yovisto 1 Semantisch unterstütztes Information Retrieval Semantische Annotationen ermöglichen eine Verbesserung der traditionellen Schlüsselwort-basierten Suche durch Erweiterung / Präzisierung der Suchergebnisse Herleitung von impliziten Informationen durch logische Schlussfolgerungen Herstellung von Querverweisen Nutzung von semantischen Beziehungen zur Visualisierung und Navigation durch den Suchraum (Explorative Suche)

56 Explorative Suche mit yovisto 1 Semantisch unterstütztes Information Retrieval Semantische Annotationen ermöglichen eine Verbesserung der traditionellen Schlüsselwort-basierten Suche durch Erweiterung / Präzisierung der Suchergebnisse Herleitung von impliziten Informationen durch logische Schlussfolgerungen Herstellung von Querverweisen Nutzung von semantischen Beziehungen zur Visualisierung und Navigation durch den Suchraum (Explorative Suche)

57 Explorative Suche mit yovisto 2 Herstellung von Querverweisen Bereitstellung von Suchergebnissen, die zwar den Suchbegriff nicht notwendigerweise enthalten, aber mit diesem in inhaltlichem Zusammenhang stehen Nutzung von Domain Ontologien Nutzung von Thesauri und Kookurrenzanalysen repräsentativer Dokumentenkorpora Suchphrase: Hemingway ermittelter Oberbegriff zu Hemingway: amerikanischer Autor Ausweitung der Suche auf andere amerikanische Autoren dbpedia:americannovelists Instanzerkennung rdf:type rdf:type Hemingway dbpedia:ernest_hemingway dbpedia:edgar_allen_poe

58 Explorative Suche mit yovisto 3 Explorative Suche Abkehr vom Google Paradigma Visualisierung von Querverbindungen zwischen Suchbegriffen (Ontologieebene) Suchergebnissen (Instanzebene) Ermöglicht es dem Benutzer Suchergebnisse zufällig zu entdecken, die er eigentlich gar nicht gesucht hat (Serendipity) einen besseren Überblick über den Suchraum / Ergebnisraum zu gewinnen

59 Explorative Suche mit yovisto 4 Explorative Suche - ein einfaches Beispiel Suche im Grunddatenbestand nach,ernest Hemingway Identifikation einer Entität dbpedia:ernest_hemingway Bestimmung gleichartiger Entitäten dbpedia:ernest_hemingway foaf:name Ernest Hemingway. dbpedia:ernest_hemingway rdfs:type dbpedia:class/yago/americannovelist. dbpedia:ernest_hemingway dbpedia:ontology/influences dbpedia:ezra_pound. dbpedia:j._d._salinger dbpedia:ontology/influences dbpedia:ernest_hemingway. Finde weitere Ressourcen vom selben Typ, d.h. (1) finde weitere amerikanische Autoren (2) finde Ressourcen (Videos) mit weiteren amerikanischen Autoren

60 Explorative Suche mit yovisto 5 Explorative Suche - ein einfaches Beispiel Suche im Grunddatenbestand nach,ernest Hemingway Identifikation einer Entität dbpedia:ernest_hemingway Bestimmung eines geeigneten Properties Nutzung des Properties zur Navigation/Visualisierung Ezra Pound Ernest Hemingway J.D. Salinger dbpedia:ontology/influences dbpedia:ontology/influences Erweitere Suche mit asoziierten Entitäten

61 29 Prototyp unter

62 history 29 Prototyp unter

63 history search term 29 Prototyp unter

64 history search term related resources with properties 29 Prototyp unter

65 Semantische Co-Annotation und Videosuche mit yovisto.com 7 Etwas Statistik... Aufzeichnung und Archivierung universitärer Lehrveranstaltungen Suche Vielen in audiovisuellen Dank für Ihre Aufmerksamkeit Daten! Automatische AV-Analyse Fragen...? Metadatenstandards Benutzergenerierte Co-Annotation Links: HPI Homepage: Yovisto: Blogs: Semantische Annotation von Videodaten Yovisto.com - akademische Videosuche Explorative Suche