Semantische Suche im audiovisuellen Kulturerbe Das Projekt mediaglobe

Transkript

1 Semantische Suche im audiovisuellen Kulturerbe Das Projekt mediaglobe Johannes Hercher Hasso-Plattner-Institut für Sofwaresystemtechnik GmbH Teile dieser Arbeit werden vom Bundesministerium für Wirtschaft und Technologie gefördert (Förderkennzeichen: 01MQ09031).

2 Forschungsgruppe:,Semantic Technologies & Multimedia Retrieval Themen in der Forschungsgruppe, u.a.: Semantic Web Technologies Ontology Engineering Multimedia Analysis & Retrieval Projekte Macht audiovisuelles Kulturerbe erlebbar! Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, , Potsdam 2 / 14

3 Übersicht Das Projekt mediaglobe Herausforderungen bei der Filmrecherche Metadatengenerierung & Vernetzung Semantische Suche (Demo) Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, , Potsdam 3 / 14

4 Das Projekt mediaglobe Unterstützung von Filmarchiven, bei: Digitalisierung Erschließung und Verwertung von audiovisuellen Materialien. Projektlaufzeit: { Aufgaben (HPI) Medienanalyse & Metadatengenerierung semantische Analyse & semantische Suche innovative Benutzerschnittstellen Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, , Potsdam 4 / 14

5 Autoren Kontexte Fakten Historiker Ideen Zitate Perspektive Fundstellen ~1.000 h Dokumentarfilm (defa Spektrum GmbH) nicht fiktionale Filme zur deutsch-deutschen Geschichte (ab 1960) Zeitzeugen, TV-Produktionen, Amateuraufnahmen, Rückblick Emotionen Rechte Qualität Privat- Ereignisse Verwertung Produzenten personen

6 Die Situation Die Ziele Filme online nicht verfügbar verteilte Bestände Sichtung vor Ort erforderlich geringe Erschließung keine Cross-Recherche nicht intuitiv nutzbar Punktgenauer Zugriff auf Medieninhalte Ereignisse, Orte, Personen Genaue und vollständige Suchergebnisse high precision, high recall Intuitive Benutzeroberfläche interaktiv, benutzerfreundlich

7 Lösung: Punktgenaue Semantische Suche Medienanalyse & Medien Strukturen Metadatengenerierung Kohl Mai Halle Einheit Adenauer Metadaten Bonn Text Semantische Analyse & Named-Entity- Entitäten/ Ressourcen Recognition Metadaten vernetzen z.b.: bibliographische Daten, Gekoordinaten, Abstracts encyclopaedic data,.. Netz von Beziehungen Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, , Potsdam 7 / 14

8 Lösung: Information Wissen Film 1 : Walter Markov Interview (1989) Wendezeit; Erster Mai; ; 20 Jahre SED Walter Ulbricht Walter Markov Berlin; Marx-Engels-Platz Ulbricht, Walter (PND) Ulbricht, Lotte (PND) Honecker, Erich (PND) Berlin; Marx-Engels-Platz Bild: Defa Spektrum GmbH Revolution Prager Frühling Nelke (SWD) Bild: Defa Spektrum GmbH dbpedia:wikipageredirects Film 2: Berlin heute (1966) Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, , Potsdam 8 / 14

9 Digitalisierung Semantische Suche Digitalisierte Filme Media Transcoding UIMA - Unstructured Information Management Architecture Schnitterkennung Gesichtsdetektion kollaborative Annotation Video OCR Audio Analyse Genre Erkennung Semantic Analysis Named Entity Recognition Disambiguierung Persistent Storage (Media Asset Management) Semantische Suche Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, , Potsdam 9 / 14

10 Medienanalyse Schnitterkennung Strukturanalyse Fehlerquellen harte Schnitte, weiche Schnitte < VS > Bildfehler, Kamerabewegung Analyse von Histogramm-Differenzen ähnliche Merkmale! Analytisch z.b. durch: Differenzbildanalyse Analyse von Helligkeits- und Farbdifferenzen Analyse von Bewegungsvektoren Maschnielles Lernen, z.b. mit: K-Nearest Neighbor Random Forrest Support Vector Machines Analyse von Bewegungsvektoren Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, , Potsdam 10 / 14

11 Medienanalyse Texterkennung Texterkennung im Video, Herausforderungen: Text in großen Bilddatenbeständen identifizieren geringe Auflösung unterschiedliche Textgrößen und Schriften bei Szenentext: schlechte Lichtverhältnisse perspektivische Verzerrung bei Overlay-Text heterogener Hintergrund Aufgaben (vor der Texterkennung)» Bildverbesserung» Textseparierung Prof. Rudolf Agsten LDPD Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, , Potsdam 11 / 14

12 Semantische Analyse Named Entity Recognition durch semantische Graphenanalyse Amtseinführung Truman The Truman Show? Potsdam Kontext Truman Capote Eisenhower Harry S. Truman Amtseinführung Inauguration Truman, Minnesota??? Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, , Potsdam 12 / 14

13 Demonstration Semantische Suche Generierung von Metadaten Analyse Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, , Potsdam 13 / 14

14 Kontakt Johannes Hercher Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Prof.-Dr.-Helmert-Str. 2-3 D Potsdam Web: Twitter: jhercher Vielen Dank für Ihre Aufmerksamkeit! Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, , Potsdam 14 / 14