Semantische Suche im audiovisuellen Kulturerbe Das Projekt mediaglobe Johannes Hercher Hasso-Plattner-Institut für Sofwaresystemtechnik GmbH Teile dieser Arbeit werden vom Bundesministerium für Wirtschaft und Technologie gefördert (Förderkennzeichen: 01MQ09031).
Forschungsgruppe:,Semantic Technologies & Multimedia Retrieval Themen in der Forschungsgruppe, u.a.: Semantic Web Technologies Ontology Engineering Multimedia Analysis & Retrieval Projekte Macht audiovisuelles Kulturerbe erlebbar! Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 2 / 14
Übersicht Das Projekt mediaglobe Herausforderungen bei der Filmrecherche Metadatengenerierung & Vernetzung Semantische Suche (Demo) Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 3 / 14
Das Projekt mediaglobe Unterstützung von Filmarchiven, bei: Digitalisierung Erschließung und Verwertung von audiovisuellen Materialien. Projektlaufzeit: 2009 2012 { Aufgaben (HPI) Medienanalyse & Metadatengenerierung semantische Analyse & semantische Suche innovative Benutzerschnittstellen Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 4 / 14
Autoren Kontexte Fakten Historiker Ideen Zitate Perspektive Fundstellen ~1.000 h Dokumentarfilm (defa Spektrum GmbH) nicht fiktionale Filme zur deutsch-deutschen Geschichte (ab 1960) Zeitzeugen, TV-Produktionen, Amateuraufnahmen, Rückblick Emotionen Rechte Qualität Privat- Ereignisse Verwertung Produzenten personen
Die Situation Die Ziele Filme online nicht verfügbar verteilte Bestände Sichtung vor Ort erforderlich geringe Erschließung keine Cross-Recherche nicht intuitiv nutzbar Punktgenauer Zugriff auf Medieninhalte Ereignisse, Orte, Personen Genaue und vollständige Suchergebnisse high precision, high recall Intuitive Benutzeroberfläche interaktiv, benutzerfreundlich
Lösung: Punktgenaue Semantische Suche Medienanalyse & Medien Strukturen Metadatengenerierung Kohl Mai Halle Einheit Adenauer Metadaten Bonn Text Semantische Analyse & Named-Entity- Entitäten/ Ressourcen Recognition Metadaten vernetzen z.b.: bibliographische Daten, Gekoordinaten, Abstracts encyclopaedic data,.. Netz von Beziehungen Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 7 / 14
Lösung: Information Wissen Film 1 : Walter Markov Interview (1989) Wendezeit; 17.12.1989 Erster Mai; 1.5.1966; 20 Jahre SED Walter Ulbricht Walter Markov Berlin; Marx-Engels-Platz Ulbricht, Walter (PND) Ulbricht, Lotte (PND) Honecker, Erich (PND) Berlin; Marx-Engels-Platz Bild: Defa Spektrum GmbH Revolution Prager Frühling Nelke (SWD) Bild: Defa Spektrum GmbH dbpedia:wikipageredirects Film 2: Berlin heute (1966) Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 8 / 14
Digitalisierung Semantische Suche Digitalisierte Filme Media Transcoding UIMA - Unstructured Information Management Architecture Schnitterkennung Gesichtsdetektion kollaborative Annotation Video OCR Audio Analyse Genre Erkennung Semantic Analysis Named Entity Recognition Disambiguierung Persistent Storage (Media Asset Management) Semantische Suche Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 9 / 14
Medienanalyse Schnitterkennung Strukturanalyse Fehlerquellen harte Schnitte, weiche Schnitte < VS > Bildfehler, Kamerabewegung Analyse von Histogramm-Differenzen ähnliche Merkmale! Analytisch z.b. durch: Differenzbildanalyse Analyse von Helligkeits- und Farbdifferenzen Analyse von Bewegungsvektoren Maschnielles Lernen, z.b. mit: K-Nearest Neighbor Random Forrest Support Vector Machines Analyse von Bewegungsvektoren Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 10 / 14
Medienanalyse Texterkennung Texterkennung im Video, Herausforderungen: Text in großen Bilddatenbeständen identifizieren geringe Auflösung unterschiedliche Textgrößen und Schriften bei Szenentext: schlechte Lichtverhältnisse perspektivische Verzerrung bei Overlay-Text heterogener Hintergrund Aufgaben (vor der Texterkennung)» Bildverbesserung» Textseparierung Prof. Rudolf Agsten LDPD Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 11 / 14
Semantische Analyse Named Entity Recognition durch semantische Graphenanalyse Amtseinführung Truman The Truman Show? Potsdam Kontext Truman Capote Eisenhower Harry S. Truman Amtseinführung Inauguration Truman, Minnesota??? Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 12 / 14
Demonstration Semantische Suche Generierung von Metadaten Analyse Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 13 / 14
Kontakt Johannes Hercher Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Prof.-Dr.-Helmert-Str. 2-3 D-14482 Potsdam Web: http://www.hpi.uni-potsdam.de/meinel/forschung/future_internet/semantic_technologies.html E-Mail: Johannes.Hercher@hpi.uni-potsdam.de Twitter: jhercher Vielen Dank für Ihre Aufmerksamkeit! Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 14 / 14