Suche und Navigation in Medienarchiven mittels Audio Mining

Transkript

1 Suche und Navigation in Medienarchiven mittels Audio Mining Dr. Joachim Köhler Abteilungsleiter NetMedia Fraunhofer-Institut for Intelligent Analysis and Information Systems 1

2 Fraunhofer-Gesellschaft Fraunhofer ist die größte Organisation für angewandte Forschung in Europa Innovation durch Spitzenforschung und Umsetzung im Markt für Kunden Finanzierung: 2/3 Aufträge aus der Industrie und öffentlich finanzierte Forschungsprojekte 1/3 Grundfinanzierung von Bund und Ländern 67 Institute, Mitarbeiter, 2,0 Mrd. Gesamthaushalt (2013) Internationale Zusammenarbeit durch Niederlassungen in Europa, USA, Asien und im Nahen Osten

3 Die Deutsche Digitale Bibliothek (DDB)...in der ersten Ausbaustufe Auftraggeber: Beauftragter der Bundesregierung für Kultur und Medien (BKM) Volumen: ca. 7 Mio. Euro Projektpartner: Kompetenznetzwerk DDB, FIZ Karlsruhe, Unterauftragnehmer Projektinhalt: Portal zu Kulturerbe und wissenschaftlichen Informationen Aufbau der zentralen Infrastruktur für den Pilotbetrieb Vernetzung der Inhalte Rolle des Fraunhofer IAIS: Anforderungsanalyse, Konzeption, Planung, Gesamtverantwortung der Realisierung Laufzeit: August 2009 bis Dezember 2014

4 Automatisierte Erschließung in Medienarchiven Anwendungsfälle und Technologien Medienarchive beinhalten neben Texten und Dokumente vermehrt multimediale Objekte (Videos, Tondokumenten, etc.) Typischen Medienarchive Rundfunkarchive Parlamentsarchive Oral History und Zeitzeugenarchive Bundesarchiv Technologien Audiosegmentierung Spracherkennung Sprechererkennung Videoanalyse Audio Mining 4

5 Automatische Strukturanalyse für Audiodateien Unstrukturierte Audiodatei Homogene Segmente Detektion von Sprache Speech Speech Speech Detektion des Geschlechts Male Voice Female Voice Male Voice Sprechergruppierung Speaker 1 Speaker 2 Speaker 1 Jingle Erkennung (z.b. Programmerkennung) Start of News Show

6 Prinzip der Spracherkennung Statistisches Verfahren Sprachressourcen bedeutsam Wissensmodelle Akustik Aussprachelexika Sprachmodelle Herausforderungen Variabilität der Sprache (Dialekte, Spontansprache, usw.) Störgeräusche Aufnahmequalität

7 Technologie des Fraunhofer IAIS: Audiomining Speaker Diarization: Automatische Strukturierung längerer Sendungen (z.b. Sprecherinformationen) Automatische Spracherkennung basierend auf KALDI Deep Neural Networks Sprecherunabhängig durch Verwendung von über 1000 Stunden transkribierten Trainingsmaterials Echtzeitfähig Vokabular: Worte Sprachen: Deutsch und Englisch Service-orientierte Architektur

8 WDR Audiomining-Arbeitsplatz Auf dem Weg zum Archiv der Zukunft erschlossen & nutzbar Proof of Concept für das audio-visuelle Archiv der Zukunft Aktuelle Situation: Sehr hoher Personalaufwand bei der Erschließung und Recherche Nur ca % aller A/V-Inhalte überhaupt erschlossen Das Archiv der Zukunft: Integration einer automatischen Analyse und unterstützten Recherche: Vollständige Erschließung Schnellerer und präziserer Zugriff Kostenersparnis und Effizienzsteigerung nicht erschlossen & verborgen Automatische Spracherkennung Strukturierte Aufbereitung 8

9 EU-Projekt: AXES Access to Audiovisual Archives Projektkontext: EU ( ) Programm: Digital Libraries Projektinhalt: Cross-Modal-Entity Linking (Personen, Orte, Kategorien, Events) Beiträge des Fraunhofer IAIS: Deutsche und Englische Spracherkennung Multimodale Personen-Erkennung Multimodale Event-Erkennung AXES-Video-Web Anwendungspartner:

10

11 Kontakt Fraunhofer Institut IAIS Schloss Birlinghoven St. Augustin Dr. Joachim Köhler Tel: +49 (0) Mail: Multimedia Analytics Schulung: Audiomining: Fraunhofer