Semantische Verfahren und medienübergreifende Empfehlungen im TV-/Medien-Bereich: Neue Aufgaben und konkrete Lösungen.

Transkript

1 Semantische Verfahren und medienübergreifende Empfehlungen im TV-/Medien-Bereich: Neue Aufgaben und konkrete Lösungen Sacha Weinberg

2 Inhalt Kurze Vorstellung Condat Smart Media Engine Basis-Suchmaschine Elasticsearch Projektbeispiel: zdf.de, ZDF-Mediathek Projektbeispiel: DKT: Neue Anwendungsfälle: Serendipity/Brainstorming und Perlentaucher Projektbeispiel: Gvl: Datenbereinigung und Dublettensuche

3 Condat Smart Media Engine Condat Smart Media Engine: Ein auf Semantischen Technologien und frei verfügbaren Datenquellen basierender Analyse-, Suche- und Recommendation-Server Alle Funktionalitäten stehen als REST-HTTP-Services zur Verfügung => Engine integrierbar in Redaktions-Systeme Wissensrepräsentation durch allgemeine und domänenspezifische Ontologien Semantische Beschreibung von Kunden-Datenobjekten mit Semantischen Fingerabdrücken Cross-mediale und Cross-linguale Such- und Recommendation-Prozesse Technische Basis dafür ist Elasticsearch (ältere Systeme: MySQL)

4 CSME Übersicht DBpedia Lokale Ontologie Aktive Ontologie Anforderung: ähnliche Inhalte Open Thesaurus Discogs Erweiterung der aktiven Ontologie bei Bedarf Verlinkung über den semantischen Fingerabdruck Recommendation Textanalyse f Angereicherte Metadaten (gewichtete Nominalphrasen)

5 CSME Hauptanwendungsfälle Automatische und halbautomatische Generierung von Stichwörtern Semantische Suche nach Content Objekttyp-übergreifend (Metadaten, Text, Audio, Video) Sprachen-übergreifend Default Volltextsuche Ähnlichkeitssuche Objekttyp-übergreifend Sprachen-übergreifend Spezialfall Dublettensuche Kategorisierung von Content ( Themen-Kanäle ) Kategorie-basierte Suche Nutzerprofil-Varianten ( Nutzer-Kanäle )

6 Basis-Suchmaschine Elasticsearch Persistierung der Semantischen Fingerabdrücke in Elasticsearch-Indizes Entwicklung spezieller Elasticsearch-Querys, die Skalarprodukte zwischen Fingerabdrücken berechnen Hochperformant und skalierbar Dadurch auch Services für Endkunden realisiert

7 zdf.de, ZDF-Mediathek Ohne CSME, aber sehr ähnliche Verwendung von Elasticsearch Weitere Recommendation-Verfahren auf Basis von Elasticsearch Collaborative Filtering Cluster-basierte Recommender Händische Cluster Automatische Cluster (mittels LDA-Verfahren) Services sehr stark parametrisierbar: Umfangreiche Möglichkeiten von Attribut-Boosting, z. B. Aktualitätsfunktion Umfangreiche Filter, z. B. Zeiträume, Kategorien, Facettierung Fachliches Ergebnis-Tuning Performance-Tuning

8 DKT: Neue Anwendungsfälle in CSME Serendipity/Brainstorming: Zufallskomponente für Empfehlungs-Streuung Finde nicht direkt gesuchten, aber trotzdem passenden Content Perlentaucher: Berücksichtigung von Nutzer-Bewertungen Finde selten konsumierten aber hoch bewerteten, passenden Content

9 DKT: Semantische Suche nach Stichwort mit Suchraumerweiterung

10 DKT: Ähnlichkeitssuche nach Video-Fragmenten

11 DKT: Modus: Serendipity/Brainstorming

12 DKT: Modus: Serendipity/Brainstorming Reload

13 DKT: Modus: Perlentaucher

14 Ähnlichkeitssuche nach Videos Simple-XML-Response

15 DKT: Serenditipity/Brainstorming mit Explanations

16 Gvl: Customizing Anbindung domänenspezifischer Ontologien: discogs, MusicBrainz Textbereinigung nach speziellen Regeln Titel: CamelCase-Schreibweise, Trennzeichen, Ausnahmen, Werkverzeichnisse, Dur-, Moll-Korrektur uvm. Interpreten und Komponisten: wie Titel Künstlersuche, Namenskorrektur und -vereinheitlichung Dublettensuchverfahren Kombiniert nach Identifier und Textattributen Nur nach Textattributen mit Ausnahme-Regeln

17 Danke! Fragen? Kontakt: