Inhaltsanalyse und CONTENTUS

Transkript

1 Inhaltsanalyse und semantische Verknüpfungen in CONTENTUS

2 Überblick Hintergrund und Motivation Der CONTENTUS Ansatz Inhaltsanalyse Semantische Verknüpfung Zusammenfassung 2

3 Hintergrund X Neue Technologien für das Internet tder Dienste Gefördert durch das Bundesministerium für Wirtschaft und Technologie Konsortium von ca. 60 Partnern aus Industrie und Forschung X C O NTENTUS Use Case in THESEUS Technologien für multimediale Archive der nächsten Generation 3

4 Motivation Viele, umfangreiche multimediale Archive, z.b. in: Bibliotheken, Museen Sendeanstalten, Medienarchiven Onlinearchive Großes Potential: Inhalte nachzunutzen, an Kunden zu verkaufen Interessierten bereitstellen Typische Probleme bei der Nutzung Medien analoger Form kaum nachnutzbar Medien vom Zerfall bedroht Qualitätsprobleme Inhalte schlecht beschrieben Zum Teil gewaltiger Umfang der Archive erschwert Suche Sinnzusammenhänge zwischen Inhalten sind unklar 4

5 Medienzerfall Ursachen Unsachgemäße Lagerung Materialermüdung Auswirkungen (Beispiele) Print:Ausbleichen, Zersetzung durch Säure Film: Kratzer, Verschmutzungen, Verzerrungen Magnetbänder: Drop outs Optische Medien: Zersetzung der Beschichtungen 5

6 Herausforderung Digitalisierung Möglicher Qualitätsverlust Ungeeignete Hardware Fehlerhafte Einstellungen Mangelndes Qualitätsbewusstsein Ziele Rationalisierung des Digitalisierungsvorgangs durch Teilautomatisierung der Qualitätsüberwachung Kontinuierliche i Qualitätsprüfung während des Auftrags 6

7 Metadaten Für die spätere Nutzung entscheidend Suche Abgrenzung von Medien Semantische Verknüpfungen Mögliche Probleme Metadaten nicht immer vorhanden / vollständig Erschließung zeitaufwändig und fehleranfällig Interkompatibilität von Metadatenquellen Vokabular, Datenformate, Methodik / Regelwerk 7

8 Zugriff und Nutzung Einschränkungen gegenwärtiger Suchansätze Nur bdi bedingt geeignet tfür multimediale l Inhalte Suche und Zugriff oft getrennt Zusammenhänge zwischen Medien oft nicht transparent Zusätzliche Herausforderungen Rechtliche Probleme Daten ohne Metadaten kaum zu finden 8

9 9

10 Automatic Automatic Semantic Digitization Quality Content Metadata Control Analysis Linking Open Knowledge Networks Semantic Multimedia Search medienspezifisch medienübergreifend 10

11 1 2 Automatic Digitization Quality Control 11

12 Qualitätskontrolle Oftmals notwendig Ausgangsmedien sind u.u. schon im Verfall Digitalisierung kann selbst Qualitätsprobleme verursachen Entscheidend für weitere Verarbeitung (Inhaltsanalyse) Ziele: Automatisierung und Effizienz Manuelle Qualitätskontrolle ist teuer (Zeit/Kosten) Archive sind u.u. zu groß für manuelle Verarbeitung 12

13 Quality Control: De Warping 13

14 Quality Control: Scratch Removal Defect automatically detected 14 Defect automatically removed

15 1 2 3 Automatic Digitization Quality Control Automatic Content Analysis medienspezifisch 15

16 Inhaltsanalyse Digitalisierung reicht nicht Was enthalten die Medien? Beschreibende Metadaten helfen bei Suche und Zugriff Zielgerichtete Suche Für Unterscheidung ähnlicher Inhalte wichtig Ziel: Automatisierung Manuelle Analyse ist aufwändig: ca Stunden Arbeit für 1 Stunde audiovisuellen Inhalts 16

17 Inhaltsanalyse: Ablauf am Beispiel Print Digitalisat OCR Strukturerkennung Entitätenerkennung & Klassifikation 17

18 Inhaltsanalyse: Segmentierung von Seiten Automatische Identifikation von Artikeln Überschriften Bildern, Bildunterschriften Lesereihenfolge Wichtig für die Suche 18

19 Inhaltsanalyse: Entity Recognition Identifikation von Bedeutungen, Unterscheidung von Entitäten Über Kohl höhnte Strauß: Er wird nie Kanzler werden. Genauigkeit Trefferquote F-Maß Die Zeit, Personen 92.06% (89.4%) 88.85% (88.4%) 90.42% (88.9%) Orte 90.74% (80.2%) 86.21% (71.6%) 88.42% (75.7%) Organisationen 85.81% (79.4%) 74.59% (54.5%) 78.71% (64.6%)» Analyse der Wortumgebung und -kontext» Kohl in einem Satz mit Kanzler vermutlich eine Person» Kohl in einem Satz mit kochen eher ein Gemüse Automatische Klassifikation durch Vergleich mit externen Quellen (z.b. Wikipedia) 19

20 Inhaltsanalyse: Disambiguierung SPD-Fraktionschef Michael Müller ist erneut in seinem Amt bestätigt worden. ( Handball-Nationalspieler Michael Müller vom TV Großwallstadt hat sich für einen Wechsel entschieden. ( Das Sachverständigenbüro Michael Müller ist ein Familienunternehmen. ( Michael Müller (SPD) Michael Müller (Handballspieler) Michael Müller (wikipedia.de) (wikipedia.de) Genauigkeit Trefferquote F-Maß Performanz 92.64% 92.93% 92.79% 20

21 Automatic Automatic Semantic Digitization Quality Content Metadata Control Analysis Linking medienspezifisch medienübergreifend 21

22 Semantische Verknüpfungen von Metadaten Integration und Verknüpfung aus verschiedenen Quellen Intellektuell erfasst Automatisch erzeugt Aus externen Quellen (Internet) Motivation Integrierte Präsentation von relevanten Informationen Verdeutlichung der Beziehungen zwischen Medien und Entitäten 22

23 Externe Lübeck Datenquellen Normdaten PND Wikipedia 5 6 Von der Taufschale und vom Großvater in Bei Tienappels. Und von Hans Castorps 2:28 3:45 MusicBrainz 7 Ehrbare Verfinsterung 3:08 23

24 Automatic Automatic Semantic Digitization Quality Content Metadata Control Analysis Linking Open Knowledge Networks Semantic Multimedia Search medienspezifisch medienübergreifend 24

25 25

26 26

27 Anzeige von erkannten Entitäten 27

28 CONTENTUS Technologien für Multimedia Archive der nächsten Generation Fokus auf automatische Verfahren und Semantik Abdeckung der gesamten Prozesskette von der Digitalisierung bis zur Nutzung Digitization Automatic Automatic Semantic Open Semantic Quality Content Metadata Knowledge Multimedia Control Analysis Linking Networks Search 28

29 Inhaltsanalyse und semantische Verknüpfungen in CONTENTUS