Die Bildähnlichkeitssuche eine Hilfe bei der Bilderschließung? Thomas Meiers Fraunhofer HHI Berlin Dr. Thomas Wolf Bayerische Staatsbibliothek

Transkript

1 Die Bildähnlichkeitssuche eine Hilfe bei der Bilderschließung? Thomas Meiers Fraunhofer HHI Berlin Dr. Thomas Wolf Bayerische Staatsbibliothek

2 Motivation Massendigitalisierung Große Vielfalt an Material vom 8. bis zum 21. Jahrhundert Handschriften, Alte Drucke, Landkarten, Zeitungen, Bücher, Unterschiedlichste Qualität des Ausgangsmaterials inhaltliche Erschließung hinkt hinterher Suche nach neuen Wege der Erschließung jenseits von OCR jenseits von textbasierten Metadaten Mehrwert für den Nutzer 2

3 Die Bildähnlichkeitssuche Ein Projekt von BSB in Zusammenarbeit mit Fraunhofer HHI 2011: Erste prototypische Umsetzung (mit 250 Werken) 2012: Sukzessive Optimierung und Erweiterung Online seit April

4 Anforderung 1 Abbildungen in Büchern erkennen 4

5 Anforderung 2 Mehrere Abbildungen pro Buchseite identifizieren 5

6 Anforderung 3 Text-Bild-Trennung! 6

7 Datengrundlage der Bildsuche 1,2 Mio. digitalisierte Werke vom 8. bis zum 21. Jahrhundert mit enthielten 43 Mio. einzelne Bilder bzw. Bildsegmente 7

8 Wie es funktioniert 8

9 Wie es funktioniert: Analyse und Indexierung der suchbaren Dokumente 1.Text-Bild-Trennung 9

10 Wie es funktioniert: Analyse und Indexierung der suchbaren Dokumente 1.Text-Bild-Trennung 2.Visuelle Analyse

11 Wie es funktioniert: Analyse und Indexierung der suchbaren Dokumente 1.Text-Bild-Trennung 2.Visuelle Analyse Irrelevante Bilder herausfiltern 11

12 Wie es funktioniert: Analyse und Indexierung der suchbaren Dokumente 1.Text-Bild-Trennung 2.Visuelle Analyse Indexing Indexfile / DB doc-id: 12 page-id: 33 no-on-page: 1 boundingbox: doc-id: 12 page-id: 33 no-on-page: 2 boundingbox: Irrelevante Bilder herausfiltern 12

13 Text-Bild-Trennung Grauwertbild Rand entfernt binarisiert 13

14 Text-Bild-Trennung Löcher füllen n 2 n = 1 n > 2 morphologische Operation 14

15 Text-Bild-Trennung 15

16 Visuelle Analyse: Kanteninformation... Kantenhistogramm 16

17 Visuelle Analyse: Farbinformation Color Layout Color Histogram Farbdeskriptor 17

18 Visuelle Analyse: Deskriptor Zusammenfassung der Kanten- und Farbinformation zu einem Deskriptor (96 Byte) Distanz zwischen zwei Deskriptoren Kanteninformation Farbinformation Deskriptor Distanz: dk Distanz: df Deskriptor Distanz = dk + (1 - ) df, wobei 0 1 Ähnlichkeit wird aus der Distanz berechnet: sim = exp(-dist) 18

19 Analyse und Indexierung der suchbaren Dokumente 1.Text-Bild-Trennung 2.Visuelle Analyse 4.Indexing Indexfile / DB doc-id: 12 page-id: 33 segment-id: 1 boundingbox: doc-id: 12 page-id: 33 segment-id: 2 boundingbox: Irrelevante Bilder herausfiltern 19

20 Visuelle Analyse: Irrelevante Bilder herausfiltern Zusammenstellung von repräsentativen Klassen Für jede Klasse wird ein Klassifizierer (Support Vector Machine) mit Hilfe der Deskriptoren trainiert Durchlauf der Kaskade von Klassifizierern Training Klassifizierer true 20

21 Visuelle Analyse: Irrelevante Bilder herausfiltern Buchdeckel, leere Seiten, Farb- und Grauwertskalen Stempel, Klammern, Hände, Fleckige Seiten, Musiknoten, Tabellen 21

22 Analyse und Indexierung der suchbaren Dokumente 1.Text-Bild-Trennung 2.Visuelle Analyse 4.Indexing Indexfile / DB doc-id: 12 page-id: 33 no-on-page: 1 boundingbox: doc-id: 12 page-id: 33 no-on-page: 2 boundingbox: Irrelevante Bilder herausfiltern 22

23 Wie es funktioniert: Ähnlichkeitssuche Der Deskriptor einer Suchanfrage wird mit den Deskriptoren der Datenbank verglichen (Kanten / Farbgewichtung einstellbar) Datenbank Suchanfrage (Beispielbild) Vergleich

24 Wie es funktioniert: Ähnlichkeitssuche Ergebnis: Liste ähnlicher Bilder zusammen mit der Information über Dokument, Seite, einnehmendes Rechteck auf der Seite 24

25 Systemaufbau als Client-Server-Applikation konzipiert Die Server-Applikation wird als Dämon gestartet PHP-Anfragen werden vom Client gestartet (Clientseite bildet eine PHP-Klasse) Schnittstellen sind aus Effizienzgründen übersichtlich gehalten PHP-Wrapper C++ Library 25

26 Systemaufbau Grundlegende Datentypen (SearchID, Bildsegment, Result, BoundingBox) Prüfmethoden (getstatus, haserror, geterror, ping) Analyse, Indexierung: Indexfile anlegen, löschen; Bild hinzufügen, löschen, aktualisieren; Segmentabfrage) Ähnlichkeitssuche: Vorgabe indexiertes Bild, Datei, Link Parallelisierbarkeit von Analyse und Suche: Die Anzahl der CPU- Kerne kann jeweils für die Analyse und Suche vorgegeben werden System ist skalierbar! 26

27 Erkennungsgenauigkeit 27

28 Erkennungsgenauigkeit 28

29 Erkennungsgenauigkeit 29

30 Erkennungsgenauigkeit 30

31 Erkennungsgenauigkeit 31

32 Erkennungsgenauigkeit 32

33 Erkennungsgenauigkeit 33

34 Anwendungsfall I 34

35 35

36 36

37 37

38 38

39 39

40 40

41 Anwendungsfall II 41

42 42

43 43

44 44

45 45

46 46