Volltexte und OCR am MDZ. Dr. Markus Brantl

Transkript

1 Volltexte und OCR am MDZ Dr. Markus Brantl

2 Agenda 1. OCR im Überblick 2. OCR am MDZ: Inhouse Outsourcing 3. OCR Inhouse Produktion Schritt für Schritt 4. OCR und Outsourcing 5. Projektbeispiel: Integration der Digital Library Copy Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 2

3 Voraussetzung: Guter Scan OCR im Überblick hohe Auflösung, Tiefenschärfe, Seitenausrichtung, wenn möglich: keine Verzerrung 1. Image Enhancement (Flecken entfernen, Binarisierung, Seiten gerade rücken, etc.) 2. Layout Analyse (Aufbau einer Seite, Bilder etc.) 3. Segmentierung (Block, Zeile, Wort, Zeichen) 4. Merkmalserkennung (Zeichen) und Klassifikation (Wörter) 5. Lexikalische Analyse Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 3

4 Open Source Software Tesseract (Google, letztes Release 2011) OCRopus (letztes Release: 2009) OCR Software (Auswahl) Lizenzpflichtige Software Abbyy verschiedene Module Recognition Server SDK Finereader Standalone XIX derzeit einzige Omnifont Fraktur am Markt Arpa PaperIn Book B.I.T. Tomasi BIT Alpha Nuance Omnipage Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 4

5 OCR Anforderungen/ Qualität Wissenschaftler benötigen i.d.r. eine Genauigkeit von 99,95%, um positive Aussagen zum Text machen zu können > Steigende Kosten Qualitäten darunter eignen sich oft in Verbindung mit den Bildern (Highlighting der Treffer im Image) als Mittelweg für die Suche Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 5

6 Die Frage der OCR Qualität? Sehr gut Gut = 99,6 99,95 % = 97 99,5% Durchschnittlich = 90 96% Schlecht = unter 90% Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 6

7 OCR am MDZ 35 OCR Projekte (Antiqua und Fraktur) 24 Projekte mit Dienstleistern Google Projekt: Übernahme und Bereitstellung der Digitalisierungs Daten durch das MDZ (derzeit Titel mit OCR Daten/Volltext) Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 7

8 OCR Produktion: Inhouse und Outsourcing I. Inhouse Produktion II. Produktion via Outsourcing Texte in Antiqua flach erschlossen/strukturiert Texte in Fraktur / Antiqua tief erschlossen/strukturiert Imageproduktion (TIFF) [aus ZEND Workflow] Imageproduktion (TIFF) [ZEND oder Dienstleister] BSB OCR Server Dienstleister OCR/Volltexterfassung nach den Vorgaben der MDZ Leistungsbeschreibung a) OCR b) OCR [ohne Korrektur] [mit Korrektur] Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 8

9 Projekte Auswahl Outsourcing Reichstag Zedler Regesta Imperii dmgh Landtagsprotokolle Inhouse Digi20 ZBLG Jahrbuch für fränkische Landesforschung Passauer Neue Presse Leibniz Publik Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 9

10 Entwicklung von OCR Projekten ZEDLER Projekt 1 (1999): Erfassung der Lemmata Projekt 2 (2004): Kategorisierung der Artikel Volltext (2009 Google) Integration des Google Volltexts in Planung dmgh Projekt ( ) Bild als die einzige zuverlässige Referenz Volltext verborgen Auszeichnung in drei Blöcken Text Anmerkungen Kritischer Apparat Hoher QS Aufwand seitens der MGH Seit Relaunch (2010) auch mit Textanzeige Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 10

11 Produktion im Überblick Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 11

12 Workflow ZEND ZEND= Zentrale Erfassungs- und Nachweis-Datenbank bietet u.a. Abbildung des gesamten Produktionsprozesses in einem modularen System Eigen-Entwicklung auf Basis von Open-Source-Software Workflow-Kontrolle Jedes komplett gescannte Werk der BSB wird mit der ZEND verarbeitet Offen und beliebig skalierbar Unterschiedliche Provider (Scannen, Texterfassung etc.) können unlimitierte Daten an die ZEND liefern Verwaltet alle bei der Produktion anfallenden Metadaten - administrativ, bibliographisch, strukturell (m.volltext), technisch Steuert auch die Inhouse-OCR-Produktion Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 12

13 ZEND im Überblick Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 13

14 Steuerung mittels ZEND OCR Unterstützung Organisatorischer Parameter Digitalisierung Inhouse / Outsourcing Projektzugehörigkeit OCR ja/nein Technischer Parameter Farbtiefe Auflösung Sprachenvorgabe für OCR Erkennung Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 14

15 OCR Inhouse Produktion: Schritt für Schritt Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 15

16 Vorbereitung (1) Projektmanagement / Festlegung der Projektziele / Organisation Klärung der juristischen Rahmenbedingungen (z.b. bei Projekten im 20. Jh.) Sichtung der Vorlagen (Format, Seitenzahlen, Erhaltungszustand, Aufschneiden? etc.) OCR via Outsourcing Pflichtenhefterstellung Formales Ausschreibungs und Vergabeverfahren (ca. 3 Monate!) Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 16

17 Vorbereitung (2) Urheberrechtsfreies Material Materialauswahl für OCR Produktion Urherberrechtsgeschützes Material im Rahmen von Kooperationen Komplettes Buch Nur Text [keine Bilder] Nur bestimmte Abschnitte/Artikel Auswahl der geeigneten Exemplare [ggf. werden beschädigte oder fehlende Seiten durch Seiten aus anderen Exemplaren ersetzt] Auswahl der Produktionsart nach Schriftart: Antiqua Inhouse Fraktur Dienstleister Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 17

18 Materialauswahl: Beispiele für problematisches Ausgangsmaterial Enge Bindung mit Textverlust Verwerfungen im Papier Beschädigte Seiten (z.b. Risse) Restaurierte Seiten (z.b. mit Überklebungen) Schrift (zu klein, kursiv, Formeln, handschriftliches) Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 18

19 Vorbereitung (3) Titelaufnahme in ZEND Erstellen des Digitalisierungsauftrags =>XML Ticket für OCR Produktion Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 19

20 Digitalisierungsauftrag mit OCR Parametern Printmedien: Schrift: Antiqua Imageproduktion Parameter: TIF Format unkomprimiert 300 ppi Graustufen pro Seite ein Image OCR Produktion Parameter: OCR [Standard oder mit Korrektur über Korrekturstation] Spracheinstellung [z.b. German] Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 20

21 Scannen: Handauflage, Roboter oder Einzugsscanner? Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 21

22 Anforderungen an einen guten Scan für OCR Hohe Auflösung 300 ppi, besser 400 (neue Entwicklungen) Farbtiefe in Abhängigkeit von der Vorlage : Farbe, Graustufen bei guter Binarisierung u.u. auch bitonal mit 600 ppi Möglichst keine Verzerrung (Buchfalz) Scan vom Mikrofilm? Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 22

23 ZEND nach dem Scannen Images: Master TIFFs und Derivate: JPEG Es liegt eine erste Strukturdatei vor (logisch/physikalisch) QS der Images mit Webfreigabe =>Zugleich Weiterleitung der TIFFs für 1. digitale Langzeitarchivierung 2. OCR Produktion Verlinkung vom Katalogisat zur Standardpräsentation der ZEND Es gibt eine URN, die über eine OAI Schnittstelle an die DNB gemeldet wird Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 23

24 ZEND QS Images für Webbreitstellung bzw. OCR Qualitätskontrolle der Images im ZEND ToC Editor: Vollständigkeit Korrekte Reihenfolge Scanparameter erfüllt Lesbarkeit Seiten gerade ausgerichtet Seiten korrekt gedreht Weiterleitung der TIFFs an OCR Server oder Reklamation Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 24

25 Standardpräsentation: ZEND Viewer Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 25

26 Vom Image zum maschinenlesbaren Text ambeispiel: Digi20 Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 26

27 Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 27

28 Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 28

29 Inhouse Produktion (nach Scannen und QS) Derzeit beschränkt auf Drucktype Antiqua 2 Maschinen, davon eine als Korrekturstation Verwendung des Abbyy Recognition Server: Sehr gute Qualtität der FineReader Maschine Anhängen von Korrekturstationen XML Ausgabe mit Koordinaten Generierung von PDFs MDZ Workflows: Gesteuert durch XML Tickets 1. Standard (ohne Korrektur) 2. Korrektur via Korrekturstationen (bei entsprechenden Ressourcen) Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 29

30 OCR Ergebnisse OCR Ergebnisse pro Seite eine XML Raw Datei mit den erkannten Buchstaben und deren Koordinaten eine PDF Datei (mittels eines Skriptes werden die einzelnen PDFs automatisiert zu einer einzigen Datei zusammengefasst, die dann für den Download zur Verfügung steht) Result" Datei mit Statistiken zur OCR Erkennung: Anzahl der Zeichen, Erkennungsgenauigkeit etc. Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 30

31 XML Raw: Buchstaben Koordinaten Napoleon Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 31

32 Weitere Arbeitsschritte Ausgangsmaterialien: Images Strukturdaten Volltexte mit Buchstaben Koordinaten Übernahme der Daten in das MDZ Standardformats (TEI P5) Indexierung Web Präsentation Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 32

33 o Alle Metadaten in einem XML-Framework: TEI P5 Administrativ Technisch Bibliographisch Strukturell, wie Volltext oder digitale Inhaltsverzeichnisse MDZ-Standardformat Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 33

34 MDZ Standardformat und OCR Warum? Einheitlichkeit, Nicht proprietärer Standard für LZA Weiterverwendbarkeit Automatische Kontrolle des OCR Output: Vollständigkeit Nicht leer Erkennungsgenauigkeit? Wesentliche Aufgaben : 1. Zusammenführung der Buchstaben zu Worten 2. Zusammenführung der Seiten zu einem zusammenhängenden Dokument 3. Koordinatentransformation 4. Codierung in TEI XML Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 34

35 Bestandteile des MDZ Standardformat Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 35

36 Napoleon : Wort ID mit ZEND ID, Image, Zeilen, Wort Nummer Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 36

37 Koordinaten für Napoleon Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 37

38 Standard Indexierung Verwendung von Apache Solr/Lucene Ausgangsdatei dynamisch generiert Konfigurationsdatei Vorschriften zur Indexierung, Darin Stopwörter, Zeichenersetzungen Vorgaben zur Wortgewichtung u.a. Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 38

39 Web Bereitstellung Verwendung von Apache Cocoon XML Publishing Framework Pipelining Mechanismus Zusammenführung der Bestandteile des digitalen Objekts: XML, ZEND, Bilder, Volltextindex Beispiel: Highlighting Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 39

40 XML Ergebnis der Suche nach Napoleon Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 40

41 Einsatz von SVG (Scalable Vector Graphics) Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 41

42 OCR und Outsourcing Projektmanagement / Dienstleisterführung Pflichtenhefterstellung bei OCR Produktion über Dienstleister Datenbasis: Digitale Master (TIFF) Ausschreibungs Vergabeverfahren bei Produktion über Dienstleister Pflichtenheft für OCR/Volltexte: Vorgaben des MDZ: Lieferbedingungen [Lieferfristen] Netzanbindung (NFS oder CIFS) Testdatenlieferung Ablauf Qualitätssicherung und Korrekturen Produktionsparameter allgemein: Dateiformat [XML, PDF] pro Seite eine XML Datei Dateinamen [ZEND Dateinamen] Erfassungsgenauigkeit [in %] Erfassung der Wortkoordinaten Erfassung der Formatierungen Produktionsparameter speziell: Spezielle/tiefere Textauszeichnung Artikelseparierung Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 42

43 OCR Produktion durch Dienstleister Pflichtenheft für OCR/Volltexte Aufwand für die Erstellung: 1 Pflichtenheft insgesamt oder pro Buch? Voraussetzung: Genaue Materialanalyse bzw. Kenntnis des Inhalts ggf. in Englisch für internationale Dienstleister Beispiel: Ausschnitte aus einem Pflichtenheft Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 43

44 OCR Produktion durch Dienstleister Auswahl des Dienstleisters Anforderung von Testdaten: Vor Auftragsvergabe erfolgt eine Marktsichtung mit Anforderung von Testdaten von ausgewählten, repräsentativen Seiten Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 44

45 Projektbeispiel: Integration von Google: Beispiel Integration Regionalportal der Digital Library Copy Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 45

46 Trefferliste Trefferliste Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 46

47 Snippet-View-Trefferliste mit Trefferanzeige im Image Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 47

48 Image mit Treffer Image mit Treffer und Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 48

49 Treffer in der Volltext-Anzeige Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 49

50 Einige Zahlen Volltexte mit 1,2 Terabyte Indexdaten Vergleich: Gesamt Datenvolumen des MDZ in der Langzeitarchivierung 330 Terabyte (Stand: Sept. 2011) Zeitbedarf für Reindexierung: 9 Tage Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 50

51 Probleme mit OCR( Workflows) Zu späte oder nachträgliche Festlegung der zu erfassenden Strukturen Abstimmung zwischen Vorlagenqualität und gewünschter Textgenauigkeit bzw. struktur (Schriftgröße, Bindung, Erhaltungszustand, Bilder, Tabellen,...) Qualitätskontrolle: wer, wann? was und wie wird kontrolliert? Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 51

52 Contact: Vielen Dank! Vielen Dank! Kontakt: brantl[at]bsb-muenchen.de Acknowledgements: Dr. Birgit Gilcher, Dirk Scholz Roma "Digitization Lifecycle" Dr. Markus Brantl BSB/MDZ 52