OCR-D. Thomas Stäcker KOORDINIERUNGSPROJEKT ZUR WEITERENTWICKLUNG VON OCR-VERFAHREN Gefördert von der Deutschen Forschungsgemeinschaft

Transkript

1 OCR-D KOORDINIERUNGSPROJEKT ZUR WEITERENTWICKLUNG VON OCR-VERFAHREN Gefördert von der Deutschen Forschungsgemeinschaft Thomas Stäcker

2 VD Katalogisierung Bild- Digitalisierung OCR VD VD Bild-digitalisiert Gesamt VD * Gerundete Zahlen

3 Ziel Konzeptionelle Vorbereitung der Transformation der VD- Drucke ( Jh.) und der Drucke des 19. Jh. in maschinenlesbare Form.

4 Herausforderungen Material: Sprachen: v.a. Latein, Deutsch Schriftarten und -ausprägungen: u.a. Antiqua, Fraktur, Kursive verschiedene Textsorten mit spezifischem Layout Verschmutzungen, hs. Annotationen, schlechte Papierqualität, Widerdruck Uneinheitliche Standards Qualitätsbewertung Verteilte Datenhaltung und Neuprozessierung LZA, Persistenz und Versionierung

5 Das Projekt Projektpartner Herzog August Bibliothek Wolfenbüttel Berlin-Brandenburgische Akademie der Wissenschaften, insb. Deutsches Textarchiv (DTA) Bayerische Staatsbibliothek in München 2 Phasen: 1. Aufbau der Koordinierungsstruktur und Konzeption der Projektphase 2. Ausschreibung und konzeptionelle Begleitung der Pilotprojekte

6 Arbeitspakete Standards Workflow & Use Cases Referenzkorpora Qualitätskontrolle Analyse vorhandener Tools Langzeitarchivierung

7 Funktionsmodell Einbindung neuer Erkenntnisse aus den einzelnen Arbeitspaketen Einbindung bestehender Werkzeuge Modularer Aufbau Adaptive Anpassung an verschiedene Bedürfnisse Anpassung an zukünftige Entwicklungen

8 Funktionsmodell

9 Funktionsmodell I Bild-Digitalisat bereitstellen Splitting (optional) Bildvorsortierung

10 Bildvorsortierung Bildvorsortierung Z.B. Layoutanalyse

11 Funktionsmodell II Preprocessing Page Level (z.b. Cropping, Deskewing, Binarisierung) Qualitätskontrolle OLR1: Page Segmentation Preprocessing Segment Level Qualitätskontrolle

12 Preprocessing Page Level - Cropping

13 Preprocessing Page Level - Deskewing

14 Preprocessing Page Level - Binarisierung l

15 Page Segmentation Segmentierung des Bilddigitalisats in Textzonen Nichttextzonen

16 Funktionsmodell - III OCR Qualitätskontrolle OLR 2: Region Classification Qualitätskontrolle

17 OCR & OLR OCR Vgl. bzw. Kombination klassischer Zeichenerkennungsverfahren auf Glyphenebene mit segmentierunsgfreien Ansätzen (z.b. "Deep Learning"-Verfahren auf Basis neuronaler Netze) OLR Region Classification: Bestimmung der layout-semantischen Funktion der einzelnen Regionen (Überschrift, Marginalie, Fußnote etc.) Document Analysis: Extrapolierung der Dokumentstruktur aus den entsprechenden Strukturelementen (Überschrift)

18 Qualitätsprüfung Einbindung verschiedener Qualitätskontrollen im Prozess Binarisierung Layout Analyse Text Segmentation OCR Einordnung der Ergebnisse nach Use Cases (Forschungsfrage)

19 Qualitätsprüfung

20 Qualitätssicherung Grundmethode: Six Sigma DEFINE CONTROL Six Sigma MEASURE IMPROVE ANALYZE

21 Funktionsmodell - IV Merging Nachkorrektur/ Crowdsourcing Qualitätskontrolle LZA

22 Merging

23 Langzeitarchivierung Langzeitarchivierung, Langzeitverfügbarkeit Standardisierte Formate (ALTO, PAGE-XML, TEI (sourcedoc)) Verteilte Datenhaltung ( Problem des besten Textes ) Versionierung Persistente Adressierung

24 Ausblick Modulausschreibung durch die DFG (Sommer 2016) Bildvorsortierung Bildvorverarbeitung Layouterkennung Textvereinigung Trainingsinfrastruktur Schriftenarten-, Glyphen-, Druckereikataloge Qualitätsmessung Nachkorrektur Langzeitarchivierung (LZA) und Persistenz Später: Workflow und Datenlogistik

25 Ausblick Leistungen von OCR-D Beratung bei der Antragstellung und Durchführung Koordinierung Workshops Datenaufbereitung und -bereitstellung Referenz- und Trainingsdaten für Modulprojekte (2. Hälfte 2016) Prüfdaten für die Evaluation der Modulprojektergebnisse (1. Hälfte 2017) Trainingsdaten für die Massenvolltextdigitalisierung (2. Hälfte Hälfte 2018) Technology watch, Literaturliste (Zotero)

26 Kontaktdaten Webseite: Ansprechpartner Elisa Herrmann,