Transkribus. Workshop, Hamburg 22. Jänner Günter Mühlberger

Größe: px

Ab Seite anzeigen:

Download "Transkribus. Workshop, Hamburg 22. Jänner Günter Mühlberger"

Gregor Schreiber
vor 7 Jahren
Abrufe

1 Transkribus Workshop, Hamburg 22. Jänner 2016 Günter Mühlberger Universität Innsbruck Inst. f. Germanistik EU FP7 Projekt transcriptorium H2020 Projekt READ

2 Agenda Begrüßung Vorstellungsrunde Transkribus als Virtuelle Forschungsumgebung Handwritten Text Recognition Training und Recognition Einfache Editionsprojekte selbst aufsetzen Meine Dokumente Ausblick

3 Agenda Begrüßung Vorstellungsrunde Transkribus als Virtuelle Forschungsumgebung Handwritten Text Recognition Training und Recognition Einfache Editionsprojekte selbst aufsetzen Meine Dokumente Ausblick

4 Agenda Begrüßung Vorstellungsrunde Transkribus als Virtuelle Forschungsumgebung Handwritten Text Recognition Training und Recognition Einfache Editionsprojekte selbst aufsetzen Meine Dokumente Ausblick

5 Agenda Begrüßung Vorstellungsrunde Transkribus als Virtuelle Forschungsumgebung Handwritten Text Recognition Training und Recognition Einfache Editionsprojekte selbst aufsetzen Meine Dokumente Ausblick

6 Virtuelle Forschungsumgebung (1) Eine Virtuelle Forschungsumgebung (Virtual Research Environment - VRE) ist eine Arbeitsplattform, die eine kooperative Forschungstätigkeit durch mehrere Wissenschaftlerinnen und Wissenschaftler an unterschiedlichen Orten zu gleicher Zeit ohne Einschränkungen ermöglicht.

7 Virtuelle Forschungsumgebung (2) Inhaltlich unterstützt sie potentiell den gesamten Forschungsprozess von der Erhebung, der Diskussion und weiteren Bearbeitung der Daten bis zur Publikation der Ergebnisse - während sie technologisch vor allem auf Softwarediensten und Kommunikationsnetzwerken basiert.

8 Virtuelle Forschungsumgebung (3) Virtuelle Forschungsumgebungen sind wesentliche Komponenten moderner Forschungsinfrastrukturen und spielen eine entscheidende Rolle für die Produktivität und Wettbewerbsfähigkeit der Forschung.

9 Transkribus Handwritten Text Recognition FP7 Projekt transcriptorium Grundlagenforschung Offline-Trainingsprozess (keine OCR!) Benötigt ca Seiten (bzw bis transkribierte Wörter als Grundlage für das Training) Wie die Technologie verfügbar machen? Hochkomplex, bzw. Forschungsprototypen Benötigt lange Rechenzeiten Benötigt Trainingsdaten Client zur Erstellung von Trainingsdaten hat viele Funktionen, die auch für digitale Editionen notwendig sind Idee einer VFU, die Texterkennung, Transkription, Anreicherung historische Dokumente in den Mittelpunkt stellt READ Projekt (Recognition and Enrichment of Archival Documents) 8,2 Mill. EUR Förderung zur Errichtung des VFU Entwicklung ist somit bis Mitte 2019 gesichert

10 ARCHIVE - BIBLIOTHEKEN Stellen Images und Metadaten bereit Angereicherte Digitale Objekte GEISTES- WISSEN- SCHAFTLER Arbeiten mit den Dokumenten Exportieren TEI, PDF, etc. EXPERTEN & LAIEN INTERFACES DOKUMENTE IN DER CLOUD TRANS- KRIBUS HTR, DIA KWS, NLP, AWI, HPC Erhalten Referenzdaten Verbesserte Algorithmen & Tools COMPUTER- WISSEN- SCHAFTLER & FIRMEN WEBSEITE Arbeitet mit (Crowd-Sourcing) Profitiert von erweiterten Suchmöglichkeiten ÖFFENTLICHKEIT EHRENAMTLICHE

11 Services für Geisteswissenschaftler Erstellung (einfacher) Digitaler Editionen Von der Akquirierung von Digitalisaten, der Koordination eines Teams, der Bearbeitung der Digitalisate, der Transkription, der Metadatenaufbereitung und der späteren Publikation Nicht: Historisch-kritische Ausgaben Verbesserte Suchmöglichkeiten (KWS) Verbesserte Suche kann durch Erstellung von Referenzdaten verbessert werden Neue Recherchemöglichkeiten Tabellen- und Formulareditor Page Image Explorer Automatic Writer Identification Mobile App ScanApp, Reviewing App E-Learning Modul

12 Verbesserte Suche

13 Tabellen-Editor

14 E-Learning Modul er war immer so besorgt Check:... Or Cheat

15 diesen Schmerz kann Check:... Or Cheat

16 noch nichts da. ein Andenken Check:... Or Cheat

17 Kameraden der es euch schiken Check:... Or Cheat

18 Website Transkribus

19 Agenda Begrüßung Vorstellungsrunde Transkribus als Virtuelle Forschungsumgebung Handwritten Text Recognition Training und Texterkennung Einfache Editionsprojekte selbst aufsetzen Meine Dokumente Ausblick

20 Resultate Trainingsdaten Beschreibung Word Error Rate Bentham (ca. 450 Seiten) Austen (ca. 150 Seiten) Reichsgericht (ca. 90 Seiten) Schriften von J. Bentham und Sekretären, spätes 18. Jhd., Englisch Schriften von Jane Austen ( ) Drei Gerichtsschreiber Reichsgericht, Anfang 20. Jhd. 22.0% 9.9% Character Error Rate 32.2% 15.9% 33.2% 14.5% Einen wesentlichen Anteil an der Wortgenauigkeit spielt das zugrundeliegende Wörterbuch (Korpus), da nur Worte aus dem Wörterbuch erkannt werden können!

21 Wie erstelle ich Trainingsdaten? Dokument mit mind. 50 besser mehreren hundert Seiten hochladen Nicht: Sehr heterogene Dokumente Nicht: Dokumente mit Tabellen u.ä. Nicht: schlecht gescannte, verzogene Seiten Textblöcke und Baselines segmentieren Diplomatisch, aber pragmatisch transkribieren Offline Training (Innsbruck) Anwendung des HTR Modells

22 Interface 13/01/2016

23 Agenda Begrüßung Vorstellungsrunde Transkribus als Virtuelle Forschungsumgebung Handwritten Text Recognition Training und Recognition Einfache Editionsprojekte selbst aufsetzen Meine Dokumente Ausblick

24 Plattform Funktionen User Management Alle Dokumente sind grundsätzlich privat Privilegien des Urheberrechts für Forschung, Lehre und Privatpersonen können vollständig genutzt werden Rollen: Owner, Editor, Transcriber Owner bestimmt, wer Zugang zum Dokument hat und wer Zugang geben darf Dokumenten Management Jedes Dokument muss in einer Sammlung liegen Rechte werden auf Sammlungsebene vergeben, nicht auf Dokumentenebene Dokumente können in mehr als einer Sammlung liegen Einzelne Seiten können in Dokumenten ausgetauscht werden

25 Weitere Funktionen Metadatenverwaltung Vergabe von Strukturellen Metadaten völlig frei Editorial Declaration frei konfigurierbar Tagging Typische TEI Tags: Personen, Orte, Datum, Auslassungen, Abkürzungen, Ergänzungen, unleserliche Wörter, Korrekturen, Durchstreichungen, etc. Frei konfigurierbar: Beliebige Tags können angelegt und mit beliebigen Attributen ausgestattet werden (sehr mächtiges Instrument) Tags können durchsucht und sortiert werden Tags können normalisiert werden (z.b. häufige Abkürzungen nur einmal aufgelöst)

26 Weitere Funktionen Exportfunktionen Jedes Dokument kann jederzeit NUR vom Sammlungsteam exportiert und lokal weiterbearbeitet werden Diverse Formate, um möglichst viele Anwendungen zu unterstützen PDF Zum Austausch mit KollegInnen Bild im Vordergrund, Text im Hintergrund Durchsuchbarkeit Extra Textseiten Highlighten von Tags RTF Zum Offline-Lesen, Schlusskorrekturen, etc. Fließtext für Word, etc. Excel Zum Exportieren der Tags (Übersicht über alle verwendeten Tags) METS Originalimages, Original-XML Dateien (PAGE) Für Bibliotheken geeignetes Format, bzw. Internes Format für Transkribus (um Seiten lokal öffnen zu können)

27 Weitere Funktionen Web Interface Preview des Crowd-sourcing Interface (TSX) Web-Services (Maschinenlesbarkeit) Einbindung in andere Systeme sehr einfach Auch hier sind die Daten nur mittels Username und Passwort verfügbar, d.h. der Sammlungsleiter entscheidet, wer die Daten automatisiert abgreifen kann Speicherung Dokumente liegen am Netzwerkspeicher der Universität Innsbruck (tägliches Backup, verteilte Struktur) Hohe Ausfallssicherheit, geringes Risiko des Datenverlustes (v.a. im Vergleich zu lokalen Lösungen) Uni Innsbruck kann allerdings keine Garantie übernehmen solange nicht entsprechende nationale Strukturen existieren

28 Agenda Begrüßung Vorstellungsrunde Transkribus als Virtuelle Forschungsumgebung Handwritten Text Recognition Training und Recognition Einfache Editionsprojekte selbst aufsetzen Meine Dokumente Ausblick

29 Agenda Begrüßung Vorstellungsrunde Transkribus als Virtuelle Forschungsumgebung Handwritten Text Recognition Training und Recognition Einfache Editionsprojekte selbst aufsetzen Meine Dokumente Ausblick

30 Ausblick READ Projekt Erstes Projektjahr Kick-off Meeting für READ von in Marburg Aufnahme von ca. 10 Archiven in die Plattform Ausarbeitung des Webinterface für Digitale Editionen mit Suchfunktion und Publikationsmöglichkeit Umwandlung der Betaversion in eine echte Produktivversion (v.a. Hintergrundprozesse stärken) Einbau weiterer Tools (Wortsegmentierung, KWS Query by Example, HTR auf NN Basis, Automatic Writer Identification ) Organisation diverser Wettbewerbe Grundlagenforschung in den Bereichen HTR, Layout Analyse, Document Understanding, Table Recognition, etc. Pilotprojekte im Rahmen dieses Workshops Follow up Workshop mit TeilnehmerInnen Jede Rückmeldung ist willkommen!

31 Neu! User s guide: Vielen Dank für Ihre Aufmerksamkeit! @transkribus.eu

Ähnliche Dokumente

Transkribus für Studierende Konzept einer e-learninganwendung.

Transkribus für Studierende Konzept einer e-learninganwendung. Günter Mühlberger Universität Innsbruck Inst. f. Germanistik EU FP7 Projekt transcriptorium H2020 Projekt READ Virtual Research Environment