Integration von ecodicology in die DARIAH Dienstewelt

Transkript

1 Integration von ecodicology in die DARIAH Dienstewelt Danah Tonne, Rainer Stotzka KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft

2 ecodicology Algorithmen zum automatischen Tagging mittelalterlicher Handschriften! Laufzeit: 3 Jahre ( )! Zur Zeit in Bewilligung durch das Bundesministerium für Bildung und Forschung (BMBF) Expertise des Konsortiums Technische Universität Darmstadt Center for Digital Humanities/ Universität Trier Karlsruher Institut für Technologie Stadtbibliothek Trier Fachwissenschaftler, ehumanities Methoden Fachwissenschaftler, ehumanities Methoden Informatiker, Datenmanagement, Mustererkennung Bestand mittelalterlicher Handschriften, Digitalisierungszentrum 2 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

3 Die Daten des Virtuellen Skriptoriums!!!! digitalisierte Kodexseiten Dateien in verschiedenen Formaten 5 Terabyte Gesamtvolumen Zentraler Speicherort im lokalen Rechenzentrum Anforderungen an ein verteiltes Speichersystem! Dateneinspeisung von beliebigen Standorten! Zugriff mit diversen Anwendungen von beliebigen Standorten! Sichere Datenhaltung, z.b. durch! Replikation zu verschiedenen Servern! Datenintegritätsüberprüfungen (unterschiedliche Intervalle) und Ersetzen von beschädigten Repliken 3 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

4 Architektur des verteilten Speichersystems Standort Trier Dateneinspeisung von einem lokalen Computer Automatische Replikation zu einem Server Im Rechenzentrum Zugriff per Internet und DFG-Viewer 4 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

5 Architektur des verteilten Speichersystems Standort Trier Dateneinspeisung von einem lokalen Computer Standort Karlsruhe Replikation Automatische Replikation zu einem Server Im Rechenzentrum Large Scale Data Facility 5 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

6 Architektur des verteilten Speichersystems Standort Trier Dateneinspeisung von einem lokalen Computer Standort Karlsruhe Standort Darmstadt /... Replikation Replikation Automatische Replikation zu einem Server Im Rechenzentrum Large Scale Data Facility 6 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

7 Architektur des verteilten Speichersystems Standort Trier Dateneinspeisung von einem lokalen Computer Standort Karlsruhe Zugriff per Internet auf alle Standorte Standort Darmstadt /... Replikation Replikation Automatische Replikation zu einem Server Im Rechenzentrum Large Scale Data Facility 7 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

8 Aktueller Status Anforderung Einspeisung Zugriff Replikation Integritätsüberprüfungen Status Möglich an jedem Standort Möglich an jedem Standort Mind. drei Repliken der Dateien zu jedem Zeitpunkt Monatliche Überprüfung der Prüfsumme in Karlsruhe, ebenso Überprüfung bei jeder Replikation! Installation mit den Standorten Trier und Karlsruhe! Nutzung des Datenmanagementsystems irods! Erweiterungen möglich! In Produktion: 325 Kodizes (3.6 Terabyte) eingespeist 8 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

9 Die Idee von ecodicology!!!! 9 Empirische Analyse: Schreibercorpora, Schreibschulen, Tagging von Merkmalen! Zeilenanzahl! Seitengröße! Schriftraumgröße! Bildraumgröße! Abstände! (Tinten-)Farben!... Zusätzliche beschreibende Metadaten Menge von objektiven, reproduzierbaren Merkmalen Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

10 Mustererkennungsprozess Datenzugriff 10 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

11 Mustererkennungsprozess Datenzugriff Vorverarbeitung, Normalisierung 11 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

12 Mustererkennungsprozess Datenzugriff Vorverarbeitung, Normalisierung Segmentierung interessanter Objekte 12 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

13 Mustererkennungsprozess Datenzugriff Vorverarbeitung, Normalisierung x x Segmentierung interessanter Objekte y y Extraktion globaler Merkmale Extraktion Objektmerkmale 13 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

14 Mustererkennungsprozess Datenzugriff Vorverarbeitung, Normalisierung Segmentierung interessanter Objekte <xml>... <width>x</width> <height>y</height>... </xml> Extraktion globaler Merkmale Extraktion Objektmerkmale Speicherung in Metadaten 14 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

15 Mustererkennungsprozess Datenzugriff Herausforderung Annahme: 1 Minute Prozessierung pro Seite Vorverarbeitung, Normalisierung Segmentierung interessanter Objekte à ~ 4 Monate für das Virtuelle Skriptorium Extraktion globaler Merkmale Extraktion Objektmerkmale Speicherung in Metadaten 15 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

16 Aufbau von ecodicology Digitalisierung Dateneinspeisung Automa<sches Tagging WissenschaAliche Auswertung Ideen für neue Tags (Algorithmen) Prozessierung (Tagging) Web Portal Sta<s<sche Analyse und Auswertung Algorithmen- Bibliothek Daten- speicher Daten- intensives Compu<ng Nahtlose Anbindung der DARIAH und TextGrid Infrastruktur 16 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

17 DARIAH! ESFRI (European Strategy Forum on Research Infrastructures) Projekt für die Geistes- und Kulturwissenschaften! Basiert auf nationalen Teilprojekten! Zielsetzung:! Aufbau einer nachhaltigen Forschungsinfrastruktur in enger, internationaler Kooperation! Verankerung digitaler Forschungsmethoden! Zugang zu digitalen Forschungsdaten! Unterstützung der Fachwissenschaftler! Fachwissenschaften (z.b. Archäologie, Musikwissenschaften, Judaistik, Philosophie, Literaturwissenschaften,... )! Informatiker + Rechenzentren 17 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

18 DARIAH- DE Stand: November 2012 DARIAH- DE: DIGITALE FORSCHUNGSINFRASTRUKTUR FÜR DIE GEISTES- UND KULTURWISSENSCHAFTEN Portal LEHRE FORSCHUNG FORSCHUNGS- DATEN TECHNISCHE INFRA- STRUKTUR Summer Schools Erkenntnis- interesse SoAware Hos<ng Services Metadaten SoAware Hos<ng Services Demonstratoren und fachwissenschaaliche Dienste MEISE Entwicklung von Diensten auf Anforderung Basisdienste Forschungs- frage Pla_orm und Infrastruktur Hos<ng Services Archive in a Box Generische Dienste Rechtliche Aspekte Kollabora<ve Arbeitsumgebungen (Wiki, Developer Portal, Etherpad) Expertenseminare Methodenworkshops Curricula Recherche/ Erschließung Voyant Tools Geo- Browser Monasterium Personen- daten PID Service Analyse Digitale Methoden und Verfahren Rela<onen im Raum Interoperabilität Normdaten Generische Suche Collec<on Registry Schema Registry Storage, Archive Bereitstellung VM mit Basissystem Inter- preta<on Differenzanalyse Virtuelles Skriptorium Daten- banken Bereitstellung virtueller Computer- Cluster Publika<on Ontologien Datenzentren Crosswalks Opera<ve IT- Dienste AAI Sicherheit Qualitätssicherung Ressourcen Monitoring Help Desk Beratung Dokumenta<on Standardisierung Community Building

19 Portal DARIAH-Dienstewelt LEHRE 19 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

20 Portal DARIAH-Dienstewelt LEHRE Pla$orm und Infrastruktur Hos2ng Services Bereitstellung VM mit Basissystem Bereitstellung virtueller Computer- Cluster 20 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

21 Portal DARIAH-Dienstewelt LEHRE Pla$orm und Infrastruktur Hos2ng Services Bereitstellung VM mit Basissystem Bereitstellung virtueller Computer- Cluster Opera&ve IT- Dienste AAI Sicherheit Qualitätssicherung Ressourcen Monitoring Help Desk 21 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

22 Portal DARIAH-Dienstewelt LEHRE So9ware Hos2ng Services Basisdienste KollaboraRve Arbeitsumgebungen (Wiki, Developer Portal, Etherpad) PID Service Storage, Archive Daten- banken Opera&ve IT- Dienste AAI Sicherheit Qualitätssicherung Pla$orm und Infrastruktur Hos2ng Services Bereitstellung VM mit Basissystem Bereitstellung virtueller Computer- Cluster Ressourcen Monitoring Help Desk 22 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

23 Storage, Archive Storage: Langfristiger, redundanter Speicher auf Dateiebene Spezifizierte Schnittstelle (HTTP, REST) Aut. Datenintegritätsüberprüfungen Unabhängig vom Speicherbackend Genutzt von DARIAH + TextGrid Archive: Höherwertiger Dienst zur langfristigen, referenzierbaren Datenspeicherung Verknüpfung von Storage, Autorisierung, Authentifizierung und PID-Service Intuitive, graphische Benutzeroberfläche 23 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

24 Portal DARIAH-Dienstewelt LEHRE So9ware Hos2ng Services Basisdienste KollaboraRve Arbeitsumgebungen (Wiki, Developer Portal, Etherpad) PID Service Storage, Archive Daten- banken Opera&ve IT- Dienste AAI Sicherheit Qualitätssicherung Pla$orm und Infrastruktur Hos2ng Services Bereitstellung VM mit Basissystem Bereitstellung virtueller Computer- Cluster Ressourcen Monitoring Help Desk 24 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

25 Portal DARIAH-Dienstewelt LEHRE So9ware Hos2ng Services Generische Dienste Entwicklung von Diensten auf Anforderung Geo- Browser Generische Suche CollecRon Registry Schema Registry So9ware Hos2ng Services Basisdienste KollaboraRve Arbeitsumgebungen (Wiki, Developer Portal, Etherpad) PID Service Storage, Archive Daten- banken Opera&ve IT- Dienste AAI Sicherheit Qualitätssicherung Pla$orm und Infrastruktur Hos2ng Services Bereitstellung VM mit Basissystem Bereitstellung virtueller Computer- Cluster Ressourcen Monitoring Help Desk 25 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

26 Portal DARIAH-Dienstewelt LEHRE So9ware Hos2ng Services Demonstratoren und fachwissenscha;liche Dienste MEISE Archive in a Box Generische Dienste Entwicklung von Diensten auf Anforderung Voyant Tools Geo- Browser Monasterium Personen- daten RelaRonen im Raum Interoperabilität Normdaten Generische Suche CollecRon Registry Schema Registry Differenzanalyse Virtuelles Skriptorium So9ware Hos2ng Services Basisdienste KollaboraRve Arbeitsumgebungen (Wiki, Developer Portal, Etherpad) PID Service Storage, Archive Daten- banken Opera&ve IT- Dienste AAI Sicherheit Qualitätssicherung Pla$orm und Infrastruktur Hos2ng Services Bereitstellung VM mit Basissystem Bereitstellung virtueller Computer- Cluster Ressourcen Monitoring Help Desk 26 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

27 Portal DARIAH-Dienstewelt LEHRE Portal So9ware Hos2ng Services Demonstratoren und fachwissenscha;liche Dienste Generische Dienste Entwicklung von Diensten auf Anforderung Geo- Browser ecodicology TextGridRep Generische Suche CollecRon Registry Schema Registry So9ware Hos2ng Services Basisdienste KollaboraRve Arbeitsumgebungen (Wiki, Developer Portal, Etherpad) PID Service Storage, Archive Daten- banken Opera&ve IT- Dienste AAI Sicherheit Qualitätssicherung Pla$orm und Infrastruktur Hos2ng Services Bereitstellung VM mit Basissystem Bereitstellung virtueller Computer- Cluster Ressourcen Monitoring Help Desk 27 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt

28 Zusammenfassung Kodikologen + Bearbeitung große Mengen an Kodizes + Berechnung von reproduzierbaren Merkmalen + subjektiver Blick kann objektiviert werden + Einfacher Zugang zur Forschungsinfrastruktur DARIAH + Erweiterung der Infrastruktur (datenintensives Computing) + Neue/verbesserte Algorithmen zur Mustererkennung + Mehrwert/Unterstützung für die Fachwissenschaftler Neue Forschungsfragen, -werkzeuge und -möglichkeiten 28 Danah Tonne, Rainer Stotzka Integration von ecodicology in die DARIAH Dienstewelt