Das TextGrid & DARIAH-DE Repositorium

Transkript

1 Das TextGrid & DARIAH-DE Repositorium Referenzierung und Publikation von geisteswissenschaftlichen Forschungsdaten Stefan E. Funk Stefan Schmunk SUB Göttingen

2 Überblick DARIAH-DE Anforderungen von FachwissenschaftlerInnen Das Repositorium Architektur und Implementierung (Nach-)Nutzungsperspektiven

3 Portal Das TextGrid & DARIAH-DE Repositorium Überblick DARIAH-DE: DIGITAL RESEARCH INFRASTRUCTURE FOR THE ARTS AND HUMANITIES TEACHING RESEARCH RESEARCH DATA TECHNICAL INFRA- STRUCTURE Workshops on Methods Initial Research Interest Software Hosting Services Software Hosting Services Demonstrators and Academic Services MEISE Development on Demand Basic Services Research Question DIGIVOY Generic Services Geo- Browser Collaborative Working Environments (Wiki, Developer Portal, Etherpad) Information Gathering Virtuelles Skriptorium Archive in a Box Authority file Services PID Service Analysis Digital Methods and Practices Metadata Legal Aspects Ontologies Platform und Infrastructure Hosting Services Colloquia for Experts Workshops for Academics Person Data Repository Relationen im Raum Interoperability Authority files Generic Search Collection Registry Storage, Archive Schema Registry Provision of Virtual Machines Summer Schools Interpretation Comparative Analysis Monasterium Research Data Management Databases Curricula Publication Crosswalks Operational IT Services AAI Security Quality Control Resources Monitoring Help Desk Consulting Documentation Standardization Community Building DARIAH-DE June 2013

4 Anforderungen von FachwissenschaftlerInnen Forschungsdaten Unter digitalen geistes- und kulturwissenschaftlichen Forschungsdaten werden innerhalb von DARIAH-DE all jene Quellen und Ergebnisse verstanden, die im Kontext einer geistes- und kulturwissenschaftlichen Forschungsfrage gesammelt, beschrieben, ausgewertet und/oder erzeugt wurden und in maschinenlesbarer Form zum Zwecke der Archivierung, Zitierbarkeit und zur weiteren Verarbeitung aufbewahrt werden können.

5 Anforderungen von FachwissenschaftlerInnen Forschungsdaten / Wissenschaftliche Sammlungen Unter digitalen geistes- und kulturwissenschaftlichen Forschungsdaten Digitale werden und / oder innerhalb digitalisierte von DARIAH-DE Daten all jene Quellen Digitale und Repräsentation Ergebnisse verstanden, analoger die Daten im Kontext einer geistes- und kulturwissenschaftlichen Forschungsfrage Normdaten gesammelt, / Kontrollierte beschrieben, Vokabulare ausgewertet und/oder erzeugt wurden Metainformationen und maschinenlesbarer Form zum Zwecke der Archivierung, Zitierbarkeit und... zur weiteren Verarbeitung aufbewahrt werden können.

6 Anforderungen von FachwissenschaftlerInnen Anforderungen Maschinenlesbarkeit Interpretierbarkeit Prozessierbarkeit Referenzierbarkeit Speicherung / Langzeitarchivierung Open Access... Nachnutzung und Veröffentlichung

7 Anforderungen von FachwissenschaftlerInnen Beispiel epidat Forschungsdaten: Inschriften von über 130 jüdischen Friedhöfen aus Deutschland und den Niederlanden ( ) Enthält: Transkriptionen, Karten, Digitalisate, Fotografien und archivalische Quellen Methoden: Visual Analytics Relationen im Raum, Named-Entity-Recognition, Raum- Zeit-Visualisierung Geo-Browser 7

8 Anforderungen von FachwissenschaftlerInnen Beispiel ecodicology 500 mittelalterliche Handschriften der Benediktinerabtei St. Matthias Automatische Erkennung und Tagging von mikrostrukturellen Layout- Elementen und automatische Anreicherung der Metadaten

9 Architektur und Implementierung Anforderungen Forschungsdatenarchiv für die Geisteswissenschaften Intuitive Publikation über das DARIAH-DE Portal oder über Programmier-Schnittstellen (APIs) Nutzung über DARIAH-Account Gesichert durch die DARIAH-DE Authentifizierungs- und Autorisierungs-Infrastruktur (AAI) Nachnutzung von Komponenten der TextGrid-Kerndienste für Speicherung und Publikation Dauerhafte Referenzierung der Daten über EPIC2 PID Speicherung der Daten via DARIAH Storage API Replikation der Daten über mehrere Rechenzentren

10 Architektur und Implementierung Übersicht

11 Architektur und Implementierung Komponenten Publish Web Interface Hochspielen der Daten, Anreichern mit Metadaten (DC Simple) DARIAH Publish Service (#publish, #status, #abort, #version) Vorbereiten der Daten für den Import, Metadatenvalidierung DARIAH CRUD Service (#create, #version, #read, #readmetadata) Einspielen der Daten in das Repository, Verwalten diverser Datenbanken DARIAH AAI Authentifizierungs- und Autorisierungs-Infrastruktur DARIAH PID Service Erzeugen von Persistenten Identifikatoren (PIDs) für jede Datei (Zitierbarkeit) DARIAH Storage und API Speichern der Daten im Repositorium über die DARIAH Storage API Metadata Index Indizieren der Daten mit ElasticSearch für eine performante Suche OAI-PMH Service Ausliefern der Metadaten per standardisiertem Protokoll für weitere Dienste

12 Architektur und Implementierung Publish Web Interface Anlegen und Auswählen von Kollektionen

13 Architektur und Implementierung Publish Web Interface Bearbeiten einer Kollektion Daten- und Metadateneingabe

14 Architektur und Implementierung Der Publish Service Authentifiziert/autorisiert gegen die DARIAH AAI Liefert dem Web-Interface auf Anfrage Statusinformationen für z. B. Fortschrittsbalken Prüft, ob die genannte Kollektion bereits in der Collection Registry existiert Prüft auf Vollständigkeit der Metadaten Speichert Daten und Metadaten per DARIAH crud Service Ersetzt DARIAH Storage IDs mit Persistenten Identifikatoren (PIDs)

15 Architektur und Implementierung Der CR(UD) Service Authentifiziert/autorisiert gegen die DARIAH AAI Prüft nochmal auf Vollständigkeit der Metadaten Erzeugt PIDs für jedes Objekt bzw. jede Datei Kopiert/bewegt Daten und Metadaten vom DARIAH OwnStorage in den PublicStorage Indiziert die Daten / Metadaten per ElasticSearch Datenbank (Metadatenindex)

16 Architektur und Implementierung Der OAI-PMH Service Protokoll für Metadata Harvesting Liefert Metadaten für alle in einem bestimmten Zeitraum publizierten Objekte einer Kollektion Generische Suche nutzt diese Metadaten für die Indizierung der Daten Regelmäßige Abfrage der Kollektionen über OAI-PMH, deren URLs in der Collection Registry angegeben sind Baut auf dem Datenbestand der ElasticSearch- Datenbank des DARIAH crud auf

17 Daten sind in Repositorien publiziert Kollektion ist in Collection Registry beschrieben Generische Suche indiziert die Daten der Kollektionen Inhalte der Kollektionen sind such- und findbar Das TextGrid & DARIAH-DE Repositorium Architektur und Implementierung Repositorium / Collection Registry / Generische Suche

18 Nutzungsmöglichkeiten

19 Nutzerumfrage

20 Herzlichen Dank nun ist noch Zeit für Fragen und Diskussion

21 Links & Referenzen DARIAH-DE Homepage DARIAH-EU Homepage DARIAH-DE Repositorium DARIAH-DE Dienste Collection Registry Schema Registry Generische Suche TextGrid Homepage TextGrid Repositorium EPIC2 PIDs