Zwischen Datenmanagement und Langzeitarchivierung: Das Projekt «Data Curation» der ETH- Bibliothek

Transkript

1 Zwischen Datenmanagement und Langzeitarchivierung: Das Prjekt «Data Curatin» der ETH- Biblithek Dr. Wlfram Neubauer/ETH Zürich, ETH-Biblithek und Sammlungen/Berlin,

2 ALLGEMEINE RANDBEDINGUNGEN AN DER ETH ZÜRICH mittelgrsse Universität mit etwa Studierenden ETH Zürich ist eine «Research University» die Verantwrtung für die Sicherung digitaler Daten liegt beim einzelnen Wissenschaftler/ der einzelnen Wissenschaftlerin d.h.: frmal ist die Sicherung geklärt, real ist die Sicherung desparat, unklar, unübersichtlich

3 SITUATION AUS SICHT DER ETH-BIBLIOTHEK (UM DAS JAHR 2002) die digitale Transfrmatin Jahre erfrdert eine verstärkte Fkussierung auf den Langzeitzugriff bzw. die Langzeitsicherung elektrnischer Daten (Frschungsdaten/administrative Daten/Biblitheksdaten) kein «Prdukt vn Stange» auf dem Markt keine Kapazitäten für eine Eigenentwicklung Diskussin: Wer ist für die Aufgaben an einer Universität zuständig?

4 HINTERGRUND/RANDBEDINGUNGEN Herausfrderungen Frschungsprzess stützt sich auf digitale Daten Gute wissenschaftliche Praxis verlangt Aufbewahrung vn Daten in nutzbarer Frm (z.b. Richtlinien ETH Zürich) Teilweise gesetzliche Vrgaben zur Datenarchivierung Förderrganisatinen frdern Datenmanagementpläne Nachnutzung sll gefördert werden teilweise nicht wiederbeschaffbare Daten mit dauerhaftem Wert Veröffentlichte Daten der referenziertes Zusatzmaterial müssen zitierbar sein und verfügbar bleiben 4

5 ZIELE DES PROJEKTES «DATA CURATION» AN DER ETH ZÜRICH (1/2) Frschende durch Dienstleistung entlasten Erfüllung vn Anfrderungen der Förderrganisatinen (Datenaufbewahrung und -bereitstellung, Nachprüfbarkeit) Zitierbarkeit vn Daten gewährleisten DOI-Registrierung Nachnutzung erleichtern: Nach Bedarf für eigene Zwecke, für Kllegen der glbal

6 ZIELE DES PROJEKTES «DATA CURATION» AN DER ETH ZÜRICH (2/2) Frschende durch Dienstleistung entlasten Ntwendige Dkumentatin und Beschreibung unterstützen Keine Knkurrenz zu fachspezifischen Datendiensten Ergänzende interne Lösungen für Fächer hne slche Datenarchive swie für Daten, die nicht in glbale Gefässe sllen der dürfen Beratung und Unterstützung bei der Nutzung externer der interner Dienste, bei der Auswahl langzeittauglicher Frmate und bei der Qualitätskntrlle

7 WARUM INSTITUTIONELLE ANSÄTZE? Brauchen «uns» die Frschenden? Frschende können viele Aufgaben selbst erledigen, was aber zu Lasten ihres «Kerngeschäfts» geht Infrastruktureinrichtungen sllten sie entlasten Fachspezifische Repsitrien und Dienstleister gibt es nur für bestimmte Fächer machen Vrgaben zur Veröffentlichung beschränken zum Teil die Art der abzuliefernden Daten Ein erheblicher Teil der Bedürfnisse ist nicht abgedeckt 7

8 WARUM LOKALE ANSÄTZE? 8 Abgrenzung zu internatinalen fachspezifischen Angebten keine Knkurrenz zu bereits akzeptierten Lösungen ptentielle Nutzer infrmieren, wenn nicht bekannt «Fachcmmunity» entscheidet, was ihre Lösungen sind Natinale Infrastruktur fehlt mehr der weniger kmplett Akzeptanz heute eher gegeben, als vr vielleicht fünf Jahren aber lkale Ansprechpartner werden dadurch eher wichtiger Implikatinen auch für SUK-Prgramm «Wissenschaftliche Infrmatin»: Betrachtung nicht auf technische Aspekte reduzieren

9 KONKRETE BEDÜRFNISSE DER FORSCHENDEN: DIE UMFRAGE befragt wurden 450 Prfessrinnen/Prfessren und Frschungsgruppen (Rücklauf ca. 80%) im Jahr 2011 Fragen Datentypen/Gibt es Metadatenstandards?/Gibt es überhaupt Datenmaterial?/Gibt es «Data Plicies»?/Welche Datenfrmate sind im Einsatz?/Ntwendige Aufbewahrungszeiträume/Wie und in welcher Frm werden die Daten archiviert?/usw. Interpretatin der Antwrten als Handlungsempfehlung

10 UMFRAGEERGEBNISSE: BEISPIEL 1/2 Questin: Which perid f time have yu r yur research grup in mind fr string data? PHYS BIOL INFK ITET MAVT MTEC MATL BAUG BSSE MATH CHAB ERDW GESS ARCH UWIS AGRL >10 years 10 years %

11 UMFRAGEERGEBNISSE: BEISPIEL 2/2 Questin: Des yur research grup have a written Data management plicy n handling its wn r external research data, r similar dcuments describing hw t handle research data? PH BIOL INFK ITET MA MT MA BA BS MA CH ER GE AR UWIS AG N Yes %

12 RELEVANTE ASPEKTE/RANDBEDINGUNGEN FÜR DIE REALISIERUNG EINER APPLIKATION Viele Wissenschaftlerinnen/Wissenschaftler möchten die Kntrlle, wer auf ihre Daten zugreift (auch wenn sie Open Data im Prinzip unterstützen) stellen ihre Daten nicht generell Dritten zur Verfügung sind in ganz unterschiedlicher Intensität mit dem Phänmen vertraut sind an einer Unterstützung bei der Datensicherung und der Qualitätskntrlle interessiert (Checklisten, Hilfestellung bei der Metadatengenerierung etc.) möchten ihre Daten vr dem Ingest umstrukturieren, seklektieren und dkumentieren können benötigen die Daten häufig nur für begrenzte Zeit (z.b. 10 bis 12 Jahre) betrachten Archivierungsfragen häufig im Kntext zu Eigenpublikatinen und möchten Daten/Materialien dauerhaft referenzieren haben eine differenzierte Meinung zu einer universitätsweiten Data Plicy möchten keinen zusätzlichen Arbeitsaufwand hne Mehrwert

13 13 WAS VERSTEHEN DIE VERSCHIEDNEN STAKEHOLDER UNTER «ARCHIVIERUNG»? Es besteht eine erhebliche Begriffsunschärfe Frschende? Infrmatik(-dienste) ein gemeinsames Verständnis wurde durch frühere Prjekte gefördert Weiterhin viel Gewicht auf Speichermanagement: Langzeitarchivierung als ein Kriterium zur Steuerung eines hierarchischen Speichermanagements (Entlastung vn Online-Speicher) «Gedächtnisinstitutinen» Langzeitarchivierung adressiert Aufbewahrung und Nutzbarerhaltung über Lebenszyklen der technischen Kmpnenten hinweg (Frmate, Sftware, Betriebssysteme, Hardware) Knsequenz: «Nicht eigenes Verständnis übertragen»

14 DIE FRAGE NACH DEM ARCHIVIERUNGSSYSTEM Warum Rsetta? Systemknzept ist knfrm mit dem OAIS Reference Mdel ist in Kperatin mit der Biblitheks- bzw. Archiv- Cmmunity entwickeltwrden unterstützt wesentliche Funktinen bei der Datensicherung erfüllt eine Reihe vn technischen Vraussetzungen bietet die Gelegenheit für eine Entwicklungspartnerschaft die Anzahl der Objekte und das Datenvlumen sind skalierbar der Betrieb ist auf virtuellen Servern möglich (ETH-Strategie) Erfahrung mit verwandten Prdukten ist in der Biblithek vrhanden ETH-Strategie setzt grundsätzlich auf herstellerunterstützte Applikatinen

15 VISION: ROSETTA ALS GEMEINSAME BASIS

16 FUNKTIONALE EBENEN Was? Warum? Wer? Data Curatin Ensure intellectual re-usability Data Prducers Cntent Preservatin Ensure technical re-usability ETH-Biblithek Bitstream Preservatin Ensure technical stability IT-Services ETH Zurich Adaptiert nach Jens Ludwig: Wissgrid 16

17 UNTERSCHIEDE ZWISCHEN DEN DATENTYPEN? Was? Frschungsdaten Biblitheksbjekte Data Curatin Cmprehensive dcumentatin by prducers required Full cntrl f metadata and cntext Cntent Preservatin Mre and less cmmn frmats Mainly standard frmats Same preservatin prcedures apply Bitstream Preservatin Any bject is just bits 17

18 RANDBEDINGUNGEN Bei Text-Dkumenten ist nachträglich eine gewisse Verbesserung vn Metadaten möglich Bei Frschungsdaten können technische Metadaten ergänzt werden, aber keine inhaltliche Dkumentatin: Garbage in, garbage ut Ein strukturierter Ablauf mit dem Ziel der Langzeitarchivierung muss früh ansetzen: Datenmanagement Qualität hängt vn den Prduzentinnen und Prduzenten ab, Biblithek kann diese nur eingeschränkt überprüfen Langzeitarchivierung hat prinzipielle Grenzen und hängt stark vn der heutigen Vrbereitung ab 18

19 FORSCHUNGSDATEN UND OAIS? Anfrderungen betreffen weniger die Funktinen innerhalb des OAIS (ISO-Referenzmdell Open Archival Infrmatin System) aber OAIS-Rahmen ist zu eng: Hhe Flexibilität erfrderlich im Pre-Ingest der davr Auswirkungen auf die Rlle des LZA-Systems Rsetta: Wenig sinnvll, Kmplexität für die Langzeitarchivierung durch neue Funktinen weiter zu erhöhen Sfern vrhanden, Daten aus vrgelagerten Anwendungen übernehmen 19 Bei Bedarf Flexibilität im lkalen Datenmanagement erreichen, nicht in zentraler Anwendung

20 VISION DER ETH-ANWENDUNG Cntent surces Additinal Ingest cmpnents OAIS Archival cre mdules Additinal search/retrieve & delivery cmpnents Access cmpnents Primary data Preservatin Planning Catalg Prducer Secndary data (E-Dept) GEVER Preprcessing Ingest Ingest Administratin Data Management Access Create Deliveries / Retrieve Requests Admin- Interface Archiv-DB Repsitries User Additinal surces Archival Strage Strage-Layer Security-Layer (Authenticatin, Authrisatin) Final reprt n secnd phase Pilt Langzeitarchivierung, S. 23f; Aliesch, P. et al., 2007: Prjekt Pilt Langzeitarchivierung. Internal. 20

21 EINE LÖSUNG FÜR ALLE «ARCHIVIERUNGSFÄLLE»? für «Big Data» (= sehr grsse Mengen, eher unstrukturierter Daten, innerhalb der ausserhalb vn Applikatinen Bedarf prüfen, Lösungen nch unklar für strukturierte Daten aus bestehenden Anwendungen z.b. LIMS (Labratry Infrmatin Management Systems), Digitale Labrjurnale, Datenplattfrmen wie penbis (D-BSSE), B-Fabric (FGCZ). ä. grsses Ptential für Autmatisierung über flexible Schnittstellen Piltprjekt Ende für eher kleinteilig strukturierte Daten manuelle Vrbereitung in Dcupack prduktiv vraussichtlich ab Herbst 2013

22 MÖGLICHKEITEN DER «DATENABLAGE» manuell Webdialg zum Hchladen und zur Metadatenerfassung halbautmatisch Batch-Uplad vn Dateien mit vrhandenen Metadaten autmatisch jeweils angepasste Submissin Applicatin packt strukturierte Dateien mit vrhandenen Metadaten im XML-Frmat Submissin Applicatin kann auch direkt als Schnittstelle zu bestehenden Quell-Applikatinen angelegt werden 22

23 GESAMTPROZESS «SMALL DATA» Auswahl und Kntextdkumentatin Erhaltung der Nutzbarkeit Bitstrmerhaltung Frschende Dcupack (lkal) Biblithek Infrmatikdienste Server Strukturierung und DOI-Erzeugung Zeitpunkt X: «Submit» an Archiv inkl. Access Rights Metadatenerfassung Übergabe Dcumill (zentral) Ingest Digitales Archiv (Rsetta) Speicher «Lkaler» Speicher Zugriff via DOI Netzwerk 23

24 LOKALES DATENMANAGEMENT? SIP Package Handler («Dcupack» (Java)) + Dcumill Viewer und Editr für Strukturierung und Metadatenerfassung Daten und Metadaten bleiben beliebig lange auf dem lkalen Speicher jeder Frschungsgruppe Erzeugt bei Anstss der Archivierung ein SIP (Submissin Infrmatin Package) für den Ingest in Rsetta Ziel aus Sicht der Langzeitarchivierung: Erzeugung vn Struktur und vn Metadaten für die autmatische Verarbeitung (METS) 24

25 BEISPIELE FÜR ANWENDUNGEN Frschungsgruppen Daten zu einer Manuskripteinreichung werden gesammelt, archiviert und via DOI zugänglich gemacht Frschungsgruppe verfügt über eine strukturierte Ablage hne Metadaten, die ins Langzeitarchiv überführt werden sll Archiv der ETH Zürich abliefernde Stelle liefert strukturierte Daten an das ETH Archiv dessen Persnal die Bewertung und Erschliessung vrnimmt 25

26 26 ANWENDUNGSBEISPIELE 1/3

27 27 ANWENDUNGSBEISPIELE 2/3

28 ANWENDUNGSBEISPIELE 3/3 Organisatin al unit f ETH Offer f depsit Appraisal k? Appraisal apprved ETH Archives Appraisal, selectin, descriptin embarg perid? DOI-generatin Full MD and structure Ingest, DOIregistratin Library Rsetta Full text delivery via DOI Prim 28 Assigned strage, temprary access fr depsiting unit Archival Infrmatin System Deliver full MD and structur e MD quer y

29 WARUM DIESE KOMPLEXITÄT? 1/2 «Datamanagement light»: Daten liegen strukturiert und erschlssen lkal für die Gruppe vr Gruppe behält vlle Kntrlle, aber wichtige Vrarbeiten sind geleistet, um dauerhafte Erhaltung zu erleichtern Metadaten gemäss Vrgaben jeder Gruppe knfigurierbar 29

30 WARUM DIESE KOMPLEXITÄT? 2/2 Struktur- und Metadaten als METS-XML können autmatisch an Rsetta übergeben werden (Dcumill als Submissin Applicatin) DOIs sind erzeugt, d.h. zur Zitierung verfügbar (Registrierung in Rsetta) Selektin der Daten für kurzfristige lkale Aufbewahrung befristete zentrale Speicherung (Übergabe einer Retentin Perid an Rsetta) dauerhafte zentrale Erhaltung hne der mit öffentlicher Nutzung 30

31 WIE EROLGT DER ZUGRIFF? gegenwärtig sind die Metadaten vn Frschungsdaten nicht publiziert (ausser für die DOI-Registrierung) wenn Daten öffentlich sind, erflgt Zugriff via DOI Inhalte des ETH Archivs publiziert in Prim aus dem Archivinfrmatinssystem (CMI Star) Prim verlinkt auf CMI Star für vlle Metadaten und Struktur CMI Star verlinkt via DOI auf Objekt in Rsetta Biblitheksinhalte: Rsetta enthält das «dark archive» Prim verlinkt in öffentliche Online-Anwendungen 31

32 BISHERIGE UND AKTUELLE SCHRITTE 1/2 DOI-Registrierung durch ETH Zürich als Mitglied vn DataCite Umfrage bei allen Frschungsgruppen der ETH Zürich Identifizierung vn Piltpartnern, Ermittlung deren Anfrderungen Prüfung und Aktualisierung des Inventars vn Daten der Biblithek Submissin Applicatin für die ETH E-Cllectin «Gap analysis» und Entscheidung über zukünftige Entwicklungen Entwicklung und Testen der Erweiterungen für Rsetta 32

33 BISHERIGE UND AKTUELLE SCHRITTE 2/2 Entwicklung und Testen des lkalen Datenmanagements laufend sfern erflgreich: Ausdehnung der Abdeckung auf weitere Gruppen Übergang vm Prjekt zur prduktiven Dienstleistung 33

34 Services der ETH-Biblithek BEISPIELE DER ANWENDUNG M. Töwe

35 STRATEGISCHE FRAGEN 1/2 Wie sll das Prfil des Services «Datenerhalt» aussehen? Nur Erhaltung der zukünftig verstärkt auch Datenmanagement? Ptential für eine E-Cllectin plus mit «supplementary materials»? Psitinierung mit Blick auf virtuelle Frschungsumgebungen? Beratung als zentrale Aufgabe bereits bei Antragstellung für Frschungsprjekte? Gewichtung zwischen Service und Sftwarebereitstellung 35

36 STRATEGISCHE FRAGEN 2/2 Wie geeignetes Persnal in ausreichendem Umfang aufbauen? (frschungsnah/biblithekarisch und archivarisch/it-affin ) Ksten der vraussichtlich aufwändigen Dienstleistung müssen gedeckt werden - gleichzeitig sll das Angebt keine Kstenbarriere darstellen Kultur der Zusammenarbeit unterschiedlichster Stakehlder (Frschende/Infrmatik Supprt der Departemente/Infrmatikdienste/ Biblithek) 36

37