Vom Strom der Daten: Sicherer Langzeitzugriff als kollaborative Herausforderung

Transkript

1 1 Altenhöner: Vom Strom der Daten Juni 2015 Reinhard Altenhöner Vom Strom der Daten: Sicherer Langzeitzugriff als kollaborative Herausforderung Berlin,

2 2 Altenhöner: Vom Strom der Daten Juni 2015 Übersicht 1. Startpunkt: DNB 2. Daten über Daten 3. Metadaten 1 4. Metadaten 2 5. Über die Zeit 6. Resümee

3 3 Altenhöner: Vom Strom der Daten Juni 2015 Deutsche Nationalbibliothek

4 4 Altenhöner: Vom Strom der Daten Juni 2015 Sammeln, Erschließen, Archivieren, Bereitstellen Gesetz über die Deutsche Nationalbibliothek (2006): im Original zu sammeln, zu inventarisieren, zu erschließen und bibliografisch zu verzeichnen, auf Dauer zu sichern und für die Allgemeinheit nutzbar zu machen.. Gedruckte Publikationen Digitale Publikationen auf Datenträgern Digitale Publikationen in öffentlichen Netzen Aktive Ablieferungswege (Webformular, OAI, FTP, Harvests): Objekte und Metadaten Bereitstellung von Daten, Suchen & Finden

5 5 Altenhöner: Vom Strom der Daten Juni 2015 Langzeitarchiv Entwickelt in dem Projekt kopal IBM DIAS als Kern Offene Standards Gehostet in Göttingen, Anbindung mit eigener Software (kolibri) Ständige Weiterentwicklung Unterstützung von Formatmigration durch Versionierung und Query-Interface zu technischen Metadaten Bereitstellung aus lokalem Repository, Zugriff über Katalogsystem der Bibliothek

6 6 Altenhöner: Vom Strom der Daten Juni 2015 Ingest - Workflow Identifikation (file format) TP DNB-Repository Charakterization SIP - Launcher Validation Detection of restrictions on use Integrity Checks HF-Manager (OAI-PMH, WebForm) bibl. metadata didigo Import-Service for net publications Usage of the File Information Tool Sets (FITS): SIP JHOVE, ExifTool, New Zealand Metadata Ticket-System Extractor, DROID, FFIdent, FileUtility, JHOVE2 Output-Normalisation Long Term Archive (DIAS)

7 7 Altenhöner: Vom Strom der Daten Juni 2015 Die Kulturdomäne: Ihre Sammlungen und ihr Wissen dazu Photo by CC BY-SA 3.0 Photo by Beatrice Murch:

8 8 Altenhöner: Vom Strom der Daten Juni 2015 Das schwarze Loch: Nur was im Netz ist, existiert

9 9 Altenhöner: Vom Strom der Daten Juni 2015 Daten über Objekte und Digitale Objekte

10 10 Altenhöner: Vom Strom der Daten Juni 2015 Objekt resp. (hier) eine Repräsentation davon Metadaten / Katalog Wer, was, wo, wie, wann, Kollektion, Provenienz, warum, für wen, Bedingungen

11 11 Altenhöner: Vom Strom der Daten Juni 2015 Metadaten Strukturierte Daten zur einheitlichen Beschreibung von Objekten (Ressourcen) aller Art. Also Aussagen über Daten. Web: "Metadata is machine understandable information about web resources or other things. (Quelle: Berners-Lee, Tim: Design Issues. Architectural and philosophical points, 6. Januar URL: Kennzeichen Maschinenlesbarkeit Referenzierbarkeit Strukturiertheit Austauschbarkeit Hoher Erzeugungsaufwand, geringer Teilungsgrad

12 12 Altenhöner: Vom Strom der Daten Juni 2015 Metadaten halten und verteilen 1 Erfassungs- / Eingabeformat Speicherformat

13 13 Altenhöner: Vom Strom der Daten Juni 2015 Metadaten halten und verteilen 2 Austauschformat 01436njm c DE sd s1987 gw ger - a88,t05,04622dnb-7 2DE-101a DE-101ca aApple 1C a(de-599)dnb a(ocolc) a1300bgercde-101d9999- ager- cxa-de- a10bqde-101-2sdnb-1 0(DE-588) (DE-101) aLennon, Johnd aut-10aˆThe Beatles cLennon ; McCartney-3 akèolnbemi-electrolac1987, [1987]- a2 Schallpl. in Albumb33 UpMc30 cm- ainterpr.: Beatles. - P Weitere Ausg.: MC, Best.-Nr aenth.: Love me do. Please please me. From me to you. She loves you. I want to hold your hand. All my loving. Can't buy me love. A hard day's night. And I love her. Eight days a week. I feel fine. Ticket to ride. Yesterday. Help! You've got to hide your love away. We can work it out. Day tripper. Drive my car. Norwegian wood. Nowhere man. Michelle. In my life. Girl. Paperback writer. Eleanor Rigby. Yellow submarine.-1 0(DE-588) (DE-101) aMcCartney, Pauld1942-4aut-2 0(DE-588) (DE- 101) aˆThe Beatles4mus-

14 14 Altenhöner: Vom Strom der Daten Juni 2015 Das Universum der Metadaten

15 15 Altenhöner: Vom Strom der Daten Juni 2015 Interoperabilität Tausch von Daten zwischen verschiedenen Systemen Strukturelle Interoperabilität: Ein gemeinsames Datenmodell (z. B. das RDF Modell oder auch die DC-Familie) Syntaktische Interoperabilität: Die Daten liegen in einer gemeinsamen Syntax (z. B. XML) vor Semantische Interoperabilität: Einsatz derselben Metadatenterme bzw. eines Metadatenstandards Aber: Metadatenformate und modelle sind historisch gewachsen Und: Die Anforderungen unterscheiden sich. Metadaten werden von Menschen erstellt.

16 16 Altenhöner: Vom Strom der Daten Juni 2015 In der Datenkollaboration 1

17 17 Altenhöner: Vom Strom der Daten Juni 2015 In der Datenkollaboration 2

18 18 Altenhöner: Vom Strom der Daten Juni 2015 Zugangsraum Web Wir nutzen es selbstverständlich als (verlässliche) Quelle, Google als Garant Andererseits: Aktualität als grundsätzliches Prinzip: Seiten / Suchergebnisse sehen jeden Tag anders aus. Das Web agiert ohne historisches Bewusstsein. Es bedarf besonderer Anstrengungen, wenn wir Stabilität brauchen Dazu hat das Web schon vieles: eine Syntax, Aktionspunkte, Eindeutigkeit, manchmal auch Beschreibungen: Eigenschaften / Merkmale

19 19 Altenhöner: Vom Strom der Daten Juni 2015 Beispiel Pica ! !Bryson, Bill 4000 Geschichte von fast allem / Bill Bryson. Aus dem Amerikan. von Sebastian Vogel Interpretation der Informationen nur mit Kenntnis des Formates möglich einzelne Elemente für sich genommen sind nicht aussagekräftig Format muss übersetzt werden

20 20 Altenhöner: Vom Strom der Daten Juni 2015 Pica Subjekt hattitel Prädikat Eine kurze Geschichte von fast allem

21 21 Altenhöner: Vom Strom der Daten Juni 2015 Linked Data Datenmodell (RDF) Objekt Subjekt Prädikat hatautor Bill Bryson hattitel Eine kurze Geschichte von fast allem

22 22 Altenhöner: Vom Strom der Daten Juni 2015 Linked Data Datenmodell RDF Objekt Subjekt Prädikat hatautor gnd/ hattitel Eine kurze Geschichte von fast allem

23 23 Altenhöner: Vom Strom der Daten Juni 2015 Linked Data Datenmodell RDF gnd/ Subjekt hatautor hattitel hatname Bill Bryson Prädikat Objekt Eine kurze Geschichte von fast allem

24 24 Altenhöner: Vom Strom der Daten Juni 2015 Vokabular zur Beschreibung von Entitäten und Relationen gnd:person gnd/ rdf:type dct:creator hatautor hatname foaf:name Bill Bryson dct:title hattitel Eine kurze Geschichte von fast allem

25 25 Altenhöner: Vom Strom der Daten Juni 2015 Beispiel Linked Data Service DNB Person

26 26 Altenhöner: Vom Strom der Daten Juni 2015 Beispiel Linked Data Service DNB Person

27 27 Altenhöner: Vom Strom der Daten Juni 2015 Linked Data heute: Bibliotheksdaten sind drin

28 28 Altenhöner: Vom Strom der Daten Juni 2015 Identifier im Web Für Objekte / Recordings: z.b. ISRC URL sind nicht stabil - genauso wenig wie meist der Speicherort für das digitale Objekt 404 Für Web-Objekte und Beschreibungsdaten: URIs, (Persistente Identifier) Voraussetzungen: Einmaligkeit, Öffentlichkeit, universelle Einsetzbarkeit, Zitierfähigkeit

29 29 Altenhöner: Vom Strom der Daten Juni 2015 Fundsache Bill Bertram Aus dem Nachlass des Nobelpreisträgers Heinrich Bölls, gefunden am , enthält vermutlich die Korrespondenz der letzten Jahre, vor allem auch Briefentwürfe

30 30 Altenhöner: Vom Strom der Daten Juni 2015 Daten auf der Spur

31 31 Altenhöner: Vom Strom der Daten Juni 2015 Die Frage bliebt offen

32 32 Altenhöner: Vom Strom der Daten Juni 2015 Dateien, Dateiformate Hörbeispiel:? Daten können korrupt sein. Oder sie sind unverständlich: Falscher Player? Falsche Hardware?

33 33 Altenhöner: Vom Strom der Daten Juni 2015 Digitale LZA Problematik Datenstrom kann vom Menschen nicht ohne Hilfsmittel interpretiert werden: Computersysteme aus Hard- und Software nötig Datenträger gehen kaputt oder veralten

34 34 Altenhöner: Vom Strom der Daten Juni 2015 Herausforderungen für ein digitales Langzeitarchivs Rasanter Technologiewechsel erschwert den Zugriff auf ältere Datenformate Erhalt der binären Daten kein existierender Datenträger ist ewig haltbar Lösung: Regelmäßige Erhaltungsmaßnahmen Problem 2: Zugriff auf die Inhalte zahlreiche Formate, ständig neue, alte verschwinden Abhängigkeit von aktueller Soft- und Hardware

35 35 Altenhöner: Vom Strom der Daten Juni 2015 Digitale LZA Problematik Computersysteme ändern sich ständig: Neue Software läuft nicht mehr auf alter Hardware und kann alte Dateien nicht mehr interpretieren.

36 36 Altenhöner: Vom Strom der Daten Juni 2015 Lösungsansätze Ziel: Erhalt des Zugriffs auf Inhalte und Funktionalitäten Datenträgermigration Zur Sicherung des Datenstroms Migration von Dateiformaten Konvertierung in auf aktuellen Systemen nutzbare Dateien Risiko von geänderten Inhalten Emulation von Computersystemen Nachstellen von alten Systemen auf aktuellen Systemen mit Hilfe von spezieller Software Risiko von geänderten Funktionalitäten

37 37 Altenhöner: Vom Strom der Daten Juni 2015 Langzeitverfügbarkeit Daten Informations -objekt Repräsentation Foto von Gebäude.pdf.jpg.html... Performance

38 38 Altenhöner: Vom Strom der Daten Juni 2015 Performance Model inspect Project ( )

39 39 Altenhöner: Vom Strom der Daten Juni 2015 Repräsentationen bei Migration Foto von Gebäude Repräsentation 1 (2002) Repräsentation 2 (2012) Repräsentation 3 (2022).jpg.jp2.jp3

40 40 Altenhöner: Vom Strom der Daten Juni 2015 Repräsentationen bei Emulation Foto von Gebäude Repräsentation 2 (2012) Repräsentation 3 (2022) Repräsentation 3 (2032).jp2 + Viewer.jp3 + Viewer + Emulator.jp3 + Viewer + Emulator 1 + Emulator 2

41 41 Altenhöner: Vom Strom der Daten Juni 2015 Signifikante Eigenschaften Foto von Gebäude Repräsentation 1 (2002) Repräsentation 2 (2012) Repräsentation 3 (2022).jpg jp jp

42 42 Altenhöner: Vom Strom der Daten Juni 2015 Szenario Überprüfung der signifikanten Eigenschaften Qualitätssicherung?

43 43 Altenhöner: Vom Strom der Daten Juni 2015 Szenario 2 Preservation Planning: Metadaten als wertvolle Datenquelle Wir müssen überprüfen, ob damit einhergehend auch die Unterstützung durch Viewer und Migrationstools rückläufig ist. Statistik- Service #(GIF 87a, 3)=23.. wenn ja, sollten wir migrieren. Wieviel GIF-Dateien der Version 87a wurden eigentlich in den letzten 3 Jahren archiviert? Technology Watch Stefan Hein (2010)

44 44 Altenhöner: Vom Strom der Daten Juni 2015 Szenario 3 Migration Qualitätssicherung Überprüfung der signifikanten Eigenschaften? Migration Workflow SELECT * WHERE format= GIF AND version= 87a Stefan Hein (2010)

45 45 Altenhöner: Vom Strom der Daten Juni 2015 LZA-Metadaten Bilden einen Querschnitt aller Metadaten-Arten Im Kontext LZA besonders interessant: Informationen, um die archivierten Informationen dauerhaft anzeigen / interpretieren zu können Informationen, welche Maßnahmen an dem Objekt durchgeführt wurden Außerdem: Wie können diese Informationen gewonnen und gespeichert werden Automatische Generierung

46 46 Altenhöner: Vom Strom der Daten Juni 2015 Resümee Sicherung der Langzeitverfügbarkeit hat viel mit klassischen Aufgaben zu tun: Objektkuratierung, -beschreibung Für wen, welche Nutzung? Erfordert kontinuierliche Aufwände Vertrauenswürdigkeit, Verlässlichkeit Langfristige Finanzierung Werkzeuge und Gütemerkmale : Interoperabilität, Persistenz, Vernetzungsgrad, Methodenverfügbarkeit, Kooperation

47 47 Altenhöner: Vom Strom der Daten Juni 2015 Vielen Dank! Reinhard Altenhöner