Cornelia Diebel ; Karlheinz Schmitt. Sammlung und Archivierung von Netzpublikationen an der DNB

Transkript

1 1 Cornelia Diebel ; Karlheinz Schmitt Sammlung und Archivierung von Netzpublikationen an der DNB

2 2 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Inhaltsverzeichnis 1. Sammlung von Netzpublikationen 2. Archivierung von Netzpublikationen

3 3 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Daten und Fakten zur DNB Der Auftrag zur Sammlung "unkörperlicher Medienwerke" besteht seit 2006 und ist im damals neu gefassten Gesetz über die Deutsche Nationalbibliothek (DNBG) geregelt. Medienwerke in unkörperlicher Form sind laut DNBG 3 (3) alle Darstellungen in öffentlichen Netzen. Bereits vor der Gesetzesnovellierung bestanden Erfahrungen mit der Sammlung von Netzpublikationen.

4 4 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Daten und Fakten zur DNB Die gesammelten Erkenntnisse bei der Sammlung führen zu einem Konzept das auf automatischen Prozessen aufsetzt. Diese automatischen Prozesse gehen von der Sammlung aus, umfassen die formale und inhaltliche Erschließung, die Bereitstellung und auch die Langzeitarchivierung. Die Fokussierung auf automatische Prozesse bedeutet, dass der Aufwand für den Umgang mit Netzpublikationen an anderen Stellen investiert wird, als im Bereich der körperlichen Medienwerke. Es heißt nicht, das kein Aufwand entsteht.

5 5 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Daten und Fakten zur DNB Über automatische Prozesse gesammelt werden: monografische Werke E-Books und Online-Hochschulschriften: herunterladbare Hörbücher: Noten: Inhalte fortlaufender Werke wie E-Paper und E-Journalinhalte: Ende September 2016 umfasst der Bestand der DNB insgesamt Netzpublikationen

6 6 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Voraussetzungen für automatische Prozesse Die Umsetzung von automatischen Prozessen bedingt eine gewisse Standardisierung vor der Sammlung, da angesichts der Ablieferervielfalt nicht auf jede individuelle Situation eingegangen werden kann. DNB definiert vier Voraussetzungen um automatische Prozesse bedienen zu können. Zusätzlich muss jeder Abliefernde vorher bei DNB registriert und für die Ablieferung freigeschaltet sein.

7 7 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Voraussetzungen für automatische Prozesse 1. Alle Netzpublikationen die gesammelt werden, müssen Metadaten haben. Objekte ohne Metadaten werden nicht gesammelt. 2. Es werden nur bestimmte, verbreitete Metadatenformate akzeptiert: ONIX 2.1 für monografisches Material XMetaDissPlus für Hochschulschriften und sonstiges MARC21 für alle Materialarten NISO JATS 1.0 für E-Journalinhalte

8 8 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Voraussetzungen für automatische Prozesse 3. Die Ablieferung erfolgt über standardisierte Schnittstellen: Webformular für die Einzelablieferung bei kleinen Mengen OAI-PMH-Schnittstelle für die Abholung beim Abliefernden (pull-verfahren) SFTP/WebDAV-Schnittstelle für Ablieferung bei der DNB (push-verfahren) OAI-PMH und SFTP/WebDav eignen sich für die Ablieferung von großen Mengen von Netzpublikationen und sind für die DNB sogenannte Massenschnittstellen, i.g. zur Ablieferung über das Webformular.

9 9 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Voraussetzungen für automatische Prozesse 4. Es werden nur bestimmte, verbreitete Dateiformate akzeptiert: PDF in allen Varianten EPUB Bildformate wie JPEG, TIFF Audioformate wie MP3, WavPack Die Beschränkung auf gewisse Formate ist notwendig um die Bereitstellung und die Langzeitverfügbarkeit und Langzeitarchivierung zu gewährleisten.

10 10 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Pre-Ingest von unbekannten digitalen Objekten Problem: Welche Objekte kommen mit welcher technischen Qualität in die DNB? analog digital IT- Infrastruktur IT-Anwendungslandschaft Digitales Objekt Technische Qualität & Restriktionen Sicherheitsaspekte/ Rechtemanagement

11 11 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Sicherung des Bitstreams: Integrität Annahme von Transferpaketen (zur Zeit etwa 4500 pro Tag) Checksumme content folder??

12 12 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Objektanalyse: Dateiformat-Identifikation In der DNB zur Zeit vorhanden: Knapp 50 verschiedene Analyse-Tools: Dateiformate FITS-Framework (File Information Toolset) Open Source Enthält 9 verschiedene Open-Source Tools zur Extraktion technischer Metadaten Eine Eigenentwicklung für EPubs Informationssystem (PRONOM Technical Registry)

13 13 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Analyse technischer Metadaten - Vollständigkeit Metadaten-Kernset (pro Dateiformat): Enthält eine Definition von technischen Metadaten, die aus DNB Sicht zwingend erforderlich sind um mit hoher Wahrscheinlichkeit langzeitarchiviert werden zu können. Generierte technische Informationen Aufgestellte Metadaten-Kernsets pro Dateiformat Aber: Nicht für alle ca. 50 Dateiformate existiert ein solches Kernset!

14 14 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Analyse technischer Metadaten - Validität Prüfung ob ein erkanntes Dateiformat gemäß seiner Spezifikation korrekt erstellt worden ist Heutige Präsentationsysteme können mit vielen mehr oder weniger validen Dateiformaten umgehen, so dass optisch keine Fehler zu erkennen sind was ist mit zukünftigen Präsentationssystemen?!

15 15 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Analyse technischer Metadaten Beschränkungsfreiheit Frage: Ist das digitale Objekt Beschränkungsfrei? Digital Rights Management vorhanden? Passwort-Schutz, Kopierschutz, Für die Langzeitarchivierung untauglich

16 16 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Aufbau Ingest-Level Je höher der Ingest-Level, desto größer ist die Wahrscheinlichkeit für ein Objekt langfristig nutzbar zu sein. Dateiintegrität Identifikation Beschränkungsfrei Technische Metadaten Validität Level 0 X O O O O Level 1 X X O O O Level 2 X X X O O Level 3 X X X X O Level 4 X X X X X

17 17 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Risikogruppen anhand definierter Ingest- Level Datei-integrität Identifikation Beschränkungsfrei Technische Metadaten Validität Level 0 X O O O O Level 1 X X O O O Level 2 X X X O O Level 3 X X X X O Level 4 X X X X X

18 18 Sammlung und Archivierung von Netzpublikationen 13. Oktober 2016 Vielen Dank