Aus der Praxis der Langzeitarchivierung der Österreichischen Nationalbibliothek

Transkript

1 Aus der Praxis der Langzeitarchivierung der Österreichischen Nationalbibliothek Bettina Kann Workshop BSB München, Übersicht Gesetzliche Situation Workflow Pre-Ingest Ingest Metadaten Archival Storage und Backup Benutzung Langzeitarchivierung von AV-Medien 1

2 Gesetzliche Situation in Österreich Basis: Mediengesetz BGBl. II 65/2001 In die Pflichtablieferung sind derzeit sowohl gedruckte als auch digitale Publikationen einbezogen, letztere sofern auf einem festen Datenträger erscheinend (= offline Medien wie CDROMS, DVDs...). Für online-publikationen freiwillige Vereinbarungen Anregung einer Novelle zum Mediengesetz Einrichtung einer Arbeitsgruppe im Bundeskanzleramt Ziel: Novellierung unter Miteinbeziehung von Online-Medien Gesetzliche Situation in Österreich Fokus der Novellierung: Medien gemäß 1 Abs.1 Z 5a lit. b und c des MedienG Medieninhaber gemäß 1 Abs.1 Z 8 des MedienG Ausgenommen: Medieninhaber, die nur einer eingeschränkten Offenlegung gemäß 25 Abs. 5 unterliegen, d. s. Medieninhaber von Websites, die keinen über die Darstellung des persönlichen Lebensbereichs oder die Präsentation des Medieninhabers hinausgehenden Informationsgehalt aufweist, der geeignet ist, die öffentliche Meinungsbildung zu beeinflussen. 2

3 Gesetzliche Situation in Österreich Medieninhaber sollen auf Aufforderung an eine Bibliothek abliefern Verteilung soll innerhalb der Plichtexemplar- Bibliotheken organisiert werden Vorläufige Einigung, dass ÖNB zentrale Archivbibliothek sein soll, der Medieninhaber auf Verlangen abliefern ÖNB stellt jeweils berechtigten Bibliotheken Zugriff auf ihre Objekte sicher = Fenster Wichtigster offener Punkt: Zugang und Benutzung in der Bibliothek (durch die Bibliothek) im Zentrum der Diskussion Aktuelle Sammelrichtlinien für Online-Medien Austriacum Medieninhaber mit Sitz in Österreich ( 1 Abs.1 Z 8 des MedienG) Inhalt mit Österreich-Bezug bei Online-Medien: nur rein digitale Medien keine Parallelausgaben zu analogen Medien bei Digitalisaten: physischer Zustand des analogen Originals ausschlaggebend 3

4 Aktuelle Sammelrichtlinien - Beispiele Elektronische Publikationen: e-journals, elektronische Lexika, e-prints, e-books, online-tageszeitungen, ausgewählte Websites (z.b. von Personen von öffentlichem Interesse), elektronische Hochschulschriften. Wissenschaftlich relevantes und zitiertes Material in digitaler Form: z.b. Forschungspapiere, Pre-prints, Berichte etc. auf Websites von WissenschaftlerInnen oder Forschungsprojekten ( graue Literatur )... Aktuelle Sammelrichtlinien - Beispiele NICHT archiviert werden: Verzeichnisse (Linklisten), Diskussionslisten, News Groups Anwendungsprogramme (Software), Spiele, Werbung, Veranstaltungskalender, Firmenhomepages... persönliche Websites: diese nur bei Personen von allgemeinem Interesse. Bsp.: Website Elfriede Jelinek ja, Website Bettina Kann nein! Datenbanken: Augenmerk liegt hier auf den jeweiligen Inhalten, die Applikation selbst wird nicht gesammelt. Keine Inhalte, welche ohne Applikation nicht lebensfähig. 4

5 Digitale Langzeitarchivierung an der ÖNB Durchführung eines Information Audit und Erarbeitung eines Strategiepapiers im Rahmen eines Projekts, 2002/03 Ergebnis: Etablierung einer Abteilung Digitale Medien Anfang 2004 Aufgaben: Aufbau eines Langzeitarchivs für digitale Ressourcen an der ÖNB Erarbeitung von Sammelrichtlinien für Online-Medien Entscheidung für ein Archivsystem und technische Implementierung Koordinierung der Archivierung digitaler Ressourcen an der ÖNB Ausarbeitung von Richtlinien für Dateiformate Festlegung von (möglichst automatisierten) Geschäftsgängen mit Ablieferern Anregung zu einer Novellierung des Mediengesetzes (Anbietungspflicht für Online-Medien) Vorbereitung eines Projekts zur Webarchivierung Teilnahme an nationalen und internationalen Projekten, Kooperation mit verwandten Institutionen Einrichtung einer Steuerungsgruppe Digitale Bibliothek Digitale Langzeitarchivierung an der ÖNB Systementscheidung: Ende 2004 Entscheidung für DigiTool der Fa. ExLibris als System für digitale Langzeitarchivierung an der ÖNB Herbst 2005 Installation und Tests der Version 3.0 Seit Februar 2006 produktiver Betrieb 5

6 Workflow Pre-Ingest Standard im Zusammenhang mit OAIS, der Pre-Ingest und Ingest Workflows definiert: Consultative Committee for Space Data Systems (CCSDS): Producer-Archive Interface Methodology Abstract Standard, CCSDS B-1, Blue Book, May 2004, ERPANET Ingest Strategies, September 2004, df Workflow Pre-Ingest 1. Kontaktaufnahme mit abliefernder Stelle 2. Klärung der zu liefernden Datenformate: xml: ev. mit Stylesheet und dtd pdf: Empfehlungen unter Websites: wenn Harvesting möglich (Problem bei dynamisch generierten Sites) 6

7 Workflow Pre-Ingest 3. Metadaten bibliographische: Dublin Core Qualified - Empfehlungen unter 4. Klärung des Transferweges: Offline mittels CDROM/DVD Geeignet für größere Datenmengen und komplexere Datenstrukturen. Derzeit beliebte Transfermethode! (nicht präferiert) Geeignet nur bei Newsletters u.ä., da unsicher und Kapazitätsbeschränkungen! Download Harvesting (mit Software Httrack) FTP / SFTP OAI-PMH (Digitool): Metadaten + Objekte UPLOAD über Webformular (Digitool): Geeignet für kleinere Datenmengen, die in (un)regelmäßigen Abständen erscheinen, z.b. Forschungsberichte einer Institution, kleiner Verlag mit geringer Publikationsdichte etc. Workflow Pre-Ingest 4. Transferwege (Fortsetzung): Download / Harvesting: ÖNB holt Ressource Medieninhaber muss nur Zugriff gestatten. geeignet für viele frei im WWW zugänglichen Medien, Websites Weitere Methoden: FTP, spezielle Exportroutinen, OAI-PMH Aktive Unterstützung bei der einmaligen Einrichtung der entsprechenden Schnittstelle durch Medieninhaber nötig. bei Übernahme von großen Datenmengen in regelmäßigen Abständen, bei nicht frei zugänglichen Medien, bei dynamisch generierten Medien, die nicht geharvestet werden können Jeweils geeignete Transfervariante vom jeweiligen Medium abhängend 7

8 Workflow Pre-Ingest 5. Einholen der Nutzungsbewilligung vom Rechteinhaber Regelung bezüglich Zugänglichmachung des Materials Recht, Dritten Zugang zu den archivierten Objekten zu ermöglichen Verschiedene Grade der Zugänglichmachung (Einzelarbeitsplatz/Netzwerk/Internet, allgemeine/registrierte Benutzer etc.) Urheberrechtliche Vereinbarungen Bestätigung, dass Ablieferer Inhaber der Rechte ist Zusicherung des Rechts zu Archivierungshandlunen (z.b. Migration in andere Formate bedingt u.u. Änderung bestimmter Aspekte des Materials Vorlage unter Workflow Pre-Ingest 6. Virencheck 7. Surfacecheck bei Datenträgern (CDROMS, DVDs) 8. Integritätscheck mit Jhove 9. Von Fall zu Fall: Konvertierung in archivfähiges bzw. benutzungsfähiges Format (Bsp.: MS Word PDF 1.4 bzw. XML XHTML oder PDF) Nicht alle Fileformate für die langfristige Archivierung oder für die Benutzung geeignet. Erstellungsformat Archivierungsformat Präsentationsformat WORD XML, PDF/A XHTML, HTML, PDF 8

9 Workflow Ingest Softwareabhängige Ingestprozesse 1. Transformation Transformiert Daten in XML Repräsentation Einfach DC + filestream (Templates) File Name Convention (z.b. Seiten eines Buch, gleicher Filetyp ) Complex Object: Für intellektuelle Einheiten mit unterschiedlichen Filetypen (Manifestationen, Parent-Children- Relationships) CSV / Delimited: Für Daten plus Metadaten in csv-format Workflow Ingest Softwareabhängige Ingestprozesse 2. Background Tasks + Parameter Technische Metadaten Extraktion ( JHOVE) Hinzufügen von Metadaten Hinzufügen von Eigenschaften der Control Section Full Text Extraktion PDF Full Text Extraktion Hinzufügen eines History Events Tiff To Jp2 Remote Stream Download ( OAI Harvesting) Erstellen von Thumbnails URN Generierung 3. Laden der Objekte 9

10 Workflow Metadaten Deskriptive: Qualified Dublin Core (Dublin XML) Technische: Image - NISO Z39.87 for still images (MIX) Text TextMD (METS-Extension) Audio - Audio Technical Metadata (AMD) Video Video Technical Metadata (VMD) automatisch generiert Preservation: Premis Metadata Object History: Premis Metadata Event Section Access Rights Backup-Szenario DigiTool Repository Speicherver waltung nach Regeln Integritäts checks mittels Checksum Network Appliance Filer F820 1 ZID Tägliches Mirroring Network Appliance Near Store R200 Permanent: inkrementell es backup Volles backup wöchentlich Overland Neo 4000 Tape Robot (LTO-Tapes) 2 Tiefspeicher Permanent. hard disc integrity checks ( disc scrubbing ) Reports der F820, R200 werden 14 Tage aufgehoben - Reports der Neo 400 in Comvault DB gespeichert. Quartals weise 3 (Zentrales Ausweichrechenzentrum des Bundes, ZAS) (St. Johann / Pongau) 10

11 DigiTool in der ÖNB Digital Library Umgebung Versch. ALEPH Kataloge URL ANNO (Zeitungen, Gesetze, EA) GIDEON System für digitale Bilder Und Verkaufplattform Verbindung via Adam URN OAI-PMH DigiTool für preservation masters und digitale Pflicht OAI-PMH, Web Form, FTP, offline Ablieferer Digitalisierung von AV-Medien Projekt zur Informationserhaltung Digitalisate gehen in die Langzeitarchivierung Gesamtmenge ca analoge Medien, darunter: Wachswalzen, Schellacks, Schallplatten, Tonbänder, Kassetten, Videokassetten u.a. Gesamtspieldauer: Stunden oder ca. 3 Jahre Gesamtspeicherbedarf nach Digitalisierung ca. 200 Terabyte Kosten für Gesamtdigitalisierung ca ,000.- Kosten für Speicherbedarf ca. 1 Mio. EUR (ohne jährliche Wartung) 11

12 Digitalisierung von AV-Medien Entscheidung, mit Audiotonträgern zu beginnen. Ausschreibung Österreichische Mediathek Formate: digitalisiert wird 24bit/96kHz Broadcast Wave als Archivformat. Für die Benutzung werden mp3-dateien mitgeliefert. Digitalisierung von AV-Medien 2 Gigabyte Problem : Übertragung mit 24bit/96kHz führt zu Überschreitung der 2 GB Grenze, die im Broadcast-Format definiert ist. continuing junk in.w01 Dateien als Anhängsel ; Information zu dieser w01-datei aber im Header der wave-datei. Technische Metadaten beziehen sich hingegen auf 1 Gesamtdatei. Problem für LZA Lösung: Abgehen vom Standard über 2 GB Dateien zulassen, da neuere Programme und Systeme mit über 2 GB kein Problem. Technisch bis 4 GB möglich. Umstellung auf RF 64 sobald als möglich. 12

13 Digitalisierung von AV-Medien Workflow: 1. Anlieferung von wave, mp3, Original- Protokollen in XML, Metadaten (descriptive, history und technical) in XML 2. Qualitätskontrolle und Erstellen der Markerlisten für Benutzer 3. Formale Kontrollen, Mapping der XML Dateien in ÖNB-konforme Formate und Upload ins Archivsystem mittels Script 4. Benutzerzugang über im Haus entwickelten Skript, das Markerlisten verarbeitet und mit Quicktime ansteuert. 5. Zugang aus urheberrechtlichen Gründen auf ÖNB beschränkt Digitalisierung von AV-Medien 13

14 PLANETS Preservation and Long-term access through Networked Services Vierjähriges Projekt, Juni 2006 Mai Mio Euro Budget Ziele u.a.: Entwicklung praktikabler Tools und Strategien für digitale Langzeitarchivierung Integration existierender Expertise und Lösungen Verbesserung des Entscheidungsprozesses für Archivierungsplanung Automatisierung Know-How Vermittlung 14

15 PLANETS - Partners British Library KB Niederlande ÖNB Staatsbibliothek, Dänemark KB Dänemark Nationalarchiv, UK Bundesarchiv, Schweiz Nationalarchiv, Niederlande Tessella Plc IBM Netherlands Microsoft Research, Cambridge Austrian Research Centers HATTI, University of Glasgow Universität Freiburg TU Wien Universität Köln PLANETS - Hauptziele Planning Services : ermöglichen Organisationen die Definition, Evaluierung und Durchführung von Archivierungsplänen Characterisation Services : Methoden, Tools und Services für Analyse von Dateiformaten Preservation Action Services : Entwicklung technischer Stategien zur Langzeitarchivierung (basierend auf Migration und Emulation) Interoperability Framework Integration der Tools und Services, Workflow Engine Testbed : Objektive Überprüfung der Tools, Services und Archivierungspläne Outreach : Workshops und Seminare mit Benutzergruppen und Systementwicklern 15

16 Vielen Dank für ihre Aufmerksamkeit! 16