Das NEDLIB Projekt. Gliederung

Transkript

1 Vortrag von Thomas Kiesling Am Gliederung Einleitung DSEP-Modell Emulationsexperiment Demonstrator, Tools Resumé 1

2 Einleitung Networked European Deposit Library Durch CoBRA+ am gestartet Von Europäischen Kommission unterstützt Teilnehmer: 8 Nationalbibliotheken 1 Nationalarchiv 2 ICT-Firmen 3 Verleger Durch Nationalbibliothek der Niederlande (Koninklijke Bibliotheek, KB) geleitet Bis Ziele Detailliertes und generisches Modell für Deposit System for Electronic Publications (DSEP) Standards, Schnittstellen, Richtlinien Lösung des Langzeitarchivierungsproblems Grundlegende Tools für Digitale B. Demonstrator an der KB 2

3 DSEP Auf Grundlage des OAIS (12/98) Flexibel Informationsaustausch mit anderen auf OAIS basierenden Projekten Im Kern detaillierter als OAIS, ebenso flexibel In bibliotheksspezifischer Umgebung weniger genau Generischer Kern einer digitalen Bibliothek mit klar definierten, einfachen Schnittstellen zum Digital Library System (DLS) DSEP-Prozess-Modell 3

4 Delivery and Capture Auswahl und Beschaffung aktiv oder passiv (Harvester oder Veröffentlicher) Problem: keine Standards für Veröffentlichungen Rechtlichen Bedingungen der Bib. ungleich Erstellen eines SIP durch Vervollständigen mit Metadaten (aufwendig) Prüfen der physikalischen Integrität Packaging and Delivery Fordert DIP von Access an Packt DIP aus, bereitet es für Nutzung vor Installation Zugriffskontrollen Copyrights Speist Katalogisierungsinformationen in inund externe Systeme ein Nimmt Suchanfragen an und leitet sie an Access weiter 4

5 Ingest Nimmt SIP auf und packt es aus, installiert es Überprüft Logische Integrität Erzeugt Metadaten (z.b. Textindex, (De)installation) AIP an Archival Storage Metadaten an Data Management Archival Storage Speichert AIP ab Bitstream Sorgt für Erhaltung der physikalischen Integrität (error checking, desaster recovery..) Media Migration (Refreshment, Replikation) 5

6 Data Management Verwaltung der Metadaten in eigenen Datenbank Erzeugt dokumentspezifische (Links zu anderen Dokumenten) und DSEP-spezifische Metadaten (Statistiken) Dokumentspezifische Metadaten evt. zusätzlich ausserhalb, um Suchanfragen zu vereinfachen Access Erstellt DIP mit allen zur Nutzung notwendigen Daten z.b. Textindex Zusätzliche Software load image Leitet Suchanfragen und deren Ergebnisse weiter 6

7 Administration Überwacht Kontrolliert Passt die Module an neue Standards und Richtlinien an Preservation Neues Modul bzgl. OAIS Content Migration Veränderungen protokolliert Neue Version als SIP in Ingest Emulation? Hardwarespezifikationen als SIP eingespeist 7

8 Emulationsexperiment Mit Jeff Rothenberg Mai 1999 bis 2001 Machbarkeitsstudie über Emulation Ziele: Modell Beschreibung von Haltbarkeitskriterien für Dokumente und die dafür erforderlichen hardwarespezifischen Aspekte für Emulation Emulatorspezifikation für verschiedene Plattformen und zugehörige Umgebung für Emulation Emulation DSEP - OAIS JR: OAIS sagt nicht viel über Preservation aus... OAIS über Emulation: major technical and economic risk OAIS eher für Migration geeignet DSEP mit zusätzlichen Preservation Modul Aber: Emulation erfordert Veränderungen an allen Prozessen JR: Digital migrations are time consuming, costly, and expose to greatly increased probabilities of information loss. 8

9 Emulationsmodell Vorteile Emulatorspezifikation endgültig Interpreter rekursiv endgültig Einmaliger Aufwand Lebenserwartung EVM, ESL ca. 10 Jahre 9

10 Vorraussetzungen für Modell Emulatorspezifikation für alte Plattform Emulation Virtual Machine (EVM) für jede Plattform zur Emulation Interpreter für jede Emulator Spezifikation Language (ESL), lauffähig auf EVM Falls neues Design EVM: Interpreter für möglicherweise neue ESL Spezifikation der alten EVM (in neuen ESL) Für Zugang zu ED Erhaltung des Dokuments und zugehöriger Software Emulatorspezifikation in ESL für benötigte Hardwareumgebung Interpreter für ESL EVM 10

11 Anforderungen an DSEP Erhaltung der Bitsreams des Dokuments, zugehöriger Software, Emulatorspezifikation, Interpreter Metadaten in lesbarer Form Beschreibung der Emulation Human readable Beschreibungen von ESL, EVM Links zwischen Dokument, Software, Betriebssystem, Interpreter, EVM, Metadaten Entwicklung eines Interpreters für jede neue ESL Lauffähige EVM Ingest [and D & C] Aufnahme und Verarbeitung von zusätzlichen Informationen (System, Software, Hardware) Abspeicherung in eigenen AIP, falls möglich Beschaffung von noch nicht im DSEP vorhandenen aber benötigten Hardwarespezifikationen Validierung der Informationen! Standards bzw. Validierungsservice für Veröffentlicher würde komplizierten Prozess vereinfachen Load Image von BS, Software, (Dokument) 11

12 Archival Storage Mehr AIP, die sicher gespeichert werden müssen Data Management Grösserer Verwaltungsaufwand, da Mehr Metadaten Mehr AIP zu einem Dokument 12

13 Access [and P & D] DIP wird umfangreicher und komplexer Dokument muss nutzbar gemacht werden Durch Emulation auf Rechner des Nutzers EVM Interpreter setzt Emulatorspezifikation um Load Image der Software incl. BS installiert Dokument Emission eines use copy Preservation Keine Veränderung der Originale nötig, aber: Zu jeder ESL Entwicklung Interpreter neue ESL, falls alte nicht ausreichend ist Portieren von älteren Interpretern auf neue EVM (Emulationskette) EVM lauffähig halten, Beschreibung der alten, falls neue EVM entwickelt Evt. Beschaffung von Hardwarespezifikationen, um Ingest zu vereinfachen Verwaltung und Haltbarkeit der Beschreibungen zu ESL, EVM 13

14 Momentaner Stand Erfolgreiche Tests mit kommerziellen Emulatoren (z.b. Windows MM-CD auf Mac) Modell bzw. Modifikationen am DSEP Praxistauglichkeit des Modells? Probleme: ESL Haltbarkeitskriterien Zuversicht Demonstrator, Tools Geplant: In C++, Perl unter UNIX Eigene Tools Open source DTD-Tool BIBLINK Tool Ressourcenmangel Fremde Tools, teilweise kommerziell Nur Kern-Tools Harvester Multimediabereitstellungssystem Compact KB-Digital Library 14

15 Harvester Capture (von on-line Dokumenten) CSC-Center for Scientific Computing, Finland UNIX mit MySQL als Datenbank open source Durchsucht Inter- und Intranet gemäss z.b. Domain-Beschränkungen http und ftp; Dateien nur mit direkter Referenzierung aus Dokument heraus Parsen Dokumente für Metadaten und weiterführende Links Harvester-Modell 15

16 Harvester-Kritik Kein Access-Modul Keine Stop/Restart Funktion Keine Filterfunktion für z.b. priv. HP Keine programmierbare User- Interaction für morphing sites Schwierige Konfiguration Multimediabereitstellungssystem Von CSC Ploenzke AG im Auftrag von Die Deutsche Bibliothek entwickelt Seit mehreren Jahren in L,F,B im Einsatz Deckt viele Bereiche einer Digitalen Bibliothek ab Verarbeitet DOS/Windows Publikationen auf unterschiedlichen Medien mit zugehöriger Software (z.b. Multimedia CDs) WinNT als Server, Win95/NT als Client Kompakt Version wird Teil des NEDLIB- Demonstrators (Installation, Access) 16

17 Warum MMB? Installation (De)Installationsskript Erstellung load image Access Einfache Installation Einfache Deinstallation durch Skript oder Image der Originalkonfiguration Benutzer Identifikation, Zugriffkontrollen (IP, Chipkarte, Login) Resumé DSEP Modell (60%) detailliert, aber ohne Einfluss Emulationsexperiment, nicht praxiserprobt Langzeiterhaltung (70%) Emulationsmodell fertig, aber bisher nur mit kommerziellen Emulatoren getestet Tools (90%) Ressourcenknappheit wenige Tools Demonstrator (15%) KB-Digital Library??? heisse Phase, wöchentlich neue Infos 17