Fit für die digitale Bibliothek?

Transkript

1 Digitalisierungsprojekte zukunftssicher gestalten: Planung und Durchführung Fit für die digitale Bibliothek? Dipl. Sozw. Ralf Stockmann Niedersächsische Staats- und Universitätsbibliothek Göttingen

2 Das Göttinger Digitalisierungszentrum Abteilung der Staats- und Universitätsbibliothek Göttingen (SUB) seit 1997, zu Beginn 4 Jahre gefördert von der Deutschen Forschungsgemeinschaft (DFG) Nationales und Internationales Service- und Kompetenzzentrum Entwicklung eines Produktionsworkflows für große Mengen an Digitalisaten im Printbereich Standardisierungsaktivitäten Mehr als 6 Millionen Seiten digitalisiert, über 5 Millionen Seiten online bereitgestellt Konzeption, Beratung und Durchführung von Projekten (häufig kooperativ) Zielsetzung: Masse UND Klasse

3 Fit wofür? Für den (DFG) Projektantrag Für die Direktion / die Politik Für die Ewigkeit (LZA) Für die Nutzer

4 Ablauf eines Digitalisierungsprojektes 1. Zielsetzung 2. Auswahl des Materials 3. Benchmarking / Standards 4. Produktionsorganisation / Logistik 5. Arbeitsvorbereitungen (AV) 6. Digitalisierung 7. Qualitätskontrolle (QK) 8. Bildoptimierung / Verarbeitung 9. OCR / Volltextgenerierung 10. Metadatengenerierung 11. Präsentation / Verwertung 12. Zugang / Evaluation 13. (Langzeit) Archivierung

5 Management Wheel

6 1. Zielsetzung Warum und für wen starte ich ein Digitalisierungsprojekt? Erhaltung, Sicherung, Schonung von Beständen Verbesserung der Verfügbarkeit: Massenmaterial, Rara (Literaturversorgung) Verbesserung der Erschließung (z.b. auch Katalogisierung) Zielmedium: Internet, Reproduktion, Langzeitarchivierung

7 2. Auswahlkriterien Formal-technische Auswahl: Bestimmte Bestandssegmente, z.b. geschädigte Bände, die im Rahmen einer Restaurierungskampagne bearbeitet werden, etc. Inhaltliche Auswahl: Hohes Nutzerinteresse, Forschungsrelevanz etc.

8 3. Benchmarking Welche Erschließungstiefe für welches Material? Serielle Quellen, Massenware, Sekundärliteratur: Image + Metadaten, Hidden-OCR (Volltext) Rara, Inkunabeln, Handschriften, Porträts etc.: Image + Metadaten Primärquellen, Wörterbücher: Volltext mit Tiefenerschließung Standards ermöglichen gestufte, dezentrale und kooperative Erschließung

9 3. Benchmarking Qualität der Digitalisierung Grundlagen Grundkonzept Farbtiefe Auflösung Datenvolumen / Kompression Formate

10 Farbtiefe

11 Konversion Bitonal: Threshold Grenze zwischen an/aus

12

13

14 Farbkalibrierung Farbdigitalisierung erfordert Kalibrierung und Profilierung

15 Konversion: Farbe zu Graustufen Wie hell sind Farben?

16 Auflösung dpi (dots per inch) = ppi (pixel per inch) 1 inch ( 1 ) = 2,54 cm Zusammenhang von Größe der Vorlage Erfasste Bildpunkte Ein Bild mit der Größe 8 x 10 wird mit 300 dpi bitonal gescannt. Kantenmaße: (8 x 300) x (10 x 300) Pixelanzahl: 7,2 Mio.

17 Doppelte dpi = vierfache Information! 300 dpi / 211 Pixel 600 dpi / 844 Pixel

18 Abnehmender Qualitätsgewinn 100 dpi 300 dpi 600 dpi

19

20 Abhängigkeiten Je höher die Farbtiefe, desto weniger Anforderungen an Auflösung 300 dpi Graustufen = 600 dpi Bitonal Haptik, Atmosphäre OCR-Qualität steigt mit Auflösung/Farbiete

21 Datenmenge Dokument: 13 x 8 cm (tiff) Auflösung Farbtiefe Dateigröße 600 dpi MB 8 5,4 MB 1 0,6 MB 300 dpi 24 4 MB 8 1,3 MB 1 0,17 MB 200 dpi 24 1,8 MB 8 0,6 MB 1 0,07 MB

22 Argumente für 600 dpi bitonal Extrem kleine Dateigrößen (A4: 130 kb) Verlustfreie Komprimierung (FAX G4 TIFF) Hohe Auflösung kein Kostenfaktor Erweiterte Möglichkeiten automatisierter Bildoptimierung (s.u.) : besser als das Original Wenn es bitonal gedruckt wurde warum farbig digitalisieren? Nutzerfreundlich PDF-Download ganzer Bände Ausdruck auf 600 dpi Laserdrucker: Reprintqualität

23 Kostenfaktoren Aufnahmehardware (Scanner / Kamera) Preissegmente bis 300 dpi (Farbe) bis 400 dpi (Farbe/Graustufen) bis 600 dpi (bitonal) Plattenspeicher / Raidsysteme Netzwerkstruktur Rechenhardware (Optimierung etc.) Webserver

24 Digitalisierungshardware 1. Digitalkamera 2. Flachbettscanner 3. Flachbett/ Buchscanner 4. Buchscanner 5. Spezialkonstruktionen 6. Scanroboter

25

26

27

28

29

30

31

32 Dokument-Feeder

33

34

35

36

37 Durchsatz Typ Seiten pro Minute Preis Flachbettscanner 1 bis Buch- Flachbettscanner Buchscanner Feeder Scanroboter 35 Ab (Neukonstruktionen)

38 In-house Digitalisierung oder externe Dienstleister? Geräte kaufen Geräte mieten Dienstleister im Haus Dienstleister extern Zu beachten: Qualitätssicherung und Bestandssicherung (konservatorischer Zustand)

39 Logistiksoftware Bildet Workflow ab Organisationseinheit: physischer Band Controlling Personalmanagement Auftragsmanagement Qualitätskontrolle Metadatenerfassung Webbasiert Beispiele: mybib, Goobi, ZENDpro,

40 Workflow Orchestrierung

41 Bearbeitungsstand

42 Controlling

43 Laufzeiten

44 Modulares Open Source Konzept

45 5. Arbeitsvorbereitung Büchertransport Laufzettel / Barcode Aufnahme in Workflowverwaltung Bibliographische Uraufnahme (OPAC) Zuordnung Gerät / Scanner

46 6. Digitalisierung Scanumfang Von Buchdeckel zu Buchdeckel Alle Seiten Titel + Inhalt Einzelne Kapitel / Artikel Ziel Auf lokalen Scanrechner Auf zentralen Scanserver On the fly Nach Digitalisierung Im Batchbetrieb (über Nacht)

47 7. Qualitätskontrolle Fehlende Seiten Doppelte Seiten Seitenreihenfolge Qualität Schmutz Werkzeug: Bildviewer (etwa: ACDSee) Rückgabe an Scanner / Feedback / selbst korrigieren

48 8. Imagenachbearbeitung Bildnachbearbeitung mit PixEdit im Batchmodus: Ausschneiden und Zentrieren, Reinigen, despeckle und speckle Original nach de-speckling nachspeckling

49

50 Volltexterfassung OCR schmutzig (unkorrigiert) OCR korrigiert (über 99,5%) Manuell einfach mit Korrekturlesen Manuell Doublekeying mit automatischem Fehlerabgleich Ca.: 1 pro Zeichen Problematisch: Fraktur, Handschriften, Inkunablen, Warten! Die OCR kann jederzeit nachgeholt werden

51 Finereader Lizenzen

52 Ausgabevariationen Volltext Versteckt: nur für Retrieval Highlighting der Treffer im Image (Wortkoordinaten benötigt) Anzeige des Trefferkontext für Suchergebnis-Kontrolle (+/- 100 Zeichen) PDF: Volltext hinter Image Volltext vor Image (Auffüllung) Ausgabe Volltext Ohne Formatierung Mit Formatierung Schmutzig / bereinigt Zur Bewertung der Suchgenauigkeit TEI Format: für Wissenschaftler direkt verwertbar Rechtliche Rahmenbedingungen (Subito-Urteil)

53

54

55

56 Das neue Nutzungsparadigma Vergangenheit Gegenwart Projektbezogene Webseiten Institutionelle Repositorien Portale Verteilte Suche

57 Zukunft (sehr bald!) Dezentrale Web Services Basierend auf Personalisierung Soziale / Wissenschaftliche Communities Semantische Netze Grid Computing (Ende der Ressourcenknappheit) Bieten an: Dynamische, personalisierte Dienste (privates Bücherregal, ) Werkzeuge zur Analyse, Annotation, Vernetzung, Bewertung, von Informationen Collaborative Arbeitsumgebungen Adressierung kleinster Informationseinheiten Scientific Mashups Online / Offline wird verschwinden (ist!) NASA Portal

58 Konsequenzen Bedeutungswandel Weniger: Eigner / Institution Niederige Qualität Abgeschottete Black Box Software mit vanilla features Mehr: Metadaten Volltext Granularität Hohe Auflösungen Schnittstellen / Protokolle Spezialisierte, gekapselte, kombinierbare Werkzeuge Beispiel: DFG-Viewer

59 DFG Viewer (Alpha)

60 Benötigte Schnittstellen OAI Harvesting Eines der definierten Metadaten-Profile ZVDD MuseumDAT EAI Adressierbarkeit einzelner Images Sinnvoll aber freiwillig: RSS-Feed (Neu hinzugekommene Werke, demnächst über personalisierte Nutzersuchen) Open URL TEI Sehr klare Standardisierungstendenzen

61 9. Metadaten Bibliographische Metadaten (Mindeststandard) Verbindung mit dem Verbundkatalog (PICA/GBV) und dem OPAC Technische Metadaten Datenbanken (z.b. Wörterbücher) Klassifizierungen (z.b. Dewey) Inhaltlich-strukturelle Metadaten (z.b. Inhaltsverzeichnisse, Wörterbuchpositionen, gattungsspezifisches Markup etc.)

62 Warum Strukturdaten? Elektronisches Inhaltsverzeichnis: Beispiel PDF, ebenso online

63 Strukturdaten Pro / Contra Pro Bessere Bedienung Navigation im PDF Digitales Inhaltsverzeichnis auf Webseite Exaktere Suche Kapitel/Aufsätze als Treffer bei Suche (gehen nicht im Volltext unter) Verlässlich Erweiterte Dienste Download einzelner Kapitel als PDF Zusammenbinden neuer digitaler Bücher mit Print on Demand Contra Produktion zeitaufwändig (30-50 Minuten pro Band) Teilweise subsumierbar durch OCR-Volltext

64 Das METS Dokumentenmodell Logische Struktur Monographie / Kapitel / Artikel etc. Physische Struktur Seiten, Spalten Beschreibende Metadaten (Autor, Jahr etc.) Technische Metadaten (Bildformat/Auflösung etc.) Volltext (mit Wortkoordinaten) Eingebettete Dateien (Images) Vorteile: Alles in 1 Datei (XML) Komplette Dokumentlogik ist aus sich heraus verstehbar Import/Export Nachteil: bisher aufwendige Implementierung

65 Goobi METS Editor

66 Integrierter Bildbetrachter (AJAX) OCR integration

67 10. Präsentation / Verwertung Online-Präsentation Seitenweise in Browser Nur als gebundene Datei (PDF, DEJAVU, Multi-TIFF) Eigene Web-Applikation British Library Open Content Aliance Offline Nutzung Intranet (s.o.) CD / DVD Images Applikation FTP

68

69 Ausgabe im GDZ Rendering on the fly frei wählbarer Zoomfaktor Pre-Rendering der nächsten Seite Im PDF (strukturiert) originalauflösende TIFFs Digitales Inhaltsverzeichnis

70 11. Zugang / Evaluation Gemeinfreies Material Urheberrecht: vor 1900 Weltweit freier Zugang (open access) Geschütztes Material Beispiel Digizeitschriften: Trilateraler Vertrag von Bibliotheken, Verlagen und Verwertungsgemeinschaft (VG Wort) Bibliotheken abbonieren Service und stellen ihren Nutzern kostenlos zur Verfügung Ausschüttung an Verlag und VG Technische Umsetzung IP-Bereiche Passwort / Nutzername Konsortien Backend-Verwaltung Biling-Service

71 Zugriffsstatistik Counter.org Unterteilung nach Material Nutzer Anonymisiert / personalisiert Auswertungsintervall Technische Umsetzung Logfilenalyse (etwa: Apache Webserver) Integriertes Nutzertracking (Session Cookies)

72 Schnittstellen GDZ-Dokumentenserverserver (incl. OAI) OPAC der SUB Göttingen Flexible Präsentationssysteme (Virtuelle Fachbibliotheken etc.) Verbundkataloge Zentrales Verzeichnis Digitalisierter Drucke (ZVDD) EROMM (Digitale Master) Deutsche Digitale Bibliothek (DDB) European Digital Library (EDL) November 2008!

73 Schnittstellen zu Diensten Geo-Tagging Wikipedia Social Bookmarking Verwertungsdienste Print on Demand OCR Correction on Demand Digitization on Demand Es wird immer einfacher! API (Application Programming Interface) Zentrales Diensteverzeichnis für Digitale Bibliotheken

74 12. Langzeitarchivierung Über welchen Zeitraum reden wir? 10 Jahre (CD-Rs) 50 Jahre 200 Jahre Drei Komponenten: Physikalische Archivierung Lesegeräte NASA Formate PDF,.DOC

75 JHOVE JSTOR/Harvard Object Validation Environment Konformitätsvalidierung für: AIFF, AIFF-C ASCII GIF 87a, 89a HTML 3.2, 4.0, 4.01, XHTML 1.0, 1.1 JPEG, JFIF, SPIFF, JTIP, JPEG-LS, Exif 2.0, 2.1, 2.2 JPEG 2000 JP2, JPX PDF , PDF/X-1, -1a, -2, -3, PDF/A, Tagged PDF, Linearized PDF TIFF , Class B, G, P, R, Y, F, RFC 1314, TIFF/EP, TIFF/IT (CT, LW, HC, MP, BP, BL, FP, and P1, P2), GeoTIFF, TIFF-FX, Exif 2.0, 2.1, 2.2, DNG UTF-8 WAVE, BWF XML

76 Der Dornröschenschlaf der Bibliotheken Was haben wir in den letzten Jahren erfunden? Retrodigitalisierung Langzeitarchivierung Was hätten wir erfinden sollen? elearning Google Google Maps Del.icio.us YouTube Wikipedia iphone

77 Abwägung Nicht das Grundhandwerk vergessen/verlernen Zweite Schritt vor dem Ersten Schritt Problematik Bibliotheken brauchen auch Erfinder, und eine Umgebung in der sie sich wohl fühlen!

78 Vielen Dank für Ihre Aufmerksamkeit! Ralf Stockmann Göttinger Digitalisierungszentrum