Wahrheit oder Pflicht?

Größe: px

Ab Seite anzeigen:

Download "Wahrheit oder Pflicht?"

Lioba Schräder
vor 8 Jahren
Abrufe

1 Wahrheit oder Pflicht? Validierung mit JHOVE Yvonne Tunnat /ZBW Kiel (in Vertretung für Michelle Lindlar/ TIB Hannover) Digitale Langzeitarchivierung nestor Praktikertag 28. Juni 2017 Die ZBW ist Mitglied der Leibniz-Gemeinschaft

2 Überblick Allgemeines zu JHOVE JHOVE-Forschung JHOVE-Validierung mit: TIFF JPEG PDF Seite 2

3 Finger hoch Wer kennt JHOVE? Wer benutzt JHOVE? Wer hatte schon false negatives? (nicht entdeckte fehlerhafte Dateien) Wer hatte schon false positives? (fehlerfreie Dateien, die als invalide markiert wurden) Seite 3

4 Über JHOVE Erstmals veröffentlicht 2005 von der Harvard University Library Seit März 2014 gehostet bei der OPF (Open Preservation Foundation) Community hilft mit via GitHub Document Interest Group JHOVE Hack days JHOVE Product Board JHOVE kann 14 verschiedene Formate validieren, u. a. PDF, TIFF, JPEG Seite 4

5 Warum benutzen wir JHOVE? Langzeitarchivierung: Hohe Qualität der Dateien notwendig Automatisierte Prüfung gegen die jeweilige Dateispezifikation aber hat JHOVE immer Recht? Wie überprüfe ich das Überprüfungswerkzeug? Seite 5

JHOVE- Forschung Arbeitsgruppen nestor AG Formaterkennung (gegründet 2014) Open Preservation Foundation Document Interest Group (gegründet 2014) Format-Benchmarking mit JHOVE TIFF

6 JHOVE- Forschung Arbeitsgruppen nestor AG Formaterkennung (gegründet 2014) Open Preservation Foundation Document Interest Group (gegründet 2014) Format-Benchmarking mit JHOVE TIFF (OPF-Blogpost 2017) JPEG (OPF-Blogpost 2016) WAVE (OPF-Blogpost 2017) JHOVE und PDF-Dateien Herstellung simpler PDF-Dateien zum Testen von JHOVE (ipres Paper M. Lindlar, Y. Tunnat und C. Wilson) Seite 6

7 JHOVE-Validierung am Beispiel dreier Dateimodule No. of pages in specification No. Of possible JHOVE Errors PDF Lines of code in JHOVE module JPEG TIFF Seite 7

8 Den Überprüfer überprüfen 1. Tool-Benchmarking (TIFF, JPEG) 2. Synthetische Testfiles erstellen (PDF) Seite 8

9 Validierungsergebnisse prüfen Ansatz 1. Tool-Benchmarking TIFF JPEG PDF

10 Tools neben JHOVE zur Validierung von Standard-PDF? Tool Möglichkeiten der PDF-Validierung per default ist erstmal jedes PDF invalide (es wurden bisher nur exemplarisch wenige Regeln umgesetzt, nicht für den praktischen Gebrauch) PDF/A-2 Profil auswählen und alles PDF/Aspezifische entfernen (PDF-Validierung beschränkt auf korrekte Infos und reines Rendering) Ähnlich wie beim pdfapilot, man kann reine PDF/A- Regeln abwählen z. B. via KOST-Val. Fehler unter A) Allgemeines und B) Struktur beziehen sich auch auf Standard-PDF

11 Seite 11

12 TIFF-Validierung mit JHOVE Deckt alle Standardversionen ab und einige standardisierte Erweiterungen BigTiff ist nicht abgedeckt Seite 12

13 Benchmark: TIFF JHOVE vs. DPF Manager 166 TIFF-Dateien aus der GoogleImageTestSuite 83 dieser Dateien sind nicht mit Standard-Viewern zu öffnen Ergebnis der beiden Validatoren: 81 Dateien: beide Tools befinden invalide 2 Dateien: JHOVE befindet für valide zu Unrecht

14 Seite 14

15 JPEG-Validierung mit JHOVE Die meisten JPEG Formatversionen sind abgedeckt Kein JPEG2000 (dafür bietet JHOVE eigenes Modul) Seite 15

16 Benchmark: JPEG JHOVE vs. Bad Peggy Test corpus: 3070 JPEGs, teils aus der GoogleImageTestSuite, teils von Kolleginnen und Kollegen gesammelt 18 eindeutig kaputte Dateien JHOVE verpasst sieben davon (false negatives)

17 Jhove false negative Bad Peggy erwischt die Dateien mit der Fehlermeldung: corrupt data: premature end of data segment Seite 17

18 Wo ist der Rest des Bildes? Seite 18

19 Ah, hier! Seite 19

20 Reparatur? Seite 20

21 Seite 21

22 PDF-Validierung mit JHOVE nur bis PDF 1.4 (kein PDF 1.7) keine Profile (PDF/A etc.) werden geprüft lediglich strukturelle und syntaktische Prüfung Seite 22

23 Motivation - Validation vs. Identifikation %PDF-1.4 %%EOF

24 Validierung validieren mittels synthetischer Testfiles In general, a file is well-formed if - it has a header : %PDF-m.n, - a body consisting of well-formed objects; - a cross-reference table; - and a trailer defining the - cross-reference table size, - and an indirect reference to the document catalog dictionary, - and ending with: %%EOF

25 Ergebnisse des Testsets Gute Nachricht Die Mehrheit wurde korrekt validiert (71 Dateien / 80%) Schlechte Nachricht 18 wurden nicht korrekt validiert, 17 wurden für wohlgeformt und valide gehalten (=19.1%)

26 Na und? 2 der Testdateien, die von JHOVE für wohlgeformt gehalten wurden, konnte man nicht mit Adobe oder anderen PDF Viewern öffnen Außerdem war bei anderen vermeintlich validen PDF-Dateien der Text weg

27 Was nun? Niemand hat je gesagt, Digitale Langzeitarchivierung sei einfach Vor allem Dateiformate nicht Die Community übernimmt Verantwortung für die Tools, die sie nutzt JHOVE wird stetig verbessert und analysiert Engagement jederzeit erwünscht see

Fragen? Yvonne Tunnat, ZBW: y.tunnat@zbw.

28 Fragen? Yvonne Tunnat, ZBW: Michelle

29 Referenzen Lindlar, Tunnat: How valid is your validation? A closer look behind the curtain of JHOVE IDCC 2017 paper Lindlar, Tunnat, Wilson: A Test-Set for Well-Formedness Validation in JHOVE The Good, the Bad and the Ugly ipres 2017 paper (forthcoming) Yvonne Tunnat: TIFF format validation: easy-peasy? OPF blog: Yvonne Tunnat: Error detection of JPEG files with JHOVE and Bad Peggy so who s the real Sherlock Holmes here? OPF blog:

Ähnliche Dokumente

Ach, wie gut, dass niemand weiß, wie mein Dateiformat nun heißt

Ach, wie gut, dass niemand weiß, wie mein Dateiformat nun heißt DROID und JHOVE Yvonne Tunnat Digitale Langzeitarchivierung 106. Deutscher Bibliothekartag 30.05.2017 Die ZBW ist Mitglied der Leibniz-Gemeinschaft