Nutzen und Grenzen der Formaterkennung

Transkript

1 Nutzen und Grenzen der Formaterkennung (Zu-) Fälle bei Pronom und Droid Stephanie Kortyla, Christian Treu 21. AUdS in Basel 2017

2 Nutzen und Grenzen der Formaterkennung 1. Einleitung 2. Wofür? 3. Wie? 4. Praxis mit PRONOM & DROID 5. Grenzen von PRONOM & DROID 6. Fazit & Ausblick 2

3 Formaterkennung wofür? Analyse Übersicht, Fehler, Filter technische Metadaten Bereitstellung von Tools (Darstellung und Veränderung) Preservation Planning / Action (OAIS) Statistik Risikomanagement 3

4 Erkennung vs. Validierung Erkennung Identifizierung von charakteristischen Mustern z. B. DROID, Tika, file, Siegfried Validierung Norm- bzw. Spezifikationskonformität z.b. KOST-VAL, JHOVE, W3C 4

5 Formaterkennung wie? Extension / Dateiendung fehlt, falsch, nicht eindeutig 37 PDF-Varianten.pdf JPEG.jpe,.jpeg,.jpg, MIME-Type zu ungenau application/pdf, text/html 5

6 Formaterkennung wie? Signature / Magic Number spezielles Bitmuster an festen Stellen (z. B. BOF, EOF) ggf. an variablen Stellen Abtasten hohe Wahrscheinlichkeit 6

7 Signaturen am Beispiel Formaterkennung basiert auf typischen, wiederkehrenden Mustern, die spezifisch für ein Format sein sollten menschenlesbar 7

8 Signaturen am Beispiel Formaterkennung basiert auf typischen, wiederkehrenden Mustern, die spezifisch für ein Format sein sollten menschenlesbar 8

9 Signaturen am Beispiel Formaterkennung basiert auf typischen, wiederkehrenden Mustern, die spezifisch für ein Format sein sollten menschenlesbar 9

10 Signaturen am Beispiel maschinenlesbar 10

11 Signaturen am Beispiel maschinenlesbar 11

12 In der Praxis Datenbank Schnittstelle Werkzeug PRONOM Signature-File DROID 12

13 PRONOM Start 2002 Webbasierte Datenbank (kostenfrei) eindeutige Identifizierungsmöglichkeit für Formate (PUID) Ergänzungs-/ Verbesserungsvorschläge (Community) PUID Schema: fmt/18 13

14 PRONOM Start 2002 Webbasierte Datenbank (kostenfrei) eindeutige Identifizierungsmöglichkeit für Formate (PUID) Ergänzungs-/ Verbesserungsvorschläge (Community) PUID Schema: fmt/18 14

15 (DROID) Signature-File aus Pronom-Datenbank generiert Relativ regelmäßig, mehrmals im Jahr Aufbau Menschenlesbare Auflistung der Formate ( fmt ) technischer Abschnitt zur Erkennung der Signaturen 15

16 DROID was und wie Digital Record Object Identification Entwickler TNA, Start : v6.3 plattformunabhängig, Java-Umgebung GUI oder Kommandozeile weltweite Verbreitung frei, Open Source 16

17 DROID was und wie Datei-Scan, Informationssammlung Profil optionaler Export Stapelverfahren, über Verzeichnisse hinweg Typen: Dateien, Verzeichnisse, Archiv -Dateien Methoden: Signatures, Extension, (Container) 17

18 Grenzen von DROID & PRONOM 18

19 DROID Signature sticht 1. Überprüfung auf Signatures 2. Überprüfung auf Extensions 19

20 DROID Signature sticht 1. Überprüfung auf Signatures 2. Überprüfung auf Extensions Echtdaten in Plain Text / EBCDIC erwartet: fmt/159 (EBCDIC-US) 20

21 DROID Signature sticht 1. Überprüfung auf Signatures 2. Überprüfung auf Extensions Echtdaten in Plain Text / EBCDIC erwartet: fmt/159 (EBCDIC-US) Ergebnis: fmt/473 (MS Owner File) 21

22 DROID Signature sticht 1. Überprüfung auf Signatures 2. Überprüfung auf Extensions Echtdaten in Plain Text / EBCDIC erwartet: fmt/159 (EBCDIC-US) Ergebnis: fmt/473 (MS Owner File) 22

23 DROID Signature sticht 1. Überprüfung auf Signatures 2. Überprüfung auf Extensions Echtdaten in Plain Text / EBCDIC erwartet: fmt/159 (EBCDIC-US) Ergebnis: fmt/473 (MS Owner File) 23

24 DROID auf dem Glatteis nicht funktionsfähige Datei 24

25 DROID auf dem Glatteis nicht funktionsfähige Datei DROID lässt sich einfach täuschen arbeitet aber erwartungsgemäß / zuverlässig 25

26 Ergebnisdifferenzen Datei DROID v6.1.3 (SignFile V79, MBS) DROID v6.3 (SignFile V88, full scan) Siegfried (1.6.7) Formatname A1.jpg fmt/41 fmt/645 fmt/645 Raw JPEG Stream EXIF B1.pdf fmt/18 fmt/95 fmt/95 PDF 1.4 PDF/A-1a B2.pdf fmt/276 fmt/478 fmt/478 PDF 1.7 PDF/A-2u 26

27 Ergebnisdifferenzen Datei DROID v6.1.3 (SignFile V79, MBS) DROID v6.3 (SignFile V88, full scan) Siegfried (1.6.7) Formatname A1.jpg fmt/41 fmt/645 fmt/645 Raw JPEG Stream EXIF B1.pdf fmt/18 fmt/95 fmt/95 PDF 1.4 PDF/A-1a B2.pdf fmt/276 fmt/478 fmt/478 PDF 1.7 PDF/A-2u 27

28 DROID Scan-Modi BOF digital object EOF Nach Jay Gattuso (NZNL) 28

29 DROID Scan-Modi BOF digital object EOF Full Scan Nach Jay Gattuso (NZNL) 29

30 Max Byte Scan (MBS) DROID Scan-Modi BOF digital object EOF 100 Bytes (un-scanned area) Full Scan Nach Jay Gattuso (NZNL) 30

31 Max Byte Scan (MBS) DROID Scan-Modi BOF digital object EOF 100 Bytes (un-scanned area) 1280 Bytes Full Scan Nach Jay Gattuso (NZNL) 31

32 Max Byte Scan (MBS) DROID Scan-Modi BOF digital object EOF 100 Bytes (un-scanned area) 1280 Bytes 7680 Bytes Full Scan Nach Jay Gattuso (NZNL) 32

33 Max Byte Scan (MBS) DROID Scan-Modi BOF digital object EOF 100 Bytes (un-scanned area) 1280 Bytes 7680 Bytes Full Scan Nach Jay Gattuso (NZNL) 33

34 Scan-Beispiel %PDF-1.4 = D312E34 %%EOF = F46 BOF digital object EOF 34

35 Scan-Beispiel %PDF-1.4 = D312E34 PDF/A-1a= fmt/95 xmlns:pdfaid=" <pdfaid:part>1<pdfaid:part> <pdfaid:conformance>a<pdfaid:conformance> = 786D6C6E733A D(22 27) A2F2F E D2E6F72672F F 6E732F6964* A (3D22 3D27 3E)31( C2F A E){0-11} A636F6E666F726D616E6365(3E 3D22 3D27)41( C2F A636F6E 666F726D616E63653E) %%EOF = F46 BOF digital object EOF 35

36 Scan-Beispiel %PDF-1.4 = D312E34 PDF/A-1a= fmt/95 xmlns:pdfaid=" <pdfaid:part>1<pdfaid:part> <pdfaid:conformance>a<pdfaid:conformance> = 786D6C6E733A D(22 27) A2F2F E D2E6F72672F F 6E732F6964* A (3D22 3D27 3E)31( C2F A E){0-11} A636F6E666F726D616E6365(3E 3D22 3D27)41( C2F A636F6E 666F726D616E63653E) %%EOF = F46 BOF digital object EOF Full Scan 36

37 Scan-Beispiel %PDF-1.4 = D312E34 PDF/A-1a= fmt/95 xmlns:pdfaid=" <pdfaid:part>1<pdfaid:part> <pdfaid:conformance>a<pdfaid:conformance> = 786D6C6E733A D(22 27) A2F2F E D2E6F72672F F 6E732F6964* A (3D22 3D27 3E)31( C2F A E){0-11} A636F6E666F726D616E6365(3E 3D22 3D27)41( C2F A636F6E 666F726D616E63653E) %%EOF = F46 BOF digital object EOF Full Scan 37

38 Max Byte Scan (MBS) Scan-Beispiel %PDF-1.4 = D312E34 PDF/A-1a= fmt/95 xmlns:pdfaid=" <pdfaid:part>1<pdfaid:part> <pdfaid:conformance>a<pdfaid:conformance> = 786D6C6E733A D(22 27) A2F2F E D2E6F72672F F 6E732F6964* A (3D22 3D27 3E)31( C2F A E){0-11} A636F6E666F726D616E6365(3E 3D22 3D27)41( C2F A636F6E 666F726D616E63653E) %%EOF = F46 BOF digital object EOF Bytes (un-scanned area) Full Scan 38

39 Max Byte Scan (MBS) Scan-Beispiel %PDF-1.4 = D312E34 PDF/A-1a= fmt/95 xmlns:pdfaid=" <pdfaid:part>1<pdfaid:part> <pdfaid:conformance>a<pdfaid:conformance> = 786D6C6E733A D(22 27) A2F2F E D2E6F72672F F 6E732F6964* A (3D22 3D27 3E)31( C2F A E){0-11} A636F6E666F726D616E6365(3E 3D22 3D27)41( C2F A636F6E 666F726D616E63653E) %%EOF = F46 BOF digital object EOF Bytes (un-scanned area) Full Scan 39

40 Max Byte Scan (MBS) Scan-Beispiel %PDF-1.4 = D312E34 PDF/A-1a= fmt/95 xmlns:pdfaid=" <pdfaid:part>1<pdfaid:part> <pdfaid:conformance>a<pdfaid:conformance> = 786D6C6E733A D(22 27) A2F2F E D2E6F72672F F 6E732F6964* A (3D22 3D27 3E)31( C2F A E){0-11} A636F6E666F726D616E6365(3E 3D22 3D27)41( C2F A636F6E 666F726D616E63653E) %%EOF = F46 BOF digital object EOF Bytes Bytes (un-scanned area) Full Scan 40

41 Max Byte Scan (MBS) Scan-Beispiel %PDF-1.4 = D312E34 PDF/A-1a= fmt/95 xmlns:pdfaid=" <pdfaid:part>1<pdfaid:part> <pdfaid:conformance>a<pdfaid:conformance> = 786D6C6E733A D(22 27) A2F2F E D2E6F72672F F 6E732F6964* A (3D22 3D27 3E)31( C2F A E){0-11} A636F6E666F726D616E6365(3E 3D22 3D27)41( C2F A636F6E 666F726D616E63653E) %%EOF = F46 BOF digital object EOF Bytes Bytes (un-scanned area) Full Scan 41

42 Weiterentwicklung der Datenbank 42

43 PRONOM-Entwicklung ( ) Quelle: Paul Young ( 43

44 Weiterentwicklung von PRONOM Neue Einträge Vorläufige Einträge Zusammenlegung von Einträgen Überholte Einträge - Deprecated Persistenz?! 44

45 Ehemals vorläufige Einträge Name Acrobat PDF 1.4 Comma Separated Values Version 1.4 Other names PDF (1.4) Identifiers MIME: application/pdf PUID: fmt/18 MIME: text/csv PUID: x-fmt/18 45

46 Ehemals vorläufige Einträge Name Acrobat PDF 1.4 Comma Separated Values Version 1.4 Other names PDF (1.4) Identifiers MIME: application/pdf PUID: fmt/18 MIME: text/csv PUID: x-fmt/18 fmt x-fmt Insgesamt: ca. 450 doppelt vergebene Signaturen 46

47 Zusammenlegung von Einträgen Beispiel TIFF fmt/7 fmt/8 fmt/353 fmt/9 fmt/10 47

48 Zusammenlegung von Einträgen Beispiel TIFF fmt/7 fmt/8 fmt/353 fmt/9 fmt/10 48

49 Zusammenlegung von Einträgen Beispiel TIFF fmt/7 fmt/8 fmt/353 fmt/9 fmt/10 64 deprecated PUIDs (Stand 2017) 49

50 Keine PUID. Und dann? 50

51 Fazit Datenbank Schnittstelle Werkzeug PRONOM Signature-File DROID 51

52 Fazit trotz Weiterentwicklung Erkennquote 52

53 Fazit trotz Weiterentwicklung Erkennquote Fehlerquote 53

54 Fazit trotz Weiterentwicklung Erkennquote Fehlerquote Formaterkennung an sich ( ) it s a work in progress, and therefore could not be considered complete at this time. Perhaps it is only possible to have a relative truth ( ) (Jay Gattuso, NZNL, 2012) 54

55 Was können wir machen? kurzfristig: andere Tools hinzuziehen (z.b. Siegfried, R. Lehane) langfristig: Stärkere Vernetzung (auf Arbeitsebene) Plattformausbau? nestor (AGs, Praktikertage, Workshops, Publikationskanäle, ) Vorbild KOST, LWL Anwendertreffen, Fachtagungen 55

56 Vielen Dank! 56

57 Vielen Dank! 57

58 Vielen Dank! 8 bad food beef cake cafe babe 58

59 Diskussion? Ähnliche Erfahrungen? Kein PUID. Und dann? Rerun? Ist PRONOM genug? Offenes <-> restriktives Repository? 59