Sinn und Zweck der Formaterkennung und deren Grenzen

Transkript

1 Sinn und Zweck der Formaterkennung und deren Grenzen nestor Praktikertag 2017, ZBW Kiel, Claire Röthlisberger Jourdan

2 Inhaltsverzeichnis Wie funktioniert die Formaterkennung Grenzen der Formaterkennung Unterschied Formaterkennung & validierung Erkenntnisse aus der Praxis Sinn und Zweck Fazit nestor Praktikertag C. Röthlisberger Jourdan 2 KOST

3 1. Dateiendung (Extension) Ist eigentlich eine Dateinamenserweiterung und bezeichnet den letzten Teil eines Dateinamens und wird gewöhnlich mit einem Punkt abgetrennt. Die Dateiendung wird oft eingesetzt, um das Format einer Datei erkennbar zu machen, um sie so beispielsweise gleich mit einem passenden Programm öffnen zu können. Test.pdf KOST nestor Praktikertag C. Röthlisberger Jourdan 3

4 1. Dateiendung (Extension) Die Dateiendung ist nicht eindeutig. Die Dateiendung kann sehr einfach geändert werden. Diese Erkennung ist sehr einfach und sehr schnell. KOST nestor Praktikertag C. Röthlisberger Jourdan 4

5 1. Dateiendung (Extension) mp4 txt csv siard arc doc zip tiff xml wav mp3 jpg pdf mkv mov sql jpx html xsl odt jp2 warc exe avi KOST nestor Praktikertag C. Röthlisberger Jourdan 5

6 1. Dateiendung (Extension) Test.pdf KOST nestor Praktikertag C. Röthlisberger Jourdan 6

7 1. Dateiendung (Extension) Diese Fragen solltet Ihr euch für jeden Typ der Formaterkennung stellen! Ich werde diese am Schluss aus meiner Sicht beantworten: Genügt dies? Ist es sinnvoll, sich darauf zu verlassen? Für welchen Zweck kann ich es einsetzen? KOST nestor Praktikertag C. Röthlisberger Jourdan 7

8 2. Magische Zahl (magic number) Die magische Zahl ist ein spezieller Wert, der ein bestimmtes Dateiformat am Dateibeginn kennzeichnet. Die magische Zahl ist ein Bestandteil der Datei. Die magische Zahl ist nicht eindeutig. Die magische Zahl kann einfach geändert werden. Diese Erkennung ist für ein Programm einfach und schnell. Magische Zahl (Hex) Text Beschreibung Dateiendungen %PDF PDF Datei pdf %!PS PostScript Datei ps E 47 0D 0A 1A 0A.PNG... PNG Bild png 50 4B PK.. ZIP Datei zip, jar, siard, docx, xlsx KOST nestor Praktikertag C. Röthlisberger Jourdan 8

9 2. Magische Zahl (magic number) Test.pdf KOST nestor Praktikertag C. Röthlisberger Jourdan 9

10 2. Magische Zahl (magic number) Genügt dies? Ist es sinnvoll, sich darauf zu verlassen? Für welchen Zweck kann ich es einsetzen? Kann nicht die Dateiendung mit der magischen Zahl kombinieren werden? Natürlich KOST nestor Praktikertag C. Röthlisberger Jourdan 10

11 1. Dateiendung (Extension) 2. Magische Zahl (magic number) KOST nestor Praktikertag C. Röthlisberger Jourdan 11

12 3. Interne Bytesequenz (internal byte sequence) Ist eine spezielle Sequenz, welche ein bestimmtes Dateiformat enthält. Die Bytesequenz ist ein Bestandteil innerhalb der Datei. Die Position innerhalb der Datei ist nicht immer gegeben. Die Bytesequenz kann Variablen enthalten. Es können mehrere Bytesequenzen kombiniert werden. Die Bytesequenz erlaubt eine feinere Granularität. Die Bytesequenz kann geändert werden. Diese Erkennung ist nicht besonders schnell und einfach. KOST nestor Praktikertag C. Röthlisberger Jourdan 12

13 1. Dateiendung 2. Magische Zahl 3. Interne Bytesequenz %PDF 1.0 bis %PDF 1.7 xmlns:pdfaid=" <pdfaid:part>1</pdfaid:part> <pdfaid:conformance>b</pdfaid:conformance> KOST nestor Praktikertag C. Röthlisberger Jourdan 13

14 1. Dateiendung (Extension) 2. Magische Zahl (magic number) 3. Interne Bytesequenz (internal byte sequence) KOST nestor Praktikertag C. Röthlisberger Jourdan 14

15 1. Dateiendung (Extension) 2. Magische Zahl (magic number) 3. Interne Bytesequenz (internal byte sequence) KOST nestor Praktikertag C. Röthlisberger Jourdan 15

16 Grenzen der Formaterkennung Die Formaterkennung ändert sich stetig Neue Formate können die Erkennung bestehender Formate ändern Die bestehende Erkennung kommt mit neuen Formate an ihre Grenzen Die Formaterkennung ist nur ein aktuelles Indiz Das Resultat kann sich nach jeder Aktualisierung (Programm oder Formatdatenbank) ändern Die notwendige Granularität ist variabel Je nach Prozess und Format unterschiedlich Auf «Vorrat» Erkennen macht keinen Sinn nestor Praktikertag C. Röthlisberger Jourdan 16 KOST

17 Was ist der Unterschied zwischen Formaterkennung und Formatvalidierung? Viewer "überprüft", ob das Format geöffnet werden kann (d.h. nicht komplett defekt ist) und liest ggf. einige Metadaten Validator überprüft alle notwendigen Eigenschaften KOST nestor Praktikertag C. Röthlisberger Jourdan 17

18 Sinn und Zweck der Formaterkennung 1. Dateiendung (Extension) 2. Magische Zahl (magic number) 3. Interne Bytesequenz (internal byte sequence) Genügt dies? Nicht wirklich Ist es sinnvoll, sich darauf zu verlassen? Nur bedingt Für welchen Zweck kann ich es einsetzen? Kommt auf die Situation an KOST nestor Praktikertag C. Röthlisberger Jourdan 18

19 Sinn und Zweck der Formaterkennung Informationen zu einer «unbekannten» Datei erhalten Durch den Einsatz eines PRONOM basierten Tools bekommt man die Informationen : / Sehr zeitintensiv und nicht ideal für einen automatischen Prozess mit vielen Dateien nestor Praktikertag C. Röthlisberger Jourdan 19 KOST

20 Sinn und Zweck der Formaterkennung Den korrekten Nachfolgeprozess auslösen (als Beispiel: KOST Val als Formatvalidator diverser Formate) Grobeinteilung anhand der Dateiendungen [1] Verifikation der Einteilung anhand der Magischen Zahl [2] (auf die Erkennung der Internen Bytesequenz [3] wird bewusst verzichtet) Validierung des Formates nestor Praktikertag C. Röthlisberger Jourdan 20 KOST

21 Sinn und Zweck der Formaterkennung Den korrekten Nachfolgeprozess auslösen (als Beispiel: Preservation Action im Repository) Entnahme anhand der Dateiendungen [1] (auf die genauere Erkennung [2 & 3] wird bewusst verzichtet, da die Dateiendung vor dem Ablegen ins Repository validiert wurde und die feinere Granularität nicht notwendig ist) Ermitteln der betroffenen Dateien (i.d.r. fehlerhafter Inhalt) durch spezifische, fallbezogene Tools Durchführung der Preservation Action an den betroffenen Dateien nestor Praktikertag C. Röthlisberger Jourdan 21 KOST

22 Fazit Keine Erkennung auf Vorrat Der Einbau der Formaterkennung in einen automatischen Prozess ähnelt der Verkehrsplanung: Die Masse ist die Hürde! nestor Praktikertag C. Röthlisberger Jourdan 22 KOST

23 Fazit Auch die Formaterkennung ist nicht perfekt KOST nestor Praktikertag C. Röthlisberger Jourdan 23

24 Claire Röthlisberger Jourdan Koordinationsstelle für die Archivierung elektronischer Unterlagen KOST c/o Schweizerisches Bundesarchiv Archivstrasse 24 CH 3003 Bern T E claire.roethlisberger@kost.admin.ch W ceco.ch