Dateiformate. 1 Vorwort 1. 3 Dateisysteme und Datenbanken 2

Transkript

1 Dateiformate Holger Jakobs Inhaltsverzeichnis 1 Vorwort 1 2 Physikalische Speichermedien 1 3 Dateisysteme und Datenbanken 2 4 Dateiformate binäre Dateien Textdateien Zeichencodierung Satzeinteilung Komplexere Dateien Vorwort Quasi alle IT-Anwendungen benötigen permanenten Speicher, d. h. es müssen Daten in irgendeiner Form dauerhaft auf einem Datenträger abgelegt werden. In diesem Dokument soll näher auf die vielen verschiedenen Möglichkeiten der Datenspeicherung eingegangen werden, wobei auch die Vor- und Nachteile beleuchtet werden. Alle Arten der Datenspeicherung haben in ihrem jeweiligen Kontext ihre Berechtigung, so dass man immer im Einzelfall entscheiden muss, welche die Richtige bzw. Beste ist. Ein one-size-fits-all kann es hier nicht geben. 2 Physikalische Speichermedien Eine erste Einteilung kann anhand des verwendeten Speichermediums geschehen. In den meisten Fällen ist es heutzutage ein magnetisches Medium (Festplatte, seltener Band), aber auch optische Medien (CD-ROM, DVD) sind gängig, und zunehmend auch Halbleiterspeicher (Flash-Medien wie USB-Stick). 1

2 3 DATEISYSTEME UND DATENBANKEN Übung 1 Erstellen Sie (von Hand oder mit einem Programm) eine Baum- oder Matrixdarstellung, die die einzelnen Speichermedien klassifiziert. Überlegen Sie sich dafür die geeigneten Unterscheidungskriterien. Übung 2 Erstellen Sie eine Tabelle mit den gängigen Dateisystem-Typen und den Betriebssystemen, die diese lesen bzw. schreiben können. Markieren Sie die nativen Dateisysteme der jeweiligen Betriebssysteme. 3 Dateisysteme und Datenbanken Allen oben genannten Medien gemeinsam ist, dass der Speicherplatz meistens mit einem Dateisystem versehen wird, auf dem dann einzelne Dateien abgelegt werden. Üblicherweise (außer bei Bändern) gibt es ein hierarchisch geordnetes Dateisystem mit Verzeichnissen und Dateien. Viele der Dateisysteme speichern nicht nur die Daten und einige Metadaten (d. h. Information über die Daten wie Dateiname, Dateigröße, Datum der letzten Änderung usw.), sondern auch Angaben darüber, wer wie auf diese Daten zugreifen darf. Bei entnehmbaren Datenträgern sind diese Angaben regelmäßig nicht enthalten, weil sie keine Sicherheit bieten können. Die in Dateien abgelegten Daten sind oft sogenannte Dokumente, d. h. man arbeitet mit den entsprechenden Anwendungen dokumentenzentriert. Beispiele hierfür sind die gängigen Office-Produkte, zu denen es Textdokumente, Tabellendokumente, Präsentationsdokumente, Zeichnungsdokumente, Bilddokumente usw. gibt. Beim Anklicken eines solchen Dokuments in einem Datei-Manager wird die passende Anwendung gestartet, um das Dokument zu bearbeiten. Neben der Speicherung von Daten in Dateien gibt es auch die Möglichkeit, sie in (meist relationalen) Datenbanken abzulegen. Welche wesentlichen Unterschiede bestehen nun zwischen den dokumentenzentrierten Dateien und den Datenbanken? Welche Vorarbeit ist bei Datenbanken zu leisten? Wo kann man welche Daten wie wiederfinden? Gibt es auch Unterschiede in der Art der Daten? Grundsätzlich werden in Dokumenten Daten abgespeichert, die keine einheitliche Struktur haben, d. h. es gibt nicht viele sehr einheitliche Datensätze wie in Datenbanken (dort werden die Datensätze Tupel genannt), sondern eher immer wieder unterschiedliche, mehr oder weniger strukturierte Daten. Jede Tabelle in einer Tabellenkalkulation kann wieder anders aussehen, ebenso auch Textdokumente, die ja fast beliebig gestaltet werden können. Bei der Speicherung in Dateien hat meistens auch nur ein Benutzer zu einem Zeitpunkt die Möglichkeit, die Daten zu bearbeiten. Also wäre es völlig unmöglich, die Daten aller 2

3 4 DATEIFORMATE Übung 3 Suchen Sie im Web nach Information über Dokumentenverwaltungssystemen (document management systems). Welche Systeme gibt es? Welche Eigenschaften unterscheiden sie voneinander? Versicherten einer Versicherung in einer gewöhnlichen Datei abzulegen. Schließlich gibt es viele Mitarbeiter, die alle gleichzeitig an den Daten bzw. Teilen davon arbeiten müssen. Auch die Vergabe von Rechten zum Lesen, Hinzufügen, Verändern und Löschen können bei einer Datenbank wesentlich feiner abgestimmt werden als bei einer einfachen Datei. Datenbanken verfügen über ausgeklügelte Mehrbenutzer-Fähigkeiten mit Transaktionen und Sperren 1. Dazu kommt noch, dass bei einer Datenbank Plausibilitätskontrollen möglich sind, so dass das System die Annahme implausibler Daten ablehnen kann. Ebenso kann auch das (evtl. versehentliche) Löschen von noch benötigten Daten verhindert werden. Dies wird mit entsprechenden Constraints eingerichtet. Teilweise werden auch Mischformen zwischen Dateien und Datenbanksystemen verwendet, beispielsweise bei der Ablage von Bildern (Bilddateien) als binäre Objekte in Datenbanken oder bei sogenannten Dokumentenverwaltungssystemen. Bei letzteren werden alle möglichen Dokumente (oft Textdokumente) nicht in einem einfachen Verzeichnisbaum abgelegt, sondern in einer Datenbank. Auf diese Weise soll das Wiederfinden von Dokumenten erleichtert werden. In welchen internen Formaten eine Datenbank die Daten abspeichert, ist meist nur für Entwickler des Datenbanksystems selbst von Interesse. Der Anwendungentwickler sollte sich von solchen Details fernhalten und sich auf die korrekte Anwendung der dokumentierten Schnittstellen konzentrieren. Bei Dateien sollte man als Anwendungsentwickler dagegen schon die Grundlagen der verschiedenen Formate kennen. 4 Dateiformate Dateiformate lassen sich unterteilen in binäre Formate und Textformate. Die heutigen Dateisysteme 2 unterscheiden nicht zwischen diesen, sondern lassen als Dateiinhalt jeden beliebigen Bytestrom zu. Die Unterscheidung wird also lediglich vom jeweiligen Anwendungsprogramm getroffen. Tatsächlich kommen auch durchaus Mischformen vor, so dass eine Datei neben Text auch binäre Abschnitte enthalten kann. 1) siehe beispielsweise pg.pdf 2) gemeint sind die Dateisysteme der modernen Betriebssysteme auf der Basis von Linux/Unix und Windows 3

4 4.1 binäre Dateien 4 DATEIFORMATE 4.1 binäre Dateien Binäre Formate sind oft (aber nicht immer) direkte Abbildungen des Arbeitsspeicherinhaltes von Datenstrukturen (struct in C, class in C++). Die Datenstrukturen werden mit den Funktionen fread() und fwrite() gelesen bzw. geschrieben. Besonderer Vorteil ist, dass keinerlei Konvertierung notwendig ist, d. h. die Ein- und Ausgabe gehen besonders schnell vorstatten. Gerade bei umfangreichen Datenbeständen kann das von großem Vorteil sein. Leider gibt es aber auch einige ganz erhebliche Nachteile bei den binären Dateien. Zum einen ist die Abbildung der Strukturen im Hauptspeicher nicht bei jedem Computersystem gleich. Schon der Standard-Datentyp int ist nicht auf jedem Rechner gleich groß. Daher können binäre Dateien, die als Abbildung der Arbeitsspeicher-Darstellung von Strukturen abgelegt werden, oft nur auf derselben Plattform verarbeitet werden. Andere Binärdateien haben einen Vorspann (Header), der nähere Information darüber enthält, wie die weiteren Daten strukturiert sind. Das gilt beispielsweise für Word-, PDFund TIFF-Dateien sowie zip-archive, auf denen die Open-Document-Formate und jar- Archive basieren. Zumindest das PDF, TIFF und zip sind vollständig dokumentiert, so dass man auf allen Plattformen mit geringem Aufwand Programme schreiben kann, die die Daten einwandfrei lesen können. Gleiches gilt natürlich für alle anderen dokumentierten Dateiformate ebenso. Bei Java können beliebige Objekte mittels Serialisierung binär in Datenströmen abgelegt und dann wieder eingelesen werden, wodurch eine Persistenz der Objekte erreicht wird. Hierzu braucht die Klasse lediglich das Interface Serializable zu implementieren wobei keine Methoden hierfür geschrieben werden müssen. Mittels der Methode writeobject() der Klasse ObjectOutputStream können Objekte dann in eine Datei geschrieben werden. Das Format ist nur mit einem Java-Programm wieder lesbar (mittels der Methode readobject() der Klasse ObjectInputStream), welches über die passenden Klassen verfügt, dafür aber plattformübergreifend. Mit anderen Programmiersprachen ist ein Zugriff auf serialisierte Java-Objekte kaum möglich. 4.2 Textdateien Zeichencodierung Textdateien werden oft fälschlicherweise als ASCII-Dateien bezeichnet, denn nicht jede Textdatei muss mit dem ASCII-Zeichensatz codiert sein. Tatsächlich sind heutzutage höchstens englischsprachige Texte mit ASCII codiert, denn im ASCII-Code, der nur 7 Bit pro Zeichen umfasst, können diakritische Zeichen wie Umlaute und Akzente nicht dargestellt werden von anderen Alphabeten ganz zu schweigen. Der klassische ASCII-Zeichensatz kann also nur einige Steuerzeichen, das lateinische Alphabet in Groß- und Kleinbuchstaben, Ziffern und die meisten Interpunktionszeichen sowie Klammern und das Leerzeichen darstellen. Der ASCII-Code ist also bei weitem nicht ausreichend gewesen, um auch Texte außerhalb der englischen Sprache darzustellen. Da es keine weitere Normung gab, haben verschiedene 4

5 4 DATEIFORMATE 4.2 Textdateien Übung 4 In welchen Abschnitten des ASCII-Codes liegen die Großbuchstaben? Wo sind die Kleinbuchstaben? Wie kann man ganz schnell einen Groß- in den passenden Kleinbuchstaben konvertieren? Wo sind die Ziffern? Wie ermittelt man ganz schnell den Zahlenwert eines Ziffernzeichens? Was passiert, wenn man statt der Taste M die Tastenkombination Strg+M drückt? Welche Wirkung hat die Strg-Taste? Firmen den ASCII-Code auf verschiedene Arten erweitert: HP definierte den HP-Roman- 8-Zeichensatz, IBM den IBM PC-Zeichensatz (PC-8), Apple den Macintosh-Zeichensatz, Microsoft die DOS- und Windows-Zeichensätze (diverse Codepages). Selbstverständlich sind all diese Zeichencodierungen untereinander inkompatibel, so dass (früher mehr, heute weniger) immer wieder entsprechende Umcodierungen notwendig sind. Sie können das heute noch sehen, wenn Sie in einer DOS-Box ein Java-Progrämmchen laufen lassen, das Umlaute auf der Konsole ausgeben soll. Die ISO räumte dann einmal auf und entwarf die ISO8859-Zeichensatzfamilie, die neben den für Westeuropa notwendigen Zeichen auch osteuropäische Zeichen und sogar einige weitere Alphabete umfasst: 1 Latin-1, Westeuropa 2 Latin-2, Osteuropa 3 Latin-3, Südeuropa 4 Latin-4, Baltisch 5 Kyrillisch (u. a. Russisch, Serbisch, Bulgarisch) 6 Arabisch (nur die Grundformen der Buchstaben, keine Kurzvokale, kein Persisch) 7 Griechisch 8 Hebräisch 9 Latin-5, Türkisch 10 Latin-6, Nordisch (skandinavische Sprachen) 11 Thai 14 Latin-8, Keltisch (u. a. Walisisch und Gälisch) 15 Latin-9, Westeuropa mit Euro-Zeichen 16 Latin-10, Südosteuropa Hauptnachteil der ISO8859-Familie ist, dass man zu einem Zeitpunkt immer nur einen Zeichensatz verwenden kann. Wenn man in einem Dokument griechische Zeichen und das -Zeichen benötigt, ist eine Umschaltung innerhalb des Textes notwendig. Das heißt, dass man oft nicht mit einer Codierungsangabe für ein Dokument auskommt. Neben diesen gibt es noch den EBCDIC-Code, der von IBM-Großrechnern verwendet wird, aber ansonsten wenig Bedeutung hat. Es ist ein 8-Bit-Code, der immerhin schon Umlaute und die meisten Akzente umfasst. Es gibt auch einige verschiedene Codepages für die Regionen der Welt, wobei aber die nichtlateinischen Alphabete unberücksichtigt bleiben. Die Verbreitung ist stark rückläufig. 5

6 4.2 Textdateien 4 DATEIFORMATE Übung 5 Besuchen Sie die Webseite von Unicode.org und suchen Sie dort nach Information über die verschiedenen UTF-Varianten. Welche Unicode-Version ist derzeit aktuell? Versuchen Sie herauszufinden, welche Programmiersprachen und welche Betriebssysteme bereits Unicode unterstützen? Wenn Sie Sonderzeichen jenseits der deutschen Umlaute oder gar andere Alphabete kennen: Suchen Sie die Codepoints der Ihnen bekannten Zeichen heraus und versuchen Sie, sie auf einer Webseite darzustellen. Sind die Zeichen auch in OpenOffice bzw. LibreOffice Textverarbeitungsdokumenten verwendbar? Als bislang beste Lösung für die Zeichencodierung wurde der Unicode 3 entworfen, der in seiner Darstellung UTF-8 (Unicode Transmission Format 8) pro Zeichen ein bis vier Bytes verwendet. Die ersten 127 Zeichen sind genau wie bei der ISO8859-Familie mit den ASCII-Zeichen identisch. Je nachdem welchen Wert das Byte hat, umfasst das gesamte Zeichen ein, zwei, drei oder vier Bytes. Hierbei ist zu berücksichtigen, dass die häufigeren Zeichen weniger, die selteneren Zeichen mehr Bytes benötigen. Zudem enthalten die selteneren Zeichen beispielsweise bei Chinesisch auch wesentlich mehr Information, teilweise stellen sie eine Silbe oder ein ganzes Wort dar. Mit UTF-8 sind theoretisch bis zu Zeichen darstellbar, der aktuelle RFC beschränkt dies aber auf Zeichen. Es gibt auch noch UTF-16 und UTF-32, aber diese sollen hier nicht erläutert werden. UTF-8 ist der Standardzeichensatz aller modernen Betriebssysteme mit Ausnahme von Windows (zumindest bis einschließlich Version 7). Unicode hat sich zum Ziel gesetzt, sämtliche Zeichen aller Weltsprachen darstellen zu können. Mittlerweile ist man auf diesem Weg schon sehr weit gekommen Satzeinteilung Die Daten in Textdateien können völlig unstrukturiert sein also Prosa oder aber sie sind in Datensätze eingeteilt. Dabei sind einige verschiedene Abgrenzungen zwischen den Sätzen möglich: ˆ Alle Felder und Sätze haben dieselbe Länge, keine Trennzeichen. ˆ Sätze sind mit Zeilenendezeichen getrennt; Felder sind mit Trennzeichen getrennt: Komma Semikolon Tabulator ˆ Felder sind gelegentlich auch noch in Anführungszeichen eingeschlossen (einfache oder doppelte), um auch die Zeichen Komma oder Semikolon innerhalb von Feldern zuzulassen. 6

7 4 DATEIFORMATE 4.2 Textdateien Übung 6 Wie können Zeilenendezeichen aussehen? Wovon hängt es ab, welches verwendet wird? Wie wird ein Tabulatorzeichen dargestellt? Die Verwendung gleich langer Sätze hat den Vorteil, dass man jeden einzelnen Satz sehr leicht erreichen kann, weil man immer weiß, an welcher Stelle er in der Datei stehen muss es ist also ein Direktzugriff möglich. Bei variabel langen Sätzen muss man alle Sätze von Anfang an lesen, und das auch noch zeichenweise, denn jedes Zeichen könnte ja ein Zeilenendezeichen sein. Außerdem kann man immer jeden Satz verändern und überschreiben, ohne dass dadurch die anderen Sätze beeinflusst werden. Als Nachteile gelten, dass man die maximale Länge von allen Feldern bereits vorher festlegen muss. Außerdem wird dadurch, dass bei vielen Sätzen diese maximale Länge nicht ausgenutzt wird, auch viel Platz verschwendet Komplexere Dateien Als einer der Hauptnachteile von einfach strukturierten Textdateien gilt, dass sie immer nur den Inhalt einer einzigen relationalen Tabelle aufnehmen können 4. Bei komplexer strukturierten Datenbeständen ist das von Nachteil. Alle Informationen zu Kunden, Bestellungen und Artikeln müsste man also in drei Dateien zerlegen. Wenn man eine Bestellung eines Kunden ausgeben möchte, muss man dann auch mehrere Dateien öffnen, die Daten zusammenstellen und kann sie erst dann ausgeben. Es ist also eine Alternative gesucht, bei der die zusammen gehörenden Daten auch gemeinsam abgelegt werden. Das entspricht dann einer objektorientierten Sichtweise im Gegensatz zu der relationalen Sichtweise bei der Zerlegung in mehrere Dateien (bzw. Tabellen). Eine hierfür sehr gut geeignete und zudem auch standardisierte Möglichkeit ist der Einsatz von XML (extensible Markup Language). Nachteile von dieser sind der relativ große Datenumfang und die oft nicht sehr schnelle Verarbeitung. Zum Ablegen komplex strukturierter Daten und insbesonderen zum Austausch derselben über fast beliebige Plattformgrenzen hinweg hat sie sich aber als sehr hilfreich erwiesen. Daraus resultiert auch ihre mittlerweile weite Verbreitung und damit auch große Bedeutung. Für die Erzeugung und Verarbeitung von XML-Daten gibt es sehr viel Software, so dass man nicht mehr allzu viel selbst schreiben muss bzw. auf recht hohem Abstraktionsniveau programmieren kann. Eine Alternative zu XML ist das von JavaScript/ECMAScript 5 stammende Datenformat 3) 4) Alternativ müsste man verschiedene Satztypen in einer Datei zulassen, was aber mehr als Problem denn als Lösung gilt. 5) 7

8 4.2 Textdateien 4 DATEIFORMATE JSON 6, welches vorwiegend im Webbereich Anwendung gefunden hat und in RFC 4627 seit Juli 2006 normiert ist. Es wird mittlerweile von vielen Programmiersprachen unterstützt, aber es gibt keine so umfangreichen Tools hierfür wie eine automatische Prüfung auf Wohlgeformtheit und Gültigkeit (anhand eines Schemas) wie bei XML. Es gibt auch nur die Datentypen Zeichenkette, Zahl, Boolescher Wert und Null, aber beispielsweise keine Datum-/Zeit-Datentypen oder eine Unterscheidung zwischen ganzzahligen und Fließkommazahlen. JSON setzt die Verwendung der UTF-8-Zeichencodierung voraus, während sie bei XML zwar die Voreinstellung ist, aber per Deklaration änderbar. %$Id: Dateiformate.tex,v a5120cdeb /11/06 11:45:29 bibjah $ 6) 8