Bild 1: ff in Form zweier Glyphe und als Ligatur

Transkript

1 II.2 Zeichen und Zeichenkodierung In Computern können Texte nur bearbeitet werden, wenn die Texte als Folge von Zeichen vorliegen. Man kann z.b. nur in ihnen suchen, wenn die Texte eine Kette von alphanumerischen Zeichen sind. as ist etwas weniger trivial als es sich anhört, da Computer Texte auch als Bilder speichern können, also als Folge von Punkten. Für nahezu alles, was in diesem Buch besprochen wird, ist es aber wichtig, dass die Texte als Zeichenfolge vorliegen. Wie aber weiß der Computer, was ein Buchstabe ist? azu müssen wir ein wenig ausholen und klären, wie in Computern überhaupt etwas kodiert wird und wie Zeichen kodiert werden. Beginnen wir mit einer grundsätzlichen Unterscheidung: Computer kodieren Texte in der Form von abstrakten Zeichen, z.b. der Großbuchstabe '' des lateinischen Alphabets. iese Zeichen können für die Ausgabe auf dem Bildschirm oder rucker in der Form verschiedener Glyphen wiedergegeben werden: z.b. Glyphen sind also die Bilder, die das Zeichen, oder einen Teil davon, repräsentieren, und können, je nach Schriftart, unterschiedliche Gestalt haben. as Verhältnis von Zeichen zu Glyphen sieht also so aus:... B C E F... Zeichen Glyphen as Verhältnis von Glyphe zu Zeichen ist außerdem nicht eindeutig, d.h. nicht immer entspricht eine Glyphe einem Zeichen. ie Zeichenfolge 'ff' kann als Folge von zwei Glyphen oder in Form einer Ligatur als eine Glyphe dargestellt werden: Bild 1: ff in Form zweier Glyphe und als Ligatur Umgekehrt kann auch ein Zeichen durch ein oder mehrere Glyphen wiedergegeben werden, z.b. 'Ĉ' durch Ĉ oder durch C und ˆ. Außerdem können in einer Schriftart auch verschiedene Glyphen für das gleiche Zeichen vorkommen. Ob ein Zeichen bzw. mehrere Zeichen durch ein oder mehrere Glyphen wiedergegeben werden, ist

2 F. Jannidis: Computerphilologie 2 eine interpretatorische Entscheidung, zu der auch die Möglichkeiten und Grenzen der jeweils verwendeten Programme und des Betriebssystems beitragen. Um die inge noch etwas komplizierter zu machen: Eine Glyphe kann auch mehrere Zeichen repräsentieren. So kann die Glyphe A sowohl den lateinischen Großbuchstaben 'A' als auch ein griechisches großes Alpha repräsentieren. Computer verwenden zur internen Repräsentation von Zeichen Zahlen. Bekanntlich kodieren Computer alles, also auch Zeichen, binär. Was heißt das? Sie setzen alle Informationen aus 0 und 1 zusammen: aus Bits. Ist das nicht ein wenig umständlich, möchte man sich fragen? Und wie will man z.b. ein 'A' aus 0 und 1 zusammensetzen? ieses 'Zusammensetzen' besteht aus mehreren Schritten: Zuerst gewinnen wir die Möglichkeit, Bits zu notieren, dann nutzen wir diese Möglichkeit, um damit beliebige Zahlen auszudrücken und ordnen dann einer Zahl einen Buchstaben zu. Im Einzelnen: Zuerst werden zwei physikalischen Zustände, z.b. Strom an / Strom aus oder magnetisiert / nicht-magnetisiert, jeweils Informationswerte zugewiesen, also z.b. Strom aus = 0 und Strom an = 1. iese Zuweisung ist zugleich eine Abstraktion: für alles Weitere muss ich über die tatsächlichen physikalischen Zustände nichts wissen. Auf diese Weise haben wir die Möglichkeit, eine kleinste Information zu notieren: 0 / 1. as ist ein Bit. Nun kommt der nächste Schritt im Zusammensetzen: 0/1 können auch als die zwei einzigen Bausteine eines Zahlensystems verstanden werden, nämlich des binären. Im binären Zahlensystem kann jede Zahl als Folge von Nullen und Einsen ausgedrückt werden. Wie funktioniert das? Bekanntlich kann man in dem uns geläufigen ezimalsystem auf einer Stelle bis 9 zählen und muss dann bei der Zehn auf der nächsthöheren Stelle um eins erhöhen, während die erste Stelle zurückgesetzt wird: 1,2,3,4,5,6,7,8,9,10, Ebenso funktioniert das auch im binären System, nur muss hier der Übertrag auf die nächste Stelle schon bei der 2 gemacht werden: 0,1,10,11,100 ezimalzahl Binäre Zahl Man kann also jede Zahl in Form einer binären Zahl notieren. Nun braucht man nur noch einer Zahl einen Buchstaben zuordnen und man hat eine Zeichenkodierung, z.b. 0 = A, 1 = B, 2 = C usw. Wir müssen also unsere Grafik von oben um eine Spalte erweitern: 66 B 67 C E 70 F... Zeichencode Zeichen Glyphen

3 Zeichenkodierung 3 ie Art der Zuordnung ist völlig willkürlich; entsprechend wichtig ist die Verwendung von Standards, da ansonsten ein Text völlig unverständlich wird, der auf dem einen System nach dem Modell (0=A, ) kodiert wurde und nun auf ein System transportiert wird, das nach dem Modell (5=A, 6=B, ) kodiert. Wenn der Benutzer auf dem ersten System die Zeichenfolge LIEBE eingibt, dann wird das systemintern kodiert als 12,9,5,2,5. iese Folge wird dann auf dem zweiten System in folgende Zeichen verwandelt: HEA?A. a man nur durch die Einführung und allgemeine Verwendung von Standards solche Probleme vermeiden kann, wurden recht früh Standards zur Zeichenkodierung entwickelt. Ausgesprochen weite Verbreitung fand ASCII (American Standard Code for Information Interchange), der einen geräteübergreifenden Code zur Kodierung für 128 Zeichen definierte. Er entwickelte sich aus einem Teleprinter-Code deshalb dienen die ersten 31 Zeichen auch Übertragungszwecken und werden heute nicht mehr verwendet und wurde einer der erfolgreichsten Standards weltweit. Aus Kapazitätsgründen war die Länge der binären Zahlen, die zur Zeichenkodierung verwendet wurden, lange Zeit auf 7, später 8 Stellen begrenzt (= 1 Byte). Mit 7 Bits kann man 2 7 Zeichen kodieren, also eben die 128 des ursprünglichen ASCII-Kodes. Es fehlten allerdings Zeichen für die Besonderheiten der anderen, nicht-englischen europäischen Sprachen, z.b. Umlaute oder Akzente, ganz zu schweigen vom Zeichenreichtum nicht-europäischer Sprachen. Abhilfe wurde durch den Standard ISO 8859 (International Organization for Standardization)geschaffen, der eine Reihe von 8-bit Zeichensätzen definiert, z.b (Latin-1, Westeuropäisch) oder (Kyrillisch). In der Regel sind die ersten 127 Zeichen identisch mit dem ASCII-Zeichensatz, während die Zeichen über 127 die für die jeweilige Sprache notwendigen zusätzlichen Zeichen kodieren. Sehr bald war klar, dass damit das Problem nicht grundsätzlich gelöst sein würde, da die ateien bei einem Wechsel von einem System auf ein anderes, das einen anderen Zeichensatz verwendet, unlesbar wurden. Gelöst werden konnte dieses Problem erst durch einen Zeichensatz, der groß genug ist, um alle Zeichen der Welt gleichzeitig zu kodieren. ieser Zeichensatz wurde mit Unicode geschaffen (Unicode 2006). Anfangs war Unicode ein 16-bit Zeichensatz, womit (2 16 ) Zeichen definiert werden können, doch erwies sich das bald als zu wenig, und man machte daraus einen 32-bit Zeichensatz, der theoretisch über eine Millionen Zeichen enthalten kann. efiniert sind davon aber bis zur aktuellen Version (5.0) lediglich rund er Standard umfaßt Zeichensätze für europäische Alphabete wie Kyrillische, Koptische und Georgische, für das Arabische, für mehrere indische Sprachen, chinesische und japanische Schriftzeichen sowie für alte Sprachen wie das Altgriechische, die Keilschrift, Linear B oder das Gotische. Nur der Antrag, auch das Klingonische in Unicode zu kodieren, wurde abschlägig beschieden. Jedes Jahr kommen ca Zeichen hinzu. Für die Kodierung deutschsprachiger Texte hat sich nicht viel geändert, da die ersten 256 Zeichen von Unicode identisch sind mit ISO Ein offensichtlicher Nachteil von Unicode ist der deutliche höhere Bedarf an Speicher, da nun für das Speichern eines Zeichens nicht mehr ein Byte, sondern vier

4 F. Jannidis: Computerphilologie 4 Byte verwendet werden, d.h. jede atei vier mal so umfangreich wird. as ist bei Texten, die z.b. nur die ersten 256 Zeichen von Unicode verwenden, besonders unsinnig. eshalb gibt es für Unicode verschiedene Formen der Speicherung, z.b. UTF-8 (8 bit Unicode Transformation Format). iese Speicherverfahren verwenden eine variable Anzahl von Bytes, um Unicode-Texte zu speichern, nämlich von den 4 notwendigen Bytes zur Kodierung eines Unicode-Zeichens immer nur soviele, wie tatsächlich benötigt werden, um die Zahl zu notieren. UTF-8 verwendet zur Kodierung des ursprünglichen ASCII-Formats tatsächlich nur 1 Byte; für lateinische Zeichen mit diakritischen Zeichen, also Akzenten, Umlauten, werden 2 Byte verwendet, aber auch für Griechisch, Kyrillisch usw. Für die Zeichen auf den höheren Ebenen von Unicode das Unicode-Konsortium hat den Zeichenvorrat in verschiedene Ebenen (planes) eingeteilt müssen drei oder auch vier Byte verwendet werden. Auf diese Weise entstehen recht kompakte Textdateien, die zugleich alle Vorteile von Unicode haben und außerdem ist UTF-8 noch rückwärts kompatibel mit ASCII. aher ist UTF-8 inzwischen das häufigste Verfahren, um Unicode-ateien abzuspeichern. Warum sind Standards wichtig In den wenigen Jahrzehnten, seitdem es Computer gibt, sind zahlreiche Standards entwickelt worden, die die Interoperabilität von Computern betreffen. as betrifft das hier ausführlich erklärte Problem der Zeichenkodierung mit Unicode, das Internetprotokoll TCP/IP, aber auch die Gestalt von Programmiersprachen wie C oder JAVA. Standards sind notwendig, um Interoperabilität zu gewährleisten, andererseits sind Standardisierungsorganisationen unterschiedlich schnell und flexibel, aber keine ist wirklich schnell und flexibel. Gerade die Modularität und Vernetzung von Computern macht es aber auf allen Ebenen, sei es Hardware, Betriebssystem, atenformate für spezifische Anwendungsfelder oder Internetprotokolle, wichtig, Standards zu entwickeln. Firmen preschen deswegen immer wieder mit Eigenentwicklungen vor, nicht zuletzt auch in der Hoffnung, auf diese Weise de facto Standards zu setzen, und so finanzielle oder Informationsvorteile gewinnen zu können. Es gibt eine Reihe von Standardisierungsorganisationen, die in diesem Kontext immer wieder auftauchen, womit die Hoffnung auf eine gewisse Unabhängigkeit der Standards von Firmeninteresseren verbunden ist. Um nur einige der wichtigsten zu nennen: International Organization for Standardization (ISO), ein internationaler Zusammenschluß nationaler Standardisierungsgremien, dem auch das deutsche eutsche Institut für Normung (IN) angehört. ie Internet Engineering Task Force (IETF), ein eher unformeller Zusammenschluß von Interessierten, ist für die Weiterentwicklung von technischen Internetprotokollen zuständig.

5 Zeichenkodierung 5 as World Wide Web-Konsortium (W3C) hat ebenfalls zahlreiche Internet-Standards entwickelt, z.b. HTML, CSS und eben auch XML, das im folgenden eine wichtige Rolle spielen wird. Wie immer ist es bei einem Standard nicht ganz unwichtig, wer ihn unterstützt. Unicode wird vom Unicode-Konsortium entwickelt, dem zahlreiche große Firmen der IT-Branche wie IBM, Microsoft oder Google angehören, aber auch institutionelle Mitglieder und zahlreiche Einzelpersonen. Vor allem aber ist Unicode in enger Abstimmung mit dem internationalen Standard ISO/IEC entwickelt worden, mit dem es Zeichen für Zeichen äquivalent ist. Unicode / ISO wird inzwischen von allen wichtigen modernen PC Betriebssystemen unterstützt und ist auch Bestandteil anderer Standards wie XML geworden. UTF-8 wird inzwischen gemeinsam vom IETF, dem Unicode Consortium und der ISO gepflegt..h. in beiden Fällen spricht vieles dafür, dass diese Standards langfristig verfügbar sein werden. as klingt so, als wären nun eigentlich alle Zeichenkodierungsprobleme für Literaturwissenschaftler gelöst. Leider ist dies (noch) nicht der Fall. Es gibt drei Probleme: Erstens gibt es immer noch Zeichen, die von Textwissenschaftlern benötigt werden, aber nicht im Unicode-Standard definiert sind. Zweitens gibt es viele ateien mit hochwertigen Texten, die vor der urchsetzung des Unicode-Standards erstellt wurden. rittens bedeutet die Tatsache, dass ein Betriebssystem einen Zeichensatz unterstützt, noch lange nicht, dass ein Benutzer dann alle Unicode-Zeichen auch auf dem Bildschirm sehen und ausdrucken kann. 1) Europäische Mediävisten, um ein Beispiel zu nennen, haben das Problem, dass sie die Zeichenvielfalt, die sich in mittelalterlichen Handschriften findet, nicht in Unicode repräsentieren können. ie Problemlösung, die eine Arbeitsgruppe dafür in den letzten Jahren entwickelt hat, ist mustergültig (MUFI 2006). In einem ersten Schritt versuchen sie, die Interoperabilität mediävistischer Projekte zu gewährleisten, indem sie Unicode verwenden und für die Zeichen, die bislang nicht Teil des offiziellen Standards sind, gemeinsame Lösungen vorschlagen. Sie verwenden dafür einen Mechanismus, der von Unicode eben für solche Zwecke vorgeschlagen wird. Es gibt nämlich innerhalb von Unicode Bereiche, die ausdrücklich für die Kodierung von eigenen Zeichen vorgesehen sind, so genannte 'Private Verwendungsgebiete' (private use areas). Außerdem hat die Arbeitsgruppe inzwischen beim Unicode- Konsortium einen Vorschlag eingereicht, die fehlenden Zeichen in den offiziellen Standard aufzunehmen. 2) ie Konvertierung von Textdateien, die nicht in Unicode oder ASCII kodiert sind, kann, je nach dem gewählten Kodierungsformat und dem Zustand der okumentierung, sehr schwierig werden. Insbesondere die Kodierung von den Zeichen, die im ursprünglichen Zeichensatz eigentlich nicht vorgesehen waren und durch spezielle Platzhalter kodiert wurden, kann aufwendig werden, wenn man nicht genau weiß, welche Zeichen wie kodiert wurden. Im Prinzip wird dabei immer ein sogenanntes Escape-Zeichen verwendet. Ein Escape-Zeichen hat die Funktion zu notie-

6 F. Jannidis: Computerphilologie 6 ren, dass das folgende Zeichen nicht für sich selbst steht, sondern ein Platzhalter ist oder ein Teil davon. Üblicherweise wird auch das Ende der Zeichenfolge, die den Platzhalter kodiert, durch ein spezielles Zeichen notiert. Kommt im Text das Escape- Zeichen selbst vor, muss es logischerweise selbst wiederum durch einen Platzhalter repräsentiert werden. Ein Beispiel: In HTML 4.01, der Hypertext Markup Language mit der die Webseiten im Internet aufbereitet sind, wird der Zeichensatz Unicode verwendet, aber den Autoren von Webseiten letztendlich die Freiheit gelassen, einen Zeichensatz zu wählen, der für Ihre Bedürfnisse geeignet ist. Browser sind in der Lage, die Zeichensätze zu verarbeiten und, soweit es die vorhandenen Fonts erlauben, zu repräsentieren. Gesteuert wird dies häufig über eine Angabe im Kopf der HTML-atei: <meta http-equiv="content-type" content="text/html; charset="iso ">. Sollen nun Zeichen kodiert werden, die im gewählten Zeichensatz, hier ISO , nicht vorhanden sind, dann werden sogenannte Entities verwendet. Häufig findet man z.b. Umlaute so kodiert: 'Ä' wird kodiert als Ä as Zeichen '&' hat dabei die Funktion eines Escape-Zeichens. Alles was danach kommt, steht nicht für sich selbst, sondern ist Teil der Entity. Mit dem Semikolon ';' wird das Ende der Entity notiert; was danach kommt wird wieder als normaler Text gelesen. Soll in HTML das Escape-Zeichen & kodiert werden, muss eine Entity verwendet werden, in diesem Fall & (von der englischen Bezeichnung Ampersand für das Kaufmannsund). Tadellöser & Wolff sieht in dieser Kodierung also so aus: Tadellöser & Wolff Zwar kann man aus einem Text aufgrund der eindeutigen Kodierung durch Escape- Zeichen sehr schnell die Liste aller verwendeten Ersetzungszeichen extrahieren, aber deren Bedeutung ist ohne gute okumentierung häufig kaum zu erkennen. 3) as dritte Problem betrifft die Repräsentation eines Zeichens auf dem Bildschirm bzw. auf dem rucker. Ein abstraktes Zeichen kann, wie oben ausgeführt, durch verschiedene Glyphen repräsentiert werden. Auf modernen PCs wird dies durch die installierten Schriftarten (auch fonts) geregelt, zumeist mittels Outline- Schriften wie Truetype. Nur sehr wenige Schriftarten unterstützen jedoch den vollständigen Unicode-Zeichensatz. Will man also sehr neue Versionen von Unicode verwenden oder gar Zeichen ausdrucken, die mittels einer eigenen Zuordnung auf einer privaten Ebene von Unicode definiert wurden, dann muss man eine entsprechend angepasste Schriftart auf dem Rechner installieren und verwenden. as oben erwähnte Projekt MUFI stellt etwa spezielle Fonts für die selbstdefinierten mediävistischen Zeichen zur Verfügung. Exkurs: igital / Analog Wie oben ausgeführt, werden auf den heute üblichen Computern Informationen binär kodiert. as ist die Grundlage einer Unterscheidung, die in diesem Zusammenhang häufig verwendet wird: analog / digital. amit zusammen hängt die von manchen Medientheoretikern aufgestellte Behauptung, dass im Bereich des igitalen letztendlich alles auf das Binäre reduziert werden würde.

7 Zeichenkodierung 7 er Begriff 'digital' ist vom lateinischen digitus (Finger) abgeleitet. Häufig wird daher als Bedeutung von 'digital' angegeben, es sei das iskrete, das Abzählbare. er Gegenbegriff 'analog' beziehe sich dann auf das, was nicht diskret, nicht abzählbar sei. Abzählbar seien z.b. Zahlen, Buchstaben. Nicht abzählbar seien z.b. die Schwingungen von Tönen. Unter dieser Perspektive ist die binäre Kodierung von Musik und Bildern nur ein Sonderfall für das igitale, aber auch der Morsecode und das Alphabet würden darunter fallen. Meines Erachtens ist dies ein schönes Beispiel für den Irrglauben, man könne die Bedeutung eines Wortes aus seiner Etymologie ableiten. ie Bedeutung von Worten wird aber wohl eher durch die Art ihres Gebrauchs bestimmt. as gilt auch in diesem Fall. Eine erste fachsprachliche Verwendung des Begriffs 'digital' im Gegensatz zu 'analog' läßt sich im Englischen bereits 1946 nachweisen (Loleit 2004, 205). Bekannt wurde der Begriff 'digital' dann in den 1980er Jahren durch die Einführung der Compact isc zur Speicherung von Musik (Schröter 2004, 16) und die Verbreitung von igitaluhren. Er bezieht sich im populären Verständnis auf alles, was irgendwie mit Computern zu tun hat und findet von dort seinen Weg in die Medientheorie. Angesichts dieser Begriffsgeschichte spricht vieles dafür unter 'digital' eine binäre diskrete Repräsentation von Informationen zu verstehen. Entsprechend sind dann Buchstaben nicht digital, alphanummerische Zeichen im Computer aber schon, eben weil sie binär kodiert sind. Bildnachweis Bild 1: [ Bild 2: [ Literatur Loleit, Simone: "The Mere igital Process of Turning over Leaves". Zur Wort- und Begriffsgeschichte von 'digital'. In: Jens Schröter / Alexander Böhnke (Hg.): Analog / igital - Opposition oder Kontinuum? Zur Theorie und Geschichte einer Unterscheidung. Bielefeld: transcript 2004, S MUFI 2006 < Erstellt am Letztes Update Gesehen am Schröter, Jens: Analog/igital - Opposition oder Kontinuum? In: ders. / Alexander Böhnke (Hg.): Analog / igital - Opposition oder Kontinuum? Zur Theorie und Geschichte einer Unterscheidung. Bielefeld: transcript 2004, S The Unicode Consortium: The Unicode Standard, Version 5.0. New York u.a.: Addison-Wesley Vgl. auch < Whistler, Ken / avis, Mark / Freytag, Asmus: Character Encoding Model. Unicode Technical Report #17. Erstellt Gesehen am <