David Neugebauer, Informationsverarbeitung - Universität zu Köln, Seminar BIT I

Transkript

1 David Neugebauer, Informationsverarbeitung - Universität zu Köln, Seminar BIT I Inhaltsverzeichnis 1 Codierung: Zeichensätze Vorgeschichte Vorüberlegung ASCII ISO/IEC Windows-1252 / CP Unicode Unicode-Transportkodierungen Codierung: Zeichensätze Zeichen werden im Rechner generell wie Zahlen binär, also als Folgen von Einsen und Nullen, codiert. 1.1 Vorgeschichte Zur Übertragung von Text in codierter Form wurden schon seit antiker Zeit verschiedenste Methoden verwendet (z.b. Feuer/Lichtsignale). Dazu einige Daten aus neuerer Zeit: : Claude Chappes Netz von optischen Telegraphen oder Semaphoren verbindet Frankreich mit über 500 Stationen 1837: Erste betriebssichere elektrische Telegraphenleitung durch Charles Wheatstone 1837/1844: Samuel Morses Schreibtelegraph und Morse-Alphabet 1855: Eine Art Tastatur (ähnlich einer Klaviatur und auch so benannt) findet Einsatz in David Edward Hughes Typendrucktelegraph 1898: Drahtlose Nachrichtenübermittlung über 30 km durch Ferdinand Braun in Straßburg 1875/1901: Entwicklung des 5-Bit Baudot-Murray Codes, Lochstreifentechnik 1908: Ein früher Fernschreiber erreicht im Testbetrieb eine Geschwindigkeit von 1260 Buchstaben pro Minute im Baudot-Murray-Code, normale Geräte werden über ca. 50 sogenannte Baud verfügen (400 Anschläge pro Minute) 1908: Erste drahtlose Übermittlung eines Fahndungsfotos (Paris - London in 12 Minuten; der Juwelendieb wurde gefasst) 2007: Telex, das Fernschreiber-Netz der deutschen Telekom wird eingestellt. Die Standards zur elektronischen Kodierung von Buchstaben in modernen Rechnern sind organisch aus diesen Entwicklungen im Fernemeldewesen hervorgegangen. (Was einige Eigenarten erklären wird.) 1.2 Vorüberlegung Wir wissen bereits, wie Zahlen im Rechner dargestellt werden. Um Zeichen zu repräsentieren können wir also einfach jedes Zeichen des Alphabets auf eine Zahl abbilden und diese Zahl dann im Rechner speichern. Unser lateinisches Alphabet umfasst 26 Groß- und 26 Kleinbuchstaben plus 10 Ziffern und ein paar Satz- und Sonderzeichen wie Punkt, Komma, Bindestrich etc. Wir wissen, dass 1

2 in einem Byte 256 verschiedene Zahlen abgebildet werden können. Ein Byte sollte also im Grunde ausreichen, um alle notwendigen Zeichen abzubilden, oder? Diese Überlegung bricht schnell zusammen. Allein die Sprachen, die im Prinzip das lateinische Alphabet verwenden kennen eine ganze Reihe von Umlauten oder Sonderzeichen, wie etwa ä, ö, ü, ß im Deutschen. Mit anderen Alphabeten kommen weitere Zeichen hinzu und manche dieser Alphabete kennen wesentlich mehr Zeichen als das lateinische. Trotzdem begann die Codierung von Zeichensätzen zunächst mit dem lateinischen Alphabet. Erst relativ spät etablierte sich mit Unicode ein Standard, der es sich zum Ziel gesetzt hat, alle Schriftzeichen zu umfassen, die von Menschen verwendet werden und wurden. Wir gehen im Folgenden auf die wichtigsten standardisierten Codierungen ein, die auch heute noch im Einsatz sind. 1.3 ASCII Der American Standard Code for Information Interchange entstand 1963 in der Nachfolge des Morsealphabets sowie des Baudot-Murray-Codes für Fernschreiber. Es handelt sich um eine 7-Bit-Codierung (= 128 Zeichen), die 95 druckbare und 33 nicht druckbare Zeichen enthält. Zu den druckbaren Zeichen gehören das englische/amerikanische Alphabet in Groß- und Kleinbuchstaben sowie einige Sonderzeichen und die zehn Ziffern von 0 bis 9. Die nicht-druckbaren Zeichen enthalten Steuerzeichen verschiedenster Art. Aufgeteilt nach hexadezimaler Wertigkeit der Zeichen lässt sich relativ gut erkennen, wie der ASCII-Zeichensatz organisiert ist. Die ersten 33 Zeichen (0x00-0x20) sind nicht druckbare Steuerzeichen. Die Ziffern 0 9 laufen vom 49. bis zum 58. Zeichen (0x30-0x39). Die Alphabete aus Klein- und Großbuchstaben beginnen mit a und A an den Stellen 65, bzw. 97 (0x41, bzw. 0x61). Ein Großbuchstabe entspricht also jeweils dem Kleinbuchstaben 32 Stellen weiter. Das Steuerzeichen DEL (delete) liegt an der höchsten Stelle (127, bzw. 0x7F, hier sind alle 7 Bits gesetzt) Alle übrigen Stellen sind mit diversen Sonderzeichen gefüllt NUL DLE SP P p 1 SOH DC1! 1 A Q a q 2 STX DC2 2 B R b r 3 ETX DC3 # 3 C S c s 4 EOT DC4 $ 4 D T d t 5 ENQ NAK % 5 E U e u 6 ACK SYN & 6 F V f v 7 BEL ETB 7 G W g w 8 BS CAN ( 8 H X h x 9 HT EM ) 9 I Y i y A LF SUB * : J Z j z B VT ESC + ; K [ k { C FF FS, < L \ l D CR GS - = M ] m } 2

3 E SO RS. > N ˆ n ~ F SI US /? O _ o DEL Der Buchstabe H lässt sich demnach darstellen durch = 72 10, die schließende geschweifte Klammer durch 7D 16 = und ein Leerzeichen (in der Tabelle SP für Space) durch die = Im Rechner lässt sich der ASCII-Zeichensatz denkbar einfach darstellen, indem die Zeichen byteweise binär dargestellt werden. In der folgenden Tabelle sind die obigen Beispiele sowie einige weitere Zeichen ausschnittsweise dargestellt. 1 Hex. Dezimal Als Byte Zeichen SP (Leerzeichen) A B C H a b c h 7D } 7F DEL (Delete) 1.4 ISO/IEC 8859 Der ursprünglichen ASCII-7-Bit-Code war unter anderem deswegen auf sieben Bit begrenzt, damit ein achtes Bit zur Erkennung von Übertragungsfehlern eingesetzt werden konnte. 2 Da dies zunehmend nicht mehr erforderlich war, entstanden Erweiterungen des ASCII-Codes auf 8-Bit-Breite, die der Unterstützung verschiedener Sprachen dienten. 1 Für eine vollständige Tabelle aller ASCII-Zeichen mit dezimaler und hexadezimaler Darstellung vgl. z.b.: ASCII-Tabelle 2 Ein solches Paritätsbit zeigt an, ob von den folgenden 7 Bit eine gerade oder ungerade Anzahl gesetzt ist. Wird durch einen Übertragungsfehler ein einzelnes der Bits nicht richtig übertragen, so stimmt die Parität der Bits ob eine gerade oder ungerade Zahl gesetzt ist nicht mit der Information im Paritätsbit überein. 3

4 Standard Name ISO Latin-1 Western European ISO Latin-2 Central European ISO Latin-3 South European ISO Latin-4 North European ISO Latin/Cyrillic ISO Latin/Arabic ISO Latin/Greek ISO Latin/Hebrew ISO Latin-5 Turkish ISO Latin-6 Nordic ISO Latin/Thai ISO ISO Latin-7 Baltic Rim ISO Latin-8 Celtic ISO Latin-9 ISO Latin-10 South-Eastern European Zur Verdeutlichung mag ein kleiner Ausschnitt aus den ISO-Standards bis dienen, der zeigt, wie einzelne Bytes in Abhängigkeit von der gewählten Codierung jeweils anders dargestellt werden. Hex. Dezimal Als Byte A c Š İ Ą AA a Ş Ş Ē AB «Ť Ğ G, Die binäre Folge kann also sowohl als Zeichen c wie auch als Zeichen Š verstanden werden. Es sind Informationen aus dem Kontext erforderlich, um zu entscheiden, wie der Text verstanden werden muss. Die Nachteile dieses Systems sind offensichtlich: Welche Kodierung vorliegt, kann häufig nur erraten werden, aber nicht sicher erschlossen. Texte, in denen Zeichen aus verschiedenen Standards auftauchen sollen, sind nicht einheitlich speicherbar Windows-1252 / CP-1252 In Windows-Systemen wurden verschiedentlich andere Codierungen genutzt, die als Windows- Codepages bezeichnet werden. Eine bekannte Codepage ist etwa Western (Windows-1252), die unter Windows immer noch Verwendung findet. Sie ist ebenfalls eine Übermenge von ASCII und teilt viele Zeichen mit ISO , unterscheidet sich aber in einigen Aspekten. 4

5 1.5 Unicode Der Umgang mit verschiedenen Codierungen ist anfällig für Fehler und. 256 Zeichen sind des Weiteren viel zu wenige, um die gesamte Vielfalt menschlicher Schriften zum Ausdruck zu bringen. Ziel des fortwährend entwickelten Unicode-Standards ist es, genau das zu erreichen und eine einheitliche Abbildung aller schriftlichen Ausdrucksformen zu erreichen. Dazu gehören inzwischen auch viele historische Schriften. Dazu wird jedem Graphem (kleinste graphische Einheit eines Alphabets) ein eigener Codepoint zugewiesen. Diese werden meist als U+XYZ geschrieben, wobei XYZ eine hexadezimale Zahl zwischen 0 und 10FFFF ist. Die Codepoints sind zudem nach verschiedenen Ebenen (engl.: Planes) geordnet. Vorgesehen sind 17 Ebenen à 2 16 (65,536) Codepoints. Ebenen von bis Name FFFF Basic Multilingual Plane (BMP) FFFF Supplementary Multilingual Plane FFFF Supplementary Ideographic Plane DFFFF noch nicht zugewiesen 14 E0000 EFFFF Supplementary Special Purpose Plane F FFFF Supplementary Private Use Area planes Prinzipiell dargestellt werden können also maximal = 1, 114, 112 graphische Zeichen. Allerdings sind 2048 Codepoints sogenannte Surrogate, die in den Transportkodierungen eine Rolle spielen (U+D800-U+DFFF) und 66 sind Non-Characters, von denen garantiert wird, dass sie nie auf graphische Zeichen verweisen (32 im Bereich U+FDD0-U+FDEF und die letzten beiden Codepoints jeder der 17 Ebenen) Unicode-Transportkodierungen Um die Unicode-Codepoints im Rechner wirklich abzubilden, gibt es verschiedene Vorgehensweisen. Die bekanntesten von diesen werden mit den Namen UTF-X benannt, wobei UTF für Unicode Transformation Format steht und X die Bitlänge beschreibt, die für einen bestimmten Standardfall gilt. UTF-32 Dies ist die einfachste Codierung. Alle Codepoints werden auf 32 Bit abgebildet. Da selbst der höchste Unicode-Codepoint U+10FFFF binär auch mit 3 Byte auskommen würde, ist das erste Byte stets 0. In UTF-32 würde dieser letzte Codepoint der Ebene 17 in Bytes wie folgt aussehen: Offensichtlich wird in dieser Codierung regelmäßig Speicherplatz verschwendet. Diese einfachste Codierung ist daher kaum tatsächlich im Einsatz. 5

6 UTF-16 UTF-16 benutzt alternativ 16 oder 32 Bit, um Codepoints zu codieren. UTF-16 Bitfolgen sehen etwa wie folgt aus: 2-Byte-Form: 4-Byte-Form: Dabei steht _ jeweils für ein beliebiges Bit. Die Bits in diesen Bereichen codieren den eigenlichen Unicode-Codepoint, während die Folgen und sogenannte Steuerbits sind, die anzeigen, dass wir uns in einer Folge von zwei zwei-byte-blöcken befinden. Die 2-Byte-Form wird für alle Zeichen der Unicode Ebene 0 (Basic Multilingual Plane) benutzt. Hier wird einfach der jeweilige Codepoint binär dargestellt. Die 4-Byte-Form wird für Zeichen der höheren Unicode Ebenen (Ebenen 1 bis 16) benutzt. Dabei sind zwei Anforderungen zu beachten: 1. UTF-16 soll weiterhin in zwei-byte-blöcken lesbar sein. Ein Programm, dass UTF- 16 liest, sollte dabei immer sofort wissen, ob es es mit einem normalen zwei-byte- Codepoint der Basic Multilingual Plane zu tun hat, oder ob der zwei-byte-block eigentlich Teil eines vier-byte-blocks ist, der ein Zeichen einer höhren Ebene darstellt. Lösung: 6 Steuerbit zu Beginn jeder Hälfte eines 4-Byte-Blocks sorgen für die Identifizierbarkeit. (sog. Surrogate, zwei Surrogate nennt man auch ein Surrogate Pair) Diese Bitfolgen sind so gewählt, dass sie keinem echten Codepoint in der BMP vorangehen können, bzw. sind die Codepoints der Unicode-Ebene 0, die mit und beginnen würden reserviert und dürfen nicht für echte Zeichen verwendet werden. 2. Durch die Benutzung der 6 Steuerzeichen zu Beginn jedes 2er-Blocks stehen nicht mehr 32, sondern nur noch = 20 Bit zur Verfügung, um die Zeichen aller 16 weiteren Unicode-Ebenen zu codieren. Das ist aber zu wenig, um alle übrigen Unicode- Codepoints direkt zu codieren. Der höchste Codepoint ist U+10FFFF. Die höchste in 20 Bit codierbare Zahl ist jedoch nur 0xFFFFF. Lösung: Da die Codepoints der BMP bereits in den normalen 2-Byte-Blöcken ohne Steuerzeichen codiert sind, kann deren Zahlbereich in der vier-byte-codierung wiederverwendet werden. Dazu wird einfach von jedem Codepoint der höheren Ebenen 0x10000 subtrahiert. Der Beginn von Ebene 1, U+10000, würde also zu 0x0 und der höchste Unicode- Codepoint der Ebene 17, U+10FFFF, wird dadurch zu 0xFFFFF, was genau die höchste Zahl ist, die noch in 20 Bit abgebildet werden kann. Alle Codepoints dazwischen werden entsprechend abgebildet. Durch die Steuerzeichen ist immer klar, wann eine Abbildung zurückgerechnet werden muss, um das korrekte Zeichen zu erhalten. Im Folgenden wird durch c der eigentlich gemeint Codepoint bezeichnet und durch c der Codepoint, der durch die entsprechende Transformation entsteht. Konkret folgt die Umwandlung diesem Schema: Sei c ein UTF-Codepoint > 0xFFFF Sei c = c - 0x

7 Stelle c binär in 20-Bit-Breite dar und bilde zwei 10-Bit-Abschnitte d 1 = c 19,..., c 10 und d 2 = c 9,..., c 0 Sei u 1 = Sei u 2 = Die UTF-16 Codierung von c ist die binäre Folge: u 1 d 1 u 2 d 2 Beispiel: Konvertierung nach UTF-16 Der Codepoint U+1D11E (Violinschlüssel), soll in UTF-16 konvertiert werden. Vorgehen: 1. U+1D11E > U+FFFF, also nicht in Ebene 1. Die Kodierung muss mit 4 Byte erfolgen. 2. Subtrahiere 0x D11E D11E 3. Ergebnis in 20-Bit-Form binär darstellen und in zwei 10-Bit-Blöcke zerlegen 0xD11E = D 1 1 E d 1 = d 2 = Surrogate u 1 und u 2 hinzufügen: u 1 = u 2 = u 1 d 1 = u 2 d 2 = Alles zusammenfügen (der Übersicht halber mit Hexadezimaldarstellung angegeben): D8 34 DD 1E 6. Für ein Big-Endian-System muss nichts weiter getan werden. Falls ein Little Endian-System vorliegt: UTF-16 wird in 2-Byte-Blöcken gelesen und geschrieben. Daher wandert hier in jedem 2-Byte-Block das kleinerwertige Byte nach vorn D8 1E DD 7

8 UTF-8 UTF-8 benutzt alternativ 8, 16, 24 oder 32 Bit um Codepoints zu codieren. UTF-8 Bitfolgen sehen stets wie folgt aus: 1-Byte-Form: 0 2-Byte-Form: Byte-Form: Byte-Form: Bei der 1-Byte-Form werden die Codepoints U+0 bis U+7F werden einfach in einem Byte binär codiert. Diese Bytes sind für Parser leicht zu erkennen: Sie beginnen stets mit 0. 3 Bei allen höheren Codepoints kommen zwei oder mehr Byte zum Einsatz. Die Bitfolge, die dem Codepoint entspricht wird dabei auf die verschiedenen Bytes verteilt, denen jeweils zwei oder mehr Steuerbits vorangehen. Diese markieren: 1. Dass das gerade gelesene Byte Teil einer Folge ist. 2. Wo in der Folge es steht: Wenn am Anfang: Steuerbitfolge 110, 1110 oder 11110, je nachdem, ob ein, zwei oder drei weiter Byte zur Folge gehören. Wenn an 2. bis 4. Position (Folgebyte): Steuerbits 10 Konkret erfolgt diese Umwandlung so: Sei c ein UTF-Codepoint, dessen binäre Darstellung aus n Stellen c n,..., c 0 besteht. Wenn 0x0000 c 0x007F, dann: c hat maximal 7 Bit, Kodierung als ein Byte mit führender 0 Wenn 0x0080 c 0x07FF, dann: c hat 8-11 Bit, Kodierung in zwei Byte c 10,..., c c 5,..., c 0 Wenn 0x0800 c 0xFFFF, dann: c hat Bit, Kodierung in drei Byte c 15,..., c c 11,..., c c 5,..., c 0 Wenn 0x10000 c 0x10FFFF, dann: c hat Bit, Kodierung in vier Byte: c 20,..., c c 17,..., c c 11,..., c c 5,..., c 0 Erhält man also einen Byte-Stream, der in UTF-8 kodierte Zeichen enthält, kann man ihn wie folgt decodieren: Ein Byte mit führender Null stellt eine komplette Kodierung eines 7-bit-Zeichens dar. Ein Byte mit führender 1 gehört zu einer mehrbytigen Kodierung. 3 Die 1-Byte-Form von UTF-8 entspricht damit der ASCII-Codierung und Dateien in UTF-8, die nur aus solchen Zeichen bestehen, können wie Dateien in ASCII gelesen werden. Gleichzeitig gilt: Alle ASCII-Daten sind auch UTF-8-Daten. 8

9 Ist das zweite Bit eine Null, so ist es ein Folgebyte. Ist das zweite Bit 1, so handelt es sich um das Start-Byte, und die Anzahl der vorne stehenden 1en entspricht der Anzahl der Bytes, die noch folgen. Beispiel: Konvertierung nach UTF-8 Der Codepoint U+1D11E (Violinschlüssel), soll in UTF-8 konvertiert werden. Vorgehen: 1. Binärdarstellung erzeugen: U+1D11E = x x1D11E 0x10FFFF, also wird 4-Byte-Kodierung von 21 Stellen benötigt 3. Binärdarstellung auf 21 Stellen auffüllen: Bits dem Schlüssel folgend auf vier Bytes verteilen: Alles zusammenfügen: Für ein Little-Endian-System: Da UTF-8 in 1-Byte-Blöcken gelesen und geschrieben wird, ändert sich die Darstellung nicht gegenüber einem Big- Endian-System. 9