Kapitel 3. Codierung von Text (ASCII-Code, Unicode)

Transkript

1 Kapitel 3 Codierung von Text (ASCII-Code, Unicode) 1

2 Kapitel 3 Codierung von Text 1. Einleitung 2. ASCII-Code 3. Unicode 2

3 1. Einleitung Ein digitaler Rechner muss jede Information als eine Folge von 0 und 1 darstellen, d. h. damit ein Rechner Information verarbeiten kann, muss diese zuerst codiert werden und nach der Verarbeitung wieder decodiert werden. Beispiel: =? Codierung Decodierung 3

4 1. Einleitung Codierung ist die Zuordnung der Elemente einer Menge (eines Zeichenvorrats) zu den Elementen einer anderen Menge (neuer Zeichenvorrat), d. h. eine Codierung ist eine Abbildung. Beispiel: 2er-Komplementdarstellung mit 8-Bit

5 1. Einleitung Codierung von Text: Um Text in einem Rechner darzustellen, zu verarbeiten oder in einem Netzwerk zu übertragen, müssen die Buchstaben, Satzzeichen usw. in Bitfolgen codiert werden. Für die Art dieser Codierung jedes einzelnen Zeichens gibt es verschiedene Standards, zum Beispiel ASCII und Unicode. 5

6 Kapitel 3 Codierung von Text 1. Einleitung 2. ASCII-Code 3. Unicode 6

7 2. ASCII-Code Betrachtet man den allgemeinen Fall einer rechnerbasierten Darstellung, Verarbeitung oder Übertragung von Text, so sind mindestens zu codieren/decodieren: 26 Großbuchstaben 26 Kleinbuchstaben 10 Ziffern ca. 16 Sonderzeichen (+, -, *, =,!, # usw.) ca. 10 Steuerzeichen (Zeilenumbruch, Tabulator usw.) 1 Leerzeichen Dies ergibt insgesamt ca. 89 Zeichen. Mit 6 Bit können 64, mit 7 Bit können 128 verschiedene Kombinationen dargestellt werden. Für die eindeutige Darstellung eines Zeichens des oben angegebenen Alphabets sind also mindestens 7 Binärstellen erforderlich. 7

8 2. ASCII-Code ASCII-Code (American Standard Code for Information Interchange) Weit verbreiteter Standard zur Darstellung von Zeichen (Buchstaben, Ziffern, Sonderzeichen) und Steuerzeichen durch Bitfolgen Binärcode. Verfahren, bei dem bestimmten Zeichen (Buchstaben, Ziffern und Sonderzeichen) eine Zahl zwischen 0 und 127 zugeordnet wird. (Nicht druckbare) Steuerzeichen besitzen ASCII Codes kleiner als 32. Der ursprüngliche ASCII-Code ist ein 7-Bit-Code, d. h. Zeichen werden durch eine Folge von 7 Bits dargestellt; es lassen sich 128 verschiedene Zeichen darstellen. Buchstabe H : (72) 10 = ( ) 2 = (48) 16 Ziffer 5 : (53) 10 = ( ) 2 = (35) 16 Wort Hallo : dezimal hex C 6C 6F Zahl 23 : ( ) 2 ( ) 2 hex

9 2. ASCII-Code 7-Bit-ASCII-Code Welche Zeichen fehlen? Heute arbeiten fast alle Rechner mit 8-Bit- Codes (erweiterte ASCII-Codes). Das zusätzliches Bit verdoppelt die Anzahl der darstellbaren Zeichen. 9

10 2. ASCII-Code Erweiterte ASCII-Codes sind 8-Bit-Codes (ein Byte pro Zeichen) Sie umfassen den 7-Bit ASCII-Code (links Bit mit Wert 0 anfügen). Buchstabe E: (69) 10 = ( ) 2 = (45) 16 Um Zeichen aus vielen verschiedenen Ländern abzudecken (wie ä, ß und é), wurden verschiedene erweiterte ASCII-Codes definiert, die sich nur in den Zeichen 128 bis 255 unterscheiden. Normierung ISO Latin1 (West European) - Latin2 (East European) - Latin3 (South European) - Latin4 (North European) - Cyrillic - Arabic - Greek - Hebrew - Latin5 (Turkish) - Latin6 (Nordic) Die meisten westeuropäischen und nordamerikanischen Zeichen werden durch den Zeichensatz ISO 8859 Latin-1 abgedeckt. Die erweiterten ASCII-Codes führen oft zu Fehlern bei der Informationsübertragung, weil Sender und Empfänger verschiedene erweiterte ASCII-Codes verwenden oder auch Nicht-ASCII-Codes. In s werden oft die deutschen Umlaute ä, ö, ü falsch dargestellt. ASCII-Code 196 entspricht zum Beispiel Ä bei Latin1-4 und bei Greek. 10

11 2. ASCII-Code ISO 8859 Latin-1, Übersicht Steuerzeichen nicht belegt Buchstabe Ä : (C4) 16 = =196 11

12 2. ASCII-Code Die Tabelle auf der folgenden Seite zeigt einen Ausschnitt aus dem Zeichensatz, der unter Windows verwendet wird, die so genannte Windows Codepage 1252 (auch Windows ANSI oder WinLatin1 ). Dieser Zeichensatz ist an ISO-8851-Latin1 angelehnt, unterscheidet sich aber von diesem. Größter Unterschied zu ISO-Latin-1 ist die Tatsache, dass im Bereich ( F 16 ) anstelle von Steuerzeichen meist druckbare Zeichen codiert sind. Alle Zeichen dieser Codepage können im Notepad auch über die numerische Tastatur eingegeben werden, falls das entsprechende Zeichen auf der Tastatur fehlt. Hierzu muss man die Alt-Taste drücken und den Zeichencode als vierstellige Zahl eingeben, zum Beispiel erzeugt Alt+0128 das Eurosymbol. 12

13 2. ASCII-Code Ausschnitt aus der Windows-Codepage 1252: 13

14 Kapitel 3 Codierung von Text 1. Einleitung 2. ASCII-Code 3. Unicode 14

15 3. Unicode Ein Zeichen besteht aus 16 Bit (2 Byte) verschiedene Zeichen: Länderspezifische Zeichen, mathematische Symbole sind darstellbar. Unicode 3.0 definiert Zeichen für ideographische Zeichen (chinesische Schriftzeichen). Die ersten 127 Zeichen im Unicode entsprechen dem 7-Bit-ASCII- Code, die ersten 255 Zeichen entsprechen ISO-8859-Latin-1, danach folgen (viele!) andere Zeichen. Einsatz bei Betriebssystemen, Applikationen, Internetprotokollen Internationalisierung (Windows-Betriebssystem und -Anwendungen für europäischen und asiatischen Markt). Durch einen Erweiterungsmechanismus lassen sich inzwischen über 10 6 Zeichen darstellen Unicode 3.1 definiert Zeichen. Beispiele: Eurosymbol 20AC 16 (auch als U+20AC geschrieben) Integralzeichen 222B 16 (auch als U+222B geschrieben) 20AC bzw. 222B müssen als Hexadezimalzahl interpretiert werden. 15

16 3. Unicode ISO-Latin1 Chinesische, Japanische, Koreanische Schriftzeichen Erweiterungsmechanismus: Jeweils 2 aufeinander folgende 16-Bit-Paare bilden ein Zeichen 10 6 Zeichen darstellbar 16

17 3. Unicode Unicode-Demo im Notepad 17