Unicode und Zeichensätze

Transkript

1 02 Unicode G. Görz, J. Schneeberger Lehrstuhl Informatik 8 (KI) josef.schneeberger@fh-deggendorf.de! Unicode und Zeichensätze Unter Mitarbeit von Olaf Winterstein (Greifswald 08) 2

2 Was ist Unicode? Internationaler Industriestandard Ziel: alle Schriftzeichen der Welt zu vereinen Bis dahin gab es in den einzelnen Ländern Normierungen der jeweiligen Schriftzeichen. Vereinheitlichung dieser Normierungen und Zusammenfassung. Herausgegeben von Unicode Consortium (1991 gegründet) Auch bekannt als ISO ASCII der Basiszeichensatz American Standard Code for Information Interchange (ASCII) Die Tastatur Amerikanischer Schreibmaschinen 128 Zeichen mit 7 Bit darstellbar bzw. XY (X = 1..8, Y = 1..F) 4

3 ISO-Latin-1 Zeichen der westlichen Staaten (ungefähr die NATO) 256 Zeichen darstellbar mit 8 Bit Hex (adezimale) Darstellung: XY (X=1..F, Y=1..F) ISO 8859 Der aktuelle ISO! Latin Zeichensatz f(r Westeuropa#!"# Latin!"$ Westeurop%isch#!&# Latin!&$ Mitteleurop%isch#!'# Latin!'$ S(deurop%isch#!)# Latin!)$ Baltisch#!*# Kyrillisch#!+# Arabisch#!,# Griechisch#!-# Hebr%isch#!.# Latin!*$ T(rkisch#!"/# Latin!+$ Nordisch#!""# Thai#!"'# Latin!,$ Baltisch#!")# Latin!-$ Keltisch#!"*# Latin!.$ Westeurop%isch#!"+# Latin!"/$ S(dosteurop%isch# [Wikipedia] 6

4 ISO Unterschiede zu ISO [ 7 Windows Verbreitet unter Windows Benutzern Weicht von ISO-Latin-1 im Bereich 80-9F ab 8

5 Unicode ist ein allgemeines System zur Definition von Zeichensätzen Weitere Zeichensätze 9... nach oben offene Zeichenskala Speicherplätze für Schriftzeichen das sind 256 Tabellen a 256 Zeichen Nummerierung der Zeichen von 1 bis Hexadezimal von 0001 bis FFFF Zur besseren Übersichtlichkeit: Unterteilung in 256 Blöcke mit je 256 Einträgen, z.b. Block 00 für alle Einträge von 0001 bis 00FF In der Regel ganze Blöcke pro Schriftsystem 10

6 Unicode: Historie (1) 1991 wurde die erste Version von Unicode veröffentlicht, angelegt zunächst für maximal Zeichen. Jedes Jahr werden nach strenger Prüfung neue Zeichen unterschiedlichster Sprachen hinzugefügt Mittlerweile Version (Stand 04/2009) mit über codierten Zeichen, darunter tibetische, phönizische und viele weitere Sprachzeichen Anmerkung: auch das Eurozeichen! musste 1998 extra codiert werden 11 Unicode: Historie (2) Zeichen reichen nicht Speicherbereich wird versiebzehnfacht Codierung von 17 Planes à Zeichen Bisheriger Unicode bleibt als Plane 0 oder Basic Multilingual Plane (aktuell gebräuchliche Schriftsysteme, Satzzeichen etc.) erhalten Jetzt: max Zeichen Unicode Consortium 12

7 Der Unicode-Zeichensatz 13 Unicode Plane 0 [Wikipedia] 14

8 Das Unicode-Spektrum (Plane 0) A000 B000 C000 D000 E000 F000 Hangul CJK weitere Zeichen Allg. Zeichen CJK Symbole Private Benutzung Kompatibilität Unicode == ISO , bit characters (20,902 CJK) 1 million "surrogate" characters 15 Unicode Planes Plane# Zeichen# Bezeichnung# Beschreibung# /# ////!FFFF# Basic Multilingual Plane# "# "////!"FFFF# Supplementary Multilingual Plane# &# &////!&FFFF# Supplementary Ideographic Plane# '!"'# '////!DFFFF# unassigned# ")# E////!EFFFF# Supplementary Special!purpose Plane# BMP# SMP# SIP# SSP# Zusammenf(hrung alter Zeichens%tze# Historische Zeichens%tze$ Musik$ Mathematik# Han! Vereinheitlichung 0)/1/// Zeichen2# Nicht!graphische Zeichen$ z1b1 L%ndercodes# "*# F////!FFFFF# Private Use Area # PUA# Private Nutzung# "+# "/////!"/FFFF# Private Use Area # PUA# 16

9 Unicode Plane 1 Linear B ( Jahrhundert v.c.) Altgriechische Zahlen und Zeichen Keilschrift Altitalienisch Gotisch Altpersisch Osmanisch Phönizisch Sumerisch... [Wikipedia] 17 Schriftzeichen und Glyphen Unicode speichert Schriftzeichen, aber keine Glyphen Glyphe ist das Schriftbild / die Grafik, welche wir sehen / schreiben Viele unterschiedliche Glyphen für identisches Schriftzeichen Glyphen sind in Schriftart-Datensätzen gespeichert Das Prädikat Unicode-konform einer Schriftart bedeutet, dass sie die Schriftzeicheneinträge des Unicode verwendet, aber nicht, dass sie alle Unicode-Schriftzeichen als Glyphe grafisch darstellen kann. 18

10 Wie arbeitet man mit Unicode? Moderne Editoren versuchen, die Verwendung von Unicode-Zeichensätzen vor dem Benutzer zu verstecken. Der Benutzer arbeitet mit Unicode, ohne es zu merken. Z.B. unter Windows: Eingabe über die Windows-Zeichentabelle oder Direkteingabe der Nummer des Zeichens mit Alt-XXXX 19 Wie findet man ein Unicode Zeichen? Suche in Unicode-Datenbank auf unterschiedliche Weise 1. über Unicode NamesList 2. über Unicode Character Name Index 3. über Unicode Character Code Charts 4. Unicode Zeichensuche search.htm 20

11 Unicode NamesList ftp://ftp.unicode.org/ 21 ftp://ftp.unicode.org/public/5.2.0/ucd/nameslist-5.2.0d2.txt Unicode Character Name Index 22

12 Unicode Charts 23 Zeichensuche 24

13 Komplexe Zeichen Manche Zeichen werden auch als Kombination mehrerer anderer Zeichen dargestellt. Das erschwert die Suche. [ 25 Beispiel: indische Halbzeichen Darstellung erfolgt durch Kombination von normalen Zeichen mit dem Halant (diakritisches Zeichen) [ Das setzt genaue Kenntnis der einzelnen Schriftzeichen voraus 26

14 Kritische Stimmen Industriestandard aber nicht unbedingt beliebt. Besonders: Han-Vereinheitlichung Chinesische, japanische und koreanische Schriftzeichen als eine Zeichenfamilie Die zukünftige Kodierung der ägyptischen Hieroglyphen basiert auf den Forschungsergebnissen eines einzelnen Forschers. [Wikipedia] 27 Zeichenkodierung Die Fallstricke von Unicode... 28

15 Was ist eine Zeichenkodierung? Historische Beispiele Morse Code Braille... Man kann die Zahlen von sehr unterschiedlich in Binärzahlen kodieren. Eine Zeichenkodierung ist eine dieser Varianten (character encoding form = CEF) 29 Vier Ebenen ACR: Abstract Character Repertoire Die Menge der Zeichen, die kodiert werden soll (z.b. ein Alphabet) CCS: Coded Character Set Zuordnung der zu kodierenden Zeichen (abstract character repertoire ACR) auf eine Menge von (nicht negativen) ganzen Zahlen. Typischerweise 1..n CEF: Character Encoding Form Abbildung von einer Menge von ganzen Zahlen auf eine Menge von kodierten Einheiten fester Länge (z.b. 32-bit Zahlen). Wenn die Anzahl der zu kodierenden Zahlen die Menge der Einheiten fester Länge übersteigt, dann muss ein Escaping Verfahren vereinbart werden. CES: Character Encoding Scheme Eine umkehrbare Transformation von CEF auf 8-Bit Einheiten (Oktette / octets) zur Speicherung auf klassischen Computern. 30

16 Kodierung ACR CCS CEF CES A B C D E D50 D51 D52 D53 D54... D 5 0 D 5 1 D 5 2 D 5 3 D Verbreitete Zeichenkodierungen ISO 646: ASCII EBCDIC: CP930 ISO 8859: ISO Western Europe,..., ISO MS-Windows character sets: Windows-1250,..., Windows-1258 Mac OS Roman Cork / T1 JIS X 0208 weit verbreitet für Japanisch: z.b. EUC-JP, ISO-2022-JP Chinese Guobiao: GB 2312, GBK (Microsoft Code page 936), GB Unicode: UTF-8, UTF-16,... 32

17 Unicode und Kodierungen (encoding) Unicode in Programmen UCS-2: two-byte characters UCS-4: four-byte characters (future) Unicode in Dateien UTF-8: ASCII is ASCII, rest are 1- to 4-bytes UTF-16: two octets per character, initial ASCII mit einer hexadezimalen/dezimalen Positionsangabe für Zeichenreferenz# character reference# 33 Beispiel: UTF-8 (Unicode Transformation Format) Bereich der Zeichen# Bereich# UTF!- 0octet2 Sequenz# //// ////!//// //,F# //// //-/!//// /,FF# //// /-//!//// FFFF# /!"&, 0ASCII2# "&-!&/),# &/)-!+**'*# /xxxxxxx# ""/xxxxx "/xxxxxx# """/xxxx "/xxxxxx "/xxxxxx# ///" ////!//"/ FFFF# +**'+!""")"""# """"/xxx "/xxxxxx "/xxxxxx "/xxxxxx# A"#. A<NOT IDENTICAL TO><ALPHA>. U+0041 U+2262 U+0391 U+002E 41 E2 89 A2 CE 91 2E 34

18 Beispiele und Tests UTF-7 Verwendung einer 7-Bit Kodierung (für !) Ohne Kodierung: A-Za-z0-9'(),./:?- Ebenfalls ohne }... sollten aber kodiert werden. Andere Zeichen: Standardverfahren: Anfang der Zeichensequenz: + Ende der Zeichensequenz: - Beispiel: Enzyklopädie = Enzyklop+AOQ-die Alternativen: quoted-printable (Base64) 36

19 UTF-16/UCS-2 UCS = Universal Character Set code point# Zeichen# UTF!"+ code# Glyph# "&& 0hex,A2# small Z 0Latin2# //,A# z# &,,// 0hex +C')2# water 0Chinese2# +C')# ""./,/ 0hex "D""E2# Violinschl(ssel# D-') DD"E# UTF-16 Kodierung dieser 3 Zeichen: Kodierung# Byte Ordnung# Byte Sequenz# UTF!"+LE# little!endian# ') +C$,A //$ ') D- "E DD# UTF!"+BE# big!endian# +C ')$ //,A$ D- ') DD "E# UTF!"+# little!endian$ mit BOM# FF FE$ ') +C$,A //$ ') D- "E DD# UTF!"+# big!endian$ mit BOM# FE FF$ +C ')$ //,A$ D- ') DD "E# Bytepaare in umgekehrter Reihenfolge 37 38

20 BOM Byte Order Mark Deutsch: Bytereihenfolge-Markierung Wird optional verwendet, steht am Dateianfang. Dient zur Angabe der Byte-Reihenfolge in UTF-16 oder UTF-32 Dateien Oder zur Kennzeichnung von UTF-8, UTF-16 oder UTF-32 Dateien. Kann zu Problemen bei der Verwendung über Plattformgrenzen hinweg führen. Kodierung# UTF!-# UTF!"+ Big Endian# UTF!"+ Little Endian# UTF!'& Big Endian# Bytefolge# EF BB BF# FE FF# FF FE# // // FE FF# UTF!'& Little Endian# FF FE // //# 39 [ Kodierung anzeigen Befehl debug: analysiert Dateien? liefert Unterbefehle von debug d liefert hex dump BOM: FF FE 40

21 Unicode und XML! <?xml version="1.0" encoding="iso "?>! <?xml version="1.0" encoding= UTF-8"?> XML-Programme können UTF-8 und UTF-16 verarbeiten.... aber auch ASCII, EBCDIC, JIS, KO18-R, Big5 können von den meisten Programmen akzeptiert werden. 41 Literatur J. Allen, J. Becker (Hrsg.), The Unicode Standard, Version 5.0, Addison-Wesley Longman, Amsterdam, RFC 20, V. Cerf, ASCII format for Network Interchange,