U+1F4A9 = What every Programmer should know about Unicode. 2. Semester Medieninformatik. Prof. Dr.-Ing. Carsten Bormann cabo@tzi.

Transkript

1 U+1F4A9 = What every Programmer should know about Unicode 2. Semester Medieninformatik Prof. Dr.-Ing. Carsten Bormann cabo@tzi.de 1

2 Textuelle Information Zeichen Primäre Informationsquelle im Web: Text Zeichen: Buchstaben, Ziffern, Zeichensetzung, Sonderzeichen Welche Zeichen gibt es? Zeichenvorrat Wie werden sie digital kodiert? Zeichensatz Wie sehen sie aus? Font (Schrift, Schriftart) 3

3 Digitale Kodierung Kodierung über Kette von Bits 0 oder 1 n Bits 2 n Möglichkeiten (2 5 = 32, 2 7 = 128, 2 8 = 256,...) Beispiel: Zahlen 4

4 Zeichencodes: Baudot (IA2, ITU-T S.1) Telegrafie (50 bit/s): 5 Bits 32 Symbole A-Z = 26 Ziffern + Satzzeichen = 21 6 Symbole eindeutig 26 Symbole doppelt belegt Bu/Zi zum Umschalten 5

5 Zeichencodes: 7-Bit-Codes 7 Bit pro Zeichen (eins bleibt frei für Parity) ASCII ISO 646 = IA5 ~ DIN Nationale Varianten: nicht alle Codes gleich belegt Steuerzeichen: CR, LF,... (0 31) Schriftzeichen:! #$...A-Z...a-z... (32* 127*) 6

6 7

7 8-Bit-Codes Problem: Nationale Varianten unhandlich Europäische Integration 8. Bit ungenutzt Idee: 2 Tabellen Linke Tabelle ~ ASCII 8

8 8-bit-Codes ISO 6937: Linke Tabelle ISO 646:1973 (ASCII ohne $) Rechte Tabelle für alle lateinischen Sprachen Diakritische Zeichen Besondere/zusammengesetzte Zeichen ISO 8859-n Linke Tabelle ASCII (ISO 646:1990) Rechte Tabelle in ca. 15 Varianten (ISO bis -15) 9

9 10

10 11

11 12

12 Klassische Zeichen-Codes Telegrafie: 5-Bit-Code, 2 5 = 32 Durch Doppelbelegung = 58 Zeichen ASCII/ISO 646: 7-Bit-Code, 2 7 = 128 C-Set: 32 Steuerzeichen; G-Set: 96 (94) Schriftzeichen ISO 6937: 8-Bit-Code, 2 8 = C-Sets, 2 G-Sets; ca. 600 Zeichen durch Zusammensetzen ISO 8859-n: 8-Bit-Code, 2 8 = 256 Wirtschaftsraumspezifische Varianten mit je = 190 Zeichen (inkl. ASCII) 13

13 Probleme mit 8-Bit-Codes Bengali, Devanagari, Tamil, Thai, Tibetanisch,... Was mit den ideographischen Schriften? Kanji (Japan), Hanzi (China), Hanja (Korea, neben Hangul) Tausende von Symbolen Sonstige Symbole Dingbats, Mathematische Zeichen, E-Technik,... halbe Leerzeichen, linke untere Anführungszeichen,... Kombination von Schriften in einer Anwendung Mehrfachbelegung = ISO 2022 (Codeerweiterung) 16-/32-Bit-Codes = ISO (Unicode) 14

14 15

15 Unicode (ISO 10646) Ziel: alle definierten Zeichen repräsentieren können Idee: 32-Bit-Zeichensatz, effizient kodieren 2 31 ~ 2 Milliarden Zeichen (real: bis 0x10FFFF ~ 2 20 ~ 1 Mio max.) 128 Gruppen, 256 Ebenen, 256 Zeilen, 256 Zellen 16

16 Unicode-BMP: 16-Bit-Zeichensatz Idee: Kanji und Hanzi-Varianten überlagern Ebene 00, Gruppe 00 reicht Basic Multilingual Plane (BMP) UCS-2-Format MSB first vs. LSB first: Byte Order Marker (BOM) FEFF 17

17 Unicode BMP: A-Zone ASCII und Latin-1 sind code-kompatible Untermengen Andere 8859-n ebenfalls vorhanden (verschoben) Griechisch, Hebräisch, Arabisch,... Zeichensetzung, Mathematik, Dingbats,... 18

18 Repräsentation von Unicode UCS: UCS-2, UCS-4 Byte-Order-Probleme FEFF (Byte Order Marker, BOM) UTF: UCS Transformation Format UTF-7: +ACQ- UTF-8: Aufteilen, eindeutig auch bei Quereinstieg F: 0xxx xxxx FF: 110x xxxx, 10xx xxxx 0800 FFFF: 1110 xxxx, 10xx xxxx, 10xx xxxx FFFF: 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx UTF-16: Wie UCS-2, aber mit Surrogat-Zeichen FFFF: 10000, xx xxxxxxxx, xx xxxxxxxx UTF-16BE vs. UTF-16LE (oops) BOM... UTF-32: Wie UCS-4, aber beschränkt auf 0..0x10FFFF 19

19 Zeichen vs. Glyphs Zeichencode: Codekombinationen für Schriftzeichen Aussehen kann sich aber unterscheiden: Formvarianten sind abstrahierbar: z.b.: Ligaturen: Arabische Schreibung: initial, medial, terminal, isoliert Arabisch vs. Europäisch: Glyphregistratur vs. weitere Zeichen in Unicode 20

20 21

21 NFD NFC NFKD NFKC Normalisierung: NFD, NFC, NFKD, NFKC 22

22 Zeichensätze in der Praxis Industrie im Übergang von ISO 8859 zu Unicode Windows-1252 (Erweiterung von ISO ) weit verbreitet Unicode ist Basiszeichensatz für HTML HTML selbst aber oft in ISO kodiert (Default!) <meta http-equiv="content-type" content="text/ html; charset=iso " /> <?xml version="1.0" encoding="iso "?> <meta http-equiv="content-type" content="text/ html; charset=utf-8" /> <?xml version="1.0"?> 23

23 Apache und der Zeichensatz httpd.conf,.htaccess AddCharset UTF- 8.html AddType 'text/html; charset=utf- 8' html Selektiv: <Files "example.html"> AddCharset UTF- 8.html </Files> 24

24 Nützliche Unicode-Zeichen Anführungszeichen : Links unten Rechts oben (englisch: links) Englisch rechts Gedankenstrich Halbgeviertstrich (en dash) heute üblich Geviertstrich (em dash) traditionell/usa Euro-Zeichen Achtung: Zeichen zwischen &#128; und &#159; sind Fehler (Überbleibsel aus Windows-1252) 25

25 ASCII-8BIT (BINARY) Big5 (CP950) CP51932 CP850 (IBM850) CP852 CP855 CP949 Emacs-Mule EUC-JP (eucjp) EUC-KR (euckr) EUC-TW (euctw) eucjp-ms (eucjp-ms) GB12345 GB18030 GB1988 GB2312 (EUC-CN, euccn) GBK (CP936) IBM437 (CP437) IBM737 (CP737) IBM775 (CP775) IBM852 IBM855 IBM857 (CP857) IBM860 (CP860) IBM861 (CP861) IBM862 (CP862) IBM863 (CP863) IBM864 (CP864) IBM865 (CP865) IBM866 (CP866) IBM869 (CP869) ISO-2022-JP (ISO2022-JP) ISO-2022-JP-2 (ISO2022-JP2) ISO (ISO8859-1) ISO (ISO ) ISO (ISO ) ISO (ISO ) ISO (ISO ) ISO (ISO ) UTF-8 ISO (ISO ) in Programmiersprachen ISO (ISO8859-2) ISO (ISO8859-3) ISO (ISO8859-4) ISO (ISO8859-5) ISO (ISO8859-6) ISO (ISO8859-7) ISO (ISO8859-8) ISO (ISO8859-9) KOI8-R (CP878) KOI8-U maccenteuro maccroatian maccyrillic macgreek maciceland MacJapanese (MacJapan) macroman macromania macthai macturkish macukraine Shift_JIS (SJIS) stateless-iso-2022-jp TIS-620 US-ASCII (ASCII, ANSI_X , 646) UTF-16BE (UCS-2BE) UTF-16LE UTF-32BE (UCS-4BE) UTF-32LE (UCS-4LE) UTF-7 (CP65000) UTF-8 (CP65001, locale, external) UTF8- MAC (UTF-8-MAC) Windows-1250 (CP1250) Windows-1251 (CP1251) Windows-1252 (CP1252) Windows-1253 (CP1253) Windows-1254 (CP1254) Windows-1255 (CP1255) Windows-1256 (CP1256) Windows-1257 (CP1257) Windows-1258 (CP1258) Windows-31J (CP932, cswindows31j) Windows-874 (CP874) Ruby 1.8: Strings sind Byte-Folgen ASCII-Kompatibilität wird vorausgesetzt Ruby 1.9/2.0: String#bytes, #codepoints, #chars String#encoding a.encoding #<Encoding:UTF-8> == Encoding::UTF_8 String.new.encoding #<Encoding:ASCII-8BIT> == Encoding::BINARY String#force_encoding(Encoding::UTF_8) String#valid_encoding? String#encode(Encoding::UTF_8, invalid: :replace) String#encode( UTF-8, ISO ) # -*- coding: UTF-8 -*- DEFAULT IN RUBY

26 Being helpful rarely helps ( ASCII compatible ) >> u = "a".encode("utf-8") => "a" >> b = "a".force_encoding("binary") => "a" >> u + b => "aa" >> >> u = "ä".encode("utf-8") => "a" >> b = "ä".force_encoding("binary") => "a" >> u + b Encoding::CompatibilityError: incompatible character encodings: UTF-8 and ASCII-8BIT >> 26

27 WTF OSX HFS+ NFD Dateisystem von OSX: HFS+ January 19, 1998 Apple hatte Unicode noch nicht ganz verstanden HFS+: Dateinamen in NFD Müller Mu ller alma:tmp cabo$ ls -l *ml*t -rw-r--r-- 1 cabo wheel 13 Feb 26 15:18 ümläut alma:tmp cabo$ irb >> Dir["*ml*t"].first.chars.to_a => ["u", " ", "m", "l", "a", " ", "u", "t"] >> Dir["*ml*t"].first.encode("UTF-8", "UTF-8-MAC").chars.to_a => ["ü", "m", "l", "ä", "u", "t"] >> UTF-8-MAC als Trivialname für UTF-8 in NFD 27