Unicode und UTF-8. Anna-Katharina Wurst. 28. April WP5 Angewandte Programmierung

Transkript

1 28. April 2015 WP5 Angewandte Programmierung David Kaumanns & Sebastian Ebert SoSe 2015 CIS Ludwig-Maximilians-Universität München

2 2 Inhalt 1 Zeichensätze ASCII ISO 8859-x Unicode 2 Kodierung UTF-8 3 Anwendung PERL

3 3 Inhalt 1 Zeichensätze ASCII ISO 8859-x Unicode 2 Kodierung UTF-8 3 Anwendung PERL

4 4 ASCII-Kodierung American Standard Code for Information Interchange 1963 als Zeichensatz-Standard veröffentlicht 7 Bit Zeichen-Kodierung definiert 128 Zeichen: 33 Steuerzeichen und 95 druckbare Zeichen: (ASCII-Tabelle)!#"$%& ()*+,-./ :;<=>?@ABCDEFGHIJKLMNO PQRSTUVWXYZ[\]^_ abcdefghijklmnopqrstuvwxyz{ } ~ A (dezimal): 65 A (binär): a (dezimal): 97 a (binär):

5 5 ISO 8859-x verschiedene Erweiterungen von ASCII auf einen 8-Bit-Code z.b. ISO (ISO Latin-1) für Westeuropa z.b. ISO (ISO Latin-2) für Mitteleuropa zusätzliche Kodierungen von sprachspezifischen Zeichen (z.b. Umlaute) Probleme bei internationaler Kommunikation durch die inkompatiblen Kodierungssysteme

6 6 Unicode internationaler Zeichensatz-Standard, in dem für jedes Schriftzeichen der Welt ein digitaler Codepoint festgelegt wird die inkompatiblen Kodierungen verschiedener Zeichensätze sollen beseitigt werden Kodierung durch UTF-32 (32 Bit pro Zeichen), UTF-16 (16 oder 32 Bit pro Zeichen) oder UTF-8 (8, 16, 24, 32 Bit pro Zeichen)

7 7 Inhalt 1 Zeichensätze ASCII ISO 8859-x Unicode 2 Kodierung UTF-8 3 Anwendung PERL

8 8 UTF-8 Abkürzung für 8-Bit UCS Transformation Format (UCS = Universal Character Set = Unicode) Einführung 1992 durch Ken Thompson und Rob Pike Kodierungsalgorithmus für Unicode-Zeichen Multi-Byte-Zeichenkodierung (MBCS) mit variablen Bytelängen

9 9 UTF-8-Zeichenkodierung jedem Unicode-Zeichen wird eine speziell kodierte Zeichenkette variabler Länge zugeordnet zugelassen sind Bytefolgen bis zu einer Länge von 4 Bytes, auf die sich alle Unicode-Zeichen abbilden lassen ein Start-Byte, bis zu drei Folge-Bytes

10 10 UTF-8-Zeichenkodierung Unicode in UTF-8 ist in den ersten 128 Zeichen identisch mit ASCII (1-Byte-Zeichen, höchstes Bit ist 0) Unicode-Bereich (hexadezimal): F UTF-8-Kodierung (binär): 0xxxxxxx A (ASCII, UTF-8): deutsche Umlaute brauchen 2 Bytes ä (Unicode, hexadezimal): E4 ä (UTF-8, binär): kyrillische und fernöstliche Sprachen belegen bis zu 4 Bytes je Zeichen

11 UTF-8-Algorithmus ein Start-Byte, bis zu drei Folge-Bytes Start-Bytes beginnen mit 0 oder 11, Folge-Bytes immer mit 10 Ist das höchste Bit des ersten Bytes 0, handelt es sich um ein ASCII-Zeichen. A (ASCII, UTF-8): Ist das höchste Bit des ersten Bytes 1, handelt es sich um ein Mehrbytezeichen. ä (UTF-8, binär): Bei den Startbytes gibt die Anzahl der 1-Bits die gesamte Bytezahl des Mehrbyte-Zeichens an. 110xxxxx 10xxxxxx 1110xxxx 10xxxxxx 10xxxxxx 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 11

12 12 Vorteile und Nachteile Vorteile kein größerer Speicherbedarf für englische Texte Bytestrom ist in beiden Richtungen bzw. auch in der Mitte lesbar (im Gegensatz zu anderen MBCS), da Start- und Folgebytes eindeutig unterscheidbar sind Kodierungs-Reserve vorhanden Nachteile notwendige Analyse jedes Bytes (im Vergleich zu Zeichenkodierungen mit fester Byteanzahl) mehr Rechenaufwand und für bestimmte Sprachen u.u. mehr Speicherplatz

13 13 Inhalt 1 Zeichensätze ASCII ISO 8859-x Unicode 2 Kodierung UTF-8 3 Anwendung PERL

14 14 Terminal Befehl $ locale zeigt die aktuellen locale-einstellungen LANG=de_DE.UTF-8 LANGUAGE=de_DE... LC_ALL= Variable LC_ALL legt Kodierung für alle Umgebungsvariablen (bis auf LANGUAGE) fest Befehl $ locale -a zeigt die aktuell verfügbaren locales an vorher: $ date > Mi 22. Apr 18:00:18 CEST 2015 Befehl export LC_TIME=en_GB.utf8 ändert Umgebungsvariable nachher: $ date > Wed Apr 22 18:04:19 CEST 2015 Befehl sudo locale-gen fr_fr.utf-8 fügt neue Locales hinzu

15 15 Perl Operationen in Perl unterscheiden zwischen Strings als Text (z.b. bei substr und regulären Ausdrücken) und Strings als Binärdaten (bei print und Filehandles). PERLs default-einstellungen passen eigentlich, aber best practice ist always encode and decode at the edges of your program Text, den ein Perl-Programm einliest, sollte explizit dekodiert werden. Text, den ein Perl-Programm ausgibt, sollte explizit kodiert werden.

16 16 Perl Ausgabe Warnmeldung bei Sonderzeichen: Wide character in print at Perl-Programm.plx line 21. um die Warnung zu verhindern, Kodierung für STDOUT auf UTF-8 setzen: binmode (STDOUT, ":encoding(utf8)"); dann muss aber auch die UTF-8 Kodierung und Dekodierung für Filehandles entsprechend festgelegt werden (nächste Folie) sowie die UTF-8-Kodierung des Programmtextes im Header: use utf8;

17 17 Perl Filehandle Dekodieren: oder: # UTF-8 Dekodierung für Input-Filestream: open (my $in_file, "<:encoding(utf8)", $filename); Kodieren: oder: # Input-Filestream erstellen open(my $in_file, "<", $filename); # UTF-8-Dekodierung binmode($in_file, ":encoding(utf8)"); # UTF-8-Kodierung für Output-Filestream open (my $out_file, ">:encoding(utf8)", $filename); open(my $out_file, ">", $filename); binmode($out_file, ":encoding(utf8)");

18 18 Perl Sortierung = ("aber", "beta", "ähnlich", "arthur"); = sort (@woerter); print "@sort_woerter \n"; Ausgabe per default: aber arthur beta ähnlich deutsche Sortierung mit: use locale; aber ähnlich arthur beta

19 19 Zusammenfassung ASCII und Unicode sind Zeichensätze Unicode legt für jedes Schriftzeichen einen Codepoint fest mit UTF-8 kann Unicode kodiert werden UTF-8 ist eine Multi-Byte-Zeichenkodierung mit variablen Bytelängen Start-Byte und Folge-Bytes pro Zeichen bei der Anwendung Umgebungsvariablen und Locales anpassen explizites Dekodieren und Kodieren

20 20 Quellen und Literatur Gumm, Heinz P. & Manfred Sommer: Einführung in die Informatik. München: Oldenbourg (Kapitel 1.3 Informationsdarstellung) UTF-8 (Unicode-Zeichennamen und verschiedene Darstellungsformate für UTF-8-Codierung)