Grundbegriffe der Informatik

Transkript

1 Ich hoffe, es werden Ew. Hochfürstliche Durchlaucht in Gnaden vermerken, daß ich sowohl dem Gebrauche, als meinem Gemüths=Triebe zu Folge, bei dem eingetretenen neuen Jahre, auf dieses und viele folgende, Denenselben in beständiger Gesundheit alle selbst verlangende hohe Fürstliche Ersprießlichkeit zu gemeinem und Dero Lande besondern Besten, aus treuem Herzen anwünsche. 1/44

2 Ich hoffe, es werden Ew. Hochfürstliche Durchlaucht in Gnaden vermerken, daß ich sowohl dem Gebrauche, als meinem Gemüths=Triebe zu Folge, bei dem eingetretenen neuen Jahre, auf dieses und viele folgende, Denenselben in beständiger Gesundheit alle selbst verlangende hohe Fürstliche Ersprießlichkeit zu gemeinem und Dero Lande besondern Besten, aus treuem Herzen anwünsche. schrieb in einem Brief datiert auf den 2. Januar 1697 an den Herzog von Braunschweig-Wolfenbüttel 1/44

3 Ich hoffe, es werden Ew. Hochfürstliche Durchlaucht in Gnaden vermerken, daß ich sowohl dem Gebrauche, als meinem Gemüths=Triebe zu Folge, bei dem eingetretenen neuen Jahre, auf dieses und viele folgende, Denenselben in beständiger Gesundheit alle selbst verlangende hohe Fürstliche Ersprießlichkeit zu gemeinem und Dero Lande besondern Besten, aus treuem Herzen anwünsche. schrieb in einem Brief datiert auf den 2. Januar 1697 an den Herzog von Braunschweig-Wolfenbüttel der Philosoph, Mathematiker, Physiker, Bibliothekar,... Gottfried Wilhelm Leibniz ( ) 1/44

4 Grundbegriffe der Informatik Einheit 10: Codierungen Thomas Worsch Universität Karlsruhe, Fakultät für Informatik Wintersemester 2008/2009 2/44

5 Überblick Codierungen Von Wörtern zu Zahlen und zurück Dezimaldarstellung von Zahlen Andere Zahldarstellungen Von Zahlen zu ihren Darstellungen Von einem Alphabet zum anderen Ein Beispiel: Übersetzung von Zahldarstellungen Homomorphismen Beispiel Unicode: UTF-8 Huffman-Codierung Algorithmus zur Berechnung von Huffman-Codes Weiteres zu Huffman-Codes Inhalt 3/44

6 Codierungen Von Wörtern zu Zahlen und zurück Dezimaldarstellung von Zahlen Andere Zahldarstellungen Von Zahlen zu ihren Darstellungen Von einem Alphabet zum anderen Ein Beispiel: Übersetzung von Zahldarstellungen Homomorphismen Beispiel Unicode: UTF-8 Huffman-Codierung Algorithmus zur Berechnung von Huffman-Codes Weiteres zu Huffman-Codes Codierungen Von Wörtern zu Zahlen und zurück 4/44

7 Dezimaldarstellung von Zahlen aus Indien Ziffern des Alphabetes Z 10 = {0,..., 9}. Bedeutung num 10 (x) einer einzelnen Ziffer x als Zahl: x num 10 (x) Bedeutung eines Wortes x k 1 x 0 Z 10 von Ziffern Num 10 : Z 10 N 0 Schule: 10 k 1 num 10 (x k 1 ) num 10 (x 1 ) num 10 (x 0 ) Pünktchenvermeidung: Num 10 (ε) = 0 w Z10 x Z 10 : Num 10 (wx) = 10 Num 10 (w) + num 10 (x) Codierungen Von Wörtern zu Zahlen und zurück 5/44

8 Gottfried Wilhelm Leibniz geboren 1. Juli 1646 (Leipzig), gestorben am 14. November 1716 (Hannover) baute zum Beispiel die erste Maschine, die zwei Zahlen multipliziern konnte in einem Brief vom 2. Januar 1697 an den Herzog von Braunschweig-Wolfenbüttel: Man kann auch alle nichtnegativen Zahlen darstellen, und vernünftig rechnen, wenn man nur zwei Ziffern 0 und 1 benutzen darf. Bildquelle Codierungen Von Wörtern zu Zahlen und zurück 6/44

9 Binärdarstellung von Zahlen Ziffernmenge Z 2 = {0, 1} definiere: num 2 (0) = 0 num 2 (1) = 1 Num 2 (ε) = 0 w Z2 x Z 2 : Num 2 (wx) = 2 Num 2 (w) + num 2 (x) Z. B.: Num 2 (1101) = 2 Num 2 (110) + 1 = 2 (2 Num 2 (11) + 0) + 1 = 2 (2 (2 Num 2 (1) + 1) + 0) + 1 = 2 (2 ( ) + 0) + 1 = 13 Codierungen Von Wörtern zu Zahlen und zurück 7/44

10 Hexadezimaldarstellung Ziffern Z 16 = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F}. Manchmal Kleinbuchstaben statt Großbuchstaben Ziffernwerte: x num 16 (x) x 8 9 A B C D E F num 16 (x) Zuordnung von Wörtern zu Zahlen gegeben durch Num 16 (ε) = 0 w Z 16 x Z 16 : Num 16 (wx) = 16 Num 16 (w) + num 16 (x) Codierungen Von Wörtern zu Zahlen und zurück 8/44

11 ein kleines Problem die Alphabete Z 2, Z 3, usw. sind nicht disjunkt Darstellungen mehrdeutig; z. B. ist 111 Num 2 (111) die Zahl sieben, Num 8 (111) die Zahl dreiundsiebzig, Num 10 (111) die Zahl einhundertelf und Num 16 (111) die Zahl zweihundertdreiundsiebzig. in manchen Programmiersprachen Präfix 0b für Darstellungen zur Basis 2 Präfix 0o für Darstellungen zur Basis 8 Präfix 0x für Darstellungen zur Basis 16 Codierungen Von Wörtern zu Zahlen und zurück 9/44

12 Man kann zu w Z k die repräsentierte Zahl Num k(w) berechnen. Umgekehrt geht es auch: zu n N 0 die sogenannte k-äre Darstellung berechnen Alphabet Z k mit k Ziffern Bedeutung: die Zahlen in Gk für i Gk sei repr k (i) das entsprechende Zeichen repr k ist also gerade die Umkehrfunktion zu num k Gesucht: eine Repräsentation von n N 0 als Wort w Zk mit der Eigenschaft Num k (w) = n für die naheliegende Definition von Numk gleich: solche Wörter gibt es immer Und wenn, dann auch immer gleich unendlich viele: wenn Num k (w) = n, dann auch Num k (0w) = n Codierungen Von Wörtern zu Zahlen und zurück 10/44

13 Algorithmus für Berechnung der k-ären Darstellung einer Zahl / Eingabe: n N 0 y n w ε { 1 + log m k (n) falls n > 0 1 falls n = 0 for i 0 to m 1 do od r y mod k w repr k (r) w y y div k / am Ende: n = Num k (w) Codierungen Von Wörtern zu Zahlen und zurück 11/44

14 Beispielberechnung Nehme k = 10 und n = 4711 Dann ist m = 4 für jedes i G 5 haben die Variablen r, w und y nach i Schleifendurchläufen die folgenden Werte i r w ε y Schleifeninvariante y 10 i + Num k (w) = n drängt sich auf Wenn man weiß, dass am Ende y = 0 ist, ist man fertig. Codierungen Von Wörtern zu Zahlen und zurück 12/44

15 Algorithmus liefert kürzestes Wort w Zk mit Num k(w) = n. schreiben dafür Repr k (n). Es ist stets Num k (Repr k (n)) = n. Beachte: umgekehrt im allgemeinen Repr k (Num k (w)) w weil überflüssige führende Nullen wegfallen. Codierungen Von Wörtern zu Zahlen und zurück 13/44

16 Wir halten fest Das sollten Sie mitnehmen: Umwandlungen zwischen Zahlen und Wörtern mal wieder Schleifen in passenden Beispielen ist Schleifeninvariante gut zu sehen schon Leibniz kannte die Binärdarstellung Das sollten Sie üben: selber Zahlen verschieden repräsentieren Algorithmen auch in Randfällen ausprobieren Codierungen Von Wörtern zu Zahlen und zurück 14/44

17 Codierungen Von Wörtern zu Zahlen und zurück Dezimaldarstellung von Zahlen Andere Zahldarstellungen Von Zahlen zu ihren Darstellungen Von einem Alphabet zum anderen Ein Beispiel: Übersetzung von Zahldarstellungen Homomorphismen Beispiel Unicode: UTF-8 Huffman-Codierung Algorithmus zur Berechnung von Huffman-Codes Weiteres zu Huffman-Codes Codierungen Von einem Alphabet zum anderen 15/44

18 Von Hexadezimal- zu Binärdarstellung Betrachte die Funktion Trans 2,16 = Repr 2 Num 16 Trans 2,16 : Z16 Z 2 Z. B. Trans 2,16 (A3) = Repr 2 (Num 16 (A3)) = Repr 2 (163) = wesentlicher Punkt: A3 und haben die gleiche Bedeutung nämlich die Zahl einhundertdreiundsechzig So etwas wollen wir eine Übersetzung nennen. Codierungen Von einem Alphabet zum anderen 16/44

19 Übersetzungen Allgemein: Man schreibt Wörter aus einer formalen Sprache L A A und meint aber etwas anderes, ihre Bedeutung. Menge der Bedeutungen je nach Anwendungsfall sehr unterschiedlich einfach: Zahlen, kompliziert: Ausführung von Java-Programmen im Folgenden schreiben wir einfach Sem für die Menge der Bedeutungen Codierungen Von einem Alphabet zum anderen 17/44

20 Übersetzungen Allgemein: Man schreibt Wörter aus einer formalen Sprache L A A und meint aber etwas anderes, ihre Bedeutung. Menge der Bedeutungen je nach Anwendungsfall sehr unterschiedlich einfach: Zahlen, kompliziert: Ausführung von Java-Programmen im Folgenden schreiben wir einfach Sem für die Menge der Bedeutungen Gegeben: zwei Alphabete A und B LA A und L B B zwei Abbildungen sema : L A Sem und sem B : L B Sem Eine Abbildung f : L A L B heiße eine Übersetzung bezüglich sem A und sem B, wenn f die Bedeutung erhält, d. h. w L A : sem A (w) = sem B (f (w)) Codierungen Von einem Alphabet zum anderen 17/44

21 Beispiel Trans 2,16 Trans 2,16 = Repr 2 Num 16. einfacher Fall: L A = A = Z2 und L B = B = Z16. Bedeutungsfunktionen: sem A = Num 16 und sem B = Num 2 Nachrechnen, dass Trans 2,16 eine Übersetzung ist: sem B (f (w)) = Num 2 (Trans 2,16 (w)) = Num 2 (Repr 2 (Num 16 (w))) = Num 16 (w) = sem A (w) Codierungen Von einem Alphabet zum anderen 18/44

22 Komplizierte Menge Sem zum Beispiel bei der Übersetzung von Programmiersprachen Was ist Sem? Das lernt man in Vorlesungen zur Semantik von Programmiersprachen. Andeutung: Man kann als Semantik von x 5 die Abbildung definieren, die einer Speicherbelegung m die neue Speicherbelegung memwrite(m, x, 5) zuordnet. Codierungen Von einem Alphabet zum anderen 19/44

23 Wozu Übersetzungen Legalität: Manchmal ist ein bestimmter Zeichensatz vorgeschrieben (z. B. ASCII in s) Lesbarkeit: Übersetzungen können zu kürzer und daher besser lesbar sein: vergleiche A3 mit Kompression: Übersetzungen können kürzer sein und zwar ohne größeres Alphabet gleich: Huffman-Codes Verschlüsselung: nicht verbesserte Lesbarkeit, sondern am liebsten gar keine Lesbarkeit, jedenfalls für Außenstehende siehe Vorlesungen über Kryptographie Fehlererkennung und Fehlerkorrektur: man mache Texte durch Übersetzung so länger, dass man selbst dann, wenn ein korrekter Funktionswert f (w) zufällig kaputt (Übertragungsfehler) gemacht wird man u. U. die Fehler korrigieren kann, oder zumindest erkennt, dass Fehler passiert sind. typisches Beispiel: lineare Codes Codierungen Von einem Alphabet zum anderen 20/44

24 Codierungen bzw. Codes Forderung sem A (w) = sem B (f (w)) in Spezialfällen kein Problem: z. B. bei Verschlüsselung und manchen Anwendungen von Kompression: man will vom Übersetzten f (x) eindeutig zurückkommen können möchte zum ursprünglichen x. f ist injektiv. Dann kann man dann die Bedeutung sem B im wesentlichen definieren durch die Festlegung sem B (f (x)) = sem A (x). Beachte: Dafür ist Injektivität von f wichtig! Wenn f injektiv ist, heiße das eine Codierung Die Menge {f (w) w L A } heißt dann auch ein Code. Codierungen Von einem Alphabet zum anderen 21/44

25 Wie spezizifiziert man eine Übersetzung? Wenn L A unendlich ist, kann man nicht alle Möglichkeiten aufzählen... Auswege: Homomorphismen Block-Codierungen Codierungen Von einem Alphabet zum anderen 22/44

26 Homomorphismen Gegeben: zwei Alphabete A und B und eine Abbildung h : A B. Zu h definiert man Funktion h : A B vermöge h (ε) = ε w A : x A : h (wx) = h (w)h(x) Beispiel: h(a) = 10 und h(b) = 001 dann ist h(babb) = h(b) h(a) h(b) h(b) = = Eine solche Abbildung h nennt man einen Homomorphismus. Häufig schreibt man statt h einfach wieder h. Homomorphismus heißt ε-frei, wenn x A : h(x) ε. Codierungen Von einem Alphabet zum anderen 23/44

27 Präfixfreie Codes Gegeben: Abbildung h : A B Frage: ist Abbildung h : A B eine Codierung, also injektiv? im allgemeinen nicht ganz einfach zu sehen. einfacher Spezialfall: h ist präfixfrei Das bedeutet: für keine zwei verschiedenen Symbole x 1, x 2 A gilt: h(x 1 ) ist ein Präfix von h(x 2 ). Codierungen Von einem Alphabet zum anderen 24/44

28 UTF-8 Codierung: ein Homomorphismus Die Codierung einzelner Zeichen wird gleich definiert Wörter werden zeichenweise codiert. Codierungen Von einem Alphabet zum anderen 25/44

29 Auszug aus RFC 3629 Char. number range (hexadecimal) UTF-8 octet sequence (binary) F 0xxxxxxx FF 110xxxxx 10xxxxxx FFFF 1110xxxx 10xxxxxx 10xxxxxx FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx Determine the number of octets required... Prepare the high-order bits of the octets... Fill in the bits marked x... Start by putting the lowest-order bit of the character number in the lowest-order position of the last octet of the sequence, then put the next higher-order bit of the character number in the next higher-order position of that octet,... When the x bits of the last octet are filled in, move on to the next to last octet, then to the preceding one, etc.... Codierungen Von einem Alphabet zum anderen 26/44

30 Wir halten fest Das sollten Sie mitnehmen: Übersetzungen sind in verschiedenen Situationen nützlich Homomorphismen Codes UTF-8 Das sollten Sie üben: Homomorphismen anwenden Zeichen in UTF-8 codieren Codierungen Von einem Alphabet zum anderen 27/44

31 Codierungen Von Wörtern zu Zahlen und zurück Dezimaldarstellung von Zahlen Andere Zahldarstellungen Von Zahlen zu ihren Darstellungen Von einem Alphabet zum anderen Ein Beispiel: Übersetzung von Zahldarstellungen Homomorphismen Beispiel Unicode: UTF-8 Huffman-Codierung Algorithmus zur Berechnung von Huffman-Codes Weiteres zu Huffman-Codes Codierungen Huffman-Codierung 28/44

32 Huffman-Codierung Gegeben: ein Alphabet A und ein Wort w A Eine sogenannte Huffman-Codierung von w ist eine Abbildung h : A Z2, die ein ε-freier Homomorphismus ist. h also eindeutig festgelegt durch die h(x) für alle x A. Jedes Symbol x A kommt mit einer gewissen absoluten Häufigkeit N x (w) in w vor. Bei Huffman-Codes werden häufigere Symbole durch kürzere Wörter codiert und seltener vorkommende Symbole durch längere. Huffman-Codierungen werden zum Beispiel von Kompressionsverfahren wie gzip oder bzip2 verwendet. Im folgenden erst der Algorithmus anschließend einige Bemerkungen Codierungen Huffman-Codierung 29/44

33 Voraussetzungen Gegeben ein w A und die Anzahlen N x (w) aller Symbole x A in w o. B. d. A. alle Nx (w) > 0 (den Rest muss man nicht codieren) Algorithmus zur Bestimmung eines Huffman-Codes arbeitet in zwei Phasen: 1. es wird ein Baum konstruiert dessen Blätter den x A entsprechen und dessen Kanten mit 0 und 1 beschriftet sind 2. Ablesen der Codes aus dem Baum (Pfadbeschriftungen) Codierungen Huffman-Codierung 30/44

34 Algorithmus für Huffman-Codes Beispiel: w = afebfecaffdeddccefbeff Baum am Ende: , e 6 7, f , a 2, b 3, c Homomorphismus (präfixfrei!) 3, d x a b c d e f h(x) Codierungen Huffman-Codierung 31/44

35 Konstruktion des Huffman-Baumes (1) Zu jedem Zeitpunkt hat man eine Menge M i von noch zu betrachtenden Symbolmengen mit ihren Häufigkeiten und eine ebenso große Menge von schon konstruierten Teilbäumen Initialisierung: M 0 ist die Menge aller {(x, N x (w))} für x A, Als Anfang für die Konstruktion des Baumes zeichnet man für jedes Symbol einen Knoten mit Markierung (x, N x (w)). Beispiel M 0 = { ({a}, 2), ({b}, 2), ({c}, 3), ({d}, 3), ({e}, 5), ({f}, 7) } Codierungen Huffman-Codierung 32/44

36 Konstruktion des Huffman-Baumes (2) Initialbaum im Beispiel: 5, e 7, f 2, a 2, b 3, c 3, d Codierungen Huffman-Codierung 33/44

37 Konstruktion des Huffman-Baumes (3) Iterationsschritt des Algorithmus: Solange Menge M i noch mindestens zwei Paare enthält, Bestimme Menge M i+1 wie folgt: Wähle zwei Paare (X 1, k 1 ) und (X 2, k 2 ), deren Häufigkeiten zu den kleinsten noch vorkommenden gehören. Entferne diese Paare aus Mi und fügt statt dessen das eine Paar (X 1 X 2, k 1 + k 2 ) hinzu. Das ergibt M i+1. im Graphen Füge einen weiteren Knoten hinzu, markiert mit der Häufigkeit k1 + k 2 und Kanten zu den Knoten, die für (X 1, k 1 ) und (X 2, k 2 ) eingefügt worden waren. Codierungen Huffman-Codierung 34/44

38 Konstruktion des Huffman-Baumes (4) Beispiel: M 1 = { ({a, b}, 4), ({c}, 3), ({d}, 3), ({e}, 5), ({f}, 7) } 4 5, e 7, f 2, a 2, b 3, c 3, d Codierungen Huffman-Codierung 35/44

39 Konstruktion des Huffman-Baumes (5) Beispiel: M 2 = { ({a, b}, 4), ({c, d}, 6), ({e}, 5), ({f}, 7) } 4 5, e 6 7, f 2, a 2, b 3, c 3, d Codierungen Huffman-Codierung 36/44

40 Konstruktion des Huffman-Baumes (6) Beispiel M 3 = { ({a, b, e}, 9), ({c, d}, 6), ({f}, 7) } 9 4 5, e 6 7, f 2, a 2, b 3, c 3, d Codierungen Huffman-Codierung 37/44

41 Konstruktion des Huffman-Baumes (7) Beispiel M 4 = { ({a, b, e}, 9), ({c, d, f}, 13) } , e 6 7, f 2, a 2, b 3, c 3, d Codierungen Huffman-Codierung 38/44

42 Konstruktion des Huffman-Baumes (8) Beispiel M 5 = { ({a, b, c, d, e, f}, 22) } , e 6 7, f 2, a 2, b 3, c 3, d Codierungen Huffman-Codierung 39/44

43 Beschriftung der Kanten an jedem Knoten: die nach links führende Kante wird mit 0 beschriftet die nach rechts führende Kante wird mit 1 beschriftet Codes für ein Zeichen x: gehe auf kürzestem Weg von der Wurzel des Baumes zu dem Blatt, das x entspricht, konkateniere der Reihe nach alle Symbole, mit denen die Kanten auf diesem Weg beschriftet sind. Codierungen Huffman-Codierung 40/44

44 Eigenschaften von Huffman-Codes Im Beispiel war immer klar, welche zwei Knoten zu einem neuen zusammengefügt werden mussten Im allgemeinen gibt es mehrere Möglichkeiten. Außerdem ist nicht festgelegt, welcher Knoten linker Nachfolger und welcher rechter Nachfolger eines inneren Knotens wird. Konsequenz dieser Mehrdeutigkeiten: Huffman-Code nicht eindeutig macht aber nichts: alle sind gleich gut. diese Güte kann man präzisieren: Unter allen präfixfreien Codes führen Huffman-Codes zu kürzesten Codierungen. Codierungen Huffman-Codierung 41/44

45 Block-Codierungen Verallgemeinerung des obigen Verfahrens: Betrachte nicht Häufigkeiten einzelner Symbole, sondern für Teilwörter einer festen Länge b > 1. einziger Unterschied: an den Blättern des Huffman-Baumes stehen Wörter der Länge b. So etwas nennt man eine Blcok-Codierung. Statt h(x) für x A festzulegen, legt man h(w) für alle Blöcke w A b fest, und erweitert dies zu einer Funktion h : (A b ) B. Codierungen Huffman-Codierung 42/44

46 Wir halten fest Das sollten Sie mitnehmen: Huffman-Codierung liefert kürzest mögliche präfixfreie Codes Algorithmus zur Bestimmung des Huffman-Baumes warum die Anführungszeichen? Das sollten Sie üben: Huffman-Codes berechnen Codierungen Huffman-Codierung 43/44

47 Zusammenfassung Zahldarstellungen Übersetzungen und Codes Huffman-Codierung Codierungen Zusammenfassung 44/44