Brief vom 2. Januar 1697 an den Herzog von Braunschweig-Wolfenbüttel

Transkript

1 Ich hoffe, es werden Ew. Hochfürstliche Durchlaucht in Gnaden vermerken, daß ich sowohl dem Gebrauche, als meinem Gemüths=Triebe zu Folge, bei dem eingetretenen neuen Jahre, auf dieses und viele folgende, Denenselben in beständiger Gesundheit alle selbst verlangende hohe Fürstliche Ersprießlichkeit zu gemeinem und Dero Lande besondern Besten, aus treuem Herzen anwünsche. Brief vom 2. Januar 1697 an den Herzog von Braunschweig-Wolfenbüttel GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 1 / 74

2 Ich hoffe, es werden Ew. Hochfürstliche Durchlaucht in Gnaden vermerken, daß ich sowohl dem Gebrauche, als meinem Gemüths=Triebe zu Folge, bei dem eingetretenen neuen Jahre, auf dieses und viele folgende, Denenselben in beständiger Gesundheit alle selbst verlangende hohe Fürstliche Ersprießlichkeit zu gemeinem und Dero Lande besondern Besten, aus treuem Herzen anwünsche. Brief vom 2. Januar 1697 an den Herzog von Braunschweig-Wolfenbüttel von Gottfried Wilhelm Leibniz ( ) Philosoph, Mathematiker, Physiker, Bibliothekar,... GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 1 / 74

3 Grundbegriffe der Informatik Einheit 8: Codierungen Thomas Worsch KIT, Institut für Theoretische Informatik Wintersemester 2015/2016 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 2 / 74

4 Von Wörtern zu Zahlen und zurück Von einem Alphabet zum anderen Huffman-Codierung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 3 / 74

5 Wo sind wir? Von Wörtern zu Zahlen und zurück Dezimaldarstellung von Zahlen Andere Zahldarstellungen Von Zahlen zu ihren Darstellungen Von einem Alphabet zum anderen Huffman-Codierung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 4 / 74

6 Dezimaldarstellung von Zahlen Ziffern des Alphabetes Z 10 = {0,..., 9}. Bedeutung einzelner Ziffer x als Zahl num 10 (x): x num 10 (x) null eins zwei acht neun GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 5 / 74

7 Dezimaldarstellung von Zahlen Ziffern des Alphabetes Z 10 = {0,..., 9}. Bedeutung einzelner Ziffer x als Zahl num 10 (x): x num 10 (x) Bedeutung einer Ziffernfolge x k 1 x 0 Z 10 Num 10 : Z 10 N 0 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 5 / 74

8 Dezimaldarstellung von Zahlen Ziffern des Alphabetes Z 10 = {0,..., 9}. Bedeutung einzelner Ziffer x als Zahl num 10 (x): x num 10 (x) Bedeutung einer Ziffernfolge x k 1 x 0 Z 10 Num 10 (x k 1 x 1 x 0 ) Num 10 : Z 10 N 0 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 5 / 74

9 Dezimaldarstellung von Zahlen Ziffern des Alphabetes Z 10 = {0,..., 9}. Bedeutung einzelner Ziffer x als Zahl num 10 (x): x num 10 (x) Bedeutung einer Ziffernfolge x k 1 x 0 Z 10 Num 10 : Z 10 N 0 Num 10 (x k 1 x 1 x 0 ) = 10 k 1 num 10 (x k 1 ) num 10 (x 1 ) num 10 (x 0 ) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 5 / 74

10 Dezimaldarstellung von Zahlen Ziffern des Alphabetes Z 10 = {0,..., 9}. Bedeutung einzelner Ziffer x als Zahl num 10 (x): x num 10 (x) Bedeutung einer Ziffernfolge x k 1 x 0 Z 10 Num 10 : Z 10 N 0 Num 10 (x k 1 x 1 x 0 ) = 10 k 1 num 10 (x k 1 ) num 10 (x 1 ) num 10 (x 0 ) = 10 ( 10 k 2 num 10 (x k 1 ) num 10 (x 1 ) ) + num 10 (x 0 ) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 5 / 74

11 Dezimaldarstellung von Zahlen Ziffern des Alphabetes Z 10 = {0,..., 9}. Bedeutung einzelner Ziffer x als Zahl num 10 (x): x num 10 (x) Bedeutung einer Ziffernfolge x k 1 x 0 Z 10 Num 10 : Z 10 N 0 Num 10 (x k 1 x 1 x 0 ) = 10 k 1 num 10 (x k 1 ) num 10 (x 1 ) num 10 (x 0 ) = 10 ( 10 k 2 num 10 (x k 1 ) num 10 (x 1 ) ) + num 10 (x 0 ) = 10 Num 10 (x k 1 x 1 ) + num 10 (x 0 ) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 5 / 74

12 Dezimaldarstellung von Zahlen Ziffern des Alphabetes Z 10 = {0,..., 9}. Bedeutung einzelner Ziffer x als Zahl num 10 (x): x num 10 (x) Bedeutung einer Ziffernfolge x k 1 x 0 Z 10 Num 10 : Z10 N 0 Num 10 (ε) = 0 für jedes w Z10, für jedes x Z 10: Num 10 (wx) = 10 Num 10 (w) + num 10 (x) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 5 / 74

13 Induktive Definitionen über die Wortlänge Abbildungen z. B. der Form f : A M definiere induktiv für jede Wortlänge n N 0 f (v) für jedes v A n Definitionsanfang : Wortlänge n = 0 definiere f (ε) Definitionsschritt : für jede Wortlänge n von n nach n + 1 für jedes v A n+1 definiere f (v) und benutze dabei schon f (w) für w A n jedes v A n+1 ist von der Form wx (bzw. xw) für w A n und x A GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 6 / 74

14 Wo sind wir? Von Wörtern zu Zahlen und zurück Dezimaldarstellung von Zahlen Andere Zahldarstellungen Von Zahlen zu ihren Darstellungen Von einem Alphabet zum anderen Huffman-Codierung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 7 / 74

15 Gottfried Wilhelm Leibniz: zwei Ziffern reichen aus! geboren 1. Juli 1646 in Leipzig gestorben am 14. November 1716 in Hannover baute erste Maschine, die zwei Zahlen multiplizieren konnte Beobachtung mit nur zwei Ziffern 0 und 1 kann man alle nichtnegativen Zahlen darstellen und vernünftig rechnen Bildquelle GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 8 / 74

16 Binärdarstellung von Zahlen Stellenwertsystem zur Basis 2 Ziffernmenge Z 2 = {0, 1} definiere: num 2 (0) = 0 und num 2 (1) = 1 und Num 2 (ε) = 0 für jedes w Z 2, für jedes x Z 2: Num 2 (wx) = 2 Num 2 (w) + num 2 (x) Num 2 (1101) = 2 Num 2 (110) + 1 = 2 (2 Num 2 (11) + 0) + 1 = 2 (2 (2 Num 2 (1) + 1) + 0) + 1 = 2 (2 (2 (2 Num 2 (ε) + 1) + 1) + 0) + 1 = 2 (2 (2 ( ) + 1) + 0) + 1 = = 13 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 9 / 74

17 Binärdarstellung von Zahlen Stellenwertsystem zur Basis 2 Ziffernmenge Z 2 = {0, 1} definiere: num 2 (0) = 0 und num 2 (1) = 1 und Num 2 (ε) = 0 für jedes w Z 2, für jedes x Z 2: Num 2 (wx) = 2 Num 2 (w) + num 2 (x) Num 2 (1101) = 2 Num 2 (110) + 1 = 2 (2 Num 2 (11) + 0) + 1 = 2 (2 (2 Num 2 (1) + 1) + 0) + 1 = 2 (2 (2 (2 Num 2 (ε) + 1) + 1) + 0) + 1 = 2 (2 (2 ( ) + 1) + 0) + 1 = = 13 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 9 / 74

18 Binärdarstellung von Zahlen Stellenwertsystem zur Basis 2 Ziffernmenge Z 2 = {0, 1} definiere: num 2 (0) = 0 und num 2 (1) = 1 und Num 2 (ε) = 0 für jedes w Z 2, für jedes x Z 2: Num 2 (wx) = 2 Num 2 (w) + num 2 (x) Num 2 (1101) = 2 Num 2 (110) + 1 = 2 (2 Num 2 (11) + 0) + 1 = 2 (2 (2 Num 2 (1) + 1) + 0) + 1 = 2 (2 (2 (2 Num 2 (ε) + 1) + 1) + 0) + 1 = 2 (2 (2 ( ) + 1) + 0) + 1 = = 13 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 9 / 74

19 Hexadezimaldarstellung oder Sedezimaldarstellung Ziffern Z 16 = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F}. x num 16 (x) x 8 9 A B C D E F num 16 (x) Zuordnung von Wörtern zu Zahlen gegeben durch Num 16 (ε) = 0 für jedes w Z 16, für jedes x Z 16: Num 16 (wx) = 16 Num 16 (w) + num 16 (x) Num 16 (20A) = = 522 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 10 / 74

20 Hexadezimaldarstellung oder Sedezimaldarstellung Ziffern Z 16 = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F}. x num 16 (x) x 8 9 A B C D E F num 16 (x) Zuordnung von Wörtern zu Zahlen gegeben durch Num 16 (ε) = 0 für jedes w Z 16, für jedes x Z 16: Num 16 (wx) = 16 Num 16 (w) + num 16 (x) Num 16 (20A) = = 522 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 10 / 74

21 Hexadezimaldarstellung oder Sedezimaldarstellung Ziffern Z 16 = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9, A, B, C, D, E, F}. x num 16 (x) x 8 9 A B C D E F num 16 (x) Zuordnung von Wörtern zu Zahlen gegeben durch Num 16 (ε) = 0 für jedes w Z 16, für jedes x Z 16: Num 16 (wx) = 16 Num 16 (w) + num 16 (x) Num 16 (20A) = = 522 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 10 / 74

22 Ein kleines Problem die Alphabete Z 2, Z 3, usw. sind nicht disjunkt Darstellungen mehrdeutig Num 2 (111) Num 8 (111) Num 10 (111) Num 16 (111) die Zahl sieben die Zahl dreiundsiebzig die Zahl einhundertelf die Zahl zweihundertdreiundsiebzig in manchen Programmiersprachen Präfix 0b für Darstellungen zur Basis 2 Präfix 0o für Darstellungen zur Basis 8 Präfix 0x für Darstellungen zur Basis 16 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 11 / 74

23 Wo sind wir? Von Wörtern zu Zahlen und zurück Dezimaldarstellung von Zahlen Andere Zahldarstellungen Von Zahlen zu ihren Darstellungen Von einem Alphabet zum anderen Huffman-Codierung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 12 / 74

24 Noch offene Frage: Ist jede Zahl darstellbar? eben: zu jedem Wort dargestellte Zahl definierbar (und berechenbar ) nun: zu jeder Zahl eine Darstellung definierbar (und berechenbar ) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 13 / 74

25 k-äre Darstellung von Zahlen Es sei k N 0 mit k 2. Alphabet Z k mit k Ziffern Bedeutung: die Zahlen in Z k für i Z k sei repr k (i) das entsprechende Zeichen repr k ist also gerade die Umkehrfunktion zu num k gesehen Num k : Z k N 0 gesucht Repr k : N 0 Z k Repräsentation von n N 0 als w Z k mit Num k (w) = n für die naheliegende Definition von Num k Redeweisen binäre Darstellung falls k = 2 ternäre Darstellung falls k = 3 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 14 / 74

26 Operationen div und mod es sei x N 0 und y N + x mod y Rest der ganzzahligen Division von x durch y 0 x mod y < y x div y Ergebnis der ganzzahligen Division von x durch y für jedes x N 0 und jedes y N + gilt x = y (x div y) + (x mod y) Beispiele 6 div 2 = 3 und 6 mod 2 = 0 7 div 2 = 3 und 7 mod 2 = 1 8 div 2 = 4 und 8 mod 2 = 0 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 15 / 74

27 k-äre Darstellung von Zahlen (2) Es sei k N 0 und k 2. Repr k : N 0 Z k n repr k (n) Repr k (n div k) repr k (n mod k) falls n < k falls n k kann man auch so schreiben n Repr k (n div k) repr k (n mod k) Repr k (n div k) repr k (n mod k) falls n < k falls n k Ist das eine Definition? GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 16 / 74

28 Die Definition von Repr k ist sinnvoll. (1) Repr k : N 0 Z k n repr k (n) Repr k (n div k) repr k (n mod k) falls n < k falls n k Behauptung: Für jedes n N 0 ist Repr k (n) definiert. GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 17 / 74

29 Die Definition von Repr k ist sinnvoll. (1) Repr k : N 0 Z k n repr k (n) Repr k (n div k) repr k (n mod k) falls n < k falls n k Behauptung: Für jedes n N 0 ist Repr k (n) definiert. Behauptung: Für jedes m N + gilt: Für jedes n N 0 mit n < k m ist Repr k (n) definiert. Beweis durch vollständige Induktion GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 17 / 74

30 Die Definition von Repr k ist sinnvoll. (2) Repr k (n) = repr k (n) Repr k (n div k) repr k (n mod k) falls n < k falls n k Behauptung: Für jedes m N + gilt: Für jedes n N 0 mit n < k m ist Repr k (n) definiert. Ind.anfang: m = 1, also n < k: Ind.Schritt: sei m N + und gelte: Ind.vor. für jedes n N 0 mit n < k m ist Repr k (n) definiert. zeige: für jedes n N 0 mit n < k m+1 ist Repr k (n) definiert. falls sogar n < k m : wegen I.V. falls k m n < k m+1 : dann n div k < k m (k 2!), also nach I.V. Repr k (n div k) definiert, also auch Repr k (n) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 18 / 74

31 Num k ist linksinvers zu Repr k (1) Lemma. Für jedes n N 0 ist Num k (Repr k (n)) = n umgekehrt im allgemeinen Repr k (Num k (w)) w weil überflüssige führende Nullen wegfallen. Beweis: ähnliche vollständige Induktion wie eben GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 19 / 74

32 Num k ist linksinvers zu Repr k (2) Lemma. Für jedes n N 0 ist Num k (Repr k (n)) = n. Ind.anfang: für jedes n N 0 mit n < k: Ind.schritt: Es sei m N +. Unter der Ind.vor.: für jedes n N 0 mit n < k m ist Num k (Repr k (n)) = n zeige: für jedes n N 0 mit n < k m+1 ist Num k (Repr k (n)) = n. falls sogar n < k m : wegen I.V. falls k m n < k m+1 : dann n div k < k m, also nach I.V. Num k (Repr k (n div k)) = n div k, also auch Num k (Repr k (n)) = Num k (Repr k (k(n div k) + (n mod k))) nach I.V. = Num k (Repr k (n div k) repr k (n mod k)) = k Num k (Repr k (n div k)) + num k (repr k (n mod k)) = k(n div k) + (n mod k) = n GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 20 / 74

33 Num k ist linksinvers zu Repr k (2) Lemma. Für jedes n N 0 ist Num k (Repr k (n)) = n. Ind.anfang: für jedes n N 0 mit n < k: Ind.schritt: Es sei m N +. Unter der Ind.vor.: für jedes n N 0 mit n < k m ist Num k (Repr k (n)) = n zeige: für jedes n N 0 mit n < k m+1 ist Num k (Repr k (n)) = n. falls sogar n < k m : wegen I.V. falls k m n < k m+1 : dann n div k < k m, also nach I.V. Num k (Repr k (n div k)) = n div k, also auch Num k (Repr k (n)) = Num k (Repr k (k(n div k) + (n mod k))) nach I.V. = Num k (Repr k (n div k) repr k (n mod k)) = k Num k (Repr k (n div k)) + num k (repr k (n mod k)) = k(n div k) + (n mod k) = n GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 20 / 74

34 Num k ist linksinvers zu Repr k (2) Lemma. Für jedes n N 0 ist Num k (Repr k (n)) = n. Ind.anfang: für jedes n N 0 mit n < k: Ind.schritt: Es sei m N +. Unter der Ind.vor.: für jedes n N 0 mit n < k m ist Num k (Repr k (n)) = n zeige: für jedes n N 0 mit n < k m+1 ist Num k (Repr k (n)) = n. falls sogar n < k m : wegen I.V. falls k m n < k m+1 : dann n div k < k m, also nach I.V. Num k (Repr k (n div k)) = n div k, also auch Num k (Repr k (n)) = Num k (Repr k (k(n div k) + (n mod k))) nach I.V. = Num k (Repr k (n div k) repr k (n mod k)) = k Num k (Repr k (n div k)) + num k (repr k (n mod k)) = k(n div k) + (n mod k) = n GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 20 / 74

35 Num k ist linksinvers zu Repr k (2) Lemma. Für jedes n N 0 ist Num k (Repr k (n)) = n. Ind.anfang: für jedes n N 0 mit n < k: Ind.schritt: Es sei m N +. Unter der Ind.vor.: für jedes n N 0 mit n < k m ist Num k (Repr k (n)) = n zeige: für jedes n N 0 mit n < k m+1 ist Num k (Repr k (n)) = n. falls sogar n < k m : wegen I.V. falls k m n < k m+1 : dann n div k < k m, also nach I.V. Num k (Repr k (n div k)) = n div k, also auch Num k (Repr k (n)) = Num k (Repr k (k(n div k) + (n mod k))) nach I.V. = Num k (Repr k (n div k) repr k (n mod k)) = k Num k (Repr k (n div k)) + num k (repr k (n mod k)) = k(n div k) + (n mod k) = n GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 20 / 74

36 Num k ist linksinvers zu Repr k (2) Lemma. Für jedes n N 0 ist Num k (Repr k (n)) = n. Ind.anfang: für jedes n N 0 mit n < k: Ind.schritt: Es sei m N +. Unter der Ind.vor.: für jedes n N 0 mit n < k m ist Num k (Repr k (n)) = n zeige: für jedes n N 0 mit n < k m+1 ist Num k (Repr k (n)) = n. falls sogar n < k m : wegen I.V. falls k m n < k m+1 : dann n div k < k m, also nach I.V. Num k (Repr k (n div k)) = n div k, also auch Num k (Repr k (n)) = Num k (Repr k (k(n div k) + (n mod k))) nach I.V. = Num k (Repr k (n div k) repr k (n mod k)) = k Num k (Repr k (n div k)) + num k (repr k (n mod k)) = k(n div k) + (n mod k) = n GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 20 / 74

37 Num k ist linksinvers zu Repr k (2) Lemma. Für jedes n N 0 ist Num k (Repr k (n)) = n. Ind.anfang: für jedes n N 0 mit n < k: Ind.schritt: Es sei m N +. Unter der Ind.vor.: für jedes n N 0 mit n < k m ist Num k (Repr k (n)) = n zeige: für jedes n N 0 mit n < k m+1 ist Num k (Repr k (n)) = n. falls sogar n < k m : wegen I.V. falls k m n < k m+1 : dann n div k < k m, also nach I.V. Num k (Repr k (n div k)) = n div k, also auch Num k (Repr k (n)) = Num k (Repr k (k(n div k) + (n mod k))) nach I.V. = Num k (Repr k (n div k) repr k (n mod k)) = k Num k (Repr k (n div k)) + num k (repr k (n mod k)) = k(n div k) + (n mod k) = n GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 20 / 74

38 Unübliche Methode für negative Zahlen mit der Ziffer meins Ziffernmenge Z = { 1, 0, 1} definiere num : Z Z definiere Num : Z Z wie üblich : Num(ε) = 0 w Z x Z : Num(wx) = 3 Num(w) + num(x) dann z. B. Num( 01) = = 8 Num(1 01) = = GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 21 / 74

39 Unübliche Methode für negative Zahlen Negation und Addition/Subtraktion sind ganz einfach definere inv : Z Z inv(1) =, inv( ) = 1 und inv(0) = 0. inv(ε) = ε und für jedes w Z : für jedes x Z : inv(wx) = inv(w)inv(x) also z. B. inv(1 01) = dann gilt für alle w Z : Num(inv(w)) = Num(w). 1 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 22 / 74

40 Rechnen in Z k (1) Es sei k N 0 mit k 2. binäre Operationen auf Z k ; für jedes x,y Z k sei x + k y = (x + y) mod k x k y = (x y) mod k üblicherweise schreibt man + statt + k (und statt k ) Lemma. Für jedes x,y N 0 ist (x ± y) mod k = (x mod k) ± k (y mod k). Beweis: sei x = kq x + r x und y = kq y + r y mit r x, r y Z k : (x ± y) mod k = (kq x ± kq y + r x ± r y ) mod k = (r x ± r y ) mod k = r x ± k r y GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 23 / 74

41 Rechnen in Z k (2) graphisch: Zahlen als Pfeile kreisförmige Darstellung von Z Addition x + k y Pfeile für x und y hintereinander setzen (Anfang an Spitze) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 24 / 74

42 Rechnen in Z k (2) graphisch: Zahlen als Pfeile kreisförmige Darstellung von Z = Addition x + k y Pfeile für x und y hintereinander setzen (Anfang an Spitze) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 24 / 74

43 Rechnen in Z k (2) graphisch: Zahlen als Pfeile kreisförmige Darstellung von Z = 1 Addition x + k y Pfeile für x und y hintereinander setzen (Anfang an Spitze) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 24 / 74

44 Rechnen in Z k (2) graphisch: Zahlen als Pfeile kreisförmige Darstellung von Z = 13 Addition x + k y Pfeile für x und y hintereinander setzen (Anfang an Spitze) Subtraktion x k y: Pfeile für x und y nebeneinander setzen (Spitze an Spitze) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 24 / 74

45 Zahldarstellungen mit beschränkter fester Länge in Rechnern üblich Mima benutzt 24 Bits (siehe Kapitel 10) Länge l N +, l 2 (zu) einfache Idee: bin l : Z 2 l {0, 1} l bin l (n) = 0 l Repr 2 (n) Repr 2 (n) bin l (n) = l und Num 2 (bin l (n)) = n GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 25 / 74

46 Negative Zahlen Pfeile in die entgegengesetzte Richtung kreisförmige Darstellung von Z GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 26 / 74

47 Negative Zahlen Pfeile in die entgegengesetzte Richtung kreisförmige Darstellung von K 4 (Definition gleich) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 26 / 74

48 Negative Zahlen Pfeile in die entgegengesetzte Richtung kreisförmige Darstellung von K 4 (Definition gleich) = Addition x + y (und auch Subtraktion) analog zum Fall Z k GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 26 / 74

49 Negative Zahlen Pfeile in die entgegengesetzte Richtung kreisförmige Darstellung von K 4 (Definition gleich) = 1 Addition x + y (und auch Subtraktion) analog zum Fall Z k GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 26 / 74

50 Negative Zahlen Pfeile in die entgegengesetzte Richtung kreisförmige Darstellung von K 4 (Definition gleich) = 1 Addition x + y (und auch Subtraktion) analog zum Fall Z k GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 26 / 74

51 Darstellung auch negativer Zahlen Z 16 in Binärdarstellung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 27 / 74

52 Darstellung auch negativer Zahlen K 4 in Zweierkomplementdarstellung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 27 / 74

53 Zweierkomplement-Darstellung für negative und nichtnegative Zahlen für die Zahlen in K l = {x Z 2 l 1 x 2 l 1 1} K 2 = { 2, 1, 0, 1} K 8 = { 128, 127,..., 1, 0, 1,..., 127} Zkpl l : K l {0, 1} l äquivalent Zkpl l (x) = 0bin l 1 (x) falls x 0 1bin l 1 (2 l 1 + x) falls x < 0 Zkpl l (x) = bin l (x) falls x 0 bin l (2 l + x) falls x < 0 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 28 / 74

54 Das ist wichtig Das sollten Sie mitnehmen: Umwandlungen zwischen Zahlen und Wörtern schon Leibniz kannte die Binärdarstellung Zweierkomplement-Darstellung Das sollten Sie üben: selber Zahlen verschieden repräsentieren Definitionen auch in Randfällen ausprobieren GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 29 / 74

55 Von Wörtern zu Zahlen und zurück Von einem Alphabet zum anderen Huffman-Codierung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 30 / 74

56 Wo sind wir? Von Wörtern zu Zahlen und zurück Von einem Alphabet zum anderen Übersetzung von Zahldarstellungen Homomorphismen Beispiel Unicode: UTF-8 Huffman-Codierung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 31 / 74

57 Von Hexadezimal- zu Binärdarstellung betrachte Trans 2,16 : Z 16 Z 2 mit Trans 2,16 (w) = Repr 2 (Num 16 (w)) Beispiel Trans 2,16 (A3) = Repr 2 (Num 16 (A3)) = Repr 2 (163) = wesentlicher Punkt: A3 und haben die gleiche Bedeutung nämlich die Zahl einhundertdreiundsechzig So etwas wollen wir eine Übersetzung nennen. GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 32 / 74

58 Übersetzungen bedeutungserhaltende Abbildungen von Wörtern auf Wörter Wörter aus Sprache L A A haben meist Bedeutung. Menge Sem von Bedeutungen Zahlen Ausführungen von Java-Programmen... GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 33 / 74

59 Übersetzungen bedeutungserhaltende Abbildungen von Wörtern auf Wörter Wörter aus Sprache L A A haben meist Bedeutung. Menge Sem von Bedeutungen Zahlen Ausführungen von Java-Programmen... Gegeben: Alphabete A und B L A A und L B B Abbildungen sem A : L A Sem und sem B : L B Sem f : L A L B heiße eine Übersetzung wenn für jedes w L A : sem A (w) = sem B (f (w)) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 33 / 74

60 Trans 2,16 eine Übersetzung Trans 2,16 = Repr 2 Num 16. einfacher Fall: L A = A = Z 2 und L B = B = Z 16. Bedeutungsfunktionen: sem A = Num 16 und sem B = Num 2 Nachrechnen, dass Trans 2,16 eine Übersetzung ist: sem B (f (w)) = Num 2 (Trans 2,16 (w)) = Num 2 (Repr 2 (Num 16 (w))) = Num 16 (w) = sem A (w) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 34 / 74

61 Wozu Übersetzungen GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 35 / 74

62 Wozu Übersetzungen Legalität: nur bestimmter Zeichensatz erlaubt Lesbarkeit: vergleiche A3 mit Verschlüsselung: nicht verbesserte Lesbarkeit, sondern gar keine Lesbarkeit... für Außenstehende siehe Vorlesungen über Kryptographie Kompression: Übersetzungen können kürzer sein und zwar ohne größeres Alphabet in diesem Kapitel: Huffman-Codes Fehlererkennung und Fehlerkorrektur: durch Übersetzung Text länger so, dass u. U. Fehlererkennung oder gar Fehlerkorrektur möglich siehe Vorlesungen über Codierungstheorie GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 35 / 74

63 Codierungen injektive Übersetzungen sem A (w) = sem B (f (w)) manchmal kein Problem Verschlüsselung, manche Kompressionsverfahren wenn f injektiv von f (x) eindeutig zurück zu x dann sem B definierbar durch sem B (f (x)) = sem A (x) Codierung: Übersetzung mit injektivem f Codewörter: die f (w) Code: {f (w) w L A } GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 36 / 74

64 Wie spezizifiziert man eine Übersetzung? wenn L A unendlich kann man nicht alle Möglichkeiten aufzählen... Auswege: Homomorphismen Block-Codierungen GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 37 / 74

65 Wo sind wir? Von Wörtern zu Zahlen und zurück Von einem Alphabet zum anderen Übersetzung von Zahldarstellungen Homomorphismen Beispiel Unicode: UTF-8 Huffman-Codierung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 38 / 74

66 Homomorphismen mit Konkatenation verträgliche Abbildungen gegeben Abbildung h : A B für Alphabete A und B h Homomorphismus, falls für jedes w 1,w 2 A gilt: h(w 1 w 2 ) = h(w 1 )h(w 2 ). Beispiel: es sei h(a) = 10 und h(b) = 001 dann h(bab) = h(ba) h(b) = h(b) h(a) h(b) = Homomorphismus ε-frei, wenn für jedes x A : h(x) ε. GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 39 / 74

67 Homomorphismen lassen das leere Wort unverändert Homomorphismus h : A B, also für jedes w 1,w 2 A : kurze Überlegung h(ε) = h(εε) = h(ε)h(ε) also h(ε) = h(ε) + h(ε) also h(ε) = 0 also h(ε) = ε h(w 1 w 2 ) = h(w 1 )h(w 2 ). GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 40 / 74

68 Homomorphismen die Bilder einzelner Symbole legen alles fest Lemma. Es seien A und B Alphabete und h : A B und д : A B Homomorphismen. Wenn für jedes x A gilt, dass h(x) = д(x) ist, dann gilt für jedes w A, dass h(w) = д(w) ist. Beweis durch vollständige Induktion über die Wortlänge Induktionsanfang: w = ε h(ε) = ε = д(ε) Induktionsschritt: Es seien w A und x A und es gelte die Induktionsvoraussetzung h(w) = д(w). GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 41 / 74

69 Homomorphismen die Bilder einzelner Symbole legen alles fest (2) Induktionsschritt: Es seien w A und x A und es gelte die Induktionsvoraussetzung h(w) = д(w). dann gilt auch h(wx) = h(w)h(x) da h Homomorphismus = д(w)h(x) Induktionsvoraussetzung = д(w)д(x) Voraussetzung des Lemmas = д(wx) da д Homomorphismus GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 42 / 74

70 Homomorphismen so legen die Bilder einzelner Symbole alles fest Es seien A und B Alphabete und f : A B. definiere f : A B vermöge f (ε) = ε für jedes w A, für jedes x A : f (wx) = f (w) f (x) Lemma. f ist ein Homomorphismus. Beweis durch vollständige Induktion... f heißt der durch f induzierte Homomorphismus GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 43 / 74

71 Präfixfreie Codes gegeben Homomorphismus h : A B Frage: Ist h Codierung, also injektiv? im allgemeinen nicht ganz einfach zu sehen einfacher Spezialfall: h ist präfixfrei Das bedeutet: für keine zwei verschiedene Symbole x 1, x 2 A gilt: h(x 1 ) ist ein Präfix von h(x 2 ). gleich: präfixfreie Codes sind injektiv GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 44 / 74

72 Präfixfreie Codes: Decodierung Problem: nicht alle w B sind Codewort d. h. h ist im allgemeinen nicht surjektiv damit Decodierung u trotzdem total definiere u : B (A { }). wenn w B nicht Codewort, dann soll in u(w) das Symbol vorkommen lies: undefiniert Beispiel Homomorphismus h : {a, b, c} {0, 1} mit h(a) = 1, h(b) = 01, h(c) = 001 (präfixfrei) u : {0, 1} {a, b, c, } es soll gelten: u(001) = c u(0101) = bb u(0) = o. ä. GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 45 / 74

73 Präfixfreie Codes: Decodierung (2) wir schreiben mal hin (und diskutieren das anschließend): ε, falls w = ε au(w ), falls w = 1w u(w) = bu(w ), falls w = 01w cu(w ), falls w = 001w, sonst sei w = = h(acb); wir rechnen: u(100101) = au(00101) = acu(01) = acbu(ε) = acb GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 46 / 74

74 Präfixfreie Codes: Decodierung (3) ε falls w = ε au(w ) falls w = 1w u(w) = bu(w ) falls w = 01w cu(w ) falls w = 001w sonst u(100101) = au(00101) = acu(01) = acbu(ε) = acb Warum hat das geklappt? GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 47 / 74

75 Präfixfreie Codes: Decodierung (3) ε falls w = ε au(w ) falls w = 1w u(w) = bu(w ) falls w = 01w cu(w ) falls w = 001w sonst u(100101) = au(00101) = acu(01) = acbu(ε) = acb Warum hat das geklappt? In jedem Schritt war klar, welche Zeile der Definition von u anzuwenden war... GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 47 / 74

76 Präfixfreie Codes: Decodierung (4) Man spricht hier von Wohldefiniertheit Problem, wenn Funktionswert potenziell auf mehreren Wegen festgelegt dann klar machen: entweder nur ein Weg gangbar oder auf allen Wegen gleicher Funktionswert präfixfreien Code kann man so decodieren: ε u(w) = x u(w ) falls w = ε falls w = h(x)w für ein x A sonst so einfach geht das nur für präfixfreie Codes GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 48 / 74

77 Wo sind wir? Von Wörtern zu Zahlen und zurück Von einem Alphabet zum anderen Übersetzung von Zahldarstellungen Homomorphismen Beispiel Unicode: UTF-8 Huffman-Codierung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 49 / 74

78 UTF-8 Codierung von Unicode ein Homomorphismus Codierung einzelner Zeichen: kommt gleich Wörter werden zeichenweise codiert. UTF-8 ist präfixfrei GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 50 / 74

79 UTF-8 Auszug aus RFC 3629 Char. number range (hexadecimal) UTF-8 octet sequence F 0xxxxxxx FF 110xxxxx 10xxxxxx FFFF 1110xxxx 10xxxxxx 10xxxxxx FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx präfixfrei Determine the number of octets required... Prepare the high-order bits of the octets... Fill in the bits marked x... Start by putting the lowest-order bit of the character number in the lowest-order position of the last octet of the sequence, then... When last octet filled in, move on to the next to last octet,... GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 51 / 74

80 Beispiel: UTF-8 Codierung des Integralzeichens Unicode Codepoint 0x222B benutze also die Zeile Char. number range UTF-8 octet seq FFFF 1110xxxx 10xxxxxx 10xxxxxx 0x222B in Bits also = also UTF-8 Codierung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 52 / 74

81 Das ist wichtig Das sollten Sie mitnehmen: Übersetzungen sind in verschiedenen Situationen nützlich Homomorphismen Codes UTF-8 Das sollten Sie üben: Homomorphismen anwenden Decodieren Zeichen in UTF-8 codieren GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 53 / 74

82 Von Wörtern zu Zahlen und zurück Von einem Alphabet zum anderen Huffman-Codierung GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 54 / 74

83 Huffman-Codierung ein Überblick gegeben: Alphabet A und Wort w A Eigenschaften der zu w gehörigen Huffman-Codierung eine Abbildung h : A Z 2, ε-freier Homomorphismus h typischerweise auf w angewendet Bestandteil z. B. von Kompressionsverfahren gzip, bzip2 bei Huffman-Codierungen werden häufigere Symbole durch kürzere Wörter codiert und seltenere Symbole durch längere GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 55 / 74

84 Wo sind wir? Von Wörtern zu Zahlen und zurück Von einem Alphabet zum anderen Huffman-Codierung Algorithmus zur Berechnung von Huffman-Codes Weiteres zu Huffman-Codes GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 56 / 74

85 Voraussetzungen Gegeben w A und die Anzahlen N x (w) der Vorkommen aller x A in w o. B. d. A. alle N x (w) > 0 Bestimmung eines Huffman-Codes in zwei Phasen 1. Konstruktion eines Baumes Blätter entsprechen den x A und Kanten mit 0 und 1 beschriftet 2. Ablesen der Codes aus dem Baum (Pfadbeschriftungen) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 57 / 74

86 Algorithmus für Huffman-Codes Beispiel: w = afebfecaffdeddccefbeff Baum am Ende: ,e 0 1 2,a 2,b Homomorphismus (präfixfrei!) ,f 0 1 3,c 3,d x a b c d e f h(x) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 58 / 74

87 Konstruktion des Huffman-Baumes (1) zu jedem Zeitpunkt Menge M i zu betrachtender Symbolmengen mit ihren Häufigkeiten ebenso große Menge schon konstruierter Teilbäume Initialisierung: M 0 ist die Menge aller {(N x (w), {x})} für x A, Als Anfang für die Konstruktion des Baumes zeichnet man für jedes Symbol einen Knoten mit Markierung (N x (w), {x}). Beispiel M 0 = { (2, {a}), (2, {b}), (3, {c}), (3, {d}), (5, {e}), (7, {f}) } GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 59 / 74

88 Konstruktion des Huffman-Baumes (2) Anfang im Beispiel: 2,a 2,b 5,e 3,c 3,d 7,f GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 60 / 74

89 Konstruktion des Huffman-Baumes (3) Iterationsschritt des Algorithmus: Solange M i noch mindestens zwei Elemente enthält, bestimme M i+1 wie folgt: wähle Paare (k 1, X 1 ) und (k 2, X 2 ) mit kleinsten Häufigkeiten ersetze diese Paare durch (k 1 + k 2, X 1 X 2 ) M i+1 = M i { (k 1, X 1 ), (k 2, X 2 ) } { (k 1 + k 2, X 1 X 2 ) } im Graphen neuer Knoten markiert mit Häufigkeit k 1 + k 2 und Kanten zu den Knoten für (k 1, X 1 ) und (k 2, X 2 ) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 61 / 74

90 Konstruktion des Huffman-Baumes (4) Beispiel M 0 = { (2, {a}), (2, {b}), (3, {c}), (3, {d}), (5, {e}), (7, {f}) } 2,a 2,b 5,e 3,c 3,d 7,f GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 62 / 74

91 Konstruktion des Huffman-Baumes (4) Beispiel M 1 = { (4, {a, b}), (3, {c}), (3, {d}), (5, {e}), (7, {f}) } 4 5,e 7,f 2,a 2,b 3,c 3,d GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 63 / 74

92 Konstruktion des Huffman-Baumes (5) Beispiel M 2 = { (4, {a, b}), (6, {c, d}), (5, {e}), (7, {f}) } 4 5,e 6 7,f 2,a 2,b 3,c 3,d GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 64 / 74

93 Konstruktion des Huffman-Baumes (6) Beispiel M 3 = { (9, {a, b, e}), (6, {c, d}), (7, {f}) } 9 4 5,e 6 7,f 2,a 2,b 3,c 3,d GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 65 / 74

94 Konstruktion des Huffman-Baumes (7) Beispiel M 4 = { (9, {a, b, e}), (13, {c, d, f}) } ,e 6 7,f 2,a 2,b 3,c 3,d GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 66 / 74

95 Konstruktion des Huffman-Baumes (8) Beispiel M 5 = { (22, {a, b, c, d, e, f}) } ,e 6 7,f 2,a 2,b 3,c 3,d GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 67 / 74

96 Beschriftung der Kanten ,e 0 1 2,a 2,b ,f 0 1 3,c 3,d nach links führende Kanten mit 0 beschriftet nach rechts führende Kanten mit 1 beschriftet GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 68 / 74

97 Beschriftung der Kanten ,e 0 1 2,a 2,b ,f 0 1 3,c 3,d nach links führende Kanten mit 0 beschriftet nach rechts führende Kanten mit 1 beschriftet GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 68 / 74

98 Ablesen der Codierungen ,e 0 1 2,a 2,b ,f 0 1 3,c 3,d gehe auf kürzestem Weg von der Wurzel des Baumes zu dem Blatt für x konkateniere der Reihe nach alle Symbole an den Kanten auf diesem Weg h(d) = 101 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 69 / 74

99 Algorithmus für Huffman-Codes Beispiel: w = afebfecaffdeddccefbeff Baum am Ende: ,e 0 1 2,a 2,b Homomorphismus (präfixfrei!) ,f 0 1 3,c 3,d x a b c d e f h(x) GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 70 / 74

100 Wo sind wir? Von Wörtern zu Zahlen und zurück Von einem Alphabet zum anderen Huffman-Codierung Algorithmus zur Berechnung von Huffman-Codes Weiteres zu Huffman-Codes GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 71 / 74

101 Eigenschaften von Huffman-Codes Huffman-Code nicht eindeutig im allgemeinen mehrere Möglichkeiten, welche zwei Knoten vereinigt werden im Baum links und rechts vertauschbar aber alle sind gleich gut : Unter allen präfixfreien Codes führen Huffman-Codes zu kürzesten Codierungen des Wortes, für das die Huffman-Codierung konstruiert wurde. GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 72 / 74

102 Block-Codierungen Verallgemeinerung des obigen Verfahrens: Betrachte nicht Häufigkeiten einzelner Symbole, sondern für Teilwörter einer festen Länge b > 1. einziger Unterschied: an den Blättern des Huffman-Baumes stehen Wörter der Länge b. So etwas nennt man eine Block-Codierung. Statt h(x) für x A festzulegen, legt man h(w) für alle Blöcke w A b fest, und erweitert dies zu einer Funktion h : (A b ) B. GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 73 / 74

103 Das ist wichtig Das sollten Sie mitnehmen: Huffman-Codierung liefert kürzest mögliche präfixfreie Codes Algorithmus zur Bestimmung des Huffman-Baumes Das sollten Sie üben: Huffman-Codes berechnen GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik 74 / 74