TGI-Übung 7 06.02.2014 Dirk Achenbach INSTITUT FÜR THEORETISCHE INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu
Agenda Neues aus dem Kummerkasten Lösung von Übungsblatt 7 Ganz kurz: Hamming-Codes Infos zur Klausur Dirk Achenbach TGI-Übung 4 2/31
Neues aus dem Kummerkasten Wäre es möglich die Klausuren vergangener Jahre von Herrn Müller Quade frei verfügbar zu machen. Ich würde mich sehr darüber freuen, liebe Grüße. Sind auf der Lehrstuhlwebseite. Schon immer. :) Gibt es eine Liste der Fehler im Skript, die seit der ersten Fassung berichtigt wurden? Ich habe bereits die erste Version ausgedruckt und würde gerne vermeiden, jede Seite auf Verdacht mit der aktuellen Version zu vergleichen. Leider nein. :( Dirk Achenbach TGI-Übung 4 3/31
Aufgabe 1a Ein beliebiges, unabhängiges Spielzeug (Niete) N 6 /7 Die ebenso bezaubernde wie tödliche Anaconda A 1 /14 Der pfiffige Informatikstudent Marvin Faulsson F 3 /70 Theorie-Man halb Mensch, halb Turingmaschine T 3 /140 Der ebenso geniale wie verspielte Doktor Meta M 1 /140 Bestimmen Sie die Kanalentropie H(U) und den Informationsgehalt des Symbols M. I(M) = ld 1 140 = ld 140 7,129 bit. Kanalentropie: Erwartungswert des Informationsgehalts eines Zeichens: H(U) = Σ x U p(x) ld p(x) = 0,827 bit. Dirk Achenbach TGI-Übung 4 4/31
Aufgabe 1a Ein beliebiges, unabhängiges Spielzeug (Niete) N 6 /7 Die ebenso bezaubernde wie tödliche Anaconda A 1 /14 Der pfiffige Informatikstudent Marvin Faulsson F 3 /70 Theorie-Man halb Mensch, halb Turingmaschine T 3 /140 Der ebenso geniale wie verspielte Doktor Meta M 1 /140 Bestimmen Sie die Kanalentropie H(U) und den Informationsgehalt des Symbols M. I(M) = ld 1 140 = ld 140 7,129 bit. Kanalentropie: Erwartungswert des Informationsgehalts eines Zeichens: H(U) = Σ x U p(x) ld p(x) = 0,827 bit. Dirk Achenbach TGI-Übung 4 4/31
Aufgabe 1a Ein beliebiges, unabhängiges Spielzeug (Niete) N 6 /7 Die ebenso bezaubernde wie tödliche Anaconda A 1 /14 Der pfiffige Informatikstudent Marvin Faulsson F 3 /70 Theorie-Man halb Mensch, halb Turingmaschine T 3 /140 Der ebenso geniale wie verspielte Doktor Meta M 1 /140 Bestimmen Sie die Kanalentropie H(U) und den Informationsgehalt des Symbols M. I(M) = ld 1 140 = ld 140 7,129 bit. Kanalentropie: Erwartungswert des Informationsgehalts eines Zeichens: H(U) = Σ x U p(x) ld p(x) = 0,827 bit. Dirk Achenbach TGI-Übung 4 4/31
Aufgabe 1b Ein beliebiges, unabhängiges Spielzeug (Niete) N 6 /7 Die ebenso bezaubernde wie tödliche Anaconda A 1 /14 Der pfiffige Informatikstudent Marvin Faulsson F 3 /70 Theorie-Man halb Mensch, halb Turingmaschine T 3 /140 Der ebenso geniale wie verspielte Doktor Meta M 1 /140 Dirk Achenbach TGI-Übung 4 5/31
Erstellen Sie für die gegebene Häufigkeitsverteilung einen Huffman-Code. 1.0 0 N 0 A 1 1 7 0 F 1 1 14 0 T 1 1 35 1 M Dirk Achenbach TGI-Übung 4 6/31
Aufgabe 1c Zeichen Code N 0 A 10 F 110 T 1110 M 1111 Codieren Sie den String NNNANN mit dem von Ihnen erstellten Huffman-Code. 0001000 Dirk Achenbach TGI-Übung 4 7/31
Aufgabe 1c Zeichen Code N 0 A 10 F 110 T 1110 M 1111 Codieren Sie den String NNNANN mit dem von Ihnen erstellten Huffman-Code. 0001000 Dirk Achenbach TGI-Übung 4 7/31
Aufgabe 1d Zeichen Code N 0 A 10 F 110 T 1110 M 1111 Codieren Sie den String MTMMTM mit dem von Ihnen erstellten Huffman-Code. 111111101111111111101111 Dirk Achenbach TGI-Übung 4 8/31
Aufgabe 1d Zeichen Code N 0 A 10 F 110 T 1110 M 1111 Codieren Sie den String MTMMTM mit dem von Ihnen erstellten Huffman-Code. 111111101111111111101111 Dirk Achenbach TGI-Übung 4 8/31
Wiederholung: Kolmogorov-Komplexität Es sei x ein binäres Wort. Die minimale Beschreibung d(x) von x ist die kürzeste Zeichenkette M w, für die die Turingmaschine M mit Eingabe w unter Ausgabe von x auf dem Band hält. Die Kolmogorov-Komplexität K (x) ist K (x) = d(x). Dirk Achenbach TGI-Übung 4 9/31
Aufgabe 2a Geben Sie eine möglichst gute obere Schranke für die Kolmogorov-Komplexität an, um die n-te Stelle von π auszugeben. Besser: Geben Sie eine möglichst gute obere Schranke für die Kolmogorov-Komplexität der n-ten Stelle pi an. Zwei Interpretationen: n ist fest. Sei x die n-te Stelle von π. Dann: K (x) = c. Oder: n ist frei. Wir geben ein Programm an, das x ausrechnet und übergeben n: K (x) = log n + c. Dirk Achenbach TGI-Übung 4 10/31
Aufgabe 2a Geben Sie eine möglichst gute obere Schranke für die Kolmogorov-Komplexität an, um die n-te Stelle von π auszugeben. Besser: Geben Sie eine möglichst gute obere Schranke für die Kolmogorov-Komplexität der n-ten Stelle pi an. Zwei Interpretationen: n ist fest. Sei x die n-te Stelle von π. Dann: K (x) = c. Oder: n ist frei. Wir geben ein Programm an, das x ausrechnet und übergeben n: K (x) = log n + c. Dirk Achenbach TGI-Übung 4 10/31
Aufgabe 2a Geben Sie eine möglichst gute obere Schranke für die Kolmogorov-Komplexität an, um die n-te Stelle von π auszugeben. Besser: Geben Sie eine möglichst gute obere Schranke für die Kolmogorov-Komplexität der n-ten Stelle pi an. Zwei Interpretationen: n ist fest. Sei x die n-te Stelle von π. Dann: K (x) = c. Oder: n ist frei. Wir geben ein Programm an, das x ausrechnet und übergeben n: K (x) = log n + c. Dirk Achenbach TGI-Übung 4 10/31
Aufgabe 2b Geben Sie eine möglichst gute obere Schranke für die Kolmogorov-Komplexität an, um π auf n Stellen genau auszugeben. Besser: Geben Sie eine möglichst gute obere Schranke für die Kolmogorov-Komplexität der ersten n Stellen von pi an. Wie oben: K (x) = log n + c. Dirk Achenbach TGI-Übung 4 11/31
Aufgabe 2b Geben Sie eine möglichst gute obere Schranke für die Kolmogorov-Komplexität an, um π auf n Stellen genau auszugeben. Besser: Geben Sie eine möglichst gute obere Schranke für die Kolmogorov-Komplexität der ersten n Stellen von pi an. Wie oben: K (x) = log n + c. Dirk Achenbach TGI-Übung 4 11/31
Informationsgehalt, Entropie Informationsgehalt eines Zeichens: I p = log b ( 1 p ) [= log b (p)] Die Entropie einer diskreten Zufallsvariable X ist (analog zum physikalischem Begriff) definiert durch H(X) = 1 p(x) log( p(x) ) = EI(x). x X Dirk Achenbach TGI-Übung 4 12/31
Aufgabe 3 0 X 1 0,65 0,35 0,2 0,8 0 Y 1 P[X = 0] = 1 3, P[X = 1] = 2 3. Dirk Achenbach TGI-Übung 4 13/31
Aufgabe 3a Bestimmen Sie die Entropie von X und Y. H(X) = EI(X) = Pr[X = 0] I(X = 0) + Pr[X = 1] I(X = 1) = 1 3 log 1 3 2 3 log 2 3 = 0,918 bit. Pr[Y = 0] = Pr[X = 0, Y = 0] + Pr[X = 1, Y = 0] = 1 3 0,65 + 2 3 0,2 = 0,35 Pr[Y = 1] = Pr[X = 0, Y = 1] + Pr[X = 1, Y = 1] = 1 3 0,35 + 2 3 0,8 = 0,65 H(Y ) = EI(Y ) = Pr[Y = 0] log Pr[Y = 0] P[Y = 1] log Pr[Y = 1] 0,9340 bit. Dirk Achenbach TGI-Übung 4 14/31
Aufgabe 3a Bestimmen Sie die Entropie von X und Y. H(X) = EI(X) = Pr[X = 0] I(X = 0) + Pr[X = 1] I(X = 1) = 1 3 log 1 3 2 3 log 2 3 = 0,918 bit. Pr[Y = 0] = Pr[X = 0, Y = 0] + Pr[X = 1, Y = 0] = 1 3 0,65 + 2 3 0,2 = 0,35 Pr[Y = 1] = Pr[X = 0, Y = 1] + Pr[X = 1, Y = 1] = 1 3 0,35 + 2 3 0,8 = 0,65 H(Y ) = EI(Y ) = Pr[Y = 0] log Pr[Y = 0] P[Y = 1] log Pr[Y = 1] 0,9340 bit. Dirk Achenbach TGI-Übung 4 14/31
Aufgabe 3a Bestimmen Sie die Entropie von X und Y. H(X) = EI(X) = Pr[X = 0] I(X = 0) + Pr[X = 1] I(X = 1) = 1 3 log 1 3 2 3 log 2 3 = 0,918 bit. Pr[Y = 0] = Pr[X = 0, Y = 0] + Pr[X = 1, Y = 0] = 1 3 0,65 + 2 3 0,2 = 0,35 Pr[Y = 1] = Pr[X = 0, Y = 1] + Pr[X = 1, Y = 1] = 1 3 0,35 + 2 3 0,8 = 0,65 H(Y ) = EI(Y ) = Pr[Y = 0] log Pr[Y = 0] P[Y = 1] log Pr[Y = 1] 0,9340 bit. Dirk Achenbach TGI-Übung 4 14/31
Aufgabe 3a Bestimmen Sie die Entropie von X und Y. H(X) = EI(X) = Pr[X = 0] I(X = 0) + Pr[X = 1] I(X = 1) = 1 3 log 1 3 2 3 log 2 3 = 0,918 bit. Pr[Y = 0] = Pr[X = 0, Y = 0] + Pr[X = 1, Y = 0] = 1 3 0,65 + 2 3 0,2 = 0,35 Pr[Y = 1] = Pr[X = 0, Y = 1] + Pr[X = 1, Y = 1] = 1 3 0,35 + 2 3 0,8 = 0,65 H(Y ) = EI(Y ) = Pr[Y = 0] log Pr[Y = 0] P[Y = 1] log Pr[Y = 1] 0,9340 bit. Dirk Achenbach TGI-Übung 4 14/31
Entropie Fehlinformation / Irrelevanz H(Y X) H(X) I(X;Y) H(Y ) Totalinformation H(X, Y ) = H(X) + H(Y X) H(X Y ) Äquivokation Dirk Achenbach TGI-Übung 4 15/31
Gemeinsame Entropie, bedingte Entropie Die gemeinsame Entropie der Zufallsvariablen X, Y mit der gemeinsamen Verteilung p(x, y) ist definiert durch H(X, Y ) = 1 p(x, y) log( p(x, y) ). x X y Y Die bedingte Entropie der Zufallsvariable Y in Abhängigkeit von X mit gemeinsamer Verteilung p(x, y) ist H(Y X) = x X p(x)h(y X = x) = p(x) p(y x) log(p(y x)) x X y Y = p(x, y)log(p(y x)). x X,y Y Dirk Achenbach TGI-Übung 4 16/31
Aufgabe 3 0 X 1 0,65 0,35 0,2 0,8 0 Y 1 P[X = 0] = 1 3, P[X = 1] = 2 3. Dirk Achenbach TGI-Übung 4 17/31
Aufgabe 3b Bestimmen Sie die Verbundentropie von X und Y. H(X, Y ) = Σ X Σ Y Pr[X, Y ] log Pr[X, Y ] = (Pr[X = 0, Y = 0] log Pr[X = 0, Y = 0] +...) 1,711 bit Dirk Achenbach TGI-Übung 4 18/31
Aufgabe 3b Bestimmen Sie die Verbundentropie von X und Y. H(X, Y ) = Σ X Σ Y Pr[X, Y ] log Pr[X, Y ] = (Pr[X = 0, Y = 0] log Pr[X = 0, Y = 0] +...) 1,711 bit Dirk Achenbach TGI-Übung 4 18/31
Aufgabe 3c Bestimmen Sie Irrelevanz und Äquivokation. H(Y X) = H(X, Y ) H(X) 0,793 bit. H(X Y ) = H(X, Y ) H(Y ) 0,777 bit. Bestimmen Sie die Transinformation. I(X; Y ) = H(X) H(X Y ) = H(Y ) H(Y X) 0,141 bit. Dirk Achenbach TGI-Übung 4 19/31
Aufgabe 3c Bestimmen Sie Irrelevanz und Äquivokation. H(Y X) = H(X, Y ) H(X) 0,793 bit. H(X Y ) = H(X, Y ) H(Y ) 0,777 bit. Bestimmen Sie die Transinformation. I(X; Y ) = H(X) H(X Y ) = H(Y ) H(Y X) 0,141 bit. Dirk Achenbach TGI-Übung 4 19/31
Aufgabe 3c Bestimmen Sie Irrelevanz und Äquivokation. H(Y X) = H(X, Y ) H(X) 0,793 bit. H(X Y ) = H(X, Y ) H(Y ) 0,777 bit. Bestimmen Sie die Transinformation. I(X; Y ) = H(X) H(X Y ) = H(Y ) H(Y X) 0,141 bit. Dirk Achenbach TGI-Übung 4 19/31
Aufgabe 3c Bestimmen Sie Irrelevanz und Äquivokation. H(Y X) = H(X, Y ) H(X) 0,793 bit. H(X Y ) = H(X, Y ) H(Y ) 0,777 bit. Bestimmen Sie die Transinformation. I(X; Y ) = H(X) H(X Y ) = H(Y ) H(Y X) 0,141 bit. Dirk Achenbach TGI-Übung 4 19/31
Aufabe 4 Zeigen Sie, dass p = 1 2 die Entropie einer binären Quelle H(X) mit P[X = 0] = p und P[X = 1] = 1 p maximiert. H(X) H(X) = p log p (1 p) log(1 p) Ableitungsregeln (log x) = x x Produktregel: (f g) = f g + f g Dirk Achenbach TGI-Übung 4 20/31
Aufabe 4 Zeigen Sie, dass p = 1 2 die Entropie einer binären Quelle H(X) mit P[X = 0] = p und P[X = 1] = 1 p maximiert. H(X) H(X) = p log p (1 p) log(1 p) Ableitungsregeln (log x) = x x Produktregel: (f g) = f g + f g Dirk Achenbach TGI-Übung 4 20/31
Aufgabe 4 Erste Ableitung H (X) = (p log p) ((1 p) log(1 p)) Zweite Ableitung = (log p + p 1 1 p ) ( log(1 p) p 1 p ) = (1 + log p) + log(1 p) + 1 = log(1 p) log p H (X) = 1 1 p 1 p = ( 1 p + 1 1 p ) Dirk Achenbach TGI-Übung 4 21/31
Aufgabe 4 Erste Ableitung H (X) = (p log p) ((1 p) log(1 p)) Zweite Ableitung = (log p + p 1 1 p ) ( log(1 p) p 1 p ) = (1 + log p) + log(1 p) + 1 = log(1 p) log p H (X) = 1 1 p 1 p = ( 1 p + 1 1 p ) Dirk Achenbach TGI-Übung 4 21/31
Aufgabe 4 Kurvendiskussion H (X) ist auf [0, 1] immer < 0. Maximum dort, wo H (X) = 0! Berechne: H (X) = 0 log p = log(1 p) p = 1 p 2p = 1 p = 1 2 Dirk Achenbach TGI-Übung 4 22/31
Aufgabe 5a Gegeben sei eine Informationsquelle Q über Σ = {0, 1}. Q gibt eine periodische Folge... 00100010001000100010... aus auf drei Nullen folgt also eine Eins, und so weiter. Bestimmen Sie den Informationsgehalt eines zum Zeitpunkt t ausgegebenen Zeichens X t für einen gedächtnislosen Empfänger. Empfänger Gedächtnislos: P[X = 0] = 3 4, P[X = 1] = 1 4. Damit: H(X) = 3 4 ld 4 3 + 1 4 log 4 0,811 bit. Dirk Achenbach TGI-Übung 4 23/31
Aufgabe 5a Gegeben sei eine Informationsquelle Q über Σ = {0, 1}. Q gibt eine periodische Folge... 00100010001000100010... aus auf drei Nullen folgt also eine Eins, und so weiter. Bestimmen Sie den Informationsgehalt eines zum Zeitpunkt t ausgegebenen Zeichens X t für einen gedächtnislosen Empfänger. Empfänger Gedächtnislos: P[X = 0] = 3 4, P[X = 1] = 1 4. Damit: H(X) = 3 4 ld 4 3 + 1 4 log 4 0,811 bit. Dirk Achenbach TGI-Übung 4 23/31
Aufgabe 5b Bestimmen Sie den Informationsgehalt eines zum Zeitpunkt t ausgegebenen Zeichens X t, wenn ein vorhergehendes Zeichen X t 1 bekannt ist. Nun bedingte Wahrscheinlichkeiten! P[X = 0 Y = 0] = 2 3, P[X = 0 Y = 1] = 1, P[X = 1 Y = 0] = 1 3, P[X = 1 Y = 1] = 0 Damit ist auch die Entropie bedingt: H(X Y ) = Σ y Y p(y)h(x Y = y) = Σ y Y p(y)σ x X p(x y) ld p(x y) = ( 3 4 (2 3 ld 2 3 + 1 3 log 1 3 ) + (1 (0 log 0 + 1 log 1)) 4 0,688 bit Dirk Achenbach TGI-Übung 4 24/31
Ganz kurz: Hamming-Codes Gegeben sei der Hamming-Code mit 1 1 0 1 1 0 1 1 1 0 0 0 0 0 0 1 1 1 1 G := 0 1 1 1 H := 0 1 1 0 0 1 1 0 1 0 0 1 0 1 0 1 0 1 0 0 1 0 0 0 0 1 Wir wissen aus der Vorlesung Codiert wird durch G m = c. Das Syndrom ist bei fehlerfreier Übertragung null: H c = o. Dann decodiert man, indem man die Nachrichtenbits aus c extrahiert: Zeilen 3, 5, 6, 7. Dirk Achenbach TGI-Übung 4 25/31
Hamming-Codes Und wenn ein einzelner Bitfehler vorliegt? H (c + e) = H c + H e = H e. Aha! Da der Fehlervektor ein Einheitsvektor ist (ein Bitfehler!), selektiert er die Spalte aus H, die an der Stelle des Fehlers steht. Dirk Achenbach TGI-Übung 4 26/31
Zur Klausur Es gibt keine Anmeldung zum Schein. Hauptklausur findet am 21.02.14 um 8 Uhr statt. Nachklausur: 10.04.14 Nachname Hörsaal: Webseite. Klausuranmeldung bis einschließlich 14.02.14. Abholen von Übungsblättern bei uns (Raum 274, Geb. 50.34) möglich, wenn Blätter nicht zuvor im Tutorium abgeholt wurden. Es gibt ein Übungsblatt 8, keine Korrektur, aber klausurrelevant; Lösung stellen wir online. Dirk Achenbach TGI-Übung 4 27/31
Zur Klausur 60 Minuten, 60 Punkte 20 Punkte werden zum Bestehen der Klausur hinreichend sein Recherchieren Sie den Hörsaal im Vorfeld! Seien Sie pünktlich. PPPPP Proper Preparation Prevents Poor Performance. Dirk Achenbach TGI-Übung 4 28/31
Zur Klausur 60 Minuten, 60 Punkte 20 Punkte werden zum Bestehen der Klausur hinreichend sein Recherchieren Sie den Hörsaal im Vorfeld! Seien Sie pünktlich. PPPPP Proper Preparation Prevents Poor Performance. Dirk Achenbach TGI-Übung 4 28/31
Was kommt dran? Alles! Im Speziellen: Die wichtigen Maschinenmodelle und Konzepte: Kennen. Die besprochenen Verfahren: Können. Die wichtigen Definitionen und Zusammenhänge: Wissen. Übungsaufgaben: Kennen. Alte Klausuren: Üben. Dirk Achenbach TGI-Übung 4 29/31
Viel Erfolg in der Klausur! Dirk Achenbach TGI-Übung 4 30/31
Kurze Erinnerung: Anti-Prism-Party Am 12.02.2014 ab 18 Uhr: Kurzvorträge Live-Vorführungen Demos an Stationen Kryptologikum Führungszeiten für die TGI-Vorlesung: 16 Uhr und 17 Uhr. Dirk Achenbach TGI-Übung 4 31/31