Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch

Transkript

1 Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch

2 . Thema Informationstheorie geht zurück auf Claude Shannon The Mathematical Theory of Communication beschäftigt sich mit Information Informationsübertragung Datenkompression Kodierung Claude Shannon (96 200) Quelle: -2-

3 2. Überblick Informationsübertragung Informationsquelle Informationsziel Quellenkodierung Quellendekodierung Kanalkodierung Kanaldekodierung Kanal Störung -3-

4 2. Überblick Wichtige Fragestellungen Informationsquelle Informationsziel Quellenkodierung Quellendekodierung Kanalkodierung Kanaldekodierung Was ist Information? Wie kann man Information messen? Kanal Störung -4-

5 2. Überblick Wichtige Fragestellungen Informationsquelle Informationsziel Quellenkodierung Quellendekodierung Kanalkodierung Kanaldekodierung Kanal Störung Wie können Daten komprimiert werden? Wie viel Speicher wird mindestens benötigt? Ist es möglich Daten verlustfrei zu komprimieren? -5-

6 2. Überblick Wichtige Fragestellungen Informationsquelle Informationsziel Quellenkodierung Quellendekodierung Kanalkodierung Kanaldekodierung Kanal Störung Wie können Übertragungsfehler entdeckt werden? Ist es möglich sie zu korrigieren? Wie viel Daten passen durch einen Übertragungskanal? -6-

7 3. Information Informationsübertragung Informationsquelle Informationsziel Quellenkodierung Quellendekodierung Kanalkodierung Kanaldekodierung Kanal Störung -7-

8 3. Information Das Wort Information wird in dieser Theorie in einem besonderen Sinn verwendet, der nicht mit dem gewöhnlichen Gebrauch verwechselt werden darf. Insbesondere darf Information nicht der Bedeutung gleichgesetzt werden. [...] Tatsächlich können zwei Nachrichten, von denen die eine von besonderer Bedeutung ist, während die andere bloßen Unsinn darstellt, in dem von uns gebrauchten Sinn genau die gleiche Information enthalten. Shannon & Weaver (949) -8-

9 3. Information PRÜFUNG BESTANDEN TNGDR PNASUNEBFÜE -9-

10 3. Information PRÜFUNG BESTANDEN TNGDR PNASUNEBFÜE Beide Nachrichten haben denselben Informationsgehalt! - 0 -

11 3. Information Der Shannon-Informationsgehalt Spieler A wählt eine Spielkarte Spieler B soll diese durch Ja-Nein -Fragen erraten Optimale Strategie: Herz Rot Karo Kreuz Schwarz Pik - -

12 3. Information Der Shannon-Informationsgehalt Wahrscheinlichkeit ja zu erhalten: p j = 2 Def. Informationsgehalt [bit]: h x =ld p x - 2 -

13 3. Information Der Shannon-Informationsgehalt Wahrscheinlichkeit ja zu erhalten: p j = 2 Def. Informationsgehalt [bit]: h x =ld p x h j =ld =ld 2= p j Antwort = bit 5 Antworten = 5 bit - 3 -

14 3. Information Der Shannon-Informationsgehalt Informationsgehalt einer naiven Strategie: 32 h n =ld =0,0458 bit 3 3 h 2 n =ld =0,0473 bit

15 3. Information Der Shannon-Informationsgehalt Informationsgehalt einer naiven Strategie: 6 i= hi n = bit Kein Treffer nach 6 Fragen: 6 =4 bit Treffer bei 7. Frage: h7 j =ld - 5 -

16 3. Information Der Shannon-Informationsgehalt Informationsgehalt einer naiven Strategie: 6 i= hi n = bit Kein Treffer nach 6 Fragen: 6 =4 bit Treffer bei 7. Frage: h7 j =ld Treffer bei. Frage: h j =ld 32 =5 bit - 6 -

17 3. Information Die Entropie entspricht dem durchschnittlichen ShannonInformationsgehalt: H X = x p x h x = x p x ld p x = x p x ld p x Einheit: bit - 7 -

18 3. Information Die Entropie X = {a, b, c, d} x p(x) a 0,5 b c d 0,25 0,25 0,25-8 -

19 3. Information Die Entropie X = {a, b, c, d} x p(x) a 0,5 b c d 0,25 0,25 0,25 h x =ld p x h a =ld 2= h b =ld 4=2 h c =h d =ld 8=3-9 -

20 3. Information Die Entropie X = {a, b, c, d} h x =ld p x x p(x) a 0,5 b c d 0,25 0,25 0,25 H X = x p x ld p x h a =ld 2= = h b =ld 4=2 4 = =,75 8 h c =h d =ld 8=3-20 -

21 3. Information Die Entropie Quelle:

22 3. Information Die Entropie Quelle: Quelle:

23 3. Information Die gemeinsame Entropie H(X,Y) Für unabhängige Variablen X, Y H(X) H(Y) H(X,Y) = H(X) + H(Y)

24 3. Information Die gemeinsame Entropie H(X,Y) Für abhängige Variablen X, Y H(X)

25 3. Information Die gemeinsame Entropie H(X,Y) Für abhängige Variablen X, Y H(X) H(Y)

26 3. Information Die gemeinsame Entropie H(X,Y) Für abhängige Variablen X, Y H(X) H(Y) H(X,Y) < H(X) + H(Y)

27 3. Information Die bedingte Entropie H(Y X) H(Y X) bezeichnet die Entropie von Y unter Kenntnis von X H(Y X)

28 3. Information Die gemeinsame Entropie H(X,Y) Für abhängige Variablen X, Y H(X) H(Y) H(X,Y) < H(X) + H(Y)

29 3. Information Die gemeinsame Entropie H(X,Y) Für abhängige Variablen X, Y H(X) H(Y X) H(X,Y) < H(X) + H(Y) H(X,Y) = H(X) + H(Y X) = H(Y) + H(X Y)

30 3. Information Die gemeinsame Entropie H(X,Y) Für abhängige Variablen X, Y H(X Y)? H(Y X) H(Y) H(X) H(X,Y)

31 3. Information Die wechselseitige Information I(X;Y) I(X;Y) bezeichnet die Information, die von X und Y geteilt wird H(X Y) I(X;Y) H(Y X) H(Y) H(X) H(X,Y) Maß für die Abhängigkeit der Variablen - 3 -

32 3. Information Zusammenfassung Shannon-Informationsgehalt eines Ereignisses h x =ld p x Entropie: Selbstinformation einer Variablen X H X = x p x ld p x Bedingte Entropie, Wechselseitige Information H(X Y) I(X;Y) H(Y X)

33 4. Quellenkodierung Informationsübertragung Informationsquelle Informationsziel Quellenkodierung Quellendekodierung Kanalkodierung Kanaldekodierung Kanal Störung

34 4. Quellenkodierung Quellenkodierung Ziel: Reduktion des Speicherbedarfs einer gegebenen Datenmenge Datenkompression Vorgehen: Suchen einer kompakteren Repräsentation der Daten Kodierung

35 4. Quellenkodierung Grundbegriffe Alphabet A Wörter A* Codewort c(aba) = 00 durchschnittliche Wortlänge L Redundanz Information mehrfach enthalten Weglassen ohne Informationsverlust

36 4. Quellenkodierung Verlustbehaftete Kompression Informationen weglassen, die selten auftreten... nur wenig wahrgenommen werden... irrelevant sind Daten nicht (originalgetreu) wiederherstellbar

37 4. Quellenkodierung Verlustbehaftete Kompression x p(x) X = {a, b, c, d} mögliche Darstellung: c(a) = 00 c(b) = 0 c(c) = 0 c(d) = a 0,5 b c d 0,25 0,25 0,

38 4. Quellenkodierung Verlustbehaftete Kompression x p(x) X = {a, b, c, d} mögliche Darstellung: a 0,5 b c d 0,25 0,25 0,25 komprimierte Darstellung: c(a) = 00 c(a) = 0 c(b) = 0 c(b) = c(c) = 0 c(c) = - c(d) = c(d) =

39 4. Quellenkodierung Verlustbehaftete Kompression x p(x) X = {a, b, c, d} mögliche Darstellung: a 0,5 b c d 0,25 0,25 0,25 komprimierte Darstellung: c(a) = 00 c(a) = 0 c(b) = 0 c(b) = c(c) = 0 c(c) = - c(d) = c(d) = - L = 2, δ = 0 L =, δ = 0,

40 4. Quellenkodierung Verlustbehaftete Kompression Übertragung des Durchschnitts Bildpunkte: 00% Quelle:

41 4. Quellenkodierung Verlustbehaftete Kompression Übertragung des Durchschnitts Bildpunkte: 00% % - 4 -

42 4. Quellenkodierung Verlustbehaftete Kompression Übertragung des Durchschnitts Bildpunkte: 00% % 0,25%

43 4. Quellenkodierung Verlustbehaftete Kompression Übertragung des Durchschnitts Bildpunkte: 00% % 0,25% 0,%

44 4. Quellenkodierung Verlustbehaftete Kompression Übertragung des Durchschnitts Bildpunkte: 00% % 0,25% 0,% 0,06%

45 4. Quellenkodierung Verlustbehaftete Kompression Übertragung des Durchschnitts Bildpunkte: 00% % 0,25% 0,% 0,06% 0,04%

46 4. Quellenkodierung Verlustfreie Kompression Daten weglassen, die keine weiteren Informationen enthalten... redundant sind Daten originalgetreu wiederherstellbar

47 4. Quellenkodierung Verlustfreie Kompression Ansatz: Kürzere Codewörter für häufige Zeichen

48 4. Quellenkodierung Verlustfreie Kompression Ansatz: Kürzere Codewörter für häufige Zeichen x p(x) X = {a, b, c, d} mögliche Darstellung: c(a) = 00 c(b) = 0 c(c) = 0 c(d) = a 0,5 b c d 0,25 0,25 0,

49 4. Quellenkodierung Verlustfreie Kompression Ansatz: Kürzere Codewörter für häufige Zeichen x p(x) X = {a, b, c, d} mögliche Darstellung: a 0,5 b c d 0,25 0,25 0,25 optimierte Darstellung: c(a) = 00 c(a) = 0 c(b) = 0 c(b) = 0 c(c) = 0 c(c) = 0 c(d) = c(d) =

50 4. Quellenkodierung Verlustfreie Kompression Ansatz: Kürzere Codewörter für häufige Zeichen x p(x) X = {a, b, c, d} mögliche Darstellung: a 0,5 b c d 0,25 0,25 0,25 optimierte Darstellung: c(a) = 00 c(a) = 0 c(b) = 0 c(b) = 0 c(c) = 0 c(c) = 0 c(d) = c(d) = L = 2, δ = 0 L =,75, δ =

51 4. Quellenkodierung Verlustfreie Kompression Was ist die optimale Länge eines Codewortes? Wann ist ein Code optimal? - 5 -

52 4. Quellenkodierung Verlustfreie Kompression Was ist die optimale Länge eines Codewortes? Wann ist ein Code optimal? Shannons Source Coding Theorem: H(X) L

53 4. Quellenkodierung Verlustfreie Kompression Was ist die optimale Länge eines Codewortes? Wann ist ein Code optimal? Shannons Source Coding Theorem: H(X) L < H(X)

54 4. Quellenkodierung Huffman Code x p(x) a 0,5 b c d 0,25 0,25 0,

55 4. Quellenkodierung Huffman Code x p(x) a 0,5 b c d 0,25 0,25 0,25 0,25 0,25 c 0,25 d

56 4. Quellenkodierung Huffman Code x p(x) a 0,5 b c d 0,25 0,25 0,25 0,5 0,25 0,25 b c d

57 4. Quellenkodierung Huffman Code x p(x) 0,5 a 0,5 b c d 0,25 0,25 0,25 0,5 a b c d

58 4. Quellenkodierung Huffman Code x p(x) 0 a 0,5 b c d 0,25 0,25 0,25 a 0 b 0 c d

59 4. Quellenkodierung Huffman Code x p(x) 0 a 0,5 b c d 0,25 0,25 0,25 a 0 b 0 c d Kodierung: c(a) = 0 c(b) = 0 c(c) = 0 c(d) =

60 4. Quellenkodierung Zusammenfassung verlustbehaftete Kompression Irrelevanzreduktion δ>0 verlustfreie Kompression Redundanzreduktion 0 a H(X) L < H(X) + 0 b 0 c d

61 5. Kanalkodierung Informationsübertragung Informationsquelle Informationsziel Quellenkodierung Quellendekodierung Kanalkodierung Kanaldekodierung Kanal Störung - 6 -

62 5. Kanalkodierung Fehlerhafte Übertragung Fehler entstehen durch das Kippen von Bits: 0 ( - f) 0 f ( - f) Beispiele: verrauschte Radiosignale Genmutationen der DNA ungenaues Abtasten von CDs Quelle: MacKay

63 5. Kanalkodierung Lösungsansätze physikalische Verbesserungen besseres Leitermaterial höherer Energieaufwand fehlerkorrigierende Codes Repetition Codes Hamming Codes

64 5. Kanalkodierung Repetition Codes Kodierung Mehrfachübertragungen a b c ---> >

65 5. Kanalkodierung Repetition Codes Kodierung Mehrfachübertragungen a b c ---> > Rauschen >

66 5. Kanalkodierung Repetition Codes Kodierung Mehrfachübertragungen a b c ---> > Rauschen > Dekodierung Mehrheitsentscheidung > > a b c

67 5. Kanalkodierung Repetition Codes Quelle: MacKay

68 5. Kanalkodierung Hamming Codes Kodierung a c --->

69 5. Kanalkodierung Hamming Codes Kodierung a c ---> > Paritätsbits einfügen

70 5. Kanalkodierung Hamming Codes Kodierung a c ---> > Paritätsbits einfügen 0 0 Rauschen >

71 5. Kanalkodierung Hamming Codes Kodierung a c ---> > Paritätsbits einfügen 0 Rauschen > Dekodierung Paritätsbits auswerten > > a c

72 5. Kanalkodierung Hamming Codes empfangener Code: gesandte Nachricht:?

73 5. Kanalkodierung Hamming Codes empfangener Code: gesandte Nachricht: > 0 ---> d a

74 5. Kanalkodierung Hamming Codes Quelle: MacKay

75 5. Kanalkodierung Rate Rate Repetition Code R3 = Informationsbits gesandte Bits Rate = 0,33 3 Hamming Code (7,4) 4 Rate = 0,

76 5. Kanalkodierung Rate und Fehlerwahrscheinlichkeit

77 5. Kanalkodierung Rate und Fehlerwahrscheinlichkeit

78 5. Kanalkodierung Noisy-Channel Coding Theorem Information can be communicated over a noisy channel at a non-zero rate with arbitrarily small error probability. MacKay (2003)

79 5. Kanalkodierung Noisy-Channel Coding Theorem

80 5. Kanalkodierung Noisy-Channel Coding Theorem

81 5. Kanalkodierung Noisy-Channel Coding Theorem Kapazität C maximale Übertragungsrate bei beliebig kleinem Fehler C>0 existiert für jeden Kanal - 8 -

82 5. Kanalkodierung Noisy-Channel Coding Theorem Beispiel: Festplatte mit f = 0, gewünschte Fehlerwahrscheinlichkeit pb =

83 5. Kanalkodierung Noisy-Channel Coding Theorem Beispiel: Festplatte mit f = 0, gewünschte Fehlerwahrscheinlichkeit pb = 0-5 mit Repetition Code: Quelle:

84 5. Kanalkodierung Noisy-Channel Coding Theorem Beispiel: Festplatte mit f = 0, gewünschte Fehlerwahrscheinlichkeit pb = 0-5 mit Repetition Code: Kapazität C 0,53 theoretisch möglich: Quelle:

85 5. Kanalkodierung Zusammenfassung Kanäle sind verrauscht Fehlerkorrigierende Codes Repetition Codes 0 0 Hamming Codes Noisy-Channel Coding Theorem Kapazität C

86 6. Zusammenfassung Informationsübertragung Informationsquelle Informationsziel Quellenkodierung Quellendekodierung Kanalkodierung Kanaldekodierung Kanal Störung

87 Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch