Information Modellierung Shannon Fano Praxis. Entropie. Ingo Blechschmidt, Michael Hartmann. 15. November 2006

Transkript

1 Information Modellierung Shannon Fano Praxis Ingo Blechschmidt, Michael Hartmann 15. November 2006

2 Information Modellierung Shannon Fano Praxis Inhalt 1 Information Definition Informationsebenen 2 Mathematische Modellierung Beispiel: Nachricht Beispiel: LAPLACEscher Münzwurf Beispiel: Gezinkter Münzwurf Beispiel: Musikstücke 3 Shannon Fano-Kodierung Grundideen Algorithmus Beispiel 4 in der Praxis Anwendungen Nachteile

3 Information Modellierung Shannon Fano Praxis Definition Informationsebenen Mögliche Definitionen Information (v. lat.: informare ˆ= bilden, eine Form geben): Muster von Materie oder Energieformen Beseitigung von Ungewissheit

4 Information Modellierung Shannon Fano Praxis Definition Informationsebenen Informationsebenen 1 Codierung 2 Syntax 3 Semantik 4 Pragmatik

5 Information Modellierung Shannon Fano Praxis Definition Informationsebenen Codierung Codierung Vorschrift, mit der Informationen zur Übertragung umgewandelt werden kann. Beispiele: Sprache Schrift Brailleschrift Flaggenalphabet Morsezeichen

6 Information Modellierung Shannon Fano Praxis Definition Informationsebenen Syntax Syntax Information als bloße Struktur, ohne Sinn. Inhalt oder Bedeutung der Information sind irrelevant. Beispiele: Übertragung von Webseiten auf einen Computer Übertragung von Bildern einer Überwachungskamera Übertragung von Tönen beim Telefonieren

7 Information Modellierung Shannon Fano Praxis Definition Informationsebenen Semantik Semantik Interpretierte, sinnbehaftete Information 1gh Allgemeine Formel für den Flächeninhalt 2 eines Dreiecks S. 251/29 Aufgabe 29 im Stochastik-Buch auf Seite vier Personen im Raum; vier Stunden lange Klausur (kontextabhängige Interpretation)

8 Information Modellierung Shannon Fano Praxis Definition Informationsebenen Pragmatik Pragmatik Effektiver Informationsgehalt einer Information Beispiele: 1 Situation: Person will gerade das Haus verlassen Es ist kalt. Informationsgewinn (warme Kleidung anziehen) 2 Situation: Person wartet frierend auf den Bus Es ist kalt. kein Informationsgewinn

9 Information Modellierung Shannon Fano Praxis Nachrichten Münzwurf Gezinkter Münzwurf Musik Modellierung nach Shannon Informationsgehalt eines Zeichens I(x) := log 2 P(x); [1 bit] : Zu erwartender Informationsgehalt E(I) := x Σ P(x) I(x); x: ein bestimmtes Zeichen Σ: Menge aller vorkommenden Zeichen P(x): Wahrscheinlichkeit des Auftretens von x

10 Information Modellierung Shannon Fano Praxis Nachrichten Münzwurf Gezinkter Münzwurf Musik Eigenschaften der Je seltener ein Zeichen, desto höher der Informationsgehalt Spezialfall bei gleicher Häufigkeit aller Zeichen: P(x 1 ) = P(x 2 ) = = P(x n ); I(x 1 ) = I(x 2 ) = = I(x n ) = log 2 P(x n ); }{{} E(I)= log 2 P(x n); Beispiel: M = abcdabcdabcd; P(x n ) = 1 4 ; E(I) = log = 2 bit; Maximale bei Σ = 2 n, n N: E(I) = log n = n bit;

11 Information Modellierung Shannon Fano Praxis Nachrichten Münzwurf Gezinkter Münzwurf Musik Beispiel: Nachricht Definitionen I(x) := log 2 P(x); E(I) := x Σ P(x) I(x); M = (i, n, f, o, r, m, a, t, i, o, n) ; Σ = {i, n, f, o, r, m, a, t} ; I(f ) = I(r) = I(m) = I(a) = I(t) = 1 log 2 11 I(o) = I(i) = I(n) = 2 log 2 11 E(I) ,46 bit + 3 2,46 bit 2,91 bit; ,46 bit; 2,46 bit;

12 Information Modellierung Shannon Fano Praxis Nachrichten Münzwurf Gezinkter Münzwurf Musik Beispiel: LAPLACEscher Münzwurf Definitionen I(x) := log 2 P(x); E(I) := x Σ P(x) I(x); Σ = {Kopf, Zahl} ; P(Kopf) = P(Zahl) = 1 2 ; I(Kopf) = I(Zahl) = log = 1 bit; E(I) = 1 2 I(Kopf) I(Zahl) = = 1 1 bit bit = 1 bit; 2 2

13 Information Modellierung Shannon Fano Praxis Nachrichten Münzwurf Gezinkter Münzwurf Musik Beispiel: Gezinkter Münzwurf Definitionen I(x) := log 2 P(x); E(I) := x Σ P(x) I(x); Σ = {Kopf, Zahl} ; P(Kopf) = p = 1 P(Zahl); I(Kopf) = log 2 p; I(Zahl) = log 2 (1 p) ; E(I) = p I(Kopf) + (1 p) I(Zahl) = = p [ log 2 p] + (1 p) [ log 2 (1 p)] ;

14

15 Information Modellierung Shannon Fano Praxis Nachrichten Münzwurf Gezinkter Münzwurf Musik Beispiel: von Musikstücken Mozart, Bach: Klassische Komponisten Harmonienlehre, Akkorde, Intervalle etc. Schönberg (20. Jhd.): Zwölftonmusik Wiederholung bestimmter zwölf Töne auf verschiedene Arten subjektiv wirr, chaotisch von Zwölftonstücken höher als bei Mozart und Bach! Kritik am Verfahren: (Viel zu) kleiner Korpus, willkürliche Kodierung der Musik zu Buchstaben

16

17

18

19 Information Modellierung Shannon Fano Praxis Grundideen Algorithmus Beispiel Shannon Fano-Kodierung Shannon Fano-Kodierung kodierung ( Kompressionsverfahren ) Darstellung häufiger Zeichen durch kurze Bitfolgen; Darstellung seltener Zeichen durch lange Bitfolgen Eindeutigkeit der Bitfolgen ( Präfixfreiheit ) Problembeispiel: A 10 B 01 C 0 } ABC nicht eindeutig ACA 10010

20 Information Modellierung Shannon Fano Praxis Grundideen Algorithmus Beispiel Algorithmus 1 Sortierung der Zeichen nach rel. Häufigkeit 2 Einteilung der Zeichen in zwei Gruppen, sodass Summen der Häufigkeiten etwa gleich 3 So lange fortfahren, bis Entsprechung jedes Zeichens durch einen Pfad im Baum

21 Information Modellierung Shannon Fano Praxis Grundideen Algorithmus Beispiel Beispiel Text (39 Zeichen): ABADDCCAABABEDAECBDDDAAAABAAAABBCAECECE Zeichen A B C D E Abs. Häufigkeit

22 Information Modellierung Shannon Fano Praxis Grundideen Algorithmus Beispiel Beispiel Original (117 bit; 0,82 bit): Komprimiert (89 bit; 0,99 bit (!!)): Zeichen A B C D E Abs. Häufigkeit Benötigte Bits Bit 0 1 Abs. Häufigkeit A 000 B 001 C 010 D 011 E 100 Zeichen A B C D E Abs. Häufigkeit Benötigte Bits Bit 0 1 Abs. Häufigkeit A 11 B 10 C 01 D 001 E 000

23 Information Modellierung Shannon Fano Praxis Anwendungen Nachteile Anwendung des konzepts Maß für die untere Schranke verlustfreier Kompression Maß für die Zufälligkeit von Information (Zufallsgeneratoren) Maß für Chaos (hohe ˆ= hohe Überraschung) Charakteristika für Autoren (nvergleiche Schlüsse auf Autoren)

24 Information Modellierung Shannon Fano Praxis Anwendungen Nachteile Nachteile Keine Beachtung der Reihenfolge: n von und gleich! (mögliche) Lösung: Algorithmische Information Länge des kürzesten Beschreibung in einer bestimmten Sprache Analyse nur auf syntaktischer Ebene (mögliche) Lösung: Memetik: Übertragung der Prinzipien der Evolutionstheorien auf Gedanken ( Mutation, Viren)

25 Bildnachweis Bildnachweis http: // braillegoogle.gif