Seite 1 Georg-August-Universität Göttingen Robert Schaback Zum Begriff der Information in Mathematik und Informatik
Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines Ereignisses Info (immer eintretendes Ereignis) = 0 Info(e) Forderungen: Information
Seite 3 Gleichwahrscheinliche N Ereignisse: (ein Bit) Info(Einzelereignis) = log2 N Info (Sechs) = - log2 (1/6) = log2 6 = 2.585 Würfeln: e Info (Kopf) = - log2 p (Kopf) = - log2 (½) = 1 Info(e) := - log2 p(e) eines Ereignisses Münzwurf: Beispiele: Information
Seite 4 Datenübertragung mit 3 Bits an Küche möglich Entropie = 3, falls alle Speisen gleich wahrscheinlich gewählt werden Beispiel: Speisekarte mit 8=23 Speisen Auf Anraten von John von Neumann nennt Shannon diese Funktion Entropie Erwartungswert der Information unter Einbeziehung aller Möglichkeiten H(E) := - i p( ei ) * log p( ei ) Informationsgehalt einer Menge E alternativer Ereignisse ei mit Wahrsch. p( ei )
L( ei ) c (- log2 p( ei )) ist optimal Seite 5 Informationsverlust bei Zeichenübertragung auf gestörtem Kanal Anwendung in der Nachrichtenübertragung L := Entropie-Codierung: Erwartungswert für mittlere Codelänge pro Zeichen: Entropie: L( ei ) = Länge des Codes für Ereignis ei i p( ei ) * L( ei ) H(E) := - i p( ei ) * log2 p( ei ) Häufige Zeichen kurz codieren, seltene lang codieren Anwendung in der Codierung
spezielle Ereignisse werden verstanden als Auftreten von Zeichen Kommunikation als Übertragung von Zeichenfolgen es gibt keine Bedeutung von Ereignissen oder Zeichenfolgen Seite 6 es geht nur um formale Ereignisse und Wahrscheinlichkeiten Eigenschaften der mathematischen Informationsdefinition:
Seite 7 Übergang zur Informatik Definitionen, Sätze, Beweise als Sprachsätze, die Information enthalten Information als Methode in der Mathematik Jetzt: Information als Gegenstand in der Mathematik Bisher:
Information Musik Bilder Seite 8 Texte Beispiele: Die Form der Nachricht ist eine Raumzeitstruktur des Signals Der Träger besteht aus einem Signal auf einem Medium Nachrichten haben Träger und Form Nachricht Interpretation Information ist das Ergebnis der Interpretation einer Nachricht Information in der Informatik
Information Seite 9 Beispiel: Musik Deshalb gibt es Information über Form und Inhalt einer Nachricht Interpretation kann auf Form- und Inhaltsebene geschehen Beispiel: Koalitionsvertrag, Zeitungsberichte Information hängt vom Interpretationsprozeß und dem Interpretierenden ab Information setzt Interpretation voraus Nachricht Interpretation Information ist das Ergebnis der Interpretation einer Nachricht Information in der Informatik
Seite 10 Eine Nachricht
Seite 11 H(E) := - i p( ei ) * log2 p( ei ) Information (KetteN) / N Information (KetteN) N * H(E) -log2 p(ketten) -log2 ( p( e1 )N p( e1 ) * p( e2 )N p( e2 ) * * * * * p( em )N p( em ) ) p(ketten) p( e1 )N p( e1 ) * p( e2 )N p( e2 ) * * * * * p( em )N p( em ) Lange Zeichenkette mit N Zeichen hat das Zeichen ei etwa N p( ei ) mal mit einer Wahrscheinlichkeit p( ei ) angesehen Jedes Zeichen wird als Ereignis ei Informationsgehalt einer Zeichenfolge
(Lao Tse) Seite 12 Es wäre kein ewiger Name. Könnten wir nennen den Namen, Es wäre kein ewiger Weg. Könnten wir weisen den Weg, Tao Te King
Info (e) := - log2 p( e ) Information Seite 13 Information auf vielen Ebenen: u.a. formal und inhaltlich Modell: Interpretationsprozeß als Abtastvorgang, Ergebnis = Information Nachricht Interpretation Information ist das Ergebnis der Interpretation einer Nachricht Informatik: Modell: Zufallsauswahl von Ereignissen aus einer Ereignismenge Information wird über Wahrscheinlichkeit von Ereigissen definiert Mathematik: Zusammenfassung