Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines

Größe: px

Ab Seite anzeigen:

Download "Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines"

Roland Kraus
vor 6 Jahren
Abrufe

1 Seite 1 Georg-August-Universität Göttingen Robert Schaback Zum Begriff der Information in Mathematik und Informatik

2 Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines Ereignisses Info (immer eintretendes Ereignis) = 0 Info(e) Forderungen: Information

3 Seite 3 Gleichwahrscheinliche N Ereignisse: (ein Bit) Info(Einzelereignis) = log2 N Info (Sechs) = - log2 (1/6) = log2 6 = Würfeln: e Info (Kopf) = - log2 p (Kopf) = - log2 (½) = 1 Info(e) := - log2 p(e) eines Ereignisses Münzwurf: Beispiele: Information

4 Seite 4 Datenübertragung mit 3 Bits an Küche möglich Entropie = 3, falls alle Speisen gleich wahrscheinlich gewählt werden Beispiel: Speisekarte mit 8=23 Speisen Auf Anraten von John von Neumann nennt Shannon diese Funktion Entropie Erwartungswert der Information unter Einbeziehung aller Möglichkeiten H(E) := - i p( ei ) * log p( ei ) Informationsgehalt einer Menge E alternativer Ereignisse ei mit Wahrsch. p( ei )

5 L( ei ) c (- log2 p( ei )) ist optimal Seite 5 Informationsverlust bei Zeichenübertragung auf gestörtem Kanal Anwendung in der Nachrichtenübertragung L := Entropie-Codierung: Erwartungswert für mittlere Codelänge pro Zeichen: Entropie: L( ei ) = Länge des Codes für Ereignis ei i p( ei ) * L( ei ) H(E) := - i p( ei ) * log2 p( ei ) Häufige Zeichen kurz codieren, seltene lang codieren Anwendung in der Codierung

6 spezielle Ereignisse werden verstanden als Auftreten von Zeichen Kommunikation als Übertragung von Zeichenfolgen es gibt keine Bedeutung von Ereignissen oder Zeichenfolgen Seite 6 es geht nur um formale Ereignisse und Wahrscheinlichkeiten Eigenschaften der mathematischen Informationsdefinition:

7 Seite 7 Übergang zur Informatik Definitionen, Sätze, Beweise als Sprachsätze, die Information enthalten Information als Methode in der Mathematik Jetzt: Information als Gegenstand in der Mathematik Bisher:

8 Information Musik Bilder Seite 8 Texte Beispiele: Die Form der Nachricht ist eine Raumzeitstruktur des Signals Der Träger besteht aus einem Signal auf einem Medium Nachrichten haben Träger und Form Nachricht Interpretation Information ist das Ergebnis der Interpretation einer Nachricht Information in der Informatik

9 Information Seite 9 Beispiel: Musik Deshalb gibt es Information über Form und Inhalt einer Nachricht Interpretation kann auf Form- und Inhaltsebene geschehen Beispiel: Koalitionsvertrag, Zeitungsberichte Information hängt vom Interpretationsprozeß und dem Interpretierenden ab Information setzt Interpretation voraus Nachricht Interpretation Information ist das Ergebnis der Interpretation einer Nachricht Information in der Informatik

10 Seite 10 Eine Nachricht

11 Seite 11 H(E) := - i p( ei ) * log2 p( ei ) Information (KetteN) / N Information (KetteN) N * H(E) -log2 p(ketten) -log2 ( p( e1 )N p( e1 ) * p( e2 )N p( e2 ) * * * * * p( em )N p( em ) ) p(ketten) p( e1 )N p( e1 ) * p( e2 )N p( e2 ) * * * * * p( em )N p( em ) Lange Zeichenkette mit N Zeichen hat das Zeichen ei etwa N p( ei ) mal mit einer Wahrscheinlichkeit p( ei ) angesehen Jedes Zeichen wird als Ereignis ei Informationsgehalt einer Zeichenfolge

12 (Lao Tse) Seite 12 Es wäre kein ewiger Name. Könnten wir nennen den Namen, Es wäre kein ewiger Weg. Könnten wir weisen den Weg, Tao Te King

13 Info (e) := - log2 p( e ) Information Seite 13 Information auf vielen Ebenen: u.a. formal und inhaltlich Modell: Interpretationsprozeß als Abtastvorgang, Ergebnis = Information Nachricht Interpretation Information ist das Ergebnis der Interpretation einer Nachricht Informatik: Modell: Zufallsauswahl von Ereignissen aus einer Ereignismenge Information wird über Wahrscheinlichkeit von Ereigissen definiert Mathematik: Zusammenfassung

Ähnliche Dokumente

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1 Informationsgehalt Kapitel 4.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle Sender