Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1

Transkript

1 Informationsgehalt Kapitel 4.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design

2 Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle Sender Kanal Rauschen Senke Empfänger [Fig. 0] Blockdiagramm des Kommunikationsprozesses 2

3 Neben Darstellung von Zeichen: Aussage über Informationsgehalt eines Zeichens interessant Zeichen quantitativ im Vergleich zu anderen Zeichen oder im Hinblick auf technischen Darstellungsaufwand zu bewerten Ermittlung des Informationsgehalts I(x) eines Zeichens x Annahme: ein Zeichen trägt umso mehr Information, je seltener es beim Empfänger eintrifft! 3

4 Beispiele: Kartenspiel mit 32 Karten [Fig. 1] p() = 8/32 = 1/4 p() = 1/4 p()= 1/4 p()= 1/4 As p( As ) = 4/32 = 1/8 kein As p( kein As ) = 28/32 = 7/8 Also: Informationsgehalt I(x) eines Zeichens x steigt mit abnehmender Auftrittswahrscheinlichkeit p(x) dieses Zeichens 4

5 Voraussetzung: Beobachtete Zeichen voneinander unabhängig Definition: Informationsgehalt eines Zeichens x 1 I( x) ld ld p( x) p( x) Einheit, wie beim Binärsignal bereits eingeführt: bit 1 bit entspricht der elementaren Entscheidung zwischen zwei gleichwahrscheinlichen Möglichkeiten p(x) = 0,5 Frage? Ja Nein 5

6 Beispiele: Kartenspiel mit 32 Karten gleich- bzw. ungleichwahrscheinliche Symbole p() =1/4 p() = 1/4 I() = 2 bit I() = 2 bit p()= 1/4 I()= 2 bit p()= 1/4 I()= 2 bit p( As ) = 1/8 p( kein As ) = 7/8 As kein As I( As ) = 3 bit I( kein As ) = 0,2 bit Informationsgehalt in bit: Anzahl elementarer Ja/Nein-Fragen (beide Antworten mit gleicher Wahrscheinlichkeit), mit denen das Zeichen codiert werden kann. Für p(x) > 0,5 ist I(x) < 1 bit 6

7 Definition: Informationsgehalt eines Zeichens x Informationsgehalt I(x) in bits I( x ) ld 1 p( x ) 7 Wahrscheinlichkeit p(x)

8 Betrachtung nichtgleichwahrscheinlicher Zeichen: Frage: -Informationsgehalt eines Zeichens in einer Zeichenfolge Für Alphabet mit N Zeichen gilt: N i 1 p 1 x i In einer Zeichenfolge mit L Zeichen ist die zu erwartende Häufigkeit eines speziellen Zeichens x i : L p x i 8

9 4 Kartendecks. Aus jedem Deck wird eine Karte gezogen 2 Quellen geben uns Informationen darüber, welche Karten gezogen wurden als Zeichenfolgen mit L=4 Zeichen ihres Alphabets. [Fig. 1] Quelle 1 Alphabet: {,,,} Quelle 2 Alphabet: { As, kein As } erwartete Häufigkeiten : 4 1 : 4 1 : 4 1 : 4 1 erwartete Häufigkeiten As : 4 0,5 kein As : 4 3,5 Welche Quelle liefert uns mehr Information? 9

10 Alle beobachteten Zeichen des Typs x i liefern insgesamt den Informationsgehalt L p x Ix L px i i i ld 1 p x i zu erwartende Häufigkeit Informationsgehalt des Zeichens Wenn alle N Zeichen des Alphabets zusammen betrachtet werden, ist der Informationsgehalt der Quelle: Man nennt Entropie der Quelle N i 1 p Weitere quantitative informationstheoretische Betrachtungen moderne Informationstheorie (C. Shannon) x i ld 1 p x i 10

11 Welche Quelle liefert uns mehr Information? Quelle 1 [Fig. 1] Alphabet: {,,,} Entropie Η Quelle 2 Alphabet: { As, kein As } Entropie Η 3 0,2, 11

12 Abbildungsverzeichnis [Fig. 0] Claude Shannon Von DobriZheglov, Wikimedia Commons, lizensiert durch CC BY SA 4.0, URL: [Fig. 1] Playing cards. Von Christian Gidlöf, Public Domain, URL: 12