1
2
Im ersten Schritt werden wir uns mit dem Begriff und der Definition der Information beschäftigen. Ferner werden die notwendigen math. Grundlagen zur Quellencodierung gelegt. Behandelt werden Huffman, Lempel Ziv sowie einige kryptologische Verfahren. Ziel: Sie haben die grundlegenden Verfahren und Ansätze zur Informationstheorie und Quellenkodierung verstanden und können diese anhand von Beispielrechnungen erklären und anwenden. 3
Die Quelle hat eine endliche Menge von Zeichen, z.b.: a,b,c,d. Produzieren kann die Quelle unendlich viele Zeichen dieser Menge, dabei werden die Zeichen i.d.r. unterschiedlich oft erzeugt, d.h. jedes Zeichen hat eine bestimmte Auftrittswahrscheinlichkeit Die Senke muss über den gleichen Zeichenvorrat verfügen, da ansonsten keine Interpretation der Zeichen möglich ist. Ein unbekanntes Zeichen ist irrelevant. Kommt nur ein einziges Zeichen vor ( Dauerton ), so ist dieses Zeichen redundant, da es sicher vorhersagbar ist, es enthält also keine Information. Umgekehrt lässt sich daraus schliessen, ein Zeichen, dass sehr selten auftritt, hat eine hohe Information oder anders gesagt der Informationsgehalt I eines Zeichen scheint intuitiv umgekehrt proportional seiner Auftrittswahrscheinlichkeit zu sein: I 1 P ( x i ) Der Informatinonsgehalt ist also intuitiv umgekehrt proportional der Auftritswahrscheimlichkeit. 4
5
6
7
8
9
10
11
12
13
14
15
Basis für die Definition des Entscheidungsgehalt ist die Idee der Elementarentscheidung. Eine Elementarentscheidung ist eine zweiwertige ja/nein (0/1)Entscheidung. Zwei Zeichen können mit einem Bit codiert bzw. unterschieden werden. Sind N Zeichen zu Unterscheiden, sind lbn Bit erforderlich lb: Logarithmus binär oder ld: Logarithmus dualis (Logarithmus zur Basis 2) Der Entscheidungsgehalt ist eine definierte Grösse und kann auch ungerade Werte annehmen. Der Entscheidungsgehalt von 5 Zeichen ist geringer als von 7 Zeichen obwohl zur Realisierung natürlich 3 Bit erforderlich wären. Damit wären dann aber 8 Zeichen unterscheidbar. Aus dem Grund unterscheid wir zwischen den abstrakten Informationsgrössen und den konkreten Codewortlängen L, die nur ganzzahlige Grössen annehmen können, Berechnen des lb N? x x N = 2 log N = log2 = x log2 Beispiele: log N x = = lbn log2 16
Wie bereits vorher intuitiv definiert, war der Informationsgehalt eines Zeichen umgekehrt proportional zu seiner Auftrittswahrscheinlichkeit. Da dieser Wert in notwendigen Elementarentscheidungen, also Bit, gemessen wird. ist der Lb zu berechnen Sind alle Zeichen gleich wahrscheinlich gilt ferner P(x) = 1/N und somit I = lbn was wieder dem Entscheidungsgehalt H 0 entspricht Der mittleren Informationsgehalt ist die gewichtete Summe der Informationseinheiten I i wobei x i /N der Wahrscheinlichkeit p(xi) entspricht Beispiel: Zeigen Sie, dass H(x) = H 0 = I gilt, wenn alle Zeichen gleichwahrscheinlich sind. 17
0 H(x) H 0 : Interpretation H(x) ist maximal, wenn alle Zeichen gleich wahrscheinlich sind. Dann ist H 0 = H(x) und die Redundanz der Quelle ist Null, d.h. eine Kompression kann nicht erfolgen. Je kleiner H(x) ist, um so grösser ist die Redundanz der Quelle, d.h. um so grösser ist eine mögliche Kompression Frage, wann kann die Redundanz einer Quelle gleich null werden und was bedeutet das für die Entropie? 18