Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi

Transkript

1 Informationstheorie und Codierung Prof. Dr.-Ing. Lilia Lajmi

2 Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon 2.4 Huffman-Codierung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen 2.6 Diskrete Quelle mit Gedächtnis 2

3 Aspekte der Quellencodierung Bei der Quellcodierung sind zwei Aspekte wichtig: 1. Oft treten Daten in einer Form auf, die sich nicht zur Übermittlung eignet. Diese Quelldaten müssen codiert werden, damit sie überhaupt übertragen werden können. Beispiele: o Digitalisierung von Sprache, Bildern,... o Morse-Code: a =, b =,... o ASCII-Code: a = , b = , Die Daten sollen möglichst ökonomisch übertragen werden. Dazu sollen sie so gut wie möglich (möglichst ohne Informationsverlust) komprimiert werden. Man unterscheidet hier o Verlustlose Kompressionsverfahren: Originaldaten rekonstruierbar o Verlustbehaftete Kompressionsverfahren: Originaldaten nicht mehr rekonstruierbar. Verlust kann aber je nach Kompressionsrate unbemerkt bleiben 3

4 Motivation für die Datenkompression Nicht komprimierte Datenmengen sind zu groß Speicherkapazität erhöhen o Datenaufbewahrung o Z.B. CD / DVD 700 MB / 4-7 GB Datentransport / Bandbreite von Übertragungsmedien besser nutzen o Gleichzeitige Übertragung großer Datenmengen (z.b. mehrere Sat-Kanäle über einen Transponder in DVB-S) o Schnelles Laden einzelner Dateneinheiten (VOD) o Übertragung über Kanäle: - DSL: 1-16 MBits/s - DVB: 2-8 MBit/s - GSM /UMTS/ 3G 32 kbit 42 MBit/s 4

5 Datenmenge Video von SD zu HD Farbtiefe 8 Bit SDTV: 576 Zeilen / 720 Spalten / 25 Vollbilder (50 Halbbilder pro sec) / 3 Byte pro Pixel (RGB) 576x720x25x3 MB/s Ca. 30 MB/s 3840 x Mio. Pixel 2 Mio Pixel SDTV Bild aus Wikipedia Digital TV Signal: 30 MB/s (ca. 240 MBit/s) über einen 3..8 MBit/s Kanal Kompression UHDTV 2160 Zeilen / 3840 Spalten / 120 Vollbilder / 3 Byte pro Pixel (RGB) Ca. 20 GB/s *1: Progressive Scan. Ist ein Videoaufnahmeverfahren, bei dem der Sensor alle Linien eines Bildes nacheinander erfasst *2: Interleased (interpoliert). Es werden erst alle ungeraden dann alle geraden Zeilen eines Bildes erfasst, d.h. die Aufnahme erfolgt durch zwei getrennte Halbbilder (nacheinander). Ein richtiges Vollbild ergibt sich erst nach zwei Durchgängen 5

6 Prinzipien der Kompression Nachrichten-Ebene Nachrichten-Ebene Prädiktive codierung Interessant Redundant Kompressionsgewinn = Irrelevant Stärkere Quantisierung (Bspl. JPEG) Bitrate (PCM) Bitrate nach Kompression Redundanz-Reduktion Verzicht auf mehrfach vorhandene Info (Redundanz) Nutzt Ähnlichkeit im Signal aus Alle Infos müssen eindeutig wiederherstellbar sein Verlustfrei reversible Kompressionsgewinn: 2 Prädiktion, DPCM Irrelevanz-Reduktion Verzicht auf nicht erkennbare Signalanteile (Irrelevanz) Nutzt psychovisuelle oder psychoakustische Maskierungseffekte aus Qualität der Info ist umgekehrt proportional zur Größe der Zieldatei Verlustbehaftet irreversible Kompressionsgewinn: 16 Quantisierung (angepasst an Wahrnehmungsvermögen) 6

7 Datenkompression Datenkompression Verlustlose Kompression Verlustbehaftete Kompression Huffman- Codierung Shannon- Codierung Audio- Kompression MP3 Bild- Kompression JPEG Lauflängen- Codierung (RLE) Arithmetische Codierung Video- Kompression MPEG Informationsgehalt, Entropie, Redundanz Psychoakustische und Psychovisuelle Irrelevanz 7

8 Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie Diskrete Quelle ohne Gedächtnis Nachricht / Information Nachrichtengehalt / Informationsgehalt Entropie Redundanz der Quelle Mittlere Codewortlänge Codierung nach Fano 2.3 Binärcodierung nach Shannon 2.4 Huffman-Codierung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen 2.6 Diskrete Quelle mit Gedächtnis 8

9 2.2 Shannon sche Informationstheorie Diskrete Quelle ohne Gedächtnis Eine diskrete Informationsquelle ist charakterisiert durch: Alphabet,,,, sind die möglichen Symbole der Quelle Wahrscheinlichkeitsverteilung,,, der einzelnen Symbole: 0,1 1 0 Für die Quelle wird folgende Darstellung verwendet:, Eine Nachricht der Quelle ist ein Wort mit. Diesem Wort ist folgende Wahrscheinlichkeit zuzuordnen, falls die Quelle kein Gedächtnis* hat: Bemerkung: In der Realität haben Quellen meist ein Gedächtnis, z.b. Textübertragung. Zur Vereinfachung wird Gedächtnis oft weggelassen. *Eine Quelle hat kein Gedächtnis falls die Einzelsymbole dieser Quelle statistisch unabhängig voneinander 9sind

11 2.2 Shannon sche Informationstheorie Nachricht, Information Definition der beiden Begriffe und deren Bedeutung für die Informationstheorie Einfaches Nachrichtenübertragungssystem Quelle Kanal Senke Quelle und Senke bestehen über den gleichen Symbolvorrat Nachricht Ist eine Symbolfolge aus dem Symbolvorrat der Quelle mit beliebiger Darstellung: Sprache, Bild, Symbol, Text Entsteht auf der Seite der Quelle Information Die Interpretation der Nachricht ist rein subjektiv. Nachricht kann bei verschiedenen Empfängern zu unterschiedlichen Informationen Führen Information: Entsteht also auf der Seite der Senke, wenn der Nachrichtengehalt der Senke bis dahin nicht bereits vollständig bekannt war Kenntnis der Senke wird vergrößert. Senke wertet Symbole aus und interpretiert die Nachricht 11

12 2.2 Shannon sche Informationstheorie Nachricht, Information Es entsteht auf der Senke-Seite keine Information (die Kenntnis der Senke nicht vergrößert), wenn z.b. o Die Darstellung der Nachricht der Senke völlig unbekannt ist: z.b. keine Übereinstimmung der verwendeten Symbolvorräte hier Spricht man von Irrelevanz o Nachricht aus den vorangegangenen Symbolen vorhersehbar ist hier spricht man von Redundanz Nachricht redundant nicht redundant irrelevant Verwendete Symbole sind bei Quelle und Senke verschieden relevant Vorhersage möglich Information Die Bedeutung (oder der Informationsgehalt) einer Nachricht für den Empfänger ist umso größer, je weniger die gesendete Nachricht vorhersehbar ist 12

13 2.2 Shannon sche Informationstheorie Die Informationstheorie ist älter als die Codierungstheorie o Begonnen 1928 mit Arbeiten von Hartley o Begründet 1948 von Shannon Die Informationstheorie beantwortet Fragen zu den theoretischen Grenzen von technischen Nachrichtensystemen ist wichtig für Quellencodierung (minimale mittlere Codewortlänge) und Kanalcodierung (Kanalkapazität) 13

15 2.2 Shannon sche Informationstheorie Nachrichtengehalt / Informationsgehalt Der Informationsgehalt beschreibt die Bedeutung einer Nachricht Schwerpunkt der Shannon schen Informationstheorie Wie kann man den Informationsgehalt einer Nachricht mathematisch erfassen? Quelle,.., Symbolfolge Senke Quelle sendet Symbolfolgen durch Auswahl von Elementarsymbolen Quelle hat insgesamt Symbole Darstellung binär mit Bits (hier ) z.b. Entscheidet, welches Symbol vermutlich übertragen wurde. z.b. 4 Symbole und = Nachrichtenmenge pro Symbol (hier 2 /) Mit Bits pro Symbol kann man insgesamt Symbole darstellen Entscheidungsgehalt beschreibt die Nachrichtenmenge (Nachrichtengehalt) pro Symbol 15

16 2.2 Shannon sche Informationstheorie Nachrichtengehalt / Informationsgehalt Beispiel Eine Quelle verfügt über 40 alphanumerische Symbole d.h.: 26 Buchstaben A, B, C,, Z 3 Umlaute Ä, Ö und Ü Zahlen 0, 1,, 9 1 Leerzeichen 1. Wie groß ist der Nachrichtengehalt der Quelle?, / 2. Wie viele Bits werden für eine binäre Darstellung (Codierung) benötigt? Für die binäre Darstellung sind somit jeweils 6 Bits pro Symbol notwendig. 16

17 2.2 Shannon sche Informationstheorie Nachrichtengehalt / Informationsgehalt Aufgabe 2-1 Quelle verfügt über sämtliche möglichen Symbole, die aus zweidimensionalen Bildern mit der räumlichen Auflösung von 1000x1000 Bildpunkten mit jeweils 8 Helligkeitsstufen gebildet werden. 1. Wie groß ist der Nachrichtengehalt 0 ( )? 2. Wie viele Symbole hat die Quelle (?)? Lösung 1. Ein Symbol ist ein Bild mit 1000 x 1000 Pixelpunkte. 1 Pixelpunkt wird mit 3 Bits repräsentiert (da 8 Stufen) Nachrichtengehalt 0 : Nachrichtenmenge in Bits pro Symbol (Bild) / 2. = Anzahl der möglichen Symbole mit jeweils Bits 2 2 mögliche Symbole 18

18 2.2 Shannon sche Informationstheorie Nachrichtengehalt / Informationsgehalt Der Nachrichtengehalt oder Entscheidungsgehalt beschreibt die Nachrichtenmenge eines Symbols und berücksichtigt aber noch nicht die Tatsache, dass die Quelle Symbole mit unterschiedlicher Wahrscheinlichkeiten auswählt. Der Informationsgehalt eines Symbols ist aber abhängig von der Auftrittswahrscheinlichkeit dieses Symbols in der Quelle. Je unwahrscheinlicher ein Symbol auftritt, desto höher ist die darin enthaltene Information (antiproportional). Beispiel: Eine Quelle enthält 4 Symbole : 1, 2, 3 und 4 mit folgenden Wahrscheinlichkeiten: 1; 0 Es gibt empfängerseitig keine Information, da man vorher weiß, dass 1 übertragen werden wird. 19

19 2.2 Shannon sche Informationstheorie Nachrichtengehalt / Informationsgehalt sei eine Quelle mit den Symbolen, 1 ist die Auftrittswahrscheinlichkeit des Symbols Annahme:, Tritt ein Symbol mit geringer Wahrscheinlichkeit auf, dann gibt es mehr Information (mehr Überraschung) als bei einem Symbol mit höherer Auftrittswahrscheinlichkeit Definition nach Shannon: Bei einer diskreten Quelle ohne Gedächtnis (Symbole unabhängig voneinander) ist der Informationsgehalt, der durch das mit der Wahrscheinlichkeit 0 eingetretene Symbol geliefert wird, definiert durch: 20

20 2.2 Shannon sche Informationstheorie Nachrichtengehalt / Informationsgehalt Schlussfolgerungen Ein Symbol, das immer auftritt (Wahrscheinlichkeit 1100%) liefert keine Information Ein Symbol, das auftritt, obwohl es die Wahrscheinlichkeit 0 hat, liefert unendliche Information (ist eine Sensation) Bei zwei unabhängigen aufeinanderfolgenden Ereignissen und gilt,,, 21

21 2.2 Shannon sche Informationstheorie Nachrichtengehalt / Informationsgehalt Ansätze für a. reelles nicht negatives Maß b. ist eine stetige, monoton fallende Funktion der Auftretenswahrscheinlichkeit c. Bei zwei unabhängigen aufeinanderfolgenden Ereignissen und ergibt sich der Informationsgehalt aus der Summe der Informationen der beiden Ereignissen, 22

22 2.2 Shannon sche Informationstheorie Nachrichtengehalt / Informationsgehalt Beispiel Sei eine diskrete Quelle ohne Gedächtnis mit 2 Symbolen identischer Wahrscheinlichkeiten. beschreibt die Anzahl der Bits pro Symbol = der Nachrichtengehalt Wie groß ist der Informationsgehalt eines Symbols 23

23 2.2 Shannon sche Informationstheorie Nachrichtengehalt / Informationsgehalt Beispiel Sei eine diskrete Quelle ohne Gedächtnis mit 2 Symbolen identischer Wahrscheinlichkeiten. beschreibt die Anzahl der Bits pro Symbol = der Nachrichtengehalt Wie groß ist der Informationsgehalt eines Symbols Lösung Es gilt immer: Fazit: Für Symbole gleicher Wahrscheinlichkeit gilt: Informationsmenge = Nachrichtenmenge Allgemein gilt aber: 24

25 2.2 Shannon sche Informationstheorie Die Entropie Im allgemeinen interessiert man sich in der Informationstheorie weniger für den Informationsgehalt eines einzelnen Quellensymbols, sondern für die im Mittel pro Symbol gelieferte Information (den Erwartungswert). Definition: Gegeben sei eine diskrete Quelle mit den Symbolen 1, und der dazugehörigen Wahrscheinlichkeiten 1, Die Entropie von ist der mittlere Informationsgehalt von (in bit/symbol) ist definiert durch: Bemerkung: Die Entropie ist allein von der Wahrscheinlichkeitsverteilung der Quelle abhängig und nicht vom Alphabet selbst 26

26 2.2 Shannon sche Informationstheorie Die Entropie Beispiel: 0,4 0,1 0,2 0,3 x i p i Wie groß ist die Entropie der Quelle? Antwort: Für die Entropie gilt:,,,,,,,,, / 27

27 2.2 Shannon sche Informationstheorie Die Entropie Beispiel einer binären Quelle mit den Auftritts- Eine binäre Quelle verfügt über zwei Symbole und 1 2 wahrscheinlichkeiten und 1 Für die Entropie gilt: max 2 1/ Diese Funktion nennt man die Shannon- Funktion Maximum bei 0,5: Gleiche Verteilung der Symbole. In diesem Fall gilt 28

28 2.2 Shannon sche Informationstheorie Die Entropie Beispiel: Quelle mit gleichverteilten Symbolen sei eine Quelle mit verschiedenen gleichverteilten Symbolen 1 mit den Auftrittswahrscheinlichkeiten Für die Entropie gilt: 1, 1 Für die Quelle ergibt sich für das Nachrichtengehalt: Somit gilt: Bei gleichverteilten Symbolen ist der Entscheidungsgehalt identisch mit dem mittleren Informationsgehalt (Entropie ). Damit wird gleichzeitig die maximale Entropie für alle Quellen mit verschiedenen Symbolen erreicht 29

29 2.2 Shannon sche Informationstheorie Die Entropie Maximale Entropie Gegeben sei eine diskrete Quelle mit den Symbolen,, über einem binären Alphabet und den zugehörigen Wahrscheinlichkeiten,, Unter allen Möglichkeiten zur Variation von, 1 ist die Entropie von maximal, wenn alle identisch sind, d.h. alle Symbole die gleiche Auftrittswahrscheinlichkeit haben. Diese maximale Entropie (bei festem Alphabet und insbesondere festem N) wird mit bezeichnet und heißt Entscheidungsgehalt. 30

30 2.2 Shannon sche Informationstheorie Die Entropie Minimale Entropie Gegeben sei eine diskrete Quelle mit den Symbolen,, über einem binären Alphabet und den zugehörigen Wahrscheinlichkeiten,, Unter allen Möglichkeiten zur Variation von, 1 ist die Entropie von minimal, wenn ein Extremfall mit 1und 0auftritt, d.h. es wird immer das selbe Symbol gesendet. Es gilt in diesem Fall 31

31 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie Diskrete Quelle ohne Gedächtnis Nachricht / Information Nachrichtengehalt / Informationsgehalt Entropie Redundanz der Quelle Mittlere Codewortlänge Codierung nach Fano 2.3 Binärcodierung nach Shannon 2.4 Huffman-Codierung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen 2.6 Diskrete Quelle mit Gedächtnis 32

32 2.2 Shannon sche Informationstheorie Redundanz der Quelle Die Redundanz einer Quelle stellt einen Informationsgehalt dar mit der Dimension Bit/Symbol, der von einer gegebenen Quelle aufgrund der speziellen Auftrittswahrscheinlichkeiten der Symbole nicht vollständig ausgenutzt wird : : : Redundanz der Quelle Entscheidungsgehalt Entropie der Quelle Wenn alle Symbole gleich wahrscheinlich auftreten gilt: 0 33

33 2.2 Shannon sche Informationstheorie Die Redundanz der Quelle Beispiel: 0,4 0,1 0,2 0,3 Wie groß ist die Redundanz der Quelle? Antwort : Für die Entropie gilt:, 4 2 Für die Redundanz der Quelle gilt also:, Redundanz Information 34

34 Beispiel für die Redundanz Redundanz in Texten Die folgenden Beispiele zeigen, dass die deutsche Sprache erhebliche Redundanz enthält, denn trotz der erheblichen Buchstabenvertauschungen innerhalb der Wörter bzw. Verstümmelungen kann man die Texte rekonstruieren. Gmäeß eneir Sutide eneir elgnihcesn Uvinisterät ist es nchit witihcg, in wlecehr Rneflogheie die Bstachuebn in eneim Wrot snid; das ezniige was wcthiig ist, ist dsas der estre und der leztte Bstabchue an der ritihcegn Pstoiion snid. Der Rset knan ein ttoaelr Bsinöldn sien, tedztorm knan man ihn onhe Pemoblre lseen. Das ist so, wiel wir nciht jeedn Bstachuebn enzelin leesn, snderon das Wrot als gseatems. Das ghet wicklirh! 35

35 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie Diskrete Quelle ohne Gedächtnis Nachricht / Information Nachrichtengehalt / Informationsgehalt Entropie Redundanz der Quelle und des Codes Mittlere Codewortlänge Codierung nach Fano 2.3 Binärcodierung nach Shannon 2.4 Huffman-Codierung 36

36 2.2 Shannon sche Informationstheorie Mittlere Codewortlänge Eine erste Zielsetzung der Informationstheorie besteht im Entwurf von günstige Codierungen für eine gegebene Quelle. Eine Quelle wird als günstig bezeichnet, wenn die resultierende mittlere Codewortlänge möglichst kurz bzw. minimal ist. Eine Quelle enthält verschiedene Symbole Jedem Quellzeichnen wird ein Binärcode zugeordnet. sei die Codewortlänge des Binärcodes für ist die Mittlere Codewortlänge der Quelle in Bit/Symbol (mathematischer erwartungswert). Es gilt: ist die entscheidende Größe zur Charakterisierung der Effektivität einer Codierung Beispiel: Der ASCII-Code ist ein Blockcode der Länge 8 37

37 2.2 Shannon sche Informationstheorie Mittlere Codewortlänge Redundanz eines Codes Die Redundanz eines Codes ist ein Maß dafür wie viele Daten über die eigentliche Information (bzw. Entropie) hinaus zu übertragen sind Die Redundanz eines Codes ( ) ergibt sich aus der Differenz zwischen mittlere Codewortlänge und Entropie der Quelle. 38

38 Aufgabe 2-2 Eine Quelle enthält 4 Symbole 1. Berechnen Sie: Den Entscheidungsgehalt Die Entropie Die Redundanz der Quelle 2. Die Quelle wird mit einer optimalen Codewortlänge codiert (die Codewortlänge soll an den Informationsgehalt angepasst werden Berechnen Sie Die Codewortlänge pro Symbol (Wie lauten die Codewörter? ) Die mittlere Codewortlänge Die Redundanz des Codes 39

40 2.2 Shannon sche Informationstheorie Codierung nach Fano Binäre Codierungen lassen sich durch Binärbäume darstellen. Jedes Codierte Symbol entspricht einem Blatt dieses Binärbaumes. Problem: Wie erstellt man einen möglichst guten Code bzw. Binärbaum? Dazu gibt es unterschiedliche Algorithmen zur Konstruktion dieser Bäume Die Fano-Codierung ist eine Möglichkeit: Relativ einfacher Ansatz für eine effektive binäre Codierung einer Quelle. 41

41 2.2 Shannon sche Informationstheorie Codierung nach Fano Zu codieren: Quelle mit Symbolen mit den Wahrscheinlichkeiten 1. Schritt Zu Codierende Symbole der Quelle werden so geordnet, dass für die Wahrscheinlichkeiten gilt: 2. Schritt Symbole werden unter Beibehaltung der Ordnung in 2 Teilmengen aufgeteilt, dass beide Teilmengen möglichst gleiche Wahrscheinlichkeit besitzen (beim ersten Durchlauf jeweils möglichst 0,5) 3. Schritt Die beiden Teilmengen werden (für jedes in der Teilmenge enthaltene Symbol) codiert mit: 0 (für die obere Hälfte) und 1 (für untere Hälfte). 4. Schritt Sind alle Teilmengen einelementig Codierung fertig. Falls nicht: Fortsetzung mit 2. Schritt für jede andere Teilmenge. 42

42 2.2 Shannon sche Informationstheorie Codierung nach Fano Beispiel: 0,4 0,1 0,2 0,3 Sortierung: A 0,4 0 0 A D 0, D C 0,2 B 0, C 111 B 43

43 2.2 Shannon sche Informationstheorie Codierung nach Fano Beispiel: 0,4 0,1 0,2 0,3 0 A Zugehöriger Baum 10 D C A B D C 0 1 B 44

44 Aufgabe 2-4 Erstellen Sie jeweils den Codebaum und Code-Tabelle. Geben Sie für jedes Symbol die Codierung an und berechnen Sie die mittlere Codewortlänge Zeigen Sie, dass es hier nach dem Fano drei unterschiedliche mögliche Codierungen gibt und dass die Fano-Codierung nicht immer optimal ist 46

45 Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon Das shannon sche Codierungstheorem Codierung nach Shannon Beispiel 2.4 Huffman-Codierung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen 2.6 Diskrete Quelle mit Gedächtnis 47

46 2.3 Binärcodierung nach Shannon Das Shannon sche Codierungstheorem Shannon fand einen Zusammenhang zur Abschätzung der mittleren Codewortlänge eines Codes für eine diskrete Quelle Satz 1: Für Jede Quelle und jede beliebige zugehörige Binärcodierung mit Präfix-Eigenschaft ist die zugehörige mittlere Codewortlänge nicht kleiner als die Entropie Es gilt also: Die Entropie gibt also nicht nur den mittleren Informationsgehalt der Quelle, sondern gleichzeitig auch den minimalen Codieraufwand für eine gegebene Quelle. Beweis des Theorems: s. Buch Rohling 48

47 2.3 Binärcodierung nach Shannon Das Shannon sche Codierungstheorem Satz 2: Für eine beliebige Quelle ohne Gedächtnis kann eine Codierung gefunden werden, so dass die mittlere Codewortlänge kleiner ist als Es gilt also: Insgesamt kann also - laut Shannon - eine binäre Codierung gefunden werden mit einer mittleren Codewortlänge, für die gilt: Beweis des Theorems: s. Buch Rohling 49

48 Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon Das Shannon sche Codierungstheorem Codierung nach Shannon Beispiel 2.4 Huffman-Codierung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen 2.6 Diskrete Quelle mit Gedächtnis 50

49 2.3 Binärcodierung nach Shannon Codierung nach Shannon Grundlagen: Binäre Darstellung von Brüchen Brüche werden durch binäre Nachkommastellen dargestellt, die den negativen Potenzen von 2 entsprechen Binär 1 0,1 0,01 0,001 Dezimal Bruch,,, Beispiel: 0,0000 0, ä ,. 51

50 2.3 Binärcodierung nach Shannon Codierung nach Shannon Beweis des Codierungstheorems durch Konstruktion des Codes. Zu Codieren ist eine Quelle mit Symbolen und zugehörigen Wahrscheinlichkeiten 1. Schritt Die Symbole der Quelle werden nach ihren Wahrscheinlichkeiten sortiert (Kleinste nach unten) 2. Schritt Die mittlere Codewortlänge wird abgeschätzt: Jedem Symbol mit Auftrittswahrscheinlichkeit wird eine Codewortlänge zugeordnet, so dass es gilt: : Informationsgehalt des Symbols Beispiel: 0,19 2,

51 2.3 Binärcodierung nach Shannon Codierung nach Shannon 3. Schritt Für jeden Index wird die akkumulierte Auftrittswahrscheinlichkeit berechnet. Also gilt: 0; ; ; Es gilt nach wie vor die Sortierung aus Schritt 1. (Aufsummieren von der Liste von oben nach unten) 54

52 2.3 Binärcodierung nach Shannon Codierung nach Shannon 4. Schritt Berechnung des Codewortes für jeden Index Durch Binärdarstellung von und weglassen aller Nachkommastellen nach Beispiel: 0,22; 0,19 3(Beispiel aus Schritt 2) Zu codieren ist 0, ,125 0,0625 0,03125 Binärdarstellung: 0,00111 Binärcode 001 Diese Binärcodierung erfüllt die Präfix-Eigenschaft und kann somit als Binärbaum dargestellt werden 55

53 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon Das Shannon sche Codierungstheorem Codierung nach Shannon Beispiel 2.4 Huffman-Codierung 56

54 2.3 Binärcodierung nach Shannon Beispiel i Binärzahl Binärcode 1 0,22 2, ,00 0, ,19 2, ,22 0, ,15 2, ,41 0, ,12 3, ,56 0, ,08 3, , ,07 3, , ,07 3, , ,06 4, , ,04 4, , Wahrscheinlichkeit höher Code kürzer & Präfix-Code 0,41 0,25 0,125 0, , ,560, , ,10001, / 57

55 2.3 Binärcodierung nach Shannon Beispiel Binärbaum Mit der Shannon-Codierung werden nicht sämtliche Endknoten innerhalb des Baumes durch gültige Codewörter belegt Die Shannon-Codierung ist offenbar nicht optimal: Möglichkeit zur Reduzierung der Codewortlänge ist unmittelbar gegeben. Für das Beispiel gilt: 9 3,17 ; H 2,703 3,54 Es gilt also 58

56 2.3 Binärcodierung nach Shannon Besonderheiten der Shannon-Codierung Die Codewortlängen können direkt aus bzw. berechnet werden Umsortieren nicht erforderlich (es wird nur am Anfang sortiert) Mittlere Codewortlänge zwar meist kleiner als bei Fano-Codierung aber keineswegs minimal Es gibt noch Verkürzungsmöglichkeit. Beispiel aus dem Kapitel Fano Codierung 0,4 0,1 0,2 0,3 : Die Fano-Codierung ergibt: Daraus ergibt sich eine mittlere Codewortlänge von 1,9 Für die Entropie gilt: H 1,8463 / Die Redundanz des Codes ist 0,0537/ 59

57 2.3 Binärcodierung nach Shannon Beispiel Beispiel aus dem Kapitel Fano Codierung 0,4 0,1 0,2 0,3 Aufgabe 2-5 Codieren Sie die Quelle mit Shannon und ermitteln Sie 1. Die mittlere Codewortlänge 2. Die Redundanz des Codes Vergleichen Sie das das Ergebnis mit dem Fano-Code 60

58 Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon 2.4 Huffman-Codierung Prinzip Algorithmus Anwendung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen 2.6 Diskrete Quelle mit Gedächtnis 61

59 2.4 Huffman-Codierung Prinzip Das letzte Beispiel der Shannon-Codierung zeigte, dass es Codes mit kürzeren mittleren Codewortlängen gibt. Huffman (1952, Schüler von Shannon) löst die Frage nach der Konstruktion eines optimalen Codes mit minimaler Codewortlänge zur Codierung einer Quelle mi Symbolen. Grundidee Alle Endknoten werden besetzt, sonst stets Verkürzungsmöglichkeiten Kurze (lange) Codeworte für häufige (seltene) Symbole Code rekursiv der Binärbaum wird von den Endknoten aus entwickelt. Problem Erkennung der Codewortgrenzen: Kein Codewort darf Anfang eines anderen Codewortes sein (Präfix freier Code) Lösung: Realisierung mit Binärbaum: Bedingung wird automatisch erfüllt, wenn Bitfolgen der Codeworte durch binären Baum gewonnen werden. 62

60 2.4 Huffman-Codierung Prinzip Beispiel: Code {00, 01, 100, 101, 11} Codebaum Präfix-freier Code: kein Codewort ist Anfang eines anderen Codewortes 1 0 Codebaum wird von Unten nach Oben aufgebaut Liefert bei statistisch unabhängigen Symbolen den (nachweisbar) kürzesten Code!

61 Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon 2.4 Huffman-Codierung Prinzip Algorithmus Anwendung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen 2.6 Diskrete Quelle mit Gedächtnis 64

62 2.4 Huffman-Codierung Algorithmus A 7 A 2 A 1 A 1 A 5 A 4 A 7 A 8 A 1 A 4 A 1 A 6... Wort aus dem Alphabet der Quelle Nein Nach Häufigkeit sortieren Häufigkeitsverteilung Reduktionsschritt Nur noch 2 Symbole Symbole der Quelle nach ihren Wahrscheinlichkeiten sortieren, kleinste nach unten Zwei Symbole mit den kleinsten Wahrscheinlichkeiten zu einem neuen Symbol (Knoten) zusammenfassen. (Neue Wahrscheinlichkeit = Summe) Code- Zuteilung A A A A A A A A A A A A A A A A A A A A A A A n Ggf. die Liste neu sortieren 65

63 2.4 Huffman-Codierung Algorithmus Code-Zuteilung nach Häufigkeit S 1 0 A A A A A A A A A A A A A A A A A A 4 A A A A A A

64 2.4 Huffman-Codierung Algorithmus Decodierer A A A A A A A A Baumrepräsentation S 1 0 A A 4 A A A Zu decodieren: A 5... A 4 Ein Symbol ist gefunden, wenn ein Blatt erreicht wurde A A 3 A

65 Beispiel ohne Huffman-Codierung A A A A A A A A Entropie der Nachrichtenquelle: pxi Ixi pxi Ixi pxi Ixi bit Entropie Binäre Codierung mit 3 Bit / Symbol: H 0 ld R H Bit H Bit 68

66 2.4 Huffman-Codierung Codewortlänge eines Symbols: Mittlere Codewortlänge: x L i 8 L p i1 x Lx 2.94 Bit i i Redundanz des Codes: R C L H 2,94 2,0411 0,8989 bit besser als binär aber trotzdem nicht optimal! Huffman-Codierung ist nur dann optimal (Redundanz=0), wenn die Codewortlänge eines Symbols gleich dem Informationsgehalt des Symbols ist. L x Ix i i 1 ld px i ld p x i A A A A A A A A

67 2.4 Huffman-Codierung Beispiel Beispiel aus den Kapiteln Fano/Shannon Codierung 0,4 0,1 0,2 0,3 Entropie 1,8463 / Fano-Codierung ergibt: 0; 10; 110; 111 o Mittlere Codewortlänge 1,9 o Redundanz des Codes ist 0,0537 / Shannon-Codierung ergibt: 00; 01; 101; 1110 o Mittlere Codewortlänge 2,4 o Redundanz des Codes ist 0,5537 / Huffman-Codierung ergibt??? 70

68 2.4 Huffman-Codierung Anwendungen Huffman-Code ist das Standard-Verfahren zur Kompression von Datenquellen mit Einzelsymbolen bekannter Wahrscheinlichkeit. Das Verfahren ist z.b. eine Basis für Datenkompression bei o ZIP o GZIP o PDF o JPEG (MPEG) o MP3 Die Huffman-Codierung wird typischerweise in Verbindung mit anderen Verfahren eingesetzt. 71

69 2.4 Huffman-Codierung Eigenschaften Die Huffman-Codierung ist in mehrfacher Hinsicht nicht eindeutig: Die Zuordnung der Symbole 0 und 1 zu den beiden Quellsymbolen ist für jeden Schritt willkürlich. Dies hat aber keinen Einfluss auf die mittlere Codewortlänge. Sind zwei Wahrscheinlichkeiten gleich (u.u auch nach Zusammenfassungen), ist die Auswahl willkürlich andere Reihenfolge Es kann also zu anderen Codewortlängen kommen, die mittlere Codewortlänge bleibt aber unverändert. Bei der Huffman-Codierung wird jedem Einzelsymbolen einer Quelle ein Binärcode zugeordnet. Die Quelle wird anhand der Auftrittswahrscheinlichkeiten der Einzelsymbole betrachtet. In der praktischen Anwendung werden von der Quelle Einzelsymbole nacheinander aus dem Symbolvorrat ausgewählt und zu Symbolketten (Wörtern) zusammengesetzt. 72

70 Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon 2.4 Huffman-Codierung Prinzip Algorithmus Anwendung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen Verbundwahrscheinlichkeit und Verbundentropie einer Quelle ohne Gedächtnis Erweiterung des Shannon she Codierungstheorem 2.6 Diskrete Quelle mit Gedächtnis 73

71 2.5 Codierung von Wörtern anstelle von Einzelsymbolen Das Shannon sche Codierungstheorem liefert eine Abschätzung für die mittlere Codewortlänge eines Codes für eine binäre Quelle ohne Gedächtnis bei der Codierung der Einzelsymbolen. Frage: Ist eine Verringerung der mittleren Codewortlänge möglich durch eine Codierung von Wörtern anstelle von Einzelsymbolen? Betrachten wir eine Quelle. Die Symbole der Quelle sind statistisch unabhängig voneinander. Codiert werden Wörter und keine Einzelsymbole. Ein Wort ist eine Symbolkette aus der Quelle. mit. Diesem Wort ist folgende Wahrscheinlichkeit zuzuordnen: 74

72 2.5 Codierung von Wörtern Verbundwahrscheinlichkeit Definition: Gegeben seien zwei diskrete Quellen,,, und,,, Die Wahrscheinlichkeit für das Auftreten des kombinierten Ereignisses (Ereignispaares) von und, heißt Verbundwahrscheinlichkeit, Wenn die Symbole unabhängig voneinander ausgewählt werden, so gilt für die Verbundwahrscheinlichkeit:, Wie groß ist dann die Verbundentropie, *, wenn die Elemente der Paare aus und unabhängig voneinander sind? Gelegentlich wird statt, auch geschrieben Eine Quelle setzt sich aus Paaren von Elementen aus den beiden Quellen und zusammen. 75

73 2.5 Codierung von Wörtern Die Verbundentropie Sei, die Verbundentropie für eine Quelle, die sich aus Paaren von und zusammensetzt. Die Elemente der Paare aus und sind unabhängig voneinander. Es gilt:,,,, 76

74 2.5 Codierung von Wörtern Die Verbundentropie Beispiel für unabhängige Quellen: ; : Mann und : Frau ; : Evangelisch und : Katholisch , , ,811 / 1,811 / Solange die Quellen unabhängig sind, kann man die Entropien addieren 77

75 2.5 Codierung von Wörtern Verbundentropie Spezialfall: Wort besteht aus M statistisch unabhängigen Einzelsymbolen einer Quelle Die Verteilung der Einzelsymbole ist identisch, d.h. In diesem Fall gilt:,,, Dieser Zusammenhang wird ausgenutzt, um den Codierungsaufwand gegenüber dem Shannon schen Codierungstheorem weiter zu reduzieren, in dem nicht Einzelsymbole sondern Symbolketten codiert werden 78

76 2.5 Codierung von Wörtern Erweiterung des Codierungstheorems Wir betrachten Symbolketten bestehend aus jeweils statistisch unabhängigen Einzelsymbolen (gleichverteilt) Symbolkette wird mit Huffman codiert,,, ist die mittlere Codewortlänge pro Symbolfolge : Codierungsaufwand pro Symbol,,, Es gilt: Die mittlere Codewortlänge der Symbolkette kann nach Shannon wie folgt abgeschätzt werden:,,,,,,,,, nähert sich der Entropie der Quelle bis auf einen beliebig kleinen Summanden / an : Symbolkette länger näher an die Entropie 79

77 2.5 Codierung von Wörtern Erweiterung des Codierungstheorems Erweiterung des Shannon schen Codierungstheorem für Quellen ohne Gedächtnis: 1 Codierung von Einzelsymbolen Codierung von Symbolketten Aufgabe 2-7 (A16 aus Übung) 0,7 0,2 0,1 1. Codieren Sie die Symbole von mit Huffman und berechnen Sie die mittlere Codewortlänge 2. Codieren Sie Symbolpaare von und bestimmen Sie die mittlere Codewortlänge pro Symbol. Vergleichen Sie beide Ergebnisse mit der Entropie der Quelle 80

78 Aufgabe 2-8 (A17 aus Übung) Gegeben ist folgende Binärsequenz: Berechnen Sie für die obige Nachricht: a. Den Entscheidungsgehalt b. Die Entropie c. Die Redundanz pro Symbol und die gesamte Redundanz der Nachricht 2. Es sind jeweils zwei benachbarte Bits zu einem Symbol zusammenzufassen. Beantworten Sie für die sich daraus ergebende Symbolfolge alle Fragen gemäß 1a-c. 3. Codieren Sie die Symbolfolge mit Shannon. Welche Redundanz ergibt sich? 4. Codieren Sie die Symbolfolge mit Huffman. Welche Redundanz ergibt sich jetzt? 81

79 Aufgabe 2-9 (A18 aus Übung) Gegeben ist folgende Nachricht: AACDABCAAADBACAC 1. Wie groß sind a. der Entscheidungsgehalt der Nachrichtenquelle, b. der Informationsgehalt der einzelnen Symbole, c. die Entropie und Redundanz der Nachricht. 2. Die Symbole sollen binär codiert und dann übertragen werden. Der Code lautet: A = 00 B = 01 C = 10 D = 11 a. Geben Sie den Informationsgehalt der binären Symbole 0 und 1 an b. Welche Redundanz ergibt sich jetzt? c. Machen Sie einen Vorschlag, wie die Redundanz durch eine optimierte Codierung verringert werden kann. 82

80 Aufgabe 2-10 (A19 aus Übung) Eine farbige Grafik besteht aus 1 Million Bildpunkten, die ROT, GRÜN, BLAU, WEISS und SCHWARZ aussehen können. Das gesamte Bild wird in 1 Sekunde übertragen. Alle genannten Farben/Helligkeiten treten in der Grafik gleich häufig auf. 1. Berechnen Sie den Entscheidungsgehalt der Quelle farbige Grafik und geben Sie den Informationsgehalt für jedes der möglichen Symbole (Farben bzw. Helligkeitswerte) an. 2. Die Zustände der Bildpunkte sollen binär codiert werden (gleiche Blockcodierung). Welcher Datenfluss ergibt sich hierbei? Welche Redundanz liegt jetzt vor? 3. Stellen Sie die Symbole mit dem Huffman-Code dar. Welche mittlere Codewortlänge ergibt sich? Welche Redundanz resultiert? 83

81 Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon 2.4 Huffman-Codierung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen 2.6 Diskrete Quelle mit Gedächtnis Verbundwahrscheinlichkeit Entropie Markow Prozesse Markow Prozesse höherer Ordnung 84

82 2.6 Diskrete Quelle mit Gedächtnis Verbundwahrscheinlichkeit Bisher wurde von einer Quelle ohne Gedächtnis ausgegangen Annahme der statistischen Unabhängigkeit der Einzelsymbole einer Quelle trifft bei vielen Anwendungen nicht zu. Z.B. Text: Bei geschriebenem Text besteht eine hohe Korrelation der Einzelsymbole Diese Abhängigkeit wird in der Informationstheorie durch eine bedingte Wahrscheinlichkeit beschrieben. Definition: Gegeben sind zwei diskrete Quellen und. Die Wahrscheinlichkeit für das Auftreten des Ereignisses unter der Voraussetzung, dass bereits eingetroffen ist, wird als bedingte Wahrscheinlichkeit bezeichnet Die Bedingte Wahrscheinlichkeit erfasst die Korrelation zwischen den Ereignissen bzw. Symbolen und. 85

83 Der Satz von Bayes einer der wichtigsten Sätze der Wahrscheinlichkeitsrechnung Der Satz von Bayes besagt, dass ein Verhältnis zwischen der bedingten Wahrscheinlichkeiten zweier Ereignisse und der umgekehrten Form besteht. Definition: Für zwei Ereignisse und, für 0, lautet der Satz von Bayes: ist die bedingte Wahrscheinlichkeit des Ereignisses A unter der Bedingung, dass B eingetreten ist. ist die bedingte Wahrscheinlichkeit des Ereignisses B unter der Bedingung, dass A eingetreten ist. ist die Wahrscheinlichkeit (Anfangswahrscheinlichkeit) für das Eintreten des Ereignisses A. ist die Wahrscheinlichkeit (Anfangswahrscheinlichkeit) für das Eintreten des Ereignisses B. Anfangswahrscheinlichkeit meint, dass ein Ereignis unabhängig von einem anderen betrachtet wird. 86

84 2.6 Diskrete Quelle mit Gedächtnis Verbundwahrscheinlichkeit Für die bedingten Wahrscheinlichkeiten gilt allgemein: und Bemerkungen: Wenn und identisch sind, ist die bedingte Wahrscheinlichkeit i.a. nicht symmetrisch: Die Verbundwahrscheinlichkeit kann in diesem Fall durch das Produkt der Auftrittswahrscheinlichkeit eines Einzelsymbols und der bedingten Wahrscheinlichkeit wie folgt beschrieben werden:, 87

85 2.6 Diskrete Quelle mit Gedächtnis Verbundwahrscheinlichkeit Eine Quelle ohne Gedächtnis ist ein Spezialfall dieser Situation. Für diese gilt: (und insbesondere ) unabhängig von unabhängig von, 88

86 Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon 2.4 Huffman-Codierung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen 2.6 Diskrete Quelle mit Gedächtnis Verbundwahrscheinlichkeit Entropie Markow Prozesse 89

87 2.6 Diskrete Quelle mit Gedächtnis Verbundentropie Gegeben seien wieder zwei diskrete Quellen mit Gedächtnis,,, und,,,. Für die Quelle kann eine Entropie berechnet werden, wenn aus der Quelle das Symbol ausgewählt worden ist. Diese Entropie wird mit bedingte Entropie der Quelle bezüglich des Einzelsymbols bezeichnet: / Für jedes aus der Quelle ausgewählte Symbol ergibt sich eine derartige bedingte Entropie der Quelle Durch Mittelung über diese bedingten Entropien (Gewichtung mit ) erhält man die bedingte Entropie der Quelle bezüglich der Quelle. 90

88 2.6 Diskrete Quelle mit Gedächtnis Verbundentropie : Bedingte Entropie der Quelle bezüglich der Quelle, Für die Verbundentropie für eine diskrete Quelle mit Gedächtnis gilt:,, Zur Erinnerung gilt für Quellen mit Gedächtnis:,, 91

89 2.6 Diskrete Quelle mit Gedächtnis Entropie Für die Verbundentropie gilt also:,,,,,,, 92

90 2.6 Diskrete Quelle mit Gedächtnis Entropie Behauptung*: Die Entropie einer Quelle ist größer oder gleich der bedingten Entropie, Die Korrelation der Symbole untereinander verringert den mittleren Informationsgehalt der Quelle. In der Quellencodierung sollten deshalb nicht Einzelsymbole, sondern Symbolketten codiert werden, um dadurch den Codieraufwand zu minimieren *Beweis s. Rohling 93

91 Zusammenfassung Optimierung der (binären) Codierung einer Quelle mit verschiedenen Symbolen unterschiedlicher Wahrscheinlichkeiten und mit Gedächtnis. 1. Schritt: Codierung aller Einzelsymbole ohne Berücksichtigung der Einzelwahrscheinlichkeiten oder des Gedächtnisses 2. Schritt: Huffman-Codierung aller Einzelsymbole mit Berücksichtigung der Einzelwahrscheinlichkeiten (N Codewörter) 94

92 Zusammenfassung 3. Schritt: Huffman-Codierung von Symbolketten der Länge, Berücksichtigung der Wahrscheinlichkeiten dieser Ketten durch Produkte der Einzelwahrscheinlichkeiten (d.h. noch Vernachlässigung des Gedächtnisses),,, sehr komplizierter Code mit Codewörtern (statt ) 4. Schritt: Huffman-Codierung jedes Einzelsymbols mit einem Code, der vom vorherigen Symbol 1abhängt und so das Gedächtnis berücksichtigt und damit den richtigen Wert für, berücksichtigt u.u deutlich kleiner als Nachteil: komplizierter Code mit Codewörtern (statt ) 95

93 Anwendung auf Texte mit deutscher Sprache 96

94 Anwendung auf Texte mit deutscher Sprache Wichtiges Beispiel für eine Quelle mit Gedächtnis: Texte 30 Symbole: 26 Buchstaben + Zwischenraum + 3 Interpunktion Entropien: 30 4,907 Bit/Symbol 4,087 Bit/Symbol, 3,26 Bit/Symbol Korrelation,, 2,883 Bit/Symbol Korrelation Ohne Berücksichtigung der Wahrscheinlichkeiten der Symbole Mit Wahrscheinlichkeit der Einzelsymbole (Markov-Quelle 0. Ordnung) von Symbolpaaren (Markov- Quelle 1. Ordnung) von Symboltripeln (Markov- Quelle 2.Ordnung) 97

95 Anwendung auf ein extremes Beispiel 98

98 Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon 2.4 Huffman-Codierung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen 2.6 Diskrete Quelle mit Gedächtnis Verbundwahrscheinlichkeit Entropie Markov Prozesse 101

99 2.6 Diskrete Quelle mit Gedächtnis Markov-Prozesse 102

100 2.6 Diskrete Quelle mit Gedächtnis Markov-Prozesse Die Situation einer Quelle mit Gedächtnis wird anschaulich häufig durch das Markov-Diagramm 1.Ordnung dargestellt. Beispiel: 3 Symbole A, B und C mit Auftrittswahrscheinlichkeiten und bedingten Wahrscheinlichkeiten. 4/5 A 1/2 1/2 1/5 A B C /2 B 2/5 C 1/10 Aufgabe: Bestimmen Sie p(a), p(b) und p(c) aus dem Markov-Diagramm,,

101 2.6 Diskrete Quelle mit Gedächtnis Markov-Prozesse Entropie: 3 Bedingte Entropie:, Verbundentropie: A B C 0,,, 1,092 / 0,, 0 1,253 / 0,931 / 2,184 / 0 104

102 2.6 Diskrete Quelle mit Gedächtnis Markov-Prozesse (höherer Ordnung) Bei Markov-Prozessen der Ordnung hängt der Informationsgehalt eines Symbols von den vorhergehenden Zuständen,,, die im Folgenden abgekürzt durch den Vektor dargestellt werden. Der bedingte Informationsgehalt für das i-te Symbol ist definiert durch: ist die bedingte Entropie der Quelle mit Gedächtnis unter Berücksichtigung eines die Vergangenheit beschreibenden definierten Zustandsvektors, die bedingte Entropie der Quelle ergibt sich durch Mittelung über alle möglichen Zustandsvektoren. Die Entropie der Quelle wird also durch die bedingte Entropie beschrieben 105

103 Aufgabe 2-10 A 24 Dr. Jäger Gegeben Sei eine Quelle,, mit Gedächtnis. Für die Quellensymbole gelten die folgenden bedingten Wahrscheinlichkeiten: a. Stellen Sie die Quelle anschaulich mit Hilfe eines Markov-Diagramms 1. Ordnung dar. b. Bestimmen Sie die Symbolwahrscheinlichkeiten, und c. Berechnen Sie die Verbundwahrscheinlichkeiten, d. Berechnen Sie die Entropie der Quelle, die bedingte Entropie und die Verbundentropie 106

104 Aufgabe Eine diskrete Quelle, mit Gedächtnis habe den Zustandsgraf aus der folgenden Abbildung. 3/4? A B? 1. Geben sie die Übergangswahrscheinlichkeiten an. 2. Berechnen Sie die Auftrittswahrscheinlichkeiten der einzelnen Zustände. 3. Geben Sie die Entropie der Quelle an unter Berücksichtigung der Übergangswahrscheinlichkeiten. 4. Fassen Sie jeweils drei Zeichen zu einem Symbol zusammen. Berechnen Sie die Wahrscheinlichkeiten der möglichen Symbole. 5. Führen Sie eine Huffman-Codierung durch und geben Sie die mittlere Codewortlänge des Codes. 107