7.7.7. Codierung mit variabler Wortlänge Vom schweigsamen König, der gern chweinebraten aß (Frei nach Walter. Fuchs: Knaur s Buch der Denkmaschinen, 968) n einem fernen Land lebte vor langer, langer Zeit ein kleiner König, der war dick, faul und unzufrieden und wollte den lieben langen Tag immer nur essen. Wir wollen hier nur seine Ernährungsgewohnheiten betrachten insbesondere, da seine ahrung recht einseitig war. Den lieben langen Tag aß er nur: () chweinebraten (2) chokoladenpudding (3) Essiggurken (4) Erdbeertorte Zudem war der König sehr maulfaul und mit der Zeit wurde es ihm sogar zu anstrengend, seine Bestellungen aufzugeben (die er sowieso im Telegrammstil kundtat: Braten, Torte, Gurken! ). Eines Tages beschloss er, eine Codierung zu entwickeln, mit der er seine Befehle auch loswurde, ohne den Mund aufzutun. Durch Zufall wurde es sogar eine Binärcodierung: Die rechte Hand ein wenig heben heiße: chweinebraten Die linke Hand etwas heben heiße: chokoladenpudding Erst die rechte und dann die linke Hand heben: Essiggurken Zweimal nacheinander die rechte Hand heben: Erdbeertorte Der Übersichtlichkeit halber wollte der kleine König die Codierung etwas abkürzen: stehe für rechte Hand heben und L für linke Hand heben. Damit ergab sich die folgende Codezuordnung: Braten L Pudding L Gurken Torte Und schon gab es Probleme. Angenommen, der König hob dreimal die rechte Hand ( ). Dann konnte dies bedeuten: Braten, Braten, Braten oder Braten, Torte oder Torte, Braten. un musste der König einmal wirklich viel reden. Er rief seinen Hofmathematikus zu sich und erklärte ihm den achverhalt. Hmmmm, überlegte dieser: Majestät haben Höchstdero peisewünsche binär codiert. Vorzüglich, vorzüglich. Aber es klappt nicht, raunzte der König, jedes mal, wenn ich chweinebraten und Pudding will, bringen mir diese Hornochsen Gurken! und sank erschöpft auf seinen Thron zurück. Mit Verlaub, die Codierung ist nicht eindeutig, Majestät, wagte der Mathematikus einzuwerfen. ch weiß! Lass Dir gefälligst was einfallen! grunzte der König. Und vor lauter Angst, wieder etwas Falsches zu bekommen, brüllte er: Braten und Torte, aber fix! Der Mathematiker brütete inzwischen über eine eindeutige binäre Codierung nach und gelangte zu folgenden Ü- berlegungen: etzker 2 7/2
. Es sind vier Worte binär zu codieren, also brauche ich eine Codewortlänge von mindestens zwei Binärzeichen. 2. Die Codierung der vier peisewünsche kann dann folgendermaßen aussehen: Braten Pudding L Gurken L Torte LL un war die Codierung unverwechselbar. Welche Bedeutung hat die Zeichenfolge LLLLLL nach der obigen Codierung? Lösung: Zwar war die Codierung nun eindeutig, aber war sie auch optimal? Bisher wurde davon ausgegangen, dass der kleine König keine spezielle Vorliebe für bestimmte Gerichte hat (alle Codeworte sind gleich wahrscheinlich). Zudem beschwerte sich der König schon nach kurzer Zeit darüber, dass er viel zu häufig die Hände heben müsse. Also vergatterte der Mathematikus seinen Assistenten, eine tatistik der königlichen Essenswünsche aufzustellen. Heraus kam folgendes: jeden Tag verspeiste der König im chnitt 8 Gerichte. Die Häufigkeitsverteilung stellte sich so dar: 9 x chweinebraten 6 x chokoladenpudding x Essiggurken 2 x Erdbeertorte oll die Codierung optimal, also eindeutig und zweckmäßig sein, so musste der Mathematikus versuchen, für den Braten einen möglichst kurzen Code zu wählen. Dafür darf der Code für eine Gurkenbestellung ruhig länger sein. Also legte er erst einmal fest: Braten Damit war das verbraucht, denn es darf wegen der Eindeutigkeit kein anderes Codewort mehr mit einem beginnen (Fano-Bedingung: kein Code darf der Beginn eines anderen verwendeten Codes sein). Weiter ging es mit: Pudding L Es blieb somit noch ein zweistelliges Codewort übrig: LL (denn und L sind nach der Fano-Bedingung nicht mehr zulässig), aber es waren noch zwei peisewünsche zu codieren. Also mussten die nächsten Codes dreistellig sein. Unter Beachtung der Eindeutigkeit ergab sich: Torte LL und Gurken LLL wahlweise auch Torte LLL und Gurken LL st diese Codierung nun wirklich besser, d. h. kürzer? (Beim alten Code benötigte der König für 8 Gerichte 36 bit). etzker 2 7/2
Lösung: Bei der oben genannten Häufigkeitsverteilung sieht es nun folgendermaßen aus: 9 x chweinebraten 9 bit 6 x chokoladenpudding 2 bit x Essiggurken 3 bit 2 x Erdbeertorte 6 bit umme 3 bit Es wurden also durchschnittlich 6 bit pro Tag gespart. Probieren wir zum chluss der Geschichte aus, ob der vom Mathematikus entwickelte Code auch funktioniert (wobei LL Torte bedeutet und LLL Gurken). Was will der König bei LLL? (Lösung auf. 23) Lösung: Mathematischer Hintergrund m vorherigen Abschnitt war von Häufigkeiten die ede. Es handelt sich dabei um Erfahrungswerte, die durch Beobachtung gewonnen werden (sog. empirische Werte). Die empirischen Häufigkeitswerte müssen zu den theoretischen Wahrscheinlichkeiten in klare Beziehung gebracht werden. Wir wissen alle, dass beim Münzwurf die Wahrscheinlichkeit für Kopf oder Zahl ½ beträgt. Um durch empirische Ermittlung auf die exakte Übereinstimmung zwischen Häufigkeiten und Wahrscheinlichkeit zu kommen, müsste man unendlich viele Würfe auswerten. Die praktische egel der Wahrscheinlichkeitsrechnung erspart uns Zeit, denn sie besagt, dass sich bei genügend vielen Versuchen die Häufigkeit eines Ereignisses nur noch sehr wenig von der Wahrscheinlichkeit für das Eintreten dieses Ereignisses unterscheidet. Es gilt: Führt eine n-malige Verwirklichung der geforderten Bedingung in m Fällen zum zufälligen Ereignis A, dann liegt die Häufigkeit h(a) = m/n beliebig nahe an der Wahrscheinlichkeit P(A). Also: n Verwirklichung der geforderten Bedingung (z. B. Hochwerfen und Auffangen einer Münze) m Anzahl der betrachteten Fälle (z. B. Zahl ) A Ergebnis (z. B. Kopf oder Zahl ) h(a) Häufigkeit (z. B. Zahl / Würfe) P(A) Wahrscheinlichkeit Beispiel: Eine Münze wird mal geworfen (n = ). n 5 Fällen (m = 5) zeigt die berseite Zahl (= A ). Dann ist h(a) = m/n = 5/ = ½. Die Wahrscheinlichkeit P(A) liegt dann nahe bei ½. etzker 22 7/2
Lösung: (der von. 22) Der Code lautete LLL. Da die Codewortlänge variiert, muss man schrittweise vorgehen. Das erste L bedeutet noch nichts. L heißt eindeutig Pudding. Dann kommt ein für Braten und gleich noch einer. Wieder ein L, das noch nichts besagt. Auch das folgende L liefert noch keine Lösung. erst das letzte gibt Aufschluss: Torte! Also: Pudding Braten Braten Torte Jetzt können wir die Ergebnisse unseres Märchens aufarbeiten. An der königlichen Tafel sind vier zufällige Ereignisse bedeutsam: A: Der König bestellt einen Braten A2: Der König bestellt Pudding A3: Der König bestellt Torte A4: Der König bestellt Gurken Auch die Häufigkeiten sind bekannt. Wir nehmen an, dass die Werte auf genügend vielen Beobachtungen beruhen. Also können wir die Wahrscheinlichkeiten durch die Häufigkeiten annähern: P(A) = 9 / 8 = / 2 P(A2) = 6 / 8 = / 3 P(A3) = 2 / 8 = / 9 P(A4) = / 8 = / 8 Die umme aller Wahrscheinlichkeiten P(A) + P(A2) + P(A3) + P(A4) ergibt immer den Wert. Betrachten wir nun den König als achrichtenquelle. eine achrichten sind A, A2, A3 und A4. Die oben erwähnten Wahrscheinlichkeiten stellen zusammen mit den zugehörigen achrichten das Bild einer (sehr abstrakten) achrichtenquelle dar. Die achricht A hat eine relativ hohe, die achricht A4 eine relativ geringe Wahrscheinlichkeit. Mit anderen Worten: A dürfte in einer achrichtenfolge öfter auftauchen als A4 (wobei nichts über die Position von A ausgesagt werden kann). Damit können wir auch den nformationsgehalt definieren: Je kleiner die Wahrscheinlichkeit des Auftretens einer achricht ist, desto höher ist ihr nformationsgehalt. (Die achricht mit der hohen Wahrscheinlichkeit (A) hat nur den nformationsgehalt von einem bit ( ), die achricht mit der geringsten Wahrscheinlichkeit (A4) besitzt hingegen den nformationsgehalt von drei bit ( LLL ).) Als Formel: (A) = ld ( / P (A)) [bit] (Zur Erinnerung: ld ist eine mathematische Funktion, die den Logarithmus auf der Basis 2 liefert. Eventuell ist sie auf hrem Taschenrechner verfügbar.) Wenden wir nun die obige Formel auf die achrichten A bis A4 an: (A) = ld ( /( / 2)) = ld (2) =, bit (A2) = ld ( /( / 3)) = ld (3) =,585 bit (A3) = ld ( /( / 9)) = ld (9) = 3,7 bit (A4) = ld ( /( / 8)) = ld (8) = 4,7 bit un besitzen wir präzise Zahlenwerte über den nformationsgehalt der einzelnen achrichten. Das Maß für die Unsicherheit darüber, welche achricht nun als nächste in einer Folge kommt, ist die mittlere nformation (oder Entropie) H: H (A,..., An) = umme (P(Ai) * ld ( / P (Ai))) für i =... n etzker 23 7/2
Für unser Königs-Ernährungsproblem ergibt sich: H =,/2 +,585/3 + 3,7/9 + 4,7/8 =,64 bit Dieser Wert (,64 bit) sagt uns aber noch nicht viel; wir benötigen Vergleichswerte. Betrachten wir daher nun die binär codierten Essenswünsche, die ja nur noch aus den Zeichen und L bestehen. Zunächst die erste Codierung mit jeweils zwei bit für jedes Codewort (man schreibt einfach die Codes entsprechend obiger Häufigkeiten auf und zählt die s und L s): P() = 25/36 H(,L) =,883 bit P(L) = /36 un sehen wir uns die optimierte Codierung mit unterschiedlicher Länge der Codeworte an: P() = 7/3 H2(,L) =,988 bit P(L) = 3/3 Also trägt jedes ignal mehr nformation. Der Morsetelegraph hatte einen dreiwertigen Code (Punkt, trich, Leeraum) und variable Codelänge 7.7.8. edundanzreduktion (Datenkompression) (edundanz: Überfülle; eduktion: Verminderung) Wie der Hofmathematiker aus unserem Märchen herausgefunden hat, lässt sich die Coderedundanz durch Wahl einer variablen Wortlänge reduzieren. Häufig auftretende Codeworte erhalten eine kurze Wortlänge, seltene Codeworte sind dafür länger (erinnern ie sich an die Huffman-Codierung?). Damit entsteht ein optimaler Code. Wir haben aber auch gesehen, dass ein optimaler Code nur für eine ganz bestimmte Häufigkeitsverteilung der Codeworte gilt. o hat schon amuel Morse bei seinem Code die Häufigkeitsverteilung der Buchstaben in der englischen prache berücksichtigt. Dieser achverhalt wird durch das Codierungstheorem von hannon ausgedrückt: - es gibt eine Grenze für die mittlere Codewortlänge - die Coderedundanz kann beliebig klein werden Verfahren zur Datenreduktion wurden von hannon, Fano und Huffman (siehe kript eiten 7 bis 77) entwickelt. etzker 24 7/2
Der Huffman-Code generiert bekanntermaßen anhand der Buchstabenhäufigkeiten einen optimalen Code: suche die beiden seltensten Zeichen (geringste Häufigkeiten) bilde einen Binärbaum mit diesen Zeichen (Unterscheidung von und ), wobei diesem nun die umme der beiden Häufigkeiten zugeordnet wird suche nun die beiden seltensten Zeichen / Teilbäume und wiederhole die Gruppierung fahre mit diesem Verfahren solange fort, solange noch mindestens zwei Teilbäume / Zeichen existieren Dazu ein (weiteres) Beispiel: in einem Text werden die Buchstaben gezählt. Es ergeben sich folgende Häufigkeiten: E T A 5 2 8 2 8 6 6 3 2 4 32 23 T A 32 44 A T E Bestimmen ie die Codes für die folgenden Zeichen: E A : : : A: T E: : : T: etzker 25 7/2
Lösung: A E T Bei der Bildübertragung im Telefaxdienst der Gruppe 3 wird die Vorlage zeilenweise abgetastet und jede Bildzeile in 728 einzelne Bildpunkte zerlegt (Codierung: schwarz =, weiß = ). Die vertikale Auflösung beträgt 3,85 Zeilen/mm in ormalauflösung und 7,7 Zeilen/mm in Feinauflösung. Die Papierlänge beträgt ca. 29 mm. Es gilt die Gleichung: Bildpunkte * Papierlänge * Auflösung = Datenvolumen [bit] Welche Datenvolumina ergeben sich bei a.) ormalauflösung b.) Feinauflösung? Lösungen: ormalauflösung: Feinauflösung: Bei einer Datenübertragungsrate von beispielsweise 96 Bit/s dauert eine eite ca. 2 s = 3 Minuten, 2 ekunden. Da eine normale chreibmaschinenseite überwiegend weiß ist, haben die Daten sicherlich eine hohe edundanz. Bei einem chwarzanteil von 5% ergibt sich z. B. ein nformationsgehalt H von: H =,5 * ld ( /,5) +,95 * ld ( /,95) =,26 +,7 =,286 bit Für die Datenreduktion werden die Bildpunkte einer Zeile zusammengefasst, denn eine Bildzeile besteht abwechselnd aus weißen und schwarzen Feldern unterschiedlicher Länge. un werden nicht mehr die einzelnen Bildpunkte codiert übertragen, sondern nur noch ein Code für die Anzahl (beispielsweise w, 2s, 23w, 2s, 67w,...). Das Ganze nennt man dann Lauflängencodierung (run length encoding). Für jede Anzahl weißer und schwarzer Bildpunkte wird nun ein optimales (Binär-) Codewort ermittelt und übertragen. Da nun jede Vorlage einen anderen chwarzanteil besitzt, müsste man für jede eite eine (andere) optimale Codierung ermitteln und diesen Code an die Gegenstation senden. Dieses Vorgehen ist sicher nicht praktikabel. Daher untersucht man eine repräsentative Auswahl von Vorlagen ( tandardseiten ) und ermittelt für diese einen optimalen Code. Dieser Code wird dann für alle Telefax-Übertragungen verwendet. n der ealität ist das noch etwas komplizierter, da die Lauflängen nach einem bestimmten chema codiert werden. nsgesamt ergibt sich jedoch je nach Vorlage eine Datenreduktion auf 5 bis 2 Prozent des ursprünglichen Volumens. Kontrollfragen Bitte beantworten ie die folgenden Fragen schriftlich:. Welcher wesentliche Vorteil ergibt sich aus einer Codierung mit variabler Wortlänge gegenüber einer Codierung mit fester Wortlänge? 2. Welche Probleme ergeben sich bei einer Codierung mit variabler Wortlänge? 3. ennen ie zwei hnen bekannte Codierungsverfahren mit variabler Wortlänge. etzker 26 7/2