Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1

Transkript

1 Information, Entropie und Redundanz Technische Informationsquelle Entropie und Redundanz Huffman Codierung Martin Werner WS 9/ Martin Werner, Dezember 9

2 Information und Daten Informare/ Informatio (lat.) dem Verstand Form geben / Deutung, Erläuterung Datum (lat.) das Gegebene; Aus systematischen Beobachtungen (Messungen, Datenerhebung) gewonnene Information Daten Zeichen oder kontinuierliche Funktionen, die zum Zweck der Verarbeitung aufgrund von bekannten oder unterstellten Vereinbarungen Information darstellen DIN ISO/IEC 2382 (DIN 443) Zeichen (Buchstaben, Ziffern, Sonderzeichen), Bilder, Texte, Sprache, Muster Syntax + Semantik Daten + Pragmatik Daten im technischen Sinn Information (Nachricht) für Menschen Martin Werner, Dezember 9 2

3 Informationsquelle Louis Braille (89 852) französischer Blindenlehrer, Brailleschrift (825) Diskrete Quelle setzt pro Zeittakt ein Zeichen x i aus einem Zeichenvorrat X = {x, x 2,..., x N } ab Wie kann die Quelle charakterisiert werden? Messbare Größen! Relative Häufigkeiten Wahrscheinlichkeiten der Zeichen p(x i ) der Zeichenpaare p(x i, x j ) der Zeichentripel p(x i, x j, x k ) usw. n dimensionale Verbundwahrscheinlichkeiten Martin Werner, Dezember 9 3

4 Zufallsexperiment Endlicher Wahrscheinlichkeitsraum (, P) Ereignisse i A, A 2,..., A n Wahrscheinlichkeiten P(A i ) Sicheres Ereignis P( ) = und unmögliches Ereignis P( ) = Zufallsexperiment Ereignis A i Information Information löst Ungewissheit auf! I(A i ) = f ( P(A i ) ) Martin Werner, Dezember 9 4

5 Lochkarte Herman Hollerith (86 926) U.S. amerikanischer Ingenieur und Unternehmer Martin Werner, Dezember 9 5

6 Informationsgehalt eines Zeichens Axiom Axiom 2 Axiom 3 Der Informationsgehalt eines Zeichen x i X mit der Wahrscheinlichkeit p i ist ein nichtnegatives Maß, d. h. I(p i ) Die Informationsgehalte unabhängiger Zeichen x i, x j X mit der Verbundwahrscheinlichkeit p i,j = p i p j addieren sich, d. h. I(p i,j ) = I(p i ) + I(p j ) Der Informationsgehalt ist eine stetige Funktion der Wahrscheinlichkeiten der Zeichen Der Informationsgehalt eines Zeichen mit der Wahrscheinlichkeiten p ist I(p) = ld(p) bit I(p) bit 3 2 Unmögliches Ereignis Sicheres Ereignis 5,5 p Martin Werner, Dezember 9 6

7 Entropie Entropie, mittlerer Informationsgehalt einer Quelle N H( X) p ld p bit i i i Gedächtnislose Binärquelle H b ( X ) H b (p) p ld p ( p) ld p bit bit Maximale Ungewissheit 5,5 p Martin Werner, Dezember 9 7

8 Entropie wozu? Entropie gibt Antwort auf die Fragen: Wie viele JA/NEIN Entscheidungen Entscheidungen (Binärentscheidungen) sind mindestens erforderlich, um die Zeichen der Quelle im Mittel zu erfragen? Wie viele Bits (Binärzeichen) werden mindestens benötigt, um die Zeichen der Quelle im Mittel zu codieren? Quellencodierungstheorem (Shannon) Es existiert ein binärer Code so, dass die mittlere Codewortlänge beliebig blibi nahe an die Entropie herankommt. Claude E. Shannon (96 2) U.S. amerikanischer US a e Ingenieur eu und Mathematiker, e Begründer der Informationstheorie (948) Martin Werner, Dezember 9 8

9 Beispiel Diskrete gedächtnislose Quelle x i a b c d e f Codewort p i 5,5 5,5 5,5 4,4 2,2 5,5 I(p i ) 4,32 bit 2,74 bit 4,32 bit,32 bit 2,32 bit 2,74 bit H(X) 225bit 2,25 Martin Werner, Dezember 9 9

10 Codebaum Binärer Codebaum gerichteter ih Baum Codewort Zeichen a b Anfangsknoten Wurzel c d e Verzweigungsknoten f Endknoten Blatt Martin Werner, Dezember 9

11 Entscheidungsgehalt und Redundanz Maximale Ungewissheit it Die Entropie einer diskreten gedächtnislosen Quelle mit N Symbolen wird maximal, wenn alle Symbole gleichwahrscheinlich sind. Entscheidungsgehalt H = ld (N) bit Redundanz R = H H(X) ( ) Martin Werner, Dezember 9

12 Morsealphabet Samuel F. B. Morse (79 872) U.S. amerikanischer Maler und Erfinder Morseapparat (833) Morsealphabet mit Steuerzeichen (A. Vail 838, F. C. Gerke 843) Buchstabe Morse rel. Häufigkeit Quelle: Der Brockhau us multimedial l 24 Zeichen in % [Küp54] a. 65 6,5 b... 2,6 c.. 2,8 d.. 5,4 e. 6,7 f... 2, g. 3,7 h.... 4, Martin Werner, Dezember 9 3

13 Huffman-Codierung David Huffman ( ) U.S. amerikanischer Ingenieur Huffman Codierung (952) Entropiecodierung Präfix Code Ordnen: Ordne die Zeichen nach fallenden Wahrscheinlichkeiten. Kombinieren: Kombiniere die beiden Zeichen mit den kleinsten Wahrschein lichkeiten zu einem neuen Zeichen. Ordne die Liste neu wie in und fahre fort, bis alle Zeichen zu einem zusammengesetzt sind. Codieren: Beginne mit der letzten Zusammenfassung; ordne dem Codewort der ersten Komponente des zusammengesetzten Zeichens eine und dem Codewort der zweiten Komponente eine zu. Fahre fort, bis alle Zeichen codiert sind. Martin Werner, Dezember 9 4

14 Beispiel Huffman-Code Zeichen a p i,5 b,2 c d e f,,,5,5,,2,3,5, Code L i in bit Mittlere Codewortlänge Effizienz N L L p i H ( X ) L i i Im Beispiel: Entscheidungsgehalt 2,58 bit Entropie 2,6 bit Redundanz,52 bit Mittlere Codewortlänge 2bit 2, Effizienz 98% Martin Werner, Dezember 9 5

15 Codebaum a b e f c d Decodierung von links nach rechts Codierung von rechts nach links Martin Werner, Dezember 9 6

16 Huffman-Code - Nachteile Unterschiedliche Codewortlängen Ungleichmäßige Bitraten und Codierverzögerungen Fehleranfällig Robustheit gegen Fehler nimmt ab, ein einzelner Bitfehler kann die Nachricht vollständig zerstören ( Fhl Fehlerschutz) ht) Vorwissen /Aufwand Kenntnis der Wahrscheinlichkeitsverteilung wird vorausgesetzt, oder Häufigkeiten müssen bestimmt werden ( adaptive Verfahren) Universelle Codierverfahren ( 98), z. B. Lempel Ziv Welch (LZW) Algorithmus und Arithmetische ih i h Codierung Martin Werner, Dezember 9 7