Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert.

Transkript

1 Anwendungen von Bäumen Huffman Code Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. => nutzbar für Kompression Code fester Länge: log 2 n Bits pro Zeichen Feste Länge günstig für Verarbeitung, aber Speicherung? hs / fub alp3 -ADT-2 Statistische Eigenschaften von Texten Verlustlose Kompression nur möglich, wenn Zeichen nicht mit gleicher Häufigkeit auftreten. Grundidee: - kurze Codewörter für häufige Zeichen -lange für seltene Beispiel a c g r t Häufigkeit (in Tausend) Feste Länge Tsd. Bits Variabel Tsd. Bits 23 % hs / fub alp3 -ADT-2 2

2 Andere Sichtweise: Informationsgehalt Wie groß ist der Informationsgehalt einer einzelnen Nachricht aus einer Menge A von Nachrichten? Oder: mit wie vielen systematischen Fragen kann man eine Nachricht erfragen?? <= m m <? Nachricht: hier Zeichen [a..z]? <= f f <?? <= c c <?? <= s s <?...?? <= a a <?? <= d d <?? <= b b <? hs / fub alp3 -ADT-2 3 Informationstheorie (C. Shannon, 948) Entropy einer Nachrichtenmenge A, A =n H(A) = Σ p i log /p i i=..n p i = Wahrscheinlichkeit für Nachricht i Maß für durchschnittlichen Informationsgehalt einer Nachricht. H >= : alle p i = 0 bis auf eines. Je seltener eine Nachricht, desto höher ihr Informationsgehalt log 2 /p i : Anzahl von Bits, um eine Nachricht zu codieren C.Shannon, A Mathematical Theory of Communication, 948 -> Alp3-Webseite hs / fub alp3 -ADT-2 4 2

3 Entropie und Kompression Kleinere Entropie vergrößert möglichen Kompressionseffekt gegenüber Code fester Länge Beispiel: Natürliche Sprache (Englisch) A = {x x druckbares Zeichen}, A = 96 Code fester Länge: log 2 96 = 7 Entropie: 4,5 Huffman Code: 4,7 Gzip benötigt durchschnittlich nur 2,7 Bits / Zeichen: Ausnutzen zusätzlicher Information, z.b.: p i,j für Paare von Zeichen, häufige Worte codieren etc. hs / fub alp3 -ADT-2 5 Problem Gegeben: A, A = n, p i, i A, finde Binärcode mit optimaler Gesamtlänge: Σ p i l i minimal i=..n mit l i = Länge es i-ten Codewortes Statt Wahrscheinlichkeiten auch statische Gewichte wi = pi * k für Text der Länge k. Dynamische Gewichte: wi = absolute Häufigkeit von Zeichen i in zu komprimierenden Text 3

4 Huffman Code Teilaufgaben und Fragen wie decodiert man einen Text? Wie findet man den Code? Warum ist er optimal? Dekodierung: Wo endet ein Codewort?? A = {t,e x } t -> 0 e -> 0 text -> x -> t e e hs / fub alp3 -ADT-2 7 Präfix-Codes C = { c c codiert ein Zeichen aus A} heißt Präfixcode, wenn gilt: c C => es gibt keine c' aus C, c!= c' mit c' = c c'' (Präfixeigenschaft) oder: kein Codewort ist Präfix eines anderen. (Präfixeigenschaft) t -> 0 e -> 0 text -> x -> x verletzt Eigenschaft => kein Präfixcode. hs / fub alp3 -ADT-2 8 4

5 Decodierung von Präfixcodes Kanten- und blattmarkierte Binärbäume für Repräsentation des Codes. a 0 0 c g 0 0 r Präfixcode Codewort Wurzelpfad des Binärbaums Decodierung: Für jedes Zeichen entsprechenden Wurzelpfad durchlaufen > (rl) (rrl) (lr) r,l Verzweigung im Baum decode (000) = grc t hs / fub alp3 -ADT-2 9 Funktionale Implementierung > data Bit = O I > deriving Show > data CT a = N (CT a) (CT a) L a > -- nur Blattmarkierungen L a > type CTree = CT Char > decode :: Ctree -> [BIT] -> [Char] > decode t [] = [] > decode t (x:xs) = decodew t (x:xs) > where decodew (L c) xs = c: (decode t xs) > decodew (N l r) (O:xs) = decodew l xs > decodew (N l r) (I:xs) = decodew r xs Wie codiert man eine Zeichenkette? hs / fub alp3 -ADT-2 0 5

6 Codierung einer Zeichenkette ist eine injektive Abbildung code : Alphabet -> { c c ist Codewort} Allgemeiner: f : Menge von Schlüsseln -> Menge von Werten Java-Terminologie: Map ("a map is an object, that maps keys to values") Nicht mit map :: (a -> b) -> [a] -> [b] verwechseln! hs / fub alp3 -ADT-2 Konstruktion eines Huffman-Codes Gegeben: Alphabet A, Text T ("Wort über A") { (a i, w i ) a i A, w i = p i * T p i = p(a i ) = relative Häufigkeit von a i in T} Gesucht: Präfixcode mit optimaler Gesamtlänge Σ p i * l i minimal a i A, code a i = c i Σ w i * l i minimal Länge des codierten Textes T minimal hs / fub alp3 -ADT-2 2 6

7 Konstruktion eines Huffman-Codes Gierige Algorithmen (greedy algorithms) "Finde Lösung schrittweise durch Wahl der lokal günstigsten Alternative". Liefert für manche Probleme globales Optimum. Keineswegs für alle! Beispiele: - Schachspiel. - Finde Wurzelpfad in kantengewichtetem Baum mit minimaler Kantensumme. - Längste gemeinsame Teilzeichenkette (longest common substring) mit naivem Algorithmus: aabcd in eaabddaaabce hs / fub alp3 -ADT-2 3 Konstruktion eines Huffman-Codes Idee: -jedes Zeichen sei Blattknoten Leaf (a i ) w i des zu konstruierenden Binärbaums (Codebaum): BTSet = { (Leaf (a i ) w i ) a i A, w i = p i * T } ist ein Wald von Bäumen. - Füge zwei Bäume aus BTSet mit minimalen Gewichten w und w' zu einem Baum mit Gewicht w+w' zusammen und füge ihn in BTSet ein. (Beachte: auch Blätter sind Bäume). - Fertig, wenn BTSet einen Baum enthält. Beispiel: Tafel hs / fub alp3 -ADT-2 4 7

8 Huffmann Code: Optimalität Beweisidee: Zeige: Wenn a und b Zeichen geringster Häufigkeit sind, dann gibt es einen optimalen Codebaum, bei dem a und b benachbarte Blätter sind. Zeige: Wenn T und T2 optimale Teil-Codebäume, dann auch die Verschmelzung von T und T2 hs / fub alp3 -ADT-2 5 8