2 Huffman-Algorithmus 2

Transkript

1 Huffmn-Algorithmus Formlisierung un Optimlitätseweis Mximilin Shäffeler Dies ist ie Ausreitung zum Seminrvortrg in er Vorlesung Perlen er Informtik. Es wir ein formler Beweis es Huffmn-Algorithmus von J.C. Blnhette vorgestellt. Dieser wir in er Syntx es interktiven Theoremeweisers Iselle geführt. Shließlih weren kurz Anwenungen es Algorithmus ufgezeigt. Inhltsverzeihnis Einleitung 2 2 Huffmn-Algorithmus 2 Funktionle Implementierung 4 Hilfsfunktionen un Lemmt 4 4. Eigenshften von Binäräumen swpsyms un swpfoursyms Optimlitätseweis 7 Anwenungen 9

2 Einleitung Der Huffmn-Algorithmus stellt eine Methoe zur verlustfreien Komprimierung von Dten r. Er wure 92 von Dvi A. Huffmn entwikelt []. Der Algorithmus erzeugt us Symolen un eren Verteilung im zu komprimierenen Text, Binäräume, us welhen präfixfreie Koierungen vriler Länge (Huffmn-Coes) gewonnen weren. Diese koieren en Text mit minimlem Speiherpltz. Huffmn lieferte in seiner Areit keinen Beweis für ie Optimlität er erzeugten Koierungen, es finen sih jeoh in er Litertur ei Cormen [] un Knuth [4] Beweise zw. Beweisskizzen. Aufuen uf iesen Beweisen wir in er Areit Proof Perl: Mehnizing the Textook Proof of Huffmn s Algorithm von J. C. Blnhette er Algorithmus un essen Beweis in Iselle formlisiert [2]. Die folgenen Kpitel 2 is sieren uf ieser Areit. 2 Huffmn-Algorithmus Als Einge erwrtet er Huffmn-Algorithmus Symole mit zugeorneten Gewihten. In er Prxis entsprehen iese fst immer en Häufigkeiten, mit enen ie Symole in en zu komprimierenen Dten vorkommen. Der Algorithmus konstruiert nn einen Binärum, essen Blätter ie eingegeenen Symole mit Gewihten sin. Der entstnene Bum ht minimle gewihtete Pflänge. Diese ist für ein einzelnes Symol s Proukt us Gewiht un Tiefe eines Symols im Bum. Die Summe er gewihteten Pflängen ller Symole ergit shließlih ie gewihtete Pflänge es Bumes. Im Folgenen wir ie Vorgehensweise es Algorithmus eshrieen: In jeem Shritt wählt er Huffmn-Algorithmus us einer Liste von Bäumen jeweils zwei mit minimlem Gewiht n er Wurzel us. Diese weren kominiert, inem ein neuer Knoten erstellt wir, er ls Gewiht ie Summe er Gewihte er eien Bäume erhält. Linker un rehter Teilum ieses Knotens sin ie eien Bäume, ie kominiert weren sollen. Anshließen wir er entstnene Bum wieer in ie Liste eingefügt. Der Algorithmus terminiert, sol in er Liste nur noh ein einzelner Bum ürig ist. Dieser Bum ist ie Ausge es Algorithmus, us ihm können nun Koierungen für ie Symole gewonnen weren. Ds folgene Beispiel soll en Algorithmus nshulih verstänlih mhen: () e In iesem Beispiel sin ie eien Zeihen mit en geringsten Gewihten (2) 4 e 2

3 un e. Der us en eien Symolen entstnene Bum ht Gewiht 4, wir lso wieer m Beginn er Liste einsortiert (2). Im Shritt von (2) uf () wir er Bum mit en Symolen un e mit em Symol verunen, iese Bäume ie geringsten Gewihte n er Wurzel trgen. In en folgenen Shritten wir ieses Vorgehen wieerholt. () 9 (4) e 4 e Der so entstnene Binärum ist optiml zgl. gewihteter Pflänge, us ihm können nun Koierungen er Symole gewonnen weren, ie ie zugehörigen Dten optiml komprimieren: Jee Knte zu einem linken Teilum wir mit einer 0 nnotiert, jee Knte zu einem rehten Teilum mit einer (Ailung ()). Die Koierung es Symols ergit sih nun eispielsweise urh Konktention er Annottionen uf em Pf von er Wurzel zu, in iesem Fll 0. () e 2 0 Funktionle Implementierung Die funktionle Implementierung un er Beweis folgt er Areit von J.C. Blnhette un verwenet ie Syntx es Theoremeweisers Iselle. Binäräume weren urh einen eigenen Dtentyp tree rgestellt. Jees Bltt (Lef ) un jeer innere Knoten (InnerNoe) hen ein Attriut vom Typ nt, welhes gnzzhlige Werte speihert, hier s Gewiht es Teilumes. Ds Attriut vom Typ α in Lef einhltet ie Symole, ie in en Dten vorkommen un für welhe Koierungen gefunen weren sollen. Innere Knoten esitzen zusätzlih einen linken un einen rehten Teilum, wieerum vom Typ α tree. ttype α tree = Lef nt α InnerNoe nt (α tree) (α tree)

4 In jeem Shritt es Huffmn-Algorithmus müssen zwei Bäume vereinigt weren, hierzu wir ein neuer Knoten eingeführt, er ls linken un rehten Teilum iese eien Bäume esitzt. Ds Gewiht er Wurzel es neuen Bums ergit sih us er Summe er Gewihte er Wurzeln er eien üergeenen Bäume. unitetrees t t 2 = InnerNoe (heweight t + heweight t 2 ) t t 2 heweight git hier einfh s Gewiht es Teilumes oer Blttes zurük. heweight (Lef w ) = w heweight (InnerNoe w t t 2 ) = w Die Funktion insorttree fügt einen Binärum n er pssenen Stelle in eine ufsteigen nh Gewihten sortierte Liste von Bäumen ein. Die Sortierung er Liste vereinfht ie Suhe nh Bäumen mit minimlen Gewihten n er Wurzel. insorttree u [ ] = [u] insorttree u (t ts) = (if heweight u heweight t then u t ts else t insorttree u ts) huffmn vereinigt shließlih jeweils ie zwei ersten Elemente in er Liste von Bäumen, ies sin ie Bäume mit minimlem Gewiht n er Wurzel. Die Funktion fügt en so entstnenen Bum sortiert wieer in ie Liste ein un wir rekursiv mit er neuen Liste ufgerufen, is iese nur noh ein Element enthält. Dieses Vorgehen entspriht genu em Huffmn-Algorithmus. huffmn [t] = t huffmn (t t 2 ts) = huffmn (insorttree (unitetrees t t 2 ) ts) Folgene Anforerungen weren n ie Eingen gestellt, mit er Algorithmus eine optimle Lösung finet: Die Eingeliste muss ufsteigen nh Gewihten sortiert sein un rf nur us Blättern estehen. Außerem rf jees Symol nur einml in er Liste vorhnen sein. 4 Hilfsfunktionen un Lemmt Um ie Korrektheit es Algorithmus zu eweisen, weren zunähst Funktionen efiniert, ie Aussgen üer ie Eigenshften un Korrektheit von Eingen, Binäräumen un ie Optimlität er Ausgen treffen lssen. 4

5 4. Eigenshften von Binäräumen Ds Alphet (lphet) eines Bums ist ie Menge ller Symole, ie en Blttknoten im Bum zugeornet sin. lphet(lef w ) = lphet(innernoe w t t 2 ) = lphet t lphet t 2 Zusätzlih muss gewährleistet sein, ss jees Symol nur einml im Bum vorkommt,.h. ss s Alphet es rehten un es linken Teilumes sin isjunkt sin. Der Huffmn-Algorithmus reitet nur mit iesen konsistenten Bäumen korrekt. onsistent(lef w ) = T rue onsistent(innernoe w t t 2 ) = (onsistent t onsistent t 2 lphet t lphet t 2 = ) Die Tiefe eines Symols (nur für konsistente Bäume efiniert) ist ie Länge es Pfs von iesem zur Wurzel. Die spätere Koierungslänge entspriht er Tiefe eines Symols im Bum. Ein Symol, s niht im Bum vorkommt, erhält Tiefe 0. epth(lef w ) = 0 epth(innernoe w t t 2 ) = (if lphet t then epth t + else if lphet t 2 then epth t 2 + else 0) Die Höhe es Bumes entspriht er mximlen Tiefe eines Symols: height(lef w ) = 0 height(innernoe w t t 2 ) = mx(height t )(height t 2 ) + Die Häufigkeit (frequeny) eines Symols ist ie Summe er Häufigkeit ieses Symols im linken un rehten Teilum. In einem konsistenten Bum, ist jeweils höhstens ein Summn von 0 vershieen. freq(lef w ) = (if = then w else 0) freq(innernoe w t t 2 ) = freq t + freq t 2 Außerem wir trotz er Möglihkeit, s Gewiht irekt us einem Knoten uszulesen, eine Funktion zur Berehnung es Gewihts efiniert. Dies vereinfht en späteren Beweis, ie Korrektheit es ktuell in en Knoten gespeiherten Gewihtes niht gezeigt weren muss. weight(lef w ) = w weight(innernoe w t t 2 ) = weight t + weight t 2

6 Die gewihtete Pflänge eines Bumes ist: lphet t freq t eptht = weightt+ lphet t freq t (eptht ). Drus ergit sih ie Rekursionsgleihung ost(lef w ) = 0 ost(innernoe w t t 2 ) = weight t + ost t + weight t 2 + ost t 2 Ds Präikt optimum t testet, o t ie minimle gewihtete Pflänge ller Binäräume mit gleihem Symolen un zugehörigen Gewihten ht. Dies ist genu nn er Fll, wenn kein solher Bum einen geringeren Wert zgl. er Funktion ost ufweist. optimum t = ( u. onsistent u lphet t = lphet u freq t = freq u ost t ost u) Alle in iesem Ashnitt vorgestellten Funktionen sin uh in einer Version für Listen von Bäumen verfügr. Diese Funktionen weren elementweise ngewenet un erhlten im Funktionsnmen ls Inex zusätzlih ein F. 4.2 swpsyms un swpfoursyms swpfoursyms t tusht ie Symole un uf ie Positionen von un, zuvor muss un gelten. Hierfür wir ie Hilfsfunktion swpsyms enötigt, ie 2 enhrte Symole tusht. Benhrte Symole sin Blätter im Bum, ie m selen inneren Knoten hängen. swpfoursyms t = (if = then swpsyms t else if = then swpsyms t else swpsyms(swpsyms t ) Die nive Definition (nur er else-fll) würe in en eien zuvor gefngenen Fällen fehlshlgen. Ds Prolem ist, ss hierei niht lle Symole ihre Position tushen. Intuitiv sollten Symole, ie häufiger in en zu komprimierenen Dten vorkommen mit weniger Bits koiert weren,.h. eine geringere Tiefe im Binärum ufweisen. Dies knn mithilfe von Iselle gezeigt weren. Lemm Flls onsistent t, lphet t, lphet t, freq t freq t un epth t epth t, nn ost (swpsyms t ) ost t.

7 Dieses Lemm knn uf ie Funktionsnwenung swpfoursyms t erweitert weren: wenn un Blätter mit minimlem Gewiht sin (Präikt minim), un uf mximler Tiefe im Bum liegen, nn erhöhen sih ie Kosten nh Anwenung er Funktion niht. Lemm 2 Flls onsistent t, minim t, lphet t, lphet t, epth t = height t, epth t = height t un, nn ost (swpfoursyms t ) ost t. Der Beweis es Lemms untersheiet ie Fälle =, =, = un = un wenet nn s oige Lemm zu swpsyms n. D er Huffmn-Algorithmus Bäume zusmmenfügt, existiert eine Funktion mergesiling, ie zwei Blätter es Bumes vershmilzt, s so entstehene Bltt ht ls Gewiht ie Summe er Gewihte er eien Blätter. Diese Funktion reuziert ie Kosten es Bumes um genu iese Summe. mergesiling erlut es, ie Komintion zweier Bäume genuer zu etrhten. Lemm Flls onsistent t un siling t, nn ost(mergesiling t ) + freq t + freq t (siling t ) = ost t. Anlog wir eine Funktion efiniert, ie ein Bltt in zwei Blätter spltet, ie sih s Gewiht es ursprünglihen Blttes teilen. So spltet splitlef t w w s Bltt in zwei Blätter un uf, ie ie Gewihte w zw. w erhlten. Auh für iese Funktion finet sih ein Kostenlemm, ie Anwenung er Funktion erhöht ie Kosten es Bums um w + w. Lemm 4 Flls onsistent t, lphet t un freq t = w + w, nn ost (splitlef t w w ) = ost t + w + w Optimlitätseweis Mit en Erkenntnissen es vorigen Ashnitts knn nun ie Optimlität zgl. gewihteter Pflänge er vom Algorithmus erzeugten Binäräume gezeigt weren. Es ist leiht zu zeigen, ss s Alphet, ie Konsistenz un ie Häufigkeiten er Symole vom Huffmn-Algorithmus unveränert leien. Um en Beweis führen zu können, muss noh eine weitere Eigenshft von splitlef im Zusmmenhng mit optimlen Bäumen gezeigt weren: Es wir splitlef t w w uf en Bum ngewnt. Wenn t optiml ist, w un w minimle Gewihte im neuen Bum sin un s Gewiht von uf w un w verteilt wir, so leit uh er entstnene Bum optiml. 7

8 Forml rükt ies s folgene Lemm us: Lemm Flls onsistent t, optimum t, lphet t, lphet t, freq t = w + w, lphet t. w freq t w freq t, un w w, nn optimum (splitlef t w w ) Der Beweis zeigt, ss wenn t optiml un mit günstiger ls lle vergleihren Bäume v ist, nn uh er entstnene Bum günstiger ls lle vergleihren Bäume u ist. In u git es zwei Symole un, ie uf er tiefsten Eene es Bumes liegen. Wenn mergesiling (swpfoursyms u ) usgehen vom Bum u ngewnt wir, weren zunähst un Nhrn, ie nshließen vershmolzen weren. Es entsteht ein mit t vergleihrer Bum v. Mit Lemm knn ie Ungleihung weiter vereinfht weren, inem mergesiling sowie w + w eliminiert weren. Der letzte Shritt ist ie Anwenung von Lemm 2: ost(splitlef t w w ) = ost t + w + w ost v + w + w = ost (mergesiling (swpfoursyms u ) ) + w + w = ost(swpfoursyms u ) ost u Nun knn ie Optimlität es Huffmn-Algorithmus ewiesen weren. Stz Flls onsistent F ts, height F ts = 0, sortebyweight ts, un ts [], nn optimum (huffmn ts) Der Beweis eruht uf Inuktion üer ie Größe es Wles ts. Als Einge wir eine Liste von Blättern erwrtet, ie ufsteigen nh Gewihten sortiert sin. Inuktionssis Flls ts us einem einzigen Bltt esteht, wir ieses zurükgegeen. Es ht Kosten 0 un ist mit optiml. Inuktionsshritt Flls ts us zwei oer mehreren Knoten esteht, leit nh em ersten Shritt es Algorithmus folgener Term ürig: huffmn w w... w w z w z

9 Der neue Bum, er hier n ritter Stelle eingefügt wure, knn im llgemeinen n jeer Position in er Liste stehen. Die so entstnene Liste entspriht huffmn (splitlef w w z w +w... w w ). w z D w un w miniml sin un somit im ersten Shritt un kominiert weren, sin ie Funktionen huffmn un splitlef in iesem Fll kommuttiv. splitlef (huffmn w w z w +w... ) w w w z Nh Lemm erhält splitlef hier ie Optimlität,.h. es muss nur ie Optimlität es rekursiven Aufrufs er huffmn-funktion gezeigt weren. Diese folgt irekt us er Inuktionshypothese. Somit wure gezeigt, ss er Huffmn-Algorithmus zu Binäräumen mit minimler gewihteter Pflänge führt. Der konkrete Beweis in Iselle enötigt noh einige zusätzlihe Hilfslemmt un Aussgen üer ie Eigenshften er entstehenen Binäräume, folgt er er hier vorgestellten Struktur. Anwenungen Der Algorithmus knn in er Prxis Einsprungen er Dtenmenge von 20-90% erzielen [, S. ], ist ei jeoh sehr hängig von er Verteilung er Häufigkeiten er einzelnen Symole. Die Verreitung von Koierungen mit vrilen Längen ist uf Computern, ie meist uf festen Byte- zw. Wort-Größen reiten komplizierter. Dies ist ei er Verreitung von Text prolemtish. Huffmn-Coes weren heute häufig ls verlustfreier Shritt in Komprimierungsverfhren wie z.b. JPEG oer MP eingesetzt. Außerem kommen sie in vielen Anwenungen ls letzter Shritt vor, um ie zu vor komprimierten Dten uf möglihst optimle Art zuspeihern. D er Huffmn-Algorithmus ie Häufigkeiten er im Text enthltenen Zeihen ls Einge enötigt, ist keine Ehtzeit-Komprimierung möglih. Es existiert jeoh eine ynmishe Vrinte es Huffmn-Algorithmus, ie uh mit einem Pss eine gute Annäherung n ie optimlen Huffmn-Coes liefert []. Huffmn-Coes estehen immer us einer gnzzhligen Anzhl Bits. Deshl esteht ie Möglihkeit, mit Arithmetishem Koieren, woei Dten ls ein einziger Bruh zwishen 0 un mit vriler Genuigkeit rgestellt weren, Dten noh effizienter zu koieren []. Huffmn-Coes können ls Spezilfll ieser Methoe gesehen weren. 9

10 Litertur [] Huffmn, D.A.: A metho for the onstrution of minimumreunny oes. In: Pro. IRE 40(9), S. 09 0, 92. [2] Blnhette, Jsmin C.: Proof Perl: Mehnizing the Textook Proof of Huffmn s Algorithm. Journl of Automte Resoning 4(), S., [] Cormen, Thoms H. ; Leiserson, Chrles E. ; Rivest, Ronl L.: Introution To Algorithms. 2. Aufl.. Cmrige: MIT Press, 200. [4] Knuth, Donl E.: The Art of Computer Progrmming : Volume : Funmentl Algorithms. Boston: Aison-Wesley Professionl, 997. [] Vitter, Jeffrey S.: Design n Anlysis of Dynmi Huffmn Coes. Journl of the ACM, 4(4), Oktoer 97. [] Blelloh, Guy E.: Introution to Dt Compression, 20, unter pf (gerufen m.0.207). 0