7/17/06. Huffman-Kodierung. Morsecode. Erstellung eindeutiger Codes

Transkript

1 7/7/6 Huffmn-Kodierung Morsecode Kodierung = Konvertierung der rstellung von Informtion in eine ndere rstellung eispiel: Schriftzeichen sind ein ode, SII ein nderer ode Morsecode kodiert uchstben in bhängigkeit der Häufigkeit F H I J K L M ine (von vielen) ufgben der Kodierung: pltzsprende Speicherung von Informtion Idee der Huffmn-Kodierung: Kodiere ingbewörter mit konstnter Länge (z.. einzelne Zeichen) durch ode-wörter mit vribler Länge. Häufig uftretende ingbewörter werden mit einem kurzen ode drgestellt Seltene ingbewörter bekommen ein längeres ode-wort N O P Q R S lphbet mit drei Zeichen:,, (puse) HLLO Problem beim Weglssen der Puse: ISRRM HRXM IIIIO U V W X Y Z usw. efinition Fno-edingung: kein ode ist Präfi eines nderen odes. Zchmnn Informtik - SS 6 reed-lgorithmen. Zchmnn Informtik - SS 6 reed-lgorithmen rstellung eindeutiger odes Idee: betrchte ingbewörter ls lätter eines ries ode entspricht Pfd von Wurzel zu ltt Verzweigung zum linken Sohn Verzweigung zum rechten Sohn rfüllt offensichtlich die Fno-edingung Länge eines odes = iefe des entspr. lttes eispiel: Σ = {,,,, }, et = bits bits emerkung: jeder beliebige rie mit M lättern knn benutzt werden, um jeden beliebigen String mit M verschiedenen Zeichen zu codieren! ie rstellung ls rie grntiert, dß kein ode für ein Zeichen mit dem nfng eines nderen übereinstimmt, so dß sich die Zeichenfolge unter enutzung des rie uf eindeutige Weise decodieren lässt ei der Wurzel beginnend bewegt mn sich entsprechend den its der Zeichenfolge im rie bwärts; jedesml, wenn ein ltt ngetroffen wird, gebe mn ds zu diesem Knoten gehörige Zeichen us und beginne erneut bei der Wurzel. Zchmnn Informtik - SS 6 reed-lgorithmen 5. Zchmnn Informtik - SS 6 reed-lgorithmen 6

2 7/7/6 igenschften eines optimlen ode-umes Lemm: in optimler rie zur Kodierung ist ein voller um, d.h., jeder innere Knoten ht genu Kinder. eweis durch Widerspruch (Übungsufgbe) Sei ds lphbet, dnn ht der rie viele lätter (klr) und - innere Knoten (s.o.) egeben: String S = s s n, s i Σ sei h s (c) = bsolute Häufigkeit des Zeichens c im String S sei d (c) = iefe von c im rie = Länge des odewortes von c nzhl its zur Kodierung von S mittels ode gegeben durch Lemm: Seien Σ, h wie oben, seien, Σ diejenigen Zeichen mit minimler Häufigkeit. nn e. ein optimler odierungs-rie für Σ, in dem, rüder sind und uf dem untersten Level. eweis durch Widerspruch: Idee: usgehend von irgend einem optimlen rie, konstruiere neuen rie, der uch optiml ist und die edingungen erfüllt nn.: ist optimler rie, ber, sind nicht uf m. Level es e. lätter, b, die rüder sind, mit Ziel: bestimmen, so dß (S) = min b. Zchmnn Informtik - SS 6 reed-lgorithmen 7. Zchmnn Informtik - SS 6 reed-lgorithmen 8 Vertusche lätter und rie ' nlog: und b vertuschen ergibt '' mit b ' b '' Lemm: Seien Σ, h wie oben, seien, Σ Zeichen mit minimler Häufigkeit. Setze Σ' := Σ \ {, } {z}. efiniere h uf Σ' wie uf Σ und setze h(z) := h() + h(). Sei ' ein optimler rie (bzgl. odelänge) über Σ'. nn erhält mn einen optimlen rie für Σ us ', indem mn ds ltt z in ' ersetzt durch einen inneren Knoten mit den beiden Kindern und. ' z. Zchmnn Informtik - SS 6 reed-lgorithmen 9. Zchmnn Informtik - SS 6 reed-lgorithmen

3 7/7/6 Huffmn-odes eweis: Idee: rzeugung eines optimlen ode-ums in zwei Schritten zunächst: () mittels (') usdrücken '. sortiere Wörter nch Häufigkeit - z. erzeuge um bottom-up durch wiederholtes Verschmelzen der beiden seltensten Wörter - eispiel: Σ = {,,,, }, et =. rmittlung der Häufigkeiten und Sortierung nn.: ist nicht optiml e. '' mit ('') < () - od (gemäß erstem Lemm):, sind rüder in '' - rzeuge rie ''' us '', in dem, und deren gemeinsmer Vter ersetzt werden durch neues ltt z, mit h(z) = h() + h() Zeichen Häufigkeit 8 P(Zeichen) 8/5 /5 /5 /5 - lso wäre schon ' nicht optiml gewesen Widerspruch! /5. Zchmnn Informtik - SS 6 reed-lgorithmen. Zchmnn Informtik - SS 6 reed-lgorithmen Implementierung. ufbu des ums : 8 : : : : : 8 Z: : : : 8 Y: Z: : 8 X: 7 W: 5 = 9 bits W X Y Z # = lphbet, jedes c ht c.freq # Q = P-Queue, sortiert nch c.freq füge lle c in Q ein for i in rnge(, len() ): = = etrct_min( q ) erstelle neuen rie-knoten z mit Kindern und z.freq =.freq +.freq q.insert( z ) return etrct_min(q) # Wurzel des umes lgorithmus-nimmtion (nmerkung: dies ist ein reed-lgorithmus). Zchmnn Informtik - SS 6 reed-lgorithmen. Zchmnn Informtik - SS 6 reed-lgorithmen

4 7/7/6 esmt-lgorithmus zum Kodieren ekodierung mit Huffmn-odes. ufbu des ode-ums ufbu des ode-ums Häufigkeit beim urchlufen des etes ermitteln binärer rie Hep für die Knoten, geordnet nch Häufigkeit inärer rie für den ode-um. rzeugen der ode-belle ekodieren der itfolge beginne n der Wurzel des ode-ums steige gemäß der gelesenen its im um b rversierung des ums. Kodieren des etes gib bei rreichen eines lttes ds zugehörige Zeichen us und beginne von vorne Look-up des odes pro Zeichen in ode-belle. Speichern des ode-umes zusmmen mit dem kodierten et. Zchmnn Informtik - SS 6 reed-lgorithmen 5. Zchmnn Informtik - SS 6 reed-lgorithmen 6 Weitere eispiele et: SIMPL SRIN O NO USIN MINIML NUMR OF IS zugehörige Häufigkeits-belle: k F H I J K L M N O P Q R S U V W X Y Z N I h(k) O S M 9 es sind Leerzeichen, drei, drei usw. F U L R P (ie kleine Zhl oberhlb jedes Knotens in diesem um ist der Inde für ds rr count, der ngibt, wo die Häufigkeit gespeichert ist. Knn mn uch nders nummerieren.). Zchmnn Informtik - SS 6 reed-lgorithmen 7. Zchmnn Informtik - SS 6 reed-lgorithmen 8

5 7/7/6 Kodieren des Wörterbuchs,,,587,,7,7,8 H,95,7,7,88,9, OF O N,5,7,7, IN IS H,, ON I W'keit des uftretens,7,7,7,99,88,7,5,,, odierungseinheit the of nd to in tht is it on ode- Länge 5 5 ode- Wert Ziel: Kompktes Formt des ode-ums infchste Vrinte: Pro Zeichen k+n its, k konstnt k its zur Repräsenttion der Zhl n, n its zur Repr. des odes Nicht effizient esser: rversierung des ries (z.. in Preorder) Pkete us Zeichen plus ode-länge (beides mit konstnter it-nzhl) eispiel: Σ = {,,,, } W Y X Z. Zchmnn Informtik - SS 6 reed-lgorithmen. Zchmnn Informtik - SS 6 reed-lgorithmen Noch effizientere Übertrgung des odebumes igenschften eobchtungen: In gewissem Sinn(!) optimler, d.h. minimler, ode enue Lge eines Zeichens im um ist egl! Wichtig ist nur die iefe! Umrrngieren des ries (bei fester Zuordnung zwischen Zeichen und lättern) liefert rie, in dem lätter von links nch rechts tiefer werden odes der Zeichen ändern sich, nicht ber Optimlität Vorussetzung u..: Vorkommen der Zeichen ist unbhängig voneinnder Keine Kompression für zufällige ten lle Zeichen hbe nnähernd gleiche Häufigkeit rstellung des ries: ib nzhl Zeichen mit bestimmter Länge n, gefolgt von diesen Zeichen, ufsteigend nch Länge eispiel: - Zeichen der Länge, der Länge, der Länge -,,,,,,,, rfordert zweimliges urchlufen des etes ermöglicht kein Strem-Processing Wörterbuch muß i.. zusätzlich gespeichert werden konstnte röße für große teien vernchlässigbr nn lässt sich der ursprüngliche rie wieder genu rekonstruieren. Zchmnn Informtik - SS 6 reed-lgorithmen. Zchmnn Informtik - SS 6 reed-lgorithmen 5

6 7/7/6 Huffmn-Vrinten Zusmmenfssung reed-lgorithmen nmische Zeichenverteilung llgemeine Vorgehensweise: Häufigkeitsnlse vor eginn der Kodierung Sttische Zeichenverteilung nhnd von nlsen fest vorgegebener ode-um Z.. für jede Sprche (nglisch, ) ein eigener, fester ode-um Wörterbuch muß nicht bgespeichert werden dptive Zeichenverteilung npssung der Verteilung zur Lufzeit nwendung: JP (ncoder im ck-nd) reffe in jedem Schritt eine ntscheidung, die kleineres eilproblem übrig lässt Korrektheitsbeweis: Zeige, dß eine optimle Lösung des entstehenden eilproblems zusmmen mit der getroffenen ntscheidung zu optimler Lösung des esmtproblems führt s lässt sich meist durch Widerspruch zeigen: - ngenommen, es gibt optimle Lösung S', die besser ist ls reed-lösung S - zeige: dnn knn S' noch verbessert oder in reed-lösung umgewndelt werden. Zchmnn Informtik - SS 6 reed-lgorithmen. Zchmnn Informtik - SS 6 reed-lgorithmen 5 reed vs. nmische Progrmmierung eispiele für reed-lgorithmen Ähnlich: optimle Unterstruktur Scheduling Verschieden: ctivit-selection-problem bei der dnmischen Progrmmierung erhält mn oft mehrere Unterprobleme, bei reed-lgorithmen (in der Regel) nur eines bei dnmischer Progrmmierung hängt die ntscheidung von der Lösung der Unterprobleme b, bei reed-lgorithmen nicht edline-scheduling rphen-lgorithmen Minimum-Spnning-ree ijkstrs Kürzester-Weg-lgorithmus reed-strtegie dient oft ls Heuristik für "hrte" Probleme: rphenfärbung (-Frben-Problem) rveling-slesmn-problem (SP) Set-overing. Zchmnn Informtik - SS 6 reed-lgorithmen 6. Zchmnn Informtik - SS 6 reed-lgorithmen 7 6