Kapitel 10: Optimalcodierung IV

Transkript

1 Kpitel 10: odierug IV Ziele des Kpitels Lempel-Ziv Codig Cover, pp. 319ff 2 Lempel-Ziv Codig Lempel-Ziv Codig Wurde 1977 zum erste Ml vorgestellt Beötigt keie Quellesttistik Wesetlihes Chrkteristikum ist die Redudzreduktio ähred des Codierugsvorgges Grudidee: Suhe iederholt uftretede Zeihekette im Quelltext Speihere diese i eiem dymishe Wörteruh Bilde möglihst viele Quellzeihe ls Zeihekette uf ei Codeort Die Quellesttistik ird lso dymish ufgeut ud ktulisiert Im Wörteruh erde soohl Zeihehrsheilihkeite, ls uh Ueerggshrsheilihkeite erüksihtigt Ferer köe zeitlih veräderlihe Whrsheilihkeite erüksihtigt erde Die Codierug ird utomtish der Quellesttistik gepsst Lempel-Ziv Codierug steht für eie gze Klsse vo Vrite Ds Verfhre erreiht symptotish die Etropie 3 4 1

2 Lempel-Ziv Codig Lempel-Ziv Codig Wir etrhte eie iäre Quelle mit χ = {0,1} Ds Origil-Verfhre: Gegee sei ei Quellstrig x 1 x 2 x ( ) 1. Prse de Strig ud zerlege ih i disjukte Teilstrigs durh Eisetze vo Kommt Beispiel: 1,0,11,01,010,00,10 2. Nh jedem Komm, suhe de ähste Teilstrig, der oh iht ufgetuht ist 3. D dies jeeils der kürzeste, isher oh iht ufgetuhte Strig ist, müsse lle seie e ereits ufgetuht sei 4. D.h. der gesmte vordere Sustrig is uf ds letzte Bit, ist ereits ufgetuht 5. Wir odiere diese Strig durh die Positio (Poiter) des es soie des letzte Bits Beispiel: 4. Strig 01 ürde zu (010,1) 6. Wiederhole dieses Verfhre, is der Strig zu Ede ist Sei () die Azhl gefudeer Sustrigs i der Eigesequez der Läge D eötige ir log 2 ( ( )) Bit zur Codierug der Positio des soie 1 Bit für ds letzte Bit des Strigs Beispiel: (, letztes Bit) (000,1)(000,0)(001,1)(010,1)(100,0)(010,0)(001,0) 5 6 Lempel-Ziv Codig Lempel - Ziv Der Algorithmus eötigt 2 Durhgäge: 1. Prse de Eigestrig, idetifiziere lle Sustrigs, ud erehe () soie log(()) 2. Codiere de Strig mit Hilfe der ermittelte Sustrigpositioe Veresserugsmöglihkeite: 1. Azhl der eötigte Bits zur Positiosodierug ist iht üerll gleih gross (Afg des Strigs) 2. Nur ei Durhluf eötige Ds Verfhre ird vor llem ei grosse Eigestrigs effiziet, de die Positio des es lässt sih durh eiger Bits komprimiere, ls der selst. Gegee ei iärer Strig: Shritt 1: Prsig ud Wörteruh 1,0,11,01,010,00,10 Posito Sustrig

3 Lempel - Ziv Shritt 2: Codierug (-Positio, letztes Bit) 1, 0, 11, 01, 010, 00, 10 (000,1) (000,1) (001,1) (010,1) (100,0) (010,0) (001,0) Beeis der ität Der Beeis ist reht ufädig, dher ur ls Skizze drgestellt Wir etrhte eie iäre Quelle mit χ = {0,1} Defiitio: Ei Prsig S eies Strigs x 1 x 2 x ist eie Zerlegug des Strigs i Teilstrigs, geteilt durh Kommt. Bei eiem eideutige Prsig sid lle Teilstrigs preise disjukt 0,111,1 ist eideutiges Prsig vo ,11,11 ist iht eideutig Der Ziv-Lempel Algorithmus stellt ei eideutiges Prsig dr 9 10 Beeis der ität Lemm 1 () sei die Azhl der Teilstrigs im Ziv-Lempel Prsig eies Strigs der Läge Die Quelle sei durh eie sttioäre, ergodishe Prozess der Form X = X 1,X 2, eshriee Jeder Positiospoiter eötigt log(()) Bit Die Gesmtsequez eötigt lso ( )(log2 ( ( )) + 1) Bit Zu zeige ist lso, dss ( )(log2( ( )) + 1) H ( X ) Wir eötige eiige Lemms Lemm: Für die Azhl vo Sustrigs i eiem Lempel-Ziv Prsig eier iäre Eigesequez X 1 X 2 X gilt ( ) mit ε 0 ud (1 ε ) log Beeis: Siehe Cover pp Die ihtige Aussge ist, dss ir eie ihttrivile oere Greze für die Azhl der Sustrigs fide köe

4 Lemm 2 ud Lemm 3 Theorem 1 Lemm: Sei Z eie Zufllsvrile, elhe positive, gzzhlige Werte mit Mittelert µ esitzt. Die Etropie dieser Zufllsvrile ist ie folgt egrezt: H ( Z) ( µ + 1) log( µ + 1) µ log µ Wir eötige u eie Mrkov-Approximtio Q k der Ordug k des Prozesses Lemm: Für jedes eideutige Prsig des Strigs x 1 x 2 x erhlte ir log Q ( x1, x2,..., x s1) log k l, s ls ls Die Etropierte der Mrkov-Approximtio kovergiert gege die Prozessetropie für grosse k ls ist die Azhl der Sustrigs y i der Läge l ud s Theorem: Sei {X } ei sttioärer, ergodisher Prozess mit Etropierte H(X ) ud sei () die Azhl vo Sustrigs i eiem eideutige Prsig eies Smples der Läge des Prozesses. D gilt ( )log2 ( ) lim sup H ( X ) Die rehte Seite ist uhägig vo Q k Beeis: Wir verede ds vorherige Lemm Theorem 2 Ereiteruge (LZW) Theorem: Sei {X } ei sttioärer, ergodisher Prozess. Sei l(x 1 X 2 X ) die Lempel-Ziv Codeortläge ssoziiert mit der Sequez X 1 X 2 X Aufgrud des vorherige Lemms gilt ( ) lim sup = 0 Aus diesem Grud gilt l( X1, X 2,..., X ) ( )log2 ( ) ( ) lim sup = lim sup + H ( X ) mit eier Whrsheilihkeit vo 1 Wir etrhte eie eit verreitete Ereiterug des Verfhres h Welh (1984) Bis zu 2 12 Eiträge is Wörteruh möglih Die erste 2 8 Eiträge sid für ASCII-Zeihe des Quelllphets voristlliert Jedem Eitrg ist ei Idex i der Läge 12 Bit zugeordet Der LZW-Algorithmus suht ei sequetielle Zeiheeige h ekte Muster Lägster Sustrig, der im Wörteruh eigetrge ist

5 Ereiteruge (LZW) LZW Suhvorgg erfolgt Zeihe für Zeihe Jedes Eizelzeihe ist ereits im Wörteruh Etsheidug, o Sustrig der mximle Läge etspriht, erfolgt erst eim Eilese des folgede Zeihes Aktueller Sustrig ist i diesem Flle ei vo '=*z (Koktetio) Lese ktuelles Zeihe z Kokteiere z mit Prüfe, o ' im Wörteruh Der Eigestrig soll kodiert erde. Ds zu erstellede Wörteruh ist ereits mit =1, =2 ud =3 voristlliert. Eige z Kokt. *z * * * * Wörteruheitrg =1 =2 =3 =4 =5 =6 =7 Ausge <2> <3> LZW Algorithmus Eige z Kokt. *z * * * * * Wörteruheitrg =8 =9 Ausge <4> <7> 1. Lies erstes Zeihe z ud setze :=z 2. Lies ähstes Zeihe z ud kokteiere *z 3. Ist z ereits im Wörteruh? J: Setze :=z Nei: -Trge z is Wörteruh ei -Gi Positio (Poiter) vo us -Setze :=z * * * =10 <5> 4. Ist ktuelles z letztes Zeihe des Strigs? Nei: Gehe h 2. J: Gi us ud stop - <9> Ausge: <2><3><4><7><5><9>

6 Deodierug LZW Deodierug Dzu muss Deodierer mit gleihem Wörteruh, ie Codierer reite Dzu ird die Systemtik des Codierers geutzt A jedes erkte Muster urde ds ähstfolgede Zeihe gehägt Dher ist ds letzte Zeihe eies Eitrges immer idetish zum erste des folgede Eitrgs Bei Dekodierug ird jedes empfgee Codeort üersetzt ud ls (z(1),z(2),...) usgegee Zishespeiher ls Verküpfug z(1) mit erste üersetzte Zeihe Eige: <2><3><4><7><5><9> Eige <2> <3> Ausge zk Kokt. *z(1) * * * Wörteruheitrg =1 =2 =3 =4 =5 = LZW Deodierug Amerkuge <2><3><4><7><5><9> Wird vor llem für verlustfreie Textkompressio veredet Eige Ausge zk Kokt. *z(1) Wörteruheitrg M erreiht. 50% Kompressio i prktishe Aeduge <4> <7> <5> <9> * * * * =7 =8 =9 =10 Effektiv, e sih eie kleie Azhl vo Sustrigs im Text oft iederholt Veresserug durh zusätzlihe Huffm- Codierug zu erreihe Geerell ei sehr edeutsmes Verfhre Ausge: