Mathematik für Information und Kommunikation

Transkript

1 Mathematik für Information und Kommunikation Am Beispiel des Huffman- Algorithmus Thomas Borys und (Christian Urff)

2 Huffman im Alltag MPEG Telefax JPEG MP3 ZIP

3 avid Huffman avid Huffman [95-999]

4 Gliederung.. Grundidee des des Huffman-Algorithmus.. er erhuffman-algorithmus exemplarisch an an einem Beispiel Eigenschaften der der Huffman-Codes Anwendung des des Huffman beim Telefax

5 Grundidee des Huffman-Algorithmus Kompressionsverfahren Verlustfreie Kompression Verlustbehaftete Kompression

6 Grundidee des Huffman-Algorithmus Luft weglassen Verlustfreie Kompression

7 Grundidee des Huffman-Algorithmus Zusammenfassung Unwichtiges weglassen skda fjlsakd lksdaj lskdaf lsdakj ölsadk jflaskfj sadflk lkdsjf lksdajf ölsakjf ölsakf lksadjflksajfdölsakdjfl sdlkfj sdalökj fldsak fjsaldök jlsadk jfaölskjd flsadkjfaslökjf aölskjfdiejlökajdsfiealkfjaiejlkasjfoiasejlkf saelifjlask jfsalifdjlksdajf ölskaj ldksaj ldsakfjlisafjlkds lkdsajfiejlkdsajfiesf lksadjfaeslksadjisaejflkdsjf lkdsjfilesajflkd isajfelkjldskjfasilfj esalkjflisadfjelkdjsafi eölakfjesaoi ölaskjflsakdjfoiasjelkjesalfjafsalfj sdlakf jldsakfjfsaiejlksadjfiesa lkdsaj lidjsfa lkeaj iaejlkdf ielkf ösaldkfjlesajflkd isajfelkjldskjfasilfj esalkjflisadfjelkdjsafi eölakfjesaoi ölaskjflsakdjfoiasjelkjesalfjafsalfj sdlakf jldsakfjfsaiejlksadjfiesa lkdsaj lidjsfa lkeaj iaejlkdf ielkf ösaldkfjlesajflkd isajfelkjldskjfasilfj esalkjflisadfjelkdjsafi eölakfjesaoi ölaskjflsakdjfoiasjelkjesalfjafsalfj sdlakf jldsakfjfsaiejlksadjfiesa lkdsaj lidjsfa lkeaj iaejlkdf ielkf ösaldkfjlesajflkd isajfelkjldskjfasilfj esalkjflisadfjelkdjsafi eölakfjesaoi ölaskjflsakdjfoiasjelkjesalfjafsalfj sdlakf jldsakfjfsaiejlksadjfiesa lkdsaj lidjsfa lkeaj iaejlkdf ielkf ösaldkfjlesajflkd isajfelkjldskjfasilfj esalkjflisadfjelkdjsafi jldsakfjfsaiejlksadjfiesa lkdsaj lidjsfa lkeaj iaejlkdf ielkf ösaldkfjlesajflkd isajfelkjldskjfasilfj esalkjflisadfjelkdjsafi eölakfjesaoi ölaskjflsakdjfoiasjelkjesalfjafsalfj sdlakf jldsakfjfsaiejlksadjfiesa lkdsaj lidjsfa lkeaj iaejlkdf ielkf ösaldkfjlesajflkd isajfelkjldskjfasilfj esalkjflisadfjelkdjsafi jldsakfjfsaiejlksadjfiesa lkdsaj lidjsfa lkeaj iaejlkdf ielkf ösaldkfjlesajflkd isajfelkjldskjfasilfj esalkjflisadfjelkdjsafi eölakfjesaoi ölaskjflsakdjfoiasjelkjesalfjafsalfj sdlakf jldsakfjfsaiejlksadjfiesa lkdsaj lidjsfa lkeaj iaejlkdf ielkf ösaldkfjlesajflkd isajfelkjldskjfasilfj esalkjflisadfjelkdjsafi eölakfjesaoi ölaskjflsakdjfoiasjelkjesalfjafsalfj sdlakf jldsakfjfsaiejlksadjfiesa lkdsaj lidjsfa lkeaj iaejlkdf ielkf ösaldkfjl esajflkd isajfelkjldskjfasilfj esalkjflisadfjelkdjsafi eölakfjesaoi ölaskjflsakdjfoiasjelkjesalfjafsalfj sdlakf jldsakfjfsaiejlksadjfiesa lkdsaj lidjsfa lkeaj iaejlkdf ielkf ösaldkfjlesajflkd isajfelkjldskjfasilfj esalkjflisadfjelkdjsafi eölakfjesaoi ölaskjflsakdjfoiasjelkjesalfjafsalfj sdlakf jldsakfjfsaiejlksadjfiesa lkdsaj lidjsfa lkeaj iaejlkdf ielkf ösaldkfjl Verlustbehaftete Kompression

8 Grundidee des Huffman-Algorithmus er er Huffman-Algorithmus Huffman-Algorithmus arbeitet arbeitet verlustfrei verlustfrei!!!!!! Luft weglassen Verlustfreie Kompression

9 Grundidee des Huffman-Algorithmus ABRAKAABRA ASCII A= B= Bit Bit Idee: häufig vorkommende Zeichen bekommen einen kürzeren Code, selten vorkommende Zeichen ein ein längeres Codewort z.b. z.b. A= A= B=....

10 Grundidee des Huffman-Algorithmus Häufig benötigte Bücher stellt man in greifbare Nähe (Augenhöhe) Selten benötigte Bücher verstaut man weiter oben oder unten

11 Grundidee des Huffman-Algorithmus Morse-Code A -- B -- C E F - - G H I I J ---- K L -- M N -- O P --- Q R -- S T Samuel - Morse - U - - V - - W --- X [79-87] Y Z

12 er Huffman-Algorithmus exemplarisch an einem Beispiel Ziel: Ziel: Jedem im im Text Text vorkommenden Zeichen wird wird ein ein Binärcode zugewiesen! Wurzel Kanten Wurzelbaum Knoten Blätter A E B C

13 er Huffman-Algorithmus exemplarisch an einem Beispiel Text: ABRAKAABRA Häufigkeitsanalyse: Buchstaben A B R K Häufigkeit 5

14 er Huffman-Algorithmus exemplarisch an einem Beispiel Text: ABRAKAABRA Häufigkeitsanalyse: Buchstaben A B R K Häufigkeit 5

15 er Huffman-Algorithmus exemplarisch an einem Beispiel Text: ABRAKAABRA Häufigkeitsanalyse: Buchstaben A B R K Häufigkeit 5

16 er Huffman-Algorithmus exemplarisch an einem Beispiel Text: ABRAKAABRA Häufigkeitsanalyse: Buchstaben A B R K Häufigkeit 5

17 er Huffman-Algorithmus exemplarisch an einem Beispiel Text: ABRAKAABRA Häufigkeitsanalyse: Buchstaben A B R K Häufigkeit 5 A 5 B R K Huffman-Liste

18 er Huffman-Algorithmus exemplarisch an einem Beispiel Zusammenführung K K K A 5 K B R K Huffman-Liste

19 er Huffman-Algorithmus exemplarisch an einem Beispiel A 5 BR 4 K B R K Huffman-Liste 3

20 er Huffman-Algorithmus exemplarisch an einem Beispiel A 5 BKR 6 BR 4 K B R K Huffman-Liste 4

21 er Huffman-Algorithmus exemplarisch an einem Beispiel ABKR A 5 BKR 6 BR 4 K B R K Huffman-Liste 5

22 er Huffman-Algorithmus exemplarisch an einem Beispiel Codebaum ABKR Codetabelle Buchstaben Binärcode A A 5 BKR 6 BR 4 K B R K

23 er Huffman-Algorithmus exemplarisch an einem Beispiel Codebaum Codetabelle ABKR Buchstaben Binärcode A A 5 BKR 6 B BR 4 K B R K

24 er Huffman-Algorithmus exemplarisch an einem Beispiel Codebaum Codetabelle ABKR Buchstaben Binärcode A A 5 BKR 6 B BR 4 K B R K

25 er Huffman-Algorithmus exemplarisch an einem Beispiel Codebaum Codetabelle ABKR Buchstaben Binärcode A A 5 BKR 6 B K BR 4 K B R K

26 er Huffman-Algorithmus exemplarisch an einem Beispiel Codebaum Codetabelle ABKR Buchstaben Binärcode A A 5 BKR 6 B K BR 4 K R B R K

27 er Huffman-Algorithmus exemplarisch an einem Beispiel Codierung des des Textes: A B R A K A A B R A Buchstaben Binärcode A B K R Eingabe: Eingabe: Hauptteil: Hauptteil: Ausgabe: Ausgabe: Zusammenfassung des des Algorithmus: Häufigkeitstabelle Häufigkeitstabelle.. Erstelle Erstelle die die Huffman-Liste. Huffman-Liste... Wiederhole Wiederhole die die Zusammenführung Zusammenführung der der beiden beiden mit mit der der geringsten geringsten Häufigkeit Häufigkeit beschrifteten beschrifteten Bäume Bäume so so lange, lange, bis bis die die Huffman-Liste Huffman-Liste nur nur noch noch aus aus einem einem Baum, Baum, dem dem Huffman-Baum, Huffman-Baum, besteht. besteht. Codebaum Codebaum Interaktives Interaktives Experimentiersystem: Experimentiersystem:

28 Eigenschaften des Huffman-Codes A 5 ABKR BKR 6 ecodieren wir wir den den Text: BR 4 K B R K

29 Eigenschaften des Huffman-Codes A 5 ABKR BKR 6 ecodieren wir wir den den Text: A BR 4 K B R K

30 Eigenschaften des Huffman-Codes A 5 ABKR BKR 6 ecodieren wir wir den den Text: A K BR 4 K B R K

31 Eigenschaften des Huffman-Codes A 5 ABKR BKR 6 ecodieren wir wir den den Text: A K A BR 4 K B R K

32 Eigenschaften des Huffman-Codes A 5 ABKR BKR 6 ecodieren wir wir den den Text: A K A R BR 4 K B R K

33 Eigenschaften des Huffman-Codes er er Huffman-Code Huffman-Code ist istpräfixfrei. Vergleich Vergleich mit mit dem dem Telefonsystem: Telefonsystem: as as Telefonnummernsystem ist ist auch auch präfixfrei. präfixfrei. Beispiel: Beispiel: Wählt Wählt man man,, weiß weiß das das System, System, dass dass man man fertig fertig mit mit wählen wählen ist ist und und verbindet verbindet einen einen mit mit der der Polizei. Polizei. as as liegt liegt daran, daran, dass dass die die Nummer Nummer nie nie Anfangsteil Anfangsteil (Präfix) (Präfix) einer einer anderen anderen Nummer, Nummer, z.b. z.b. gibt gibt es es keine keine Telefonnummer Telefonnummer.. Woran Woran erkennt erkennt man man einen einen präfixfreien präfixfreien Code? Code? Ein Ein Codebaum Codebaum liefert liefert einen einen präfixfreien präfixfreien Code, Code, wenn wenn die die zu zu codierenden codierenden Zeichen Zeichen nur nur in in den den Blättern Blättern des des Baumes Baumes stehen. stehen. Beim Beim Morsecode Morsecode ist ist dies dies beispielsweise beispielsweise nicht nicht der der Fall, Fall, daher daher muss muss nach nach jedem jedem Buchstaben Buchstaben eine eine kleine kleine Pause Pause mitgeteilt mitgeteilt werden. werden. - E T - - A B C I N N M präfixfrei präfixfrei Morsecode Morsecode

34 Eigenschaften Huffman-Codes A 5 K B R K Huffman-Liste In In der der Huffman-Liste zwei zwei haben wir wir B B und und R R zu zu einem Baum zusammengeführt, wir wir hätten auch K K und und B B wählen können.

35 Eigenschaften des Huffman-Codes Codebaum* A 5 ABKR BKR 6 Codetabelle* Buchstaben Binärcode A B R BK 4 K R B K K

36 Eigenschaften des Huffman-Codes Codierung* des des Textes: A B R A K A A B R A Buchstaben Binärcode A B K R Mittlere Mittlere Codewortlänge Codewortlänge 3/,. 3/,. L ie ie Formel Formel liefert liefert den den Erwartungswert Erwartungswert der der Zufallsvaribalen Zufallsvaribalen Codewortlänge. Codewortlänge. er er Huffman-Algorithmus minimiert minimiert die die mittlere mittlere Codewortlänge Codewortlänge und und liefert liefert eine eine möglichst möglichst kurze kurze also also eine eine optimalen optimalen Codierung. Codierung. ie ie Huffman-Codewortlänge ist ist ein ein Maß Maßfür für die die Entropie Entropie eines eines Textes. Textes. n = i= p i l i

37 Anwendungsbeispiele MPEG Telefax JPEG MP3 ZIP

38 78 Pixel pro Zeile Telefax-Codierung Speicherplatzbedarf: *78= Bit (ca.,7 MBit) Übertragung würde 7478 bit/4 bit/sec=77sec bzw. min dauern. Zeilen

39 Lauflängencodierung 7w, 4s, 8w, s, 4w, 3s, 7w, 3s, 8w, 3s, 4w, 3s, 5w, 3s, 5w, 6s, 5w, 6s, w, 3s, 8w, 3s, 7w Lauflängencodierung (run-length) Häufigkeitsanalyse: s 4w 8w 7w 5w s 4s 6s 6s w

40 Telefax Häufigkeitsanalyse Huffman-Algorithmus

41 Telefax-Code: (Ausschnitt) Lauflänge Codes für Schwarz s s 3s 4s 5s 6s 7s 8s 9s s s s 3s 4s 5s 6s 7s 8s 9s

42 Effizienz der Kompression Es lassen sich Kompressionsraten von bis zu :5 erreichen. Ohne Kompression Mit Kompression atenmenge Übertragungsdauer,7 MBit,4 MBit min (7 sec) 5 sec

43 Mathematik für Information und Kommunikation Am Beispiel des Huffman- Algorithmus Thomas Borys und (Christian Urff) anke anke für für Ihre Ihre Aufmerksamkeit. Aufmerksamkeit.