Algorithmen und Datenstrukturen (für ET/IT)

Transkript

1 Algorithmen und Datenstrukturen (für ET/IT) Wintersemester 2012/13 Dr. Tobias Lasser Computer Aided Medical Procedures Technische Universität München

2 Programm 11 Datenkompression Einführung Grundlagen Informationstheorie Huffman Codes Lempel-Ziv Verfahren JPEG 2

3 Warum Datenkompression? Datenbanken: Experimente vom LHC: ca. 15PB Daten pro Jahr Steam-Plattform ca. 30PB Daten pro Monat (Stand: 2011) Google bearbeitet ca. 24PB Daten pro Tag (Stand: 2008) Filmmaterial: 90 Minuten Film in PAL Auflösung, 25fps: 105GB Kapazität DVD: 8.5GB (single side, dual layer) 90 Minuten Film in Full HD (1080p), 24fps: 501GB Kapazität Blu-Ray: 50GB (dual layer) Grafik: Display mit Auflösung 2560x1600, 60Hz Refresh (z.b. Google Nexus 10): Datenrate 700MB/s 4K Display (Auflösung 4096x2160, 60Hz Refresh): 1.5GB/s Datenrate verdoppelt sich für 3D Displays 3

4 Warum Datenkompression? limitierte Speicherkapazitäten: 3.5 Festplatte: bis zu 4TB (Stand: 2012) 2.5 Solid State Disk (SSD): bis 500GB (in 2013: bis 800GB) Flash-Speicher in Handys/Tablets: typisch 16GB bis 64GB (Stand: 2012) DVD: 8.5GB, Blu-Ray: 50GB (jeweils dual layer) limitierte Kapazitäten von Datenübertragung: Ethernet: typisch 1Gbit/s ( 100MB/s) mit Glasfaser bis 100GBit/s WLAN: n bis zu 450MBit/s ( 40MB/s) in Markteinführung: ac bis zu 1GBit/s Mobilfunk: LTE aktuell bis zu 100MBit/s ( 12MB/s) 4

5 Praxisbeispiele Datenkompression Speicherung von Bildern GIF Format (LZW) PNG Format (LZ77 mit Huffmann-Codierung) JPEG Format (DCT mit Quantisierung und Huffmann-Codierung) JPEG2000 Format (DWT mit Quantisierung und arithmetischer Codierung) Speicherung von Audio MP3 (MDCT, Psycho-akustisches Modell und Huffmann-Codierung) AAC / MPEG-4 (MP3 mit Verbesserungen) Speicherung von Video MPEG-2 (DCT mit Quantisierung und Huffmann-Codierung) H.264 / MPEG-4 (MPEG-2 mit Verbesserungen und arithmetischer Codierung) 5

6 Praxisbeispiele Datenkompression Netzwerkübertragung PPP mit LZS (LZ77 mit Huffmann-Codierung) HTTP mit gzip (LZ77 mit Huffmann-Codierung) Datenspeicherung auf Festplatten ZIP Datei-Archive (LZ77 mit Huffmann-Codierung) bzip2 Datei-Kompression (BWT mit Huffmann-Codierung) 7zip LZMA (LZ77 mit Range-Codierung) Office Dokument meist ge-zipt Sandforce SSD Controller komprimieren Daten automatisch NTFS Filesystem automatische Kompression (LZ77 Variante) 6

7 Datenkompression - wie? Verlustfreie Kompression exakte Wiederherstellung des Originals Codierung mit variabler Wortlänge Kompressionrate typisch 2:1 bis 4:1 Achtung: kann zu Datenexpansion führen! Beispiele: Huffmann- und arithmetische Codierung, LZ77, LZW Verlustbehaftete Kompression Original nicht wiederherstellbar (Verlust) Kompressionsrate fast beliebig wählbar (bei Qualitätsverlust!) Ausnutzung menschlicher Wahrnehmungs-Beschränkungen Beispiele: MP3, AAC, MPEG-2, H.264, JPEG, JPEG2000 7

8 Codierungen Beispiel: Computer mit ASCII Code: jedes Zeichen 8 Bit 8 mal 8 Bit = 64 Bit mit Unicode: jedes Zeichen 16 Bit 8 mal 16 Bit = 128 Bit eigentlich: nur 8 verschiedene Zeichen, könnte in jeweils 3 Bit codiert werden 8 mal 3 Bit = 24 Bit Kompressionsrate: 62.5% im Vergleich zu ASCII Kompressionsrate: 81.25% im Vergleich zu Unicode 8

9 Kompressionsrate Kompressionsrate Sei E Grösse der Eingabe, C Grösse der komprimierten Eingabe, dann ist die Kompressionsrate CR CR = 1 C E Eingabe wird nicht komprimiert CR = 0% Eingabe wird auf ein Drittel komprimiert CR = 66.6% Eingabe wird auf 0 komprimiert CR = 100% Eingabe wird verlängert CR < 0 9

10 Codierungen Beispiel: Abrakadabra Vorkommen: Symbol Häufigkeit Huffman-Code A 5 0 B 2 10 R K D Codierung: ASCII: 11*8 = 88 Bits Huffman: 5*1 + 2*2 + 2*3 + 1*4 + 1*4 = 23 Bits Kompressionsrate: CR = 73.87% 10

11 Datenkompression Symbole Wahrscheinlichkeiten Codes Input Modell Encoder Output Modell: z.b. einfaches statistisches Modell ohne Gedächtnis Häufigkeiten der Symbole Encoder: z.b. Huffman-Codierer (s. später) 11

13 Eingabequelle Eingabequelle ohne Gedächtnis Wir betrachten eine Eingabequelle Q ohne Gedächtnis, die Wörter produziert (also ein Folge von Buchstaben oder Symbolen) mittels einem Alphabet {a 0, a 1,..., a N 1 } von N Symbolen. Wir bezeichnen p j = p(a j ) = Wahrscheinlichkeit daß a j produziert wird für j = 0,..., N 1. Beispiele für Alphabet: {0, 1} für eine binäre Quelle { , ,..., } für eine ASCII Quelle 13

14 Wahrscheinlichkeitsverteilung Wahrscheinlichkeitsverteilung Sei Q Eingabequelle mit Wahrscheinlichkeiten p 0,..., p N 1. Dann heißt p = (p 0,..., p N 1 ) Wahrscheinlichkeitsverteilung von Q. Sei w = a j1 a j2 a jn ein Wort der Länge n aus der Quelle Q. Die Annahme, daß Q ohne Gedächtnis ist äquivalent zu p(w) = p(a j1 )p(a j2 ) p(a jn ) d.h. die Ereignisse sind unabhängig. 14

15 Informationsgehalt Informationsgehalt Sei w Wort aus Quelle Q. ( ) 1 I (w) = log 2 p(w) heißt Informationsgehalt von w. = log 2 p(w) I (w) ist invers proportional zu p(w) je seltener das Wort, desto interessanter ist es es ist I (a j1 a j2 a jn ) = I (a j1 ) + I (a j2 ) I (a jn ), d.h. der Informationsgehalt eines Wortes ist die Summe der Informationsgehalte seiner Buchstaben 15

16 Informationsgehalt: Beispiele Informationsgehalt ist über Logarithmus zur Basis 2 definiert Informationseinheit Bit! Beispiel Münzwurf: Quelle Q produziert a 0 = Kopf, a 1 = Zahl Wahrscheinlichkeitsverteilung p = (p 0, p 1 ) = ( 1 dann ist I (a 0 ) = I (a 1 ) = log = 1 Codierung z.b. Kopf 0, Zahl 1 ( also 1 Bit) 2, 1 2 Beispiel Würfel: Quelle Q produziert Zahlen zwischen 0 und 255 (sehr großer Würfel) Wahrsch.-verteilung p = (p 0,..., p 255 ) = ( 1 256,..., 1 I (a 0 ) =... = I (a 255 ) = log = 8 Codierung mit 8 Bits ) 256 ) 16

17 Entropie Entropie Sei Q Quelle mit Alphabet {a 0,..., a N 1 } und Verteilung p = (p 0,..., p N 1 ). Dann heißt der durchschnittliche Informationsgehalt pro Symbol (in Bits pro Symbol) H(p) := p 0 I (a 0 ) p N 1 I (a N 1 ) Entropie der Quelle Q. = p 0 log 2 p 0... p N 1 log 2 p N 1 Sei das Alphabet {a 0,..., a N 1 } statisch, wir variieren p. H(p) = 0 Q produziert nur ein Symbol (z.b. a 0 ) d.h. p(a 0 ) = 1 und I (a 0 ) = 0 H(p) ist maximal p 0 =... = p N 1 = 1 N dann ist H(p) = log 2 N 17

18 Entropie: Beispiel Sei Q Quelle mit Alphabet {a 0,..., a 7 } und Verteilung p = (p 0,..., p 7 ) mit p 0 = 1 2, p 1 = 1 4, p 2 = p 3 = 1 16, p 4 = p 5 = p 6 = p 7 = 1 32 Informationsgehalt: Entropie: I (a 0 ) = 1, I (a 1 ) = 2, I (a 2 ) = I (a 3 ) = 4, I (a 4 ) = I (a 5 ) = I (a 6 ) = I (a 7 ) = 5 H(p) = =

19 Entropie-Codierung: Beispiel Symbol p(a j ) I (a j ) Codierung 1 a a a a a a a a ohne Kompression: 8 verschiedene Symbole 3 Bit Symbole benötigen Bits mit Entropie-Codierung: basierend auf Statistik der Quelle Symbole benötigen Bits Kompressionsrate CR = 29.16% 19

20 Präfixcode Präfixcode Ein Code heißt Präfixcode, falls kein Codewort Präfix eines anderen Codewortes ist. der Entropie-Code der vorigen Folie ist ein binärer Präfixcode betrachte den Code A 0, B 01, C 10 decodiere : nicht eindeutig! kann sein: AACC, ABAC oder ABBA Code von A ist Präfix von Code von B decodiere mit Entropie-Code (vorige Folie) decodiert: a 0 a 3 a 0 a 0 a 5 a 7 a 2 a 0 a 1 a 0 a 0 in der Tat: jeder eindeutig zu decodierende Code ist ein Präfixcode (McMillan, 1956) 20

21 Kraft Ungleichung Sei Q Quelle mit Alphabet {a 0,..., a N 1 } und Verteilung p = (p 0,..., p N 1 ). Idee von Shannon (1948): assoziiere zu jedem a j einen binären Code mit Länge l j, so daß wann funktioniert das? Kraft Ungleichung (1949) l j = I (a j ) für alle j = 0,..., N 1 Seien l 0,..., l N 1 vorgegebene Längen für binäre Codewörter. Dann gibt es einen binären Präfixcode mit diesen Längen genau dann, wenn N 1 j=0 2 l j 1. 21

22 Quellencodierungssatz von Shannon Quellencodierungssatz von Shannon (1948) Sei Q Quelle mit Alphabet {a 0,..., a N 1 } und Verteilung p = (p 0,..., p N 1 ). Sei C ein assoziierter binärer Präfixcode mit durchschnittlicher Länge der Codewörter l = N 1 j=0 p jl j (in Bits pro Symbol). Dann gilt: H(p) l. in anderen Worten: es gibt keine verlustfreie Kompression unter der Entropie. für Code, der nach Shannon s Idee erstellt wurde, gilt: l < H(p)

24 Algorithmus: Shannon-Fano Code Sei Q Quelle mit Alphabet {a 0,..., a N 1 }. 1 Sortiere Symbole absteigend in eine Liste gemäss ihrer Häufigkeit 2 Unterteile Liste in zwei Teile, so daß die Summe der Häufigkeiten des ersten Teils möglichst nahe an der Summe der Häufigkeiten im zweiten Teil ist 3 Der erste Teil erhält 0 als Binärziffer, der zweite Teil 1 4 Wende Schritt 2 und 3 rekursiv an 5 Die sich ergebenden Folgen von Binärziffern sind der Shannon-Fano Code 24

25 Shannon-Fano Code: Beispiel Symbol Häufigkeit Code a 0 16 a 1 8 a 2 2 a 3 2 a 4 1 a 5 1 a 6 1 a

26 Präfixcode als Baum a a a 2 a a 4 a 5 a 6 a 7 Codieren: finde Pfad von Wurzel zu Blatt a j Decodieren: durchlaufe Baum von Wurzel gemäß Code 26

27 Algorithmus: Huffman-Baum Sei Q Quelle mit Alphabet {a 0,..., a N 1 } und Verteilung p = (p 0,..., p N 1 ). 1 Erzeuge eine Liste von Blättern mit je ein Blatt pro a j mit Gewicht p j für j = 0,..., N 1 2 Für die zwei Knoten mit geringstem Gewicht erzeuge Vaterknoten mit Summe der Gewichte 3 Ersetze die zwei Knoten in Liste mit Vaterknoten 4 Wiederhole Schritt 2 und 3 bis nur 1 Knoten (die Wurzel) übrig ist (weiteres Beispiel für Greedy-Algorithmus) 27

28 Huffman-Code: Beispiel a 0 a 1 a 2 a 3 a 4 a 5 a 6 a decodiere:

29 Huffmann vs. Shannon-Fano Shannon-Fano: Baum wird von Wurzel abwärts erstellt Huffman: Baum wird von Blättern aufwärts erstellt Huffman ist optimaler Code mit ganzzahliger Anzahl von Bits Beispiel: Symbol a 0 a 1 a 2 a 3 a 4 Häufigkeit p j Shannon-Fano Huffman Durchschnittliche Codelänge: Shannon-Fano: l = ( 2 ( ) + 3 (6 + 5) ) / Bits/Symbol Huffman: l = ( ( ) ) / Bits/Symbol 29

30 Huffman in der Praxis Codieren: Häufigkeiten / Wahrscheinlichkeiten müssen zuerst erzeugt werden Quelle muß zweimal gelesen werden Decodieren: Baum muß zuerst übertragen werden z.b. als Liste der Wahrscheinlichkeiten (kostet Platz!) anderer Ansatz: starte mit Gleichverteilung, adaptiere Wahrscheinlichkeiten beim Lesen von Quelle 30

31 Ausblick: Codierung Codieren mit nicht-ganzzahliger Anzahl von Bits z.b. mit geschachtelter Intervall-Unterteilung Arithmetisches Codieren bisherige Annahme: jedes Symbol ist unabhängig von den anderen Symbolen in Text ist diese Annahme meist falsch! weiteres Ausnutzen von Redundanzen durch Statistiken von Symbol-Paaren, -Tripeln etc. sog. höhere statistische Modelle 31

33 Universelle Codierung mit Codebüchern bisher: Annahme Eingabequelle ohne Gedächtnis nun: beliebige Eingabequelle Idee von J. Ziv und A. Lempel 1977 und 1978: kein explizites statistisches Modell (wie bei Huffman) implizites Modell über Codebuch-Verfahren LZ77: sliding window als Codebuch populär seit 1982 dank J. Storer und T. Szymanski als LZSS heutzutage universell eingesetzt (z.b. in ZIP Archiven) LZ78: explizit generiertes Wörterbuch als Codebuch populär geworden 1984 dank T. Welch als LZW (z.b. GIF) heute nicht so populär wie LZ77, dank Patent-Problemen 33

34 LZ77 Sliding window (gleitendes Fenster) über Eingabequelle Fenster hat zwei Bestandteile: Search window (Suchfenster) Look-ahead buffer (Vorschau-Fenster) Search window (hier: 32 Zeichen) Look-ahead buffer (hier: 8 Zeichen) for (i=0; i<max; ++i)\r for (j=0; j<max; ++j)\r a[i+j*max]=0; Suche Symbole aus Look-ahead buffer in Search window wähle längsten Match aus codiere als Tripel: (offset, länge, code) 34

35 LZ77 Beispiel Search window (hier: 32 Zeichen) Look-ahead buffer (hier: 8 Zeichen) for (i=0; i<max; ++i)\r for (j=0; j<max; ++j)\r a[i+j*max]=0; codiere: (23, 8, j ) Search window (hier: 32 Zeichen) Look-ahead buffer (hier: 8 Zeichen) for (i=0; i<max; ++i)\r for (j=0; j<max; ++j)\r a[i+j*max]=0; codiere: (23, 3, a ) Search window (hier: 32 Zeichen) Look-ahead buffer (hier: 8 Zeichen) for (i=0; i<max; ++i)\r for (j=0; j<max; ++j)\r a[i+j*max]=0; codiere: (0, 0, [ ) 35

36 LZ77 Eigenschaften, LZSS Vorteile: lokal adaptives Verfahren mit guter Kompressionsrate sehr schnelle Dekompression Nachteile: Zeichenkettensuche in Search window aufwendig (aber grosses Search window sehr gut für Kompressionsrate!) falls kein Match im Search window, benötigt jedes Zeichen ein Tripel (0,0,code) statt nur code LZSS: Idee von J. Storer und T. Szymanski 1982: Zeichenkettensuche mit binären Suchbäumen Präfix-Bit 0 für (offset, länge) Paar, Präfix-Bit 1 für (code) Praxis: LZSS mit nachgeschalteter Huffman-Codierung (z.b. bei ZIP) 36

37 LZ78 und LZW Dictionary (Wörterbuch) wird sukzessive aufgebaut während Eingabe gelesen wird Dictionary wird mit Alphabet initialisiert jeder Ausgabe-Code ist ein Index im Dictionary Beispiel: Dictionary: Code String (1) (2) (3) (4) (5) (6) (7) (8) A B C AB BB BA ABA ABAC Eingabe: ABBABABAC Code: (1) (2) (2) (4) (7) (3) 37

38 LZ78 und LZW: Eigenschaften Vorteile: adaptives Verfahren mit guter Kompressionsrate schnelle Kompression und Dekompression Nachteile: Problem wenn Dictionary voll wird Reinitialisierungsstrategien grosses Dictionary erfordert grössere Codes, schwieriger Trade-off Praxis: LZW z.b. bei GIF-, TIFF-Dateien dank Patent-Problemen und etwas schlechterer Kompressionsrate als LZ77 mit Huffman nicht mehr so populär 38

40 JPEG Schema Input Transformation Quantisierung Codierung Output 8x8 Blöcke MDCT Verlustbehaftet! RLE, Huffman Hauptidee: Transformation der Daten in Frequenzbereich Wegwerfen der wenig wichtigeren Frequenzen JPEG Kompression ist verlustbehaftet! das dekomprimierte Bild ist nicht identisch zum Original-Bild Information geht verloren Vorbereitung: Bild wird in 8x8 Blöcke zerstückelt Anwendung des Schemas auf alle 8x8 Blöcke 40

41 Discrete Cosinus Transformation Sei x = (x 0,..., x n 1 ) R n Signal. Die Diskrete Cosinus Transformation ist definiert als für k = 0,..., n 1. n 1 ( ) DCT (x) k = 2 x j cos ( πk 2n (2j + 1)) j=0 DCT entspricht dem phasen-verschobenen Realteil der DFT der doppelten Länge für JPEG wird die zwei-dimensionale Variante der DCT verwendet 41

42 DCT: Beispiel 1 Original-Bild (8x8 Block) mit 8bit Grauwerten:

43 DCT: Beispiel 2 Shift der Zahlen von auf : zwei-dimensionale DCT:

44 Quantisierung Quantisierung: verlustbehafteter Schritt reduziere Koeffizienten der DCT durch fest vorgegebenes Schema ( ) DCT (i, j) quantisierter Wert(i, j) = round Q(i, j) für alle Pixel (i, j). Q ist fest vorgegeben für verschiedene Qualitätsstufen 44

45 Quantisierung: Beispiel Matrix Q: Quantisierte Werte von DCT (aus vorigem Beispiel): diese quantisierten Werte werden nun codiert! 45

46 Codierung 1. Speichere quantisierte Werte in Zig-Zag Schema 2. Run-Length Encoding (RLE) der Nullen Nullen kommen in Zig-Zag Schema oft mehrfach hintereinander speichere stattdessen nur Anzahl der Nullen 3. Huffman-Codierung spezielle Codes für RLE der Nullen spezieller Code für vorzeitigen Abbruch (EOB), falls nur noch Nullen folgen 46

47 Codierung: Beispiel Quantisierte Werte von DCT (aus vorigem Beispiel): Zig-Zag und RLE/EOB ergibt: EOB 47

48 JPEG: Details Handling von farbigen Bildern betrachte z.b. einzelne Kanäle von RGB Bild oder: Wechsel des Farbraumes YCbCr (Helligkeit, Chrominanz) sehr hohe Effizienz Block-Größe ist fix 8x8 MDCT und Quantisierung können sehr effizient als Matrix Operationen dargestellt werden die Huffman-Bäume sind auch vorgeneriert 48

49 JPEG Beispiel PNG: 23kB JPEG (50%): 3.5kB JPEG (25%): 2.3kB JPEG (worst): 2.1kB 49

50 JPEG Beispiel 140x100 Pixel, deutlich sichtbare 8x8 Blöcke 50

51 JPEG Beispiel PNG: 5.2MB JPEG (25%): 269kB 51

52 Datenkompression in der Praxis (Wdh.) Speicherung von Bildern GIF Format (LZW) PNG Format (LZ77 mit Huffmann-Codierung) JPEG Format (DCT mit Quantisierung und Huffmann-Codierung) JPEG2000 Format (DWT mit Quantisierung und arithmetischer Codierung) Speicherung von Audio MP3 (MDCT, Psycho-akustisches Modell und Huffmann-Codierung) AAC / MPEG-4 (MP3 mit Verbesserungen) Speicherung von Video MPEG-2 (DCT mit Quantisierung und Huffmann-Codierung) H.264 / MPEG-4 (MPEG-2 mit Verbesserungen und arithmetischer Codierung) 52

53 Zusammenfassung 11 Datenkompression Einführung Grundlagen Informationstheorie Huffman Codes Lempel-Ziv Verfahren JPEG 53