Kodierung. Kodierung von Zeichen mit dem ASCII-Code

Transkript

1 Kodierung Kodierung von Zeichen mit dem ASCII-Code Weiterführende Aspekte zur Kodierung: Speicherplatzsparende Codes Fehlererkennende und -korrigierende Codes Verschlüsselnde Codes Spezielle Codes, Beispiel Bilder (JPEG) Peter Sobe 1

2 Zeichen im ASCII-Code Einzelne Zeichen, z.b. A, z, 7, oder? werden intern durch einen Zahlenwert repräsentiert, der binär kodiert wird. Ein Zeichen umfasst einen einzelnen Buchstaben, eine Ziffer, ein Sonderzeichen oder ein Steuerzeichen. Es gibt verschiedene Möglichkeiten der Zuordnung des Zeichens auf den Zahlenwert Zuordnung muss eineindeutig sein Operationen (z.b. Vergleich) sollten sich einfach realisieren lassen Eine spezielle Zuordnung ist dann ein Code, z.b. EBCDIC oder ASCII Peter Sobe 2

3 ASCII-Code Peter Sobe 3

4 Zeichen und Zeichenketten ASCII ist ein 7-Bit-Code, 128 darstellbare Zeichen. Später wurden 8 Bits ausgenutzt (ISO ). Die weiteren 128 Plätze wurden mit u.a. mit (westeuropäischen) sprachspezifischen Sonderzeichen belegt. Unicode ist ein 2-Byte-Code, der die unteren 256 Plätze des ASCII-Codes übernommen hat, aber wesentlich mehr internationale Zeichen darstellen kann. Unicode als 2-Byte-Code heute verbreitet Peter Sobe 4

5 Zeichen und Zeichenketten Zeichenketten sind Felder einzelner Zeichen, die zusammenhängende Texte aufnehmen. Zeichenketten werden intern zusammenhängend gespeichert. Jedes einzelne Zeichen wird durch den im Code zugewiesenen Zahlenwert repräsentiert Hallo H,a,l,l,o repäsentiert durch 72, 97,108, 108, 111 Programmiersprachen behandeln Zeichenketten unterschiedlich: Felder einzelner Zeichen, oder eigener Datentyp (String) Peter Sobe 5

6 Zeichen und Zeichenketten (Strings) Vorgriff auf MATLAB: meinstring= Hallo HTW Im Workspace wird die Variable wie folgt aufgeführt: Name: meinstring, Size: 1x9, Bytes: 18 Offenbar wird ein 2-Byte Code benutzt code_8bit = uint8(meinstring) >code_8bit = code_16bit = uint16(meinstring) >code16bit = Peter Sobe 6

7 Zeichen und Zeichenketten (Strings) Viele Programmiersprachen bieten Operationen und Funktionen für Zeichenketten an. Hier für MATLAB: Zuweisung deinstring = meinstring Vergleich if (meinstring==vergleich) if (strcmp(meinstring, deinstring)==0) In MATLAB werden Zeichenketten auf Matrix-Variablen abgebildet, z.b. ein 10 Zeichen langer Text ist eine 1x10-Matrix Peter Sobe 7

8 Speicherplatzsparende Codes ASCII und Unicode: alle Zeichen werden mit einem s.g. Codewort gleicher Länge dargestellt. Wenn die Zeichen mit unterschiedlicher Häufigkeit vorkommen, ist es möglich, die häufigsten mit einer kurzen Bitfolge und die seltenen mit einer längeren Bitfolge zu kodieren. Man erreicht damit insgesamt eine Ersparnis an Speicherplatz (mittlere Anzahl Bits je Zeichen) Beispiel: Huffman-Code für Zeichen A, B, C, D unter der Annahme, dass nur diese 4 Zeichen in einer Nachricht vorkommen. Das Prinzip ist erweiterbar auf alle möglichen Zeichen. Peter Sobe 8

9 Speicherplatzsparende Codes Huffman-Code für Zeichen A, B, C, D Korrigierte Version Relative Häufigkeiten A :0.8, B :0.1, C :0.05, D :0.05 Code: A :0, B :10, C :110, D :111 Häufigstes Zeichen wird mit kürzester Bitfolge kodiert Kein Codewort ist als Anfang in einem anderen Codewort enthalten Zeichenfolge AAAABAAAACAAAAA (15 Zeichen) ergibt (18 Bits) Peter Sobe 9

10 Fehlererkennende und tolerierende Codes Der bisher betrachtete Zeichencode (ASCII, Unicode) versagt, sobald ein Fehler bei der Speicherung, bzw. Übertragung auftritt. Kodierungen für das Internet und Server-Speichersysteme können zum Teil Fehler erkennen und korrigieren. Beispiele: Einfacher Paritätscode: Ein zusätzliches Bit, ein einzelner Bitfehler erkennbar, keine Korrektur möglich. Hamming-Code, Variante mit 4 Bits und 3 Paritätsbits (7,4), ein Fehler korrigierbar Peter Sobe 10

11 Verschlüsselnde Codes Originaldaten können bei Übertragung und Speicherung ver- und entschlüsselt werden. Zusätzlich zur Zeichenkodierung werden die Codeworte (Bitfolgen) verändert (kryptografische Kodierung) Einfachstes Verfahren: One-Time-Pad Veränderung erfolgt durch Summation der Codeworte mit geheimen Summanden (geheimer Schlüssel) Subtraktion des geheimen Anteils lässt Originaldaten wieder erscheinen Anwendung erfolgt bitweise, Summe und Differenz durch XOR (Exklusives ODER auf {0,1}-Werten) Geheimer Anteil darf nicht wiederholt benutzt werden, Schlüssel muss so lang wie die Originalbitfolge sein Peter Sobe 11

12 Verschlüsselnde Codes Beispiel: One-Time-Pad Originaltext: ABAACA Originaltext kodiert mit Huffman-Code: A : 0, B : 10, C : 110, D : 111, Geheimer Schlüssel: übereinstimmend mit korrigierter Version auf Folie 9 Originaltext verschlüsselt: Ergäbe DBBB Originaltext entschlüsselt mit geheimen Schlüssel ergibt , das ist ABAACA Peter Sobe 12

13 Spezielle Codes / Beispiel Bildkodierung mit JPEG Joint Photgraphic Experts Group (CCITT und ISO/IEC), Verschiedene Modi: u.a. verlustfrei und verlustbehaftet Schritte bei verlustbehafteter JPEG-Komprimierung: Aufteilung der Bildmatrix in 16x16 Blöcke Abtastung/ Berechnung Y Einzelmatrizen für Y,U,V Abtastung/Berechnung U,V mit unterschiedlicher Auflösung Umwandlung der Blöcke in eine Frequenzdarstellung (DCT) Wichtung innerhalb der Frequenzdarstellung Diskretisierung und Schwellwertfilterung Linearisierung und Kompression der Daten Entstehung von Nullen u.a. Lauflängenkodierung mit guter Kompression Peter Sobe 13

14 Beispiel Bildkodierung mit JPEG Makroblöcke: Einteilung in Blöcke zu je 16x16 Pixel YUV-Kodierung 8x8 4x für Y 16x16 + 2x (1 für U, 1 für V) 8x8 gröbere Farbauflösun g, durch 2x2-Mittelw.- Bildung 14

15 Beispiel Bildkodierung mit JPEG Discrete Cosinus Transformation (DCT) für jeden 8x8 Block, Y,U,V jeweils getrennt s vu c 4 u c v x 0, c u c v 1 y 0 2 s yx (2x 1) u (2 y 1) v cos cos für u,v=0 sonst c, c u v Grundintensität Anteile mit zunehmenden Frequenzen in y und x-richtung 15

16 Beispiel Bildkodierung mit JPEG Wichtung der DCT-Koeffizienten svu Inverse sqvu round( ) Rvu sqvu Qvu Qvu Quantisierung : Notwendige Vorstufe für eine effektive Kompression Q vu ist als frequenzabhängige Quantisierungstabelle beim Encoding und Decoding bekannt. Wahl der Q vu Werte: Je höher die Frequenzen, desto größer die Q vu Werte Anschließende Diskretisierung führt Rundung auf Wertevorrat durch, dabei werden kleine Werte zu Null 16

17 Beispiel Bildkodierung mit JPEG Kodierung DC-Koeffizienten: Codierung der Differenzen AC-Koeffizienten: Zick-Zack-Durchlauf, es entstehen meist Folgen gleicher Werte Es entsteht ein linearer Datenstrom, im Anschluss: Lauflängenkodierung (RLE) und Huffmann-Kodierung 17

18 Beispiel Bildkodierung mit JPEG Standardisierte Quantisierungskoeffizienten für Y: durch diese Werte werden die entsprechenden DCT-Koeffizienten dividiert. u v Divisor für Quantisierung wird tendenziell größer mit zunehmenden Frequenzen 18

19 Beispiel Bildkodierung mit JPEG Beispiel zur Kompression 8 quantisierte DCT-Koeffizienten (8x8 =256 Bit) 127,86,98,70,71,65,88,77 = , , , , , , , RLE -> (1)(7)(1)(1)(1)(1)(1)(2)(2)(2)(3)(1)(2)(1)(3)(2)(2)(1)(3)(3)(1)(1)(5) (1)(1)(1)(2)(4)(1)(2)(2)(1)(1) (33x3 Bit = 99 Bit, jedes 3-Bit-Codewort kann Werte annehmen) Huffman Code: #(1)=17, #(2)=9, #(3)=4, #(4)=1, #(5)=1, #(6)=0, #(7)=1 1 =0, 2 =10, 3 =110, 4 =1110, 5 =11110, 7 = Bitstrom: 0:111110:0:0:0:0:0:10:10:10:110:0:10:0:110:10:10:0:110:110:0:0:11110: 0:0:0:10:1110:0:10:10:0:0 62 Bit 19

20 Beispiel Bildkodierung mit JPEG Basisfunktionen zur Bildung der DCT-Koeffizienten Bildhafte Berechnung der DCT-Koeffizienten per Multiplikation der Originaldaten mit den links gezeigten Masken, einer Summierung der Produkte und einer Normierung 20