3. Informationsdarstellung

Transkript

1 Fakultät Informatik Institut Systemarchitektur Professur Datenschutz und Datensicherheit WS 204/ Informationsdarstellung Dr.-Ing. Elke Franz 3 Informationsdarstellung Bitfolgen Bitfolgen Grundlage der Darstellung von Informationen im Computer: Binärsystem, Bits Bit: Unterscheidung von 2 Zuständen Unterscheidung von mehr Zuständen Bitfolgen Beispiel: Nord = 00, Ost = 0, Süd = 0, West = 4 verschiedene Möglichkeiten mit 2 Bits darstellbar Nord = 000, Nordost = 00, Ost = 00, Südost = 0, Süd = 00, Südwest = 0, West = 0, Nordwest = 8 verschiedene Möglichkeiten mit 3 Bits darstellbar Allgemein: 2 n verschiedene Bitfolgen der Länge n 2 3 Informationsdarstellung Bitfolgen Bytes und Worte Übliche Zusammenfassung von Bitfolgen: 8 Bits = Byte, darstellbar mit 2 Hex-Ziffern = 93 6 Gruppen von 2, 4 oder 8 Byte: Byte = 8 Bit = Halbwort 2 Byte = 6 Bit = Wort 4 Byte = 32 Bit = Doppelwort 8 Byte = 64 Bit = Quadwort nicht eindeutig, abhängig vom Rechner! 3

2 3 Informationsdarstellung Bitfolgen Datei- und Speichergrößen Verwendung der aus dem Dezimalsystem bekannten Präfixe wie z.b. kilo- (für tausend), mega-( für million) Günstig bei binären Größen: Faktoren, die ebenfalls auf Zweierpotenzen beruhen Übliche Größenfaktoren: K (kilo) = 024 = 2 0 M (mega) = 024 x 024 = 2 20 G (giga) = 024 x 024 x 024 = 2 30 T (tera) = 024 x 024 x 024 x 024 = 2 40 P (peta) = 024 x 024 x 024 x 024 x 024 = 2 50 E (exa) = 024 x 024 x 024 x 024 x 024 x 024 = Informationsdarstellung Kodierung Kodierung Abbildung der Elemente eines Alphabets auf die Elemente eines anderen Alphabets (bzw. auf Wörter über diesem Alphabet) e x ? 00.. Diskrete Quelle: endliche Menge von Werten Darstellung im Computer: binäres Alphabet mit {0,}, Wörter über diesem Alphabet: Binärfolgen 5 3 Informationsdarstellung Kodierung Diskretisierung Informationen liegen oftmals in kontinuierlicher Form vor Diskretisierung notwendig Zeitdiskretisierung Abtastung in äquidistanten Zeitabschnitten Abtastfrequenz Quantisierung Abbildung auf diskrete Werte Quantisierungsfehler 6 2

3 3 Informationsdarstellung Kodierung Ziele Geeignete Repräsentation unterschiedlicher Informationen: Texte, Zahlen, logische Werte, Bilder, Audiodaten, Ermöglichen entsprechender Operationen Kompakte Darstellung (Kompression) Redundanzarme (ggf. redundanzfreie) Kodierung Notwendige Anzahl von Bits zur Darstellung: Informationsgehalt der Quelle Verfahren zur Optimalkodierung (Beispiel: Huffman-Kodierung) 7 3 Informationsdarstellung Texte Texte Kodierung des Alphabets und der Satz- und Spezialzeichen (knapp 00 Zeichen notwendig) Steuerzeichen wie Zeilenende (CR = carriage return) oder Tabulator (Tab) Insgesamt genügen 7 Bit zur Darstellung: 2 7 = 28 verschiedene Zeichen darstellbar Verbreitete Kodierung: ASCII-Kode (American Standard Code for Information Interchange) Verwendung von 7 Bits für die Darstellung der verschiedenen Zeichen, 8. Bit wurde z.b. als Kontrollbit genutzt 8 3 Informationsdarstellung Texte (ASCII-Kode) 00 NUL 0 DLE 20 SP P 60 ` 70 p 0 SOH DC 2! 3 4 A 5 Q 6 a 7 q 02 STX 2 DC B 52 R 62 b 72 r 03 ETX 3 DC3 23 # C 53 S 63 c 73 s 04 EOT 4 DC4 24 $ D 54 T 64 d 74 t 05 ENQ 5 NAK 25 % E 55 U 65 e 75 u 06 ACK 6 SYN 26 & F 56 V 66 f 76 v 07 BEL 7 ETB 27 ' G 57 W 67 g 77 w 08 BS 8 CAN 28 ( H 58 X 68 h 78 x 09 TAB 9 EM 29 ) I 59 Y 69 i 79 y 0A LF A SUB 2A * 3A : 4A J 5A Z 6A j 7A z 0B VT B ESC 2B + 3B ; 4B K 5B [ 6B k 7B { 0C FF C FS 2C, 3C < 4C L 5C \ 6C l 7C 0D CR D GS 2D - 3D = 4D M 5D ] 6D m 7D } 0E SO E RS 2E. 3E > 4E N 5E ^ 6E n 7E ~ 0F Informatik SI (für F Verkehrsingenieure) US 2F / 3F? 4F O 5F _ 6F o 7F DEL I 9 3

4 3 Informationsdarstellung Texte ASCII-Erweiterungen, Unicode, UCS Erweiterung: Nutzung des 8. Bits weiterer verfügbarer Bereich von ASCII 28 bis ASCII 255 Nicht ausreichend für Symbole der verschiedenen Sprachen International Organization for Standardization (ISO): Normung verschiedener Optionen für Erweiterungen, z.b. ISO Latin- (ISO 8859-) Unicode ( neuer Standard, der versucht, alle relevanten Zeichen der unterschiedlichsten Kulturkreise zusammenzufassen 6 Bit Zeichen darstellbar Unicode-Zeichen 0-27 entsprechen ASCII-Code Unicode-Zeichen entsprechen ISO Latin- Standardisierung (ISO): Universal Character Set (UCS) UCS-2 (6 Bit), UCS-4 (32 Bit) Probleme: Kompatibilität, Platzbedarf 0 3 Informationsdarstellung Texte UTF-8 (UCS Transformation Format) Eingeführt in den 90er Jahren Mehrbyte-Kodierung von Unicode bzw. UCS 7-Bit ASCII-Zeichen: Byte: 0xxx xxxx Andere Zeichen: Darstellung mit 2-6 Bytes: Für n Bytes im ersten Byte n -en, gefolgt von einer 0 Folgebytes beginnen mit 0 z.b. 2-Byte-Kode: 0x xxxx 0xx xxxx (UCS-2 Kode) Ø Kompaktere Darstellung häufig verwendete Zeichen mit wenig Bytes dargestellt Ø Kompatibel zu ASCII-Code 3 Informationsdarstellung Logische Werte Logische Werte Wahrheitswerte True (wahr) und False (falsch) Abkürzung mit T (bzw. ) und F (bzw. 0) Logische Verknüpfungen: NOT (Negation bzw. Komplement), AND (Konjunktion), OR (Disjunktion) und XOR (exklusives OR) NOT F T T F AND F T F F F T F T OR F T F F T T T T XOR F T F F T T T F 2 4

5 3 Informationsdarstellung Logische Werte Logische Werte Darstellung mit einem Bit ausreichend, da meist Byte die kleinste Einheit ist, Byte pro Wahrheitswert: F = , T = Interpretationen von Bitketten als Folgen logischer Werte und bitweise Verknüpfung dieser Folgen 3 3 Informationsdarstellung Zahlen Natürliche Zahlen Bereich: 0,, 2, Bitfolge entspricht der Binärdarstellung, vorzeichenlose Darstellung Mit N Bits lassen sich 2 N verschiedene Zahlen darstellen: 0,,, 2 N- Beispiel: Zahlenbereich für N = 8 (8 Bits = Byte) 0 = = = = = = = = Informationsdarstellung Zahlen Ganze Zahlen Bereich:, -2, -, 0,, 2, Nicht nur absoluter Wert, auch Vorzeichen darzustellen Vorzeichendarstellung:. Bit für Vorzeichen (0 = +, = - ) Beispiel: 3 Bit. Bit für Vorzeichen 2 Bit für absoluten Wert darstellbar Nachteile: zwei Binärfolgen für Null Rechnen komplizierter 000 = = = + 0 = - 00 = +2 0 = -2 0 = +3 = = =

6 3 Informationsdarstellung Zahlen Zweierkomplementdarstellung Gebräuchlichste Methode zur Darstellung ganzer Zahlen Beispiel für N=4 Bit: 2 4 = 6 Zahlen darstellbar, Bereich frei wählbar, z.b. von -8 bis = = = = = + 00 = = -7 0 = = = = -6 0 = = +3 0 = +7 0 = -5 = Informationsdarstellung Zahlen Reelle Zahlen Darstellung eines großen Zahlenbereichs notwendig Kompakte Darstellung möglich Beispiel: = Nicht eindeutig: = = Normiert:. Zahl ungleich Null direkt vor dem Komma Komponenten: Vorzeichen, Exponent, Mantisse Vorzeichen des Exponenten umgehen durch Addition eines festen Wertes (bias) 7 3 Informationsdarstellung Zahlen Binäre Gleitpunktzahlen Normierte Darstellung:. Zahl vor Dezimalpunkt ungleich Null muss bei Binärdarstellung eine sein nur die restlichen Ziffern als Mantisse gespeichert (nicht gespeicherte : hidden bit ) Von IEEE (Institute of Electrical and Electronis Engineers) standardisierte Formate: Short real (oder single precision): 32 Bit Vorzeichen: Bit, Exponent: 8 Bit, Mantisse: 23 Bit, bias: 27 Long real (oder double precision): 64 Bit Vorzeichen: Bit, Exponent: Bit, Mantisse: 52 Bit, bias:

7 3 Informationsdarstellung Zahlen Umwandlung in binäre Gleitpunktzahlen Fortgesetzte Multiplikation mit 2 Ziffern vor dem Komma liefern Binärziffern nach dem Komma Beispiel: (0,6875) 0 () 2? 2 0,6875 =,375 b - = 2 0,375 = 0,75 b -2 = 0 2 0,75 =,5 b -3 = 2 0,5 =,0 b -4 = Ungenauigkeiten bereits bei Umrechnung möglich durch Rundungsfehler, weitere können bei Rechenoperationen auftreten Kein Test auf Gleichheit bei Gleitpunktzahlen! 9 Redundanzarme Darstellung: Quellenkodierung Notwendige Anzahl von Bits: Informationsgehalt der Quelle Diskrete Quelle X mit N verschiedenen Zeichen {x, x 2,, x N } Auswahl eines dieser Zeichen: Ereignis x i 0 p(x i ) Wahrscheinlichkeit des Ereignisses x i N px i i p(x i ) = p(x i ) = 0 Summe der Wahrscheinlichkeiten aller Ereignisse sicheres Ereignis unwahrscheinliches Ereignis 20 Informationsmaß: Entropie Information mit Gewinnung neuer Erkenntnisse verbunden Voraussetzung: Unbestimmtheit über die Quelle Information ist beseitigte Unbestimmtheit. Maß für Informationsgehalt soll dies widerspiegeln: Je größer die Wahrscheinlichkeit eines Ereignisses, desto kleiner ist die Unbestimmtheit. Ein sicheres Ereignis enthält keine Unbestimmtheit. Entropie eines Zeichens: Hi ld ld pxi p x i (ld x = log 2 x) 2 7

8 Quellenentropie Mittlere Entropie (mittlerer Informationsgehalt) einer Quelle N N H m p( xi )ld p( xi )ldp( xi ) i p( xi ) i Maximale Entropie / Entscheidungsgehalt Hmax H0 ld N Entscheidungsgehalt von zwei unabhängigen und gleichwahrscheinlichen Ereignisse einer Quelle: ld 2 Einheit der Informationsmenge 22 Quellenkodierung Eineindeutige Darstellung der Zeichen der Quelle in einer möglichst redundanzfreien bzw. redundanzarmen Form X A * Œ {0,} l X = {x, x 2,, x N }: Alphabet der diskreten Quelle A * : (Quellen-)Kode mit den Kodewörtern a * = {0,} l œ A * l: Kodewortlänge Gleichmäßiger Kode alle Kodewörter haben die Länge l ld N Darstellung der n verschiedenen Zeichen mit 2 n Bits 23 Ungleichmäßiger Kode Kodewörter mit ungleicher Kodewortlänge mittlere Kodewortlänge untere Schranke: l m H m Dekodierbarkeit erfordert Präfixfreiheit: kein Kodewort darf Beginn eines anderen Kodewortes sein N i lm p x i l i Koderedundanz R K Differenz zwischen Kodewortlänge und mittlerem Informationsgehalt der Quelle R K = l m H m

9 Kodebaum Grafische Darstellungsmöglichkeit für Kodes Gerichteter Graph, Kodewörter entsprechen Pfad vom Wurzelknoten zu den Endknoten (Blättern) Beispiel für einen Kode mit folgenden Kodewörtern: Optimalkodierung Methoden zur Schaffung redundanzfreier bzw. redundanzarmer Kodes mit vertretbarem Aufwand Verfahren, die Kenntnis der Quellenstatistik voraussetzen Prinzip: Je häufiger ein Zeichen, desto kürzer die Länge des zugehörigen Kodewortes Shannon-Fano Huffman Verfahren ohne Kenntnis der Quellenstatistik Prinzip: Ausnutzen von Abhängigkeiten zwischen Quellenzeichen, um mehrere Zeichen auf ein Kodewort abzubilden Lempel-Ziv Lempel-Ziv-Welch 26 Huffman-Kodierung. Wahrscheinlichkeiten absteigend ordnen 2. Zusammenfassen der beiden letzten Wahrscheinlichkeiten (die geringsten) zu einem neuen Wert 3. Erneutes Ordnen nach absteigenden Wahrscheinlichkeiten 4. Wiederholen der Schritte 2 und 3, bis die Zusammenfassung nur noch einen Wert ergibt 5. Aufstellen eines Kodebaumes entsprechend der Reduktion und Zuordnen der Kodesymbole 0 und ; Auslesen der Kodewörter vom Wurzelknoten zu den Blättern (notwendig zur Erfüllung der Dekodierbarkeitsbedingung) Beispiel: (p(x i )) = (0,03 0,07 0,0 0,05 0,5 0,06 0,9); l m =? R K =? 27 9

10 x 5 x 7 x 3 x 2 x 6 x 4 x 0,5 0,9 0,0 0,07 0,06 0,05 0,03 0,5 0,9 0,0 0,08 0,07 0,06 0,5 0,9 0,3 0,0 0,08 0,5 0,9 0,8 0,3 0 x 5 =0 0 0 x 7 = 0,5 0,3 0, ,5 0,5 x 3 =000 0 x 2 =00 x 6 =0,0 x 4 =000 x =