Kodierungs- und Informationstheorie

Transkript

1 Kodierungs- und Informationstheorie Sender (Datenquelle) Datenkanal Empfänger (Datensenke) Einfachstes Modell einer Nachrichtenübertragung Ziel: Effektive Nutzung von Datenkanälen: - möglichst kleiner Kodieraufwand - möglichst hohe Informationsübertragungsrate - sichere Übertragung der Informationen trotz auftretender Störungen im Kanal - möglichst einfache Dekodierung - sicherer Schutz der Information gegen unzulässige Leser oder verdeckte Sender (Integrität, Authentizität und Vertraulichkeit der Daten) (physikalisch-technische Übertragungsrate vorgegeben) Optimierung und Quantifizierung der o.a. Ziele für vorhandene und ggf. auch neu zu entwickelnde Kodes Inhalte der Vorlesung: - Quellkodierung - Kanalkodierung (mit fehlererkennenden und fehlerkorrigierenden Kodes) - Kryptographie Theoretische Einführung in diese Verfahren, um Grundlagen für Vertiefungsvorlesungen, Praktikumsversuche und Selbststudium zu legen Prüfung mit Klausur, 2h

2 Literatur: Hermann Rohling Einführung in die Informations- und Codierungstheorie, Teubner-Verlag, 995, ca. 2 Ralph-Hardo Schulz Codierungstheorie, Vieweg-Verlag, 99 ca. 25 Richard W. Hamming Information und Codierung VCH Verlagsgesellschaft, 987 Simon Singh Rudolf Kippenhahn The Code Book Fourth Estate, 999 Verschlüsselte Botschaften Geheimschrift, Enigma, Chipkarte Rowohlt Verlag, 998

3 Aufgabe 2.3 (aus Rohling) Beim digitalem Satellitenradio (DSR) liegt die Zielsetzung vor, Rundfunk nahezu in CD Qualität zur Verfügung zu stellen. In der vorliegenden Aufgabe soll anhand der Vorgaben dieses Systems die Kanalkodierung entworfen werden. Der Übertragungskanal kann in guter Näherung als symmetrischer Binärkanal angesehen werden. Gegeben sind folgende Größen und Aussagen: Abtastrate: f a = 32 khz Jeder Abtastwert wird mit 2 x 4 Bit dargestellt (Stereo) Es werden jeweils ein Abtastwert von zwei Stereokanälen (also 56 Nutzbits) zu einem Block zusammengefasst. Dieser hat inkl. Kanalkodierung die Länge 77 Bit, wovon aber nur 75 Bit nutzbar sind. Es wird ein nahezu störungsfreier Betrieb bei einer Bitfehlerrate von p b = -3 angestrebt. Nahezu störungsfrei bedeutet, dass im Mittel weniger als ein Abtastwert pro Tag falsch empfangen wird. Die drei niederwertigen Bits können auch ungeschützt übertragen werden, weil Bitfehler in diesen Stellen nur geringen Einfluss auf die Tonqualität haben Wenn Übertragungsfehler bei einer Fehlererkennung regstriert werden, so kann der betreffende Abtastwert interpoliert werden. Wenn dies im Mittel seltener als zweimal pro Sekunde geschieht, wird das Tonsignal nicht merklich verfälscht. Diese Angaben sollen für die Kanalkodierung herangezogen werden: a) Welche Forderung für die Restfehlerwahrscheinlichkeit ergibt sich aus der Definition für störungsfreien Betrieb? b) Dimensionieren Sie eine Kanalkodierung mit reiner Fehlerkorrektur, die die Nutzdaten eines Blockes komplett (d.h. alle 4 Bit der Tonkanäle) schützt. Verwenden Sie dabei BCH Kodes oder verkürzte BCH Kodes. Welche Restfehlerwahrscheinlichkeit lässt sich auf diese Weise erreichen? c) Welche Restfehlerwahrscheinlichkeit lässt sich mit einem BCH Kode der Länge N = 63 erreichen, wenn nur die höherwertigen Bits der Tonkanäle mit einer reinen Fehlerkorrektur geschützt werden? Ist ein störungsfreier Empfang gemäss der Spezifikation möglich? d) Ermitteln Sie, wieviele Fehler in einem Kodewort der Länge N = 63 ggf. erkannt bzw. korrigiert werden müssen, um die beiden Forderungen bzgl. der Interpolationshäufigkeit und der Häufigkeit unerkannter Fehler zu erfüllen.

4 Kodierungs- und Informationstheorie Inhaltsverzeichnis. Einleitung Dr. F. Jäger, FH Wolfenbüttel. Alphabete.2 Wechsel des Alphabets.2. ASCII-Code.2.2 Tonverarbeitung.2.3 Bildverarbeitung.3 Wörter.4 Strukturierungen über A={,}.4. Binäre Wörter als Teilmengen.4.2 Präfixe.5 Graphen und Bäume.5. Graphen.5.2 Bäume 2. Quellenkodierung 2. Kodierungen 2.. Definition-eines-Kodes 2..2 Beispiele-für-Kodierungen 2.2 Präfix-Kodes 2.3 Datenkompression 2.4 Informationsquelle mit Wahrscheinlichkeitsverteilung ohne Gedächtnis 2.5 Kodierung nach Fano 2.6 Information, Entropie und Kodierungsaufwand 2.6. Informationsmaß I Eigenschaften des Informationsmaßes I Entropie H 2.7 Shannonsches Kodierungstheorem 2.8 Kodierung nach Huffman 2.9 Redundanz 2. Kodierung von Wörtern anstelle von Einzelzeichen 2. Quellen mit Gedächtnis 2.. Bedingte Wahrscheinlichkeit, Verbundwahrscheinlichkeit und Verbundentropie 2..2 Entropie einer Quelle mit Gedächtnis 2..3 Markow-Prozesse 2..4 Markow-Prozesse höherer Ordnung

5 3. Kanalkodierung mit fehlererkennenden und fehlerkorrigierenden Prüfziffern Mathematischer Exkurs über Gruppentheorie (Algebra) 3. Prüfzeichenverfahren 3.. Prüfungen modulo 3..2 Prüfungen modulo 3..3 Prüfungen mittels Quersummenbildung 3..4 Prüfungen mittels der Diedergruppe 3.2 Nachrichtentheorie für gestörte Kanäle 3.2. Transinformation Kanalkapazität 3.3 Fehlererkennung und korrektur bei Blockkodes 3.3. Paritätskontrolle Paritätskontrolle zur Fehlererkennung Mehrfache Paritätskontrolle zur Fehlerkorrektur Hamming-Kodes Restfehlerwahrscheinlichkeit und Übertragungssicherheit Hamming-Distanz und Korrigierkugeln Lineare Blockkodes Generatormatrix Separierbare Kodes Kontrollmatrix zur Dekodierung eines separierbaren Kodes Zyklische Kodes Generatormatrix zyklischer Kodes Polynomdarstellung Dekodierung zyklischer Kodes 3.4 Faltungskodes 3.4. Faltungskodierung Dekodierung von Faltungskodes 4. Kryptografie einige Grundelemente 4. Ziele der Kryptografie 4.2 Klassische Chiffre-Systeme 4.3 Moderne symmetrische Verschlüsselungsverfahren 4.4 Kryptografische Hash-Funktionen 4.5 Deffie-Hellman Schlüsseltausch (976) 4.6 Asymmetrische Verschlüsselung (RSA) mit öffentlichem und privatem Schlüssel 4.7 Hybrid-Verfahren

6 Morsekode Ternärer Kode Die drei Zeichen lauten: - Leerzeichen (meist kurz, lang und Pause genannt) Das Leerzeichen wird nur als Trennzeichen verwendet. A - N - B - O C - - P - - D - Q E R - F - S G - - T - H U - I V - J W - - K - - X - - L - Y M - - Z - - Charakteristische Eigenschaften des Morsekodes: Kodewortlängen variabel, angepasst an Häufigkeit d. Buchstaben von (+Leerzeichen) bis 4 (+Leerzeichen) Häufige Buchstaben (insbes. T und E) mit kurzen Kodewörtern Seltene Buchstaben (z.b. J und Q) mit langen Kodewörtern

7

8 Der Genetische Kode (Doppelhelix) Kodierung mit einem Alphabet mit vier verschiedenen Zeichen Informationsträger sind 4 Basen (Übliche Abkürzungen: G C A T): Guanin Cytosin Adenin Thymin Jeder Strang der Doppelhelix besteht aus einer beliebigen Folge, gebildet aus diesen 4 Basen (z.b. G G C A T A G C. ) Der andere Strang ist komplementär, d. h. die Basenabfolge der einen Kette bestimmt die Basenabfolge der anderen Kette. Voraussetzung hierfür ist die folgende chemische Eigenschaft der Basen: Adenin paart sich nur mit Thymin und umgekehrt (mit zwei Wasserstoffbrückenbindungen) Guanin paart sich nur mit Cytosin und umgekehrt (mit drei Wasserstoffbrückenbindungen) Komplementärstrang zum obigen Beispiel: C C G T A T C G Bilderquellen: Internet, Gymnasien aus Leer und Simbach Nach Trennen der Doppelhelix repliziert (dubliziert) sie sich, indem beide Einzelstränge komplettiert werden (aus Einzelbausteinen).

9 .2 Wechsel von Alphabeten Häufig Wechsel von einem Alphabet A zu einem anderen A Beispiel: Kodierung von Texten (deutsches Alphabet) in Binärform.2. ASCII-Code Der wichtigste Standard zur binären Darstellung: 28 verschiedene Buchstaben, Zahlen und weitere Zeichen werden mit je einer 8-stelligen Binärzahl dargestellt (Wort der Länge 8 über dem Alphabet {,}) 7 Informationsbits Kontroll- oder Paritätsbit so gewählt, dass Gesamtzahl der mit besetzten Positionen gerade ist Bildung des Binärmusters eines Zeichens (z.b. M ) Suchen der zugehörigen Dezimalzahl in Tabelle (77) Umrechnen in Hexadezimaldarstellung ( 77 D = = 4 D H ) Binäre Darstellung der beiden Hexadezimalstellen ( 77 D = B B ) 4 D Rückwärtsschreiben des Bitmusters ( -> ) Ermittlung und Anhängen des Paritätsbits (hier ) ( -> )

10 Standard ASCII character set

11 Üblicher Extended ASCII character set Vorsicht: es gibt auch Varianten (insbesondere länderspezifische)

12

13 .2.3 Bildverarbeitung Der erste Schritt zur Bildverarbeitung bzw. speicherung ist Digitalisierung. Bei Schwarz/Weiß-Bildern: - Rasterung, d.h. Aufteilung des Bildes in Bildelemente (Pixel) in x- und y-richtung (z.b. 52x52, oder 24x24) - Quantisierung der Helligkeit für jedes Pixel, häufig: 256=2 8 Graustufen entsprechend Byte, (Intensität im Mittelpunkt oder im Idealfall Mittelung über den Bereich) Bei bewegten Objekten zusätzliche Abtastung mit diskretem Bildtakt. Bildtakt von ca. 25 Hz ausreichend für Bewegungseindruck beim Menschen, kürzerer Bildtakt günstig für entspannteres Sehen

14 Bildqualität Das Standard-File Lena mit Ausschnittvergrößerungen (256 * 256 Pixel)

15 Stäbchen: Lichtdetektoren im menschlichen Auge Stäbchen (rods) für Schwarz/weiß-Sehen 3 Sorten Zäpfchen (cones) unterschiedlicher Empfangscharakteristik für Farbsehen schwachlichtadaptiert, Fotopigment Rhodopsin, Empfindlichkeitsmaximum bei grün, Wellenlänge ca. 55 nm Zäpfchen: short wavelength oder S Zäpfchen, Fotopigment Cyanolab Empfindlichkeitsmaximum bei "blau violett", Wellenlänge ca. 445 nm. medium wavelength oder M Zäpfchen, Fotopigment Chlorolab Empfindlichkeitsmaximum bei "grün", Wellenlänge ca. 54 nm long wavelength or L Zäpfchen, Fotopigment Erythrolab Empfindlichkeitsmaximum bei "grün-gelb", Wellenlänge ca. 565 nm Empfindlichkeitskurven und Informationsverknüpfung

16 Bei Farbbildern: - Rasterung, d.h. Aufteilung des Bildes in Bildelemente (Pixel) in x- und y-richtung (z.b. 52x52, oder 24x24) - Quantisierung der Helligkeit für jedes Pixel in drei Farbanteilen (RGB: Rot, Grün, Blau) typischerweise jeweils 256=2 8 Intensitätsstufen, je Byte Farbinformation über drei Farbanteile ausreichend zur Täuschung des menschlichen Auges. Häufig Optimierung durch sogenannte YUV-Darstellung (PAL und SECAM-Verfahren der Fernsehtechnik, nicht NTSC): Y =,299 R +,587 G +,4 B Luminanz U = -,46 R,288 G +,434 B =,493 (B-Y) Chrominanz V =,67 R,57 G, B =,877 (R-Y) Chrominanz (Beispiel für Koordinatentransformation der linearen Algebra) Luminanz (Gesamthelligkeit) nur in einem Kanal, Chrominanz (Farbspektrum) allein in den beiden anderen Vorteile: - Anpassung an Farbempfindlichkeitsunterschiede des menschlichen Auges (Bevorzugung von Grün) - Anpassung an Unterschiede des Auges bei dem räumlichen Auflösungsvermögen für Farb- und Schwarz/Weiss-Sehen => U und V können mit gröberer Rasterung digitalisiert werden. - Kompatibilität zum zuvor verwendeten Schwarz/Weiß- Fernsehen

17 .3 Wörter Definition.3.: Ein n-tupel z z 2... z n mit z i A, i=, 2,... n Beispiel.3.: heißt Wort der Länge n ( n IN ) über dem Alphabet A, z i heißt die i-te Komponente des Wortes als Wort der Länge 3 über dem Alphabet A = {, } Gelegentlich verwendete, alternative Bezeichnungen: - String oder Zeichenkette der Länge n - Variation mit Wiederholung der Länge n über A - Folge der Länge n über A - Vektor Definition.3.2: Die Menge aller Wörter der Länge n (d.h. aller n-tupel) über A (mit konstantem n und festem A) wird A n oder auch A {,2,...,n} genannt Zu unterscheiden ist A n von der Menge aller Wörter mit einer Maximallänge n, diese wird gelegentlich A genannt. A U n = A i i= Achtung: Gelegentlich wird als A auch die Gesamtmenge aller Wörter bezeichnet (entsprechend n -> ) Beispiel.3.2: A= {, }, Wortlänge n maximal 2 A = {, } A 2 = {,,, } A = A A 2 = {, } {,,, } = {,,,,, }

18 Satz.3. Es gibt genau A n Wörter der Länge n. Beweisskizze: Jedes Wort hat n Komponenten z i (i=,... n). Für jede Komponente z i eines Wortes gibt es jeweils A Möglichkeiten. Variationen unabhängig => Behauptung Beispiel: A = {,, 2} und n=2 A = 3 => laut Satz: Anzahl der Wörter mit Länge 2 = 3 2 = 9 Probe durch Abzählen der möglichen Wörter: Anzahl = 9 i.o.

19 .4 Strukturierungen über A= {, } (Grundlagen für mathematische Modelle der Kodierung).4. Binäre Wörter als Teilmengen Definitionen wiederholt aus Mathematikvorlesungen: IN n := {, 2,..., n} Beispiele.4..: IN 3 = {, 2, 3} IN 5 = {, 2, 3, 4, 5} IP (IM) ist die sogenannte Potenzmenge von IM d.h. die Menge aller Teilmengen von IM Beispiel.4..2: IP (IN 2 ) = {, {}, {2}, {, 2}}

20 .5 Graphen und Bäume.5. Graphen Definition.5.. Ein Graph G umfasst eine Menge V von Knoten (englisch vertex Spitze ) und eine Menge E von Kanten, (englisch edge) wobei jede Kante durch ein Paar von Knoten charakterisiert ist. d.h. G = (V, E) mit V und E V x V V: Knotenmenge, E Kantenmenge Geometrische Veranschaulichung als Punkte und Verbindungslinien Beispiel eines Graphen: Anwendungsbeispiele für Graphen (ausser Kodierungstheorie): Knoten als Personen, Kanten als Verwandtschaft Knoten als Organisationen, Kanten als Geschäftsbeziehung oder Treffen Knoten als Orte, Kanten als Wege Knoten als Programmbefehle, Kanten als mögliche Programmfortschritte (Verzweigung) Ein Graph G heißt gerichtet, wenn jede Kante e ein geordnetes Knotenpaar (v, v 2 ) darstellt. V 2 V V 3 Ein Graph G heißt endlich, wenn die Anzahl der Knoten (und damit auch der Kanten) endlich ist, also V <

21 Die Anzahl der Kanten, an denen ein Knoten beteiligt ist, heißt Grad eines Knotens. V 2 grad v = 3 V V 4 V 3 grad v 2 = grad v 3 = grad v 4 = Ein Graph G heißt r-regulär, wenn alle Knoten den Grad r haben. 3 Beispiele: Ein Graph G heißt zusammenhängend, wenn je zwei Knoten durch einen Weg verbunden sind (ggf. zusammengesetzt aus mehreren Kanten). Satz.5..: Sei G = (V, E) ein endlicher Graph. Dann gilt: r = 2 E p p V mit r p := Grad des Knotens p, Beweis siehe Schulz Satz.5..2 In jedem endlichen Graphen ist die Anzahl der Knoten ungeraden Grades immer gerade. Beweis: siehe Tafelmitschrift Beispiel: Haus vom Nikolaus

22 2. Quellenkodierung 2. Kodierungen Quellenkodierung kann aus verschiedenen Gründen erforderlich werden: Anpassung an Weiterleitungstechnik (z.b. digitale elektronische Signale für komplexe Statusmeldungen) Reduzierung von Datenmengen (Kompression, d.h. Entfernen von Redundanz) Fehlersicherung mit fehlererkennenden bzw. fehlerkorrigierenden Kodes Geheimhaltung, Sicherung gegenüber unbefugter Kenntnisnahme Schutz vor unbefugter Veränderung Beweis der Urheberschaft (Authentizität) 2.. Definition eines Kodes Def (nach DIN) Ein Kode ist: Eine Vorschrift, die die Zeichen eines Zeichenvorrats eindeutig den Zeichen eines anderen Zeichensatzes (Bildmenge) zuordnet (kodiert) Der als Bildmenge bei einer Kodierung auftretende Zeichenvorrat Mathematische Formulierung siehe Tafelbild Die Kodierungsvorschrift C der einzelnen Zeichen ist stets eine injektive Abbildung (andernfalls wäre eine Dekodierung der Einzelzeichen unmöglich). Vorsicht: Für die erweiterte Abbildung C* gilt dies zwar oft, aber keineswegs immer! Beispiel: A = {x,y,z} B = {,} N = 2 C(x) = C(y) = C(z) = ist eine injektive Abbildung C* nicht injektiv Beweis durch ein geeignetes Gegenbeispiel: = C*(yx) = C*(z) Injektivität von C* ist stets gegeben, wenn alle Kodewörter der Einzelzeichen die gleiche Länge haben (das ist sogenannter Blockkode)

23

24 Flaggenalphabet Bedeutung bei Wettfahrten Bedeutung in der Schifffahrt Wettfahrtverschiebung A Alpha Taucher unten / Abstand halten Protestflagge B Bravo gefährliche Ladung Kursänderung nach nächster Bahnmarke C Charlie Ja D Delta Abstand halten E Echo Änderung Kurs nach Steuerbord F Foxtrott manövrierunfähig G Golf benötige Lotsen H Hotel Lotse an Bord Ein-Minuten-Regel I India ändere Kurs nach Backbord J Juliet Feuer an Bord K Kilo Verbindung erwünscht in Rufweite kommen L Lima sofort stoppen Bahnmarkenersatz M Mike Fahrzeug gestoppt Abbruch der Wettfahrt - zurück zum Start N November Nein O Oscar Mann über Bord Vorbereitungssignal P Papa Schiff läuft aus Ziel an Bahnmarke Q Quebec alles gesund, habe noch nicht einklariert entgegengesetzte Bahn R Romeo Kurs ist klar

25 Bahnabkürzung S Sierra Maschine geht rückwärts T Tango Abstand halten / Netze ausgelegt U Uniform Sie begeben sich in Gefahr V Victor benötige Hilfe W Whiskey benötige ärztliche Hilfe Einzelrückruf X X-Ray Stopp - meine Signale abwarten Schwimmwesten anlegen Y Yankee Treibe vor Anker Z Zulu benötige Schlepper Startverschiebung - Signalbuch- und Antwortwimpel Allgemeiner Rückruf - erster Hilfsstander Zweiter Hilfsstander Dritter Hilfsstander

26 Liverpool Pilot mit Zeichen H für Lotse an Bord

27 Schwierigkeit: Realistische Informationsübertragungrate Lösung: - gleichzeitig bis zu 4 Flaggen gehisst - 4-er Kombinationen mit umfassendem Kodebuch Übungsaufgabe: Wie viele Botschaften lassen sich mit solchen Kombinationen mit bis zu 4 Flaggen kodieren?

28 Lochstreifen Lochkarte (Erfinder Hollerith)

29

30

31 c) Binäre Kodierungen der Ziffern {,,2,3,4,5,6,7,8,9} A B C D E F Signal direkt Excess-3 Aiken Gray 2-aus-5 ASCII Gewichtung (außer für Tetraden-Kodes Signal ) Kontrollbit

32 2.2 Präfix-Kodes Def. 2.2.: Ein Kode C heißt Präfix-Kode, wenn kein Kodewort aus C Präfix eines anderen Kodewortes ist. Beispiele 2.2.: a) Jeder Blockkode ist ein Präfix-Kode, denn bei Blockkodes haben alle Kodewörter die gleiche Länge; z.b. ASCII-Code. b) Der Morsekode ist nur dann ein Präfix-Kode, wenn man das Trennzeichen nach jedem Buchstaben mit berücksichtigt. c) Der Kode aus Beispiel 2.. mit Kodewörtern, und ist kein Präfix-Kode. Eigenschaften von Präfix-Kodes:. Jeder Präfix-Kode ist (insbesondere auch bei sequentieller Übertragung) eindeutig dekodierbar. 2. Bei einem Präfix-Kode werden im zugehörigen Kodebaum alle Kodewörter durch Endknoten dargestellt. (dies ist umgekehrt auch gerade kennzeichnend für Präfix-Kode) 3. Jede Ja/Nein-Fragestrategie führt zu einem binären Präfix-Kode, und umgekehrt entspricht jedem binären Präfix-Kode eine Fragestrategie. Satz 2.2.: Jeder binäre (bzw. t-näre) Präfix-Kode C mit C = n (d.h. n Kode-Wörtern) und den zugehörigen Längen l, l 2,..., l n erfüllt die Ungleichung von Kraft: n i= 2 l i t l i bzw. n i= Sind umgekehrt n, l, l 2,.., l n natürliche Zahlen, die diese Ungleichung erfüllen, so existiert ein entsprechender binärer (bzw. t-närer) Präfix-Kode C.

33 Weitere Kompressionstechniken 4) Paarkodierung (diatomic encoding) Paare von Symbolen werden als neues Symbol aufgefasst 5) Mustererkennung (pattern substitution) häufig vorkommende Symbolfolgen werden durch neue Symbole ersetzt Einfaches Beispiel: ä, ö, ü, ch, sz und sch als zusätzliche kodierte Buchstaben zur Ergänzung des normalen Alphabets a, b, c,..., z => neues Alphabet mit 32 Buchstaben (ideal für 5-stelligen Binärkode) 6) Kodierung der Differenzen Aufeinanderfolgende Symbole oder Symbolketten weichen häufig nur wenig voneinander ab (z.b. Einzelbilder einer Videosequenz) => Differenz zu einer Bezugsgröße (relative encoding) oder zum Vorgänger eines Datenstroms wird übertragen Anwendungen: digitales Fernsehen, Computerspiele, Bildtelefon 7) Statistische Kodierung (statistical encoding) Unterschiedliche Wahrscheinlichkeiten der Quellensymbole (oder Gruppen von Symbolen) werden systematisch ausgenutzt: häufig zu erwartende Symbole werden durch kurze Kodewörter, seltene Symbole durch längere Kodewörter beschrieben. Wahrscheinlichkeiten der Quellensignale müssen vor der Kodierung abgeschätzt werden oder (bei adaptiver Kodierung) durch fortlaufend aktualisierte Häufigkeitsstatistik der momentanen Situation angepasst werden. Beispiel: Bei der Übertragung eines Tennisspiels aus Wimbledon im digitalen Fernsehens merkt das System nach wenigen Bildern, dass die Farbe hellgrün viel häufiger als sonst üblich vorkommt. Zur Kompression von Computer-Files unerlässlich.

34

35

36 Häufigkeitsverteilung der Buchstaben des Alphabetes in deutschen Texten Abbildungen aus: R. Kippenhahn Verschlüsselte Botschaften, Geheimschrift, Enigma und Chipkarte rororo-verlag

37 2.5 Kodierung nach Fano Relativ einfacher Ansatz für eine effektive binäre Kodierung einer Quelle Q mit N Signalen und einer Wahrscheinlichkeitsverteilung p i = p(a i ) (i =,..., N). Schritt Zu kodierende Signale a i der Quelle Q werden so geordnet, dass für die Wahrscheinlichkeiten p i = p(a i ) gilt: p p 2 p 3... p N 2. Schritt Signale der Menge werden unter Beibehaltung der Ordnung so in 2 Teilmengen aufgeteilt, dass beide Teilmengen möglichst gleiche Wahrscheinlichkeit besitzen (beim ersten Durchlauf jeweils möglichst,5). 3. Schritt Die beiden entstandenen Teilmengen werden (für jedes in der Teilmenge enthaltene Signal) kodiert mit: (für die obere Hälfte) und (für untere Hälfte). 4. Schritt Sind alle Teilmengen einelementig => Kodierung fertig. Falls nicht: Fortsetzung mit 2. Schritt für jede andere Teilmenge. Beispiel siehe Tafel Kodierung nach Fano führt in der Regel nicht zu optimalem Kode!

38 2.6.2 Eigenschaften des Informationsmaßes I(x) Sei x ein Ereignis, das mit der Wahrscheinlichkeit p(x) auftritt. Die Funktion I(x) soll messen: Informationsmenge (Überraschung, Beseitigen von Unsicherheit) beim Auftreten des Ereignisses mit der Wahrscheinlichkeit p(x) Ansätze für die Funktion I(x): a) I(x) reelles, nicht negatives Maß b) I(x, x 2 ) = I(x ) + I(x 2 ) additiv für statistisch unabh. Ereignisse x und x 2 c) I(x) sei eine stetige, monoton fallende Funktion der Auftretenswahrscheinlichkeit p(x) Bemerkung siehe Tafel Definition (nach Shannon) Bei einer diskreten Quelle ohne Gedächtnis ist die Information I (oder Informationsmaß oder Informationsgehalt), die durch das mit der Wahrscheinlichkeit p i > eintretende Symbol a i geliefert wird, definiert durch: I (ai) : = ld [bit] ld: binärer Logarithmus p i Bemerkung Bei Verwendung des natürlichen Logarithmus: log e = ln [nat] Bei Verwendung des dezimalen Logarithmus: log = lg [Hartley] Ein Symbol, das auftritt, obwohl es die Wahrscheinlichkeit hat, liefert unendliche Information (ist eine Sensation). Beispiel Sei Q eine diskrete Quelle ohne Gedächtnis mit N = 2 m Symbolen a i identischer Wahrscheinlichkeit p i = p Σ p i = (gilt immer) => N p = => p = /N = / 2 m I (a ld p = ld /2 m i ) = = ld 2 = m ganzzahliger Wert m i

39 2.6.3 Entropie Im allgemeinen interessiert man sich in der Informationstheorie weniger für den Informationsgehalt I eines einzelnen Quellensymbols, sondern für die im Mittel pro Signal gelieferte Information (den Erwartungswert). Definition Gegeben sei eine diskrete Quelle mit den Symbolen a,... a i,..., a N über einem binären Alphabet und der zugehörigen Wahrscheinlichkeitsverteilung IP = (p... p i... p N ). Dann ist die Entropie von Q (oder der mittlere Informationsgehalt von Q) definiert durch: H ( Q) : = N i= p i I( a i ) H ( Q) = N i= p i ld(/ p i ) in [bit/symbol] oder [Shannon/Symbol] Bemerkungen a) H(Q) ist allein von der Wahrscheinlichkeitsverteilung IP der Quelle abhängig, (nicht von dem Alphabet selbst) Man schreibt daher statt H(Q) häufig auch H(IP) oder H(p,..., p N ) b) Das oben definierte H läßt sich verallgemeinern auf t-näre Alphabete => t-näre Entropie H t N ( Q) = i= p i log t (/ p i ) in [Zeichen/Symbol] c) Die Definition von H umfaßt auch Fälle mit p i = bzw. p i gegen (Sensationen), denn: limp p i i ld(/ pi ) ld(/ pi ) = lim pi / p i = lim z ldz z = lim z ln z / ln 2 z = ln 2 lim z / z = (Bei 4. Gleichheitszeichen Anwendung von l Hospital) Der Vorfaktor mit der Wahrscheinlichkeit sorgt somit dafür, dass diese Ereignisse keinen (bzw. einen gegen strebenden) Beitrag zur Entropie liefern, obwohl ihre Information gegen geht.

40 d) Ereignisse mit p i = liefern ebenfalls keinen Beitrag zur Entropie, da: ld (/) = ld () = = e) Alle anderen Ereignisse (d.h weder p i = noch p i = ) liefern positiven Summanden p i ld (/ p i ) >, denn beide Faktoren sind positiv (zum einen gilt < p i <, zum anderen ist Argument des ld größer als => ld > ) Beispiele ( ) a) A B C D Q =,4,,2,3 Das ist wieder das Beispiel aus 2.5 (Kodierung nach Fano) H(Q) =,4 ld(/,4) +, ld(/,) +,2 ld(/,2) +,3 ld(/,3) H(Q),85 Bit / Symbol b) Sei Q eine Quelle mit N Symbolen gleicher Wahrscheinlichkeit p (mit p = /N) N H(Q) = H(/N,...,/N) = i = N ld / N = N N ld N = ld N für Spezialfall N=2 m gilt H(Q) = ld(2 m ) = m ganzzahlig

41 Satz 2.6. Gegeben sei eine diskrete Quelle Q mit den Symbolen a,... a i..., a N über einem binären Alphabet und der zugehörigen Wahrscheinlichkeitsverteilung IP = (p, p i p N ). a) Unter allen Möglichkeiten zur Variation von IP ist die Entropie von Q maximal, wenn alle p, p i p N identisch sind, d.h. alle Symbole die gleiche Auftrittswahrscheinlichkeit haben. Dies ist die Verallgemeinerung des für N=2 erläuterten Beispiels. Beweis mit vollständiger Induktion auf der Basis des Beispiels. Diese maximale Entropie (bei festem Alphabet und insbesondere festem N) wird mit H oder H max bezeichnet und heißt Entscheidungsgehalt. H := H(/N,..., /N) = ld N = I (a i ) b) Unter allen Möglichkeiten zur Variation von IP ist die Entropie H minimal (H=), wenn ein Extremfall mit p = und p 2 =... = p N = auftritt (bzw. analoger Fall mit Vertauschung der Indizes) Beweisskizze: H= für den Extremfall, da hier jeder Summand für H den Wert hat Summanden p i sind stets, siehe oben in allen Fällen außer dem Extremfall: mindestens Summand > => H >

42 c) Quelle Q mit nur 2 Symbolen, Wahrscheinlichkeiten p, p 2 Wegen Σ p i = nur ein freier Parameter, es gilt p 2 = -p, daher statt p, p 2 üblichere Schreibweise: p, -p Für diese Quelle: H(Q) = H(p,-p) = H(p) = p ld(/p) + (-p) ld(/(-p)) = - p ld p - (-p) ld (-p) := Shannon-Funktion Entropie hat in diesem besonders einprägsamen Fall ihr Maximum für p =,5 ( bzw. p = p 2 =,5) Beweis siehe Übungsaufgabe S(p) Entropie der binären Quelle p Shannon-Funktion S(p)

43 2.7 Shannonsches Kodierungstheorem Shannon suchte und fand einen Zusammenhang zur Abschätzung der mittleren Kodewortlänge L eines Kodes für eine binäre Quelle ohne Gedächtnis. Satz 2.7. Die mittlere Kodewortlänge L (Q) für die Kodierung einer Quelle Q ist nach unten begrenzt durch die Entropie der Quelle: ( L opt (Q) ist d. mittlere Kodewortlänge d. optimalen Kodes) H(Q) L opt (Q) L (Q) Für jede binäre Quelle ohne Gedächtnis kann eine Kodierung gefunden werden, so dass gilt: L (Q) < H(Q) + Kurzform: H(Q) L opt (Q) H(Q) + Beweis des Shannonschen Kodierungstheorems: a) H(Q) L (Q) Beweisidee: - Ungleichung von Kraft (Wurzelbäume mit vorgegebenen Satz.5.2. Abständen von der Wurzel) - Gibbsche Ungleichung (siehe Rohling)

44 b) Es gibt einen Kode mit L H(Q) + Zunächst mathematischer Exkurs erforderlich. Binäre Darstellung von Brüchen durch binäre Nachkommastellen, die den negativen Potenzen von 2 entsprechen., entspricht 2 -,, entspricht 2-2,, entspricht 2-3 und so weiter Beispiele:,... entspricht, entspricht /2 + /8 = 5/8 =,625 Beweis durch Konstruktion des Shannon Kodes in 4 Schritten:. Schritt Symbole der Quelle nach ihren Wahrscheinlichkeiten p i sortieren, kleinste nach unten 2. Schritt Für jeden Index i die Gesamtwahrscheinlichkeit P i für alle die Symbole aufsummieren, die in der Liste weiter oben stehen (deren Wahrscheinlichkeit noch größer ist). i = P i p j für i > ( P = ) j= 3. Schritt Für jeden Index i aus der Wahrscheinlichkeit p i mit folgender Beziehung eine Kodewortlänge L berechnen 2 [ Beispiel p i =,9 L p i < 2 L /2 3 = /8 =,25,9 <,25 = /4 = /2 2 => L(p i ) = 3 ] 4. Schritt Berechnung des Kodewortes für jeden Index i durch Binärdarstellung von P i und Weglassen aller Nachkommastellen nach L(p i ) [Beispiel p i =,9 => L = 3 (s.o.), P i =,22 = (,25 +,625 +, ) => Binärdarstellung,... => Kodewort

45 Beispiel einer Kodierung nach Shannon Ermittlung der Kodewörter Darstellung als Baum Shannon-Kode ist offensichtlich nicht optimal!

46 Beweislücke, dass die Abstände zwischen P i und P i+ jeweils so groß sind, dass gewählte Kodewortlänge L gerade ausreichend zur Unterscheidung von P i und P i+ ist. Skizze zum Füllen dieser Lücke: Differenz ist gerade p i. Rest folgt aus der zu diesem Zweck so gewählten trickreichen Formel für L, (ausführliche Darstellung siehe Rohling) Verifizierung des Shannonschen Kodierungstheorems am gezeigten Beispiel: L = 3,54 bit/zeichen H(Q) = 2,73 entsprechend der Definition ausgerechnet => H(Q) = 2,73 L = 3,54 < H(Q) + = 3,74 ok. Besonderheiten des Shannon-Kodes: ++ die Kodeworter können direkt aus p i bzw. P i berechnet werden ++ Umsortieren nicht erforderlich - Mittlere Kodewortlänge zwar meist kleiner als bei Fano, aber keineswegs minimal Beispiel zeigt unmittelbar, dass es noch Verkürzungsmöglichkeiten gibt.

47 2.8 Kodierung nach Huffman Huffman löste die Frage nach dem Präfixkode mit minimaler mittlerer Kodewortlänge L zur Kodierung einer Quelle Q mit N Symbolen. Grundidee: Alle Endknoten besetzt, sonst stets Verkürzungsmöglichkeiten Die beiden Symbole mit kleinster Wahrscheinlichkeit haben größte Kodewortlänge. Konstruktion des Kodes durch 3 Schritte, die N-2 mal durchlaufen werden müssen:. Schritt: Symbole der Quelle Q (bei erstem Durchlauf =Q, sonst Q, Q 2,...) nach ihren Wahrscheinlichkeiten p i sortieren, kleinste nach unten 2. Schritt: Den zwei Quellensymbolen mit geringster Wahrscheinlichkeit werden Kodeelemente bzw. zugeordnet bzw. den schon vorhandenen vorangestellt. 3. Schritt: Diese zwei Quellensymbole werden zu einem neuen Symbol zusammengefaßt, dessen Wahrscheinlichkeit die Summe aus den beiden Einzelwahrscheinlichkeiten ist (neue Quelle Q j mit Symbol weniger) Nach N-2 maligem Durchlauf entsteht die neue Quelle Q N-2, die nur noch aus 2 Symbolen besteht. Satz 2.8. Zu einer gegebenen Quelle Q ohne Gedächtnis gibt es keine Kodierung der Einzelzeichen, bei der sich eine kleinere mittlere Kodewortlänge als bei der Huffman-Kodierung ergibt.

48

49 Bemerkung 2.8. Die Huffman-Codierung ist in mehrfacher Hinsicht nicht eindeutig: a) Die Zuordnung der Symbole und zu den beiden Quellensymbolen ist für jeden Schritt willkürlich, aber nur triviale Änderungen. Klar ist, dass dies keinen Einfluss auf L hat. b) Sind zwei Wahrscheinlichkeiten gleich (u.u. auch nach Zusammenfassungen), ist die Auswahl willkürlich andere Reihenfolge. Es kann so auch zu anderen Codewortlängen kommen, L bleibt aber dennoch unverändert. Beispiel a i Code p i Code p i Code p i Code p i Codewortlängen a,4,4,4,6 a 2,2,2,4,4 2 a 3,2,2,2 3 a 4,,2 4 a 5, 4 L =,4 +,2 2 +,2 3 +(, +,) 4 = 2,2 [Bit/Symbol] a i Code p i Code p i Code p i Code p i Codewortlängen a,4,4,4,6 2 a 2,2,2,4,4 2 a 3,2,2,2 2 a 4,,2 3 a 5, 3 L = (,4 +,2 +,2) 2 + (, +,) 3 = 2,2 [Bit/Symbol]

50 Anwendungen des Huffman-Kodes Huffman-Kode ist das Standardverfahren zur Kompression von Datenquellen mit Einzelzeichen bekannter Wahrscheinlichkeit Das Verfahren ist z.b. eine Basis für Datenkompressionen bei: - ZIP - GZIP - PDF - JPEG (MPEG) - MP3 Bei den mächtigen Speicherformaten wird die Huffman-Kodierung typischerweise in Verbindung mit anderen Verfahren eingesetzt, die effektiv ausnutzen, dass es in der Praxis meist Abweichungen zu einer Shannon-Quelle (d.h. Kopplungen der Zeichen) gibt.

51 2.9 Redundanz In der Einleitung wurde Redundanz mit Worten angedeutet: Nachricht ist vorhersagbar, so dass die Kenntnis der Senke nicht vergrößert wird. (d.h. Redundanz umfasst mehrfache Übertragung der gleichen Information, u.u. auch in modifizierter Erscheinungsform) Informationstheoretische Definition der Redundanz: Definition 2.9.: absolute Redundanz R c einer Kodierung der Quelle Q R c := L H(Q) R c ist ein Maß dafür, wie viele Daten über die eigentliche Information bzw. Entropie hinaus zu übertragen sind. Die übrigen Definitionen sind hiervon abgeleitete Varianten: Definition 2.9.2: relative Redundanz R c, rel einer Kodierung der Quelle Q R c, rel := - H(Q) / L R c, rel läßt sich deuten als der Anteil der zusätzlich übertragenen Daten Definition 2.9.3: absolute Redundanz R Q der Quelle Q R Q := H max - H(Q) Differenz zwischen der Entropie einer Quelle mit gleich wahrscheinlichen Symbolen und der Entropie der vorliegenden Quelle mit der gleichen Anzahl von Symbolen. Definition 2.9.4: relative Redundanz R Q, rel der Quelle Q R Q, rel := - H(Q) / H max R Q, rel entspricht R Q, jedoch normiert auf Hmax

52 Redundanz in Texten (aus Wörtern zusammengesetzt) Die folgenden Beispiele zeigen, dass die deutsche Sprache erhebliche Redundanz enthält, denn trotz der erheblichen Buchstabenvertauschungen innerhalb der Wörter bzw. Verstümmelungen kann man die Texte rekonstruieren. Gmäeß eneir Sutide eneir elgnihcesn Uvinisterät ist es nchit witihcg, in wlecehr Rneflogheie die Bstachuebn in eneim Wrot snid; das ezniige was wcthiig ist, ist dsas der estre und der leztte Bstabchue an der ritihcegn Pstoiion snid. Der Rset knan ein ttoaelr Bsinöldn sien, tedztorm knan man ihn onhe Pemoblre lseen. Das ist so, wiel wir nciht jeedn Bstachuebn enzelin leesn, snderon das Wrot als gseatems. Das ghet wicklirh! Ei- Be-sp-el -ür -in-n f-hl-re-ke-ne-de- Co-e i-t d-e Co-ieun- mi- Hi-fe -er -SB- (I-te-na-io-al -ta-da-d B-ok -um-er).,,von westlichen Verlagen herausgegebene Bücher werden seit einiger Zeit mit Nummern versehen, aus denen Land, Verlag und Buch zu identifizieren sind.

53 2. Kodierung von Wörtern anstelle von Einzelzeichen Das Shannonsche Kodierungstheorem (Satz 2.7.) lieferte Abschätzung für die mittlere Kodewortlänge eines Kodes für eine binäre Quelle ohne Gedächtnis bei Kodierung der Einzelzeichen. Verringerung der mittleren Kodewortlänge möglich durch eine Kodierung von Wörtern anstelle von Einzelzeichen. Verallgemeinerung des Satzes 2.7.:. Hauptsatz der Informationstheorie (Shannon) a) Bei einer diskreten Quelle Q ohne Gedächtnis ist der mittlere Kodieraufwand (mittlere Kodewortlänge bezogen auf die Länge des zu kodierenden Wortes) auch bei Kodierung von Wörtern anstelle von Einzelzeichen nach unten begrenzt durch die Entropie H(Q), die sich bei Betrachtung der Einzelzeichen ergibt. b) Durch Wahl einer genügend großen Länge der jeweils zu kodierenden Wörter kann ein Kode gefunden werden, dessen mittlerer Kodieraufwand beliebig nahe an H(Q) liegt.

54 2. Quellen mit Gedächtnis Bisher wurde von einer Quelle ohne Gedächtnis ausgegangen. Dies ist häufig nur eine grobe Näherung. Die aufeinanderfolgenden Zeichen sind bei einer Informationsübertragung häufig nicht unabhängig voneinander (Beispiele: Texte, Bilder, selbsterklärende Bezeichnungen in Programmen, näheres siehe 2.3 Datenkompression). Bei der Quelle ohne Gedächtnis wurde jedes Zeichen i allein durch seine Wahrscheinlichkeit p i charakterisiert, die nicht von den vorhergehenden abhing. 2.. Bedingte Wahrscheinlichkeit, Verbundwahrscheinlichkeit und Verbundentropie Definition 2... Gegeben seien zwei diskrete Quellen mit Gedächtnis X = {x, x 2,..., x m } und Y = {y, y 2,..., y n }. Die Wahrscheinlichkeit für des Auftreten des kombinierten Ereignisses (Ereignispaares) von x i und y k, heißt Verbundwahrscheinlichkeit p(x i, y k ). Definition Seien Q = (X, p x ) und Q 2 = (Y, p y ) zwei diskrete Quellen mit oder auch ohne Gedächtnis. Die Verbundentropie H(Q x Q 2 ) für eine Quelle, die sich aus Paaren von X und Y zusammensetzt, ist definiert durch: H ( Q x Q 2 ) : = m n p( x, i= k = i y k ) ld p( x, y i k ) Bemerkung: Sind die Elemente der Paare unabhängig voneinander, so gilt für die Wahrscheinlichkeiten: p(x i, y k ) = p x (x i ) p y (y k ) Satz 2.. Gegeben sei eine Quelle X x Y, die sich aus Paaren von Elementen aus den beiden Quellen X und Y zusammensetzt. Die Elemente der Paare seien unabhängig voneinander. Dann gilt für die Verbundentropie dieser Quelle X x Y: H(X x Y) = H(X) + H( Y) Beispiel siehe Tafel

55 Für die Quelle Q k, deren Symbole die Wörter der Länge k von Zeichen der Quelle Q sind, ergibt sich somit für die Verbundentropie: H (Q k ) = k H (Q) Beweis: siehe Schulz, Seite 52 Hinweis: gelegentlich wird statt H(Q, Q 2 ) auch H(X x Y) oder H(X, Y) geschrieben Bemerkungen: i.a. sind X und Y nicht identisch, insbesondere auch m n Verbundwahrscheinlichkeit p(x i, y k ) ist zu unterscheiden von p(x i ) p(y k ), dem Produkt der Einzelwahrscheinlichkeiten n m Es gilt: p( x i, yk ) = k = i= Für die Wahrscheinlichkeit für das Auftreten des Zeichens x i bzw. y k in einer genügend großen Gesamtheit gilt: n p( xi ) = p( xi, yk ) k = m p( yk ) = p( xi, yk ) i= Definition Gegeben wieder zwei diskrete Quellen X und Y. Die Wahrscheinlichkeit für des Auftreten des Ereignisses y k unter der Voraussetzung, dass x i bereits eingetroffen ist, wird als bedingte Wahrscheinlichkeit p(y k x i ) bezeichnet. Sie erfaßt die Korrelation zwischen den Ereignissen bzw. Zeichen y k und x i. Es gilt: n p( y k / xi ) = k = und m p( x i / yk ) = i=

56 Bemerkungen: Selbst wenn X und Y identisch sind, ist die bedingte Wahrscheinlichkeit i.a. nicht symmetrisch: p(y k x i ) p(x i y k ) Die bedingte Wahrscheinlichkeit p(x i y k ) steht in engem Zusammenhang mit der Verbundwahrscheinlichkeit p(x i, y k ), denn es gilt: p(x i, y k ) = p(y k x i ) p(x i ) = p(x i y k ) p(y k ) Eine Quelle ohne Gedächtnis ist ein Spezialfall dieser Situation, für diese gilt: - X = Y (und insbesondere m = n) - p(y k x i ) = p(y k ) (unabhängig von x i ) - p(x i y k ) = p(x i ) (unabhängig von y k ) - p(x i, y k ) = p(x i ) p(y k )

57 2..2 Entropie einer Quelle mit Gedächtnis Definition Gegeben seien wieder zwei diskrete Quellen mit Gedächtnis X = {x, x 2,..., x m } und Y = {y, y 2,..., y n }. Für die Quelle Y kann in Analogie zu Abschnitt eine Entropie berechnet werden, wenn aus der Quelle X das Zeichen x i ausgewählt worden ist: H ( Y / x i ) : = n p( y / x ) ld p( y / x k i k = k i ) [Bit / Zeichen] Die so definierte Größe wird bezeichnet als: bedingte Entropie H(Y x i ) der Quelle Y bezüglich des Einzelzeichens x i. Für jedes aus der Quelle X ausgewählte Zeichen x i ergibt sich eine derartige bedingte Entropie der Quelle Y. Durch Mittelung über diese bedingten Entropien (mit Gewichtung durch p(x i ) ) erhält man die bedingte Entropie H(Y X) der Quelle Y bezüglich der Quelle X. H ( Y / X ) : = m p( xi ) H ( Y / x i ) i= m n i k i i= k = p( yk / xi ) m n p( xi, yk ) ld i= k = p( yk / xi ) bzw. = p( x ) p( y / x ) ld und = Satz 2.. Für die Verbundentropie für eine diskrete Quelle mit Gedächtnis gilt: H(X,Y) = H(X) + H(Y/X)

58 Beispiel mit zwei abhängigen Quellen Einkommensstruktur in Deutschland Menge X = {Jahreseinkommen in k } = {x, x 2, x 3,..., x } = {,, 2, 3,...} mit unterschiedlichen Häufigkeiten p(x i ) Menge Y = {Berufe} = {y, y 2, y 3,y 4, y 5 } = {Kind, Rentner, Ingenieur, PTB-Gruppenleiter, Facharzt} mit unterschiedlichen Häufigkeiten p(y k ) Verbundwahrscheinlichkeit p(45, y 3 ) beschreibt die Wahrscheinlichkeit, aus einer großen Gruppe von beliebigen Personen jemanden auszuwählen, der - zum einen Ingenieur ist, - und zum anderen ein Jahreseinkommen von 45 hat. Kopplung zwischen X und Y für jeden Beruf y k anderes Einkommensspektrum, beschrieben durch bedingte Wahrscheinlichkeiten: p(x i y ), p(x i y 2 ), p(x i y 3 ), p(x i y 4 ), p(x i y 5 ) Bedingte Wahrscheinlichkeit p(45 y 3 ) beschreibt die Wahrscheinlichkeit, aus einer großen Gruppe von Ingenieuren (y 3 ) jemanden auszuwählen, der - ein Jahreseinkommen von 45 hat. p(45, y 3 ) = p(45 y 3 ) p(y 3 ) Facharzt p(y 5 ) =, PTB-Gruppenleiter p(y 4 ) =, Ingenieur p(y 3 ) =,3 2 p(x i y 5 ) p(x i y 4 ) p(x i y 3 ) Rentner p(x i y 2 ) p(y 2 ) =,35 Kind p(y ) =,24 p(x i y ) p( x i 5 ) = p( xi k = / yk ) p( yk )

59 Monopoly als Beispiel eines Markov-Prozesses - p(x i Seestraße) = Wahrscheinlichkeiten für i Summe aus zwei Würfeln - p(opernplatz x i ) p(opernplatz) = p (Opernplatz x i ) p(x i ) i Gesamt-Wahrscheinlichkeit für Opernplatz Alternative Lösungsmöglichkeit: Monte-Carlo-Simulation

60 Wie jeder weiß gibt es beim Monopoly 4 Felder. Der erfahrene Spieler weiß auch, dass die nicht gleichmäßig besucht werden. Aber welche Straßen werden am häufigsten besucht? Um diese Frage zu klären betrachte ich das Monopolyspiel als Markov-Prozess mit 4 Zuständen. Die Übergangswahrscheinlichkeiten sind bestimmt durch das Würfeln, verschiedenen Ereignis- und Gemeinschaftskarten ("Rücke vor bis zur Schlossallee") und dem "Gehe-ins-Gefängnis" Feld. Vernachlässigt wurden die Paschregeln, durch die man manchmal ins Gefängnis rein- oder rauskommt. Betrachtet wird jeweils das Feld auf dem man letztendlich stehen bleibt. Markiert ist der Durchschnitt bei /4. Zu beachten ist, dass der Ertrag einer Straße sich je nach Regel "quadratisch" zur Aufenthaltswahrscheinlichkeit verhält. Nicht nur der Gegner zahlt öfter Miete, ich kann auch öfter bauen. Aufenthaltswahrscheinlichkeiten: Felix Holderied, (felix@holderied.de) 996 Literatur: R.B. Ash und R.L. Bishop. Monopoly as a Markov-process. Mathematics Magazine, 45: 26-29, 972 Bachelor-Arbeit April 28, Monopoly & Markow-ketten, Julia Tenie

61 Zusammenfassung der praktischen Konsequenzen von Abschnitt 2 Quellenkodierung Optimierung der (binären) Kodierung einer Quelle mit N verschiedenen Zeichen unterschiedlicher Wahrscheinlichkeiten p(x i ) und mit Gedächtnis.. Schritt Kodierung aller Einzelzeichen ohne Berücksichtigung der Einzelwahrscheinlichkeiten oder des Gedächtnisses => L opt Hmax = ld N 2. Schritt Huffman-Kodierung aller Einzelzeichen mit Berücksichtigung der Einzelwahrscheinlichkeiten (N Kodewörter) => H( X ) LHuffman H ( X ) + 3. Schritt Huffman-Kodierung von Zeichenketten der Länge k, Berücksichtigung der Wahrscheinlichkeiten dieser Ketten durch Produkte der Einzelwahrscheinlichkeiten (d.h. noch Vernachlässigung des Gedächtnisses) p(x, x 2,...,x k ) = p(x ) p(x 2 )... p(x k ) => sehr komplizierter Kode mit N k Kodewörtern (statt N) H( X ) LHuffman H ( X ) + / k 4. Schritt Huffman-Kodierung jedes Einzelzeichens j mit einem Kode, der vom vorherigen Zeichen j- abhängt und so das Gedächtnis berücksichtigt und damit den richtigen Wert für p(x j-, x j ) H( X X ) L. H ( X X ) + H ( X ) + Huff u.u. deutlich kleiner als H(X) Nachteil: komplizierter Kode mit N N Kodewörtern (statt N)

62 Anwendung auf Texte mit deutscher Sprache Wichtiges Beispiel für eine Quelle mit Gedächtnis: Texte Sprachforscher haben die deutsche Sprache bezüglich ihrer statistischen Zusammensetzung analysiert. 3 Zeichen ( 26 Buchstaben + Zwischenraum + 3 Interpunktion ) H max = ld 3 = 4,97 Bit / Zeichen ohne Berücksichtigung der Wahrscheinlichkeiten der Zeichen H(Q) = 4,87 Bit / Zeichen mit Wahrscheinlichkeiten der Einzelzeichen (Markow-Quelle. Ord.) ½ H(X, Y) = 3,26 Bit / Zeichen Korrelation von Zeichenpaaren (Markow-Quelle. Ord.) /3 H(X, Y, Z) = 2,883 Bit / Zeichen Korrelation von Zeichentripeln (Markow-Quelle 2. Ord.) Bemerkungen: Für englische Sprache etwas unterschiedliche Werte! Anhand der Häufigkeitsverteilung der Einzelzeichen kann jede monoalphabetische Verschlüsselung geknackt werden (dabei wird einfach jedes Zeichen durch ein anderes ersetzt) Auch die Zahlen haben aus verschiedenen Gründen unterschiedliche Häufigkeiten.

63 Anwendung auf ein extremes Beispiel Kodierungsverfahren für Übertragung des folgenden, laufenden Textes: AABCDEFGHIAABCDEFGHIAABCDEFGHIAABCDEFGHIAA.. Ansatz: Übertragung von Buchstaben aus dem Alphabet A Z (26 Stück) => H max = ld 26 = 4,7 Bit / Zeichen als untere Grenze bzw. aus dem Alphabet A I => H max = ld 9 = 3,7 Bit / Zeichen 2. Ansatz: Berücksichtigung der tatsächlichen Häufigkeit der Zeichen nur A bis I kommen vor: p(a) = 2/ p(b) = = p(g) = / => H(X) ca. 3,2 Bit / Zeichen dann Huffman-Kodierung mit diesen Häufigkeiten => 3,2 Bit / Zeichen < Mittlere Kodewortlänge < 4,2 Bit / Zeichen 3. Ansatz: Kodierung von Zeichenpaaren Wahrscheinlichkeiten als Produkte der Einzelwahrscheinlichkeiten p(a,a) = 4/, p(a,b) = p(a,c) = p(a,d) = p(a,e) = = p(a,h) = p(a,i) = 2/, p(b,a) = p(c,a) = p(d,a) = p(e,a) = = p(h,a) = p(i,a) = 2/, p(b,b) = p(b,c) = p(b,d) = p(b,e) = = p(b,h) = p(b,i) = = p(c,b) = p(c,c) = p(c,d) = = p(c,e) = p(c,f) = = = / Huffmankodierung rückt dichter an Entropie (3,2 Bit / Zeichen) 4. Ansatz: Berücksichtigung der tatsächlichen Häufigkeit von Zeichenpaaren nur AA, BC, DE, FG und HI kommen vor, Wahrscheinlichkeit hierfür jeweils /5 Huffmankodierung liefert (mittlere) Kodewortlänge 2 Bit/Zeichenpaar untere Grenze jetzt nicht mehr H(X) 5. Ansatz: genaue Betrachtung der Gesamtstruktur (Gedächtnis) der Quelle: Zeichenkette völlig redundant! => H(X X ) = => keine Datenübertragung erforderlich => mittlere Kodewortlänge = Bit / Zeichen

64 Quellenkode redundanzarmer redundanter Quellenkode Übertragungskode Sender (Quelle) Quellen- Kodierer Kanal- Kodierer c c 2... c n STÖRUNGEN!!! Physikalischer Kanal Empfänger (Senke) Quellen- Dekodierer Kanal- Dekodierer c c 2... c n ursprünglicher Quellenkode mit Fehlererkennung bzw. Fehlerkorrektur Ziele: siehe Tafel Einfachster Fall: Paritätsbit Nachteile: - viele Fehlerarten werden nicht erkannt - Fehlerkorrektur nicht möglich

65 3. Prüfzeichenverfahren Prüfzeichen hier zunächst nur für Wörter über dem dezimalen Alphabet A = {,, 2,..., 9 }, dann Verallgemeinerungen. Prüfziffern werden in der Praxis insbesondere verwendet bei: Kontonummern Versicherungsnummern ISBN-Code für Bücher (International Standard Book Number) EAN-Code (European Article Number) Lok-Nummern der Deutschen Bahn Geldschein-Nummern (DM)... Sie dienen zur Entdeckung von Eingabefehlern. Diese treten in der Praxis in verschiedenen Formen und mit unterschiedlichen Häufigkeiten auf. Fehlertyp Symbol Häufigkeit Verwechslung einer Ziffer a b 79 % (Einzelfehler) Nachbartransposition a b b a,2 % (Zahlendreher, Vertauschung benachbarter Ziffern) Sprungtransposition a b c c b a,8 % (Vertauschung einer Ziffer mit der übernächsten) Zwillingsfehler a a b b,6 % Phonetische Fehler (z.b. dreißig dreizehn) a a (a = 2, 3,...9),5 % Sprungzwillingsfehler a c a b c b,3 % Übrige Fehler (zufällige Kombinationen) 8,6 % Vorsicht: Diese Angaben gelten für Eingabefehler Bei physikalischen Störungen von Kanälen gibt es andere Fehlerarten und Häufigkeiten

66 Mathematik-Einschub Gruppenaxiome Sei M eine endliche oder unendliche Menge von Symbolen oder Elementen: M = {x, x, x 2,... } und sei eine Verknüpfungsvorschrift für zwei Elemente x i und x j M bildet eine Gruppe, wenn gilt: A) Abgeschlossenheit: x i x j M (für beliebiges i und j ist Verknüpfung definiert und liefert Element aus M) B) Assoziativität: (x i x j ) x k = x i (x j x k ) (Vertauschung nicht unbedingt erlaubt, falls erlaubt heißt die Gruppe kommutative Gruppe) C) Neutrales Element x : M enthält ein für alle i gemeinsames neutrales Element x : x i x = x i D) Inverses -x i : M enthält für jedes i jeweils ein inverses Element -x i mit: x i (-x i ) = x

67 Einfachste Beispiele für Gruppen: Die ganzen Zahlen Z mit der normalen Addition ( als neutrales Element, -n als inverses Element zu n) Die rationalen Zahlen Q mit der normalen Addition ( als neutrales Element, -p/q als inverses Element zu p/q) Die rationalen Zahlen Q mit der normalen Multiplikation ( als neutrales Element, q/p als inverses Element zu p/q) Die reellen Zahlen R mit der normalen Addition ( als neutrales Element, -r als inverses Element zu r) Die reellen Zahlen R mit der normalen Multiplikation ( als neutrales Element, /r als inverses Element zu r) Von besonderem Interesse für die Kodierungstheorie sind jedoch die endlichen Gruppen (mit nur endlich vielen Elementen), da bei diesen Gruppen vermieden werden: Darstellungsprobleme (für große Zahlen) und Rundungsfehler (auch nach vielen aufeinanderfolgenden Rechnungen) Einfachste Beispiele für endliche Grupppen: Dualzahlen M = {,} mit Addition modulo 2 Dualzahlen M = {,} mit Multiplikation modulo 2 Dezimalzahlen M= {,, 2, 3,..., 9} mit Addition modulo Zahlen M= {,, 2,..., n-} mit Addition modulo n Alle Multiplikationsbeispiele bilden nur bei Menge ohne eine Gruppe!

68 Viele Gruppen lassen sich anschaulich in geometrischer Form deuten: Beispiel: M= {,, 2,..., n-} mit Addition modulo n als Drehung eines n -Ecks mit einem Winkel 36 / n hier im mathematisch positiven Sinn (gegen Uhrzeigersinn), Elemente der Gruppe sind die zugehörigen Abbildungen Verknüpfung ist das Hintereinanderschalten der Operation Spezialfall: Rechnung modulo 5, Drehung eines 5-Ecks Ausgangs- 5-Eck jeweils: a a 2 a 3 a Nur ein erzeugendes Element: a = Drehung um 72 (36 /5) mit a 5 = (Identität) Es gibt insgesamt 5 Elemente (, a, a 2, a 3, und a 4 ). Die Reihenfolge der Farben des 5-Ecks bleibt erhalten. Andere Permutationen der Kanten des 5-Ecks lassen sich allein durch Drehung nicht erreichen.

69 Beispiel EAN-Kode Warenpackungen sind mit Artikelnummer gekennzeichnet, als aufgedruckte Zahl und zusätzlich durch Striche a) Zahlenkode Aufbau des Kodes aus 3 Ziffern: a a 2 a 3... a 3 a a 2 : Herkunftsland der Ware a 3 a 4 a 5 a 6 a 7 : bundeseinheitliche Betriebsnummer a 8 a 9 a a a 2 : individuelle Artikelnummer des Herstellers a 3 : Prüfziffer a 3 - ( a + 3 a 2 + a a a + 3 a 2 ) (mod ) Beispiel: siehe Tafel b) Strich-Kode b) Kodierung des Strich-Kodes (meist durch Rand- und Mittelzeichen gegliedert) Jede Ziffer (ab a 2 ) wird durch Strichsymbol dargestellt, das aus jeweils 7 dünnen Streifen-Modulen besteht. Streifen sind ausgefüllt - schwarz Kode oder leer - weiß Kode a Information wird indirekt kodiert: durch die Art der Kodierung für die Ziffern a 2 a 3 a 4 a 5 a 6 a 7 a a 2 a 3 a 4 a 5 a 6 a 7 a 8 a 9 a a a 2 a 3 Kodierung D Kodierung A oder B Kodierung C je nach Wert von a siehe Tabelle

70 Tabelle regelt: bei der Kodierung Wahl des Kodes für a 2 a 3 a 4 a 5 a 6 a 7 Kode D (für a ) ist das Muster von A bzw. B Wert für zu verwendender Kode für die Ziffer Ziffer a a 2 a 3 a 4 a 5 a 6 a 7 A A A A A A A A B A B B 2 A A B B A B 3 A A B B B A 4 A B A A B B 5 A B B A A B 6 A B B B A A 7 A B A B A B 8 A B A B B A 9 A B B A B A Wie sehen A bzw. B und C konkret aus? Zeichen Kode A Kode B Kode C Kode B und C sind Derivate aus Kode A: Kode B: ausgehend von Kode A und vertauschen zusätzlich Reihenfolge der Komponenten umkehren Kode C: ausgehend von Kode A und vertauschen b2) Dekodierung des Strichkodes siehe Tafel

71 Liste der Präfixe des EAN-Kodes (laufend erweitert) - 3 USA und Kanada 5 Großbritannien Mittelamerika 2-29 Kennzeichen für 52 Griechenland 76 Schweiz/ Liechtenstein interne Nummerierungen 3-37 Frankreich Libanon / Zypern Südamerika 38 Bulgarien 53 Mazedonien 8-83 Italien 383 Slowenien 535 Malta 84 Spanien 385 Kroatien 539 Irland 85 Kuba 387 Bosnien-Herzegowina 54 Belgien und Luxemburg 858 Slowakei 56 Portugal 859 Tschechien 4-44 Deutschland 569 Island 86 Jugoslawien Japan 57 Dänemark 867 Nord-Korea Russland 59 Polen 869 Türkei 47 Taiwan 594 Rumänien 87 Niederlande ehem. UDSSR 599 Ungarn div. Asien 479 Sri Lanka 6 6 Südafrika 9-9 Österreich 48 Philippinen 64 Finnland 93 Australien ehem. UDSSR China 94 Neuseeland 489 Hongkong 7 Norwegen 729 Israel 977 Zeitschriften (ISSN) 73 Schweden Bücher (ISBN)