Otto Mildenberger Ioformatioostheorie uod Codierung
Aus dem Programm Technische Informatik Datenstruktoren und Speichertechniken, von O. Lange und G. Stegemann Datenstruktoren und Datenbanken, von G. Schafer Rechnerstrokturen und Rechnerarchitektor, von W. Bundschuh und P. Sokolowsky System- und Signaltheorie, von O. Mildenberger Aufbau und Arbeitsweise von Rechenanlagen, von W. Coy Grundlagen ond Anwendongen des Digitalrechners, von W. Ameling Methoden der digitalen Bildsignalverarbeitung, von P. Zamperoni Kommonikationssysteme, von F. Kaderali Datenkommunikation, von D. Conrads ProzeRinformatik, von E. Schnieder Datenferniibertragung, von P. Welzel -------Vieweg--------------------
Otto Mildenberger Informationstheorie ODd CodieroDg Friedr. Vieweg & Sohn Braunschweig/Wiesbaden
CIP-Titelaufnahme der Deutschen Bibliothek Mildenberger, Otto: Informationstheorie und Codierung / Otto Mildenberger. - Braunschweig; Wiesbaden: Vieweg.I990 ISBN-13 : 978-3-528-03046-9 e-isbn-13: 978-3-322-88837-2 DOl: 10.1007/978-3-322-88837-2 Das in diesem Buch enthaltene Programm-Material ist mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Der Autor und der Verlag iibernehmen infolgedessen keine Verantwortung und werden keine daraus folgende oder sonstige Haftung obernehmen. die auf irgendeine Art aus der Benutzung dieses Programm-Materials oder Teilen davon entsteht. Der Verlag Vieweg ist ein Unternehmen der Verlagsgruppe Bertelsmann International. Aile Rechte vorbehalten. Friedr. Vieweg & Sohn Verlagsgesellschaft mbh. Braunschweig 1990 Das Werk einschlieblich aller seiner Teile ist urheberrechtlich geschiitzt. Jede Verwertung auberhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmmung des Verlags unzuliissig und strafbar. Das gilt insbesondere for Vervielfaltigungen. Obersezungen. Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. ISBN-13: 978-3-528-03046-9
v Vorwort Die Informationstheorie gehort zu den Grundlagen fur alle Wissenschaftsgebiete, die sich mit der Obertragung von Nachrichten und dei Verarbeitung von Informationen befassen. Ihre Geburtsstunde wird auf das Jahr 1948 dadiert, in dem C. E. Shannon seine grundlegenden Untersuchungen tiber das Wesen von Nachrichten veroffentlichte. In diesem Buch werden die auf den Gedanken von Shannon basierenden Grundlagen der Informationstheorie dargestellt und zusatzlich wichtige Teile der Codierungstheorie. Einige Codierungsmethoden, z.b. Verfahren zur Quellencodierung (Abschnitt 5) sind ohne Kenntnisse aus der Informationstheorie tiberhaupt nicht zu verstehen. Andere Teile der Codierungstheorie, z.b. Konstruktionsverfahren fur fehlererkennende Codes (Abschnitt 6) sind weniger stark mit der Informationstheorie verzahnt und konnen weitgehend eigenstandig behandelt werden. Bei dem vorliegenden Buch wird versucht mit moglichst geringen mathematischen Hilfsmitteln auszukommen. Vorausgesetzt werden neben Kenntnissen der hoheren Mathematik einige Grundlagen der Wahrscheinlichkeitsrechnung. Auf eine strenge mathematische BeweisfUhrung wird Mufig zugunsten von Plausibilitatserklarungen verzichtet. Viele Erklarungen und voll durchgerechnete Beispiele sollen zum Verstandnis des Stoffes beitragen. Das Buch ist als Begleitbuch zu Vorlesungen, besonders aber auch ftir das Selbststudium konzipiert. Nach einem ganz kurzen einfiihrenden Abschnitt befabt sich der Abschnitt 2 mit der Beschreibung diskreter Informationsquellen. Hier wird zunachst der Begriff des Entscheidungsgehaltes und des mittleren Informationsgehaltes (Entropie) eingefiihrt. Zum AbschluB des Abschnittes wird der InformationsfluB diskreter Informationsquellen behandelt. Der 3. Absehnitt ist den diskreten Ubertragungskanruen gewidmet. Zuniiehst werden einfaehe Kanalmodelle (z.b. der symmetriseh gestorte Biniirkanal) besproehen und auch die Hintereinanderschaltung gestarter Ubertragungskanrue. Die Einfiihrung des grundlegenden Begriffes der Kanalkapazitiit ermoglieht die (informationstheoretische) Beurteilung und ein Vergleich von real en Ubertragungskanruen. Zum AbsehluB des Absehnittes wird bewiesen, dab aueh tiber stark gestarte Ubertragungskanrue Naehriehten beliebig "sieher" tibertragen werden konnen, solange der InformationsfluB der Nachriehtenquelle die Kanalkapazitiit nieht tibersteigt (Hauptsatz der Informationstheorie ). Der Absehnitt 4 behandelt die Besonderheiten von kontinuierliehen Informationsquell en und Kanruen. Dazu ist es erforderlich, sieh zuniichst kurz mit Zufallssignalen zu befassen und Begriffe wie "mittlere Signalleistung" und "weibes Rausehen"
VI einzufuhren. AnschlieBend wird der Begriff der differentiellen Entropie erkliirt. Die differentielle Entropie tritt bei kontinuierlichen Signalen hiiufig an die Stelle der "eigentlichen" Entropie. Von besonderer Bedeutung ist eine in diesem Abschnitt abgeleitete Beziehung zur Ermittlung der Kanalkapazitat kontinuierlicher Ubertragungskanii.le. Diese Beziehung wird zur Beurteilung und zum Vergleich realer Ubertragungskanii.le angewandt. Die beiden letzten Abschnitte befassen sich mit der Codierungstheorie. 1m Abschnitt 5 werden Optimalcodes behandelt. Zum Verstiindnis dieses Stoffes sollte der Leser die ersten 3 Abschnitte durchgearbeitet haben. Nach der Besprechung eines in die Problematik einfiihrenden Beispieles werden grundlegende Satze fiber Optimal codes angegeben und teilweise auch bewiesen. SchlieBlich erfolgt eine Besprechung verschiedener Verfahren zur Konstruktion von (moglichst) redundanzarmen Codes. Der Abschnitt 6 behandelt Fragen der Kanalcodierung, wobei im wesentlichen Blockcodes betrachtet werden. N ach der Einfiihrung wichtiger Begriffe zu dieser Thematik, wird zunachst mehr anschaulich gezeigt, welche Eigenschaften fehlererkennende und fehlerkorrigierende Codes aufweisen miissen. Auf die erreichbaren Restfehlerwahrscheinlichkeiten beim Einsatz dieser Codes auf gestorten Ubertragungskanii.len wird ebenfalls eingegangen. Die zur Konstruktion der Codes erforderlichen speziellen mathematischen Grundlagen werden in ganz kurzer Form (Abschnitt 6.3) und haufig ohne Beweise angegeben. Der Abschnitt 6.4 befabt sich dann mit der Konstruktion systematischer Codes und der Abschnitt 6.5 mit den in der Praxis sehr wichtigen zyklischen Codes. Wie schon vome angedeutet wurde, ist der Abschnitt 6 weniger stark mit dem Stoff der anderen Abschnitte verzahnt. Leser, die sich nur fur die Konstruktion von Blockcodes interessieren, konnen ihn deshalb (weitgehend) unabhiingig von den friiheren Abschnitten lesen. Mainz, September 1989 Otto Mildenberger
VII Inhalt 1 Einfiihrung... 1 1.1 Vorbemerkungen.... 1 1.2 Begriffe.... 2 Diskrete Informationsquellen.... 2.1 Die Informationsquelle 2.2 Der Entscheidungsgehalt 2.2.1 Die Definition und Interpretation des Informationsgehaltes 2.2.2 Einfache Beispiele.... 2.3 Der mittlere Informationsgehalt.... 2.3.1 Die Definition des mittleren Informationsgehaltes 2.3.2 Elementare Eigenschaften der Entropie 2.3.3 Beispiele.... 2.4 VerbundqueUen und der InformationsfluB 2.4.1 Die Entropie einer Verbundquelle 2.4.2 Verbundquellen mit voneinander unabhangigen Teilquellen 2.4.3 Bedingte Entropien.... 2.4.4 Die Markoffsche Entropie.... 2.4.5 Die hochwahrscheinlichen Warter einer Quelle... 2.4.6 Der InformationsfluB.... 3 3 5 5 9 10 10 14 17 20 20 23 26 31 34 37 3 Diskrete Ubertragungskanale 3.1 Die Entropien bei der Informationsiibertragung 3.2 Beispiele fur einfache Ubertragungskanrue 3.2.1 Dersymmetrisch gestorte Binarkanal 43 43 3.2.2 Der nicht symmetrisch gestorte Binarkanal... 47 3.2.3 Der symmetrisch gestorte Binarkanal mit Aus16schungen 49 3.2.4 Der allgemeine symmetrisch gestorte Kanal 50 3.3 Die Reihenschaltung gestorter Kanrue 52 3.4 Die maximal erreichbare Transinformation 54 3.5 Die Kanalkapazitat... 57 3.5.1 Definition der Kanalkapazitat... 57 3.5.2 Der ideale TiefpaB als Modell fur den Ubertragungskanal 57 3.5.3 Ein Hauptsatz der Informationstheorie... 62 39 39
VIII 4 Kontinuierliche Informationsquellen und Kanale 4.1 Vorbemerkungen 4.2 Zufallige Signale... 69 4.2.1 Die Beschreibung von Zufallssignalen................ 69 4.2.2 Die mittlere Leistung... 72 4.2.3 Autokorrelationsfunktion und spektrale Leistungsdichte... 73 4.2.3.1 Autokorrelationsfunktionen... 73 4.2.3.2 Die spektrale Leistungsdichte... 75 4.3 Die Entropie kontinuierlicher Quellen... 79 4.3.1 Die differentielle Entropie... 79 4.3.2 Eigenschaften der differentiellen Entropie und Beispiele 81 4.3.2.1 Gleichverteilte Signale... 81 4.3.2.2 Dreieckverteilte Signale... 84 4.3.2.3 Normalverteilte Signale... 85 4.3.2.4 Ein VergleiCh der Ergebnisse... 86 4.3.2.5 Ein Beweis fur das Maximum der differentiellen Entropie 88 4.4 Kontinuierliche Kanale 90 4.4.1 Die Transinformation... 90 4.4.2 Die Kanalkapazitiit... 93 4.4.2.1 Eine Ableitung der Shannon'schen Formel... 93 4.4.2.2 Einige SchluBfolgerungen... 96 4.4.2.3 Beispiele... 98 67 67 5 Optimal codes, Quellencodierung... 100 5.1 Einfiihrung... 100 5.1.1 BegriffserkHi.rung... 100 5.1.2 Ein einfiihrendes Beispiel... 102 5.1.2.1 Die unmittelbare Codierung der Quellenzeichen 102 5.1.2.2 Die Codierung von Gruppen von Quellenzeichen... 106 5.2 Grundlegende Satze tiber Optimalcodes... 109 5.2.1 Die Ungleichung von Kraft... 109 5.2.2 Untere und obere Grenzen fur die mittleren Codewortlangen.. 112 5.2.2.1 Der Satz von Shannon... 112 5.2.2.2 Ein Beweis des Satzes von Shannon... 113 5.2.2.3 Moglichkeiten zur weiteren Verminderung der Codewortlangen... 115
5.3 Konstruktionsverfahren fur Optimalcodes... 117 5.3.1 Der Shannon-Code... 118 5.3.2 Der Fano-Code... 121 5.3.3 Der Huffman-Code... 123 IX 6 Sicherung gegen Ubertragungsfehler, Kanalcodierung............. 132 6.1 Probleme und Ziele... 132 6.2 Grundlegende Begriffe und Prinzipien 135 6.2.1 Die geometrische Darstellung von Codes im n-dimensionalen Coderaum... 135 6.2.2 Das Prinzip der Fehlererkennung und Fehlerkorrektur...... 136 6.2.2.1 Fehlererkennung... 136 6.2.2.2 Fehlerkorrektur......................... 138 6.2.2.3 Zusammenfassung der Ergebnisse... 140 6.2.3 Codes mit Priifstellen... 141 6.2.3.1 Die einfache Paritatskontrolle... 141 6.2.3.2 Eine Erweiterung der einfachen Paritiitspriifung durch die Einfiigung von Priifworten... 142 6.2.3.3 Ein Beispiel fur einen fehlerkorrigierenden Code 143 6.2.3.4 Die erforderliche Mindestzahl von Priifstellen... 146 6.2.4 Restfehlerwahrscheinlichkeiten... 147 6.2.4.1 Die Fehlerverteilung in einem Codewort... 147 6.2.4.2 Die Ubertragungsfehlerwahrscheinlichkeit bei Fehlerkorrektur 149 6.2.4.3 Bemerkungen zu den Restfehlerwahrscheinlichkeiten bei Fehlererkennung... 150 6.2.5 Erganzende Bemerkungen... 152 6.2.5.1 Mehrwertige Codes... 152 6.2.5.2 Synchronisationsprobleme... 153 6.2.5.3 Faltungscodes.......................... 153 6.3 Mathematische Grundlagen fur die Konstruktion von Codes 154 6.3.1 Gruppe, Ring und Korper....................... 154 6.3.1.1 Die Gruppe........................... 155 6.3.1.2 Der Ring.... 156 6.3.1.3 Der Korper.... 156 6.3.2 Die modulo M Reclmung.............. 157 6.3.3 Arithmetik im Galois-Feld GF(2)... 158
x 6.3.4 Polynome................................. 161 6.3.4.1 Reduzible und nichtreduzible Polynome 161 6.3.4.2 Die Rechnung mit Polynomrestklassen... 162 6.3.4.3 Zyklische Polynomreste.................... 165 6.4 Die Konstruktion fehlerkorrigierender Codes... 167 6.4.1 Vorbemerkungen... 167 6.4.2 Die Konstruktion allgemeiner Gruppencodes... 168 6.4.3 Systematische Codes... 171 6.4.3.1 Die Generator- und die Kontrollmatrix... 171 6.4.3.2 Die Erkennbarkeit von Fehlem............... 174 6.4.3.3 Zusammenfassung der Ergebnisse... 177 6.4.3.4 Beispiele............................. 178 6.5 Zyklische Codes... 181 6.5.1 Eigenschaften und Konstruktion zyklischer Hamming-Codes.. 182 6.5.1.1 Die Generatonnatrix... 182 6.5.1.2 Die Ermittlung der Codeworte... 185 6.5.1.3 Beispiele zur Berechnung der Codeworte... 187 6.5.2 Zyklische Eigenschaften der Codeworte und das Priifschema.. 190 6.5.2.1 Zyklische Eigenschaften... 190 6.5.2.2 Das Priifschema... 192 6.5.3 Zusammenfassung... 194 6.5.4 Bemerkungen zu BCH-Codes..................... 195 Li teraturverzeichnis................................... 196 Verzeichnis der wichtigsten Formelzeichen Sachregister 197 198