Otto Mildenberger. Ioformatioostheorie uod Codierung

Transkript

1 Otto Mildenberger Ioformatioostheorie uod Codierung

2 Aus dem Programm Technische Informatik Datenstruktoren und Speichertechniken, von O. Lange und G. Stegemann Datenstruktoren und Datenbanken, von G. Schafer Rechnerstrokturen und Rechnerarchitektor, von W. Bundschuh und P. Sokolowsky System- und Signaltheorie, von O. Mildenberger Aufbau und Arbeitsweise von Rechenanlagen, von W. Coy Grundlagen ond Anwendongen des Digitalrechners, von W. Ameling Methoden der digitalen Bildsignalverarbeitung, von P. Zamperoni Kommonikationssysteme, von F. Kaderali Datenkommunikation, von D. Conrads ProzeRinformatik, von E. Schnieder Datenferniibertragung, von P. Welzel Vieweg

3 Otto Mildenberger Informationstheorie ODd CodieroDg Friedr. Vieweg & Sohn Braunschweig/Wiesbaden

4 CIP-Titelaufnahme der Deutschen Bibliothek Mildenberger, Otto: Informationstheorie und Codierung / Otto Mildenberger. - Braunschweig; Wiesbaden: Vieweg.I990 ISBN-13 : e-isbn-13: DOl: / Das in diesem Buch enthaltene Programm-Material ist mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Der Autor und der Verlag iibernehmen infolgedessen keine Verantwortung und werden keine daraus folgende oder sonstige Haftung obernehmen. die auf irgendeine Art aus der Benutzung dieses Programm-Materials oder Teilen davon entsteht. Der Verlag Vieweg ist ein Unternehmen der Verlagsgruppe Bertelsmann International. Aile Rechte vorbehalten. Friedr. Vieweg & Sohn Verlagsgesellschaft mbh. Braunschweig 1990 Das Werk einschlieblich aller seiner Teile ist urheberrechtlich geschiitzt. Jede Verwertung auberhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmmung des Verlags unzuliissig und strafbar. Das gilt insbesondere for Vervielfaltigungen. Obersezungen. Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. ISBN-13:

5 v Vorwort Die Informationstheorie gehort zu den Grundlagen fur alle Wissenschaftsgebiete, die sich mit der Obertragung von Nachrichten und dei Verarbeitung von Informationen befassen. Ihre Geburtsstunde wird auf das Jahr 1948 dadiert, in dem C. E. Shannon seine grundlegenden Untersuchungen tiber das Wesen von Nachrichten veroffentlichte. In diesem Buch werden die auf den Gedanken von Shannon basierenden Grundlagen der Informationstheorie dargestellt und zusatzlich wichtige Teile der Codierungstheorie. Einige Codierungsmethoden, z.b. Verfahren zur Quellencodierung (Abschnitt 5) sind ohne Kenntnisse aus der Informationstheorie tiberhaupt nicht zu verstehen. Andere Teile der Codierungstheorie, z.b. Konstruktionsverfahren fur fehlererkennende Codes (Abschnitt 6) sind weniger stark mit der Informationstheorie verzahnt und konnen weitgehend eigenstandig behandelt werden. Bei dem vorliegenden Buch wird versucht mit moglichst geringen mathematischen Hilfsmitteln auszukommen. Vorausgesetzt werden neben Kenntnissen der hoheren Mathematik einige Grundlagen der Wahrscheinlichkeitsrechnung. Auf eine strenge mathematische BeweisfUhrung wird Mufig zugunsten von Plausibilitatserklarungen verzichtet. Viele Erklarungen und voll durchgerechnete Beispiele sollen zum Verstandnis des Stoffes beitragen. Das Buch ist als Begleitbuch zu Vorlesungen, besonders aber auch ftir das Selbststudium konzipiert. Nach einem ganz kurzen einfiihrenden Abschnitt befabt sich der Abschnitt 2 mit der Beschreibung diskreter Informationsquellen. Hier wird zunachst der Begriff des Entscheidungsgehaltes und des mittleren Informationsgehaltes (Entropie) eingefiihrt. Zum AbschluB des Abschnittes wird der InformationsfluB diskreter Informationsquellen behandelt. Der 3. Absehnitt ist den diskreten Ubertragungskanruen gewidmet. Zuniiehst werden einfaehe Kanalmodelle (z.b. der symmetriseh gestorte Biniirkanal) besproehen und auch die Hintereinanderschaltung gestarter Ubertragungskanrue. Die Einfiihrung des grundlegenden Begriffes der Kanalkapazitiit ermoglieht die (informationstheoretische) Beurteilung und ein Vergleich von real en Ubertragungskanruen. Zum AbsehluB des Absehnittes wird bewiesen, dab aueh tiber stark gestarte Ubertragungskanrue Naehriehten beliebig "sieher" tibertragen werden konnen, solange der InformationsfluB der Nachriehtenquelle die Kanalkapazitiit nieht tibersteigt (Hauptsatz der Informationstheorie ). Der Absehnitt 4 behandelt die Besonderheiten von kontinuierliehen Informationsquell en und Kanruen. Dazu ist es erforderlich, sieh zuniichst kurz mit Zufallssignalen zu befassen und Begriffe wie "mittlere Signalleistung" und "weibes Rausehen"

6 VI einzufuhren. AnschlieBend wird der Begriff der differentiellen Entropie erkliirt. Die differentielle Entropie tritt bei kontinuierlichen Signalen hiiufig an die Stelle der "eigentlichen" Entropie. Von besonderer Bedeutung ist eine in diesem Abschnitt abgeleitete Beziehung zur Ermittlung der Kanalkapazitat kontinuierlicher Ubertragungskanii.le. Diese Beziehung wird zur Beurteilung und zum Vergleich realer Ubertragungskanii.le angewandt. Die beiden letzten Abschnitte befassen sich mit der Codierungstheorie. 1m Abschnitt 5 werden Optimalcodes behandelt. Zum Verstiindnis dieses Stoffes sollte der Leser die ersten 3 Abschnitte durchgearbeitet haben. Nach der Besprechung eines in die Problematik einfiihrenden Beispieles werden grundlegende Satze fiber Optimal codes angegeben und teilweise auch bewiesen. SchlieBlich erfolgt eine Besprechung verschiedener Verfahren zur Konstruktion von (moglichst) redundanzarmen Codes. Der Abschnitt 6 behandelt Fragen der Kanalcodierung, wobei im wesentlichen Blockcodes betrachtet werden. N ach der Einfiihrung wichtiger Begriffe zu dieser Thematik, wird zunachst mehr anschaulich gezeigt, welche Eigenschaften fehlererkennende und fehlerkorrigierende Codes aufweisen miissen. Auf die erreichbaren Restfehlerwahrscheinlichkeiten beim Einsatz dieser Codes auf gestorten Ubertragungskanii.len wird ebenfalls eingegangen. Die zur Konstruktion der Codes erforderlichen speziellen mathematischen Grundlagen werden in ganz kurzer Form (Abschnitt 6.3) und haufig ohne Beweise angegeben. Der Abschnitt 6.4 befabt sich dann mit der Konstruktion systematischer Codes und der Abschnitt 6.5 mit den in der Praxis sehr wichtigen zyklischen Codes. Wie schon vome angedeutet wurde, ist der Abschnitt 6 weniger stark mit dem Stoff der anderen Abschnitte verzahnt. Leser, die sich nur fur die Konstruktion von Blockcodes interessieren, konnen ihn deshalb (weitgehend) unabhiingig von den friiheren Abschnitten lesen. Mainz, September 1989 Otto Mildenberger

7 VII Inhalt 1 Einfiihrung Vorbemerkungen Begriffe Diskrete Informationsquellen Die Informationsquelle 2.2 Der Entscheidungsgehalt Die Definition und Interpretation des Informationsgehaltes Einfache Beispiele Der mittlere Informationsgehalt Die Definition des mittleren Informationsgehaltes Elementare Eigenschaften der Entropie Beispiele VerbundqueUen und der InformationsfluB Die Entropie einer Verbundquelle Verbundquellen mit voneinander unabhangigen Teilquellen Bedingte Entropien Die Markoffsche Entropie Die hochwahrscheinlichen Warter einer Quelle Der InformationsfluB Diskrete Ubertragungskanale 3.1 Die Entropien bei der Informationsiibertragung 3.2 Beispiele fur einfache Ubertragungskanrue Dersymmetrisch gestorte Binarkanal Der nicht symmetrisch gestorte Binarkanal Der symmetrisch gestorte Binarkanal mit Aus16schungen Der allgemeine symmetrisch gestorte Kanal Die Reihenschaltung gestorter Kanrue Die maximal erreichbare Transinformation Die Kanalkapazitat Definition der Kanalkapazitat Der ideale TiefpaB als Modell fur den Ubertragungskanal Ein Hauptsatz der Informationstheorie

8 VIII 4 Kontinuierliche Informationsquellen und Kanale 4.1 Vorbemerkungen 4.2 Zufallige Signale Die Beschreibung von Zufallssignalen Die mittlere Leistung Autokorrelationsfunktion und spektrale Leistungsdichte Autokorrelationsfunktionen Die spektrale Leistungsdichte Die Entropie kontinuierlicher Quellen Die differentielle Entropie Eigenschaften der differentiellen Entropie und Beispiele Gleichverteilte Signale Dreieckverteilte Signale Normalverteilte Signale Ein VergleiCh der Ergebnisse Ein Beweis fur das Maximum der differentiellen Entropie Kontinuierliche Kanale Die Transinformation Die Kanalkapazitiit Eine Ableitung der Shannon'schen Formel Einige SchluBfolgerungen Beispiele Optimal codes, Quellencodierung Einfiihrung BegriffserkHi.rung Ein einfiihrendes Beispiel Die unmittelbare Codierung der Quellenzeichen Die Codierung von Gruppen von Quellenzeichen Grundlegende Satze tiber Optimalcodes Die Ungleichung von Kraft Untere und obere Grenzen fur die mittleren Codewortlangen Der Satz von Shannon Ein Beweis des Satzes von Shannon Moglichkeiten zur weiteren Verminderung der Codewortlangen

9 5.3 Konstruktionsverfahren fur Optimalcodes Der Shannon-Code Der Fano-Code Der Huffman-Code IX 6 Sicherung gegen Ubertragungsfehler, Kanalcodierung Probleme und Ziele Grundlegende Begriffe und Prinzipien Die geometrische Darstellung von Codes im n-dimensionalen Coderaum Das Prinzip der Fehlererkennung und Fehlerkorrektur Fehlererkennung Fehlerkorrektur Zusammenfassung der Ergebnisse Codes mit Priifstellen Die einfache Paritatskontrolle Eine Erweiterung der einfachen Paritiitspriifung durch die Einfiigung von Priifworten Ein Beispiel fur einen fehlerkorrigierenden Code Die erforderliche Mindestzahl von Priifstellen Restfehlerwahrscheinlichkeiten Die Fehlerverteilung in einem Codewort Die Ubertragungsfehlerwahrscheinlichkeit bei Fehlerkorrektur Bemerkungen zu den Restfehlerwahrscheinlichkeiten bei Fehlererkennung Erganzende Bemerkungen Mehrwertige Codes Synchronisationsprobleme Faltungscodes Mathematische Grundlagen fur die Konstruktion von Codes Gruppe, Ring und Korper Die Gruppe Der Ring Der Korper Die modulo M Reclmung Arithmetik im Galois-Feld GF(2)

10 x Polynome Reduzible und nichtreduzible Polynome Die Rechnung mit Polynomrestklassen Zyklische Polynomreste Die Konstruktion fehlerkorrigierender Codes Vorbemerkungen Die Konstruktion allgemeiner Gruppencodes Systematische Codes Die Generator- und die Kontrollmatrix Die Erkennbarkeit von Fehlem Zusammenfassung der Ergebnisse Beispiele Zyklische Codes Eigenschaften und Konstruktion zyklischer Hamming-Codes Die Generatonnatrix Die Ermittlung der Codeworte Beispiele zur Berechnung der Codeworte Zyklische Eigenschaften der Codeworte und das Priifschema Zyklische Eigenschaften Das Priifschema Zusammenfassung Bemerkungen zu BCH-Codes Li teraturverzeichnis Verzeichnis der wichtigsten Formelzeichen Sachregister