Einführung in die Informations- und Codierungstheorie

Transkript

1 Einführung in die Informations- und Codierungstheorie Von Prof. Dr. Hermann Rohling Technische Universität Braunschweig unter Mitarbeit von Dipl.-Ing. Thomas Müller Technische Universität Braunschweig Mit 70 Bildern B. G. Teubner Stuttgart 1995

2 Prof. Dr. rer. nat. Hermann Rohling Geboren 1946 in AltenmeIle. Studium der Mathematik an der Universität Stuttgart (Stipendiat der Studienstiftung des Deutschen Volkes) von 1972 bis Danach 11jährige Industrietätigkeit im Forschungsinstitut AEG-Telefunken, Ulm Promotion an der Fakultät für Elektrotechnik der RWTH Aachen. Seit 1988 Hochschullehrer im Institut für Nachrichtentechnik der TU Braunschweig. Arbeitsgebiete: Digitale Funkübertragung, Mobilkommunikation, Flugsicherungstechnik und Radartechnik. Die Deutsche Bibliothek - CIP-Einheitsaufnahme Rohling, Hermann: Einführung in die Informations- und Codierungstheorie von Hermann Rohling. Unter Mitarb. von Thomas Müller. Stuttgart : Teubner, 1995 (Teubner Studienbücher: Elektrotechnik) Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzulässig und strafbar. Das gilt besonders für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. B. G. Teubner Stuttgart 1995 Einbandgestaltung: Peter Pfitz, Stuttgart. ISBN ISBN (ebook) DOI /

3 Vorwort Im heutigen Zeitalter der mobilen Kommunikation besteht ein besonders großes Interesse daran, daß sämtliche gesendeten Nachrichten möglichst fehlerfrei beim Empfänger ankommen. Bei der Nachrichtenübertragung treten je nach gewähltem Übertragungskanal (z.b. Kabel oder Funk) mehr oder weniger starke Störungen auf. Für die analoge Nachrichtenübertragung (z.b. UKW, PAL) wurden deshalb störresistente Modulationsverfahren entwickelt. Die zur Zeit in einem starken Wachstum begriffene digitale Nachrichtenübertragung (z.b. D-Netz, DAB) bekämpft dagegen Störungen auf dem Übertragungskanal durch geeignete Codierungen, mit denen auftretende Bitfehler im Empfänger automatisch erkannt und korrigiert werden können. Diese sogenannten redundanten Codes wurden ursprünglich von Shannon 1948 in einer theoretisch orientierten Arbeit zum Schutz gegen auftretende Fehler vorgeschlagen. Dieses Buch gibt eine Einführung in Fragen der fehlererkennenden und fehlerkorrigierenden Codes. Die Motivation zur praktischen Anwendung dieser Codes wird aus der im ersten Kapitel erläuterten Informationstheorie hergeleitet. Im zweiten Kapitel werden praktisch einsetzbare Blockcodes und deren Leistungsfähigkeit ausführlich erklärt. Der Nachrichteningenieur hat aber wesentlich mehr Möglichkeiten zur Dimensionierung einer störresistenten Übertragungsstrecke, als nur Fehlerkorrekturverfahren. Deshalb werden im dritten Kapitel die wesentlichen digitalen Modulationsverfahren beschrieben und Vergleiche zwischen einer uncodierten und codierten Übertragung durchgeführt. Dieser Vergleich motiviert zusätzlich den Einsatz geeigneter Fehlerkorrekturverfahren auch in guten Übertragungskanälen. Im vierten Kapitel werden Faltungscodes erläutert, die zwar zeitlich später als Blockcodes entwickelt wurden, heute aber in praktischen Anwendungen häufig und mit Erfolg eingesetzt werden. Trelliscodierte Modulationsverfahren, bei denen die Aufgaben der Modulation und Kanalcodierung ganzheitlich betrachtet werden, bilden den Abschluß dieses Kapitels. Für das Verständnis des vorliegenden Textes sind keine besonderen Vorkenntnisse erforderlich. Zwar ist die Algebra in endlichen Körpern, die zur

4 IV theoretischen Beschreibung der Codierverfahren benutzt wird, den Studierenden der Elektrotechnik und Informatik zunächst wenig geläufig, aber diese mathematischen Grundlagen werden in einzelnen Unterabschnitten jeweils geeignet vorgestellt und ausführlich erläutert. Dieses Buch ist aus einem Skript für eine zweistündige Vorlesung zur Codierungstheorie entstanden, die für Elektrotechniker und Informatiker an der Technischen Universität Braunschweig angeboten wird. Für die zugehörige einstündige Übung waren in den letzten 6 Jahren die Herren W. Plagge und T. Müller zuständig. Den wissenschaftlichen Mitarbeitern möchte ich für die vielen Gespräche und Anregungen danken, mit denen sie diese Arbeit wesentlich unterstützt haben. Die Textverarbeitung für ein erstes Manuskript wurde mit viel Sorgfalt von Frau Petra Röttger durchgeführt. Für die intensive Mitarbeit bei der Erstellung des endgültigen Manuskriptes, der Anfertigung des TEX-Files einschließlich der vielen Zeichnungen, Entwicklung der Übungsaufgaben und für das mühsame Korrekturlesen danke ich Herrn T. Müller besonders. Herrn Dr. Schlembach vom Teubner Verlag gilt mein Dank für die gute Zusammenarbeit. Die Studierenden der Elektrotechnik und Informatik zeigen i.a. ein großes Interesse an dem Arbeitsgebiet der Codierungstheorie und zwar im theoretischen wie auch im anwendungsbezogenen Teil. Mit diesem Studienbuch möchte ich dieses Interesse an den grundsätzlichen Fragen zur Dimensionierung einer digitalen störresistenten Nachrichtenübertragungsstrecke zusätzlich fördern. Braunschweig, im Februar 1995 Hermann Rohling

5 Inhaltsverzeichnis Einleitung 1 1 Shannon'sche Informationstheorie Nachricht, Information Informationsgehalt, Entropie Binärcodierungen für eine diskrete Quelle Beweis des Shannon'schen Codierungstheorems Huffman-Codierung Diskrete Quelle ohne Gedächtnis Diskrete Quelle mit Gedächtnis Kontinuierliche Quelle Korrelative Codierung - die DPCM-Schleife Kanalkapazität Transinformation Definition des Begriffs Kanalkapazität C Übungs aufgaben Blockeodes Algebra im Restklassenkörper Paritätskontrolle Verfahren von Hamming Berechnung der Restfehlerwahrscheinlichkeit Binomialverteilung... 67

6 VI Inhaltsverzeichnis Hamming-Distanz Decodiervorschrift Dichtgepackte Codes 2.5 Binäre Gruppencodes Konstruktion von Gruppencodes Erzeugung eines separierbaren Codes Decodierung eines separierbaren Codes Reed-Muller-Code Zyklische Codes Polynomdarstellung Codiermethode für nichtseparierbare zyklische Codes Codiermethode für separierbare zyklische Codes Decodierung Periode eines Generatorpolynoms Fehlererkennbarkeit bei zyklischen Codes Technische Realisierung von Polynomberechnungen durch Schieberegisterschaltungen Algebra in Polynomrestklassen Zyklische Eigenschaft der Polynornreste Wurzeln eines Polynoms Minimalpolynome Spezielle zyklische Codes Zyklische Hamming-Codes Fire-Codes BCH-Codes Reed-Solomon-Codes Weitere Codierungstechniken Verkürzung von Codes Codeverkettung

7 Inhaltsverzeichnis Codespreizung (Interleaving) 2.11 Übungsaufgaben VII Digitale Trägermodulationsverfahren 3.1 Darstellung von reellen Bandpaßsignalen Äquivalentes Tiefpaßsignal Beispiele Digitale Modulationsverfahren Stochastische Bandpaßsignale Darstellung von weißem Gaußverteilten Rauschen Fehlerwahrscheinlichkeit Eindimensionaler Fall Die Fehlerfunktion Matched Filter Demodulation in weißem Gaußverteilten Rauschen Statistische Entscheidungstheorie Demodulationsvorgang - Entscheidungslogik Berechnung der Fehlerwahrscheinlichkeit Gray-Code Amplitudenkontinuierlicher Kanal Entropie der Gleich- und Gaußverteilung im eindimensionalen Fall Entropie einer komplexen Gaußverteilung Kanalkapazität des amplitudenkontinuierlichen A WGN- Kanals Shannon-Grenze Shannon-Grenze bei binärer Übertragung Shannon-Grenze bei amplitudenkontinuierlicher Übertragung Kanalcodierung auf einem AWGN-Kanal Übungsaufgaben

8 VIII Inhaltsverzeichnis 4 Faltungscodes 4.1 Codierverfahren für Faltungscodes Schieberegisterdarstellung Codebaum Zustandsdiagramm Trellisdiagramm Decodierung von Faltungscodes Optimierungskriterien für den Entwurf von Sequenzdetektoren Hard-Decision Decodierung Soft-Decision Decodierung Viterbi-Algorithmus Korrektureigenschaften von Faltungscodes 4.4 Verkettung mit Blockeodes 4.5 Trelliscodierte Modulation. 4.6 Übungsaufgaben A Tabelle binärer BCH-Codes B Die komplementäre Fehlerfunktion C Lösungen der Übungsaufgaben C.l Informationstheorie: C.2 Blockeodes..... C.3 Digitale Trägermodulationsverfahren C.4 Faltungscodes Literatur Index