Informationstheorie und Codierung

Transkript

1 Informationstheorie und Codierung Organisation / Einleitung Vorlesung: Do 17:00 Uhr, Sr K 2002B Seminar: Mi (G) 15:00 Uhr, Sr H 1510 Abschluss: mdl. Prüfung

2 Kontakt - Vorlesung Dr.-Ing. Maik Debes Fakultät für Elektrotechnik und Informationstechnik Institut für Informationstechnik Fachgebiet Kommunikationsnetze Telefon: (03677) Fax: (03677) maik.debes@tu-ilmenau.de Web: 2

3 Gliederung I 1. Einleitung, Grundlagen 2. Signalquellen, Informationstheoretische Beschreibung Formen, Eigenschaften, Informationsgehalt Kontinuierliche Quellen Diskrete Quellen (Zufallsquelle, Bernoulli-Quelle, Markoff-Quellen) 3. Codierung diskreter Quellen Gleichmäßiger Code Ungleichmäßiger Code (Fano-, Huffman-Codierung, Codierung von Markoff-Prozessen) Redundanzminderung durch Transformation, Selektion und Quantisierung (Golomb, Rice, Arithmetische Codierung) 4. Übertragungskanal, Informationstheoretische Beschreibung Informationstheoretische Modellierung des Übertragungskanals Kanalkapazität, Signal/Rausch-Verhältnis, Fehlerwahrscheinlichkeit Leitungscodierung (AMI, HDB3, PST, 4B3T, 5B6B, CMI, 8B6T) 3

4 Gliederung II 5. Fehlerkorrigierende Codierung Grundlagen Fehlererkennung, Fehlerkorrektur Hamming-Codes, Linearcodes Zyklische Codes Technische Realisierung zyklischer Codierung Burstfehlerkorrektur Faltungscodierung und Viterbi-Algorithmus Galoisfeld, BCH-Codes, RS-Codes Turbocodes 6. Chiffrierung Symmetrische Verfahren Asymmetrische Verfahren 7. Trellis Codierte Modulation (TCM) 8. Orthogonalcodes und CDMA 4

5 Literaturempfehlungen Schönfeld D., Klimant H., Piotraschke R., : Informationsund Kodierungstheorie; 4. Auflage; 2012; ISBN Strutz T.: Bilddatenkompression; 4. Auflage; 2009; ISBN Rohling H.: Einführung in die Informations- und Codierungstheorie; 1995; ISBN Bossert M.: Kanalcodierung; 3. Auflage; 2013; ISBN Swoboda J.: Codierung zur Fehlerkorrektur und Fehlererkennung; 1973; ISBN

6 Einleitung I erste Arbeiten in den 1940er/1950er Jahren durch Shannon mathematische Theorie (Wahrscheinlichkeitstheorie, Statistik) Beschreibung und Bewertung von Datenübertragungen im Kontext der Informatik und Nachrichtentechnik Beschreibung von Kommunikationssystemen heutzutage auch weitere Bereiche: Publizistik (z.b. Medien) Neurologie (z.b. Nervensystem) Molekularbiologie (z.b. DNA, Proteinsequenzen) Dokumentation Informationswissenschaft 6

7 Einleitung II Information Entropie Informationstheorie Informationsübertragung Datenkompression Kodierung 7

8 Charakterisierung von Kommunikationsvorgängen Kommunikation = Austausch/Übertragung von Nachrichten Grundlegend kann ein Kommunikationsvorgang aufgrund folgender Kriterien charakterisiert werden: beteiligte Menschen bzw. Maschinen (Mensch-Mensch, Mensch-Maschine, Maschine-Maschine) Menge der beteiligten Kommunikationspartner (Dialog; Gruppenruf/Multicast; Rundruf/Broadcast; Unicast; ) Übertragungsverfahren/Schnittstellen (seriell, parallel) Nutzungsrichtung (Simplex, Halbduplex, (Voll-)Duplex) Auslieferungsdisziplin (zufällig, FIFO, ) Qualität (Zuverlässigkeit, Schutz, Angemessenheit, Kosten, ) 8

9 Kommunikationsformen Optisch: Körpersprache (Zeichen, Gebärden, Pantomime) Zeichengabe (Feuer Rauch, Flaggen, Telegraf) Fernübertragung (Schrift, Bild Fax, Fernsehen) Akustisch: Fernbereich (Laute, Trommel) Nahbereich (Sprache) Mechanisch: Blindenschrift Braille Elektrisch: Elektromagnetische Wellen (Funk, Kabel, LWL) 9

10 Modell der Nachrichtenübertragung I Übertragungskanal Nachrichtenquelle Nachrichtensenke Frequenzbereich: Basisband (NF) Schnittstelle Sender Störungen Hochfrequent (vorteilhaft übertragbar) über: - Funk - metall. Leiter - Lichtwellenleiter Schnittstelle Empfänger Probleme: Dämpfung, Verzerrung, Störung, Datenschutz Basisband (NF) 10

11 Modell der Nachrichtenübertragung II Übertragungskanal Wandler (Codierung) Wandler (Decodierung) Nachrichtenquelle Nachrichtensenke Störungen Systemtheoretische Beschreibung: Signal: s(t) für Zeitbereich S(f) für Frequenzbereich Übertragungskanal: Übertragungsfunktion g(t), G(f) (Dämpfung, Phase) Bandbreite Laufzeiten Störungen e(t), E(f) (über Signal-Rausch-Verhältnis, Fehlerrate,...) 11

12 Information und Redundanz Nachricht = Information + Redundanz Aspekt: - semantisch (Inhalt) - pragmatisch (Ziel) - syntaktisch (Form) Nützliche Redundanz: - Synchronisation - Fehlersicherung - Aufwandsreduktion - Unnütze Redundanz: - Wiederholungen - Voraussagbares Was ist Irrelevanz? - bedeutungslose - sinnlose - unwichtige - überflüssige Informationen (z.b. Quantisierungsfehler) 12

13 Informationsgehalt Nachricht redundant nicht redundant irrelevant relevant Vorlesung und Seminar? 13

14 Informationstheoretische Kenngrößen Symbole bzw. Zeichen x i Symbol-/Zeichenvorrat bzw. Alphabet X ={x 1, x 2,, x N } Symbolfrequenz f x Symbolwahrscheinlichkeit p(x i ) Informationsgehalt I(x i ) Entropie H Redundanz R Relative Redundanz r Informationsfluss Φ Kanalkapazität C Fehlerhäufigkeit/-wahrscheinlichkeit p e 14

15 Informationsgehalt Der Informationsgehalt I(x i ) ist ein Maß für die: Unbestimmtheit vor dem Auftreten von x i gewonnene Information nach dem Auftreten von x i? I(x i ) = 1 p(x i ) I(x i ) = ld 1 p(x i ) = - ld p(x i) [bit] 15

16 Entropie und Redundanz Entropie: mittlerer Informationsgehalt bzw. mittlere Unbestimmtheit (auch gewichteter Mittelwert der Information) H = p(x i ) I(x i ) = - p(x i ) ld p(x i ) [ bit S(ymbol) ] maximale Entropie (gleichwahrscheinliche Ereignisse) Redundanz: N i1 H 0 = ld N [ bit S ] N i1 relative Redundanz: R = H 0 H [ bit S ] r = R H 0 16

17 Informationsfluss Informationsfluss: Es gilt: Φ = f x H [ bit s ] C Φ sec bzw. Sekunde 17