Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1"

Transkript

1 Information, Entropie und Redundanz Technische Informationsquelle Entropie und Redundanz Huffman Codierung Martin Werner WS 9/ Martin Werner, Dezember 9

2 Information und Daten Informare/ Informatio (lat.) dem Verstand Form geben / Deutung, Erläuterung Datum (lat.) das Gegebene; Aus systematischen Beobachtungen (Messungen, Datenerhebung) gewonnene Information Daten Zeichen oder kontinuierliche Funktionen, die zum Zweck der Verarbeitung aufgrund von bekannten oder unterstellten Vereinbarungen Information darstellen DIN ISO/IEC 2382 (DIN 443) Zeichen (Buchstaben, Ziffern, Sonderzeichen), Bilder, Texte, Sprache, Muster Syntax + Semantik Daten + Pragmatik Daten im technischen Sinn Information (Nachricht) für Menschen Martin Werner, Dezember 9 2

3 Informationsquelle Louis Braille (89 852) französischer Blindenlehrer, Brailleschrift (825) Diskrete Quelle setzt pro Zeittakt ein Zeichen x i aus einem Zeichenvorrat X = {x, x 2,..., x N } ab Wie kann die Quelle charakterisiert werden? Messbare Größen! Relative Häufigkeiten Wahrscheinlichkeiten der Zeichen p(x i ) der Zeichenpaare p(x i, x j ) der Zeichentripel p(x i, x j, x k ) usw. n dimensionale Verbundwahrscheinlichkeiten Martin Werner, Dezember 9 3

4 Zufallsexperiment Endlicher Wahrscheinlichkeitsraum (, P) Ereignisse i A, A 2,..., A n Wahrscheinlichkeiten P(A i ) Sicheres Ereignis P( ) = und unmögliches Ereignis P( ) = Zufallsexperiment Ereignis A i Information Information löst Ungewissheit auf! I(A i ) = f ( P(A i ) ) Martin Werner, Dezember 9 4

5 Lochkarte Herman Hollerith (86 926) U.S. amerikanischer Ingenieur und Unternehmer Martin Werner, Dezember 9 5

6 Informationsgehalt eines Zeichens Axiom Axiom 2 Axiom 3 Der Informationsgehalt eines Zeichen x i X mit der Wahrscheinlichkeit p i ist ein nichtnegatives Maß, d. h. I(p i ) Die Informationsgehalte unabhängiger Zeichen x i, x j X mit der Verbundwahrscheinlichkeit p i,j = p i p j addieren sich, d. h. I(p i,j ) = I(p i ) + I(p j ) Der Informationsgehalt ist eine stetige Funktion der Wahrscheinlichkeiten der Zeichen Der Informationsgehalt eines Zeichen mit der Wahrscheinlichkeiten p ist I(p) = ld(p) bit I(p) bit 3 2 Unmögliches Ereignis Sicheres Ereignis 5,5 p Martin Werner, Dezember 9 6

7 Entropie Entropie, mittlerer Informationsgehalt einer Quelle N H( X) p ld p bit i i i Gedächtnislose Binärquelle H b ( X ) H b (p) p ld p ( p) ld p bit bit Maximale Ungewissheit 5,5 p Martin Werner, Dezember 9 7

8 Entropie wozu? Entropie gibt Antwort auf die Fragen: Wie viele JA/NEIN Entscheidungen Entscheidungen (Binärentscheidungen) sind mindestens erforderlich, um die Zeichen der Quelle im Mittel zu erfragen? Wie viele Bits (Binärzeichen) werden mindestens benötigt, um die Zeichen der Quelle im Mittel zu codieren? Quellencodierungstheorem (Shannon) Es existiert ein binärer Code so, dass die mittlere Codewortlänge beliebig blibi nahe an die Entropie herankommt. Claude E. Shannon (96 2) U.S. amerikanischer US a e Ingenieur eu und Mathematiker, e Begründer der Informationstheorie (948) Martin Werner, Dezember 9 8

9 Beispiel Diskrete gedächtnislose Quelle x i a b c d e f Codewort p i 5,5 5,5 5,5 4,4 2,2 5,5 I(p i ) 4,32 bit 2,74 bit 4,32 bit,32 bit 2,32 bit 2,74 bit H(X) 225bit 2,25 Martin Werner, Dezember 9 9

10 Codebaum Binärer Codebaum gerichteter ih Baum Codewort Zeichen a b Anfangsknoten Wurzel c d e Verzweigungsknoten f Endknoten Blatt Martin Werner, Dezember 9

11 Entscheidungsgehalt und Redundanz Maximale Ungewissheit it Die Entropie einer diskreten gedächtnislosen Quelle mit N Symbolen wird maximal, wenn alle Symbole gleichwahrscheinlich sind. Entscheidungsgehalt H = ld (N) bit Redundanz R = H H(X) ( ) Martin Werner, Dezember 9

12 Morsealphabet Samuel F. B. Morse (79 872) U.S. amerikanischer Maler und Erfinder Morseapparat (833) Morsealphabet mit Steuerzeichen (A. Vail 838, F. C. Gerke 843) Buchstabe Morse rel. Häufigkeit Quelle: Der Brockhau us multimedial l 24 Zeichen in % [Küp54] a. 65 6,5 b... 2,6 c.. 2,8 d.. 5,4 e. 6,7 f... 2, g. 3,7 h.... 4, Martin Werner, Dezember 9 3

13 Huffman-Codierung David Huffman ( ) U.S. amerikanischer Ingenieur Huffman Codierung (952) Entropiecodierung Präfix Code Ordnen: Ordne die Zeichen nach fallenden Wahrscheinlichkeiten. Kombinieren: Kombiniere die beiden Zeichen mit den kleinsten Wahrschein lichkeiten zu einem neuen Zeichen. Ordne die Liste neu wie in und fahre fort, bis alle Zeichen zu einem zusammengesetzt sind. Codieren: Beginne mit der letzten Zusammenfassung; ordne dem Codewort der ersten Komponente des zusammengesetzten Zeichens eine und dem Codewort der zweiten Komponente eine zu. Fahre fort, bis alle Zeichen codiert sind. Martin Werner, Dezember 9 4

14 Beispiel Huffman-Code Zeichen a p i,5 b,2 c d e f,,,5,5,,2,3,5, Code L i in bit Mittlere Codewortlänge Effizienz N L L p i H ( X ) L i i Im Beispiel: Entscheidungsgehalt 2,58 bit Entropie 2,6 bit Redundanz,52 bit Mittlere Codewortlänge 2bit 2, Effizienz 98% Martin Werner, Dezember 9 5

15 Codebaum a b e f c d Decodierung von links nach rechts Codierung von rechts nach links Martin Werner, Dezember 9 6

16 Huffman-Code - Nachteile Unterschiedliche Codewortlängen Ungleichmäßige Bitraten und Codierverzögerungen Fehleranfällig Robustheit gegen Fehler nimmt ab, ein einzelner Bitfehler kann die Nachricht vollständig zerstören ( Fhl Fehlerschutz) ht) Vorwissen /Aufwand Kenntnis der Wahrscheinlichkeitsverteilung wird vorausgesetzt, oder Häufigkeiten müssen bestimmt werden ( adaptive Verfahren) Universelle Codierverfahren ( 98), z. B. Lempel Ziv Welch (LZW) Algorithmus und Arithmetische ih i h Codierung Martin Werner, Dezember 9 7

Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung

Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung Huffman-Codierung, arithmetische Codierung Theoretische Informatik RWTH-Aachen 4. April 2012 Übersicht 1 Einführung 2 3 4 5 6 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft

Mehr

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Prof. Bernd Brügge, Ph.D Institut für Informatik Technische Universität München Sommersemester 2 2. Juli 2 Copyright 2 Bernd

Mehr

(Prüfungs-)Aufgaben zur Codierungstheorie

(Prüfungs-)Aufgaben zur Codierungstheorie (Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1

Mehr

2. Digitale Codierung und Übertragung

2. Digitale Codierung und Übertragung 2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Verlustfreie universelle Kompression 2.3 Digitalisierung, Digitale Medien Weiterführende Literatur zum Thema Informationstheorie:

Mehr

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b.

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b. Entropie Grundlegend für das Verständnis des Begriffes der Komprimierung ist der Begriff der Entropie. In der Physik ist die Entropie ein Maß für die Unordnung eines Systems. In der Informationstheorie

Mehr

Übung zur Vorlesung. Informationstheorie und Codierung

Übung zur Vorlesung. Informationstheorie und Codierung Übung zur Vorlesung Informationstheorie und Codierung Prof. Dr. Lilia Lajmi Juni 25 Ostfalia Hochschule für angewandte Wissenschaften Hochschule Braunschweig/Wolfenbüttel Postanschrift: Salzdahlumer Str.

Mehr

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele Organisation Was kommt zum Test? Buch Informatik Grundlagen bis inkl Kapitel 74 Wissensfragen und Rechenbeispiele 3 Vorträge zur Übung Informationstheorie, Huffman-Codierung und trennzeichenfreie Codierung

Mehr

Informationstheorie und Codierung

Informationstheorie und Codierung Informationstheorie und Codierung 3. Codierung diskreter Quellen Gleichmäßiger Code Ungleichmäßiger Code Fano-, Huffman-Codierung Optimalcodierung von Markoff-Quellen Lauflängencodes nach Golomb und Rice

Mehr

16 - Kompressionsverfahren für Texte

16 - Kompressionsverfahren für Texte 16 - Kompressionsverfahren für Texte Prof. Dr. S. Albers Kompressionsverfahren für Texte Verlustfreie Kompression Original kann perfekt rekonstruiert werden Beispiele: Huffman Code, Lauflängencodierung,

Mehr

Übungsaufgaben zur Vorlesung Quellencodierung

Übungsaufgaben zur Vorlesung Quellencodierung Übungsaufgaben zur Vorlesung Quellencodierung Aufgabe 1: Gegeben seien die Verbundwahrscheinlichkeiten zweier diskreter Zufallsvariablen x und y: P(x, y) x 1 = 1 x 2 = 2 x 3 = 3 y 1 = 1 0.1 0.1 0.1 y 2

Mehr

Codierungstheorie. Code-Arten und Code-Sicherung

Codierungstheorie. Code-Arten und Code-Sicherung Codierungstheorie Code-Arten und Code-Sicherung Inhaltsübersicht und Literatur Informationstheorie Was ist eine Codierung? Arten von Codes Informationsgehalt und Entropie Shannon'sches Codierungstheorem

Mehr

Huffman-Kodierung. Fachbereich Medieninformatik. Hochschule Harz. Huffman-Kodierung. Referat. Henner Wöhler. Abgabe:

Huffman-Kodierung. Fachbereich Medieninformatik. Hochschule Harz. Huffman-Kodierung. Referat. Henner Wöhler. Abgabe: Fachbereich Medieninformatik Hochschule Harz Huffman-Kodierung Referat Henner Wöhler 11459 Abgabe: 15.01.2007 Inhaltsverzeichnis Einleitung...I 1. Entropiekodierung...1 1.1 Morse Code...2 1.2 Shannon-Fano-Kodierung...3

Mehr

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert.

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. Anwendungen von Bäumen 4.3.2 Huffman Code Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. => nutzbar für Kompression Code fester

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Informationstheorie INSTITUT FÜR THEORETISCHE KIT 8.2.22 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der Informatik INSTITUT

Mehr

1 Grundlagen. 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen

1 Grundlagen. 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen 1 Grundlagen 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen Die Überlegungen dieses Kapitels basieren auf der Informationstheorie von Shannon. Er beschäftigte

Mehr

2. Digitale Codierung und Übertragung

2. Digitale Codierung und Übertragung 2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Speicherbedarf und Kompression 2.3 Digitalisierung Ludwig-Maximilians-Universität München Prof. Hußmann Digitale Medien

Mehr

Klausur Informationstheorie und Codierung

Klausur Informationstheorie und Codierung Klausur Informationstheorie und Codierung WS 2013/2014 23.01.2014 Name: Vorname: Matr.Nr: Ich fühle mich gesundheitlich in der Lage, die Klausur zu schreiben Unterschrift: Aufgabe A1 A2 A3 Summe Max. Punkte

Mehr

Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir

Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht

Mehr

Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines

Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines Seite 1 Georg-August-Universität Göttingen Robert Schaback Zum Begriff der Information in Mathematik und Informatik Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A)

Mehr

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch . Thema Informationstheorie geht zurück auf Claude Shannon The Mathematical Theory of Communication beschäftigt sich mit Information

Mehr

2 Informationstheorie

2 Informationstheorie 2 Informationstheorie Formale Grundlagen der Informatik I Herbstsemester 2012 Robert Marti Vorlesung teilweise basierend auf Unterlagen von Prof. emer. Helmut Schauer Grundbegriffe Informatik (IT: Information

Mehr

2. Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung

2. Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 2 Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 2 Woche: Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 24/ 44 Zwei Beispiele a 0

Mehr

Einleitung. Kapitel 1

Einleitung. Kapitel 1 Kapitel 1 Einleitung In diesem Abschnitt geben wir einen kurzen Überblick über den Inhalt der Vorlesung. Wir werden kurz die wesentlichen Probleme erläutern, die wir ansprechen wollen. Wir werden auch

Mehr

3 Quellencodierung. 3.1 Einleitung

3 Quellencodierung. 3.1 Einleitung Source coding is what Alice uses to save money on her telephone bills. It is usually used for data compression, in other words, to make messages shorter. John Gordon 3 Quellencodierung 3. Einleitung Im

Mehr

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche: Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 5/ 44 Unser Modell Shannon

Mehr

Arithmetisches Codieren

Arithmetisches Codieren Arithmetisches Codieren 1. Motivation: Als Alternative zum arithmetischen Codieren bot sich damals als effizientester Algorithmus das Huffmann-Coding an. Dieses jedoch hatte einen entscheidenden Nachteil:

Mehr

Kapitel 2 Quellencodierung

Kapitel 2 Quellencodierung Kapitel 2 Quellencodierung Prof. Dr. Dirk W. Hoffmann Hochschule Karlsruhe w University of Applied Sciences w Fakultät für Informatik Übersicht Quelle Senke Kompression Huffman-, Arithmetische-, Lempel-Ziv

Mehr

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1 Informationsgehalt Kapitel 4.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle Sender

Mehr

Molekulare Bioinformatik

Molekulare Bioinformatik Molekulare Bioinformatik Wintersemester 203/204 Prof. Thomas Martinetz Institut für Neuro- und Bioinformatik Universität zu Luebeck 07.0.204 Molekulare Bioinformatik - Vorlesung 0 Wiederhohlung Die Entropie

Mehr

2. Digitale Codierung und Übertragung

2. Digitale Codierung und Übertragung 2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Speicherbedarf und Kompression 2.3 Digitalisierung, Digitale Medien Ludwig-Maximilians-Universität München Prof. Hußmann

Mehr

Kapitel 9: Informationstheorie. 2. Entropie

Kapitel 9: Informationstheorie. 2. Entropie ZHAW, NT, FS2008, Rumc, Kapitel 9: 2-1 Kapitel 9: Informationstheorie 2. Entropie Inhaltsverzeichnis 2.1. INFORATIONSQUELLEN...2 2.2. INFORATIONSGEHALT...3 2.3. INIALE ANZAHL BINÄRE FRAGEN...5 2.4. ENTROPIE

Mehr

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi Informationstheorie und Codierung Prof. Dr.-Ing. Lilia Lajmi l.lajmi@ostfalia.de Organisatorisches Vorlesung 2 SWS ( 2,5 LP) - Dienstags. 12:00-13:30 Uhr, Raum L122 Unterlagen - Vorlesungsfolien - Übungsaufgaben

Mehr

2.7 Der Shannon-Fano-Elias Code

2.7 Der Shannon-Fano-Elias Code 2.7 Der Shannon-Fano-Elias Code Die Huffman-Codierung ist ein asymptotisch optimales Verfahren. Wir haben auch gesehen, dass sich die Huffman-Codierung gut berechnen und dann auch gut decodieren lassen.

Mehr

Mathematik für Information und Kommunikation

Mathematik für Information und Kommunikation Mathematik für Information und Kommunikation Am Beispiel des Huffman- Algorithmus Thomas Borys und (Christian Urff) Huffman im Alltag MPEG Telefax JPEG MP3 ZIP avid Huffman avid Huffman [95-999] www.soe.ucsc.edu/people/faculty/huffman.html

Mehr

Farb-Fernsehsignal (Composite FBAS)

Farb-Fernsehsignal (Composite FBAS) Farb-Fernsehsignal (Composite FBAS) Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada VIDEO- Digitalisierung Gemeinsame Kodierung FBAS Farbbild- Austast- und Synchronsignal

Mehr

Kapitel 2: Informationstheorie. 3. Quellencodierung

Kapitel 2: Informationstheorie. 3. Quellencodierung ZHAW, NTM2, Rumc, 2.3-1 Kapitel 2: Informationstheorie 3. Quellencodierung Inhaltsverzeichnis 1. EINLEITUNG... 1 2. QUELLENCODIERUNGSTHEOREM... 2 3. HUFFMAN-QUELLENCODIERUNG... 3 4. DATENKOMPRESSION MIT

Mehr

Optimalcodierung. Thema: Optimalcodierung. Ziele

Optimalcodierung. Thema: Optimalcodierung. Ziele Optimalcodierung Ziele Diese rechnerischen und experimentellen Übungen dienen der Vertiefung der Kenntnisse im Bereich der Optimalcodierung, mit der die Zeichen diskreter Quellen codiert werden können.

Mehr

Digitaltechnik I WS 2006/2007. Klaus Kasper

Digitaltechnik I WS 2006/2007. Klaus Kasper Digitaltechnik I WS 2006/2007 Klaus Kasper Studium 6 Semester 5. Semester: Praxissemester im Anschluss: Bachelorarbeit 6. Semester: WPs Evaluation der Lehre Mentorensystem 2 Organisation des Studiums Selbständigkeit

Mehr

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Codierung Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Ein bisschen Informationstheorie Betrachten wir das folgende Problem: Wie lautet eine sinnvolle Definition für das quantitative

Mehr

2. Repräsentation und Codierung von Daten. Klassen von Codierverfahren

2. Repräsentation und Codierung von Daten. Klassen von Codierverfahren 2. Repräsentation und Codierung von Daten Klassen von Codierverfahren SS 2009 Multimediale Informationsverarbeitung: Repräsentation und Codierung 1 Klassen von Codierverfahren SS 2009 Multimediale Informationsverarbeitung:

Mehr

Technische Informatik - Eine Einführung

Technische Informatik - Eine Einführung Martin-Luther-Universität Halle-Wittenberg Fachbereich Mathematik und Informatik Lehrstuhl für Technische Informatik Prof. P. Molitor Technische Informatik - Eine Einführung Darstellung von Zeichen und

Mehr

Codierungstheorie Rudolf Scharlau, SoSe 2006 9

Codierungstheorie Rudolf Scharlau, SoSe 2006 9 Codierungstheorie Rudolf Scharlau, SoSe 2006 9 2 Optimale Codes Optimalität bezieht sich auf eine gegebene Quelle, d.h. eine Wahrscheinlichkeitsverteilung auf den Symbolen s 1,..., s q des Quellalphabets

Mehr

Code-Arten und Code-Sicherung. Literatur: Blieberger et.al.: Informatik (Kap. 3 und 4), Springer-Verlag R.-H. Schulz: Codierungstheorie, Vieweg

Code-Arten und Code-Sicherung. Literatur: Blieberger et.al.: Informatik (Kap. 3 und 4), Springer-Verlag R.-H. Schulz: Codierungstheorie, Vieweg Codierungstheorie Code-Arten und Code-Sicherung Inhaltsübersicht und Literatur Informationstheorie Was ist eine Codierung? Arten von Codes Informationsgehalt und Entropie Shannon'sches Codierungstheorem

Mehr

2. Digitale Codierung und Übertragung

2. Digitale Codierung und Übertragung 2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.1.1 Abtasttheorem 2.1.2 Stochastische Nachrichtenquelle, Entropie, Redundanz 2.2 Verlustfreie universelle Kompression Siehe

Mehr

Übrigens: um den Algorithmus im Unterricht einzuführen, sind keine Formeln notwendig! Warum reicht die normale ASCII-Codierung nicht aus?

Übrigens: um den Algorithmus im Unterricht einzuführen, sind keine Formeln notwendig! Warum reicht die normale ASCII-Codierung nicht aus? Huffman-Code Dieser Text ist als Hintergrundinformation ausschliesslich für die Lehrperson gedacht. Der Text ist deshalb eher technisch gehalten. Er lehnt sich an das entsprechende Kapitel in "Turing Omnibus"

Mehr

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi Informationstheorie und Codierung Prof. Dr.-Ing. Lilia Lajmi l.lajmi@ostfalia.de Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon

Mehr

1. Information INFORMATION: (informare = Gestalt geben) Nachrichten (Botschaften, Zustandsmeldungen...) und deren Sinngehalte

1. Information INFORMATION: (informare = Gestalt geben) Nachrichten (Botschaften, Zustandsmeldungen...) und deren Sinngehalte 1. Information INFORMATION: (informare = Gestalt geben) Nachrichten (Botschaften, Zustandsmeldungen...) und deren Sinngehalte Inf. werden immer irgendwie übermittelt=> es braucht Träger: Lautsprache, Musik:

Mehr

Strings. Stringsuche, Boyer-Moore, Textkompression, Huffman Codes.

Strings. Stringsuche, Boyer-Moore, Textkompression, Huffman Codes. Strings Stringsuche, Boyer-Moore, Textkompression, Huffman Codes. Suche Substring Häufiges Problem Relevante Beispiele: Suche ein Schlagwort in einem Buch Alphabet: A-Za-z0-9 Suche Virussignatur auf der

Mehr

Algorithmen und Datenstrukturen (für ET/IT)

Algorithmen und Datenstrukturen (für ET/IT) Algorithmen und Datenstrukturen (für ET/IT) Sommersemester 206 Dr. Tobias Lasser Computer Aided Medical Procedures Technische Universität München Organisatorisches Weiterer Ablauf: heute und Donnerstag,

Mehr

Codierungstheorie. Statt einer Einleitung. Rudolf Scharlau. 4. April 2006

Codierungstheorie. Statt einer Einleitung. Rudolf Scharlau. 4. April 2006 Codierungstheorie Rudolf Scharlau 4. April 2006 Statt einer Einleitung Im ersten Teil dieser Vorlesung folgen wir eng dem Buch Information and Coding theory von Gareth A. Jones und J. Mary Jones. Technische

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Informationstheorie Vorlesung vom 2. und 4. Februar 26 INSTITUT FÜR THEORETISCHE KIT 4.2.26 Universität des Gog, Landes Sanders, Baden-Württemberg Wagner - Theoretische

Mehr

Information und Codierung

Information und Codierung Richard W. Hamming Information und Codierung Technische Universität Darmstadt FACHBEREICH INFORMATIK BIBLIOTHEK Invantar-Nr.: Sachgebiete:. Standort: VCH Inhalt Vorwort zur 1. Auflage der Originalausgabe

Mehr

2.4 Darstellung von Zeichen(ketten)

2.4 Darstellung von Zeichen(ketten) 2.4 Darstellung von Zeichen(ketten) ASCII (American Standard for Coded Information Interchange): Abbildungsvorschrift (Norm) zur binären Kodierung von Zeichen Umfasst Klein-/Großbuchstaben des lateinischen

Mehr

Signal Klasse: Arbeitsblatt. Definition: Ein Signal ist die physikalische Darstellung von Nachrichten oder Daten. 1)

Signal Klasse: Arbeitsblatt. Definition: Ein Signal ist die physikalische Darstellung von Nachrichten oder Daten. 1) Signal Definition: Ein Signal ist die physikalische Darstellung von Nachrichten oder Daten. 1) Analoges Signal Definition: Ein analoges Signal kann kontinuierlich jeden beliebige Werte zwischen einem Minimum

Mehr

Proseminar WS 2002/2003

Proseminar WS 2002/2003 Technische Universität Chemnitz Fakultät für Informatik Professur Theoretische Informatik Proseminar WS 2002/2003 Thema: Datenkompression Dynamisches / Adaptives Huffman-Verfahren Danny Grobe Rainer Kuhn

Mehr

15 Optimales Kodieren

15 Optimales Kodieren 15 Optimales Kodieren Es soll ein optimaler Kodierer C(T ) entworfen werden, welcher eine Information (z.b. Text T ) mit möglichst geringer Bitanzahl eindeutig überträgt. Die Anforderungen an den optimalen

Mehr

Datenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut

Datenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut Datenkompression Holger Rauhut 1. September 2010 Skript für die Schülerwoche 2010, 8.-11.9.2010 Hausdorff Center for Mathematics, Bonn 1 Allgemeines Datenkompression hat zum Ziel, Daten in digitaler Form,

Mehr

Klausur Digitale Medien

Klausur Digitale Medien Klausur Digitale Medien Sommersemester 2003 LMU München LFE Medieninformatik Prof. H. Hußmann Dauer: 90 Minuten Auf jedes Blatt sind Name und Matrikelnummer einzutragen! Blätter ohne Namen oder ohne Matrikelnummer

Mehr

Codierung, Codes (variabler Länge)

Codierung, Codes (variabler Länge) Codierung, Codes (variabler Länge) A = {a, b, c,...} eine endliche Menge von Nachrichten (Quellalphabet) B = {0, 1} das Kanalalphabet Eine (binäre) Codierung ist eine injektive Abbildung Φ : A B +, falls

Mehr

2. Vorlesung: Boolesche Algebra

2. Vorlesung: Boolesche Algebra 2. Vorlesung: Boolesche Algebra Wiederholung Codierung, Decodierung Boolesche Algebra UND-, ODER-Verknüpfung, Negation Boolesche Postulate Boolesche Gesetze 1 Wiederholung 2 Bits und Bitfolgen Bit: Maßeinheit

Mehr

Vortrag am Kai Sauer Nanostrukturphysik I

Vortrag am Kai Sauer Nanostrukturphysik I Vortrag am 29.02.2013 Kai Sauer Nanostrukturphysik I 1 Informationsfluss Informationstheorie Hartley-Information Shannon-Information Kanalkapazität und gestörte Kanäle Einfaches Übertragungsmodell Beispiele

Mehr

Grundbegriffe der Informatik Tutorium 3

Grundbegriffe der Informatik Tutorium 3 Grundbegriffe der Informatik Tutorium 3 Tutorium Nr. 16 Philipp Oppermann 18. November 2014 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Prof. Dr. Stefan Weinzierl Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit zur Fehlererkennung kodiert.

Prof. Dr. Stefan Weinzierl Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit zur Fehlererkennung kodiert. Audiotechnik II Digitale Audiotechnik: 8. Tutorium Prof. Dr. Stefan Weinzierl 9.2.23 Musterlösung: 9. Dezember 23, 8:34 Fehlerkorrektur II Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit

Mehr

1 Informationsverarbeitung & Wahrscheinlichkeitsrechnung Informationsverarbeitung Wahrscheinlichkeitsrechnung... 2.

1 Informationsverarbeitung & Wahrscheinlichkeitsrechnung Informationsverarbeitung Wahrscheinlichkeitsrechnung... 2. Inhaltsverzeichnis 1 Informationsverarbeitung & Wahrscheinlichkeitsrechnung 2 1.1 Informationsverarbeitung............................. 2 1.2 Wahrscheinlichkeitsrechnung........................... 2 2

Mehr

Formelsammlung. Wahrscheinlichkeit und Information

Formelsammlung. Wahrscheinlichkeit und Information Formelsammlung Wahrscheinlichkeit und Information Ein Ereignis x trete mit der Wahrscheinlichkeit p(x) auf, dann ist das Auftreten dieses Ereignisses verbunden mit der Information I( x): mit log 2 (z)

Mehr

Einführung in die Wahrscheinlichkeitsrechnung und Statistik für Ingenieure

Einführung in die Wahrscheinlichkeitsrechnung und Statistik für Ingenieure Einführung in die Wahrscheinlichkeitsrechnung und Statistik für Ingenieure Von Prof. Hubert Weber Fachhochschule Regensburg 3., überarbeitete und erweiterte Auflage Mit zahlreichen Bildern, Tabellen sowie

Mehr

Ziv-Lempel-Kompression von André Lichei

Ziv-Lempel-Kompression von André Lichei Ziv-Lempel-Kompression von André Lichei Einführung: Die wichtigsten Ansprüche,die an einen Komprimierungs-Algorithmus gestellt werden, sind: - eine hohe Komprimierungsrate - für alle Typen von Daten (

Mehr

Zusammenfassung ICTh Informations- und Codierungstheorie

Zusammenfassung ICTh Informations- und Codierungstheorie Zusammenfassung ICTh Informations- und Codierungstheorie Emanuel Duss emanuel.duss@gmail.com 18. Januar 2014 Zusammenfassung ICTh Informations- und Codierungstheorie Dieses Dokument basiert auf der Vorlesung

Mehr

Randomisierte Algorithmen

Randomisierte Algorithmen Randomisierte Algorithmen Randomisierte Algorithmen 5. Zwei spieltheoretische Aspekte Thomas Worsch Fakultät für Informatik Karlsruher Institut für Technologie Wintersemester 2015/2016 1 / 36 Überblick

Mehr

Übung 13: Quellencodierung

Übung 13: Quellencodierung ZHAW, NTM, FS2008, Rumc, /5 Übung 3: Quellencodierung Aufgabe : Huffmann-Algorithmus. Betrachten Sie die folgende ternäre, gedächtnislose Quelle mit dem Symbolalphabet A = {A,B,C} und den Symbol-Wahrscheinlichkeiten

Mehr

Grundlagen der Nachrichtentechnik 4

Grundlagen der Nachrichtentechnik 4 Grundlagen der Prof. Dr.-Ing. Andreas Czylwik S. Organisatorisches Vorlesung 2 SWS Übung SWS, Betreuer: Dipl.-Ing. Lars Häring Folienkopien sind verfügbar Prüfung: schriftlich Neue Forschungsthemen im

Mehr

Referat zum Thema Huffman-Codes

Referat zum Thema Huffman-Codes Referat zum Thema Huffman-Codes Darko Ostricki Yüksel Kahraman 05.02.2004 1 Huffman-Codes Huffman-Codes ( David A. Huffman, 1951) sind Präfix-Codes und das beste - optimale - Verfahren für die Codierung

Mehr

Kryptographie und Codierung für den Mathematikunterricht

Kryptographie und Codierung für den Mathematikunterricht Kryptographie und Codierung für den Mathematikunterricht Pädagogische Hochschule Karlsruhe University of Education École Supérieure de Pédagogie Institut für Mathematik und Informatik Th. Borys Was verstehst

Mehr

Begriffe aus der Informatik Nachrichten

Begriffe aus der Informatik Nachrichten Begriffe aus der Informatik Nachrichten Gerhard Goos definiert in Vorlesungen über Informatik, Band 1, 1995 Springer-Verlag Berlin Heidelberg: Die Darstellung einer Mitteilung durch die zeitliche Veränderung

Mehr

Übung 1: Quellencodierung

Übung 1: Quellencodierung ZHAW, NTM2, Rumc, /7 Übung : Quellencodierung Aufgabe : Huffman-Algorithmus. Betrachten Sie die folgende ternäre, gedächtnislose Quelle mit dem Symbolalphabet A = {A,B,C} und den Symbol-Wahrscheinlichkeiten

Mehr

Themen Medientechnik II. Grundlagen der Bildkompression (Teil 1) Claude E. Shannon ( ) Digitale Bildübertragungsstrecke

Themen Medientechnik II. Grundlagen der Bildkompression (Teil 1) Claude E. Shannon ( ) Digitale Bildübertragungsstrecke .4.6 Themen Medientechnik II Grundlagen der Bildkompression (Teil ) Dr. Detlev Marpe Fraunhofer Institut für Nachrichtentechnik HHI Grundlagen der statistischen ignalverarbeitung Mittelwert, Varianz, NR,

Mehr

Einführung in Kompressionstechniken

Einführung in Kompressionstechniken Einführung in Kompressionstechniken W. Kowarschick 7. Februar 997. November 9 W. Kowarschick Motivation Dateigrößen Text Vektorgraphiken Rasterbilder Tomographien Telephon CD-Stereo Bildfolgen VD7 VD7

Mehr

Dynamisches Huffman-Verfahren

Dynamisches Huffman-Verfahren Dynamisches Huffman-Verfahren - Adaptive Huffman Coding - von Michael Brückner 1. Einleitung 2. Der Huffman-Algorithmus 3. Übergang zu einem dynamischen Verfahren 4. Der FGK-Algorithmus 5. Überblick über

Mehr

Digitalisierung. analoges Signal PAM. Quantisierung

Digitalisierung. analoges Signal PAM. Quantisierung Digitalisierung U analoges Signal t U PAM t U Quantisierung t Datenreduktion Redundanzreduktion (verlustfrei): mehrfach vorhandene Informationen werden nur einmal übertragen, das Signal ist ohne Verluste

Mehr

Effiziente Algorithmen und Komplexitätstheorie

Effiziente Algorithmen und Komplexitätstheorie 1 Effiziente Algorithmen und Komplexitätstheorie Vorlesung Thomas Jansen 22.06.2006 2 Ein anderer Ansatz Beobachtung in Dokumenten eines Typs wiederkehrende Muster Idee Muster in Wörterbuch speichern,

Mehr

9.4 Sicherheit von Verschlüsselungsverfahren

9.4 Sicherheit von Verschlüsselungsverfahren 9.4 Sicherheit von Verschlüsselungsverfahren ist bedroht durch = Resistenz gegenüber Kryptoanalyse kleine Schlüsselräume (erlauben systematisches Ausprobieren aller möglichen Schlüssel) Beispiel: Cäsars

Mehr

Kodierung und Sicherheit

Kodierung und Sicherheit Skript zur Vorlesung: Kodierung und Sicherheit 0000 00000 000 0000 0000 000 00 000 Wintersemester 2004-2005 Dr. Andreas Jakoby Institut für Theoretische Informatik Universität zu Lübeck Inhaltsverzeichnis

Mehr

Codierung. H.-G. Hopf

Codierung. H.-G. Hopf Codierung H.-G. Hopf Inhalt Informationsübermittlung Codierung von Zeichen GDI: Codierung / 2 Inhalt Informationsübermittlung Codierung von Zeichen GDI: Codierung / 3 Ideale Kommunikation Übertragungskanal

Mehr

Anhang II zur Vorlesung Kryptologie: Entropie

Anhang II zur Vorlesung Kryptologie: Entropie Anhang II zur Vorlesung Kryptologie: Entropie von Peter Hellekalek Fakultät für Mathematik, Universität Wien, und Fachbereich Mathematik, Universität Salzburg Tel: +43-(0)662-8044-5310 Fax: +43-(0)662-8044-137

Mehr

Grundlagen der Technischen Informatik. Codierung und Fehlerkorrektur. Kapitel 4.2

Grundlagen der Technischen Informatik. Codierung und Fehlerkorrektur. Kapitel 4.2 Codierung und Fehlerkorrektur Kapitel 4.2 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916)

Mehr

Standbildcodierung. Dipl.-Ing. Guido Heising. Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K.

Standbildcodierung. Dipl.-Ing. Guido Heising. Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Standbildcodierung Dipl.-Ing. Guido Heising Digitale Videotechnik, SS 02, TFH Berlin, Dipl.-Ing. G. Heising G. Heising, K. Barthel 1 Gliederung der Vorlesung Einführung in die Bildcodierung - verlustlose/verlustbehaftete

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Übung 8 Dirk Achenbach 7. Februar 2013 I NSTITUT FÜR K RYPTOGRAPHIE UND S ICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Eigenschaften von Kompressionsverfahren

Eigenschaften von Kompressionsverfahren 6 Textkompression Eigenschaften von Kompressionsverfahren Das Ziel der Datenkompression ist es, eine gegebene Information (Datenquelle) auf eine kompaktere Weise zu repräsentieren. Dies geschieht, indem

Mehr

Inhalt. 1. Was ist Information 2. Nachrichtentechnische Definition 3. Algorithmische Definition 4. Darstellung in der Informatik

Inhalt. 1. Was ist Information 2. Nachrichtentechnische Definition 3. Algorithmische Definition 4. Darstellung in der Informatik Kapitel 2 Information Information ist der grundlegende Begriff der Informatik. Mehr noch: Der Begriff der Information ist vermutlich das zentrale interdisziplinäre Brückenkonzept der modernen Wissenschaften

Mehr

2. Digitale Codierung und Übertragung

2. Digitale Codierung und Übertragung 2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.1.1 Abtasttheorem 2.1.2Stochastische Nachrichtenquelle, Entropie, Redundanz 2.2 Verlustfreie universelle Kompression Medieninformatik-Buch:

Mehr

Wie muss der Eingabetext beschaffen sein, damit er sich gut komprimieren lässt?

Wie muss der Eingabetext beschaffen sein, damit er sich gut komprimieren lässt? Lernaufgabe 1a Beim Kofferpacken können wir durch Druck die Luft herauslassen und bringen somit mehr Kleidungsstücke in den Koffer. Im Unterricht haben wir vom Huffman-Code gehört und wissen, dass er nach

Mehr

WAHRSCHEINLICHKEITSRECHNUNG

WAHRSCHEINLICHKEITSRECHNUNG WAHRSCHEINLICHKEITSRECHNUNG Mathematischer Teil In der Wahrscheinlichkeitsrechnung haben wir es mit Zufallsexperimenten zu tun, d.h. Ausgang nicht vorhersagbar. Grundbegriffe Zufallsexperiment und Ergebnisse

Mehr

ADS: Algorithmen und Datenstrukturen 2

ADS: Algorithmen und Datenstrukturen 2 ADS: Algorithmen und Datenstrukturen 2 5. Vorlesung Uwe Quasthoff Abteilung Automatische Sprachverarbeitung Institut für Informatik Universität Leipzig 9. Mai 2012 1 / 35 Datenkompression Bisheriges Hauptziel

Mehr

Der Huffman Algorithmus

Der Huffman Algorithmus Der Huffman Algorithmus Für das Folgende setzen wir voraus, dass die Quellensymbole q ν einem Alphabet {q μ } = {A, B, C,...} mit dem Symbolumfang M entstammen und statistisch voneinander unabhängig seien.

Mehr

Telekommunikationssysteme

Telekommunikationssysteme Telekommunikationssysteme WS 1999 / 2000 Prof. Dr. Claudia Linnhoff-Popien M Institut für Informatik Ludwig-Maximilians-Universität, München N TE AM M Prof. Dr. Otto Spaniol Lehrstuhl für Informatik 4

Mehr

Kommunikationstechnik II Wintersemester 07/08

Kommunikationstechnik II Wintersemester 07/08 Kommunikationstechnik II Wintersemester 07/08 Prof. Dr. Stefan Weinzierl Musterlösung: 5. Aufgabenblatt 1. Aufgabe: Kanalkodierung Zweck der Kanalcodierung: - Abbildung der information bits des Quellkodes

Mehr

Def.: Sei Σ eine Menge von Zeichen. Die Menge Σ* aller Zeichenketten (Wörter) über Σ ist die kleinste Menge, für die gilt:

Def.: Sei Σ eine Menge von Zeichen. Die Menge Σ* aller Zeichenketten (Wörter) über Σ ist die kleinste Menge, für die gilt: 8. Grundlgen der Informtionstheorie 8.1 Informtionsgehlt, Entropie, Redundnz Def.: Sei Σ eine Menge von Zeichen. Die Menge Σ* ller Zeichenketten (Wörter) über Σ ist die kleinste Menge, für die gilt: 1.

Mehr

Grundbegriffe der Informatik Tutorium 5

Grundbegriffe der Informatik Tutorium 5 Grundbegriffe der Informatik Tutorium 5 Tutorium Nr. 32 Philipp Oppermann 13. Januar 2015 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr