Kolmogoroffkomplexität Teil 3 Informationstheorie und Kodierung. Torsten Steinbrecher
|
|
- Minna Kalb
- vor 5 Jahren
- Abrufe
Transkript
1 Kolmogoroffkompleität Teil 3 Informationstheorie und Kodierung Torsten Steinbrecher
2 Informationstheorie Information ist Δ Wahlfreiheit beim Sender Δ Unbestimmtheit beim Empfänger Information ist nicht Länge der Nachricht an sich Aussage (Semantik) der Nachricht an sich 2
3 Kodierung Wie kompakt können wir Nachrichten theoretisch fassen? Idee: messen Wahlfreiheit / Unbestimmtheit Wie kommen wir diesem Grenzwert möglichst nahe? optimale Codes Wie können wir Nachrichten noch kürzer fassen? verlustbehaftete Kompression (siehe Buch) 3
4 Beispiel heute gabs kartoffeln und l heute gabs kartoffeln und q lachs, lamm, leber, labskaus, letscho quark I(p(q)) > I(p(l)) 4
5 Formalisierung I sei X Zufallsvariable über alle Buchstaben in A und =X(ω) der nächste Buchstabe in der Leitung je geringer seine Wahrscheinlichkeit p(), desto stärker sinkt die Unbestimmtheit / Wahlfreiheit, desto höher ist der Informationsgehalt I p := log 1 p P.S.:log = log 2 Einheit: Bit 5
6 I p := log 1 p Beispiel heute gabs kartoffeln und l heute gabs kartoffeln und q lachs, lamm, leber, labskaus, letscho quark I(1) = 0 I(0,5) = 1 I(0,25) = 2 I(0,125) = 3 6
7 Formalisierung II Entropie (Unordnung) ist der erwartete Informationsgehalt des nächsten Zeichens H X = A p I p Einheit: Bit pro Zeichen 7
8 Versuch 1 a b c d e f g h Beispiel optimal bei p(a)=p(b)= =1/32 spiegelt nicht die Häufigkeitsverteilung in deutschen Teten wider schlecht 8
9 Versuch 2 e 0 n 10 i 110 s 1110 r a t d Beispiel optimal bei p(e)=1/2, p(n)=1/4, p(i)=1/8, d.h. bei Wortlänge 6 und Satzlänge 11 nur alle vier Sätze ein d und jeder zweite Buchstabe ein e noch schlechter 9
10 Zwischending Ziel: Abschätzung nach unten für die Länge der kodierten Nachricht. (als Referenz für mögliche Zwischendinger) Annahme: kennen Länge der Nachricht k und genaue Häufigkeit der einzelnen Buchstaben Ergebnis: müssen mind. k*h(x) Bit übertragen (Beweis siehe nächste Folie) 10
11 n: Anzahl verschiedener Buchstaben, k: Länge der Nachricht, k i : abs. Häufigkeit von Buchstabe i k! müssen mindestens h = log! k 1! k 2! k n h = logk! logk 1! logk n! log 2 k k e k log 2 k 1 k 1 e log 2 k log 2 k 1 log 2 k n k logk k 1 logk 1 k n logk n k loge k 1 loge k n loge log 2 k log 2 k 1 log 2 k n Beweis Bit übertragen k1 log 2 k n k n e kn stirlingsche Approimation: k! 2 k k e k k logk k 1 logk 1 k n logk n k logk k 1 logk 1 k n logk n logk k logk 1 k 1 logkn k n aus Konkavität von und log folgt: log a b log a log b logk k 1 k n logk1 k 1 logkn k n log k k 1 k k 2 k k n logk1 k 1 logkn k n logk k 1 logk k n logk1 k 1 logkn k n logk k i logki k i k i logk logk i k k i k logk logk i k k i k log k k i k p i log 1 p i k H X 11
12 Shannon-Fano-Code sortiere Buchstaben absteigend nach Wahrscheinlichkeit p e =0,3; p n =0,25; p i =0,2; p s =0,15; p r =0,1 berechne kumulative Wahrscheinlichkeiten in binär P e =0; P n =0,3; P i =0,55; P s =0,75; P r =0,9 P e =0; P n =0,0100 ; P i =0,1000 ; P s =0,11; P r =0,1110 berechne aufgerundete Informationsgehalte I'(p e )=2; I'(p n )=2; I'(p i )=3; I'(p s )=3; I'(p r )=4 dezimal schneide kumul. Wahrschlk. entspr. Informationsgehalt ab E(e)=00; E(n)=01; E(i)=100X; E(s)=110; E(r)=1110X binär I p := log 1 p 12
13 p E Shannon-Fano-Code = p I' p 1 1 H X p I p 1 p I p erwartete Länge des nächsten Codewortes weicht um ma. 1 von Entropie der Nachrichtenquelle ab asymptotisch gut per Konstruktion präfifrei 13
14 Quellenkodierungssatz noiseless coding theorem Wahrscheinlichkeitsmassenfunktion p auf Quellwörtern präfifreier Code, so dass durchschnittliche Codewortlänge können keinen Code konstruieren mit p E H X (Folie 11) p E ungefähr gleich der Entropie der Nachrichtenquelle H X = Beweis: können Shannon-Fano-Code konstruieren mit p E 1 H X (Folie 13) p log 1 p 14
15 kraftsche Ungleichung präfifreier Code mit Codewortlängen l 1, l 2, gdw. i 2 l i Beweis PFC als Baum mit Codewörtern in Blättern Baum mit Tiefe 0: 2-0 = hänge an Blatt mit Tiefe n ma. 2 Blätter mit Tiefe n+1 an: 0 Blatt wird zu innerem Knoten: ziehe 2 -n ab ma. 2 Blätter dazu: addiere ma. 2*2 -(n+1) = 2 -n Beweis gibt maimal 2 n Knoten mit Tiefe n ein Blatt mit Tiefe l i verbraucht deshalb 2 -l i der Breite des Baumes lt. Vorausstzg. verbrauchen alle Blätter ma. 1 der Breite des Baumes also ist ein Baum mit Blättern der Tiefe l 15 i konstruierbar 0 1
16 kraftsche Ungleichung daraus folgt: wenn 2 l i 1, werden Codewörter verschwendet i (der Baum ist nicht voll, unvollständiger Code) aber daraus folgt nicht: wenn für gegebenen Code i 2 l i 1gilt, ist es ein PFC (stimmt ja auch nicht) kraftsche Ungleichung gilt nicht nur für PFC, sondern für alle eindeutig dekodierbaren Codes (Beweis nächste Folie) daraus folgt: jeder EDC kann durch einen PFC mit gleichen Codewortlängen ersetzt werden 16
17 Beweis Voraussetzung: l 1 l n sind die Längen der n Codewörter eines EDC n zu zeigen: es gilt die kraftsche Ungleichung 2 l i 1 i = 1 setzen die linke Seite ins Quadrat und erhalten: n i = 1 2 l i 2 = 2 l 1 2 l n 2 = 2 l 1 2 l 1 2 l 1 2 l 2 2 l n 2 l n = 2 l 1 l 1 2 l 1 l 2 2 l n l n = m m m 2l 2 2l mit l = ma {l i i = 1 n} und m i = Anzahl Paare l a,l b mit l a l b = i 2l = m i 2 i i = 1 analoge Überlegungen führen zu: n i = 1 2 l i r setzen r n i = 1 r l = m i 2 i i = 1 r l 2 i 2 i (nach Voraussetzung: m i {0,1} i =2 i (für jede Bitkette höchstens ein Codewortpaar)) i = 1 r l i = 1 r l 2 l i r r l
18 optimale Codes Quellenkodierungssatz und kraftsche Ungleichung liefern Konstruktion eines relativ guten PFC gut = Erwartungswert der Codewortlänge ist klein Further Reading: Huffman-Code liefert Konstruktion eines besten (optimalen) PFC A ist optimaler Code (PFC, EDC) Code (PFC, EDC) B, sodass p B p A Achtung: vollständig optimal 18
19 universelle Codes kodieren die Nachrichtenquelle in Unkenntnis der Wahrscheinlichkeitsverteilung p, sodass die erwartete Codewortlänge linear von der Entropie abhängt sind zusätzlich asymptotisch optimal, wenn p E c ma {H X,1} p E f H X ma {H X,1} mit lim H X f H X = 1 19
20 Beispiel A :n n ist universell (da die Codewortlänge nur linear mit der Entropie zunimmt B:n l n n ist universell und asymptotisch optimal (da die Codewortlänge nur logarithmisch mit der Entropie zunimmt) 20
21 Fragen? Ming Li, Paul Vitány. An Introduction to Kolmogorov Compleity and Its Applications. Springer Claude Shannon. A Mathematical Theory of Communication Aleander May. Diskrete Mathematik 2. Vorlesungsskript Ruhr-Universität Bochum
22 Glossar complete code vollständiger Code abhängig dependent conditional bedingt abzählbar countable countable abzählbar bedingt conditional dependent abhängig Blockcode fied-length code distribution Verteilung Definitionsbereich domain domain Definitionsbereich effizient efficient efficient effizient eindeutig unique event Ereignis Ereignis event fied-length code Blockcode Ergebnis sample independent unabhängig gemeinsam joint, mutual joint gemeinsam gleich- uniform marginal rand- präfifreier Code prefi-code mutual gemeinsam rand- marginal noiseless rauschfrei rauschfrei noiseless prefi-code präfifreier Code überabzählbar uncountable random variable Zufallsvariable unabhängig independent range Wertebereich unbestimmt uncertain sample Ergebnis Verteilung distribution uncertain unbestimmt vollständiger Code complete code uncountable überabzählbar Wertebereich range gleich- eindeutig uniform unique Zufallsvariable random variable 22
Informationsgehalt einer Nachricht
Informationsgehalt einer Nachricht Betrachten folgendes Spiel Gegeben: Quelle Q mit unbekannten Symbolen {a 1, a 2 } und p 1 = 0.9, p 2 = 0.1. Zwei Spieler erhalten rundenweise je ein Symbol. Gewinner
MehrDefinition Information I(p)
Definition Information I(p) Definition I(p) Die Information I(p) eines Symbols mit Quellws p > 0 ist definiert als I(p) = log 1 p. Die Einheit der Information bezeichnet man als Bit. DiMa II - Vorlesung
MehrDefinition Information I(p)
Definition Information I(p) Definition I(p) Die Information I(p) eines Symbols mit Quellws p > 0 beträgt I(p) = log 1 p. Die Einheit der Information bezeichnet man als Bit. DiMa II - Vorlesung 03-05.05.2009
MehrKapitel 7: Optimalcodierung und Huffman Coding
Kapitel 7: codierung und Huffman Coding Ziele des Kapitels Auftreten von Fehlern bei zu starker Kompression Konstruktion optimaler Codes Huffman Coding 2 Bisher Theorem (Shannon I): Die mittlere Codewortlänge
Mehr3. Woche Information, Entropie. 3. Woche: Information, Entropie 45/ 238
3 Woche Information, Entropie 3 Woche: Information, Entropie 45/ 238 Informationsgehalt einer Nachricht Intuitiv: Je kleiner die Quellws, desto wichtiger oder strukturierter die Information, bzw höher
MehrGrundlagen der Technischen Informatik. 3. Übung
Grundlagen der Technischen Informatik 3. Übung Christian Knell Keine Garantie für Korrekt-/Vollständigkeit 3. Übungsblatt Themen Aufgabe : Aufgabe 2: Aufgabe 3: Informationstheorie Huffman-Code Entropie
MehrTheoretische Grundlagen der Informatik. Vorlesung am 31. Januar INSTITUT FÜR THEORETISCHE INFORMATIK
Theoretische Grundlagen der Informatik 3..29 Torsten Ueckerdt - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu Thema dieses Kapitels Informationstheorie
MehrSeminar Kolmogorovkomplexität. Universität Potsdam Wintersemester 2009/10
Universität Potsdam Wintersemester 2009/10 Kolmogorovkomplexität Kolmogorovkomplexität (auch Algorithmische Komplexität ) ist der zentrale Begriff der Algorithmischen Informationstheorie (AIT). Kombiniert
Mehr(Prüfungs-)Aufgaben zur Codierungstheorie
(Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1
MehrGrundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch
Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch . Thema Informationstheorie geht zurück auf Claude Shannon The Mathematical Theory of Communication beschäftigt sich mit Information
MehrDiskrete Mathematik II
Diskrete Mathematik II Alexander May Fakultät für Mathematik Ruhr-Universität Bochum Sommersemester 2008 DiMA II - Vorlesung 01-07.04.2008 Einführung in die Codierungstheorie, Definition Codes 1 / 36 Organisatorisches
MehrCODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005
CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005. Das Problem.. Quellcodierung und Datenkompression. Wir wollen eine Nachricht über einen digitalen Kanal, der nur 0 oder übertragen kann, schicken.
Mehr3 Codierung diskreter Quellen. Quelle Quellcodierer Kanalcodierer reduziert die benötigte Datenmenge. fügt Daten zur Fehlerkorrektur ein.
3 Codierung diskreter Quellen 3 Einführung 32 Ungleichmäßige Codierung 33 Präfix-Codes 34 Grenzen der Code-Effizienz 35 Optimal-Codierung 3 Zusammenfassung < 24 / 228 > 3 Codierung diskreter Quellen Quelle
MehrVorlesung 15a. Quellencodieren und Entropie
Vorlesung 15a Quellencodieren und Entropie 1 1. Volle Binärbäume als gerichtete Graphen und die gewöhnliche Irrfahrt von der Wurzel zu den Blättern 2 3 ein (nicht voller) Binärbaum Merkmale eines Binärbaumes:
Mehr1 Grundlagen. 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen
1 Grundlagen 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen Die Überlegungen dieses Kapitels basieren auf der Informationstheorie von Shannon. Er beschäftigte
MehrMathe III. Garance PARIS. Mathematische Grundlagen III. Informationstheorie. 20. Juni /1
Mathematische Grundlagen III Informationstheorie 20 Juni 20 / Informationstheorie Ein Gerüst, um über den Informationsgehalt von (linguistischen) Ereignissen nachzudenken Einige Beispiele für Anwendungen:
MehrEntropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b.
Entropie Grundlegend für das Verständnis des Begriffes der Komprimierung ist der Begriff der Entropie. In der Physik ist die Entropie ein Maß für die Unordnung eines Systems. In der Informationstheorie
Mehr2. Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung
2 Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 2 Woche: Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 24/ 44 Zwei Beispiele a 0
MehrAlgorithmische Kolmogorovkomplexität und Invarianz
Algorithmische Kolmogorovkomplexität und Invarianz Mario Frank Seminar Kolmogorovkomplexität Universität Potsdam November 13, 2009 1 / 27 1 Allgemeines 2 3 4 5 6 2 / 27 Allgemeines Definition Der Informationsgehalt
MehrMathematische Grundlagen III
Mathematische Grundlagen III Informationstheorie Vera Demberg Universität des Saarlandes 26. Juni 202 Vera Demberg (UdS) Mathe III 26. Juni 202 / 43 Informationstheorie Entropie (H) Wie viel Information
Mehrh = 1 7 ( ) = 21 7 = 3
Zur mittleren Höhe von Binärbäumen mittlere Höhe von Binärbäumen Entropie gewichtete mittlere Höhe von Binärbäumen Quellcodierung, Datenkompression Shannons Theorem optimale Quellcodierung (Huffman) wobei
MehrWann sind Codes eindeutig entschlüsselbar?
Wann sind Codes eindeutig entschlüsselbar? Definition Suffix Sei C ein Code. Ein Folge s {0, 1} heißt Suffix in C falls 1 c i, c j C : c i = c j s oder 2 c C und einen Suffix s in C: s = cs oder 3 c C
MehrProseminar Datenkompression Suchstrategien und Präfixcodes
Proseminar Datenkompression Suchstrategien und Präfixcodes Patrick Sonntag Mittwoch, den 05.02.2003 I. Einführung - Suche elementares Problem in Informatik - hierbei Beschränkung auf binäre Tests nur 2
MehrSeminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung
Huffman-Codierung, arithmetische Codierung Theoretische Informatik RWTH-Aachen 4. April 2012 Übersicht 1 Einführung 2 3 4 5 6 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft
MehrInformatik II, SS 2016
Informatik II - SS 2016 (Algorithmen & Datenstrukturen) Vorlesung 22 (20.7.2016) Greedy Algorithmen - Datenkompression Algorithmen und Komplexität Greedy Algorithmen Greedy Algorithmen sind eine Algorithmenmethode,
MehrKompression. Tim Kilian
Kompression Tim Kilian Seminar Effiziente Programmierung Arbeitsbereich Wissenschaftliches Rechnen Fachbereich Informatik Fakultät für Mathematik, Informatik und Naturwissenschaften Universität Hamburg
MehrVorlesung 13b. Relative Entropie
Vorlesung 13b Relative Entropie 1 S sei eine abzählbare Menge (ein Alphabet ). 2 S sei eine abzählbare Menge (ein Alphabet ). Die Elemente von S nennen wir Buchstaben. S sei eine abzählbare Menge (ein
MehrInformatik II, SS 2018
Informatik II - SS 28 (Algorithmen & Datenstrukturen) Vorlesung 22 (6.7.28) Greedy Algorithmen II (Datenkompression) Algorithmen und Komplexität Datenkompression Reduziert Größen von Files Viele Verfahren
MehrTechnische Informatik - Eine Einführung
Martin-Luther-Universität Halle-Wittenberg Fachbereich Mathematik und Informatik Lehrstuhl für Technische Informatik Prof. P. Molitor Technische Informatik - Eine Einführung Darstellung von Zeichen und
Mehr2.7 Der Shannon-Fano-Elias Code
2.7 Der Shannon-Fano-Elias Code Die Huffman-Codierung ist ein asymptotisch optimales Verfahren. Wir haben auch gesehen, dass sich die Huffman-Codierung gut berechnen und dann auch gut decodieren lassen.
MehrDigitale Medien. Übung
Digitale Medien Übung Übungsbetrieb Informationen zu den Übungen: http://www.medien.ifi.lmu.de/dm Zwei Stunden pro Woche Praktische Anwendungen des theoretischen Vorlesungsstoffs Wichtige Voraussetzung
MehrDie mittlere Höhe eines Binärbaumes. h(t) = 1 e(t) mit E(t) = Menge der Blätter von t, h(b, t) = Höhe des Blattes b in t
Höhe von Binärbäumen Die mittlere Höhe eines Binärbaumes h(t) = 1 e(t) b E(t) mit E(t) = Menge der Blätter von t, h(b, t) = Höhe des Blattes b in t h(b, t), Höhe von Binärbäumen Die mittlere Höhe eines
MehrVorlesung 12. Quellencodieren und Entropie
Vorlesung 12 Quellencodieren und Entropie 1 S sei eine abzählbare Menge (ein Alphabet ). Die Elemente von S nennen wir Buchstaben. Wir wollen die Buchstaben a, b,... durch (möglichst kurze) 01-Folgen k(a),
MehrEinführung in die Informatik II Aus der Informationstheorie: Datenkompression
Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Prof. Bernd Brügge, Ph.D Institut für Informatik Technische Universität München Sommersemester 2 2. Juli 2 Copyright 2 Bernd
MehrDigitale Medien. Übung
Digitale Medien Übung Übungsbetrieb Informationen zu den Übungen: http://www.medien.ifi.lmu.de/dm http://www.die-informatiker.net Zwei Stunden pro Woche Praktische Anwendungen des theoretischen Vorlesungsstoffs
MehrModul 1: Einführung und Wahrscheinlichkeitsrechnung
Modul : Einführung und Wahrscheinlichkeitsrechnung Informationstheorie Dozent: Prof. Dr. M. Gross E-mail: grossm@inf.ethz.ch Assistenten: Bernd Bickel, Daniel Cotting, Michael Waschbüsch, Boris Köpf, Andrea
MehrDatenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut
Datenkompression Holger Rauhut 1. September 2010 Skript für die Schülerwoche 2010, 8.-11.9.2010 Hausdorff Center for Mathematics, Bonn 1 Allgemeines Datenkompression hat zum Ziel, Daten in digitaler Form,
MehrEffiziente Algorithmen und Komplexitätstheorie
Fakultät für Informatik Lehrstuhl 2 Vorlesung Effiziente Algorithmen und Komplexitätstheorie Sommersemester 2008 Ingo Wegener; Vertretung: Carsten Witt 7. Juli 2008 Vorlesung am 14.07. (nächste Woche):
MehrAlgorithmen und Datenstrukturen (für ET/IT) Programm heute. Wintersemester 2012/13. Dr. Tobias Lasser. 7 Fortgeschrittene Datenstrukturen
Algorithmen und Datenstrukturen (für ET/IT) Wintersemester 202/3 Dr. Tobias Lasser Computer Aided Medical Procedures Technische Universität München Programm heute 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen
MehrFreie Universität Berlin. Seminar Talk. Datenkompression. Zacharias V. Fisches 2. Mai 2017
Freie Universität Berlin Seminar Talk Datenkompression Zacharias V. Fisches zacharias.vf@gmail.com 2. Mai 2017 Proseminar Theoretische Informatik Prof. Wolfgang Mulzer Inhaltsverzeichnis 1 Einleitung 2
Mehr21. Greedy Algorithmen. Aktivitätenauswahl, Fractional Knapsack Problem, Huffman Coding Cormen et al, Kap. 16.1, 16.3
581 21. Greedy Algorithmen Aktivitätenauswahl, Fractional Knapsack Problem, Huffman Coding Cormen et al, Kap. 16.1, 16.3 Aktivitäten Auswahl 582 Koordination von Aktivitäten, die gemeinsame Resource exklusiv
Mehr1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes
1 Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche: Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 5/ 44 Unser Modell Shannon
MehrInformations- und Codierungstheorie (Informationstheorie) Vorlesungsunterlagen
J O H A N N E S K E P L E R U N I V E R S I T Ä T L I N Z N e t z w e r k f ü r F o r s c h u n g, L e h r e u n d P r a x i s Informations- und Codierungstheorie (Informationstheorie) Vorlesungsunterlagen
Mehr2. Digitale Codierung und Übertragung
2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Verlustfreie universelle Kompression 2.3 Digitalisierung, Digitale Medien Weiterführende Literatur zum Thema Informationstheorie:
MehrStatistische Methoden in der Sprachverarbeitung
' Statistische Methoden in der Sprachverarbeitung Gerhard Jäger 7. Mai 22 Inforationstheorie Der Entropiebegriff Entropie: Chaos, Unordung, Nicht-Vorhersagbarkeit,... Begriff kot ursprünglich aus der Physik:
MehrLösungsvorschläge zu Blatt Nr. 13
Institut für Algorithmen und Kognitive Systeme Dr. Jörn Müller-Quade Carmen Kempka Christian Henrich Nico Döttling Vorlesung Informatik III Lösungsvorschläge zu Blatt Nr. Aufgabe (K ( Punkte Gegeben ist
Mehr21. Dynamic Programming III
Approximation 21. Dynamic Programming III FPTAS [Ottman/Widmayer, Kap. 7.2, 7.3, Cormen et al, Kap. 15,35.5] Sei ein ε (, 1) gegeben. Sei I eine bestmögliche Auswahl. Suchen eine gültige Auswahl I mit
MehrMolekulare Bioinformatik
Molekulare Bioinformatik Wintersemester 203/204 Prof. Thomas Martinetz Institut für Neuro- und Bioinformatik Universität zu Luebeck 07.0.204 Molekulare Bioinformatik - Vorlesung 0 Wiederhohlung Die Entropie
MehrReferat zum Thema Huffman-Codes
Referat zum Thema Huffman-Codes Darko Ostricki Yüksel Kahraman 05.02.2004 1 Huffman-Codes Huffman-Codes ( David A. Huffman, 1951) sind Präfix-Codes und das beste - optimale - Verfahren für die Codierung
MehrRLE Arithm. Shannon Fano Huffman Grenzen. Komprimierung. Ingo Blechschmidt, Michael Hartmann. 6. Dezember 2006
RLE Arithm. Shannon Fano Huffman Grenzen Ingo Blechschmidt, Michael Hartmann 6. Dezember 2006 RLE Arithm. Shannon Fano Huffman Grenzen Inhalt 1 Lauflängenkodierung 2 Arithmetische Kodierung 3 Shannon Fano-Kodierung
MehrEinleitung. Kapitel 1
Kapitel 1 Einleitung In diesem Abschnitt geben wir einen kurzen Überblick über den Inhalt der Vorlesung. Wir werden kurz die wesentlichen Probleme erläutern, die wir ansprechen wollen. Wir werden auch
MehrUnsicherheit * M RS = 6
Informationstheorie Gegenstand Unsicherheit Überraschung Entropie Relative und maximale Entropie, Redundanz Konditionale Entropie und Verbundentropie Wechselseitige ("Mutual") Information Gegenstand Kodierung,
MehrÜbung zur Vorlesung Digitale Medien. Doris Hausen Ludwig-Maximilians-Universität München Wintersemester 2010/2011
Übung zur Vorlesung Digitale Medien Doris Hausen Ludwig-Maximilians-Universität München Wintersemester 2010/2011 1 Übungsbetrieb Informationen zu den Übungen: http://www.medien.ifi.lmu.de/dm http://www.die-informatiker.net
MehrÜbung zur Vorlesung. Vorlesung: Heinrich Hußmann Übung: Renate Häuslschmid, Hanna Schneider
Übung zur Vorlesung Digitale Medien Vorlesung: Heinrich Hußmann Übung: Renate Häuslschmid, Hanna Schneider Wintersemester 2016/17 Bilder 20 x 14 Pixel (= Bildpunkte) 16 Bit Farben (= 65.536 Farben) 560
MehrWir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir
Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht
MehrKodierung und Sicherheit
Skript zur Vorlesung: Kodierung und Sicherheit 0000 00000 000 0000 0000 000 00 000 Wintersemester 2004-2005 Dr. Andreas Jakoby Institut für Theoretische Informatik Universität zu Lübeck Inhaltsverzeichnis
MehrÜbungsblatt 5 - Musterlösung
Universität Mannheim Lehrstuhl für Praktische Informatik IV Prof. Dr. W. Effelsberg Christoph Kuhmünch, Gerald Kühne Praktische Informatik II SS 2000 Übungsblatt 5 - Musterlösung Aufgabe 1: Huffman-Codierung
MehrFreiwillige Übung zum Thema: Adaptive Huffman-Kodierung
Freiwillige Übung zum Thema: Adaptive Huffman-Kodierung Hintergrund-Info: Adaptive Verfahren (Quelle: Uni Karlsruhe) Die einfache Huffman-Kodierung verwendete für die Konstruktion der Kodes die Häufigkeiten
MehrRedundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1
Information, Entropie und Redundanz Technische Informationsquelle Entropie und Redundanz Huffman Codierung Martin Werner WS 9/ Martin Werner, Dezember 9 Information und Daten Informare/ Informatio (lat.)
MehrKlausur Informationstheorie und Codierung
Klausur Informationstheorie und Codierung WS 2013/2014 23.01.2014 Name: Vorname: Matr.Nr: Ich fühle mich gesundheitlich in der Lage, die Klausur zu schreiben Unterschrift: Aufgabe A1 A2 A3 Summe Max. Punkte
MehrGrundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1
Informationsgehalt Kapitel 4.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle Sender
MehrInformationstheorie und Codierung
Informationstheorie und Codierung 3. Codierung diskreter Quellen Gleichmäßiger Code Ungleichmäßiger Code Fano-, Huffman-Codierung Optimalcodierung von Markoff-Quellen Lauflängencodes nach Golomb und Rice
MehrAlgorithmen und Datenstrukturen (für ET/IT)
Algorithmen und Datenstrukturen (für ET/IT) Sommersemester 206 Dr. Tobias Lasser Computer Aided Medical Procedures Technische Universität München Organisatorisches Weiterer Ablauf: heute und Donnerstag,
MehrSeminar Kolmogorovkomplexität
Notation und Grundlagen Nuria Brede 30.10.2009 Notation B = {0, 1} ; B Menge der einseitig unendlichen Binärstrings; N Menge der natürlichen Zahlen; Z Menge der ganzen Zahlen; R Menge der reellen Zahlen
MehrStrings. Stringsuche, Boyer-Moore, Textkompression, Huffman Codes.
Strings Stringsuche, Boyer-Moore, Textkompression, Huffman Codes. Suche Substring Häufiges Problem Relevante Beispiele: Suche ein Schlagwort in einem Buch Alphabet: A-Za-z0-9 Suche Virussignatur auf der
MehrTGI-Übung Dirk Achenbach
TGI-Übung 7 06.02.2014 Dirk Achenbach INSTITUT FÜR THEORETISCHE INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Agenda
MehrInformatik I WS 07/08 Tutorium 24
Info I Tutorium 24 Informatik I WS 07/08 Tutorium 24 8.11.07 Bastian Molkenthin E-Mail: infotut@sunshine2k.de Web: http://www.sunshine2k.de Übersicht o Information und Bezugssysteme o Informationstheorie
MehrDie Probabilistische Methode
Die Probabilistische Methode Wladimir Fridman 233827 Hauptseminar im Sommersemester 2004 Extremal Combinatorics Zusammenfassung Die Probabilistische Methode ist ein mächtiges Werkzeug zum Führen von Existenzbeweisen.
Mehr12. Übung TGI. (mit Teil 2 der 11. Übung) Lorenz Hübschle-Schneider, Tobias Maier INSTITUT FÜR THEORETISCHE INFORMATIK, PROF.
12. Übung TGI (mit Teil 2 der 11. Übung) Lorenz Hübschle-Schneider, Tobias Maier INSTITUT FÜR THEORETISCHE INFORMATIK, PROF. SANDERS 1 Lorenz Hübschle-Schneider, Tobias Maier KIT Die Forschungsuniversität
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Übung 8 Dirk Achenbach 7. Februar 2013 I NSTITUT FÜR K RYPTOGRAPHIE UND S ICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrProf. Dr. Stefan Weinzierl Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit zur Fehlererkennung kodiert.
Audiotechnik II Digitale Audiotechnik: 8. Tutorium Prof. Dr. Stefan Weinzierl 9.2.23 Musterlösung: 9. Dezember 23, 8:34 Fehlerkorrektur II Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit
Mehr1.4 Zufallsvariablen und ihre Verteilung
1.4.1 Diskrete Zufallsvariablen Ein Zufallsexperiment wird beschrieben durch einen Grundraum Ω und eine Wahrscheinlichkeit P auf Ω. Häufig interessieren nicht die Ergebnisse an sich, sondern bestimmte
MehrÜbungsblatt Nr. 7. Lösungsvorschlag
Institut für Kryptographie und Sicherheit Prof. Dr. Jörn Müller-Quade Nico Döttling Dirk Achenbach Tobias Nilges Vorlesung Theoretische Grundlagen der Informatik Übungsblatt Nr. 7 svorschlag Aufgabe (K)
MehrWoche 2: Zufallsvariablen
Woche 2: Zufallsvariablen Patric Müller ETHZ WBL 19/21, 29.04.2019 Wahrscheinlichkeit und Statistik Patric Müller WBL 2019 Teil III Zufallsvariablen Wahrscheinlichkeit
MehrInformation und Codierung
Richard W. Hamming Information und Codierung Technische Universität Darmstadt FACHBEREICH INFORMATIK BIBLIOTHEK Invantar-Nr.: Sachgebiete:. Standort: VCH Inhalt Vorwort zur 1. Auflage der Originalausgabe
MehrKapitel 9: Informationstheorie. 2. Entropie
ZHAW, NT, FS2008, Rumc, Kapitel 9: 2-1 Kapitel 9: Informationstheorie 2. Entropie Inhaltsverzeichnis 2.1. INFORATIONSQUELLEN...2 2.2. INFORATIONSGEHALT...3 2.3. INIALE ANZAHL BINÄRE FRAGEN...5 2.4. ENTROPIE
MehrUniversität Basel Wirtschaftswissenschaftliches Zentrum. Zufallsvariablen. Dr. Thomas Zehrt
Universität Basel Wirtschaftswissenschaftliches Zentrum Zufallsvariablen Dr. Thomas Zehrt Inhalt: 1. Einführung 2. Zufallsvariablen 3. Diskrete Zufallsvariablen 4. Stetige Zufallsvariablen 5. Erwartungswert
MehrBeispiel: Zeigen Sie, dass H(x) = H 0 = I gilt, wenn alle Zeichen gleichwahrscheinlich sind.
1 2 Im ersten Schritt werden wir uns mit dem Begriff und der Definition der Information beschäftigen. Ferner werden die notwendigen math. Grundlagen zur Quellencodierung gelegt. Behandelt werden Huffman,
MehrProblem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert.
Anwendungen von Bäumen 4.3.2 Huffman Code Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. => nutzbar für Kompression Code fester
MehrDiscrete Probability - Übung
F H Z > F A C H H O C H S C H U L E Z E N T R A L S C H W E I Z H T A > H O C H S C H U L E F Ü R T E C H N I K + A R C H I T E K T U R L U Z E R N A b t e i l u n g I n f o r m a t i k Discrete Probability
MehrKlausur zur Vorlesung Informationstheorie
INSTITUT FÜR THEORETISCHE NACHRICHTENTECHNIK UND INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 07 Hannover Klausur zur Vorlesung Informationstheorie Datum: 0.0.00 Uhrzeit: 09:00 Uhr Zeitdauer:
MehrBeweis: Annahme: T (n) c n, wobei c = c(m) konstant ist. Die Annahme ist ok, falls T (n)
Beweis: Annahme: T (n) c n, wobei c = c(m) konstant ist. Die Annahme ist ok, falls T (n) ( ( ) n 3 T + T m ) 4 n n 3 c + m 4 n c + n n + C m + cn; dies gilt, falls m 2 n m C m + n 2 (bis auf, ) c m + 3
MehrOrganisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele
Organisation Was kommt zum Test? Buch Informatik Grundlagen bis inkl Kapitel 74 Wissensfragen und Rechenbeispiele 3 Vorträge zur Übung Informationstheorie, Huffman-Codierung und trennzeichenfreie Codierung
MehrAnhang II zur Vorlesung Kryptologie: Entropie
Anhang II zur Vorlesung Kryptologie: Entropie von Peter Hellekalek Fakultät für Mathematik, Universität Wien, und Fachbereich Mathematik, Universität Salzburg Tel: +43-(0)662-8044-5310 Fax: +43-(0)662-8044-137
MehrWoche 2: Zufallsvariablen
Woche 2: Zufallsvariablen Patric Müller ETHZ WBL 17/19, 24.04.2017 Wahrscheinlichkeit und Statistik Patric Müller WBL 2017 Teil III Zufallsvariablen Wahrscheinlichkeit
MehrVorlesung 14. Gemeinsame Entropie und bedingte Entropie
Vorlesung 14 Gemeinsame Entropie und bedingte Entropie 1 Wir betrachten ein zufälliges Paar (X,Y) mit Verteilungsgewichten ρ(a,b) Die Entropie von (X,Y) (auch gemeinsame Entropie von X und Y genannt) ist
MehrAlgorithmen und Datenstrukturen (für ET/IT)
Algorithmen und Datenstrukturen (für ET/IT) Wintersemester 2012/13 Dr. Tobias Lasser Computer Aided Medical Procedures Technische Universität München Informationen zur Klausur Termin: 21. Februar 2013,
MehrHuffman-Kodierung. Fachbereich Medieninformatik. Hochschule Harz. Huffman-Kodierung. Referat. Henner Wöhler. Abgabe:
Fachbereich Medieninformatik Hochschule Harz Huffman-Kodierung Referat Henner Wöhler 11459 Abgabe: 15.01.2007 Inhaltsverzeichnis Einleitung...I 1. Entropiekodierung...1 1.1 Morse Code...2 1.2 Shannon-Fano-Kodierung...3
MehrKlausur Informatik-Propädeutikum (Niedermeier/Hartung/Nichterlein, Wintersemester 2012/13)
Berlin, 21. Februar 2013 Name:... Matr.-Nr.:... Klausur Informatik-Propädeutikum (Niedermeier/Hartung/Nichterlein, Wintersemester 2012/13) 1 2 3 4 5 6 7 8 9 Σ Bearbeitungszeit: 90 min. max. Punktezahl:
MehrEinführung Proseminar Datenkompression Wintersemester 2017/2018
Einführung Proseminar Datenkompression Wintersemester 2017/2018 Dr. Ralf Schlüter Lehrstuhl für Informatik 6 RWTH Aachen 52056 Aachen mailto:schlueter@cs.rwth-aachen.de R. Schlüter: Proseminar Datenkompression
MehrStochastische Lernalgorithmen
Stochastische Lernalgorithmen Gerhard Jäger 14. Mai 2003 Das Maximum-Entropy-Prinzip Der Entropiebegriff Entropie: Chaos, Unordung, Nicht-Vorhersagbarkeit,... Begriff kommt ursprünglich aus der Physik:
MehrMusterlösung: 11. Dezember 2014, 10:43. Informationstheorie und Entropiekodierung
Audiotechnik II Digitale Audiotechnik: 8. Übung Prof. Dr. Stefan Weinzierl 11.12.2014 Musterlösung: 11. Dezember 2014, 10:43 Informationstheorie und Entropiekodierung Bei der Entropiekodierung werden die
MehrTheoretische Biophysik - Statistische Physik
Theoretische Biophysik - Statistische Physik 14. Vorlesung Pawel Romanczuk Wintersemester 2018 http://lab.romanczuk.de/teaching/ 1 Zusammenfassung letzte VL Aktive Brownsche Bewegung Effektive Diffusion
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Informationstheorie INSTITUT FÜR THEORETISCHE KIT 8.2.22 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der Informatik INSTITUT
Mehr15 Optimales Kodieren
15 Optimales Kodieren Es soll ein optimaler Kodierer C(T ) entworfen werden, welcher eine Information (z.b. Text T ) mit möglichst geringer Bitanzahl eindeutig überträgt. Die Anforderungen an den optimalen
MehrChaosSeminar - Informationstheorie
Alexander.Bernauer@ulm.ccc.de Stephanie.Wist@ulm.ccc.de 18. November 2005 Motivation schnelle Übertragung von Daten über gestörten Kanal Shannon48 Was ist Information? Information ist Abnahme von Unsicherheit
MehrWir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir
Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zuallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Inormation steht
Mehr