12. Übung TGI. (mit Teil 2 der 11. Übung) Lorenz Hübschle-Schneider, Tobias Maier INSTITUT FÜR THEORETISCHE INFORMATIK, PROF.
|
|
- Nelly Sommer
- vor 5 Jahren
- Abrufe
Transkript
1 12. Übung TGI (mit Teil 2 der 11. Übung) Lorenz Hübschle-Schneider, Tobias Maier INSTITUT FÜR THEORETISCHE INFORMATIK, PROF. SANDERS 1 Lorenz Hübschle-Schneider, Tobias Maier KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft Institut für Theoretische Informatik
2 Gedächtnislose Quellen Gibt Zeichen aus einem Alphabet Σ = {a 1,..., a n } aus Zeichen a i wird mit fixer Wahrscheinlichkeit p i erzeugt, n p i = 1 Zeichen werden unabhängig erzeugt: Die Wahrscheinlichkeit, a i zu bekommen, hängt nicht von den vorher erzeugten Zeichen ab 2 Lorenz Hübschle-Schneider, Tobias Maier
3 Gedächtnislose Quellen Gibt Zeichen aus einem Alphabet Σ = {a 1,..., a n } aus Zeichen a i wird mit fixer Wahrscheinlichkeit p i erzeugt, n p i = 1 Zeichen werden unabhängig erzeugt: Die Wahrscheinlichkeit, a i zu bekommen, hängt nicht von den vorher erzeugten Zeichen ab Aus Shannons berühmtem Quellencodierungstheorem folgt: Die bestmögliche Kompression der Ausgabe einer gedächtnislosen Quelle wird erreicht, wenn Zeichen a i mit log 2 (1/p i ) Bits codiert wird. 2 Lorenz Hübschle-Schneider, Tobias Maier
4 Gedächtnislose Quellen Gibt Zeichen aus einem Alphabet Σ = {a 1,..., a n } aus Zeichen a i wird mit fixer Wahrscheinlichkeit p i erzeugt, n p i = 1 Zeichen werden unabhängig erzeugt: Die Wahrscheinlichkeit, a i zu bekommen, hängt nicht von den vorher erzeugten Zeichen ab Aus Shannons berühmtem Quellencodierungstheorem folgt: Die bestmögliche Kompression der Ausgabe einer gedächtnislosen Quelle wird erreicht, wenn Zeichen a i mit log 2 (1/p i ) Bits codiert wird. Darum können wir nicht hoffen, die Ausgabe einer gedächtnislosen Quelle S im Schnitt mit weniger Bits pro Zeichen zu codieren als H(S) = p i log 2 (1/p i ) = p i log 2 p i 2 Lorenz Hübschle-Schneider, Tobias Maier
5 Gedächtnislose Quellen Gibt Zeichen aus einem Alphabet Σ = {a 1,..., a n } aus Zeichen a i wird mit fixer Wahrscheinlichkeit p i erzeugt, n p i = 1 Zeichen werden unabhängig erzeugt: Die Wahrscheinlichkeit, a i zu bekommen, hängt nicht von den vorher erzeugten Zeichen ab Aus Shannons berühmtem Quellencodierungstheorem folgt: Die bestmögliche Kompression der Ausgabe einer gedächtnislosen Quelle wird erreicht, wenn Zeichen a i mit log 2 (1/p i ) Bits codiert wird. Darum können wir nicht hoffen, die Ausgabe einer gedächtnislosen Quelle S im Schnitt mit weniger Bits pro Zeichen zu codieren als H(S) = p i log 2 (1/p i ) = p i log 2 p i H(S) heißt auch die Entropie der Quelle. 2 Lorenz Hübschle-Schneider, Tobias Maier
6 Entropiemaximierung Entropie ist maximal, wenn p 1 =... = p n = 1/n (alle gleich häufig). Dann ist die Entropie H 0 = log 2 n bit Beweis: Seien P, Q gedächtnislose Quellen mit je n Zeichen, Wahrscheinlichkeiten p i bzw q i. Abschätzung: ln x x ln x x Lorenz Hübschle-Schneider, Tobias Maier
7 Entropiemaximierung Entropie ist maximal, wenn p 1 =... = p n = 1/n (alle gleich häufig). Dann ist die Entropie H 0 = log 2 n bit Beweis: Seien P, Q gedächtnislose Quellen mit je n Zeichen, Wahrscheinlichkeiten p i bzw q i. Abschätzung: ln x x 1 ln q i ln p i = ln q i p i q 1 p 1 1. Multipliziere mit p i und summiere über i: p i (ln q i ln p i ) ( ) qi p i 1 p i 3 Lorenz Hübschle-Schneider, Tobias Maier
8 Entropiemaximierung Entropie ist maximal, wenn p 1 =... = p n = 1/n (alle gleich häufig). Dann ist die Entropie H 0 = log 2 n bit Beweis: Seien P, Q gedächtnislose Quellen mit je n Zeichen, Wahrscheinlichkeiten p i bzw q i. Abschätzung: ln x x 1 ln q i ln p i = ln q i p i q 1 p 1 1. Multipliziere mit p i und summiere über i: p i (ln q i ln p i ) p i ln p i + p i ln q i ( ) qi p i 1 p i q i q i = 0 3 Lorenz Hübschle-Schneider, Tobias Maier
9 Entropiemaximierung Entropie ist maximal, wenn p 1 =... = p n = 1/n (alle gleich häufig). Dann ist die Entropie H 0 = log 2 n bit Beweis: Seien P, Q gedächtnislose Quellen mit je n Zeichen, Wahrscheinlichkeiten p i bzw q i. Abschätzung: ln x x 1 ln q i ln p i = ln q i p i q 1 p 1 1. Multipliziere mit p i und summiere über i: p i (ln q i ln p i ) p i ln p i + p i ln p i p i ln q i p i ln q i ( ) qi p i 1 p i q i q i = 0 3 Lorenz Hübschle-Schneider, Tobias Maier
10 Entropiemaximierung Entropie ist maximal, wenn p 1 =... = p n = 1/n (alle gleich häufig). Dann ist die Entropie H 0 = log 2 n bit Beweis: Seien P, Q gedächtnislose Quellen mit je n Zeichen, Wahrscheinlichkeiten p i bzw q i. Abschätzung: ln x x 1 p i ln p i p i ln q i Annahme: Alle Zeichen von Q sind gleich wahrscheinlich: q i = 1/n 3 Lorenz Hübschle-Schneider, Tobias Maier
11 Entropiemaximierung Entropie ist maximal, wenn p 1 =... = p n = 1/n (alle gleich häufig). Dann ist die Entropie H 0 = log 2 n bit Beweis: Seien P, Q gedächtnislose Quellen mit je n Zeichen, Wahrscheinlichkeiten p i bzw q i. Abschätzung: ln x x 1 p i ln p i p i ln q i Annahme: Alle Zeichen von Q sind gleich wahrscheinlich: q i = 1/n p i ln p i p i ln 1 n = ln n p i = ln n 3 Lorenz Hübschle-Schneider, Tobias Maier
12 Entropiemaximierung Entropie ist maximal, wenn p 1 =... = p n = 1/n (alle gleich häufig). Dann ist die Entropie H 0 = log 2 n bit Beweis: Seien P, Q gedächtnislose Quellen mit je n Zeichen, Wahrscheinlichkeiten p i bzw q i. Abschätzung: ln x x 1 p i ln p i p i ln q i Annahme: Alle Zeichen von Q sind gleich wahrscheinlich: q i = 1/n p i ln p i p i ln 1 n = ln n p i = ln n Dividiere durch ln 2 und wir erhalten H(P) log 2 n. Der Maximalwert wird bei gleich wahrscheinlichen Zeichen erreicht. 3 Lorenz Hübschle-Schneider, Tobias Maier
13 Decodierbarkeit Gegeben ein Code C der Zeichen a i mit l i Bits codiert. Ist C eindeutig decodierbar? Beispiel: Codiere a mit 0, b mit 10, c mit 110 und d mit Lorenz Hübschle-Schneider, Tobias Maier
14 Decodierbarkeit Gegeben ein Code C der Zeichen a i mit l i Bits codiert. Ist C eindeutig decodierbar? Beispiel: Codiere a mit 0, b mit 10, c mit 110 und d mit 101. Dieser Code ist nicht eindeutig: kann abc oder adb sein. Kraft-McMillan-Ungleichung Für jeden eindeutig decodierbaren Binärcode gilt n 2 l i 1 4 Lorenz Hübschle-Schneider, Tobias Maier
15 Decodierbarkeit Gegeben ein Code C der Zeichen a i mit l i Bits codiert. Ist C eindeutig decodierbar? Beispiel: Codiere a mit 0, b mit 10, c mit 110 und d mit 101. Dieser Code ist nicht eindeutig: kann abc oder adb sein. Kraft-McMillan-Ungleichung Für jeden eindeutig decodierbaren Binärcode gilt n 2 l i 1 Im Beispiel: = 1. Die Kraft-McMillan-Ungleichung ist eine Implikation, keine Äquivalenz! Beobachtung: Präfixfreie Codes sind immer eindeutig decodierbar. Auch das ist eine Implikation und keine Äquivalenz. 4 Lorenz Hübschle-Schneider, Tobias Maier
16 Theoretische Grenzen der Kompression Wie weit lässt sich ein Wort komprimieren? Entropie hat klare theoretische Grenzen (gedächtnislos) 5 Lorenz Hübschle-Schneider, Tobias Maier
17 Theoretische Grenzen der Kompression Wie weit lässt sich ein Wort komprimieren? Entropie hat klare theoretische Grenzen (gedächtnislos) Betrachte zum Beispiel das Wort w = ababab... ab (n mal) Entropie jedes Zeichens ist 1 5 Lorenz Hübschle-Schneider, Tobias Maier
18 Theoretische Grenzen der Kompression Wie weit lässt sich ein Wort komprimieren? Entropie hat klare theoretische Grenzen (gedächtnislos) Betrachte zum Beispiel das Wort w = ababab... ab (n mal) Entropie jedes Zeichens ist 1 Intuitiv braucht w nur log n + k Speicher 5 Lorenz Hübschle-Schneider, Tobias Maier
19 Theoretische Grenzen der Kompression Wie lässt sich eine Kompression Definieren? ( M, in) heißt Beschreibung von w w ist Ausgabe von TM M wenn sie auf in startet. Die kürzeste Beschreibung von w (K (w)) heißt Kolmogorov Komplexität. K (w) = min B beschreibt w B 6 Lorenz Hübschle-Schneider, Tobias Maier
20 Fakten zur Kolmogorov Komplexität Die Kolmogorov Komplexität ist unberechenbar! Probieren aller Beschreibungen scheitert am Halteproblem Triviale obere Schranke K (w) w Es gibt unkomprimierbare Wörter jeder Länge n ( w w = n K (w) n): Annahme w w = n K (w) < n Abzählbarkeitsargument Σ n Wörter der Länge k oder kleiner, aber nur Σ n 1 kürzere Beschreibungen 7 Lorenz Hübschle-Schneider, Tobias Maier
21 Einige Beispiele für obere Schranken K ((ab) n ) log(n) + k K (erste n Stellen von π) log(n) + k K (a ) ( busy beaver 6, ε) 8 Lorenz Hübschle-Schneider, Tobias Maier
3. Woche Information, Entropie. 3. Woche: Information, Entropie 45/ 238
3 Woche Information, Entropie 3 Woche: Information, Entropie 45/ 238 Informationsgehalt einer Nachricht Intuitiv: Je kleiner die Quellws, desto wichtiger oder strukturierter die Information, bzw höher
Mehr7. Übung TGI. Lorenz Hübschle-Schneider, Tobias Maier INSTITUT FÜR THEORETISCHE INFORMATIK, PROF. SANDERS. 1 Lorenz Hübschle-Schneider, Tobias Maier
7. Übung TGI Lorenz Hübschle-Schneider, Tobias Maier INSTITUT FÜR THEORETISCHE INFORMATIK, PROF. SANDERS 1 Lorenz Hübschle-Schneider, Tobias Maier KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft
MehrTGI-Übung Dirk Achenbach
TGI-Übung 7 06.02.2014 Dirk Achenbach INSTITUT FÜR THEORETISCHE INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Agenda
MehrKapitel 7: Optimalcodierung und Huffman Coding
Kapitel 7: codierung und Huffman Coding Ziele des Kapitels Auftreten von Fehlern bei zu starker Kompression Konstruktion optimaler Codes Huffman Coding 2 Bisher Theorem (Shannon I): Die mittlere Codewortlänge
MehrDefinition Information I(p)
Definition Information I(p) Definition I(p) Die Information I(p) eines Symbols mit Quellws p > 0 ist definiert als I(p) = log 1 p. Die Einheit der Information bezeichnet man als Bit. DiMa II - Vorlesung
MehrDefinition Information I(p)
Definition Information I(p) Definition I(p) Die Information I(p) eines Symbols mit Quellws p > 0 beträgt I(p) = log 1 p. Die Einheit der Information bezeichnet man als Bit. DiMa II - Vorlesung 03-05.05.2009
MehrInformationsgehalt einer Nachricht
Informationsgehalt einer Nachricht Betrachten folgendes Spiel Gegeben: Quelle Q mit unbekannten Symbolen {a 1, a 2 } und p 1 = 0.9, p 2 = 0.1. Zwei Spieler erhalten rundenweise je ein Symbol. Gewinner
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Vorlesung am 17.November 2011 INSTITUT FÜR THEORETISCHE 0 KIT 17.11.2011 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der
Mehr3 Codierung diskreter Quellen. Quelle Quellcodierer Kanalcodierer reduziert die benötigte Datenmenge. fügt Daten zur Fehlerkorrektur ein.
3 Codierung diskreter Quellen 3 Einführung 32 Ungleichmäßige Codierung 33 Präfix-Codes 34 Grenzen der Code-Effizienz 35 Optimal-Codierung 3 Zusammenfassung < 24 / 228 > 3 Codierung diskreter Quellen Quelle
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Übung 8 Dirk Achenbach 7. Februar 2013 I NSTITUT FÜR K RYPTOGRAPHIE UND S ICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrEffiziente Algorithmen und Komplexitätstheorie
Fakultät für Informatik Lehrstuhl 2 Vorlesung Effiziente Algorithmen und Komplexitätstheorie Sommersemester 2008 Ingo Wegener; Vertretung: Carsten Witt 7. Juli 2008 Vorlesung am 14.07. (nächste Woche):
MehrSeminar Kolmogorovkomplexität. Universität Potsdam Wintersemester 2009/10
Universität Potsdam Wintersemester 2009/10 Kolmogorovkomplexität Kolmogorovkomplexität (auch Algorithmische Komplexität ) ist der zentrale Begriff der Algorithmischen Informationstheorie (AIT). Kombiniert
MehrVorlesung 13b. Relative Entropie
Vorlesung 13b Relative Entropie 1 S sei eine abzählbare Menge (ein Alphabet ). 2 S sei eine abzählbare Menge (ein Alphabet ). Die Elemente von S nennen wir Buchstaben. S sei eine abzählbare Menge (ein
MehrGrundbegriffe der Informatik Tutorium 3
Grundbegriffe der Informatik Tutorium 3 Tutorium Nr. 16 Philipp Oppermann 18. November 2014 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Vorlesung am 18. Januar 2018 INSTITUT FÜR THEORETISCHE 0 18.01.2018 Dorothea Wagner - Theoretische Grundlagen der Informatik INSTITUT FÜR THEORETISCHE KIT Die Forschungsuniversität
MehrEntropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b.
Entropie Grundlegend für das Verständnis des Begriffes der Komprimierung ist der Begriff der Entropie. In der Physik ist die Entropie ein Maß für die Unordnung eines Systems. In der Informationstheorie
MehrTheoretische Grundlagen der Informatik. Vorlesung am 31. Januar INSTITUT FÜR THEORETISCHE INFORMATIK
Theoretische Grundlagen der Informatik 3..29 Torsten Ueckerdt - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu Thema dieses Kapitels Informationstheorie
MehrInformatik II, SS 2018
Informatik II - SS 28 (Algorithmen & Datenstrukturen) Vorlesung 22 (6.7.28) Greedy Algorithmen II (Datenkompression) Algorithmen und Komplexität Datenkompression Reduziert Größen von Files Viele Verfahren
MehrKompression. Tim Kilian
Kompression Tim Kilian Seminar Effiziente Programmierung Arbeitsbereich Wissenschaftliches Rechnen Fachbereich Informatik Fakultät für Mathematik, Informatik und Naturwissenschaften Universität Hamburg
MehrSeminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung
Huffman-Codierung, arithmetische Codierung Theoretische Informatik RWTH-Aachen 4. April 2012 Übersicht 1 Einführung 2 3 4 5 6 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft
MehrSeite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines
Seite 1 Georg-August-Universität Göttingen Robert Schaback Zum Begriff der Information in Mathematik und Informatik Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A)
MehrGrundbegriffe der Informatik Tutorium 5
Grundbegriffe der Informatik Tutorium 5 Tutorium Nr. 32 Philipp Oppermann 13. Januar 2015 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrWir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir
Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht
Mehr2.7 Der Shannon-Fano-Elias Code
2.7 Der Shannon-Fano-Elias Code Die Huffman-Codierung ist ein asymptotisch optimales Verfahren. Wir haben auch gesehen, dass sich die Huffman-Codierung gut berechnen und dann auch gut decodieren lassen.
MehrMusterlösung zur Hauptklausur Theoretische Grundlagen der Informatik Wintersemester 2013/14
Institut für Theoretische Informatik Prof. Dr. Jörn Müller-Quade Musterlösung zur Hauptklausur Theoretische Grundlagen der Informatik Wintersemester 23/4 Vorname Nachname Matrikelnummer Hinweise Für die
MehrKodierung und Sicherheit
Skript zur Vorlesung: Kodierung und Sicherheit 0000 00000 000 0000 0000 000 00 000 Wintersemester 2004-2005 Dr. Andreas Jakoby Institut für Theoretische Informatik Universität zu Lübeck Inhaltsverzeichnis
MehrÜbung 13: Quellencodierung
ZHAW, NTM, FS2008, Rumc, /5 Übung 3: Quellencodierung Aufgabe : Huffmann-Algorithmus. Betrachten Sie die folgende ternäre, gedächtnislose Quelle mit dem Symbolalphabet A = {A,B,C} und den Symbol-Wahrscheinlichkeiten
MehrGrundbegriffe der Informatik Tutorium 11
Grundbegriffe der Informatik Tutorium 11 Tutorium Nr. 32 Philipp Oppermann 29. Januar 2014 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrVorlesung 12. Quellencodieren und Entropie
Vorlesung 12 Quellencodieren und Entropie 1 S sei eine abzählbare Menge (ein Alphabet ). Die Elemente von S nennen wir Buchstaben. Wir wollen die Buchstaben a, b,... durch (möglichst kurze) 01-Folgen k(a),
MehrVorlesung 15a. Quellencodieren und Entropie
Vorlesung 15a Quellencodieren und Entropie 1 1. Volle Binärbäume als gerichtete Graphen und die gewöhnliche Irrfahrt von der Wurzel zu den Blättern 2 3 ein (nicht voller) Binärbaum Merkmale eines Binärbaumes:
MehrEinführung in die Informatik II Aus der Informationstheorie: Datenkompression
Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Prof. Bernd Brügge, Ph.D Institut für Informatik Technische Universität München Sommersemester 2 2. Juli 2 Copyright 2 Bernd
MehrTheoretische Grundlagen der Informatik. Vorlesung am 16. November INSTITUT FÜR THEORETISCHE INFORMATIK
Theoretische Grundlagen der Informatik 0 16.11.2017 Dorothea Wagner - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu KIT-Gedenkfeier für
MehrKlausur zur Vorlesung Informationstheorie
INSTITUT FÜR INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 0167 Hannover Klausur zur Vorlesung Informationstheorie Datum:.02.2006 Uhrzeit: 9:00 Uhr Zeitdauer: 2 Stunden Hilfsmittel: ausgeteilte
MehrBeispiel: Zeigen Sie, dass H(x) = H 0 = I gilt, wenn alle Zeichen gleichwahrscheinlich sind.
1 2 Im ersten Schritt werden wir uns mit dem Begriff und der Definition der Information beschäftigen. Ferner werden die notwendigen math. Grundlagen zur Quellencodierung gelegt. Behandelt werden Huffman,
MehrVorlesung Theoretische Grundlagen
Vorlesung Theoretische Grundlagen Fehlerkorrigierende Jörn Müller-Quade 4. Februar 2010 INSTITUT FÜR KRYPTOGRAPHIE UND SICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrTheoretische Grundlagen der Informatik. Vorlesung am 7. Februar INSTITUT FÜR THEORETISCHE INFORMATIK
Theoretische Grundlagen der Informatik 0 07.02.2019 Torsten Ueckerdt - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu Werbung Vorlesung Algorithmen
MehrInformations- und Codierungstheorie (Informationstheorie) Vorlesungsunterlagen
J O H A N N E S K E P L E R U N I V E R S I T Ä T L I N Z N e t z w e r k f ü r F o r s c h u n g, L e h r e u n d P r a x i s Informations- und Codierungstheorie (Informationstheorie) Vorlesungsunterlagen
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Vorlesung am 20. November 2014 INSTITUT FÜR THEORETISCHE 0 KIT 20.11.2014 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der
MehrTheoretische Grundlagen der Informatik. Vorlesung am 02. November INSTITUT FÜR THEORETISCHE INFORMATIK
Theoretische Grundlagen der Informatik Vorlesung am 2. November 27 2..27 Dorothea Wagner - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Vorlesung am 2. November 27 Helmholtz-Gemeinschaft
MehrAlgorithmen I - Tutorium 28 Nr. 2
Algorithmen I - Tutorium 28 Nr. 2 11.05.2017: Spaß mit Invarianten (die Zweite), Rekurrenzen / Mastertheorem und Merging Marc Leinweber marc.leinweber@student.kit.edu INSTITUT FÜR THEORETISCHE INFORMATIK
Mehri Der Informatinonsgehalt ist also intuitiv umgekehrt proportional der Auftritswahrscheimlichkeit.
1 2 Im ersten Schritt werden wir uns mit dem Begriff und der Definition der Information beschäftigen. Ferner werden die notwendigen math. Grundlagen zur Quellencodierung gelegt. Behandelt werden Huffman,
MehrKapitel 9: Informationstheorie. 2. Entropie
ZHAW, NT, FS2008, Rumc, Kapitel 9: 2-1 Kapitel 9: Informationstheorie 2. Entropie Inhaltsverzeichnis 2.1. INFORATIONSQUELLEN...2 2.2. INFORATIONSGEHALT...3 2.3. INIALE ANZAHL BINÄRE FRAGEN...5 2.4. ENTROPIE
Mehr2. Tag. Teil II. 1.5 Interpretation der Grenzwertregeln
Teil II 2. Tag Die bisherige Darstellung war zwar weitgehend intuitiv, ist aber für Beweise über Komplexitätsaussagen nur bedingt geeignet. 1.5 Interpretation der Grenzwertregeln Für die Funktionen f,g
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Vorlesung am 7. Dezember 2017 INSTITUT FÜR THEORETISCHE 0 07.12.2017 Dorothea Wagner - Theoretische Grundlagen der Informatik INSTITUT FÜR THEORETISCHE KIT Die Forschungsuniversität
MehrInformatik II, SS 2016
Informatik II - SS 2016 (Algorithmen & Datenstrukturen) Vorlesung 22 (20.7.2016) Greedy Algorithmen - Datenkompression Algorithmen und Komplexität Greedy Algorithmen Greedy Algorithmen sind eine Algorithmenmethode,
MehrTheoretische Grundlagen der Informatik. Vorlesung am 8. Januar INSTITUT FÜR THEORETISCHE INFORMATIK
Theoretische Grundlagen der Informatik 0 08.01.2019 Torsten Ueckerdt - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu Letzte Vorlesung Eine
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik 0 KIT 17.05.2010 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der Informatik nationales Forschungszentrum Vorlesung in am
MehrAlgorithmische Methoden zur Netzwerkanalyse
Algorithmische Methoden zur Netzwerkanalyse Juniorprof. Dr. Henning Meyerhenke Institut für Theoretische Informatik 1 KIT Henning Universität desmeyerhenke, Landes Baden-Württemberg Institutund für Theoretische
MehrLösungsvorschläge zu Blatt Nr. 13
Institut für Algorithmen und Kognitive Systeme Dr. Jörn Müller-Quade Carmen Kempka Christian Henrich Nico Döttling Vorlesung Informatik III Lösungsvorschläge zu Blatt Nr. Aufgabe (K ( Punkte Gegeben ist
MehrGrundbegriffe der Informatik Tutorium 13
Grundbegriffe der Informatik Tutorium 13 Tutorium Nr. 32 Philipp Oppermann 12. Februar 2014 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
Mehr21. Dynamic Programming III
Approximation 21. Dynamic Programming III FPTAS [Ottman/Widmayer, Kap. 7.2, 7.3, Cormen et al, Kap. 15,35.5] Sei ein ε (, 1) gegeben. Sei I eine bestmögliche Auswahl. Suchen eine gültige Auswahl I mit
MehrNachklausur zur Vorlesung Theoretische Grundlagen der Informatik Wintersemester 2013/14
Institut für Theoretische Informatik Prof. Dr. Jörn Müller-Quade Nachklausur zur Vorlesung Theoretische Grundlagen der Informatik Wintersemester 2013/14 Vorname Nachname Matrikelnummer Hinweise Für die
MehrReferat zum Thema Huffman-Codes
Referat zum Thema Huffman-Codes Darko Ostricki Yüksel Kahraman 05.02.2004 1 Huffman-Codes Huffman-Codes ( David A. Huffman, 1951) sind Präfix-Codes und das beste - optimale - Verfahren für die Codierung
MehrInformation nachher = Unsicherheit vorher.
1 Entropie Wir machen folgendes Gedankenexperiment. Gegeben ist die Menge X = {x 1,...,x n } von Ausgängen eines Experimentes mit den Wahrscheinlichkeiten p(x i )=p i. H(X) =H(p 1,...,p n ) ist das Informationsmaß,
Mehr1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes
1 Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche: Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 5/ 44 Unser Modell Shannon
MehrVorlesung Theoretische Grundlagen Fehlerkorrigierende Codes Jörn Müller-Quade 29. Januar 2013
Vorlesung Theoretische Grundlagen Fehlerkorrigierende Jörn Müller-Quade 29. Januar 2013 I NSTITUT FÜR K RYPTOGRAPHIE UND S ICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
Mehr2. Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung
2 Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 2 Woche: Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 24/ 44 Zwei Beispiele a 0
MehrHeute. Medium Access Control / Färbungen, Teil 2. Kapazität & Scheduling. kurze Wiederholung Schöner verteilter Färbungsalgorithmus
Heute Medium Access Control / Färbungen, Teil kurze Wiederholung Schöner verteilter Färbungsalgorithmus Kapazität & Scheduling Interferenz etwas realistischer neue Probleme und Herangehensweisen VL 0 Eine
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Informationstheorie Vorlesungen vom 30. Januar und 1. Februar 2018 INSTITUT FÜR THEORETISCHE 0 30.01.2018 Dorothea Wagner - Theoretische Grundlagen der Informatik
MehrBerechenbarkeitstheorie 19. Vorlesung
1 Berechenbarkeitstheorie Dr. Institut für Mathematische Logik und Grundlagenforschung WWU Münster WS 15/16 Alle Folien unter Creative Commons Attribution-NonCommercial 3.0 Unported Lizenz. Erinnerung:
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Informationstheorie INSTITUT FÜR THEORETISCHE KIT 8.2.22 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der Informatik INSTITUT
MehrDynamisches Huffman-Verfahren
Dynamisches Huffman-Verfahren - Adaptive Huffman Coding - von Michael Brückner 1. Einleitung 2. Der Huffman-Algorithmus 3. Übergang zu einem dynamischen Verfahren 4. Der FGK-Algorithmus 5. Überblick über
MehrAlgorithmen für Planare Graphen
Algorithmen für Planare Graphen 12. Juni 2018, Übung 4 Lars Gottesbüren, Michael Hamann INSTITUT FÜR THEORETISCHE INFORMATIK KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu Prüfungstermine
MehrRLE Arithm. Shannon Fano Huffman Grenzen. Komprimierung. Ingo Blechschmidt, Michael Hartmann. 6. Dezember 2006
RLE Arithm. Shannon Fano Huffman Grenzen Ingo Blechschmidt, Michael Hartmann 6. Dezember 2006 RLE Arithm. Shannon Fano Huffman Grenzen Inhalt 1 Lauflängenkodierung 2 Arithmetische Kodierung 3 Shannon Fano-Kodierung
MehrTheoretische Biologie
Theoretische Biologie Prof. Computational EvoDevo, University of Leipzig SS 2018 Theoretische Biologie Axiom eine Aussage oder Grundsatz einer Theorie oder eines axiomatischen Systems, der innerhalb dieses
MehrDigitale Medien. Übung
Digitale Medien Übung Übungsbetrieb Informationen zu den Übungen: http://www.medien.ifi.lmu.de/dm Zwei Stunden pro Woche Praktische Anwendungen des theoretischen Vorlesungsstoffs Wichtige Voraussetzung
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Vorlesung am 16.11.2010 INSTITUT FÜR THEORETISCHE INFORMATIK 0 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft
MehrAlgorithmische Methoden zur Netzwerkanalyse
Algorithmische Methoden zur Netzwerkanalyse Prof. Dr. Henning Meyerhenke Institut für Theoretische Informatik 1 KIT Henning Universität desmeyerhenke, Landes Baden-Württemberg Institutund für Theoretische
MehrAlgorithmen und Datenstrukturen SS09. Foliensatz 15. Michael Brinkmeier. Technische Universität Ilmenau Institut für Theoretische Informatik
Foliensatz 15 Michael Brinkmeier Technische Universität Ilmenau Institut für Theoretische Informatik Sommersemester 2009 TU Ilmenau Seite 1 / 16 Untere Schranken für das Vergleichsbasierte Sortieren TU
MehrGrundbegriffe der Informatik Tutorium 33
Tutorium 33 02.02.2017 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Gliederung 1 2 3 Ein ist ein Tupel A = (Z, z 0, X, f, Y, h)
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Vorlesung am 23. November 2017 INSTITUT FÜR THEORETISCHE 0 23.11.2017 Dorothea Wagner - Theoretische Grundlagen der Informatik INSTITUT FÜR THEORETISCHE KIT Die Forschungsuniversität
MehrProbeklausur zur Vorlesung Grundbegrie der Informatik 22. Januar 2016
Probeklausur zur Vorlesung Grundbegrie der Informatik 22. Januar 26 Hinweis: Diese Probeklausur wurde von Tutoren erstellt. Die An-/Abwesenheit bestimmter Aufgabentypen oder auch deren Schwierigkeit in
Mehr6 Ü B E R S E T Z U N G E N U N D C O D I E R U N G E N. 6.1 von wörtern zu zahlen und zurück Dezimaldarstellung von Zahlen Num 10
6 Ü B E R S E T Z U N G E N U N D C O D I E R U N G E N 6.1 von wörtern zu zahlen und zurück 6.1.1 Dezimaldarstellung von Zahlen Num 10 Num10(ε) = 0 (6.1) für jedes w Z 10 für jedes x Z 10 Num 10 (wx)
MehrMolekulare Bioinformatik
Molekulare Bioinformatik Wintersemester 203/204 Prof. Thomas Martinetz Institut für Neuro- und Bioinformatik Universität zu Luebeck 07.0.204 Molekulare Bioinformatik - Vorlesung 0 Wiederhohlung Die Entropie
MehrAufgabe: Summe Punkte (max.): Punkte:
ZUNAME:... VORNAME:... MAT. NR.:... Prüfung 389.53 Musterlösung B Datenkommunikation Institute of Telecommunications TU-Wien 9..25 Bitte beachten Sie: Die Dauer dieser Klausur beträgt zwei Zeitstunden.
MehrAlgorithmen und Datenstrukturen (für ET/IT) Programm heute. Wintersemester 2012/13. Dr. Tobias Lasser. 7 Fortgeschrittene Datenstrukturen
Algorithmen und Datenstrukturen (für ET/IT) Wintersemester 202/3 Dr. Tobias Lasser Computer Aided Medical Procedures Technische Universität München Programm heute 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen
MehrKolmogoroffkomplexität Teil 3 Informationstheorie und Kodierung. Torsten Steinbrecher
Kolmogoroffkompleität Teil 3 Informationstheorie und Kodierung Torsten Steinbrecher Informationstheorie Information ist Δ Wahlfreiheit beim Sender Δ Unbestimmtheit beim Empfänger Information ist nicht
MehrDefinition der Kolmogorov-Komplexität I
Definition der Kolmogorov-Komplexität I Definition: Die Komplexität K A (x) eines Wortes x V + bezüglich des Algorithmus A ist die Länge der kürzesten Eingabe p {0, 1} + mit A(p) = x, d.h. in formalisierter
Mehr(Prüfungs-)Aufgaben zur Codierungstheorie
(Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1
MehrZufälligkeit und Komplexität
André Nies The University of Auckland Universität Bern, Dezember 2008 Überblick Wir wollen die Interaktionen von verstehen. Diese intuitiven Begriffe versucht man in der Philosophie exakt zu definieren.
MehrAlgorithmische Methoden zur Netzwerkanalyse
Algorithmische Methoden zur Netzwerkanalyse Prof. Dr. Henning Meyerhenke Institut für Theoretische Informatik 1 KIT Henning Die Forschungsuniversität Meyerhenke, in der Institut für Theoretische Informatik
MehrIdeen der Informatik Ein Rundgang durch die Komplexität [Was geht? Was geht schwer? Was geht gar nicht?]
Ideen der Informatik Ein Rundgang durch die Komplexität [Was geht? Was geht schwer? Was geht gar nicht?] Kurt Mehlhorn Adrian Neumann Folien von Kosta Panagiotou Plan für Heute Komplexitätsklassen P =
MehrINSTITUT FÜR THEORETISCHE INFORMATIK, PROF. SANDERS
Julian Arz, Timo Bingmann, Sebastian Schlag INSTITUT FÜR THEORETISCHE INFORMATIK, PROF. SANDERS 1 KIT Julian Universität Arz, des Timo LandesBingmann, Baden-Württemberg Sebastian und Schlag nationales
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Vorlesung am 17. Januar 2012 INSTITUT FÜR THEORETISCHE 0 KIT 18.01.2012 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der
MehrKlausur Informationstheorie und Codierung
Klausur Informationstheorie und Codierung WS 2013/2014 23.01.2014 Name: Vorname: Matr.Nr: Ich fühle mich gesundheitlich in der Lage, die Klausur zu schreiben Unterschrift: Aufgabe A1 A2 A3 Summe Max. Punkte
MehrTheoretische Biologie
Theoretische Biologie Prof. Computational EvoDevo, University of Leipzig SS 2017 Theoretische Biologie Inhalte Ziel: formale Darstellung biologischer Phänomene, erarbeiten von Theorien und erstellen von
MehrSignale und Codes Vorlesung 4
Signale und Codes Vorlesung 4 Nico Döttling December 6, 2013 1 / 18 2 / 18 Letztes Mal Allgemeine Hamming Codes als Beispiel linearer Codes Hamming Schranke: Obere Schranke für k bei gegebenem d bzw. für
MehrTutorium 23 Grundbegriffe der Informatik
Tutorium 23 Grundbegriffe der Informatik Tutor: Felix Stahlberg SOFTWARE DESIGN AND QUALITY GROUP Source: pixelio.de KIT The cooperation of Forschungszentrum Karlsruhe GmbH and Universität Karlsruhe (TH)
MehrÜbungsblatt Nr. 7. Lösungsvorschlag
Institut für Kryptographie und Sicherheit Prof. Dr. Jörn Müller-Quade Nico Döttling Dirk Achenbach Tobias Nilges Vorlesung Theoretische Grundlagen der Informatik Übungsblatt Nr. 7 svorschlag Aufgabe (K)
MehrGrundbegriffe der Informatik Tutorium 2
Grundbegriffe der Informatik Tutorium 2 Tutorium Nr. 16 Philipp Oppermann 9. November 2014 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrAlgorithmen II Vorlesung am
Algorithmen II Vorlesung am 17.01.013 Parametrisierte Algorithmen INSTITUT FÜR THEORETISCHE INFORMATIK PROF. DR. DOROTHEA WAGNER KIT Universität des Landes Baden-Württemberg und Algorithmen nationales
MehrTheoretische Grundlagen der Informatik. Vorlesung am 07. November INSTITUT FÜR THEORETISCHE INFORMATIK
Theoretische Grundlagen der Informatik 0 07.11.2017 Torsten Ueckerdt - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu Frage Frage: Ist der
MehrLösungsvorschlag 3. Übung Technische Grundlagen der Informatik II Sommersemester 2009
Fachgebiet Rechnerarchitektur Fachbereich Informatik Lösungsvorschlag 3. Übung Technische Grundlagen der Informatik II Sommersemester 2009 Aufgabe 3.1: Codierungen a) Vervollständigen Sie folge Tabelle,
MehrAlgorithmische Methoden zur Netzwerkanalyse Vorlesung 10, Henning Meyerhenke
Algorithmische Methoden zur Netzwerkanalyse Vorlesung 10, 11.01.2012 Henning Meyerhenke 1 KIT Henning Universität desmeyerhenke: Landes Baden-Württemberg und nationales Algorithmische Forschungszentrum
MehrDiskrete Mathematik II
Diskrete Mathematik II Roberto Avanzi (nach Alexander May) Fakultät für Mathematik Ruhr-Universität Bochum Sommersemester 2010 Organisatorisches 1/ 333 Organisatorisches Vorlesung: Mo 12-14 in HIA, Di
MehrAlgorithmische Methoden zur Netzwerkanalyse
Algorithmische Methoden zur Netzwerkanalyse Juniorprof. Dr. Henning Meyerhenke Institut für Theoretische Informatik 1 KIT Henning Universität desmeyerhenke, Landes Baden-Württemberg Institutund für Theoretische
Mehr