Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung"

Transkript

1 Huffman-Codierung, arithmetische Codierung Theoretische Informatik RWTH-Aachen 4. April 2012

2 Übersicht 1 Einführung

3 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft Ziel: effiziente Speicherung und Übertragung von Daten

4 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft Ziel: effiziente Speicherung und Übertragung von Daten Kompressionsalgorithmus Kompressionsalgo A = Kompressionsalgo A und Dekompressionsalgo A A (x) = y A (y) = z

5 Einführung Klassen von Kompressionsalgorithmen verlustfreie Kompressionsalgorithmen. Es gilt: z = x verlustbehaftete Kompressionsalgorithmen. Im Allgemeinen z x

6 Einführung Klassen von Kompressionsalgorithmen verlustfreie Kompressionsalgorithmen. Es gilt: z = x verlustbehaftete Kompressionsalgorithmen. Im Allgemeinen z x Gliederung des Kompressionsvorgangs Modellierung Codierung

7 Alphabet, Symbol, Sequenz A = {a 1, a 2,..., a n } ist ein Alphabet a i A ist ein Symbol s = (a i 1 a i 2 a i m ),m 1, Sequenz über A der Länge m A m = {(a i 1 a i 2 a i m ) a i j A}, m 1 A = m=1 Am ist der Kleenesche Abschluss von A

8 Datenquelle Datenquelle Q: Folge von Symbolen aus A Q diskret A endlich oder abzählbar unendlich Q gedächtnislos Auftreten eines Symbol unabhängig von den anderen p i = p(a i ) : Auftretenswahrscheinlichkeit vom Symbol a i p = (p 1,..., p n ): Wahrscheinlichkeitsverteilung der Symbole aus A

9 Modell M : A [0, 1); a i p M (a i ) = p i

10 Modell Code M : A [0, 1); a i p M (a i ) = p i A: Quellenalphabet und B ein endliches Alphabet. C : A B, a i C(a i ) l i := Länge von C(a i ). Im Allgemeinen B = {0, 1}

11 Modell Code M : A [0, 1); a i p M (a i ) = p i A: Quellenalphabet und B ein endliches Alphabet. C : A B, a i C(a i ) l i := Länge von C(a i ). Im Allgemeinen B = {0, 1} Erweiterung eines Codes C C : A B, s = (a i 1 a i 2 a i m ) C(s) = C(a i 1 )C(a i 2 ) C(a i m )

12 Nützliche Eigenschaften eines Codes Sei C : A B ein Code Eindeutige Dekodierbarkeit C eindeutig decodierbar s 1, s 2 A : s 1 s 2 = C (s 1 ) C (s 2 )

13 Nützliche Eigenschaften eines Codes Sei C : A B ein Code Eindeutige Dekodierbarkeit C eindeutig decodierbar s 1, s 2 A : s 1 s 2 = C (s 1 ) C (s 2 ) Präfixfreier Code C präfixfrei, wenn kein Codewort präfix eines anderen ist.

14 Nützliche Eigenschaften eines Codes Sei C : A B ein Code Eindeutige Dekodierbarkeit C eindeutig decodierbar s 1, s 2 A : s 1 s 2 = C (s 1 ) C (s 2 ) Präfixfreier Code C präfixfrei, wenn kein Codewort präfix eines anderen ist. Fano-Bedingung C präfixfrei = C eindeutig decodierbar

15 Nützliche Eigenschaften eines Codes Sei C : A B ein Code Eindeutige Dekodierbarkeit C eindeutig decodierbar s 1, s 2 A : s 1 s 2 = C (s 1 ) C (s 2 ) Präfixfreier Code C präfixfrei, wenn kein Codewort präfix eines anderen ist. Fano-Bedingung C präfixfrei = C eindeutig decodierbar

16 Nützliche Eigenschaften eines Codes Beispiel: Code C 1 Symbol Codewort A 0 B 01 C 10 Beispiel: Code C 2 Symbol Codewort A 0 B 10 C 110

17 Nützliche Eigenschaften eines Codes Beispiel: Code C 1 Symbol Codewort A 0 B 01 C 10 Beispiel: Code C 2 Symbol Codewort A 0 B 10 C 110 Example Zu decodieren:

18 Nützliche Eigenschaften eines Codes Beispiel: Code C 1 Symbol Codewort A 0 B 01 C 10 Example Zu decodieren: C C 1 Beispiel: Code C 2 Symbol Codewort A 0 B 10 C 110 AACC ABAC ABBA

19 Nützliche Eigenschaften eines Codes Beispiel: Code C 1 Symbol Codewort A 0 B 01 C 10 Example Zu decodieren: C C C 1 Beispiel: Code C 2 Symbol Codewort A 0 B 10 C 110 C 2 AACC ABAC ABBA AABB.

20 Nützliche Ergebnisse aus der Informationstheorie Ausgangspunkt Datenquelle Q über A = {a 1, a 2,..., a n } mit p = (p 1, p 2,..., p n )

21 Nützliche Ergebnisse aus der Informationstheorie Ausgangspunkt Datenquelle Q über A = {a 1, a 2,..., a n } mit p = (p 1, p 2,..., p n ) Informationsgehalt eines Symbols I(a i ) = I(p i ) = log 2 ( 1 p i ) = log 2 (p i ) [Bits]

22 Nützliche Ergebnisse aus der Informationstheorie Ausgangspunkt Datenquelle Q über A = {a 1, a 2,..., a n } mit p = (p 1, p 2,..., p n ) Informationsgehalt eines Symbols I(a i ) = I(p i ) = log 2 ( 1 p i ) = log 2 (p i ) [Bits] Informationsgehalt einer Sequenz Sei s = (a i 1 a i 2 a i m ) eine Sequenz. p(s) = p(a i 1 ) p(a i 2 ) p(a i m ) I(s) = I(p(s)) = m j=1 I(p i j ) [Bits]

23 Nützliche Ergebnisse aus der Informationstheorie Definition Entropie von Q: durchschnittlicher Informationsgehalt aller a i

24 Nützliche Ergebnisse aus der Informationstheorie Definition Entropie von Q: durchschnittlicher Informationsgehalt aller a i formal Die Entropie H(p) = n i=1 p i log 2 ( 1 p i ) = n i=1 p i log 2 (p i ) Einheit : [ Bits/Symbol]

25 Nützliche Ergebnisse aus der Informationstheorie Definition Entropie von Q: durchschnittlicher Informationsgehalt aller a i formal Die Entropie H(p) = n i=1 p i log 2 ( 1 p i ) = n i=1 p i log 2 (p i ) Einheit : [ Bits/Symbol] Entropie erweiterter Alphabete A m, Alphabet mit Wahrscheinlichkeitsverteilung p m. H(p m ) = m H(p)

26 Nützliche Ergebnisse aus der Informationstheorie sei C : A B ein präfixfreier Code. Mittlere Länge L C von C L C = n j=1 l j p j

27 Nützliche Ergebnisse aus der Informationstheorie sei C : A B ein präfixfreier Code. Mittlere Länge L C von C L C = n j=1 l j p j Satz ( Noiseless Coding theorem von Claude Shannon ) H(p) L C

28 Das Huffman-Verfahren 1952 von David Albert Huffman veröffentlicht. sehr schnell wegen mathematischer Einfachheit beliebt. generiert präfixfreien Code

29 Das Huffman-Verfahren 1952 von David Albert Huffman veröffentlicht. sehr schnell wegen mathematischer Einfachheit beliebt. generiert präfixfreien Code Eigenschaften eines optimalen Codes C P j > P k = l j l k a i und a j zwei Symbole mit den kleinsten Auftretenswahrscheinlichkeiten. Dann : l i = l j, C(a i ) und C(a j ) bis auf das letzte Bit identisch

30 Das Huffman-Verfahren Huffman-Baum binärer Baum, Knoten mit Gewichten.

31 Das Huffman-Verfahren Huffman-Baum binärer Baum, Knoten mit Gewichten. Algorithmus: Generierung des Huffman-Baumes Sei L eine leere Liste. Für jedes a i, ein Blatt mit Gewicht p i wiederhole,bis L nur einen Knoten enthält. Sortiere L absteigend nach den Gewichten wähle 2 Knoten u, v mit kleinsten Gewichten p(u) und p(v) Erzeuge w mit Gewicht p(w) = p(u) + p(v), w Vater von u und v. Entferne u und v aus L und füge w in L ein.

32 Beispiel: Huffman-Baum Example a i p i A 0.2 B 0.4 C 0.2 D 0.1 E 0.1

33 Beispiel: Huffman-Baum Huffman-Baum Example a i p i A 0.2 B 0.4 C 0.2 D 0.1 E 0.1

34 Code-Generierung Code-Generierung Für jeden inneren Knoten u, markiere die linke Kante aus u mit 0 und die rechte mit 1 Codewort eines Symbols als Folge der Kantenmarkierungen von der Wurzel bis zum Blatt.

35 Code-Generierung Code-Generierung Für jeden inneren Knoten u, markiere die linke Kante aus u mit 0 und die rechte mit 1 Codewort eines Symbols als Folge der Kantenmarkierungen von der Wurzel bis zum Blatt. Bemerkung Huffman-Code besitzt die obigen Eigenschaften eines optimalen Codes.

36 Beispiel: Huffman-Code markierter Huffman-Baum

37 Beispiel: Huffman-Code markierter Huffman-Baum Code-Tabelle a i p i C(a i ) A B C D E

38 Analyse des Huffman-Codes Seien C H ein Huffman-Code mit mittlerer Länge L H und C ein präfixfreier Code mit mittlerer Länge L. Optimalität-Eigenschaft C H ist optimal. L H L

39 Analyse des Huffman-Codes Seien C H ein Huffman-Code mit mittlerer Länge L H und C ein präfixfreier Code mit mittlerer Länge L. Optimalität-Eigenschaft C H ist optimal. L H L Schranken für L H H(p) L H < H(p) + 1

40 Bessere Annäherung der Entropie Betrachte A m als Alphabet mit p m. C H ein Huffman-Code für A m mit L m. Dann gilt:

41 Bessere Annäherung der Entropie Betrachte A m als Alphabet mit p m. C H ein Huffman-Code für A m mit L m. Dann gilt: Schranken für L m H(p m ) L m < H(p m ) + 1

42 Bessere Annäherung der Entropie Betrachte A m als Alphabet mit p m. C H ein Huffman-Code für A m mit L m. Dann gilt: Schranken für L m H(p m ) L m < H(p m ) + 1 H(p m ) = m H(p) und L H = Lm m

43 Bessere Annäherung der Entropie Betrachte A m als Alphabet mit p m. C H ein Huffman-Code für A m mit L m. Dann gilt: Schranken für L m H(p m ) L m < H(p m ) + 1 H(p m ) = m H(p) und L H = Lm m Schranken für L H H(p) L H < H(p) + 1 m

44 Erinnerung: Schranken für L H H(p) L H < H(p) + 1 m

45 Erinnerung: Schranken für L H H(p) L H < H(p) + 1 m Nachteile Codewörter aller Sequenzen der Länge m. exponentieller Wachstum der Codetabelle mit wachsender m Beispiel : m = 10 und A = 10 = Codewörter

46 Erinnerung: Schranken für L H H(p) L H < H(p) + 1 m Nachteile Codewörter aller Sequenzen der Länge m. exponentieller Wachstum der Codetabelle mit wachsender m Beispiel : m = 10 und A = 10 = Codewörter Lösung : verlustfrei Codewort für eine ganze Sequenz

47 Codierung als reelle Zahl Ausgangspunkt Datenquelle über A = {a 1,..., a n } und p = (p 1,..., p n )

48 Codierung als reelle Zahl Ausgangspunkt Datenquelle über A = {a 1,..., a n } und p = (p 1,..., p n ) Definiere folgende Funktion F { 0 wenn i = 0 F : {0, 1,..., n} [0, 1], F(i) = i j=1 p j sonst

49 Codierung als reelle Zahl Ausgangspunkt Datenquelle über A = {a 1,..., a n } und p = (p 1,..., p n ) Definiere folgende Funktion F F : {0, 1,..., n} [0, 1], F(i) = Eigenschaften von F F(0) = 0, F(n) = 1 { 0 wenn i = 0 i j=1 p j sonst i {1,..., n} : p i = 0 = i, j {0, 1,..., n}, j i : F(i) F(j).

50 Codierung als reelle Zahl Prinzip der arithmetischen Codierung s A AC [l s, u s ) [0, 1) [l s, u s ) eindeutig für s T (s) = ls+us 2 als Code

51 Codierung als reelle Zahl Vorgehen Init: l = 0 und u = 1 wiederhole, bis ganze Sequenz bearbeitet partitioniere [l, u) : a i A = [l + (u l) F(i 1), l + (u l) F (i))

52 Codierung als reelle Zahl Vorgehen Init: l = 0 und u = 1 wiederhole, bis ganze Sequenz bearbeitet partitioniere [l, u) : a i A = [l + (u l) F(i 1), l + (u l) F (i)) a j, j te Symbol der Sequenz. Setze: l = l + (u l) F(j 1) und u = l + (u l) F(j) T (s) = l+u 2

53 Codierung als reelle Zahl Vorgehen Init: l = 0 und u = 1 wiederhole, bis ganze Sequenz bearbeitet partitioniere [l, u) : a i A = [l + (u l) F(i 1), l + (u l) F (i)) a j, j te Symbol der Sequenz. Setze: l = l + (u l) F(j 1) und u = l + (u l) F(j) Example T (s) = l+u 2 siehe Projektor..

54 binärer arithmetischer Code Definition seien s A mit Wahrscheinlichkeit p(s) und x, y zwei Zahlen. l(s) := log 2 ( 1 p(s) ) + 1 bin(x) y := erste y-bits der binären Darstellung von x.

55 binärer arithmetischer Code Definition seien s A mit Wahrscheinlichkeit p(s) und x, y zwei Zahlen. l(s) := log 2 ( 1 p(s) ) + 1 bin(x) y := erste y-bits der binären Darstellung von x. binärer arithmetischer Code C(s) = bin(t (s)) l(s)

56 Beispiel: binärer arithmetischer Code Example Für s = abc hatten wir T(s) = Mit p(s) = p(a) P(b) p(c) = erhalten wir: 1 l(s) = log 2 ( ) + 1 = 8. T (s) = (0.553) 10 = ( ) 2. C(s) = bin(0.553) 8 =

57 Decodierung einer reellen Zahl Ausgangspunkt A = {a 1,..., a n }, p = (p 1,..., p n ) s eine Sequenz mit Codewort T(s) der Länge k. Technik Imitiere den Codierer.

58 Decodierung einer reellen Zahl Algorithmus l = 0 ; u = 1 ; s= ; For i = 1 To k Do finde a j i so, dass für das zugehörige Teilintervall [a, b) [l, u) gilt: T (s) [a, b). s = s a j i ; l = a ; u = b; End

59 Decodierung einer reellen Zahl Algorithmus l = 0 ; u = 1 ; s= ; For i = 1 To k Do finde a j i so, dass für das zugehörige Teilintervall [a, b) [l, u) gilt: T (s) [a, b). s = s a j i ; l = a ; u = b; End Example siehe Projektor...

60 Terminierung zwei Möglichkeiten zur Terminierung. Länge der Sequenz bekannt end-of-transmission Symbol

61 Analyse des arithmetischen Codes s A mit Codewort C(s) der Länge l(s) Eindeutigkeit und eindeutige Decodierbarkeit C(s) identifiziert s eindeutig C(s) präfixfrei = C(s) eindeutig decodierbar

62 Analyse des arithmetischen Codes s A mit Codewort C(s) der Länge l(s) Eindeutigkeit und eindeutige Decodierbarkeit C(s) identifiziert s eindeutig C(s) präfixfrei = C(s) eindeutig decodierbar mittlere Länge L A m eines arithmetischen Codes L A m = s Am p(s) l(s) Es gilt: L A = L A m m

63 Analyse des arithmetischen Codes Schranken für L A m H(p m ) L A m < H(p m ) + 2

64 Analyse des arithmetischen Codes Schranken für L A m H(p m ) L A m < H(p m ) + 2 Schranken für L A H(p) L A < H(p) + 2 m arithmetische Codierung ist asymptotisch optimal.

65 Skalierungsfunktionen Motivation Inkrementelle De-/Codierung Endliche Genauigkeit von Rechnern

66 Skalierungsfunktionen Motivation Inkrementelle De-/Codierung Endliche Genauigkeit von Rechnern Für kleines [l, u) unterscheidet man: [l, u) [0, 0.5) [l, u) [0.5, 1) [l, u) [0.25, 0.75)

67 Skalierungsfunktionen Skalierungsfunktionen E 1 und E 2 E 1 : [0, 0.5) [0, 1), E 1 (x) = 2 x E 2 : [0.5, 1) [0, 1), E 2 (x) = 2 (x 0.5)

68 Skalierungsfunktionen Skalierungsfunktionen E 1 und E 2 E 1 : [0, 0.5) [0, 1), E 1 (x) = 2 x E 2 : [0.5, 1) [0, 1), E 2 (x) = 2 (x 0.5) Die Skalierungsfunktion E 3 E 3 : [0.25, 0.75) [0, 1), E 3 (x) = 2 (x 0.25)

69 Skalierungsfunktionen Skalierungsfunktionen E 1 und E 2 E 1 : [0, 0.5) [0, 1), E 1 (x) = 2 x E 2 : [0.5, 1) [0, 1), E 2 (x) = 2 (x 0.5) Die Skalierungsfunktion E 3 E 3 : [0.25, 0.75) [0, 1), E 3 (x) = 2 (x 0.25) Eigenschaften von E 3 E 1 (E 3 ) n = (E 2 ) n E 1 E 2 (E 3 ) n = (E 1 ) n E 2

70 Beispiel: Codierung mit Skalierung Example Siehe Projektor...

71 Laufzeit Huffman-Verfahren schneller arithmetische Codierung rechenaufwändig

72 Laufzeit Effizienz Huffman-Verfahren schneller arithmetische Codierung rechenaufwändig Schranken für die mittlere Länge eines Huffman-Codes für Sequenzen der Länge m: H(p) L H < H(p) + 1 m eines arithmetischen Codes: H(p) L A < H(p) + 2 m

73 Huffman-Codierung Textkomprimierung Fax-Übertragung ZIP, GZIP, JPEG, MP3,...

74 Huffman-Codierung Textkomprimierung Fax-Übertragung ZIP, GZIP, JPEG, MP3,... Textkomprimierung, JPEG Gültige Patente hindern verbreiteten Einsatz

75 1 Einführung

Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1

Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1 Information, Entropie und Redundanz Technische Informationsquelle Entropie und Redundanz Huffman Codierung Martin Werner WS 9/ Martin Werner, Dezember 9 Information und Daten Informare/ Informatio (lat.)

Mehr

2.7 Der Shannon-Fano-Elias Code

2.7 Der Shannon-Fano-Elias Code 2.7 Der Shannon-Fano-Elias Code Die Huffman-Codierung ist ein asymptotisch optimales Verfahren. Wir haben auch gesehen, dass sich die Huffman-Codierung gut berechnen und dann auch gut decodieren lassen.

Mehr

Algorithmen und Datenstrukturen (für ET/IT)

Algorithmen und Datenstrukturen (für ET/IT) Algorithmen und Datenstrukturen (für ET/IT) Sommersemester 206 Dr. Tobias Lasser Computer Aided Medical Procedures Technische Universität München Organisatorisches Weiterer Ablauf: heute und Donnerstag,

Mehr

Datenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut

Datenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut Datenkompression Holger Rauhut 1. September 2010 Skript für die Schülerwoche 2010, 8.-11.9.2010 Hausdorff Center for Mathematics, Bonn 1 Allgemeines Datenkompression hat zum Ziel, Daten in digitaler Form,

Mehr

2. Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung

2. Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 2 Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 2 Woche: Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 24/ 44 Zwei Beispiele a 0

Mehr

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Prof. Bernd Brügge, Ph.D Institut für Informatik Technische Universität München Sommersemester 2 2. Juli 2 Copyright 2 Bernd

Mehr

Einleitung. Kapitel 1

Einleitung. Kapitel 1 Kapitel 1 Einleitung In diesem Abschnitt geben wir einen kurzen Überblick über den Inhalt der Vorlesung. Wir werden kurz die wesentlichen Probleme erläutern, die wir ansprechen wollen. Wir werden auch

Mehr

Referat zum Thema Huffman-Codes

Referat zum Thema Huffman-Codes Referat zum Thema Huffman-Codes Darko Ostricki Yüksel Kahraman 05.02.2004 1 Huffman-Codes Huffman-Codes ( David A. Huffman, 1951) sind Präfix-Codes und das beste - optimale - Verfahren für die Codierung

Mehr

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b.

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b. Entropie Grundlegend für das Verständnis des Begriffes der Komprimierung ist der Begriff der Entropie. In der Physik ist die Entropie ein Maß für die Unordnung eines Systems. In der Informationstheorie

Mehr

Codierungstheorie. Statt einer Einleitung. Rudolf Scharlau. 4. April 2006

Codierungstheorie. Statt einer Einleitung. Rudolf Scharlau. 4. April 2006 Codierungstheorie Rudolf Scharlau 4. April 2006 Statt einer Einleitung Im ersten Teil dieser Vorlesung folgen wir eng dem Buch Information and Coding theory von Gareth A. Jones und J. Mary Jones. Technische

Mehr

Mathematik für Information und Kommunikation

Mathematik für Information und Kommunikation Mathematik für Information und Kommunikation Am Beispiel des Huffman- Algorithmus Thomas Borys und (Christian Urff) Huffman im Alltag MPEG Telefax JPEG MP3 ZIP avid Huffman avid Huffman [95-999] www.soe.ucsc.edu/people/faculty/huffman.html

Mehr

Kapitel 2 Quellencodierung

Kapitel 2 Quellencodierung Kapitel 2 Quellencodierung Prof. Dr. Dirk W. Hoffmann Hochschule Karlsruhe w University of Applied Sciences w Fakultät für Informatik Übersicht Quelle Senke Kompression Huffman-, Arithmetische-, Lempel-Ziv

Mehr

Dynamisches Huffman-Verfahren

Dynamisches Huffman-Verfahren Dynamisches Huffman-Verfahren - Adaptive Huffman Coding - von Michael Brückner 1. Einleitung 2. Der Huffman-Algorithmus 3. Übergang zu einem dynamischen Verfahren 4. Der FGK-Algorithmus 5. Überblick über

Mehr

16 - Kompressionsverfahren für Texte

16 - Kompressionsverfahren für Texte 16 - Kompressionsverfahren für Texte Prof. Dr. S. Albers Kompressionsverfahren für Texte Verlustfreie Kompression Original kann perfekt rekonstruiert werden Beispiele: Huffman Code, Lauflängencodierung,

Mehr

Übung 1: Quellencodierung

Übung 1: Quellencodierung ZHAW, NTM2, Rumc, /7 Übung : Quellencodierung Aufgabe : Huffman-Algorithmus. Betrachten Sie die folgende ternäre, gedächtnislose Quelle mit dem Symbolalphabet A = {A,B,C} und den Symbol-Wahrscheinlichkeiten

Mehr

Übrigens: um den Algorithmus im Unterricht einzuführen, sind keine Formeln notwendig! Warum reicht die normale ASCII-Codierung nicht aus?

Übrigens: um den Algorithmus im Unterricht einzuführen, sind keine Formeln notwendig! Warum reicht die normale ASCII-Codierung nicht aus? Huffman-Code Dieser Text ist als Hintergrundinformation ausschliesslich für die Lehrperson gedacht. Der Text ist deshalb eher technisch gehalten. Er lehnt sich an das entsprechende Kapitel in "Turing Omnibus"

Mehr

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Codierung Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Ein bisschen Informationstheorie Betrachten wir das folgende Problem: Wie lautet eine sinnvolle Definition für das quantitative

Mehr

Gierige Algorithmen Interval Scheduling

Gierige Algorithmen Interval Scheduling Gierige Algorithmen Interval Scheduling IntervalScheduling(s,f). n length[s] 2. A {} 3. j 4. for i 2 to n do 5. if s[i] f[j] then 6. A A {i} 7. j i 8. return A Gierige Algorithmen Interval Scheduling Beweisidee:

Mehr

Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir

Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht

Mehr

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele Organisation Was kommt zum Test? Buch Informatik Grundlagen bis inkl Kapitel 74 Wissensfragen und Rechenbeispiele 3 Vorträge zur Übung Informationstheorie, Huffman-Codierung und trennzeichenfreie Codierung

Mehr

Arithmetisches Codieren

Arithmetisches Codieren Arithmetisches Codieren 1. Motivation: Als Alternative zum arithmetischen Codieren bot sich damals als effizientester Algorithmus das Huffmann-Coding an. Dieses jedoch hatte einen entscheidenden Nachteil:

Mehr

Wann sind Codes eindeutig entschlüsselbar?

Wann sind Codes eindeutig entschlüsselbar? Wann sind Codes eindeutig entschlüsselbar? Definition Suffix Sei C ein Code. Ein Folge s {0, 1} heißt Suffix in C falls 1 c i, c j C : c i = c j s oder 2 c C und einen Suffix s in C: s = cs oder 3 c C

Mehr

Huffman-Kodierung. Fachbereich Medieninformatik. Hochschule Harz. Huffman-Kodierung. Referat. Henner Wöhler. Abgabe:

Huffman-Kodierung. Fachbereich Medieninformatik. Hochschule Harz. Huffman-Kodierung. Referat. Henner Wöhler. Abgabe: Fachbereich Medieninformatik Hochschule Harz Huffman-Kodierung Referat Henner Wöhler 11459 Abgabe: 15.01.2007 Inhaltsverzeichnis Einleitung...I 1. Entropiekodierung...1 1.1 Morse Code...2 1.2 Shannon-Fano-Kodierung...3

Mehr

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert.

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. Anwendungen von Bäumen 4.3.2 Huffman Code Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. => nutzbar für Kompression Code fester

Mehr

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche: Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 5/ 44 Unser Modell Shannon

Mehr

Datenkompression. Vortrag von Markus Durzinsky Student der Otto-von-Guericke-Universität Magdeburg

Datenkompression. Vortrag von Markus Durzinsky Student der Otto-von-Guericke-Universität Magdeburg Vortrag am 25. Januar 200 Werner von Siemens Gymnasium Magdeburg Zeitansatz: 5h (inklusive Programmieraufgaben) Datenkompression Vortrag von Markus Durzinsky Student der Otto-von-Guericke-Universität Magdeburg

Mehr

3 Quellencodierung. 3.1 Einleitung

3 Quellencodierung. 3.1 Einleitung Source coding is what Alice uses to save money on her telephone bills. It is usually used for data compression, in other words, to make messages shorter. John Gordon 3 Quellencodierung 3. Einleitung Im

Mehr

Kodierung und Sicherheit

Kodierung und Sicherheit Skript zur Vorlesung: Kodierung und Sicherheit 0000 00000 000 0000 0000 000 00 000 Wintersemester 2004-2005 Dr. Andreas Jakoby Institut für Theoretische Informatik Universität zu Lübeck Inhaltsverzeichnis

Mehr

Kryptographie und Codierung für den Mathematikunterricht

Kryptographie und Codierung für den Mathematikunterricht Kryptographie und Codierung für den Mathematikunterricht Pädagogische Hochschule Karlsruhe University of Education École Supérieure de Pédagogie Institut für Mathematik und Informatik Th. Borys Was verstehst

Mehr

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch . Thema Informationstheorie geht zurück auf Claude Shannon The Mathematical Theory of Communication beschäftigt sich mit Information

Mehr

Information und Codierung

Information und Codierung Richard W. Hamming Information und Codierung Technische Universität Darmstadt FACHBEREICH INFORMATIK BIBLIOTHEK Invantar-Nr.: Sachgebiete:. Standort: VCH Inhalt Vorwort zur 1. Auflage der Originalausgabe

Mehr

Randomisierte Algorithmen

Randomisierte Algorithmen Randomisierte Algorithmen Randomisierte Algorithmen 5. Zwei spieltheoretische Aspekte Thomas Worsch Fakultät für Informatik Karlsruher Institut für Technologie Wintersemester 2015/2016 1 / 36 Überblick

Mehr

Molekulare Bioinformatik

Molekulare Bioinformatik Molekulare Bioinformatik Wintersemester 203/204 Prof. Thomas Martinetz Institut für Neuro- und Bioinformatik Universität zu Luebeck 07.0.204 Molekulare Bioinformatik - Vorlesung 0 Wiederhohlung Die Entropie

Mehr

Codierung, Codes (variabler Länge)

Codierung, Codes (variabler Länge) Codierung, Codes (variabler Länge) A = {a, b, c,...} eine endliche Menge von Nachrichten (Quellalphabet) B = {0, 1} das Kanalalphabet Eine (binäre) Codierung ist eine injektive Abbildung Φ : A B +, falls

Mehr

Fehlererkennung und Fehlerkorrektur in Codes

Fehlererkennung und Fehlerkorrektur in Codes Fehlererkennung und Fehlerkorrektur in Codes Blockcodes und Hamming Abstand Untersuchungen zu Codierungen von Informationen, die über einen Nachrichtenkanal übertragen werden sollen, konzentrieren sich

Mehr

Isomorphie von Bäumen

Isomorphie von Bäumen Isomorphie von Bäumen Alexandra Weinberger 23. Dezember 2011 Inhaltsverzeichnis 1 Einige Grundlagen und Definitionen 2 1.1 Bäume................................. 3 1.2 Isomorphie..............................

Mehr

Optimalcodierung. Thema: Optimalcodierung. Ziele

Optimalcodierung. Thema: Optimalcodierung. Ziele Optimalcodierung Ziele Diese rechnerischen und experimentellen Übungen dienen der Vertiefung der Kenntnisse im Bereich der Optimalcodierung, mit der die Zeichen diskreter Quellen codiert werden können.

Mehr

2. Lernen von Entscheidungsbäumen

2. Lernen von Entscheidungsbäumen 2. Lernen von Entscheidungsbäumen Entscheidungsbäume 2. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse

Mehr

Ι. Einführung in die Codierungstheorie

Ι. Einführung in die Codierungstheorie 1. Allgemeines Ι. Einführung in die Codierungstheorie Codierung: Sicherung von Daten und Nachrichten gegen zufällige Fehler bei der Übertragung oder Speicherung. Ziel der Codierung: Möglichst viele bei

Mehr

2.4 Darstellung von Zeichen(ketten)

2.4 Darstellung von Zeichen(ketten) 2.4 Darstellung von Zeichen(ketten) ASCII (American Standard for Coded Information Interchange): Abbildungsvorschrift (Norm) zur binären Kodierung von Zeichen Umfasst Klein-/Großbuchstaben des lateinischen

Mehr

Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines

Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines Seite 1 Georg-August-Universität Göttingen Robert Schaback Zum Begriff der Information in Mathematik und Informatik Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A)

Mehr

Proseminar WS 2002/2003

Proseminar WS 2002/2003 Technische Universität Chemnitz Fakultät für Informatik Professur Theoretische Informatik Proseminar WS 2002/2003 Thema: Datenkompression Dynamisches / Adaptives Huffman-Verfahren Danny Grobe Rainer Kuhn

Mehr

Informationstheorie und Codierung

Informationstheorie und Codierung Informationstheorie und Codierung 3. Codierung diskreter Quellen Gleichmäßiger Code Ungleichmäßiger Code Fano-, Huffman-Codierung Optimalcodierung von Markoff-Quellen Lauflängencodes nach Golomb und Rice

Mehr

(Prüfungs-)Aufgaben zur Codierungstheorie

(Prüfungs-)Aufgaben zur Codierungstheorie (Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1

Mehr

Grundbegriffe der Informatik Tutorium 3

Grundbegriffe der Informatik Tutorium 3 Grundbegriffe der Informatik Tutorium 3 Tutorium Nr. 16 Philipp Oppermann 18. November 2014 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Codes on Graphs: Normal Realizations

Codes on Graphs: Normal Realizations Codes on Graphs: Normal Realizations Autor: G. David Forney, Jr. Seminarvortrag von Madeleine Leidheiser und Melanie Reuter Inhaltsverzeichnis Einführung Motivation Einleitung Graphendarstellungen Trellis

Mehr

Eigenschaften von Kompressionsverfahren

Eigenschaften von Kompressionsverfahren 6 Textkompression Eigenschaften von Kompressionsverfahren Das Ziel der Datenkompression ist es, eine gegebene Information (Datenquelle) auf eine kompaktere Weise zu repräsentieren. Dies geschieht, indem

Mehr

Klausur zur Vorlesung Informationstheorie

Klausur zur Vorlesung Informationstheorie INSTITUT FÜR INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 0167 Hannover Klausur zur Vorlesung Informationstheorie Datum:.02.2006 Uhrzeit: 9:00 Uhr Zeitdauer: 2 Stunden Hilfsmittel: ausgeteilte

Mehr

Kapitel 2: Informationstheorie. 3. Quellencodierung

Kapitel 2: Informationstheorie. 3. Quellencodierung ZHAW, NTM2, Rumc, 2.3-1 Kapitel 2: Informationstheorie 3. Quellencodierung Inhaltsverzeichnis 1. EINLEITUNG... 1 2. QUELLENCODIERUNGSTHEOREM... 2 3. HUFFMAN-QUELLENCODIERUNG... 3 4. DATENKOMPRESSION MIT

Mehr

Notation und Einführung

Notation und Einführung Skriptteil zur Vorlesung: Proinformatik - Funktionale Programmierung Dr. Marco Block-Berlitz 30.Juli 2009 Notation und Einführung Der folgende Abschnitt gibt eine kurze Einführung in die Codierungstheorie.

Mehr

Digitalisierung. analoges Signal PAM. Quantisierung

Digitalisierung. analoges Signal PAM. Quantisierung Digitalisierung U analoges Signal t U PAM t U Quantisierung t Datenreduktion Redundanzreduktion (verlustfrei): mehrfach vorhandene Informationen werden nur einmal übertragen, das Signal ist ohne Verluste

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Informationstheorie INSTITUT FÜR THEORETISCHE KIT 8.2.22 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der Informatik INSTITUT

Mehr

Klausur Informatik-Propädeutikum (Niedermeier/Hartung/Nichterlein, Wintersemester 2012/13)

Klausur Informatik-Propädeutikum (Niedermeier/Hartung/Nichterlein, Wintersemester 2012/13) Berlin, 21. Februar 2013 Name:... Matr.-Nr.:... Klausur Informatik-Propädeutikum (Niedermeier/Hartung/Nichterlein, Wintersemester 2012/13) 1 2 3 4 5 6 7 8 9 Σ Bearbeitungszeit: 90 min. max. Punktezahl:

Mehr

Tutorium 23 Grundbegriffe der Informatik (6. Sitzung)

Tutorium 23 Grundbegriffe der Informatik (6. Sitzung) Tutorium 23 Grundbegriffe der Informatik (6. Sitzung) Tutor: Felix Stahlberg SOFTWARE DESIGN AND QUALITY GROUP Source: pixelio.de KIT The cooperation of Forschungszentrum Karlsruhe GmbH and Universität

Mehr

Freie Universität Berlin. Seminar Talk. Datenkompression. Zacharias V. Fisches 2. Mai 2017

Freie Universität Berlin. Seminar Talk. Datenkompression. Zacharias V. Fisches 2. Mai 2017 Freie Universität Berlin Seminar Talk Datenkompression Zacharias V. Fisches zacharias.vf@gmail.com 2. Mai 2017 Proseminar Theoretische Informatik Prof. Wolfgang Mulzer Inhaltsverzeichnis 1 Einleitung 2

Mehr

Ziv-Lempel-Kompression von André Lichei

Ziv-Lempel-Kompression von André Lichei Ziv-Lempel-Kompression von André Lichei Einführung: Die wichtigsten Ansprüche,die an einen Komprimierungs-Algorithmus gestellt werden, sind: - eine hohe Komprimierungsrate - für alle Typen von Daten (

Mehr

Kodierungsalgorithmen

Kodierungsalgorithmen Kodierungsalgorithmen Komprimierung Verschlüsselung Komprimierung Zielsetzung: Reduktion der Speicherkapazität Schnellere Übertragung Prinzipien: Wiederholungen in den Eingabedaten kompakter speichern

Mehr

Technische Informatik - Eine Einführung

Technische Informatik - Eine Einführung Martin-Luther-Universität Halle-Wittenberg Fachbereich Mathematik und Informatik Lehrstuhl für Technische Informatik Prof. P. Molitor Technische Informatik - Eine Einführung Darstellung von Zeichen und

Mehr

Proseminar Datenkompression Universelles Codieren ganzer Zahlen

Proseminar Datenkompression Universelles Codieren ganzer Zahlen Proseminar Datenkompression Universelles Codieren ganzer Zahlen Marcel Heinz, Sebastian Leuoth 17. Januar 2003 Inhaltsverzeichnis 1 Ziel 2 2 Vorbemerkungen 2 2.1 Verwendete Symbole und Begriffe.......................

Mehr

Seminar. Codierungstheorie

Seminar. Codierungstheorie Seminar Codierungstheorie Lempel-Ziv-Verfahren Informatik Sommersemester 25 Tim Schweisgut, Juni 25 Inhalt INHALT... 2 WÖRTERBUCHMETHODEN... 3 Statische Wörterbuchmethoden... 3 Beispiel:... 3 Bemerkung:...

Mehr

ASCII-Tabelle. Coding. Coding. Coding. Coding. Bits Bits Fehlererkennende Codes: Zwei Probleme:

ASCII-Tabelle. Coding. Coding. Coding. Coding. Bits Bits Fehlererkennende Codes: Zwei Probleme: Morse Code A.- P -..-.---- B -... Q --.- 2..--- C -.-. R.-. 3...-- D -.. S... 4...- E. T - 5... F..-. U..- 6 -... G --. V...- 7 --... H... W.-- 8 ---.. I.. X -..- 9 ----. J.--- Y -.-- 0 ----- K -.- Z --..

Mehr

Übung 13: Quellencodierung

Übung 13: Quellencodierung ZHAW, NTM, FS2008, Rumc, /5 Übung 3: Quellencodierung Aufgabe : Huffmann-Algorithmus. Betrachten Sie die folgende ternäre, gedächtnislose Quelle mit dem Symbolalphabet A = {A,B,C} und den Symbol-Wahrscheinlichkeiten

Mehr

Dank. Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I. Probleme über Sprachen. Teil II.

Dank. Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I. Probleme über Sprachen. Teil II. Dank Vorlesung Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I Bernhard Beckert Diese Vorlesungsmaterialien basieren ganz wesentlich auf den Folien zu den Vorlesungen

Mehr

Informatik-Seminar Thema 6: Bäume

Informatik-Seminar Thema 6: Bäume Informatik-Seminar 2003 - Thema 6: Bäume Robin Brandt 14. November 2003 1 Robin Brandt Informatik-Seminar 2003 - Thema 6: Bäume Übersicht Definition Eigenschaften Operationen Idee Beispiel Datendefinition

Mehr

Proseminar Kodierverfahren bei Dr. Ulrich Tamm Sommersemester 2003 Thema: Codierung von Bäumen (Prüfer Codes...)

Proseminar Kodierverfahren bei Dr. Ulrich Tamm Sommersemester 2003 Thema: Codierung von Bäumen (Prüfer Codes...) Proseminar Kodierverfahren bei Dr. Ulrich Tamm Sommersemester 2003 Thema: Codierung von Bäumen (Prüfer Codes...) Inhalt: Einleitung, Begriffe Baumtypen und deren Kodierung Binäre Bäume Mehrwegbäume Prüfer

Mehr

Differenzengleichungen. und Polynome

Differenzengleichungen. und Polynome Lineare Differenzengleichungen und Polynome Franz Pauer Institut für Mathematik, Universität Innsbruck Technikerstr. 13/7, A-600 Innsbruck, Österreich franz.pauer@uibk.ac.at 1 Einleitung Mit linearen Differenzengleichungen

Mehr

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005. Das Problem.. Quellcodierung und Datenkompression. Wir wollen eine Nachricht über einen digitalen Kanal, der nur 0 oder übertragen kann, schicken.

Mehr

Effiziente Algorithmen und Komplexitätstheorie

Effiziente Algorithmen und Komplexitätstheorie 1 Effiziente lgorithmen und Komplexitätstheorie Vorlesung Thomas Jansen 29.06.2006 2 Burrows-Wheeler-Kompression: Verbesserungen dreischrittiges Kompressionsverfahren Burrows- Wheeler- Transformation Globale

Mehr

Codierungstheorie. Code-Arten und Code-Sicherung

Codierungstheorie. Code-Arten und Code-Sicherung Codierungstheorie Code-Arten und Code-Sicherung Inhaltsübersicht und Literatur Informationstheorie Was ist eine Codierung? Arten von Codes Informationsgehalt und Entropie Shannon'sches Codierungstheorem

Mehr

Verlustfreie Kompression

Verlustfreie Kompression Verlustfreie Kompression Tim Rolff Arbeitsbereich Wissenschaftliches Rechnen Fachbereich Informatik Fakultät für Mathematik, Informatik und Naturwissenschaften Universität Hamburg 8. Juni 2016 Tim Rolff

Mehr

Kapitel 4. Reihen 4.1. Definition und Beispiele

Kapitel 4. Reihen 4.1. Definition und Beispiele Kapitel 4. Reihen 4.1. Definition und Beispiele Ist (a n ) eine Folge von Zahlen, so heißt der formale Ausdruck a ν = a 0 + a 1 + a 2 +... eine Reihe; die einzelnen a ν sind die Glieder dieser Reihe. Um

Mehr

Klausur Informationstheorie und Codierung

Klausur Informationstheorie und Codierung Klausur Informationstheorie und Codierung WS 2013/2014 23.01.2014 Name: Vorname: Matr.Nr: Ich fühle mich gesundheitlich in der Lage, die Klausur zu schreiben Unterschrift: Aufgabe A1 A2 A3 Summe Max. Punkte

Mehr

Objektorientierte Programmierung VL: Prof. Dr. Marco Block-Berlitz - Freie Universität Berlin Proinformatik III

Objektorientierte Programmierung VL: Prof. Dr. Marco Block-Berlitz - Freie Universität Berlin Proinformatik III Objektorientierte Programmierung VL: Prof. Dr. Marco Block-Berlitz - Freie Universität Berlin Proinformatik III Text: Hinnerk van Bruinehsen - Grafiken: Jens Fischer powered by SDS.mint SoSe 2011 1 Teil

Mehr

Seminar Kolmogorovkomplexität. Universität Potsdam Wintersemester 2009/10

Seminar Kolmogorovkomplexität. Universität Potsdam Wintersemester 2009/10 Universität Potsdam Wintersemester 2009/10 Kolmogorovkomplexität Kolmogorovkomplexität (auch Algorithmische Komplexität ) ist der zentrale Begriff der Algorithmischen Informationstheorie (AIT). Kombiniert

Mehr

Farb-Fernsehsignal (Composite FBAS)

Farb-Fernsehsignal (Composite FBAS) Farb-Fernsehsignal (Composite FBAS) Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada VIDEO- Digitalisierung Gemeinsame Kodierung FBAS Farbbild- Austast- und Synchronsignal

Mehr

Alle bislang betrachteten Sortieralgorithmen hatten (worst-case) Laufzeit Ω(nlog(n)).

Alle bislang betrachteten Sortieralgorithmen hatten (worst-case) Laufzeit Ω(nlog(n)). 8. Untere Schranken für Sortieren Alle bislang betrachteten Sortieralgorithmen hatten (worst-case) Laufzeit Ω(nlog(n)). Werden nun gemeinsame Eigenschaften dieser Algorithmen untersuchen. Fassen gemeinsame

Mehr

Informationssysteme SS 2013 Lösungsvorschläge zu Übungsblatt 2. Übungsblatt 2. Für die Übungen in der Woche vom 29. April bis 03.

Informationssysteme SS 2013 Lösungsvorschläge zu Übungsblatt 2. Übungsblatt 2. Für die Übungen in der Woche vom 29. April bis 03. Prof. Dr.-Ing. Stefan Deßloch AG Heterogene Informationssysteme Fachbereich Informatik Technische Universität Kaiserslautern Übungsblatt 2 Für die Übungen in der Woche vom 29. April bis 03. Mai 2013 Aufgabe

Mehr

Quantitative Methoden Wissensbasierter Systeme

Quantitative Methoden Wissensbasierter Systeme Quantitative Methoden Wissensbasierter Systeme Probabilistische Netze und ihre Anwendungen Robert Remus Universität Leipzig Fakultät für Mathematik und Informatik Abteilung für Intelligente Systeme 23.

Mehr

Fakultät für Informatik Universität Magdeburg Jürgen Dassow. Literatur

Fakultät für Informatik Universität Magdeburg Jürgen Dassow. Literatur Literatur J.Berstel/D.Perrin, Theorie of Codes. Academic Press, 1985. J. Duske/H.Jürgensen, Kodierungstheorie. BI-Taschenb., Mannheim, 1977. T. Grams, Codierungsverfahren. BI-Taschenbuch, Mannheim, 1986.

Mehr

4. Lernen von Entscheidungsbäumen. Klassifikation mit Entscheidungsbäumen. Entscheidungsbaum

4. Lernen von Entscheidungsbäumen. Klassifikation mit Entscheidungsbäumen. Entscheidungsbaum 4. Lernen von Entscheidungsbäumen Klassifikation mit Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch /Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse zugeordnet werden.

Mehr

4 Effizienz und Komplexität 3.1 1

4 Effizienz und Komplexität 3.1 1 4 Effizienz und Komplexität 3.1 1 Effizienz (efficiency): auf den Ressourcen-Verbrauch bezogene Programmeigenschaft: hohe Effizienz bedeutet geringen Aufwand an Ressourcen. Typische Beispiele: Speichereffizienz

Mehr

15 Optimales Kodieren

15 Optimales Kodieren 15 Optimales Kodieren Es soll ein optimaler Kodierer C(T ) entworfen werden, welcher eine Information (z.b. Text T ) mit möglichst geringer Bitanzahl eindeutig überträgt. Die Anforderungen an den optimalen

Mehr

Kapitel 9: Informationstheorie. 2. Entropie

Kapitel 9: Informationstheorie. 2. Entropie ZHAW, NT, FS2008, Rumc, Kapitel 9: 2-1 Kapitel 9: Informationstheorie 2. Entropie Inhaltsverzeichnis 2.1. INFORATIONSQUELLEN...2 2.2. INFORATIONSGEHALT...3 2.3. INIALE ANZAHL BINÄRE FRAGEN...5 2.4. ENTROPIE

Mehr

Grundbegriffe der Informatik

Grundbegriffe der Informatik Grundbegriffe der Informatik Kapitel 15: Graphen Thomas Worsch KIT, Institut für Theoretische Informatik Wintersemester 2015/2016 GBI Grundbegriffe der Informatik KIT, Institut für Theoretische Informatik

Mehr

Stochastische Lernalgorithmen

Stochastische Lernalgorithmen Stochastische Lernalgorithmen Gerhard Jäger 14. Mai 2003 Das Maximum-Entropy-Prinzip Der Entropiebegriff Entropie: Chaos, Unordung, Nicht-Vorhersagbarkeit,... Begriff kommt ursprünglich aus der Physik:

Mehr

WS 2013/14. Diskrete Strukturen

WS 2013/14. Diskrete Strukturen WS 2013/14 Diskrete Strukturen Prof. Dr. J. Esparza Lehrstuhl für Grundlagen der Softwarezuverlässigkeit und theoretische Informatik Fakultät für Informatik Technische Universität München http://www7.in.tum.de/um/courses/ds/ws1314

Mehr

JKU Young Scientists Matheseminar

JKU Young Scientists Matheseminar JKU Young Scientists Matheseminar Matheseminar WS 2013/14 Codierung und Information Das grundlegende Problem der Kommunikation besteht darin, an einer Stelle entweder genau oder angenähert eine Nachricht

Mehr

6. Komprimierung. (Text)komprimierung ist ein Wechsel der Repräsentation von Daten, so daß sie weniger

6. Komprimierung. (Text)komprimierung ist ein Wechsel der Repräsentation von Daten, so daß sie weniger Komprimierung 6. Komprimierung (Text)komprimierung ist ein Wechsel der Repräsentation von Daten, so daß sie weniger Platz brauchen Motivation: beschleunigt Plattenzugriffe oder Datenübertragungen Voraussetzung:

Mehr

Grundbegriffe der Informatik Tutorium 5

Grundbegriffe der Informatik Tutorium 5 Grundbegriffe der Informatik Tutorium 5 Tutorium Nr. 32 Philipp Oppermann 13. Januar 2015 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Signale und Codes Vorlesung 4

Signale und Codes Vorlesung 4 Signale und Codes Vorlesung 4 Nico Döttling December 6, 2013 1 / 18 2 / 18 Letztes Mal Allgemeine Hamming Codes als Beispiel linearer Codes Hamming Schranke: Obere Schranke für k bei gegebenem d bzw. für

Mehr

186.172 Algorithmen und Datenstrukturen 1 VL 4.0 1. Übungstest WS 2010/11 26. November 2010

186.172 Algorithmen und Datenstrukturen 1 VL 4.0 1. Übungstest WS 2010/11 26. November 2010 Technische Universität Wien Institut für Computergraphik und Algorithmen Arbeitsbereich für Algorithmen und Datenstrukturen 186.172 Algorithmen und Datenstrukturen 1 VL 4.0 1. Übungstest WS 2010/11 26.

Mehr

Basisinformationstechnologie II

Basisinformationstechnologie II Basisinformationstechnologie II Sommersemester 2015 13. Mai 2015 Algorithmen der Bildverarbeitung I: Kompression Universität zu Köln. Historisch-Kulturwissenschaftliche Informationsverarbeitung Dr. Jan

Mehr

4.2 Minimale Spannbäume: Der Algorithmus von Jarník/Prim Definition 4.2.1

4.2 Minimale Spannbäume: Der Algorithmus von Jarník/Prim Definition 4.2.1 Allgemeines. Minimale Spannbäume: Der Algorithmus von Jarník/Prim Definition.. (a) Ein Graph G =(V, E) heißt kreisfrei, wenn er keinen Kreis besitzt. Beispiel: Ein kreisfreier Graph: FG KTuEA, TU Ilmenau

Mehr

Digitaltechnik I WS 2006/2007. Klaus Kasper

Digitaltechnik I WS 2006/2007. Klaus Kasper Digitaltechnik I WS 2006/2007 Klaus Kasper Studium 6 Semester 5. Semester: Praxissemester im Anschluss: Bachelorarbeit 6. Semester: WPs Evaluation der Lehre Mentorensystem 2 Organisation des Studiums Selbständigkeit

Mehr

Formale Methoden 2. Gaetano Geck Lehrstuhl I Logik in der Informatik WS 2015/2016

Formale Methoden 2. Gaetano Geck Lehrstuhl I Logik in der Informatik WS 2015/2016 Formale Methoden 2 Gaetano Geck Lehrstuhl I Logik in der Informatik WS 2015/2016 Teil 3: Kodierung 1 Motivation 2 Exkurs Grundlagen formaler Sprachen 3 Grundlagen 4 Beispielkodierungen FM2 (WS 2014/15,

Mehr

Kapitel 1: Motivation / Grundlagen Gliederung

Kapitel 1: Motivation / Grundlagen Gliederung Gliederung 1. Motivation / Grundlagen 2. Sortier- und Selektionsverfahren 3. Paradigmen des Algorithmenentwurfs 4. Ausgewählte Datenstrukturen 5. Algorithmische Geometrie 6. Umgang mit algorithmisch schwierigen

Mehr

2 Informationstheorie

2 Informationstheorie 2 Informationstheorie Formale Grundlagen der Informatik I Herbstsemester 2012 Robert Marti Vorlesung teilweise basierend auf Unterlagen von Prof. emer. Helmut Schauer Grundbegriffe Informatik (IT: Information

Mehr

2. Repräsentation und Codierung von Daten. Klassen von Codierverfahren

2. Repräsentation und Codierung von Daten. Klassen von Codierverfahren 2. Repräsentation und Codierung von Daten Klassen von Codierverfahren SS 2009 Multimediale Informationsverarbeitung: Repräsentation und Codierung 1 Klassen von Codierverfahren SS 2009 Multimediale Informationsverarbeitung:

Mehr