Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1"

Transkript

1 Informationsgehalt Kapitel 4.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design

2 Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle Sender Kanal Rauschen Senke Empfänger [Fig. 0] Blockdiagramm des Kommunikationsprozesses 2

3 Neben Darstellung von Zeichen: Aussage über Informationsgehalt eines Zeichens interessant Zeichen quantitativ im Vergleich zu anderen Zeichen oder im Hinblick auf technischen Darstellungsaufwand zu bewerten Ermittlung des Informationsgehalts I(x) eines Zeichens x Annahme: ein Zeichen trägt umso mehr Information, je seltener es beim Empfänger eintrifft! 3

4 Beispiele: Kartenspiel mit 32 Karten [Fig. 1] p() = 8/32 = 1/4 p() = 1/4 p()= 1/4 p()= 1/4 As p( As ) = 4/32 = 1/8 kein As p( kein As ) = 28/32 = 7/8 Also: Informationsgehalt I(x) eines Zeichens x steigt mit abnehmender Auftrittswahrscheinlichkeit p(x) dieses Zeichens 4

5 Voraussetzung: Beobachtete Zeichen voneinander unabhängig Definition: Informationsgehalt eines Zeichens x 1 I( x) ld ld p( x) p( x) Einheit, wie beim Binärsignal bereits eingeführt: bit 1 bit entspricht der elementaren Entscheidung zwischen zwei gleichwahrscheinlichen Möglichkeiten p(x) = 0,5 Frage? Ja Nein 5

6 Beispiele: Kartenspiel mit 32 Karten gleich- bzw. ungleichwahrscheinliche Symbole p() =1/4 p() = 1/4 I() = 2 bit I() = 2 bit p()= 1/4 I()= 2 bit p()= 1/4 I()= 2 bit p( As ) = 1/8 p( kein As ) = 7/8 As kein As I( As ) = 3 bit I( kein As ) = 0,2 bit Informationsgehalt in bit: Anzahl elementarer Ja/Nein-Fragen (beide Antworten mit gleicher Wahrscheinlichkeit), mit denen das Zeichen codiert werden kann. Für p(x) > 0,5 ist I(x) < 1 bit 6

7 Definition: Informationsgehalt eines Zeichens x Informationsgehalt I(x) in bits I( x ) ld 1 p( x ) 7 Wahrscheinlichkeit p(x)

8 Betrachtung nichtgleichwahrscheinlicher Zeichen: Frage: -Informationsgehalt eines Zeichens in einer Zeichenfolge Für Alphabet mit N Zeichen gilt: N i 1 p 1 x i In einer Zeichenfolge mit L Zeichen ist die zu erwartende Häufigkeit eines speziellen Zeichens x i : L p x i 8

9 4 Kartendecks. Aus jedem Deck wird eine Karte gezogen 2 Quellen geben uns Informationen darüber, welche Karten gezogen wurden als Zeichenfolgen mit L=4 Zeichen ihres Alphabets. [Fig. 1] Quelle 1 Alphabet: {,,,} Quelle 2 Alphabet: { As, kein As } erwartete Häufigkeiten : 4 1 : 4 1 : 4 1 : 4 1 erwartete Häufigkeiten As : 4 0,5 kein As : 4 3,5 Welche Quelle liefert uns mehr Information? 9

10 Alle beobachteten Zeichen des Typs x i liefern insgesamt den Informationsgehalt L p x Ix L px i i i ld 1 p x i zu erwartende Häufigkeit Informationsgehalt des Zeichens Wenn alle N Zeichen des Alphabets zusammen betrachtet werden, ist der Informationsgehalt der Quelle: Man nennt Entropie der Quelle N i 1 p Weitere quantitative informationstheoretische Betrachtungen moderne Informationstheorie (C. Shannon) x i ld 1 p x i 10

11 Welche Quelle liefert uns mehr Information? Quelle 1 [Fig. 1] Alphabet: {,,,} Entropie Η Quelle 2 Alphabet: { As, kein As } Entropie Η 3 0,2, 11

12 Abbildungsverzeichnis [Fig. 0] Claude Shannon Von DobriZheglov, Wikimedia Commons, lizensiert durch CC BY SA 4.0, URL: [Fig. 1] Playing cards. Von Christian Gidlöf, Public Domain, URL: 12

Grundlagen der Technischen Informatik. Einführung in CMOS-Technologie. Kapitel 7.2

Grundlagen der Technischen Informatik. Einführung in CMOS-Technologie. Kapitel 7.2 Einführung in CMOS-Technologie Kapitel 7.2 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Abstraktionsebenen SYSTEM-Ebene + MODUL-/RT-Ebene (Register-Transfer) Logik-/GATTER-Ebene

Mehr

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch . Thema Informationstheorie geht zurück auf Claude Shannon The Mathematical Theory of Communication beschäftigt sich mit Information

Mehr

1 Grundlagen. 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen

1 Grundlagen. 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen 1 Grundlagen 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen Die Überlegungen dieses Kapitels basieren auf der Informationstheorie von Shannon. Er beschäftigte

Mehr

Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines

Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines Seite 1 Georg-August-Universität Göttingen Robert Schaback Zum Begriff der Information in Mathematik und Informatik Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A)

Mehr

Kapitel 9: Informationstheorie. 2. Entropie

Kapitel 9: Informationstheorie. 2. Entropie ZHAW, NT, FS2008, Rumc, Kapitel 9: 2-1 Kapitel 9: Informationstheorie 2. Entropie Inhaltsverzeichnis 2.1. INFORATIONSQUELLEN...2 2.2. INFORATIONSGEHALT...3 2.3. INIALE ANZAHL BINÄRE FRAGEN...5 2.4. ENTROPIE

Mehr

Informationstheorie als quantitative Methode in der Dialektometrie

Informationstheorie als quantitative Methode in der Dialektometrie Informationstheorie als quantitative Methode in der Dialektometrie 1 Informationstheorie als quantitative Methode in der Dialektometrie Informationstheorie als quantitative Methode in der Dialektometrie

Mehr

Klausur Informationstheorie und Codierung

Klausur Informationstheorie und Codierung Klausur Informationstheorie und Codierung WS 2013/2014 23.01.2014 Name: Vorname: Matr.Nr: Ich fühle mich gesundheitlich in der Lage, die Klausur zu schreiben Unterschrift: Aufgabe A1 A2 A3 Summe Max. Punkte

Mehr

Einführung in die medizinische Bildverarbeitung WS 12/13

Einführung in die medizinische Bildverarbeitung WS 12/13 Einführung in die medizinische Bildverarbeitung WS 12/13 Stephan Gimbel Kurze Wiederholung Landmarkenbasierte anhand anatomischer Punkte interaktiv algorithmisch z.b. zur Navigation im OP Markierung von

Mehr

zu Aufgabe 26: a) A 3 A 2 A 4 A 1 A 5 A 0 A 6

zu Aufgabe 26: a) A 3 A 2 A 4 A 1 A 5 A 0 A 6 zu ufgabe 6: a) 3 5 6 7 p( ) p( ) p( 3 ) p( ) p( 5 ) p( 6 ) p( 7 ) = p( 3 ) = p( 3 ) = p( 3 ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = 8 p( ) = p( ) = p( ) = p( ) Lösung: b) binär 8 p(

Mehr

Einführung in die Medizinische Informatik

Einführung in die Medizinische Informatik Einführung in die Medizinische Informatik 1 M + I MI (Wiederholung) 2 Information, Informationsgehalt, Entscheidung Reinhold Haux, Christopher Duwenkamp, Nathalie Gusew Institut für Medizinische Informatik

Mehr

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b.

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b. Entropie Grundlegend für das Verständnis des Begriffes der Komprimierung ist der Begriff der Entropie. In der Physik ist die Entropie ein Maß für die Unordnung eines Systems. In der Informationstheorie

Mehr

Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1

Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1 Information, Entropie und Redundanz Technische Informationsquelle Entropie und Redundanz Huffman Codierung Martin Werner WS 9/ Martin Werner, Dezember 9 Information und Daten Informare/ Informatio (lat.)

Mehr

Technische Informatik - Eine Einführung

Technische Informatik - Eine Einführung Martin-Luther-Universität Halle-Wittenberg Fachbereich Mathematik und Informatik Lehrstuhl für Technische Informatik Prof. P. Molitor Technische Informatik - Eine Einführung Darstellung von Zeichen und

Mehr

Molekulare Bioinformatik

Molekulare Bioinformatik Molekulare Bioinformatik Wintersemester 203/204 Prof. Thomas Martinetz Institut für Neuro- und Bioinformatik Universität zu Luebeck 07.0.204 Molekulare Bioinformatik - Vorlesung 0 Wiederhohlung Die Entropie

Mehr

Grundlagen der Technischen Informatik. Codierung und Fehlerkorrektur. Kapitel 4.2

Grundlagen der Technischen Informatik. Codierung und Fehlerkorrektur. Kapitel 4.2 Codierung und Fehlerkorrektur Kapitel 4.2 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916)

Mehr

A1.7: Entropie natürlicher Texte

A1.7: Entropie natürlicher Texte A1.7: Entropie natürlicher Texte Anfang der 1950er Jahre hat Claude E. Shannon die Entropie H der englischen Sprache mit einem bit pro Zeichen abgeschätzt. Kurz darauf kam Karl Küpfmüller bei einer empirischen

Mehr

Inhalt. 1. Was ist Information 2. Nachrichtentechnische Definition 3. Algorithmische Definition 4. Darstellung in der Informatik

Inhalt. 1. Was ist Information 2. Nachrichtentechnische Definition 3. Algorithmische Definition 4. Darstellung in der Informatik Kapitel 2 Information Information ist der grundlegende Begriff der Informatik. Mehr noch: Der Begriff der Information ist vermutlich das zentrale interdisziplinäre Brückenkonzept der modernen Wissenschaften

Mehr

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele Organisation Was kommt zum Test? Buch Informatik Grundlagen bis inkl Kapitel 74 Wissensfragen und Rechenbeispiele 3 Vorträge zur Übung Informationstheorie, Huffman-Codierung und trennzeichenfreie Codierung

Mehr

Vortrag am Kai Sauer Nanostrukturphysik I

Vortrag am Kai Sauer Nanostrukturphysik I Vortrag am 29.02.2013 Kai Sauer Nanostrukturphysik I 1 Informationsfluss Informationstheorie Hartley-Information Shannon-Information Kanalkapazität und gestörte Kanäle Einfaches Übertragungsmodell Beispiele

Mehr

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche: Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 5/ 44 Unser Modell Shannon

Mehr

2. Digitale Codierung und Übertragung

2. Digitale Codierung und Übertragung 2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Verlustfreie universelle Kompression 2.3 Digitalisierung, Digitale Medien Weiterführende Literatur zum Thema Informationstheorie:

Mehr

Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir

Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht

Mehr

Mathe III. Garance PARIS. Mathematische Grundlagen III. Informationstheorie. 20. Juni /1

Mathe III. Garance PARIS. Mathematische Grundlagen III. Informationstheorie. 20. Juni /1 Mathematische Grundlagen III Informationstheorie 20 Juni 20 / Informationstheorie Ein Gerüst, um über den Informationsgehalt von (linguistischen) Ereignissen nachzudenken Einige Beispiele für Anwendungen:

Mehr

Begriffe aus der Informatik Nachrichten

Begriffe aus der Informatik Nachrichten Begriffe aus der Informatik Nachrichten Gerhard Goos definiert in Vorlesungen über Informatik, Band 1, 1995 Springer-Verlag Berlin Heidelberg: Die Darstellung einer Mitteilung durch die zeitliche Veränderung

Mehr

Übung zur Vorlesung. Informationstheorie und Codierung

Übung zur Vorlesung. Informationstheorie und Codierung Übung zur Vorlesung Informationstheorie und Codierung Prof. Dr. Lilia Lajmi Juni 25 Ostfalia Hochschule für angewandte Wissenschaften Hochschule Braunschweig/Wolfenbüttel Postanschrift: Salzdahlumer Str.

Mehr

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Prof. Bernd Brügge, Ph.D Institut für Informatik Technische Universität München Sommersemester 2 2. Juli 2 Copyright 2 Bernd

Mehr

Musterlösung: 11. Dezember 2014, 10:43. Informationstheorie und Entropiekodierung

Musterlösung: 11. Dezember 2014, 10:43. Informationstheorie und Entropiekodierung Audiotechnik II Digitale Audiotechnik: 8. Übung Prof. Dr. Stefan Weinzierl 11.12.2014 Musterlösung: 11. Dezember 2014, 10:43 Informationstheorie und Entropiekodierung Bei der Entropiekodierung werden die

Mehr

(Prüfungs-)Aufgaben zur Codierungstheorie

(Prüfungs-)Aufgaben zur Codierungstheorie (Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1

Mehr

Prof. Dr. Stefan Weinzierl Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit zur Fehlererkennung kodiert.

Prof. Dr. Stefan Weinzierl Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit zur Fehlererkennung kodiert. Audiotechnik II Digitale Audiotechnik: 8. Tutorium Prof. Dr. Stefan Weinzierl 9.2.23 Musterlösung: 9. Dezember 23, 8:34 Fehlerkorrektur II Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit

Mehr

Eigenschaften der relativen Häufigkeit ( Zur Erinnerung) Axiomatische Definition der Wahrscheinlichkeit: Vorlesung Statistik WING

Eigenschaften der relativen Häufigkeit ( Zur Erinnerung) Axiomatische Definition der Wahrscheinlichkeit: Vorlesung Statistik WING Eigenschaften der relativen Häufigkeit ( Zur Erinnerung) Axiomatische Definition der Wahrscheinlichkeit: Melanie Kaspar, Prof. Dr. B. Grabowski 1 Aus diesen Eigenschaften lassen sich alle weiteren Eigenschaften

Mehr

Vorlesung Statistik WING ASW Melanie Kaspar, Prof. Dr. B. Grabowski 1

Vorlesung Statistik WING ASW Melanie Kaspar, Prof. Dr. B. Grabowski 1 Melanie Kaspar, Prof. Dr. B. Grabowski 1 Aus diesen Eigenschaften lassen sich alle weiteren Eigenschaften ableiten: Beweis zu 1) Melanie Kaspar, Prof. Dr. B. Grabowski 2 Aufgabe Die Wahrscheinlichkeit

Mehr

Grundlagen der Technischen Informatik. Hamming-Codes. Kapitel 4.3

Grundlagen der Technischen Informatik. Hamming-Codes. Kapitel 4.3 Hamming-Codes Kapitel 4.3 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Inhalt Welche Eigenschaften müssen Codes haben, um Mehrfachfehler erkennen und sogar korrigieren zu können?

Mehr

Seminar Kolmogorovkomplexität. Universität Potsdam Wintersemester 2009/10

Seminar Kolmogorovkomplexität. Universität Potsdam Wintersemester 2009/10 Universität Potsdam Wintersemester 2009/10 Kolmogorovkomplexität Kolmogorovkomplexität (auch Algorithmische Komplexität ) ist der zentrale Begriff der Algorithmischen Informationstheorie (AIT). Kombiniert

Mehr

Diskrete Strukturen Kapitel 2: Grundlagen (Mengen)

Diskrete Strukturen Kapitel 2: Grundlagen (Mengen) WS 2016/17 Diskrete Strukturen Kapitel 2: Grundlagen (Mengen) Hans-Joachim Bungartz Lehrstuhl für wissenschaftliches Rechnen Fakultät für Informatik Technische Universität München http://www5.in.tum.de/wiki/index.php/diskrete_strukturen_-_winter_16

Mehr

Unabhängigkeit KAPITEL 4

Unabhängigkeit KAPITEL 4 KAPITEL 4 Unabhängigkeit 4.1. Unabhängigkeit von Ereignissen Wir stellen uns vor, dass zwei Personen jeweils eine Münze werfen. In vielen Fällen kann man annehmen, dass die eine Münze die andere nicht

Mehr

2.7 Der Shannon-Fano-Elias Code

2.7 Der Shannon-Fano-Elias Code 2.7 Der Shannon-Fano-Elias Code Die Huffman-Codierung ist ein asymptotisch optimales Verfahren. Wir haben auch gesehen, dass sich die Huffman-Codierung gut berechnen und dann auch gut decodieren lassen.

Mehr

Grundlagen Anwendungen Quellen. Steganographie. Ingo Blechschmidt, Michael Hartmann LUGA. 4. Oktober 2006

Grundlagen Anwendungen Quellen. Steganographie. Ingo Blechschmidt, Michael Hartmann LUGA. 4. Oktober 2006 Grundlagen Anwendungen Quellen Ingo Blechschmidt, Michael Hartmann LUGA 4. Oktober 2006 Grundlagen Anwendungen Quellen Inhalt 1 Grundlagen Definition der Beispiele für Historische Anwendungen der Abgrenzung

Mehr

2 Informationstheorie

2 Informationstheorie 2 Informationstheorie Formale Grundlagen der Informatik I Herbstsemester 2012 Robert Marti Vorlesung teilweise basierend auf Unterlagen von Prof. emer. Helmut Schauer Grundbegriffe Informatik (IT: Information

Mehr

Definition der Entropie unter Verwendung von supp(p XY )

Definition der Entropie unter Verwendung von supp(p XY ) Definition der Entropie unter Verwendung von supp(p XY ) Wir fassen die Ergebnisse des letzten Abschnitts nochmals kurz zusammen, wobei wir von der zweidimensionalen Zufallsgröße XY mit der Wahrscheinlichkeitsfunktion

Mehr

Tutorübung zur Vorlesung Grundlagen Rechnernetze und Verteilte Systeme Übungsblatt 3 (6. Mai 10. Mai 2013)

Tutorübung zur Vorlesung Grundlagen Rechnernetze und Verteilte Systeme Übungsblatt 3 (6. Mai 10. Mai 2013) Technische Universität München Lehrstuhl Informatik VIII Prof. Dr.-Ing. Georg Carle Dipl.-Ing. Stephan Günther, M.Sc. Nadine Herold, M.Sc. Dipl.-Inf. Stephan Posselt Tutorübung zur Vorlesung Grundlagen

Mehr

Unsicherheit * M RS = 6

Unsicherheit * M RS = 6 Informationstheorie Gegenstand Unsicherheit Überraschung Entropie Relative und maximale Entropie, Redundanz Konditionale Entropie und Verbundentropie Wechselseitige ("Mutual") Information Gegenstand Kodierung,

Mehr

Grundlagen der Technischen Informatik. Einführung. Kapitel 1.1

Grundlagen der Technischen Informatik. Einführung. Kapitel 1.1 Grundlagen der Technischen Informatik Einführung Kapitel 1.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Einordnung des Lehrstuhls Universität Erlangen-Nürnberg 5 Fakultäten über

Mehr

Wissensmanagement. Knowledge Management meets Quality Management

Wissensmanagement. Knowledge Management meets Quality Management Kurs: Dozent: Wissensmanagement Friedel Völker Thema: Knowledge Management meets Quality Management Agenda Qualitätsmanagement (QM) EFQM Excellence Model 2013 Historische Entwicklung Anforderungen des

Mehr

Die ABSOLUTE HÄUFIGKEIT einer Merkmalsausprägung gibt an, wie oft diese in der Erhebung eingetreten ist.

Die ABSOLUTE HÄUFIGKEIT einer Merkmalsausprägung gibt an, wie oft diese in der Erhebung eingetreten ist. .3. Stochastik Grundlagen Die ABSOLUTE HÄUFIGKEIT einer Merkmalsausprägung gibt an, wie oft diese in der Erhebung eingetreten ist. Die RELATIVE HÄUFIGKEIT einer Merkmalsausprägung gibt an mit welchem Anteil

Mehr

Kapitel 3: Etwas Informationstheorie

Kapitel 3: Etwas Informationstheorie Stefan Lucks 3: Informationstheorie 28 orlesung Kryptographie (SS06) Kapitel 3: Etwas Informationstheorie Komplexitätstheoretische Sicherheit: Der schnellste Algorithmus, K zu knacken erfordert mindestens

Mehr

Optimalcodierung. Thema: Optimalcodierung. Ziele

Optimalcodierung. Thema: Optimalcodierung. Ziele Optimalcodierung Ziele Diese rechnerischen und experimentellen Übungen dienen der Vertiefung der Kenntnisse im Bereich der Optimalcodierung, mit der die Zeichen diskreter Quellen codiert werden können.

Mehr

Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung

Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung Huffman-Codierung, arithmetische Codierung Theoretische Informatik RWTH-Aachen 4. April 2012 Übersicht 1 Einführung 2 3 4 5 6 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft

Mehr

Interaktives Skriptum: Elementare Wahrscheinlichkeitsrechnung

Interaktives Skriptum: Elementare Wahrscheinlichkeitsrechnung Interaktives Skriptum: Elementare Wahrscheinlichkeitsrechnung 1. Grundbegriffe Würfeln, Werfen einer Münze, Messen der Lebensdauer einer Glühbirne Ausfall/Ausgang: Würfeln: Augenzahlen 1, 2, 3, 4, 5, 6

Mehr

Informationstheorie und Codierung

Informationstheorie und Codierung Informationstheorie und Codierung 3. Codierung diskreter Quellen Gleichmäßiger Code Ungleichmäßiger Code Fano-, Huffman-Codierung Optimalcodierung von Markoff-Quellen Lauflängencodes nach Golomb und Rice

Mehr

Lösungsvorschläge zu Blatt Nr. 13

Lösungsvorschläge zu Blatt Nr. 13 Institut für Algorithmen und Kognitive Systeme Dr. Jörn Müller-Quade Carmen Kempka Christian Henrich Nico Döttling Vorlesung Informatik III Lösungsvorschläge zu Blatt Nr. Aufgabe (K ( Punkte Gegeben ist

Mehr

Mathematische Grundlagen III

Mathematische Grundlagen III Mathematische Grundlagen III Informationstheorie Vera Demberg Universität des Saarlandes 26. Juni 202 Vera Demberg (UdS) Mathe III 26. Juni 202 / 43 Informationstheorie Entropie (H) Wie viel Information

Mehr

Dynamisches Huffman-Verfahren

Dynamisches Huffman-Verfahren Dynamisches Huffman-Verfahren - Adaptive Huffman Coding - von Michael Brückner 1. Einleitung 2. Der Huffman-Algorithmus 3. Übergang zu einem dynamischen Verfahren 4. Der FGK-Algorithmus 5. Überblick über

Mehr

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert.

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. Anwendungen von Bäumen 4.3.2 Huffman Code Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. => nutzbar für Kompression Code fester

Mehr

Signale und Codes Vorlesung 4

Signale und Codes Vorlesung 4 Signale und Codes Vorlesung 4 Nico Döttling December 6, 2013 1 / 18 2 / 18 Letztes Mal Allgemeine Hamming Codes als Beispiel linearer Codes Hamming Schranke: Obere Schranke für k bei gegebenem d bzw. für

Mehr

Codes on Graphs: Normal Realizations

Codes on Graphs: Normal Realizations Codes on Graphs: Normal Realizations Autor: G. David Forney, Jr. Seminarvortrag von Madeleine Leidheiser und Melanie Reuter Inhaltsverzeichnis Einführung Motivation Einleitung Graphendarstellungen Trellis

Mehr

Computergrafik 2: Übung 2. Subsampling und Moiré-Effekte, Color Maps und Histogrammlinearisierung

Computergrafik 2: Übung 2. Subsampling und Moiré-Effekte, Color Maps und Histogrammlinearisierung Computergrafik 2: Übung 2 Subsampling und Moiré-Effekte, Color Maps und Histogrammlinearisierung Inhalt Besprechung von Übung 1 Subsampling und Moiré Effekte Color Maps Histogrammlinearisierung Computergrafik

Mehr

WS 2016/17 Diskrete Strukturen Kapitel 3: Kombinatorik (1)

WS 2016/17 Diskrete Strukturen Kapitel 3: Kombinatorik (1) WS 2016/17 Diskrete Strukturen Kapitel 3: Kombinatorik (1) Hans-Joachim Bungartz Lehrstuhl für wissenschaftliches Rechnen Fakultät für Informatik Technische Universität München http://www5.in.tum.de/wiki/index.php/diskrete_strukturen_-_winter_16

Mehr

Referat zum Thema Huffman-Codes

Referat zum Thema Huffman-Codes Referat zum Thema Huffman-Codes Darko Ostricki Yüksel Kahraman 05.02.2004 1 Huffman-Codes Huffman-Codes ( David A. Huffman, 1951) sind Präfix-Codes und das beste - optimale - Verfahren für die Codierung

Mehr

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Codierung Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Ein bisschen Informationstheorie Betrachten wir das folgende Problem: Wie lautet eine sinnvolle Definition für das quantitative

Mehr

Kapitel 2 Quellencodierung

Kapitel 2 Quellencodierung Kapitel 2 Quellencodierung Prof. Dr. Dirk W. Hoffmann Hochschule Karlsruhe w University of Applied Sciences w Fakultät für Informatik Übersicht Quelle Senke Kompression Huffman-, Arithmetische-, Lempel-Ziv

Mehr

9.4 Sicherheit von Verschlüsselungsverfahren

9.4 Sicherheit von Verschlüsselungsverfahren 9.4 Sicherheit von Verschlüsselungsverfahren ist bedroht durch = Resistenz gegenüber Kryptoanalyse kleine Schlüsselräume (erlauben systematisches Ausprobieren aller möglichen Schlüssel) Beispiel: Cäsars

Mehr

Übungsblatt Nr. 6. Lösungsvorschlag

Übungsblatt Nr. 6. Lösungsvorschlag Institut für Kryptographie und Sicherheit Prof. Dr. Jörn Müller-Quade Nico Döttling Dirk Achenbach Tobias Nilges Vorlesung Theoretische Grundlagen der Informatik Übungsblatt Nr. 6 Aufgabe (K) (4 Punkte)

Mehr

ABITURPRÜFUNG 2006 LEISTUNGSFACH INFORMATIK (HAUPTTERMIN)

ABITURPRÜFUNG 2006 LEISTUNGSFACH INFORMATIK (HAUPTTERMIN) ABITURPRÜFUNG 2006 LEISTUNGSFACH INFORMATIK (HAUPTTERMIN) Arbeitszeit: Hilfsmittel: 270 Minuten Wörterbuch zur deutschen Rechtschreibung Taschenrechner (nicht programmierbar, nicht grafikfähig) (Schüler,

Mehr

3 Bedingte Wahrscheinlichkeit, Unabhängigkeit von Ereignissen

3 Bedingte Wahrscheinlichkeit, Unabhängigkeit von Ereignissen 3 Bedingte Wahrscheinlichkeit, Unabhängigkeit von Ereignissen 3.1 Einführung Bsp. 19 (3-maliges Werfen einer Münze) Menge der Elementarereignisse: Ω {zzz,zzw,zwz,wzz,zww,wzw,wwz,www}. Ω 2 3 8 N Wir definieren

Mehr

Mathematik für Naturwissenschaftler I WS 2009/2010

Mathematik für Naturwissenschaftler I WS 2009/2010 Mathematik für Naturwissenschaftler I WS 2009/2010 Lektion 18 8. Januar 2010 Kapitel 5. Funktionen mehrerer Veränderlicher, Stetigkeit und partielle Ableitungen 5.2. Partielle Ableitungen von Funktionen

Mehr

Datenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut

Datenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut Datenkompression Holger Rauhut 1. September 2010 Skript für die Schülerwoche 2010, 8.-11.9.2010 Hausdorff Center for Mathematics, Bonn 1 Allgemeines Datenkompression hat zum Ziel, Daten in digitaler Form,

Mehr

2. Vorlesung: Boolesche Algebra

2. Vorlesung: Boolesche Algebra 2. Vorlesung: Boolesche Algebra Wiederholung Codierung, Decodierung Boolesche Algebra UND-, ODER-Verknüpfung, Negation Boolesche Postulate Boolesche Gesetze 1 Wiederholung 2 Bits und Bitfolgen Bit: Maßeinheit

Mehr

Digitale Signalverarbeitung

Digitale Signalverarbeitung Digitale Signalverarbeitung Mario Hlawitschka Wissenschaftliche Visualisierung, Universität Leipzig hlawit@informatik.uni-leipzig.de, http://www.informatik.uni-leipzig.de/ hlawit/ Mario Hlawitschka Digitale

Mehr

Hardware Leitungscodierung

Hardware Leitungscodierung Hardware Leitungscodierung Dr.-Ing. Matthias Sand Lehrstuhl für Informatik 3 (Rechnerarchitektur) Friedrich-Alexander-Universität Erlangen-Nürnberg WS 2007/2008 Hardware Leitungscodierung 1/16 2007-11-05

Mehr

Wahrscheinlichkeitstheorie

Wahrscheinlichkeitstheorie Kapitel 2 Wahrscheinlichkeitstheorie Josef Leydold c 2006 Mathematische Methoden II Wahrscheinlichkeitstheorie 1 / 24 Lernziele Experimente, Ereignisse und Ereignisraum Wahrscheinlichkeit Rechnen mit Wahrscheinlichkeiten

Mehr

Musterlösung zur Hauptklausur Theoretische Grundlagen der Informatik Wintersemester 2013/14

Musterlösung zur Hauptklausur Theoretische Grundlagen der Informatik Wintersemester 2013/14 Institut für Theoretische Informatik Prof. Dr. Jörn Müller-Quade Musterlösung zur Hauptklausur Theoretische Grundlagen der Informatik Wintersemester 23/4 Vorname Nachname Matrikelnummer Hinweise Für die

Mehr

SYSTEMANALYSE 2 Kapitel 8: Thermodynamik und Informationstheorie in der Systemanalyse

SYSTEMANALYSE 2 Kapitel 8: Thermodynamik und Informationstheorie in der Systemanalyse Universität Koblenz-Landau Fachbereich 7: Natur-und Umweltwissenschaften Institut für Umweltwissenschaften Dr. Horst Niemes(Lehrbeauftragter) SYSTEMANALYSE 2 Kapitel 8: Thermodynamik und Informationstheorie

Mehr

a) (A B) tritt ein = A tritt ein oder B tritt ein. = Mindestens eines der Ereignisse A, B tritt ein.

a) (A B) tritt ein = A tritt ein oder B tritt ein. = Mindestens eines der Ereignisse A, B tritt ein. Lösungsvorschläge zu den Aufgaben von Blatt 6: 43) 7 Telefonzellen ( 7 Kugeln in der Urne); 3 davon sind von je einem Benutzer besetzt ( 3 Kugeln in die Stichprobe). Die Telefonzellen werden nicht mehrfach

Mehr

Einführung (1) Erster funktionsfähiger programmgesteuerter Rechenautomat Z3, fertiggestellt 1941 Bild: Nachbau im Deutschen Museum München

Einführung (1) Erster funktionsfähiger programmgesteuerter Rechenautomat Z3, fertiggestellt 1941 Bild: Nachbau im Deutschen Museum München Einführung (1) Erster funktionsfähiger programmgesteuerter Rechenautomat Z3, fertiggestellt 1941 Bild: Nachbau im Deutschen Museum München Einführung (2) Architektur des Haswell- Prozessors (aus c t) Einführung

Mehr

Lochmann Information und der Entropie-Irrtum

Lochmann Information und der Entropie-Irrtum Lochmann Information und der Entropie-Irrtum Berichte aus der Philosophie Dietmar Lochmann Information und der Entropie-Irrtum Shaker Verlag Aachen 2012 Die Deutsche Nationalbibliothek verzeichnet diese

Mehr

SBP Mathe Aufbaukurs 1 # 0 by Clifford Wolf. SBP Mathe Aufbaukurs 1

SBP Mathe Aufbaukurs 1 # 0 by Clifford Wolf. SBP Mathe Aufbaukurs 1 SBP Mathe Aufbaukurs 1 # 0 by Clifford Wolf SBP Mathe Aufbaukurs 1 # 0 Antwort Diese Lernkarten sind sorgfältig erstellt worden, erheben aber weder Anspruch auf Richtigkeit noch auf Vollständigkeit. Das

Mehr

Grundbegriffe der Informatik Tutorium 3

Grundbegriffe der Informatik Tutorium 3 Grundbegriffe der Informatik Tutorium 3 Tutorium Nr. 16 Philipp Oppermann 18. November 2014 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Digitaltechnik I WS 2006/2007. Klaus Kasper

Digitaltechnik I WS 2006/2007. Klaus Kasper Digitaltechnik I WS 2006/2007 Klaus Kasper Studium 6 Semester 5. Semester: Praxissemester im Anschluss: Bachelorarbeit 6. Semester: WPs Evaluation der Lehre Mentorensystem 2 Organisation des Studiums Selbständigkeit

Mehr

Splitting. Impurity. c 1. c 2. c 3. c 4

Splitting. Impurity. c 1. c 2. c 3. c 4 Splitting Impurity Sei D(t) eine Menge von Lernbeispielen, in der X(t) auf die Klassen C = {c 1, c 2, c 3, c 4 } verteilt ist. Illustration von zwei möglichen Splits: c 1 c 2 c 3 c 4 ML: III-29 Decision

Mehr

Lösungsvorschlag 3. Übung Technische Grundlagen der Informatik II Sommersemester 2009

Lösungsvorschlag 3. Übung Technische Grundlagen der Informatik II Sommersemester 2009 Fachgebiet Rechnerarchitektur Fachbereich Informatik Lösungsvorschlag 3. Übung Technische Grundlagen der Informatik II Sommersemester 2009 Aufgabe 3.1: Codierungen a) Vervollständigen Sie folge Tabelle,

Mehr

Einblicke in die Informationstheorie

Einblicke in die Informationstheorie Experimente & Modelle Einblicke in die Informationstheorie von Jürgen Müller Der Austausch von Information findet in unserem Leben ständig statt. Einer der Begründer der Informationstheorie, Norbert Wiener

Mehr

Stochastische Lernalgorithmen

Stochastische Lernalgorithmen Stochastische Lernalgorithmen Gerhard Jäger 14. Mai 2003 Das Maximum-Entropy-Prinzip Der Entropiebegriff Entropie: Chaos, Unordung, Nicht-Vorhersagbarkeit,... Begriff kommt ursprünglich aus der Physik:

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Übung 8 Dirk Achenbach 7. Februar 2013 I NSTITUT FÜR K RYPTOGRAPHIE UND S ICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Improving the Accuracy of GPS

Improving the Accuracy of GPS Improving the Accuracy of GPS Stephan Kopf, Thomas King, Wolfgang Effelsberg Lehrstuhl für Praktische Informatik IV Universität Mannheim Gliederung Motivation ierungsfehler von GPS Steigerung der Genauigkeit

Mehr

Modelle der Kommunikation. 1. Technisches Kommunikationsmodell Shannon&Weaver 2. Eisbergmodell Sigmund Freud 3. 4 Seiten Modell Schulz von Thun

Modelle der Kommunikation. 1. Technisches Kommunikationsmodell Shannon&Weaver 2. Eisbergmodell Sigmund Freud 3. 4 Seiten Modell Schulz von Thun Modelle der Kommunikation 1. Technisches Kommunikationsmodell Shannon&Weaver 2. Eisbergmodell Sigmund Freud 3. 4 Seiten Modell Schulz von Thun 1 Ein einfaches Modell der Kommunikation: Shannon & Weaver

Mehr

Visual Servoing using Mutual Information

Visual Servoing using Mutual Information Visual Servoing using Mutual Information Christian Rupprecht Robotics and Embedded Systems Technische Universität München Outline 1 Visual Servoing Was ist Visual Servoing? Typische Lösungsansätze 2 Mutual

Mehr

Einleitung. Kapitel 1

Einleitung. Kapitel 1 Kapitel 1 Einleitung In diesem Abschnitt geben wir einen kurzen Überblick über den Inhalt der Vorlesung. Wir werden kurz die wesentlichen Probleme erläutern, die wir ansprechen wollen. Wir werden auch

Mehr

Schwierigkeiten bei der Entropiebestimmung

Schwierigkeiten bei der Entropiebestimmung Schwierigkeiten bei der Entropiebestimmung Bisher haben wir uns ausschließlich mit künstlich erzeugten Symbolfolgen beschäftigt. Nun betrachten wir geschriebene Texte. Ein solcher Text kann als eine natürliche

Mehr

2. Übung zur Vorlesung Statistik 2

2. Übung zur Vorlesung Statistik 2 2. Übung zur Vorlesung Statistik 2 Aufgabe 1 Welche der folgenden grafischen Darstellungen und Tabellen zeigen keine (Einzel-)Wahrscheinlichkeitsverteilung? Kreuzen Sie die richtigen Antworten an und begründen

Mehr

WS 2009/10. Diskrete Strukturen

WS 2009/10. Diskrete Strukturen WS 2009/10 Diskrete Strukturen Prof. Dr. J. Esparza Lehrstuhl für Grundlagen der Softwarezuverlässigkeit und theoretische Informatik Fakultät für Informatik Technische Universität München http://www7.in.tum.de/um/courses/ds/ws0910

Mehr

Mathematik 3 für Informatik

Mathematik 3 für Informatik Gunter Ochs Wintersemester 20/6 Mathematik 3 für Informatik Lösungen zum Hausaufgabenblatt 4 Lösungshinweise (ohne Ganantie auf Fehlerfreiheit. Wenn man beim Roulette auf Rot oder Schwarz setzt, erhält

Mehr

Farb-Fernsehsignal (Composite FBAS)

Farb-Fernsehsignal (Composite FBAS) Farb-Fernsehsignal (Composite FBAS) Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada VIDEO- Digitalisierung Gemeinsame Kodierung FBAS Farbbild- Austast- und Synchronsignal

Mehr

Proseminar WS 2002/2003

Proseminar WS 2002/2003 Technische Universität Chemnitz Fakultät für Informatik Professur Theoretische Informatik Proseminar WS 2002/2003 Thema: Datenkompression Dynamisches / Adaptives Huffman-Verfahren Danny Grobe Rainer Kuhn

Mehr

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005. Das Problem.. Quellcodierung und Datenkompression. Wir wollen eine Nachricht über einen digitalen Kanal, der nur 0 oder übertragen kann, schicken.

Mehr

6 Informationsflußkontrolle

6 Informationsflußkontrolle 6 Informationsflußkontrolle Daten/Informationsfluß bei Lese/Kopiervorgängen aller Art, z.b. von Objekt A nach Objekt B von Person P nach Datei D von Server S zu Klient K usw. alles auch transitiv! Informationsflußkontrolle

Mehr

Coenenberg. Die Kommunikation in der Unternehmung

Coenenberg. Die Kommunikation in der Unternehmung Coenenberg Die Kommunikation in der Unternehmung Band 9 der Schriftenreihe Betriebswirtschaftlichc Beiträge Herausgeber: Dr. Hans Münstermann ord. Professor der Betriebswirtschaftslehre an der Universität

Mehr

2 - Konvergenz und Limes

2 - Konvergenz und Limes Kapitel 2 - Folgen Reihen Seite 1 2 - Konvergenz Limes Definition 2.1 (Folgenkonvergenz) Eine Folge komplexer Zahlen heißt konvergent gegen, wenn es zu jeder positiven Zahl ein gibt, so dass gilt: Die

Mehr