i Der Informatinonsgehalt ist also intuitiv umgekehrt proportional der Auftritswahrscheimlichkeit.
|
|
- Hanna Solberg
- vor 5 Jahren
- Abrufe
Transkript
1 1
2 2
3 Im ersten Schritt werden wir uns mit dem Begriff und der Definition der Information beschäftigen. Ferner werden die notwendigen math. Grundlagen zur Quellencodierung gelegt. Behandelt werden Huffman, Lempel Ziv sowie einige kryptologische Verfahren. Ziel: Sie haben die grundlegenden Verfahren und Ansätze zur Informationstheorie und Quellenkodierung verstanden und können diese anhand von Beispielrechnungen erklären und anwenden. 3
4 Die Quelle hat eine endliche Menge von Zeichen, z.b.: a,b,c,d. Produzieren kann die Quelle unendlich viele Zeichen dieser Menge, dabei werden die Zeichen i.d.r. unterschiedlich oft erzeugt, d.h. jedes Zeichen hat eine bestimmte Auftrittswahrscheinlichkeit Die Senke muss über den gleichen Zeichenvorrat verfügen, da ansonsten keine Interpretation der Zeichen möglich ist. Ein unbekanntes Zeichen ist irrelevant. Kommt nur ein einziges Zeichen vor ( Dauerton ), so ist dieses Zeichen redundant, da es sicher vorhersagbar ist, es enthält also keine Information. Umgekehrt lässt sich daraus schliessen, ein Zeichen, dass sehr selten auftritt, hat eine hohe Information oder anders gesagt der Informationsgehalt I eines Zeichen scheint intuitiv umgekehrt proportional seiner Auftrittswahrscheinlichkeit zu sein: I 1 P ( x i ) Der Informatinonsgehalt ist also intuitiv umgekehrt proportional der Auftritswahrscheimlichkeit. 4
5 5
6 6
7 7
8 8
9 9
10 10
11 11
12 12
13 13
14 14
15 15
16 Basis für die Definition des Entscheidungsgehalt ist die Idee der Elementarentscheidung. Eine Elementarentscheidung ist eine zweiwertige ja/nein (0/1)Entscheidung. Zwei Zeichen können mit einem Bit codiert bzw. unterschieden werden. Sind N Zeichen zu Unterscheiden, sind lbn Bit erforderlich lb: Logarithmus binär oder ld: Logarithmus dualis (Logarithmus zur Basis 2) Der Entscheidungsgehalt ist eine definierte Grösse und kann auch ungerade Werte annehmen. Der Entscheidungsgehalt von 5 Zeichen ist geringer als von 7 Zeichen obwohl zur Realisierung natürlich 3 Bit erforderlich wären. Damit wären dann aber 8 Zeichen unterscheidbar. Aus dem Grund unterscheid wir zwischen den abstrakten Informationsgrössen und den konkreten Codewortlängen L, die nur ganzzahlige Grössen annehmen können, Berechnen des lb N? x x N = 2 log N = log2 = x log2 Beispiele: log N x = = lbn log2 16
17 Wie bereits vorher intuitiv definiert, war der Informationsgehalt eines Zeichen umgekehrt proportional zu seiner Auftrittswahrscheinlichkeit. Da dieser Wert in notwendigen Elementarentscheidungen, also Bit, gemessen wird. ist der Lb zu berechnen Sind alle Zeichen gleich wahrscheinlich gilt ferner P(x) = 1/N und somit I = lbn was wieder dem Entscheidungsgehalt H 0 entspricht Der mittleren Informationsgehalt ist die gewichtete Summe der Informationseinheiten I i wobei x i /N der Wahrscheinlichkeit p(xi) entspricht Beispiel: Zeigen Sie, dass H(x) = H 0 = I gilt, wenn alle Zeichen gleichwahrscheinlich sind. 17
18 0 H(x) H 0 : Interpretation H(x) ist maximal, wenn alle Zeichen gleich wahrscheinlich sind. Dann ist H 0 = H(x) und die Redundanz der Quelle ist Null, d.h. eine Kompression kann nicht erfolgen. Je kleiner H(x) ist, um so grösser ist die Redundanz der Quelle, d.h. um so grösser ist eine mögliche Kompression Frage, wann kann die Redundanz einer Quelle gleich null werden und was bedeutet das für die Entropie? 18
Beispiel: Zeigen Sie, dass H(x) = H 0 = I gilt, wenn alle Zeichen gleichwahrscheinlich sind.
1 2 Im ersten Schritt werden wir uns mit dem Begriff und der Definition der Information beschäftigen. Ferner werden die notwendigen math. Grundlagen zur Quellencodierung gelegt. Behandelt werden Huffman,
MehrRedundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1
Information, Entropie und Redundanz Technische Informationsquelle Entropie und Redundanz Huffman Codierung Martin Werner WS 9/ Martin Werner, Dezember 9 Information und Daten Informare/ Informatio (lat.)
MehrKapitel 9: Informationstheorie. 2. Entropie
ZHAW, NT, FS2008, Rumc, Kapitel 9: 2-1 Kapitel 9: Informationstheorie 2. Entropie Inhaltsverzeichnis 2.1. INFORATIONSQUELLEN...2 2.2. INFORATIONSGEHALT...3 2.3. INIALE ANZAHL BINÄRE FRAGEN...5 2.4. ENTROPIE
MehrOrganisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele
Organisation Was kommt zum Test? Buch Informatik Grundlagen bis inkl Kapitel 74 Wissensfragen und Rechenbeispiele 3 Vorträge zur Übung Informationstheorie, Huffman-Codierung und trennzeichenfreie Codierung
MehrGrundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1
Informationsgehalt Kapitel 4.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle Sender
MehrEntropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b.
Entropie Grundlegend für das Verständnis des Begriffes der Komprimierung ist der Begriff der Entropie. In der Physik ist die Entropie ein Maß für die Unordnung eines Systems. In der Informationstheorie
Mehr(Prüfungs-)Aufgaben zur Codierungstheorie
(Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1
MehrKapitel 7: Optimalcodierung und Huffman Coding
Kapitel 7: codierung und Huffman Coding Ziele des Kapitels Auftreten von Fehlern bei zu starker Kompression Konstruktion optimaler Codes Huffman Coding 2 Bisher Theorem (Shannon I): Die mittlere Codewortlänge
MehrEinführung in die Informatik II Aus der Informationstheorie: Datenkompression
Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Prof. Bernd Brügge, Ph.D Institut für Informatik Technische Universität München Sommersemester 2 2. Juli 2 Copyright 2 Bernd
MehrDigitale Medien. Übung
Digitale Medien Übung Übungsbetrieb Informationen zu den Übungen: http://www.medien.ifi.lmu.de/dm Zwei Stunden pro Woche Praktische Anwendungen des theoretischen Vorlesungsstoffs Wichtige Voraussetzung
MehrTheoretische Grundlagen der Informatik. Vorlesung am 31. Januar INSTITUT FÜR THEORETISCHE INFORMATIK
Theoretische Grundlagen der Informatik 3..29 Torsten Ueckerdt - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu Thema dieses Kapitels Informationstheorie
MehrÜbung zur Vorlesung. Vorlesung: Heinrich Hußmann Übung: Renate Häuslschmid, Hanna Schneider
Übung zur Vorlesung Digitale Medien Vorlesung: Heinrich Hußmann Übung: Renate Häuslschmid, Hanna Schneider Wintersemester 2016/17 Bilder 20 x 14 Pixel (= Bildpunkte) 16 Bit Farben (= 65.536 Farben) 560
MehrÜbungsaufgaben zur Vorlesung Quellencodierung
Übungsaufgaben zur Vorlesung Quellencodierung Aufgabe 1: Gegeben seien die Verbundwahrscheinlichkeiten zweier diskreter Zufallsvariablen x und y: P(x, y) x 1 = 1 x 2 = 2 x 3 = 3 y 1 = 1 0.1 0.1 0.1 y 2
MehrGrundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch
Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch . Thema Informationstheorie geht zurück auf Claude Shannon The Mathematical Theory of Communication beschäftigt sich mit Information
Mehr3 Codierung diskreter Quellen. Quelle Quellcodierer Kanalcodierer reduziert die benötigte Datenmenge. fügt Daten zur Fehlerkorrektur ein.
3 Codierung diskreter Quellen 3 Einführung 32 Ungleichmäßige Codierung 33 Präfix-Codes 34 Grenzen der Code-Effizienz 35 Optimal-Codierung 3 Zusammenfassung < 24 / 228 > 3 Codierung diskreter Quellen Quelle
MehrInformatik I WS 07/08 Tutorium 24
Info I Tutorium 24 Informatik I WS 07/08 Tutorium 24 8.11.07 Bastian Molkenthin E-Mail: infotut@sunshine2k.de Web: http://www.sunshine2k.de Übersicht o Information und Bezugssysteme o Informationstheorie
Mehr3. Woche Information, Entropie. 3. Woche: Information, Entropie 45/ 238
3 Woche Information, Entropie 3 Woche: Information, Entropie 45/ 238 Informationsgehalt einer Nachricht Intuitiv: Je kleiner die Quellws, desto wichtiger oder strukturierter die Information, bzw höher
MehrDigitale Medien. Übung
Digitale Medien Übung Übungsbetrieb Informationen zu den Übungen: http://www.medien.ifi.lmu.de/dm http://www.die-informatiker.net Zwei Stunden pro Woche Praktische Anwendungen des theoretischen Vorlesungsstoffs
MehrKryptographie und Datensicherheit. Universität Potsdam Institut für Informatik Almahameed Ayman
Kryptographie und Datensicherheit Universität Potsdam Institut für Informatik Almahameed Ayman almahame@uni-potsdam.de Inhalt des Vortrags Einführung Grundlagen der Wahrscheinlichkeitstheorie Begriff der
Mehr2. Digitale Codierung und Übertragung
2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Verlustfreie universelle Kompression 2.3 Digitalisierung, Digitale Medien Weiterführende Literatur zum Thema Informationstheorie:
MehrMolekulare Bioinformatik
Molekulare Bioinformatik Wintersemester 203/204 Prof. Thomas Martinetz Institut für Neuro- und Bioinformatik Universität zu Luebeck 07.0.204 Molekulare Bioinformatik - Vorlesung 0 Wiederhohlung Die Entropie
MehrInformationsgehalt einer Nachricht
Informationsgehalt einer Nachricht Betrachten folgendes Spiel Gegeben: Quelle Q mit unbekannten Symbolen {a 1, a 2 } und p 1 = 0.9, p 2 = 0.1. Zwei Spieler erhalten rundenweise je ein Symbol. Gewinner
MehrWir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir
Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht
Mehr1 Grundlagen. 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen
1 Grundlagen 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen Die Überlegungen dieses Kapitels basieren auf der Informationstheorie von Shannon. Er beschäftigte
MehrInformationstheorie und Codierung
Informationstheorie und Codierung 3. Codierung diskreter Quellen Gleichmäßiger Code Ungleichmäßiger Code Fano-, Huffman-Codierung Optimalcodierung von Markoff-Quellen Lauflängencodes nach Golomb und Rice
MehrÜbung zur Vorlesung Digitale Medien. Doris Hausen Ludwig-Maximilians-Universität München Wintersemester 2010/2011
Übung zur Vorlesung Digitale Medien Doris Hausen Ludwig-Maximilians-Universität München Wintersemester 2010/2011 1 Übungsbetrieb Informationen zu den Übungen: http://www.medien.ifi.lmu.de/dm http://www.die-informatiker.net
MehrZusammenfassung ICTh Informations- und Codierungstheorie
Zusammenfassung ICTh Informations- und Codierungstheorie Emanuel Duss emanuel.duss@gmail.com 18. Januar 2014 Zusammenfassung ICTh Informations- und Codierungstheorie Dieses Dokument basiert auf der Vorlesung
MehrVorlesung 12. Quellencodieren und Entropie
Vorlesung 12 Quellencodieren und Entropie 1 S sei eine abzählbare Menge (ein Alphabet ). Die Elemente von S nennen wir Buchstaben. Wir wollen die Buchstaben a, b,... durch (möglichst kurze) 01-Folgen k(a),
MehrMusterlösung: 11. Dezember 2014, 10:43. Informationstheorie und Entropiekodierung
Audiotechnik II Digitale Audiotechnik: 8. Übung Prof. Dr. Stefan Weinzierl 11.12.2014 Musterlösung: 11. Dezember 2014, 10:43 Informationstheorie und Entropiekodierung Bei der Entropiekodierung werden die
MehrKapitel 2 Quellencodierung
Kapitel 2 Quellencodierung Prof. Dr. Dirk W. Hoffmann Hochschule Karlsruhe w University of Applied Sciences w Fakultät für Informatik Übersicht Quelle Senke Kompression Huffman-, Arithmetische-, Lempel-Ziv
MehrMusterlösung zur Aufgabe A1.1
Abschnitt: 1.1 Gedächtnislose Nachrichtenquellen Musterlösung zur Aufgabe A1.1 a) Bei der Datei Durchwachsen sind die beiden Wahrscheinlichkeiten p G und p B gleich, jeweils 0.5. Damit ergibt sich für
MehrStochastische Lernalgorithmen
Stochastische Lernalgorithmen Gerhard Jäger 14. Mai 2003 Das Maximum-Entropy-Prinzip Der Entropiebegriff Entropie: Chaos, Unordung, Nicht-Vorhersagbarkeit,... Begriff kommt ursprünglich aus der Physik:
MehrVorlesung 15a. Quellencodieren und Entropie
Vorlesung 15a Quellencodieren und Entropie 1 1. Volle Binärbäume als gerichtete Graphen und die gewöhnliche Irrfahrt von der Wurzel zu den Blättern 2 3 ein (nicht voller) Binärbaum Merkmale eines Binärbaumes:
MehrLabor für. Quelle. Gruppe: Datum: Matr.-Nr.: Matr.-Nr.: Matr.-Nr.: Name: Sommersemester 2017
Labor für Kommunikationssysteme Leitung: Prof. Dr.-Ing. Diederich Wermser Versuch: Quelle encodierung Sommersemester 2017 Gruppe: Datum: Teilnehmer: Name: Name: Name: Matr.-Nr.: Matr.-Nr.: Matr.-Nr.: Laborumdruck
MehrOptimalcodierung. Thema: Optimalcodierung. Ziele
Optimalcodierung Ziele Diese rechnerischen und experimentellen Übungen dienen der Vertiefung der Kenntnisse im Bereich der Optimalcodierung, mit der die Zeichen diskreter Quellen codiert werden können.
MehrSeite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines
Seite 1 Georg-August-Universität Göttingen Robert Schaback Zum Begriff der Information in Mathematik und Informatik Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A)
MehrA1.1: Wetterentropie. mit dem Logarithmus dualis
Abschnitt: 1.1 Gedächtnislose Nachrichtenquellen A1.1: Wetterentropie Eine Wetterstation fragt täglich verschiedene Regionen ab und bekommt als Antwort jeweils eine Meldung x zurück, nämlich x = B: Das
MehrInhalt. 1. Was ist Information 2. Nachrichtentechnische Definition 3. Algorithmische Definition 4. Darstellung in der Informatik
Kapitel 2 Information Information ist der grundlegende Begriff der Informatik. Mehr noch: Der Begriff der Information ist vermutlich das zentrale interdisziplinäre Brückenkonzept der modernen Wissenschaften
MehrMathe III. Garance PARIS. Mathematische Grundlagen III. Informationstheorie. 20. Juni /1
Mathematische Grundlagen III Informationstheorie 20 Juni 20 / Informationstheorie Ein Gerüst, um über den Informationsgehalt von (linguistischen) Ereignissen nachzudenken Einige Beispiele für Anwendungen:
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Informationstheorie INSTITUT FÜR THEORETISCHE KIT 8.2.22 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der Informatik INSTITUT
MehrTGI-Übung Dirk Achenbach
TGI-Übung 7 06.02.2014 Dirk Achenbach INSTITUT FÜR THEORETISCHE INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Agenda
MehrFormelsammlung. Wahrscheinlichkeit und Information
Formelsammlung Wahrscheinlichkeit und Information Ein Ereignis x trete mit der Wahrscheinlichkeit p(x) auf, dann ist das Auftreten dieses Ereignisses verbunden mit der Information I( x): mit log 2 (z)
Mehr1 Informationsverarbeitung & Wahrscheinlichkeitsrechnung Informationsverarbeitung Wahrscheinlichkeitsrechnung... 2.
Inhaltsverzeichnis 1 Informationsverarbeitung & Wahrscheinlichkeitsrechnung 2 1.1 Informationsverarbeitung............................. 2 1.2 Wahrscheinlichkeitsrechnung........................... 2 2
MehrVorlesung 13b. Relative Entropie
Vorlesung 13b Relative Entropie 1 S sei eine abzählbare Menge (ein Alphabet ). 2 S sei eine abzählbare Menge (ein Alphabet ). Die Elemente von S nennen wir Buchstaben. S sei eine abzählbare Menge (ein
MehrDefinition Information I(p)
Definition Information I(p) Definition I(p) Die Information I(p) eines Symbols mit Quellws p > 0 beträgt I(p) = log 1 p. Die Einheit der Information bezeichnet man als Bit. DiMa II - Vorlesung 03-05.05.2009
MehrKlausur Informationstheorie und Codierung
Klausur Informationstheorie und Codierung WS 2013/2014 23.01.2014 Name: Vorname: Matr.Nr: Ich fühle mich gesundheitlich in der Lage, die Klausur zu schreiben Unterschrift: Aufgabe A1 A2 A3 Summe Max. Punkte
MehrEinleitung. Kapitel 1
Kapitel 1 Einleitung In diesem Abschnitt geben wir einen kurzen Überblick über den Inhalt der Vorlesung. Wir werden kurz die wesentlichen Probleme erläutern, die wir ansprechen wollen. Wir werden auch
MehrEinführung in die medizinische Bildverarbeitung WS 12/13
Einführung in die medizinische Bildverarbeitung WS 12/13 Stephan Gimbel Kurze Wiederholung Landmarkenbasierte anhand anatomischer Punkte interaktiv algorithmisch z.b. zur Navigation im OP Markierung von
MehrÜbung zur Vorlesung. Informationstheorie und Codierung
Übung zur Vorlesung Informationstheorie und Codierung Prof. Dr. Lilia Lajmi Juni 25 Ostfalia Hochschule für angewandte Wissenschaften Hochschule Braunschweig/Wolfenbüttel Postanschrift: Salzdahlumer Str.
MehrPraktikum Digitaltechnik
dig A) Vorbereitungsaufgaben: 1) Ermitteln Sie anhand der gegebenen zwei Blockschaltbilder die Schaltgleichungen und vereinfachen Sie weitmöglich! y 1 =(/(/(x 0 x 1 )/(x 0 +x 1 )))+(/(/(x 0 x 1 )+/(x 0
Mehr2 Informationstheorie
2 Informationstheorie Formale Grundlagen der Informatik I Herbstsemester 2012 Robert Marti Vorlesung teilweise basierend auf Unterlagen von Prof. emer. Helmut Schauer Grundbegriffe Informatik (IT: Information
MehrModul 1: Einführung und Wahrscheinlichkeitsrechnung
Modul : Einführung und Wahrscheinlichkeitsrechnung Informationstheorie Dozent: Prof. Dr. M. Gross E-mail: grossm@inf.ethz.ch Assistenten: Bernd Bickel, Daniel Cotting, Michael Waschbüsch, Boris Köpf, Andrea
MehrÜbung 13: Quellencodierung
ZHAW, NTM, FS2008, Rumc, /5 Übung 3: Quellencodierung Aufgabe : Huffmann-Algorithmus. Betrachten Sie die folgende ternäre, gedächtnislose Quelle mit dem Symbolalphabet A = {A,B,C} und den Symbol-Wahrscheinlichkeiten
Mehr6. Bayes-Klassifikation. (Schukat-Talamazzini 2002)
6. Bayes-Klassifikation (Schukat-Talamazzini 2002) (Böhm 2003) (Klawonn 2004) Der Satz von Bayes: Beweis: Klassifikation mittels des Satzes von Bayes (Klawonn 2004) Allgemeine Definition: Davon zu unterscheiden
MehrTechnische Informatik - Eine Einführung
Martin-Luther-Universität Halle-Wittenberg Fachbereich Mathematik und Informatik Lehrstuhl für Technische Informatik Prof. P. Molitor Technische Informatik - Eine Einführung Darstellung von Zeichen und
Mehr2.7 Der Shannon-Fano-Elias Code
2.7 Der Shannon-Fano-Elias Code Die Huffman-Codierung ist ein asymptotisch optimales Verfahren. Wir haben auch gesehen, dass sich die Huffman-Codierung gut berechnen und dann auch gut decodieren lassen.
Mehr12. Übung TGI. (mit Teil 2 der 11. Übung) Lorenz Hübschle-Schneider, Tobias Maier INSTITUT FÜR THEORETISCHE INFORMATIK, PROF.
12. Übung TGI (mit Teil 2 der 11. Übung) Lorenz Hübschle-Schneider, Tobias Maier INSTITUT FÜR THEORETISCHE INFORMATIK, PROF. SANDERS 1 Lorenz Hübschle-Schneider, Tobias Maier KIT Die Forschungsuniversität
MehrGrundlagen der Nachrichtentechnik 4
Grundlagen der Prof. Dr.-Ing. Andreas Czylwik S. Organisatorisches Vorlesung 2 SWS Übung SWS, Betreuer: Dipl.-Ing. Lars Häring Folienkopien sind verfügbar Prüfung: schriftlich Neue Forschungsthemen im
MehrAlgorithmen und Datenstrukturen (für ET/IT) Programm heute. Wintersemester 2012/13. Dr. Tobias Lasser. 7 Fortgeschrittene Datenstrukturen
Algorithmen und Datenstrukturen (für ET/IT) Wintersemester 202/3 Dr. Tobias Lasser Computer Aided Medical Procedures Technische Universität München Programm heute 7 Fortgeschrittene Datenstrukturen 8 Such-Algorithmen
MehrWir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir
Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zuallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Inormation steht
MehrInformationsdarstellung. 2 Informationsdarstellung. Ziele. 2 Informationsdarstellung Texte. Texte WS 2017/2018
Fakultät Informatik Institut Systemarchitektur Professur Datenschutz und Datensicherheit WS 2017/2018 2. Informationsdarstellung Dr.-Ing. Elke Franz Elke.Franz@tu-dresden.de 2 Informationsdarstellung Ziele
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Informationstheorie INSTITUT FÜR THEORETISCHE INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft
MehrKlausur zur Vorlesung Informationstheorie
INSTITUT FÜR THEORETISCHE NACHRICHTENTECHNIK UND INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 07 Hannover Klausur zur Vorlesung Informationstheorie Datum: 0.0.00 Uhrzeit: 09:00 Uhr Zeitdauer:
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Übung 8 Dirk Achenbach 7. Februar 2013 I NSTITUT FÜR K RYPTOGRAPHIE UND S ICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrGrundlagen der Technischen Informatik. 3. Übung
Grundlagen der Technischen Informatik 3. Übung Christian Knell Keine Garantie für Korrekt-/Vollständigkeit 3. Übungsblatt Themen Aufgabe : Aufgabe 2: Aufgabe 3: Informationstheorie Huffman-Code Entropie
MehrUnsicherheit * M RS = 6
Informationstheorie Gegenstand Unsicherheit Überraschung Entropie Relative und maximale Entropie, Redundanz Konditionale Entropie und Verbundentropie Wechselseitige ("Mutual") Information Gegenstand Kodierung,
Mehr2. Digitale Codierung und Übertragung
2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Speicherbedarf und Kompression 2.3 Digitalisierung Ludwig-Maximilians-Universität München Prof. Hußmann Digitale Medien
Mehr16 - Kompressionsverfahren für Texte
16 - Kompressionsverfahren für Texte Prof. Dr. S. Albers Kompressionsverfahren für Texte Verlustfreie Kompression Original kann perfekt rekonstruiert werden Beispiele: Huffman Code, Lauflängencodierung,
MehrÜbungsblatt Nr. 7. Lösungsvorschlag
Institut für Kryptographie und Sicherheit Prof. Dr. Jörn Müller-Quade Nico Döttling Dirk Achenbach Tobias Nilges Vorlesung Theoretische Grundlagen der Informatik Übungsblatt Nr. 7 svorschlag Aufgabe (K)
MehrFarb-Fernsehsignal (Composite FBAS)
Farb-Fernsehsignal (Composite FBAS) Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada VIDEO- Digitalisierung Gemeinsame Kodierung FBAS Farbbild- Austast- und Synchronsignal
MehrEinführung in die Medizinische Informatik
Einführung in die Medizinische Informatik 1 M + I MI (Wiederholung) 2 Information, Informationsgehalt, Entscheidung Reinhold Haux, Christopher Duwenkamp, Nathalie Gusew Institut für Medizinische Informatik
Mehrzu Aufgabe 26: a) A 3 A 2 A 4 A 1 A 5 A 0 A 6
zu ufgabe 6: a) 3 5 6 7 p( ) p( ) p( 3 ) p( ) p( 5 ) p( 6 ) p( 7 ) = p( 3 ) = p( 3 ) = p( 3 ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = 8 p( ) = p( ) = p( ) = p( ) Lösung: b) binär 8 p(
MehrEffiziente Algorithmen und Komplexitätstheorie
Fakultät für Informatik Lehrstuhl 2 Vorlesung Effiziente Algorithmen und Komplexitätstheorie Sommersemester 2008 Ingo Wegener; Vertretung: Carsten Witt 7. Juli 2008 Vorlesung am 14.07. (nächste Woche):
MehrProf. Dr. Stefan Weinzierl Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit zur Fehlererkennung kodiert.
Audiotechnik II Digitale Audiotechnik: 8. Tutorium Prof. Dr. Stefan Weinzierl 9.2.23 Musterlösung: 9. Dezember 23, 8:34 Fehlerkorrektur II Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit
MehrUnabhängigkeit KAPITEL 4
KAPITEL 4 Unabhängigkeit 4.1. Unabhängigkeit von Ereignissen Wir stellen uns vor, dass zwei Personen jeweils eine Münze werfen. In vielen Fällen kann man annehmen, dass die eine Münze die andere nicht
MehrMathematische Grundlagen III
Mathematische Grundlagen III Informationstheorie Vera Demberg Universität des Saarlandes 26. Juni 202 Vera Demberg (UdS) Mathe III 26. Juni 202 / 43 Informationstheorie Entropie (H) Wie viel Information
Mehr2. Digitale Codierung und Übertragung
2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Speicherbedarf und Kompression 2.3 Digitalisierung, Digitale Medien Ludwig-Maximilians-Universität München Prof. Hußmann
MehrTheoretische Grundlagen der Informatik
Theoretische Grundlagen der Informatik Informationstheorie Vorlesungen vom 30. Januar und 1. Februar 2018 INSTITUT FÜR THEORETISCHE 0 30.01.2018 Dorothea Wagner - Theoretische Grundlagen der Informatik
MehrSeminararbeit: Information einer Verteilung
Seminararbeit: Information einer Verteilung Autor: Antun Topic Betreuerin: Prof. Christina Schneider 7. Januar 2015 Inhaltsverzeichnis 1 Begriffsklärung Information-Entropie 1 2 Information von diskreten
Mehr3 Zahlen und Arithmetik
In diesem Kapitel werden Zahlen und einzelne Elemente aus dem Bereich der Arithmetik rekapituliert. Insbesondere werden die reellen Zahlen eingeführt und einige Rechenregeln wie Potenzrechnung und Logarithmieren
MehrMathematische Grundlagen der Computerlinguistik III: Statistische Methoden Probeklausur
Mathematische Grundlagen der Computerlinguistik III: Statistische Methoden Probeklausur Crocker/Demberg/Staudte Sommersemester 2014 17.07.2014 1. Sie haben 90 Minuten Zeit zur Bearbeitung der Aufgaben.
MehrInformationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi
Informationstheorie und Codierung Prof. Dr.-Ing. Lilia Lajmi l.lajmi@ostfalia.de Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon
MehrFachprüfung. Nachrichtencodierung
Fachprüfung Nachrichtencodierung 14. März 2006 Prüfer: Prof. Dr. P. Pogatzki Bearbeitungszeit: 2 Stunden Hilfsmittel: Taschenrechner, Vorlesungsscript, Übungsaufgaben Name:... Matr.-Nr.:... Unterschrift:...
MehrKapitel 2: Informationstheorie. 3. Quellencodierung
ZHAW, NTM2, Rumc, 2.3-1 Kapitel 2: Informationstheorie 3. Quellencodierung Inhaltsverzeichnis 1. EINLEITUNG... 1 2. QUELLENCODIERUNGSTHEOREM... 2 3. HUFFMAN-QUELLENCODIERUNG... 3 4. DATENKOMPRESSION MIT
MehrDefinition Information I(p)
Definition Information I(p) Definition I(p) Die Information I(p) eines Symbols mit Quellws p > 0 ist definiert als I(p) = log 1 p. Die Einheit der Information bezeichnet man als Bit. DiMa II - Vorlesung
MehrProbeklausur Digitale Medien
Probeklausur Digitale Medien Wintersemester 2007 / 2008 LMU München LFE Medieninformatik Prof. H. Hußmann Dauer: 90 Minuten Zugelassene Hilfsmittel: Unterlagen zur Vorlesung und Übung Digitale Medien,
Mehr6 Ü B E R S E T Z U N G E N U N D C O D I E R U N G E N. 6.1 von wörtern zu zahlen und zurück Dezimaldarstellung von Zahlen Num 10
6 Ü B E R S E T Z U N G E N U N D C O D I E R U N G E N 6.1 von wörtern zu zahlen und zurück 6.1.1 Dezimaldarstellung von Zahlen Num 10 Num10(ε) = 0 (6.1) für jedes w Z 10 für jedes x Z 10 Num 10 (wx)
MehrSignale und Logik (2)
Signale und Logik (2) Vereinfachte (Relais-/)Schalterdarstellung: Trennung von Nutz- u. Schaltsignal macht Adressaten anwählbar : Bei zwei möglichen Empfängern genügt ein Schalter, um einen der beiden
Mehr6 Informationsflußkontrolle
6 Informationsflußkontrolle Daten/Informationsfluß bei Lese/Kopiervorgängen aller Art, z.b. von Objekt A nach Objekt B von Person P nach Datei D von Server S zu Klient K usw. alles auch transitiv! Informationsflußkontrolle
MehrKompressionsverfahren für Texte
Kompressionsverfahren für Texte Prof. Dr. S. Albers Prof. Dr. Th. Ottmann 1 Zeichenkettenverarbeitung Suche in Texten, Textindizes Mustererkennung (Pattern-Matching) Verschlüsseln Komprimiern Analysieren
MehrEinführung in die Informatik
Einführung in die Informatik Daten, Information und Nachrichten Informationstheorie, Informationsgehalt, Entropie Codierungen Dualzahlen Diskretisierung und Digitalisierung Speicherung von Daten und Programmen
MehrInformationstheorie und Codierung
Informationstheorie und Codierung Organisation / Einleitung Vorlesung: Do 17:00 Uhr, Sr K 2002B Seminar: Mi (G) 15:00 Uhr, Sr H 1510 Abschluss: mdl. Prüfung Kontakt - Vorlesung Dr.-Ing. Maik Debes Fakultät
MehrDatenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut
Datenkompression Holger Rauhut 1. September 2010 Skript für die Schülerwoche 2010, 8.-11.9.2010 Hausdorff Center for Mathematics, Bonn 1 Allgemeines Datenkompression hat zum Ziel, Daten in digitaler Form,
Mehr9.4 Sicherheit von Verschlüsselungsverfahren
9.4 Sicherheit von Verschlüsselungsverfahren ist bedroht durch = Resistenz gegenüber Kryptoanalyse kleine Schlüsselräume (erlauben systematisches Ausprobieren aller möglichen Schlüssel) Beispiel: Cäsars
MehrInformationsdarstellung. 2 Informationsdarstellung. Ziele. 2 Informationsdarstellung Texte. Texte WS 2018/2019
Fakultät Informatik Institut Systemarchitektur Professur Datenschutz und Datensicherheit WS 2018/2019 2. Informationsdarstellung Dr.-Ing. Elke Franz Elke.Franz@tu-dresden.de 2 Informationsdarstellung Ziele
Mehr