Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1

Größe: px
Ab Seite anzeigen:

Download "Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1"

Transkript

1 Information, Entropie und Redundanz Technische Informationsquelle Entropie und Redundanz Huffman Codierung Martin Werner WS 9/ Martin Werner, Dezember 9

2 Information und Daten Informare/ Informatio (lat.) dem Verstand Form geben / Deutung, Erläuterung Datum (lat.) das Gegebene; Aus systematischen Beobachtungen (Messungen, Datenerhebung) gewonnene Information Daten Zeichen oder kontinuierliche Funktionen, die zum Zweck der Verarbeitung aufgrund von bekannten oder unterstellten Vereinbarungen Information darstellen DIN ISO/IEC 2382 (DIN 443) Zeichen (Buchstaben, Ziffern, Sonderzeichen), Bilder, Texte, Sprache, Muster Syntax + Semantik Daten + Pragmatik Daten im technischen Sinn Information (Nachricht) für Menschen Martin Werner, Dezember 9 2

3 Informationsquelle Louis Braille (89 852) französischer Blindenlehrer, Brailleschrift (825) Diskrete Quelle setzt pro Zeittakt ein Zeichen x i aus einem Zeichenvorrat X = {x, x 2,..., x N } ab Wie kann die Quelle charakterisiert werden? Messbare Größen! Relative Häufigkeiten Wahrscheinlichkeiten der Zeichen p(x i ) der Zeichenpaare p(x i, x j ) der Zeichentripel p(x i, x j, x k ) usw. n dimensionale Verbundwahrscheinlichkeiten Martin Werner, Dezember 9 3

4 Zufallsexperiment Endlicher Wahrscheinlichkeitsraum (, P) Ereignisse i A, A 2,..., A n Wahrscheinlichkeiten P(A i ) Sicheres Ereignis P( ) = und unmögliches Ereignis P( ) = Zufallsexperiment Ereignis A i Information Information löst Ungewissheit auf! I(A i ) = f ( P(A i ) ) Martin Werner, Dezember 9 4

5 Lochkarte Herman Hollerith (86 926) U.S. amerikanischer Ingenieur und Unternehmer Martin Werner, Dezember 9 5

6 Informationsgehalt eines Zeichens Axiom Axiom 2 Axiom 3 Der Informationsgehalt eines Zeichen x i X mit der Wahrscheinlichkeit p i ist ein nichtnegatives Maß, d. h. I(p i ) Die Informationsgehalte unabhängiger Zeichen x i, x j X mit der Verbundwahrscheinlichkeit p i,j = p i p j addieren sich, d. h. I(p i,j ) = I(p i ) + I(p j ) Der Informationsgehalt ist eine stetige Funktion der Wahrscheinlichkeiten der Zeichen Der Informationsgehalt eines Zeichen mit der Wahrscheinlichkeiten p ist I(p) = ld(p) bit I(p) bit 3 2 Unmögliches Ereignis Sicheres Ereignis 5,5 p Martin Werner, Dezember 9 6

7 Entropie Entropie, mittlerer Informationsgehalt einer Quelle N H( X) p ld p bit i i i Gedächtnislose Binärquelle H b ( X ) H b (p) p ld p ( p) ld p bit bit Maximale Ungewissheit 5,5 p Martin Werner, Dezember 9 7

8 Entropie wozu? Entropie gibt Antwort auf die Fragen: Wie viele JA/NEIN Entscheidungen Entscheidungen (Binärentscheidungen) sind mindestens erforderlich, um die Zeichen der Quelle im Mittel zu erfragen? Wie viele Bits (Binärzeichen) werden mindestens benötigt, um die Zeichen der Quelle im Mittel zu codieren? Quellencodierungstheorem (Shannon) Es existiert ein binärer Code so, dass die mittlere Codewortlänge beliebig blibi nahe an die Entropie herankommt. Claude E. Shannon (96 2) U.S. amerikanischer US a e Ingenieur eu und Mathematiker, e Begründer der Informationstheorie (948) Martin Werner, Dezember 9 8

9 Beispiel Diskrete gedächtnislose Quelle x i a b c d e f Codewort p i 5,5 5,5 5,5 4,4 2,2 5,5 I(p i ) 4,32 bit 2,74 bit 4,32 bit,32 bit 2,32 bit 2,74 bit H(X) 225bit 2,25 Martin Werner, Dezember 9 9

10 Codebaum Binärer Codebaum gerichteter ih Baum Codewort Zeichen a b Anfangsknoten Wurzel c d e Verzweigungsknoten f Endknoten Blatt Martin Werner, Dezember 9

11 Entscheidungsgehalt und Redundanz Maximale Ungewissheit it Die Entropie einer diskreten gedächtnislosen Quelle mit N Symbolen wird maximal, wenn alle Symbole gleichwahrscheinlich sind. Entscheidungsgehalt H = ld (N) bit Redundanz R = H H(X) ( ) Martin Werner, Dezember 9

12 Morsealphabet Samuel F. B. Morse (79 872) U.S. amerikanischer Maler und Erfinder Morseapparat (833) Morsealphabet mit Steuerzeichen (A. Vail 838, F. C. Gerke 843) Buchstabe Morse rel. Häufigkeit Quelle: Der Brockhau us multimedial l 24 Zeichen in % [Küp54] a. 65 6,5 b... 2,6 c.. 2,8 d.. 5,4 e. 6,7 f... 2, g. 3,7 h.... 4, Martin Werner, Dezember 9 3

13 Huffman-Codierung David Huffman ( ) U.S. amerikanischer Ingenieur Huffman Codierung (952) Entropiecodierung Präfix Code Ordnen: Ordne die Zeichen nach fallenden Wahrscheinlichkeiten. Kombinieren: Kombiniere die beiden Zeichen mit den kleinsten Wahrschein lichkeiten zu einem neuen Zeichen. Ordne die Liste neu wie in und fahre fort, bis alle Zeichen zu einem zusammengesetzt sind. Codieren: Beginne mit der letzten Zusammenfassung; ordne dem Codewort der ersten Komponente des zusammengesetzten Zeichens eine und dem Codewort der zweiten Komponente eine zu. Fahre fort, bis alle Zeichen codiert sind. Martin Werner, Dezember 9 4

14 Beispiel Huffman-Code Zeichen a p i,5 b,2 c d e f,,,5,5,,2,3,5, Code L i in bit Mittlere Codewortlänge Effizienz N L L p i H ( X ) L i i Im Beispiel: Entscheidungsgehalt 2,58 bit Entropie 2,6 bit Redundanz,52 bit Mittlere Codewortlänge 2bit 2, Effizienz 98% Martin Werner, Dezember 9 5

15 Codebaum a b e f c d Decodierung von links nach rechts Codierung von rechts nach links Martin Werner, Dezember 9 6

16 Huffman-Code - Nachteile Unterschiedliche Codewortlängen Ungleichmäßige Bitraten und Codierverzögerungen Fehleranfällig Robustheit gegen Fehler nimmt ab, ein einzelner Bitfehler kann die Nachricht vollständig zerstören ( Fhl Fehlerschutz) ht) Vorwissen /Aufwand Kenntnis der Wahrscheinlichkeitsverteilung wird vorausgesetzt, oder Häufigkeiten müssen bestimmt werden ( adaptive Verfahren) Universelle Codierverfahren ( 98), z. B. Lempel Ziv Welch (LZW) Algorithmus und Arithmetische ih i h Codierung Martin Werner, Dezember 9 7

Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung

Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung Huffman-Codierung, arithmetische Codierung Theoretische Informatik RWTH-Aachen 4. April 2012 Übersicht 1 Einführung 2 3 4 5 6 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft

Mehr

Übung zur Vorlesung. Informationstheorie und Codierung

Übung zur Vorlesung. Informationstheorie und Codierung Übung zur Vorlesung Informationstheorie und Codierung Prof. Dr. Lilia Lajmi Juni 25 Ostfalia Hochschule für angewandte Wissenschaften Hochschule Braunschweig/Wolfenbüttel Postanschrift: Salzdahlumer Str.

Mehr

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele Organisation Was kommt zum Test? Buch Informatik Grundlagen bis inkl Kapitel 74 Wissensfragen und Rechenbeispiele 3 Vorträge zur Übung Informationstheorie, Huffman-Codierung und trennzeichenfreie Codierung

Mehr

Codierungstheorie. Code-Arten und Code-Sicherung

Codierungstheorie. Code-Arten und Code-Sicherung Codierungstheorie Code-Arten und Code-Sicherung Inhaltsübersicht und Literatur Informationstheorie Was ist eine Codierung? Arten von Codes Informationsgehalt und Entropie Shannon'sches Codierungstheorem

Mehr

3 Quellencodierung. 3.1 Einleitung

3 Quellencodierung. 3.1 Einleitung Source coding is what Alice uses to save money on her telephone bills. It is usually used for data compression, in other words, to make messages shorter. John Gordon 3 Quellencodierung 3. Einleitung Im

Mehr

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert.

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. Anwendungen von Bäumen 4.3.2 Huffman Code Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. => nutzbar für Kompression Code fester

Mehr

2 Informationstheorie

2 Informationstheorie 2 Informationstheorie Formale Grundlagen der Informatik I Herbstsemester 2012 Robert Marti Vorlesung teilweise basierend auf Unterlagen von Prof. emer. Helmut Schauer Grundbegriffe Informatik (IT: Information

Mehr

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche: Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 5/ 44 Unser Modell Shannon

Mehr

2. Digitale Codierung und Übertragung

2. Digitale Codierung und Übertragung 2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Speicherbedarf und Kompression 2.3 Digitalisierung, Digitale Medien Ludwig-Maximilians-Universität München Prof. Hußmann

Mehr

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Codierung Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Ein bisschen Informationstheorie Betrachten wir das folgende Problem: Wie lautet eine sinnvolle Definition für das quantitative

Mehr

Mathematik für Information und Kommunikation

Mathematik für Information und Kommunikation Mathematik für Information und Kommunikation Am Beispiel des Huffman- Algorithmus Thomas Borys und (Christian Urff) Huffman im Alltag MPEG Telefax JPEG MP3 ZIP avid Huffman avid Huffman [95-999] www.soe.ucsc.edu/people/faculty/huffman.html

Mehr

Code-Arten und Code-Sicherung. Literatur: Blieberger et.al.: Informatik (Kap. 3 und 4), Springer-Verlag R.-H. Schulz: Codierungstheorie, Vieweg

Code-Arten und Code-Sicherung. Literatur: Blieberger et.al.: Informatik (Kap. 3 und 4), Springer-Verlag R.-H. Schulz: Codierungstheorie, Vieweg Codierungstheorie Code-Arten und Code-Sicherung Inhaltsübersicht und Literatur Informationstheorie Was ist eine Codierung? Arten von Codes Informationsgehalt und Entropie Shannon'sches Codierungstheorem

Mehr

Codierungstheorie Rudolf Scharlau, SoSe 2006 9

Codierungstheorie Rudolf Scharlau, SoSe 2006 9 Codierungstheorie Rudolf Scharlau, SoSe 2006 9 2 Optimale Codes Optimalität bezieht sich auf eine gegebene Quelle, d.h. eine Wahrscheinlichkeitsverteilung auf den Symbolen s 1,..., s q des Quellalphabets

Mehr

2.4 Darstellung von Zeichen(ketten)

2.4 Darstellung von Zeichen(ketten) 2.4 Darstellung von Zeichen(ketten) ASCII (American Standard for Coded Information Interchange): Abbildungsvorschrift (Norm) zur binären Kodierung von Zeichen Umfasst Klein-/Großbuchstaben des lateinischen

Mehr

15 Optimales Kodieren

15 Optimales Kodieren 15 Optimales Kodieren Es soll ein optimaler Kodierer C(T ) entworfen werden, welcher eine Information (z.b. Text T ) mit möglichst geringer Bitanzahl eindeutig überträgt. Die Anforderungen an den optimalen

Mehr

Signal Klasse: Arbeitsblatt. Definition: Ein Signal ist die physikalische Darstellung von Nachrichten oder Daten. 1)

Signal Klasse: Arbeitsblatt. Definition: Ein Signal ist die physikalische Darstellung von Nachrichten oder Daten. 1) Signal Definition: Ein Signal ist die physikalische Darstellung von Nachrichten oder Daten. 1) Analoges Signal Definition: Ein analoges Signal kann kontinuierlich jeden beliebige Werte zwischen einem Minimum

Mehr

Formelsammlung. Wahrscheinlichkeit und Information

Formelsammlung. Wahrscheinlichkeit und Information Formelsammlung Wahrscheinlichkeit und Information Ein Ereignis x trete mit der Wahrscheinlichkeit p(x) auf, dann ist das Auftreten dieses Ereignisses verbunden mit der Information I( x): mit log 2 (z)

Mehr

Codierung, Codes (variabler Länge)

Codierung, Codes (variabler Länge) Codierung, Codes (variabler Länge) A = {a, b, c,...} eine endliche Menge von Nachrichten (Quellalphabet) B = {0, 1} das Kanalalphabet Eine (binäre) Codierung ist eine injektive Abbildung Φ : A B +, falls

Mehr

Einführung in Kompressionstechniken

Einführung in Kompressionstechniken Einführung in Kompressionstechniken W. Kowarschick 7. Februar 997. November 9 W. Kowarschick Motivation Dateigrößen Text Vektorgraphiken Rasterbilder Tomographien Telephon CD-Stereo Bildfolgen VD7 VD7

Mehr

Übung 13: Quellencodierung

Übung 13: Quellencodierung ZHAW, NTM, FS2008, Rumc, /5 Übung 3: Quellencodierung Aufgabe : Huffmann-Algorithmus. Betrachten Sie die folgende ternäre, gedächtnislose Quelle mit dem Symbolalphabet A = {A,B,C} und den Symbol-Wahrscheinlichkeiten

Mehr

Datenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut

Datenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut Datenkompression Holger Rauhut 1. September 2010 Skript für die Schülerwoche 2010, 8.-11.9.2010 Hausdorff Center for Mathematics, Bonn 1 Allgemeines Datenkompression hat zum Ziel, Daten in digitaler Form,

Mehr

Codierungstheorie. Statt einer Einleitung. Rudolf Scharlau. 4. April 2006

Codierungstheorie. Statt einer Einleitung. Rudolf Scharlau. 4. April 2006 Codierungstheorie Rudolf Scharlau 4. April 2006 Statt einer Einleitung Im ersten Teil dieser Vorlesung folgen wir eng dem Buch Information and Coding theory von Gareth A. Jones und J. Mary Jones. Technische

Mehr

Kryptographie und Codierung für den Mathematikunterricht

Kryptographie und Codierung für den Mathematikunterricht Kryptographie und Codierung für den Mathematikunterricht Pädagogische Hochschule Karlsruhe University of Education École Supérieure de Pédagogie Institut für Mathematik und Informatik Th. Borys Was verstehst

Mehr

Grundlagen der Technischen Informatik. Codierung und Fehlerkorrektur. Kapitel 4.2

Grundlagen der Technischen Informatik. Codierung und Fehlerkorrektur. Kapitel 4.2 Codierung und Fehlerkorrektur Kapitel 4.2 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916)

Mehr

Codierung. H.-G. Hopf

Codierung. H.-G. Hopf Codierung H.-G. Hopf Inhalt Informationsübermittlung Codierung von Zeichen GDI: Codierung / 2 Inhalt Informationsübermittlung Codierung von Zeichen GDI: Codierung / 3 Ideale Kommunikation Übertragungskanal

Mehr

Übung 1: Quellencodierung

Übung 1: Quellencodierung ZHAW, NTM2, Rumc, /7 Übung : Quellencodierung Aufgabe : Huffman-Algorithmus. Betrachten Sie die folgende ternäre, gedächtnislose Quelle mit dem Symbolalphabet A = {A,B,C} und den Symbol-Wahrscheinlichkeiten

Mehr

Einführung in die Wahrscheinlichkeitsrechnung und Statistik für Ingenieure

Einführung in die Wahrscheinlichkeitsrechnung und Statistik für Ingenieure Einführung in die Wahrscheinlichkeitsrechnung und Statistik für Ingenieure Von Prof. Hubert Weber Fachhochschule Regensburg 3., überarbeitete und erweiterte Auflage Mit zahlreichen Bildern, Tabellen sowie

Mehr

Randomisierte Algorithmen

Randomisierte Algorithmen Randomisierte Algorithmen Randomisierte Algorithmen 5. Zwei spieltheoretische Aspekte Thomas Worsch Fakultät für Informatik Karlsruher Institut für Technologie Wintersemester 2015/2016 1 / 36 Überblick

Mehr

A2.3: Zur LZ78 Komprimierung

A2.3: Zur LZ78 Komprimierung A2.3: Zur LZ78 Komprimierung Im Gegensatz zur Entropiecodierung nach Huffman oder Shannon, bei der man die Quellenstatistik (möglichst genau) kennen muss, sind solche Einschränkungen bei den von Abraham

Mehr

Der Huffman Algorithmus

Der Huffman Algorithmus Der Huffman Algorithmus Für das Folgende setzen wir voraus, dass die Quellensymbole q ν einem Alphabet {q μ } = {A, B, C,...} mit dem Symbolumfang M entstammen und statistisch voneinander unabhängig seien.

Mehr

3. Informationsdarstellung

3. Informationsdarstellung Fakultät Informatik Institut Systemarchitektur Professur Datenschutz und Datensicherheit WS 204/205 3. Informationsdarstellung Dr.-Ing. Elke Franz Elke.Franz@tu-dresden.de 3 Informationsdarstellung Bitfolgen

Mehr

A1.7: Entropie natürlicher Texte

A1.7: Entropie natürlicher Texte A1.7: Entropie natürlicher Texte Anfang der 1950er Jahre hat Claude E. Shannon die Entropie H der englischen Sprache mit einem bit pro Zeichen abgeschätzt. Kurz darauf kam Karl Küpfmüller bei einer empirischen

Mehr

Def.: Sei Σ eine Menge von Zeichen. Die Menge Σ* aller Zeichenketten (Wörter) über Σ ist die kleinste Menge, für die gilt:

Def.: Sei Σ eine Menge von Zeichen. Die Menge Σ* aller Zeichenketten (Wörter) über Σ ist die kleinste Menge, für die gilt: 8. Grundlgen der Informtionstheorie 8.1 Informtionsgehlt, Entropie, Redundnz Def.: Sei Σ eine Menge von Zeichen. Die Menge Σ* ller Zeichenketten (Wörter) über Σ ist die kleinste Menge, für die gilt: 1.

Mehr

Mathematische Grundlagen III

Mathematische Grundlagen III Mathematische Grundlagen III Informationstheorie Prof Dr. Matthew Crocker Universität des Saarlandes 22. Juni 205 Matthew Crocker (UdS) Mathe III 22. Juni 205 / 43 Informationstheorie Entropie (H) Wie

Mehr

Grundlagen der Technischen Informatik. 2. Übung

Grundlagen der Technischen Informatik. 2. Übung Grundlagen der Technischen Informatik 2. Übung Christian Knell Keine Garantie für Korrekt-/Vollständigkeit Organisatorisches Übungsblätter zuhause vorbereiten! In der Übung an der Tafel vorrechnen! Bei

Mehr

Kodierungsalgorithmen

Kodierungsalgorithmen Kodierungsalgorithmen Komprimierung Verschlüsselung Komprimierung Zielsetzung: Reduktion der Speicherkapazität Schnellere Übertragung Prinzipien: Wiederholungen in den Eingabedaten kompakter speichern

Mehr

Kapitel 3: Etwas Informationstheorie

Kapitel 3: Etwas Informationstheorie Stefan Lucks 3: Informationstheorie 28 orlesung Kryptographie (SS06) Kapitel 3: Etwas Informationstheorie Komplexitätstheoretische Sicherheit: Der schnellste Algorithmus, K zu knacken erfordert mindestens

Mehr

Codierungstheorie I: Information, Entropie, Kanäle

Codierungstheorie I: Information, Entropie, Kanäle 1 Codierungstheorie I: Information, Entropie, Kanäle Frieder Knüppel Hauptthema der Vorlesung sind fehlerkorrigierende Codes. Zunächst wollen wir aber in Teil I einige allgemeine Überlegungen zur Datenübertragung

Mehr

Aufbau und Funktionsweise eines Computers

Aufbau und Funktionsweise eines Computers Aufbau und Funktionsweise eines Computers Ein kurzer Überblick Informatik I 1 WS 2005/2006 Organisation der Hardware Architektur eines einfachen Computersystems mit Bus: Informatik I 2 WS 2005/2006 1 System-Architektur

Mehr

Algorithmen und Datenstrukturen 2

Algorithmen und Datenstrukturen 2 Algorithmen und Datenstrukturen 2 Sommersemester 2006 6. Vorlesung Peter F. Stadler Universität Leipzig Institut für Informatik studla@bioinf.uni-leipzig.de Datenkomprimierung Bei den meisten bisher betrachteten

Mehr

Ι. Einführung in die Codierungstheorie

Ι. Einführung in die Codierungstheorie 1. Allgemeines Ι. Einführung in die Codierungstheorie Codierung: Sicherung von Daten und Nachrichten gegen zufällige Fehler bei der Übertragung oder Speicherung. Ziel der Codierung: Möglichst viele bei

Mehr

Was ist Physik? Modell der Natur universell es war schon immer so

Was ist Physik? Modell der Natur universell es war schon immer so Was ist Physik? Modell der Natur universell es war schon immer so Kultur Aus was sind wir gemacht? Ursprung und Aufbau der Materie Von wo/was kommen wir? Ursprung und Aufbau von Raum und Zeit Wirtschaft

Mehr

Definition der Entropie unter Verwendung von supp(p XY )

Definition der Entropie unter Verwendung von supp(p XY ) Definition der Entropie unter Verwendung von supp(p XY ) Wir fassen die Ergebnisse des letzten Abschnitts nochmals kurz zusammen, wobei wir von der zweidimensionalen Zufallsgröße XY mit der Wahrscheinlichkeitsfunktion

Mehr

Sachauseinandersetzung und Begründung der Auswahl

Sachauseinandersetzung und Begründung der Auswahl Unterrichtsentwurf zum Thema Vergleich von Morse- und ASCII-Code Lernziele Die SchülerInnen wenden die Begriffe der mittleren Codewortlänge, Präfixfreiheit und binären Kodierung in der Beschreibung des

Mehr

Informationssicherheit - Lösung Blatt 2

Informationssicherheit - Lösung Blatt 2 Informationssicherheit - Lösung Blatt 2 Adam Glodek adam.glodek@gmail.com 13.04.2010 1 1 Aufgabe 1: One Time Pad 1.1 Aufgabenstellung Gegeben ist der folgende Klartext 12Uhr (ASCII). Verschlüsseln Sie

Mehr

Fehlererkennung und Fehlerkorrektur in Codes

Fehlererkennung und Fehlerkorrektur in Codes Fehlererkennung und Fehlerkorrektur in Codes Blockcodes und Hamming Abstand Untersuchungen zu Codierungen von Informationen, die über einen Nachrichtenkanal übertragen werden sollen, konzentrieren sich

Mehr

INFORMATION. Grundbegriffe

INFORMATION. Grundbegriffe INFORMATION Grundbegriffe Offensichtlich hat Informatik mit Information zu tun. Wir sprechen auch von Informationsverarbeitung, von Informationstechnologie *) und von Informationsgesellschaft. Was aber

Mehr

Signalübertragung und -verarbeitung

Signalübertragung und -verarbeitung ILehrstuhl für Informationsübertragung Schriftliche Prüfung im Fach Signalübertragung und -verarbeitung 6. Oktober 008 5Aufgaben 90 Punkte Hinweise: Beachten Sie die Hinweise zu den einzelnen Teilaufgaben.

Mehr

Kanonische Huffman Codes (Canonical Huffman Codes)

Kanonische Huffman Codes (Canonical Huffman Codes) Projektarbeit (Canonical Huffman Codes) SS 2008 Studentin: Michaela Kieneke Dozent: Dr. Heiko Körner 0001010110110110010001110110001111100001101000110111100101111110001111000 1010101110101001011100100101011111110000011001011010100101000101010001010

Mehr

2. Lernen von Entscheidungsbäumen

2. Lernen von Entscheidungsbäumen 2. Lernen von Entscheidungsbäumen Entscheidungsbäume 2. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse

Mehr

10. Vorlesung. Grundlagen in Statistik. Seite 291. Martin-Luther-Universität Halle/Wittenberg

10. Vorlesung. Grundlagen in Statistik. Seite 291. Martin-Luther-Universität Halle/Wittenberg . Vorlesung Grundlagen in Statistik Seite 29 Beispiel Gegeben: Termhäufigkeiten von Dokumenten Problemstellung der Sprachmodellierung Was sagen die Termhäufigkeiten über die Wahrscheinlichkeit eines Dokuments

Mehr

3 Sicherheit von Kryptosystemen

3 Sicherheit von Kryptosystemen 3 Sicherheit von Kryptosystemen 43 3 Sicherheit von Kryptosystemen 3.1 Informationstheoretische Sicherheit Claude E. Shannon untersuchte die Sicherheit kryptographischer Systeme auf informationstheoretischer

Mehr

Übungsrunde 9, Gruppe 2 LVA 107.369, Übungsrunde 8, Gruppe 2, 12.12. Markus Nemetz, TU Wien, 12/2006

Übungsrunde 9, Gruppe 2 LVA 107.369, Übungsrunde 8, Gruppe 2, 12.12. Markus Nemetz, TU Wien, 12/2006 3.75. Angabe Übungsrunde 9, Gruppe 2 LVA 07.369, Übungsrunde 8, Gruppe 2, 2.2. Markus Nemetz, markus.nemetz@tuwien.ac.at, TU Wien, 2/2006 X sei eine stetige sg mit Dichte f(x), x R. Ermitteln Sie einen

Mehr

1 Elemente der Wahrscheinlichkeitstheorie

1 Elemente der Wahrscheinlichkeitstheorie H.-J. Starkloff Unendlichdimensionale Stochastik Kap. 01 11. Oktober 2010 1 1 Elemente der Wahrscheinlichkeitstheorie 1.1 Messbare Räume Gegeben seien eine nichtleere Menge Ω und eine Menge A von Teilmengen

Mehr

JKU Young Scientists Matheseminar

JKU Young Scientists Matheseminar JKU Young Scientists Matheseminar Matheseminar WS 2013/14 Codierung und Information Das grundlegende Problem der Kommunikation besteht darin, an einer Stelle entweder genau oder angenähert eine Nachricht

Mehr

Maschinelles Lernen. Kapitel 5

Maschinelles Lernen. Kapitel 5 Kapitel 5 Maschinelles Lernen Im täglichen Leben begegnet uns das Lernen meist in einer Mischung aus den Aspekten der Vergrößerung von Wissen und der Verbesserung von Fähigkeiten. Beim Erlernen einer Fremdsprache

Mehr

Grundbegriffe der Wahrscheinlichkeitstheorie

Grundbegriffe der Wahrscheinlichkeitstheorie KAPITEL 1 Grundbegriffe der Wahrscheinlichkeitstheorie 1. Zufallsexperimente, Ausgänge, Grundmenge In der Stochastik betrachten wir Zufallsexperimente. Die Ausgänge eines Zufallsexperiments fassen wir

Mehr

Run Length Coding und Variable Length Coding

Run Length Coding und Variable Length Coding Fachbereich Medieninformatik Hochschule Harz Run Length Coding und Variable Length Coding Referat Matthias Zittlau 11034 Abgabe: 15.01.2007 Inhaltsverzeichnis 1. RLC...1 2.1 Einführung...1 2.2 Prinzip...1

Mehr

Referat für Algorithmische Anwendungen WS 2006/ 07: Verlustfreie Datenkompression mit dem Deflate-Algorithmus (LZ77- und Huffman-Codierung)

Referat für Algorithmische Anwendungen WS 2006/ 07: Verlustfreie Datenkompression mit dem Deflate-Algorithmus (LZ77- und Huffman-Codierung) Referat für Algorithmische Anwendungen WS 2006/ 07: Verlustfreie Datenkompression mit dem Deflate-Algorithmus (LZ77- und Huffman-Codierung) Benedikt Arnold, 11041025, ai686@gm.fh-koeln.de Sebastian Bieker,

Mehr

Do you speak QR? Dipl.-Ing. Piotr Lisowski 29.05.2013

Do you speak QR? Dipl.-Ing. Piotr Lisowski 29.05.2013 Do you speak QR? Do you speak QR? QR? Was ist eigentlich ein QR-Code? Eine Art Informations-Verschlüsselung. Vorgeschichte der Informations- Verschlüsselung Ägyptische Hieroglyphen ~3 000 v.ch. Babylonische

Mehr

Statistik I für Betriebswirte Vorlesung 1

Statistik I für Betriebswirte Vorlesung 1 Statistik I für Betriebswirte Vorlesung 1 Prof. Dr. Hans-Jörg Starkloff TU Bergakademie Freiberg Institut für Stochastik 4. April 2016 Prof. Dr. Hans-Jörg Starkloff Statistik I für Betriebswirte Vorlesung

Mehr

2. Rechnen mit Wahrscheinlichkeiten

2. Rechnen mit Wahrscheinlichkeiten 2. Rechnen mit Wahrscheinlichkeiten 2.1 Axiome der Wahrscheinlichkeitsrechnung Die Wahrscheinlichkeitsrechnung ist ein Teilgebiet der Mathematik. Es ist üblich, an den Anfang einer mathematischen Theorie

Mehr

FH Darmstadt FB Informatik Klausurensammlung Rechnergrundlagen Prof. Komar

FH Darmstadt FB Informatik Klausurensammlung Rechnergrundlagen Prof. Komar Matr.Nr.: Name: Leistungsnachweis Rechnergrundlagen SS 2006 Skripte, Umdrucke, Kopien, handschriftliche Aufzeichnungen und Taschenrechner sind zugelassen. Die Lösungs-Ergebnisse sind ausschließlich auf

Mehr

Kodierung. Kodierung von Zeichen mit dem ASCII-Code

Kodierung. Kodierung von Zeichen mit dem ASCII-Code Kodierung Kodierung von Zeichen mit dem ASCII-Code Weiterführende Aspekte zur Kodierung: Speicherplatzsparende Codes Fehlererkennende und -korrigierende Codes Verschlüsselnde Codes Spezielle Codes, Beispiel

Mehr

Klausur zur Wahrscheinlichkeitstheorie für Lehramtsstudierende

Klausur zur Wahrscheinlichkeitstheorie für Lehramtsstudierende Universität Duisburg-Essen Essen, den 0.0.009 Fachbereich Mathematik Prof. Dr. M. Winkler C. Stinner Klausur zur Wahrscheinlichkeitstheorie für Lehramtsstudierende Lösung Die Klausur gilt als bestanden,

Mehr

OSNABRÜCKER SCHRIFTEN ZUR MATHEMATIK

OSNABRÜCKER SCHRIFTEN ZUR MATHEMATIK OSNABRÜCKER SCHRIFTEN ZUR MATHEMATIK Reihe V Vorlesungsskripten EHeft 9 Wintersemester 2001/02 Codierungstheorie und Kryptographie W. Bruns Fachbereich Mathematik/Informatik Universität Osnabrück OSM Osnabrücker

Mehr

Inhaltsverzeichnis Informations- und Codierungstheorie

Inhaltsverzeichnis Informations- und Codierungstheorie Inhaltsverzeichnis 2 Informations- und Codierungstheorie 1 2.1 Grundlegende Definitionen.................... 2 2.1.1 Diskrete gedächtnislose Informationsquelle....... 2 2.1.2 Das Informationsmaß nach Shannon...........

Mehr

Grundlagen der Technischen Informatik. Codierung und Fehlerkorrektur. Kapitel 4.2. Codewörter. Codewörter. Strukturierte Codes

Grundlagen der Technischen Informatik. Codierung und Fehlerkorrektur. Kapitel 4.2. Codewörter. Codewörter. Strukturierte Codes Codewörter Grundlagen der Technischen Informatik Codierung und Fehlerkorrektur Kapitel 4.2 Allgemein: Code ist Vorschrift für eindeutige Zuordnung (Codierung) Die Zuordnung muss nicht umkehrbar eindeutig

Mehr

Zufallsvariablen: Die allgemeine Definition

Zufallsvariablen: Die allgemeine Definition KAPITEL 8 Zufallsvariablen: Die allgemeine Definition 8.1. Zufallsvariablen Bis zu diesem Zeitpunkt haben wir ausschließlich Zufallsvariablen mit endlich oder abzählbar vielen Werten (also diskrete Zufallsvariablen)

Mehr

Zeichen (engl. character)

Zeichen (engl. character) Zeichen (engl. character) DIN 44300 Ein Element (als Typ) aus einer zur Darstellung von Information vereinbarten endlichen Menge von Objekten (Zeichenvorrat, character set), auch jedes Abbild (als Exemplar)

Mehr

Mathematik: Mag. Schmid Wolfgang & LehrerInnenteam Arbeitsblatt 7-9 7. Semester ARBEITSBLATT 7-9. Was ist Wahrscheinlichkeit

Mathematik: Mag. Schmid Wolfgang & LehrerInnenteam Arbeitsblatt 7-9 7. Semester ARBEITSBLATT 7-9. Was ist Wahrscheinlichkeit ARBEITSBLATT 7-9 Was ist Wahrscheinlichkeit "Ein guter Mathematiker kann berechnen, welche Zahl beim Roulette als nächstes kommt", ist eine Aussage, die einfach falsch ist. Zwar befassen sich Mathematiker

Mehr

Vorlesung. Machine Learning - Entscheidungsbäume

Vorlesung. Machine Learning - Entscheidungsbäume Vorlesung Machine Learning - Entscheidungsbäume Vorlesung Machine Learning - Entscheidungsbäume http://de.wikipedia.org/wiki/datei:deu_tutorial_-_hochladen_von_bildern_neu%2bcommons.svg http://www.rulequest.com/personal/

Mehr

Grundbegriffe der Informatik

Grundbegriffe der Informatik Ich hoffe, es werden Ew. Hochfürstliche Durchlaucht in Gnaden vermerken, daß ich sowohl dem Gebrauche, als meinem Gemüths=Triebe zu Folge, bei dem eingetretenen neuen Jahre, auf dieses und viele folgende,

Mehr

Forschungsstatistik I

Forschungsstatistik I Prof. Dr. G. Meinhardt 2. Stock, Nordflügel R. 02-429 (Persike) R. 02-431 (Meinhardt) Sprechstunde jederzeit nach Vereinbarung Forschungsstatistik I Dr. Malte Persike persike@uni-mainz.de WS 2008/2009

Mehr

Bildverarbeitung Herbstsemester 2012. Bildspeicherung

Bildverarbeitung Herbstsemester 2012. Bildspeicherung Bldverarbetung Herbstsemester 2012 Bldspecherung 1 Inhalt Bldformate n der Überscht Coderung m Überblck Huffman-Coderung Datenredukton m Überblck Unterabtastung Skalare Quantserung 2 Lernzele De wchtgsten

Mehr

Kryptographie und Komplexität

Kryptographie und Komplexität Kryptographie und Komplexität Einheit 2.3 One-Time Pads und Perfekte Sicherheit 1. Perfekte Geheimhaltung 2. One-Time Pads 3. Strombasierte Verschlüsselung Wie sicher kann ein Verfahren werden? Ziel ist

Mehr

Grundlagen exakter Methoden zur Verschlüsselung von Codewörtern mittels linearer Codes*

Grundlagen exakter Methoden zur Verschlüsselung von Codewörtern mittels linearer Codes* Grundlagen exakter Methoden zur Verschlüsselung von Codewörtern mittels linearer Codes* Andrea Kraft andreakraft@gmx.at Elisabeth Pilgerstorfer elisabeth_pilg@hotmail.com Johannes Kepler Universität Linz

Mehr

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005. Das Problem.. Quellcodierung und Datenkompression. Wir wollen eine Nachricht über einen digitalen Kanal, der nur 0 oder übertragen kann, schicken.

Mehr

Erst die rechte und dann die linke Hand heben: Zweimal nacheinander die rechte Hand heben:

Erst die rechte und dann die linke Hand heben: Zweimal nacheinander die rechte Hand heben: 7.7.7. Codierung mit variabler Wortlänge Vom schweigsamen König, der gern chweinebraten aß (Frei nach Walter. Fuchs: Knaur s Buch der Denkmaschinen, 968) n einem fernen Land lebte vor langer, langer Zeit

Mehr

Seminararbeit. Proseminar Wirtschaftspsychologie: Technikpsychologie I: Neue Technologien der Arbeitswelt. Thema: INFORMATION UND KOMUNIKATION

Seminararbeit. Proseminar Wirtschaftspsychologie: Technikpsychologie I: Neue Technologien der Arbeitswelt. Thema: INFORMATION UND KOMUNIKATION 0 Seminararbeit Proseminar Wirtschaftspsychologie: Technikpsychologie I: Neue Technologien der Arbeitswelt Thema: INFORMATION UND KOMUNIKATION Wintersemester 2oo1 LV-Leiter: ao. Univ. Prof. Dr. M. Trimmel

Mehr

Theoretische Grundlagen der Informatik WS 09/10

Theoretische Grundlagen der Informatik WS 09/10 Theoretische Grundlagen der Informatik WS 09/10 - Tutorium 6 - Michael Kirsten und Kai Wallisch Sitzung 13 02.02.2010 Inhaltsverzeichnis 1 Formeln zur Berechnung Aufgabe 1 2 Hamming-Distanz Aufgabe 2 3

Mehr

Übung zur Vorlesung. Informationstheorie und Codierung

Übung zur Vorlesung. Informationstheorie und Codierung Übung zur Vorlesung Informatonstheore und Coderung Prof. Dr. Lla Lajm März 25 Ostfala Hochschule für angewandte Wssenschaften Hochschule Braunschweg/Wolfenbüttel Postanschrft: Salzdahlumer Str. 46/48 3832

Mehr

2. Digitale Codierung und Übertragung

2. Digitale Codierung und Übertragung 2. Digitle Codierug ud Üertrgug 2.1 Iformtiostheoretische Grudlge 2.2 Speicheredrf ud Kompressio 2.3 Digitlisierug, Digitle Medie Weiterführede Litertur zum Them Dtekompressio: Khlid Syood: Itroductio

Mehr

Nachrichtentechnisches Praktikum. Videocodierung. Institut für Nachrichtentechnik

Nachrichtentechnisches Praktikum. Videocodierung. Institut für Nachrichtentechnik Nachrichtentechnisches Praktikum Videocodierung Version 2.1 15.06.2011 Erstellt von: cand. el. Holger Meuel Überarbeitet von: Bastian Farkas Institut für Nachrichtentechnik Inhaltsverzeichnis Inhaltsverzeichnis

Mehr

t r Lineare Codierung von Binärbbäumen (Wörter über dem Alphabet {, }) Beispiel code( ) = code(, t l, t r ) = code(t l ) code(t r )

t r Lineare Codierung von Binärbbäumen (Wörter über dem Alphabet {, }) Beispiel code( ) = code(, t l, t r ) = code(t l ) code(t r ) Definition B : Menge der binären Bäume, rekursiv definiert durch die Regeln: ist ein binärer Baum sind t l, t r binäre Bäume, so ist auch t =, t l, t r ein binärer Baum nur das, was durch die beiden vorigen

Mehr

Basisinformationstechnologie I

Basisinformationstechnologie I Basisinformationstechnologie I Wintersemester 2014/15 29. Oktober 2014 Grundlagen II Universität zu Köln. Historisch-Kulturwissenschaftliche Informationsverarbeitung Jan G. Wieners // jan.wieners@uni-koeln.de

Mehr

Grundlagen der Computertechnik

Grundlagen der Computertechnik Grundlagen der Computertechnik Aufbau von Computersystemen und Grundlagen des Rechnens Walter Haas PROLOG WS23 Automation Systems Group E83- Institute of Computer Aided Automation Vienna University of

Mehr

gleich ?

gleich ? Bekanntlich rechnen wir üblicherweise mit Zahlen, die mit Ziffern aus einem Vorrat von 10 verschiedenen Zeichen beschrieben werden: { 0, 1, 2,..., 8, 9 }, wobei die Ziffer 0 ganz wesentlich für ein Stellenwertsystem

Mehr

Effizienz von Algorithmen

Effizienz von Algorithmen Effizienz von Algorithmen Letzte Bearbeitung: Jan 211 Ein wichtiger Aspekt bei Algorithmen sind seine "Kosten". Wir wollen uns hier ausschließlich mit der Laufzeit des gewählten Algorithmus beschäftigen.

Mehr

T (n) = max. g(x)=n t(n) S(n) = max. g(x)=n s(n)

T (n) = max. g(x)=n t(n) S(n) = max. g(x)=n s(n) Beim Logarithmischen Kostenmaß wird, im Gegensatz zum EKM, die Stelligkeit der Werte berücksichtigt und mit in die Laufzeit eingerechnet. Beispiel: R1 := R2 (R3), wobei R2 den Wert 5, R3 den Wert 10 und

Mehr

Information & Kommunikation - Zusammenfassung

Information & Kommunikation - Zusammenfassung Information & Kommunikation - Zusammenfassung Patrick Pletscher 29 September 2004 Grundlagen der Informationstheorie Entropie als Mass für Unsicherheit Definition der Entropie Die Entropie einer diskreten

Mehr

Präfixcodes und der Huffman Algorithmus

Präfixcodes und der Huffman Algorithmus Präfixcodes und der Huffmn Algorithmus Präfixcodes und Codebäume Im Folgenden werden wir Codes untersuchen, die in der Regel keine Blockcodes sind. In diesem Fll können Codewörter verschiedene Länge hben

Mehr

Kapitel 3. Codierung von Text (ASCII-Code, Unicode)

Kapitel 3. Codierung von Text (ASCII-Code, Unicode) Kapitel 3 Codierung von Text (ASCII-Code, Unicode) 1 Kapitel 3 Codierung von Text 1. Einleitung 2. ASCII-Code 3. Unicode 2 1. Einleitung Ein digitaler Rechner muss jede Information als eine Folge von 0

Mehr

Datenkompression. Maciej Liśkiewicz 1, Henning Fernau 2

Datenkompression. Maciej Liśkiewicz 1, Henning Fernau 2 Datenkompression Maciej Liśkiewicz 1, Henning Fernau 2 1 Institut für Theoretische Informatik, Medizinische Universität zu Lübeck Wallstr. 40, D-23560 Lübeck und 2 Wilhelm-Schickard-Institut für Informatik,

Mehr

4. Digitale Datendarstellung

4. Digitale Datendarstellung 4 Digitale Datendarstellung Daten und Codierung Textcodierung Codierung natürlicher Zahlen - Stellenwertsysteme - Konvertierung - Elementare Rechenoperationen Codierung ganzer Zahlen - Komplementdarstellung

Mehr

6. Stochastische Modelle II: Stetige Wahrscheinlichkeitsverteilungen, insbesondere Normalverteilungen

6. Stochastische Modelle II: Stetige Wahrscheinlichkeitsverteilungen, insbesondere Normalverteilungen 6. Stochastische Modelle II: Stetige Wahrscheinlichkeitsverteilungen, insbesondere Normalverteilungen Dr. Antje Kiesel Institut für Angewandte Mathematik WS 2011/2012 Bisher: Diskrete Zufallsvariablen,

Mehr

BinärCode. Codealphabet: 0 ; 1 Codeworte : Dualzahlen

BinärCode. Codealphabet: 0 ; 1 Codeworte : Dualzahlen Codes Vorschrift für die eindeutige Zuordnung (= Codierung) der Zeichen eine Zeichenvorrats (Objektmenge) zu den Zeichen eines anderen Zeichenvorrats (Bildmenge). Zweck der Codierung: Anpassung der Nachricht

Mehr

Bild: Digicomp. 04.10.2012 Dipl. Ing. Piotr Lisowski

Bild: Digicomp. 04.10.2012 Dipl. Ing. Piotr Lisowski Bild: Digicomp Vom Papier aufs Handy mit einem Klick zum Ziel Dipl. Ing. Piotr Lisowski print2web Elemente e e te Verschlüsselte und verdichtete Informationen, die über Smartphone Kamera eingescannt oder

Mehr