Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi

Größe: px
Ab Seite anzeigen:

Download "Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi"

Transkript

1 Informationstheorie und Codierung Prof. Dr.-Ing. Lilia Lajmi

2 Organisatorisches Vorlesung 2 SWS ( 2,5 LP) - Dienstags. 12:00-13:30 Uhr, Raum L122 Unterlagen - Vorlesungsfolien - Übungsaufgaben - Skript (Dr. Jäger) Klausur (voraussichtlicher Termin) - EIT: , Dauer: 90 min 2

3 Problemstellung Einfaches Modell einer Nachrichtenübertragung Störung Sender (Datenquelle) Bilder, Sprache, Text,.. Daten- Kanal Empfänger (Datensenke) Bei der Nachrichtenübertragung treten mehr oder weniger starke Störungen (z.b. Rauschen) auf Fehler beim Empfänger Die Codierungstheorie beschäftigt sich mit dem Problem, wie man Nachrichten über einen gestörten Kanal so übertragen kann, dass o die Übertragung der Nachricht überhaupt möglich ist, o die Nachricht beim Empfänger möglichst fehlerfrei ankommt o und im Fall von Übertragungsfehler die ursprüngliche Nachricht korrekt abgeleitet werden kann. 3

4 Ziel der Codierung Digitale Nachrichtenübertragung Effektive Nutzung von Datenkanälen Möglichst hohe Informationsübertragungsrate Sichere Übertragung der Informationen trotz auftretender Störungen im Kanal. Störungen auf dem Übertragungskanal durch geeignete Codierung bekämpfen auftretende Bitfehler beim Empfänger nach Möglichkeit erkennen und korrigieren Sicherer Schutz der Information gegen unzulässige Leser oder verdeckte Sender (Vertraulichkeit der Daten) Dabei beachten: Möglichst kleiner Codieraufwand Möglichst einfache Decodierung (Für die Echtzeitfähigkeit der Empfänger von großer Bedeutung) 4

5 Digitales Übertragungssystem Quelle Quellen- Codierer Kanal- Codierer Digital Sender Redundanz Irrelevanz Fehlerschutz Redundanz Digitaler Kanal Senke Quellen- Decodierer Kanal- Decodierer Empfänger Redundanz Fehlerschutz Redundanz Quellencodierung: Daten so transformieren, dass sie gut übertragbar werden können (Codierung, Kompression) Kanalcodierung: Daten so transformieren, dass bei der Übertragung auftretende Fehler erkannt und evtl. sogar korrigiert werden können 5

6 Inhaltsverzeichnis 1. Einführung und Definitionen 1.1 Alphabet und Wörter 1.2 Graphen und Bäume 1.3 Codierung und Decodierung 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon 2.4 Huffman-Codierung 2.5 Codierung von Wörtern anstelle von Einzelsymbolen 2.6 Diskrete Quelle mit Gedächtnis 3. Kanalcodierung 3.1 Nachrichtentheorie für gestörte Kanäle 3.2 Blockcodes 3.3 Gruppencodes 3.4 Zyklische Codes 3.5 Faltungscodes 6

7 Literatur Hermann Rohling Einführung in die Informationsund Codierungstheorie, Teubner-Verlag, 1995, 49,95 Ralph-Hardo Schulz Codierungstheorie, Vieweg- Verlag, 1991 ca. 29,9 Richard W. Hamming Information und Codierung VCH Verlagsgesellschaft,

8 1. Einführung und Definitionen 1.1 Alphabet und Wörter 1.2 Graphen und Bäume 1.3 Codierung und Decodierung Definition Blockcode Präfixfreier Code 8

9 1.1 Alphabet und Wörter Alphabet Unter einem Alphabet versteht man den Symbolvorrat eines Datenraums Beispiele: Das Alphabet für natürliche Zahlen ist {0, 1,, 9} Das Alphabet für Hexadezimalzahlen ist {0, 1,, 9, A,, F} Das Alphabet für Binärzahlen ist {0, 1} Das Alphabet für die Dezimalzahlen ist {0, 1,, 9,, } Das Alphabet für die deutsche Sprache ist {a,.., z, A,.. Z, ä,.., :, ;,!,?,, } Ein Alphabet mit nur 2 Alphabetzeichen heißt binäres Alphabet, ein Alphabet mit nur 3 Alphabetzeichen heißt trinäres Alphabet. Beispiel: Für die digitale Datenübertragung steht uns eine binäre Quelle mit dem Alphabet {0, 1} zur Verfügung 9

10 1.1 Alphabet und Wörter Wort: Definition und Länge Unter einem Wort der Länge über einem Alphabet versteht man eine beliebige Aneinanderreihung (Folge) von Symbolen aus dem Alphabet. Die leere Folge (der Länge 0) bezeichnet man mit Beispiel: 100 ist ein Wort der Länge 3 über dem Alphabet 0,1 der Binärzahlen. Gelegentlich verwendete, alternative Bezeichnungen: String oder Zeichenkette der Länge Folge der Länge über Vektor der Länge über Variation mit Wiederholung der Länge über Die Länge eines Wortes ist die Anzahl der vorkommenden Symbole. Sie wird mit bezeichnet. Beispiel:, 10

11 1.1 Alphabet und Wörter Definitionen für Wörtermengen Die Menge aller Wörter der Länge über (mit konstantem und festem ) wird mit bezeichnet. bezeichnet die Menge aller Wörter mit einer Maximallänge über Achtung: Gelegentlich wird als auch die Gesamtmenge aller Wörter bezeichnet (entsprechend ) Beispiel: 0, 1 ; Wortlänge maximal 2. 0, 1 00, 01, 10, 11 0, 1 00,01,10,11,,,,, A * = A 1 A 2 A 1 A

12 1.1 Alphabet und Wörter Satz: Es gibt genau Wörter der Länge Jedes Wort über Alphabet hat Komponenten Für jede Komponente eines Wortes gibt es Möglichkeiten Variationen unabhängig genau Wörter Beispiel: 0,1,2 3; 2 o Laut Satz: Anzahl der Wörter mit Länge 2 o Probe durch Abzählen der möglichen Wörter: also auch 9 Wörter

13 Aufgabe Es sei das Alphabet 0, 1, 2 und 3gegeben. a. Bestimmen Sie:,,, und b. Wie groß ist? 2. Ein Alphabet A, bestehend aus 26 Buchstaben, 3 Umlauten sowie dem Leerzeichen und den neun Satzzeichen., ; :?! und soll a. Binär b. hexadezimal dargestellt werden. Wie viele binäre bzw. hexadezimale Stellen sind für die Darstellung eines Symbols mindestens erforderlich? 13

14 1. Einführung und Definitionen 1.1 Alphabet und Wörter 1.2 Graphen und Bäume 1.3 Codierung und Decodierung Definition Blockcode Präfixfreier Code 14

15 1.2 Graphen und Bäume Graphen Ein Graph G umfasst eine Menge V von Knoten und E von Kanten, welche die Knoten miteinander verbinden, Allgemeiner Graph (ungerichteter Graph): Veranschaulichung als Punkte und Verbindungslinien: Kein Graph z.b. 2. Knote fehlt Gerichteter Graph: Ein Graph heißt gerichtet, wenn jede Kante E ein geordnetes Knotenpaar (V 1, V 2 ) darstellt. Ein Knotenpaar (V 1, V 2 ) heißt Pfeil von V 1 (Anfangsknoten) nach V 2 (Endknoten) 15

16 1.2 Graphen und Bäume Graphen Endlicher Graph: Ein Graph G heißt endlich, wenn die Anzahl der Knoten (und damit auch der Kanten) endlich ist, also Der Grad eines Knotens ( ) beschreibt die Anzahl der Kanten, an denen ein Knoten beteiligt ist Ein Graph G heißt r-regulär, wenn alle Knoten den Grad haben

17 1.2 Graphen und Bäume Graphen Ein Graph G heißt zusammenhängend, wenn je zwei Knoten durch irgendeinen Weg verbunden sind (ggf. zusammengesetzt aus mehreren Kanten) Satz: Sei G=(V, E) ein endlicher Graph, es gilt: r p : Grad des Knotens (Anzahl der Kanten an 2 den Knoten) 17

18 1.2 Graphen und Bäume Bäume Ein Baum ist ein spezieller Graph, mit dem sich eine Monohierarchie modellieren lässt. Ein Baum besteht aus einer Menge von Knoten mit einer speziellen Eltern-Kind-Relation, welche die folgenden Eigenschaften hat: o Es gibt einen ausgezeichneten Knoten, den man die Wurzel des Baums nennt und der keinen Elternknoten besitzt. o Jeder Knoten außer der Wurzel hat einen eindeutig bestimmten Elternknoten. o Jeder Knoten ist Nachfahre der Wurzel, (d.h. ist selbst die Wurzel oder ein Kind, Enkel, Urenkel, usw. von ) o Ein Knoten, der keine Kinder hat, wir als ein Blatt des Baums bezeichnet. o Knoten, die mindestens ein Kind haben, nennt man innere Knoten des Baums. Bäume werden häufig graphisch dargestellt, wobei die Wurzel den höchsten (bzw. niedrigsten) Punkt bildet und alle Kinder auf einem Niveau unter (bzw. über) ihre Elternknoten gezeichnet und mit dem Elternknoten durch eine Kante verbunden werden. 18

19 1.2 Graphen und Bäume Bäume Je nachdem, ob die Kanten des Baums eine ausgezeichnete Richtung besitzen, lassen sich Bäume in ungerichtete oder gewurzelte Bäume unterteilen: o Ungerichteter Baum: Ein zusammenhängender ungerichteter Graph. Knoten mit Grad 1 werden Blätter genannt, die übrigen Knoten heißen innere Knoten o Gewurzelter Baum (auch gerichteter Baum) ist ein gerichteter Graph mit genau einer Wurzel. Wurzeln sind Knoten mit Eingangsgrad 0. Knoten mit Ausgangsgrad 0 heißen Blätter. Darstellung eines gerichteten Baumes mit einer Wurzel (rot), zwei inneren Knoten (gelb) und vier Blättern (grün) Darstellung eines ungerichteten Baumes mit zwei inneren Knoten (blau) und vier Blättern (rot) Quelle: Wikipedia 19

20 1.2 Graphen und Bäume Der reguläre binäre Baum Ein Binärbaum ist ein Wurzelbaum, bei dem von jedem Knoten, der kein Endknoten ist, höchstens d=2 Knoten wegführen (jeder Knoten besitzt höchstens zwei Kindknoten) Ein Binärbaum ist entweder leer, oder er besteht aus einer Wurzel mit einem linken und rechten Teilbaum, die wiederum Binärbäume sind. Er heißt auch vollständig, wenn alle Endknoten den gleichen Abstand von der Wurzel haben Graphische Darstellungen: Wurzel oben (oder links) und die Blätter unten (oder rechts) platziert. Weg von der Wurzel in Richtung Blatt. Vollständiger Binärbaum Binärbaum mit Knotentypen 20

21 1.2 Graphen und Bäume Darstellung von Wörtern in einem Baum Sei ein Alphabet mit Jede von einem Knoten ausgehende Kante lässt sich mit einem Element aus benennen Den Knoten des -ten Niveaus können Wörtern der Länge zugeordnet werden Wurzel Beispiel 1: Alphabet Binär 0, 1 Baum Binär Nicht vollständig a 1 a 3 a 4 1 a 1 = 00 a 2 = 011 a 3 = 10 a 4 = 11 a 2 21

22 1.2 Graphen und Bäume Darstellung von Wörtern in einem Baum Beispiel 2: Alphabet 0, 1, 2 und 3 (in diesem Fall trinäres Alphabet) Baum nicht Binär Wurzel a 1 = 01 a 2 = 022 a 3 = a 4 = 202 a 5 = a 5 a 1 2 a 3 2 a 2 a 4 22

23 1.2 Graphen und Bäume Anwendungsbeispiele In der Codierungstheorie (Huffman-Codierung; Fano ) In der Informatik werden Bäume häufig als Datenstruktur eingesetzt. In diesem Fall werden sie aber anders repräsentiert als allgemeine Graphen. Knoten als Personen, Kanten als Verwandtschaft Knoten als Organisationen, Kanten als Geschäftsbeziehung Knoten als Orte, Kanten als Wege Knoten als Programmbefehle, Kanten als mögliche Programmfortschritte (Verzweigung) 23

24 1. Einführung und Definitionen 1.1 Alphabet und Wörter 1.2 Graphen und Bäume 1.3 Codierung und Decodierung Definition Blockcode Präfix-Code 24

25 Codierung Definition Die Codierung beschreibt im allgemeinen die Darstellung von Informationen durch Symbolfolgen. Eine Information ist dabei ein Wort über dem Alphabet Eine codierte Information ist ein Wort über dem Alphabet Für die Überführung einer Information über dem Alphabet zum Alphabet bedarf es einer injektiven Abbildung : heißt Codierung (Codierung von durch ) Mit Code wird der als Bildmenge bei einer Codierung auftretenden Symbolvorrat bezeichnet: Die Bildelemente, heißen Codeworte über Ist ein Binäralphabet: 0, 1, dann heißt die Codierung : eine Binärcodierung 25

26 Was ist eine Abbildung? : Eine mathematische Abbildung : D.h. jeden Element aus wird per Abbildungsvorschrift ein Element aus zugeordnet A Gegenbeispiel B A B Keine Abbildung, weil es zu einem Element aus kein Bild gibt. 26

27 Was ist eine injektive Abbildung? Injektive Abbildung : bedeutet: Kein Bildpunkt aus hat mehr als einen Ursprung Eine Umkehrabbildung ist möglich für eine Untermenge von Die Umkehrabbildung wird mit Decodierung bezeichnet A Beispiel:, ; : Diese Abbildung ist nicht injektiv Begründung: B Beispiel:,, 0, 1 ; C ist eine injektive Abbildung hat mehr als einen Ursprung 27

28 Decodierung Definition Die Decodierung ist die Umkehrabbildung der Codierung. Ein Code heißt decodierbar genau dann, wenn jedes codierte Wort nur auf eine einzige Arzt zurückübersetzt werden kann. sei die Codierung von durch : Die Abbildung für die Decodierung wird mit bezeichnet. Es gilt:, ist eine Untermenge von Decodieren kann man nur Wörter, die vorher codiert worden sind. Nicht jedes beliebige Wort aus der Menge ist rückübersetzbar, sondern nur solche Wörter, die schon vorher übersetzt worden sind (hier aus ). 28

29 1. Einführung und Definitionen 1.1 Alphabet und Wörter 1.2 Graphen und Bäume 1.3 Codierung und Decodierung Definition Blockcode Präfixfreier Code 29

30 1.3.2 Blockcode Definition: Bei einem Blockcode ist die Länge aller Codewörter gleich Sei in Alphabet und. Ein Blockcode der Länge über ist eine Teilmenge von Ist 2 (i. Allg. 0, 1, so heißt binärer Blockcode: 0, 1, 2 00,01,10,11 : Blockcode der Länge 2 über Beispiel:,,, 0,1 3 : Für die Codierung der einzelnen Elemente von benötigen wir 3 Bits. Die Codierung könnte wie folgt aussehen (s. Tabelle) : ist eine Untermenge vom 3-Bit-Binärcode,,,,,,, a 000 b 011 c

31 Aufgabe 1-2 Ein Sender kann vier Codierte Nachrichten aussenden (Es handelt sich hier um einer binären Blockcodierung der Länge 2): 0 0 Die Börse ist sehr fest. 1 1 Sollen wir verkaufen? 0 1 Die Kurse fallen. 1 0 Helft uns gegensteuern! Eines Tages wird die Symbolfolge X empfangen. Dabei hat man das erste Symbol verpasst und erst das zweite empfangen. Zusätzlich weiß man nicht, wo die Mitteilung aufhört, da der Sender immer weiter sendet. Rekonstruieren Sie die gesendete Botschaft unter der Annahme, dass der Sender etwas Sinnvolles übertragen hat. 31

32 1. Einführung und Definitionen 1.1 Alphabet und Wörter 1.2 Graphen und Bäume 1.3 Codierung und Decodierung Definition Blockcode Präfix-Code 1.4 Beispiele für Codierungen 32

33 1.3.3 Präfix-Code oder Präfixfreier Code Präfixe: Strukturierung von Wörtern nach Anfangsstücken. Definition: Ein Code heißt Präfixfrei (Präfix-Code), wenn kein Codewort aus Präfix (Anfangsstück) eines anderen Codewortes ist. Beispiel: Code 0, 10, 11 erfüllt die Präfix-Eigenschaft. Code 0, 01,11 verletzt die Präfix-Eigenschaft, da 0 Präfix von 01 ist. Allgemein gilt:,, ä Beispiele: Die Telefonnummern sind Präfixfreie Codes, da jeder Anschluss durch seine Telefonnummer eindeutig identifizierbar sein muss. Es darf bei Wählprozess nicht dazu kommen, dass es zwischen drin bei einem anderen Teilnehmer klingelt. Jeder Blockcode ist Präfixfrei, denn bei Blockcodes haben alle Codewörter die gleiche Länge (sonst wären zwei Codewörter gleich) 33

34 Aufgabe 1-3 Gegeben sei das Alphabet 0, 1. Ist die Menge 1, 011, 01110, 1110, ein sinnvoller Code für fünf Nachrichten? Lösung Codewort 2 (011) ist auch in Codewort 3 (01110) enthalten kein Präfixfreier Code Code ungünstig 34

35 1.3.3 Präfix-Code Eigenschaften Das leere Wort ist Präfix jeden Wortes. Jeder Präfixfreier Code ist (insbesondere auch bei sequentieller Übertragung) eindeutig decodierbar. Man kann jeden Präfix-Code durch einen Code-Baum repräsentieren. Bei einem Präfix-Code werden im zugehörigen Code-Baum alle Codewörter durch Endknoten dargestellt.. Beispiel: Präfixe auf, Alle Wörter mit Maximallänge 3 (Alphabet 0, 1 ) Realisierung mit einem Baum Präfixe von 01 sind :,, Präfixe von 101 sind :,,, 35

36 Aufgabe Bestimmen Sie für jeden der folgenden Codes, ob dieser eindeutig decodierbar ist und ob es sich um einen präfixfreien Code handelt. Ist der Code nicht eindeutig decodierbar, dann geben Sie eine Codesequenz an, für welche zwei unterschiedliche Interpretationen als Sequenz aus Codewörtern existieren. Sonst repräsentieren Sie den Code mit einem Codebaum , 10, 01, , 10, , 01, , , 1, 01 Bemerkung: Existiert ein eindeutig decodierbarer Code, dann existiert auch ein präfixfreier Code mit denselben Codewortlängen. Deshalb werden für eindeutig decodierbare Codes üblicherweise Präfixfreie Codes Verwendet. 36

37 Ungleichung von Kraft Definition: Jede binärer bzw. t-närer Präfix-Code mit (d.h. Codewörter) und den zugehörigen Längen,,, erfüllt die Ungleichung von Kraft:. Sind umgekehrt,,,, natürliche Zahlen, die diese Ungleichung erfüllen, so existiert ein entsprechender binärer (bzw. t-närer) Präfix-Code. Beispiel 1: 4 Endknoten 1, 2 Ungleichung von Kraft: ,25 1 Ein binärer Wurzelbaum existiert nicht Kein Platz für den dritten 2 37

38 Ungleichung von Kraft Beispiel 2: 4 Endknoten 2, 3 Ungleichung von Kraft: ,75 1 Ein binärer Wurzelbaum existiert (1) (2) (3) (4) 38

39 Aufgabe 1-4 Ein binärer Baum habe 7Endknoten, deren Abstände von der Wurzel sind: 2; 3; 4 1. Existiert dieser Baum? 2. Wenn ja, stellen Sie diesen Baum dar. 39

40 Aufgabe Existiert für folgende Codewortlängen ein binärer Präfixfreier Code? Wenn ja, dann konstruieren Sie einen entsprechenden Code a. 1, 2, 3, 4, 5, 5 b. 1, 2, 3, 4,4, 5 c. 2, 2,2, 3, 4 2. Existiert für folgende Codewortlängen ein ternärer Präfixfreier Code? Wenn ja, dann konstruieren Sie einen entsprechenden Code a. 1,2,3,1,2,3,2 b. 1,2,3,4,1,2,3,4 c. 3,3,3,3,3,3,2,1,1 40

41 1. Einführung und Definitionen 1.1 Alphabet und Wörter 1.2 Graphen und Bäume 1.3 Codierung 1.4 Beispiele für Codierungen Morse-Codierung ASCII-Codierung Lochkarten Codierung 41

42 1.4 Beispiele für Codierungen Morse-Codierung Der Morse-Code (auch Morsealphabet genannt) ist ein Verfahren zur Übermittlung von Buchstaben, Zahlen und übrige Zeichen. Es wird dabei ein Signal ein- und ausgeschaltet Wurde von Samuel Morse ( ) erfunden und wird heute auf der ganzen Welt verwendet. Der Morse-Code kann als Tonsignal, als Funksignal, als elektrischer Puls mit einer Morsetaste über eine Telefonleitung, mechanisch oder optisch (mit blinkendem Licht) übertragen werden. Morsetaste Quelle: Wikipedia Übermittlung von Morsecode mittels Lichtzeichen in der Seefahrt 42

43 1.4 Beispiele für Codierungen Morse-Codierung Internationaler Morsecode Es ist ein ternärer Code mit drei Symbole: Punkt ( ) Strich (--- ) und Leerzeichen Meist kurz, lang und Pause genannt Das Leerzeichen wird nur als Trennzeichen verwendet. Es gilt: o Zwischen Buchstaben 1 Zeiteinheit o Zwischen Wörtern 3 Zeiteinheiten o Zwischen Sätzen 6 Zeiteinheiten Beispiel: Das Alphabet A wird codiert mit --- Automatischer Morseschreiber 43

44 1.4 Beispiele für Codierungen Morse-Codierung Auszug aus dem Morse-Alphabet Die Codewortlänge der Einzelnen Buchstaben ist variabel, angepasst an die Häufigkeit der Buchstaben (von 1+Leerzeichen bis 4+Leerzeichen) Buchstaben, die besonders häufig verwendet werden, bekamen von Morse einen kurzen Code zugewiesen Beispiel E oder T Selten verwendete Buchstaben wurden mit einem längeren Code dargestellt Beispiel Q V Quelle: Wikipedia 44

45 1.4 Beispiele für Codierungen Morse-Codierung Beispiele für Codierung ohne Leerzeichen als Trennzeichen zwischen den Symbolen o Morsecode von AU o Morsecode von ENA o Morsecode von ETU o Morsecode von ETEA o Morsecode von LT Morsecode ist ohne Lücken zwischen den Symbolen nicht decodierbar alle codierten Symbole müssen deshalb durch eine Lücke getrennt werden Viele Codierte Symbole stellen den Anfang eines anderen codierten Symbols dar Es ist nur dann ein Präfix-Code, wenn das Trennzeichen nach jedem Buchstaben mit berücksichtigt wird. Beispiel Morsecode von A ( --) ist auch Anfangscode von L ( -- ), J ( ), P ( ), R ( -- ) und W ( -- --) 45

46 1. Einführung und Definitionen 1.1 Alphabet und Wörter 1.2 Graphen und Bäume 1.3 Codierung 1.4 Beispiele für Codierungen Morse-Codierung ASCII-Codierung Lochkarten Codierung 46

47 1.4 Beispiele für Codierungen ASCII-Codierung Die ASCII (American Standard Code for Information Interchange)-Codierung wurde 1963 von der American Standard Association (ASA) als Standard ASA X veröffentlicht und 1967 und 1968 aktualisiert. Prinzip: Um Text in einem Rechner darzustellen, codiert man Symbole mittels Bitfolgen (Bit = einzelne Speicherzelle). Die Symbole umfassen das lateinische Alphabet in Gross- und Kleinschreibung, die zehn arabischen Ziffern so wie einige Satz- und Steuerzeichen. Jedem Symbol wird ein Bitmuster aus 7 Bit zugeordnet. Da jedes Bit zwei Werte annehmen kann (0 oder 1), gibt es 2 7 = 128 verschiedene Bitmuster, die auch als die ganzen Zahlen von 0 bis 127 (hexadezimal 00-7F) interpretiert werden können. Die Darstellung erfolgt mit je einer 8 stelligen Binärzahl. Das letzte und 8te Bit diente früher als Kontrollbit bei der Datenübertragung, da die Qualität der Datenübertragung heute sehr sicher ist, nutzt man daher auch das Kontrollbit für die Codierung. Somit ergibt sich ein weiterer verfügbarer Bereich von ASCII 128 bis ASCII 255 (2 8 = 256 verschiedene Bitmuster). 47

48 1.4 Beispiele für Codierungen ASCII-Codierung Die ASCII Darstellung ist eine Kombination aus je 2 Hexadezimalzahlen aus dem Alphabet,,,,,,,,,,,,,,, oder aus je 8 Dualzahlen aus dem Alphabet,. Schritte der ASCII-Codierung ( am Beispiel des Symbols M) 1. Suchen der zugehörigen Dezimalzahl in Tabelle Das Symbol M hat die Dezimalzahl Umrechnen in Hexadezimalzahl Binäre Darstellung der beiden Hexadezimalstellen Ermittlung und Anhängen des Paritätsbits (so, dass die Gesamtzahl der mit 1 besetzten Positionen gerade ist) Paritätsbit ist hier 0, da die Binärzahl 4x1 enthält anhängen an die Binärzahl : ASCII-Code vom Symbol M 48

49 Aufgabe Wie lautet der ASCII-Code vom Symbol A (Hexadezimalzahl = 41) 2. Vervollständigen Sie die folgende Tabelle zur Umrechnung von Dezimal-, Hexadezimal- und Binärzahl Dezimalzahl Hexadezimalzahl Binärzahl B

50 1.4.2 ASCII-Codierung Teil einer ASCII-Code Tabelle Tabelle s. 50

51 1. Einführung und Definitionen 1.1 Alphabet und Wörter 1.2 Graphen und Bäume 1.3 Codierung 1.4 Beispiele für Codierungen Morse-Codierung ASCII-Codierung Lochkarten Codierung 51

52 1.4.3 Lochkarten Codierung In den Anfangszeiten der elektromagnetischen Datenverarbeitung konnten vielen Computersystemen ihre Eingabedaten ausschließlich über Lochkarten zugeführt werden Eine Lochkarte ist ein aus Spezialpapier gefertigter Datenträger und wird in der Datenverarbeitung zur Datenerfassung und Speicherung verwendet Dateninhalte werden durch einen Lochcode abgebildet (5 Spuren), mithilfe von elektromechanischen Geräten erzeugt und verarbeitet. 52

Klausur Informationstheorie und Codierung

Klausur Informationstheorie und Codierung Klausur Informationstheorie und Codierung WS 2013/2014 23.01.2014 Name: Vorname: Matr.Nr: Ich fühle mich gesundheitlich in der Lage, die Klausur zu schreiben Unterschrift: Aufgabe A1 A2 A3 Summe Max. Punkte

Mehr

Übung zur Vorlesung. Informationstheorie und Codierung

Übung zur Vorlesung. Informationstheorie und Codierung Übung zur Vorlesung Informationstheorie und Codierung Prof. Dr. Lilia Lajmi Juni 25 Ostfalia Hochschule für angewandte Wissenschaften Hochschule Braunschweig/Wolfenbüttel Postanschrift: Salzdahlumer Str.

Mehr

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche: Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 5/ 44 Unser Modell Shannon

Mehr

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Prof. Bernd Brügge, Ph.D Institut für Informatik Technische Universität München Sommersemester 2 2. Juli 2 Copyright 2 Bernd

Mehr

Kapitel 7: Optimalcodierung und Huffman Coding

Kapitel 7: Optimalcodierung und Huffman Coding Kapitel 7: codierung und Huffman Coding Ziele des Kapitels Auftreten von Fehlern bei zu starker Kompression Konstruktion optimaler Codes Huffman Coding 2 Bisher Theorem (Shannon I): Die mittlere Codewortlänge

Mehr

Einführung in die Codierungstheorie

Einführung in die Codierungstheorie Einführung in die Codierungstheorie Monika König 11.12.2007 Inhaltsverzeichnis 1 Einführung und Definitionen 2 2 Fehlererkennende Codes 3 2.1 Paritycheck - Code............................... 3 2.2 Prüfziffersysteme................................

Mehr

3 Codierung diskreter Quellen. Quelle Quellcodierer Kanalcodierer reduziert die benötigte Datenmenge. fügt Daten zur Fehlerkorrektur ein.

3 Codierung diskreter Quellen. Quelle Quellcodierer Kanalcodierer reduziert die benötigte Datenmenge. fügt Daten zur Fehlerkorrektur ein. 3 Codierung diskreter Quellen 3 Einführung 32 Ungleichmäßige Codierung 33 Präfix-Codes 34 Grenzen der Code-Effizienz 35 Optimal-Codierung 3 Zusammenfassung < 24 / 228 > 3 Codierung diskreter Quellen Quelle

Mehr

(Prüfungs-)Aufgaben zur Codierungstheorie

(Prüfungs-)Aufgaben zur Codierungstheorie (Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1

Mehr

Einleitung. Kapitel 1

Einleitung. Kapitel 1 Kapitel 1 Einleitung In diesem Abschnitt geben wir einen kurzen Überblick über den Inhalt der Vorlesung. Wir werden kurz die wesentlichen Probleme erläutern, die wir ansprechen wollen. Wir werden auch

Mehr

Vorlesung 15a. Quellencodieren und Entropie

Vorlesung 15a. Quellencodieren und Entropie Vorlesung 15a Quellencodieren und Entropie 1 1. Volle Binärbäume als gerichtete Graphen und die gewöhnliche Irrfahrt von der Wurzel zu den Blättern 2 3 ein (nicht voller) Binärbaum Merkmale eines Binärbaumes:

Mehr

Vorkurs Informatik WiSe 17/18

Vorkurs Informatik WiSe 17/18 Konzepte der Informatik Dr. Werner Struckmann / Stephan Mielke, Nicole Naczk, 13.10.2017 Technische Universität Braunschweig, IPS Inhaltsverzeichnis Codierung Aspekte der Binär-Codierung Binärcode Codetabellen

Mehr

Diskrete Mathematik II

Diskrete Mathematik II Diskrete Mathematik II Alexander May Fakultät für Mathematik Ruhr-Universität Bochum Sommersemester 2008 DiMA II - Vorlesung 01-07.04.2008 Einführung in die Codierungstheorie, Definition Codes 1 / 36 Organisatorisches

Mehr

Technische Informatik - Eine Einführung

Technische Informatik - Eine Einführung Martin-Luther-Universität Halle-Wittenberg Fachbereich Mathematik und Informatik Lehrstuhl für Technische Informatik Prof. P. Molitor Technische Informatik - Eine Einführung Darstellung von Zeichen und

Mehr

Codierungstheorie Teil 1: Fehlererkennung und -behebung

Codierungstheorie Teil 1: Fehlererkennung und -behebung Codierungstheorie Teil 1: Fehlererkennung und -behebung von Manuel Sprock 1 Einleitung Eine Codierung ist eine injektive Abbildung von Wortmengen aus einem Alphabet A in über einem Alphabet B. Jedem Wort

Mehr

Vorlesung 12. Quellencodieren und Entropie

Vorlesung 12. Quellencodieren und Entropie Vorlesung 12 Quellencodieren und Entropie 1 S sei eine abzählbare Menge (ein Alphabet ). Die Elemente von S nennen wir Buchstaben. Wir wollen die Buchstaben a, b,... durch (möglichst kurze) 01-Folgen k(a),

Mehr

Theoretische Grundlagen der Informatik. Vorlesung am 31. Januar INSTITUT FÜR THEORETISCHE INFORMATIK

Theoretische Grundlagen der Informatik. Vorlesung am 31. Januar INSTITUT FÜR THEORETISCHE INFORMATIK Theoretische Grundlagen der Informatik 3..29 Torsten Ueckerdt - Theoretische Grundlagen der Informatik KIT Die Forschungsuniversität in der Helmholtz-Gemeinschaft www.kit.edu Thema dieses Kapitels Informationstheorie

Mehr

Isomorphie von Bäumen

Isomorphie von Bäumen Isomorphie von Bäumen Alexandra Weinberger 23. Dezember 2011 Inhaltsverzeichnis 1 Einige Grundlagen und Definitionen 2 1.1 Bäume................................. 3 1.2 Isomorphie..............................

Mehr

Digitaltechnik I WS 2006/2007. Klaus Kasper

Digitaltechnik I WS 2006/2007. Klaus Kasper Digitaltechnik I WS 2006/2007 Klaus Kasper Studium 6 Semester 5. Semester: Praxissemester im Anschluss: Bachelorarbeit 6. Semester: WPs Evaluation der Lehre Mentorensystem 2 Organisation des Studiums Selbständigkeit

Mehr

Informatik II, SS 2016

Informatik II, SS 2016 Informatik II - SS 2016 (Algorithmen & Datenstrukturen) Vorlesung 22 (20.7.2016) Greedy Algorithmen - Datenkompression Algorithmen und Komplexität Greedy Algorithmen Greedy Algorithmen sind eine Algorithmenmethode,

Mehr

Referat zum Thema Huffman-Codes

Referat zum Thema Huffman-Codes Referat zum Thema Huffman-Codes Darko Ostricki Yüksel Kahraman 05.02.2004 1 Huffman-Codes Huffman-Codes ( David A. Huffman, 1951) sind Präfix-Codes und das beste - optimale - Verfahren für die Codierung

Mehr

Grundbegrie der Codierungstheorie

Grundbegrie der Codierungstheorie Grundbegrie der Codierungstheorie Pia Lackamp 12. Juni 2017 Inhaltsverzeichnis 1 Einleitung 2 2 Hauptteil 3 2.1 Blockcodes............................ 3 2.1.1 Beispiele.......................... 3 2.2

Mehr

2. Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung

2. Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 2 Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 2 Woche: Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 24/ 44 Zwei Beispiele a 0

Mehr

Dynamisches Huffman-Verfahren

Dynamisches Huffman-Verfahren Dynamisches Huffman-Verfahren - Adaptive Huffman Coding - von Michael Brückner 1. Einleitung 2. Der Huffman-Algorithmus 3. Übergang zu einem dynamischen Verfahren 4. Der FGK-Algorithmus 5. Überblick über

Mehr

Beispiel: Zeigen Sie, dass H(x) = H 0 = I gilt, wenn alle Zeichen gleichwahrscheinlich sind.

Beispiel: Zeigen Sie, dass H(x) = H 0 = I gilt, wenn alle Zeichen gleichwahrscheinlich sind. 1 2 Im ersten Schritt werden wir uns mit dem Begriff und der Definition der Information beschäftigen. Ferner werden die notwendigen math. Grundlagen zur Quellencodierung gelegt. Behandelt werden Huffman,

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Informationstheorie INSTITUT FÜR THEORETISCHE KIT 8.2.22 Universität des Dorothea Landes Baden-Württemberg Wagner - Theoretische und Grundlagen der Informatik INSTITUT

Mehr

Notation und Einführung

Notation und Einführung Skriptteil zur Vorlesung: Proinformatik - Funktionale Programmierung Dr. Marco Block-Berlitz 30.Juli 2009 Notation und Einführung Der folgende Abschnitt gibt eine kurze Einführung in die Codierungstheorie.

Mehr

Einführung in die Codierungstheorie

Einführung in die Codierungstheorie 11. Dezember 2007 Ausblick Einführung und Definitionen 1 Einführung und Definitionen 2 3 Einführung und Definitionen Code: eindeutige Zuordnung von x i X = {x 1,.., x k } und y j Y = {y 1,..., y n } Sender

Mehr

Rechnernetze Übung 5. Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai Wo sind wir?

Rechnernetze Übung 5. Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai Wo sind wir? Rechnernetze Übung 5 Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2012 Wo sind wir? Quelle Nachricht Senke Sender Signal Übertragungsmedium Empfänger Quelle Nachricht Senke Primäres

Mehr

Strings. Stringsuche, Boyer-Moore, Textkompression, Huffman Codes.

Strings. Stringsuche, Boyer-Moore, Textkompression, Huffman Codes. Strings Stringsuche, Boyer-Moore, Textkompression, Huffman Codes. Suche Substring Häufiges Problem Relevante Beispiele: Suche ein Schlagwort in einem Buch Alphabet: A-Za-z0-9 Suche Virussignatur auf der

Mehr

Graphen und Bäume. A.1 Graphen

Graphen und Bäume. A.1 Graphen Algorithmen und Datenstrukturen 96 A Graphen und Bäume A.1 Graphen Ein gerichteter Graph (auch Digraph) G ist ein Paar (V, E), wobei V eine endliche Menge und E eine Relation auf V ist, d.h. E V V. V heißt

Mehr

Übungsblatt 5 - Musterlösung

Übungsblatt 5 - Musterlösung Universität Mannheim Lehrstuhl für Praktische Informatik IV Prof. Dr. W. Effelsberg Christoph Kuhmünch, Gerald Kühne Praktische Informatik II SS 2000 Übungsblatt 5 - Musterlösung Aufgabe 1: Huffman-Codierung

Mehr

Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1

Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1 Information, Entropie und Redundanz Technische Informationsquelle Entropie und Redundanz Huffman Codierung Martin Werner WS 9/ Martin Werner, Dezember 9 Information und Daten Informare/ Informatio (lat.)

Mehr

Informatik II, SS 2018

Informatik II, SS 2018 Informatik II - SS 28 (Algorithmen & Datenstrukturen) Vorlesung 22 (6.7.28) Greedy Algorithmen II (Datenkompression) Algorithmen und Komplexität Datenkompression Reduziert Größen von Files Viele Verfahren

Mehr

Diskrete Strukturen Kapitel 4: Graphentheorie (Bäume)

Diskrete Strukturen Kapitel 4: Graphentheorie (Bäume) WS 2016/17 Diskrete Strukturen Kapitel 4: Graphentheorie (Bäume) Hans-Joachim Bungartz Lehrstuhl für wissenschaftliches Rechnen Fakultät für Informatik Technische Universität München http://www5.in.tum.de/wiki/index.php/diskrete_strukturen_-_winter_16

Mehr

Codes (6) Fehlererkennende (EDC) bzw. fehlerkorrigierende Codes (ECC)

Codes (6) Fehlererkennende (EDC) bzw. fehlerkorrigierende Codes (ECC) Codes (6) Fehlererkennende (EDC) bzw. fehlerkorrigierende Codes (ECC) Definitionen: Codewort:= mit zusätzlichen (redundanten) Kontrollbits versehenes Quellwort m:= Länge des Quellwortes (Anzahl der Nutzdatenbits)

Mehr

Modul Diskrete Mathematik WiSe 2011/12

Modul Diskrete Mathematik WiSe 2011/12 Modul Diskrete Mathematik WiSe / Ergänzungsskript zum Kapitel 3.4. Hinweis: Dieses Manuskript ist nur verständlich und von Nutzen für Personen, die regelmäßig und aktiv die zugehörige Vorlesung besuchen

Mehr

WS 2013/14. Diskrete Strukturen

WS 2013/14. Diskrete Strukturen WS 2013/14 Diskrete Strukturen Prof. Dr. J. Esparza Lehrstuhl für Grundlagen der Softwarezuverlässigkeit und theoretische Informatik Fakultät für Informatik Technische Universität München http://www7.in.tum.de/um/courses/ds/ws1314

Mehr

Algorithmische Graphentheorie

Algorithmische Graphentheorie Algorithmische Graphentheorie Vorlesung 4: Suchstrategien Babeş-Bolyai Universität, Department für Informatik, Cluj-Napoca csacarea@cs.ubbcluj.ro 14. April 2017 HALBORDNUNG TOPOLOGISCHE ORDNUNG TOPOLOGISCHES

Mehr

Dirk W. Hoffmann. Einführung. in die Informations. und Codierungstheorie. ^ Springer Vieweg

Dirk W. Hoffmann. Einführung. in die Informations. und Codierungstheorie. ^ Springer Vieweg Dirk W. Hoffmann Einführung und Codierungstheorie in die Informations ^ Springer Vieweg Inhaltsverzeichnis 1 Geschichte der Nachrichtentechnik 13 1.1 Von Fackeln und Feuern der Antike 15 1.1.1 Fackelpost

Mehr

Grundlagen der Technischen Informatik. 2. Übung

Grundlagen der Technischen Informatik. 2. Übung Grundlagen der Technischen Informatik 2. Übung Christian Knell Keine Garantie für Korrekt-/Vollständigkeit 2. Übungsblatt Themen Aufgabe 1: Aufgabe 2: Aufgabe 3: Aufgabe 4: Hamming-Distanz Fehlererkennung

Mehr

Die Mathematik in der CD

Die Mathematik in der CD Lehrstuhl D für Mathematik RWTH Aachen Lehrstuhl D für Mathematik RWTH Aachen St.-Michael-Gymnasium Monschau 14. 09. 2006 Codes: Definition und Aufgaben Ein Code ist eine künstliche Sprache zum Speichern

Mehr

Übersicht. Aktivitäten-Auswahl-Problem. Greedy Algorithmen. Aktivitäten-Auswahl-Problem. Aktivitäten-Auswahl-Problem. Datenstrukturen & Algorithmen

Übersicht. Aktivitäten-Auswahl-Problem. Greedy Algorithmen. Aktivitäten-Auswahl-Problem. Aktivitäten-Auswahl-Problem. Datenstrukturen & Algorithmen Datenstrukturen & Algorithmen Übersicht Greedy Algorithmen Einführung Aktivitäten-Auswahl-Problem Huffman Codierung Matthias Zwicker Universität Bern Frühling 2009 2 Greedy Algorithmen Entwurfsstrategie

Mehr

Grundbegriffe der Informatik Tutorium 8

Grundbegriffe der Informatik Tutorium 8 Grundbegriffe der Informatik Tutorium 8 Tutorium Nr. 16 Philipp Oppermann 22. Dezember 2014 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Datenstrukturen und Algorithmen. Christian Sohler FG Algorithmen & Komplexität

Datenstrukturen und Algorithmen. Christian Sohler FG Algorithmen & Komplexität Datenstrukturen und Algorithmen Christian Sohler FG Algorithmen & Komplexität Gierige Algorithmen: Berechne Lösung schrittweise In jedem Schritt mache lokal optimale Wahl Daumenregel: Wenn optimale Lösung

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Informationstheorie Vorlesungen vom 30. Januar und 1. Februar 2018 INSTITUT FÜR THEORETISCHE 0 30.01.2018 Dorothea Wagner - Theoretische Grundlagen der Informatik

Mehr

Digitale Medien. Übung

Digitale Medien. Übung Digitale Medien Übung Übungsbetrieb Informationen zu den Übungen: http://www.medien.ifi.lmu.de/dm http://www.die-informatiker.net Zwei Stunden pro Woche Praktische Anwendungen des theoretischen Vorlesungsstoffs

Mehr

Vorkurs Informatik WiSe 15/16

Vorkurs Informatik WiSe 15/16 Konzepte der Informatik Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe, 22.10.2015 Technische Universität Braunschweig, IPS Inhaltsverzeichnis Codierung Aspekte der Binär-Codierung Binärcode Codetabellen

Mehr

Konzepte der Informatik

Konzepte der Informatik Platzhalter für Bild, Bild auf Titelfolie hinter das Logo einsetzen Konzepte der Informatik Vorkurs Informatik zum WS 2012/2013 01.10. - 12.10.2012 Dr. Werner Struckmann / Tim Winkelmann Stark angelehnt

Mehr

Vorkurs Informatik WiSe 16/17

Vorkurs Informatik WiSe 16/17 Konzepte der Informatik Dr. Werner Struckmann / Stephan Mielke, Jakob Garbe, 13.10.2016 Technische Universität Braunschweig, IPS Inhaltsverzeichnis Codierung Aspekte der Binär-Codierung Binärcode Codetabellen

Mehr

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi

Informationstheorie und Codierung. Prof. Dr.-Ing. Lilia Lajmi Informationstheorie und Codierung Prof. Dr.-Ing. Lilia Lajmi l.lajmi@ostfalia.de Inhaltsverzeichnis 2. Quellencodierung 2.1 Motivation 2.2 Shannon sche Informationstheorie 2.3 Binärcodierung nach Shannon

Mehr

Technische Grundlagen der Informatik Test Minuten Gruppe A

Technische Grundlagen der Informatik Test Minuten Gruppe A Technische Grundlagen der Informatik Test 1 08.04.2016 90 Minuten Gruppe A Matrikelnr. Nachname Vorname Unterschrift Deckblatt sofort ausfüllen und unterschreiben! Bitte deutlich und nur mit Kugelschreiber

Mehr

Tutorium 23 Grundbegriffe der Informatik (6. Sitzung)

Tutorium 23 Grundbegriffe der Informatik (6. Sitzung) Tutorium 23 Grundbegriffe der Informatik (6. Sitzung) Tutor: Felix Stahlberg SOFTWARE DESIGN AND QUALITY GROUP Source: pixelio.de KIT The cooperation of Forschungszentrum Karlsruhe GmbH and Universität

Mehr

Grundbegriffe der Informatik Tutorium 3

Grundbegriffe der Informatik Tutorium 3 Grundbegriffe der Informatik Tutorium 3 Tutorium Nr. 16 Philipp Oppermann 18. November 2014 KARLSRUHER INSTITUT FÜR TECHNOLOGIE KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

2. Vorlesung: Boolesche Algebra

2. Vorlesung: Boolesche Algebra 2. Vorlesung: Boolesche Algebra Wiederholung Codierung, Decodierung Boolesche Algebra UND-, ODER-Verknüpfung, Negation Boolesche Postulate Boolesche Gesetze 1 Wiederholung 2 Bits und Bitfolgen Bit: Maßeinheit

Mehr

Informationsdarstellung 2.2

Informationsdarstellung 2.2 Beispiele für die Gleitkommadarstellung (mit Basis b = 2): 0,5 = 0,5 2 0-17,0 = - 0,53125 2 5 1,024 = 0,512 2 1-0,001 = - 0,512 2-9 3,141592... = 0,785398... 2 2 n = +/- m 2 e Codierung in m Codierung

Mehr

Aufgabe: Platz-effiziente Kompression von Textdaten

Aufgabe: Platz-effiziente Kompression von Textdaten 7.3 Huffman-Bäume Anwendung von Binärbäumen Aufgabe: Platz-effiziente Kompression von Textdaten Standardcodierungen von Textdaten ISO-8859-1: 8 Bit pro Zeichen UTF-16: 16 Bit pro Zeichen Codierungen mit

Mehr

Information und Codierung

Information und Codierung Richard W. Hamming Information und Codierung Technische Universität Darmstadt FACHBEREICH INFORMATIK BIBLIOTHEK Invantar-Nr.: Sachgebiete:. Standort: VCH Inhalt Vorwort zur 1. Auflage der Originalausgabe

Mehr

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b.

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b. Entropie Grundlegend für das Verständnis des Begriffes der Komprimierung ist der Begriff der Entropie. In der Physik ist die Entropie ein Maß für die Unordnung eines Systems. In der Informationstheorie

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Übung 8 Dirk Achenbach 7. Februar 2013 I NSTITUT FÜR K RYPTOGRAPHIE UND S ICHERHEIT KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Gegeben ist ein systematischer (7,3)-Cod. Die drei seiner Codewörter lauten:

Gegeben ist ein systematischer (7,3)-Cod. Die drei seiner Codewörter lauten: Prof. Dr.-Ing. H.G. Musmann INSTITUT FÜR THEORETISCHE NACHRICHTENTECHNIK UND INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 67 Hannover Gegeben ist ein systematischer (7,)-Cod. Die drei seiner

Mehr

Grundbegriffe der Informatik

Grundbegriffe der Informatik Grundbegriffe der Informatik Einheit 11: Graphen Thomas Worsch Karlsruher Institut für Technologie, Fakultät für Informatik Wintersemester 2010/2011 1/59 Graphische Darstellung von Zusammenhängen schon

Mehr

Definition Information I(p)

Definition Information I(p) Definition Information I(p) Definition I(p) Die Information I(p) eines Symbols mit Quellws p > 0 ist definiert als I(p) = log 1 p. Die Einheit der Information bezeichnet man als Bit. DiMa II - Vorlesung

Mehr

ADS: Algorithmen und Datenstrukturen 2

ADS: Algorithmen und Datenstrukturen 2 ADS: Algorithmen und Datenstrukturen 2 Teil 4 Prof. Dr. Gerhard Heyer Institut für Informatik Abteilung Automatische Sprachverarbeitung Universität Leipzig 24. April 2019 [Letzte Aktualisierung: 24/04/2019,

Mehr

Graphen Jiri Spale, Algorithmen und Datenstrukturen - Graphen 1

Graphen Jiri Spale, Algorithmen und Datenstrukturen - Graphen 1 Graphen 27 Jiri Spale, Algorithmen und Datenstrukturen - Graphen Motivation Einsatz: Berechnung von Entfernungen Auffinden von Zyklen in Beziehungen Ermittlung von Verbindungen Zeitmanagement Konzept:

Mehr

Codierung. H.-G. Hopf

Codierung. H.-G. Hopf Codierung H.-G. Hopf Inhalt Informationsübermittlung Codierung von Zeichen Kommunikationsfehler Codierung zum Erkennen und Beseitigen von Fehlern GDI: Codierung / 2 Inhalt Informationsübermittlung Codierung

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Informationstheorie INSTITUT FÜR THEORETISCHE INFORMATIK KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft

Mehr

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 1. Das Problem 1.1. Kanalcodierung und Fehlerkorrektur. Wir wollen eine Nachricht über einen digitalen Kanal, der nur 0 oder 1 übertragen kann, schicken.

Mehr

Übrigens: um den Algorithmus im Unterricht einzuführen, sind keine Formeln notwendig! Warum reicht die normale ASCII-Codierung nicht aus?

Übrigens: um den Algorithmus im Unterricht einzuführen, sind keine Formeln notwendig! Warum reicht die normale ASCII-Codierung nicht aus? Huffman-Code Dieser Text ist als Hintergrundinformation ausschliesslich für die Lehrperson gedacht. Der Text ist deshalb eher technisch gehalten. Er lehnt sich an das entsprechende Kapitel in "Turing Omnibus"

Mehr

Informationstheorie und Codierung

Informationstheorie und Codierung Informationstheorie und Codierung 3. Codierung diskreter Quellen Gleichmäßiger Code Ungleichmäßiger Code Fano-, Huffman-Codierung Optimalcodierung von Markoff-Quellen Lauflängencodes nach Golomb und Rice

Mehr

Kapitel 1: Schaltfunktionen und ihre Darstellung

Kapitel 1: Schaltfunktionen und ihre Darstellung Kapitel 1: Schaltfunktionen und ihre Darstellung Kapitel 1 Schaltfunktionen und ihre Darstellung Literatur: Oberschelp/Vossen, Kapitel 1 Kapitel 1: Schaltfunktionen und ihre Darstellung Seite 1 Motivation

Mehr

Modul InfB-RS: Rechnerstrukturen

Modul InfB-RS: Rechnerstrukturen A. Mäder 1 MIN-Fakultät Fachbereich Informatik 64-040 Modul InfB-RS: Rechnerstrukturen https://tams.informatik.uni-hamburg.de/ lectures/2017ws/vorlesung/rs Kapitel 4 Andreas Mäder Universität Hamburg Fakultät

Mehr

There are only 10 types of people in the world: those who understand binary, and those who don't

There are only 10 types of people in the world: those who understand binary, and those who don't Modul Zahlensysteme In der Digitaltechnik haben wir es mit Signalen zu tun, die zwei Zustände annehmen können: Spannung / keine Spannung oder 1/ oder 5V / V oder beliebige andere Zustände. In diesem Modul

Mehr

Ι. Einführung in die Codierungstheorie

Ι. Einführung in die Codierungstheorie 1. Allgemeines Ι. Einführung in die Codierungstheorie Codierung: Sicherung von Daten und Nachrichten gegen zufällige Fehler bei der Übertragung oder Speicherung. Ziel der Codierung: Möglichst viele bei

Mehr

Proseminar Kodierverfahren bei Dr. Ulrich Tamm Sommersemester 2003 Thema: Codierung von Bäumen (Prüfer Codes...)

Proseminar Kodierverfahren bei Dr. Ulrich Tamm Sommersemester 2003 Thema: Codierung von Bäumen (Prüfer Codes...) Proseminar Kodierverfahren bei Dr. Ulrich Tamm Sommersemester 2003 Thema: Codierung von Bäumen (Prüfer Codes...) Inhalt: Einleitung, Begriffe Baumtypen und deren Kodierung Binäre Bäume Mehrwegbäume Prüfer

Mehr

Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung

Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung Huffman-Codierung, arithmetische Codierung Theoretische Informatik RWTH-Aachen 4. April 2012 Übersicht 1 Einführung 2 3 4 5 6 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft

Mehr

Seien u, v V, u v. Da G zusammenhängend ist, muss mindestens ein Pfad zwischen u und v existieren.

Seien u, v V, u v. Da G zusammenhängend ist, muss mindestens ein Pfad zwischen u und v existieren. Beweis: 1. 2. Seien u, v V, u v. Da G zusammenhängend ist, muss mindestens ein Pfad zwischen u und v existieren. Widerspruchsannahme: Es gibt zwei verschiedene Pfade zwischen u und v. Dann gibt es einen

Mehr

Klausur Informatik-Propädeutikum (Niedermeier/Hartung/Nichterlein, Wintersemester 2012/13)

Klausur Informatik-Propädeutikum (Niedermeier/Hartung/Nichterlein, Wintersemester 2012/13) Berlin, 21. Februar 2013 Name:... Matr.-Nr.:... Klausur Informatik-Propädeutikum (Niedermeier/Hartung/Nichterlein, Wintersemester 2012/13) 1 2 3 4 5 6 7 8 9 Σ Bearbeitungszeit: 90 min. max. Punktezahl:

Mehr

(7) AB 20: Bits und Bytes

(7) AB 20: Bits und Bytes Wie speichert ein Computer Informationen? - Binärsystem, Bits und Bytes Wusstet Ihr, dass Computer nur Nullen und Einsen verwenden? Alles, was ihr auf einem Computer seht oder hört Wörter, Bilder, Zahlen,

Mehr

7.1 a) Für die Übertragung der Nachricht mittels des Polynoms T(x) werden 40 Bit benötigt.

7.1 a) Für die Übertragung der Nachricht mittels des Polynoms T(x) werden 40 Bit benötigt. Informatik 3 Übung 07 Georg Kuschk 7.1) CRC-Verfahren 7.1 a) Für die Übertragung der Nachricht mittels des Polynoms T(x) werden 40 Bit benötigt. 32 Bit für die eigentliche Nachricht M(x) und 8 Bit für

Mehr

Einführung in die Informations- und Codierungstheorie

Einführung in die Informations- und Codierungstheorie Einführung in die Informations- und Codierungstheorie Von Prof. Dr. Hermann Rohling Technische Universität Braunschweig unter Mitarbeit von Dipl.-Ing. Thomas Müller Technische Universität Braunschweig

Mehr

Musterlösung zur Hauptklausur Theoretische Grundlagen der Informatik Wintersemester 2013/14

Musterlösung zur Hauptklausur Theoretische Grundlagen der Informatik Wintersemester 2013/14 Institut für Theoretische Informatik Prof. Dr. Jörn Müller-Quade Musterlösung zur Hauptklausur Theoretische Grundlagen der Informatik Wintersemester 23/4 Vorname Nachname Matrikelnummer Hinweise Für die

Mehr

Digitale Medien. Übung

Digitale Medien. Übung Digitale Medien Übung Übungsbetrieb Informationen zu den Übungen: http://www.medien.ifi.lmu.de/dm Zwei Stunden pro Woche Praktische Anwendungen des theoretischen Vorlesungsstoffs Wichtige Voraussetzung

Mehr

Grundlagen der Theoretischen Informatik

Grundlagen der Theoretischen Informatik 1 Grundlagen der Theoretischen Informatik Till Mossakowski Fakultät für Informatik Otto-von-Guericke Universität Magdeburg Wintersemester 2014/15 2 Notation für Wörter w a is die Anzahl der Vorkommen von

Mehr

Gruppe. Kanalcodierung

Gruppe. Kanalcodierung Kanalcodierung Ziele Mit diesen rechnerischen und experimentellen Übungen wird die prinzipielle Vorgehensweise zur Kanalcodierung mit linearen Block-Codes und mit Faltungscodes erarbeitet. Die konkrete

Mehr

Kompression. Tim Kilian

Kompression. Tim Kilian Kompression Tim Kilian Seminar Effiziente Programmierung Arbeitsbereich Wissenschaftliches Rechnen Fachbereich Informatik Fakultät für Mathematik, Informatik und Naturwissenschaften Universität Hamburg

Mehr

Altersgemäße Sachtexte sinnverstehend lesen

Altersgemäße Sachtexte sinnverstehend lesen Der Brief 1 Wenn man noch vor einigen Jahrzehnten jemandem etwas mitteilen wollte, hatte man keine andere Möglichkeit als ihm einen Brief zu schreiben und diesen von jemandem transportieren zu lassen.

Mehr

Einführung in die Programmierung

Einführung in die Programmierung Einführung in die Programmierung Teil 3: Daten und Algorithmen Prof. Dr. Peer Kröger, Florian Richter, Michael Fromm Wintersemester 2018/2019 Übersicht 1. Datendarstellung durch Zeichenreihen 2. Syntaxdefinitionen

Mehr

Diskrete Strukturen Wiederholungsklausur

Diskrete Strukturen Wiederholungsklausur Technische Universität München (I7) Winter 2013/14 Prof. J. Esparza / Dr. M. Luttenberger LÖSUNG Diskrete Strukturen Wiederholungsklausur Beachten Sie: Soweit nicht anders angegeben, ist stets eine Begründung

Mehr

16 - Kompressionsverfahren für Texte

16 - Kompressionsverfahren für Texte 16 - Kompressionsverfahren für Texte Prof. Dr. S. Albers Kompressionsverfahren für Texte Verlustfreie Kompression Original kann perfekt rekonstruiert werden Beispiele: Huffman Code, Lauflängencodierung,

Mehr

Verkettete Datenstrukturen: Bäume

Verkettete Datenstrukturen: Bäume Verkettete Datenstrukturen: Bäume 1 Graphen Gerichteter Graph: Menge von Knoten (= Elementen) + Menge von Kanten. Kante: Verbindung zwischen zwei Knoten k 1 k 2 = Paar von Knoten (k 1, k 2 ). Menge aller

Mehr

Nachklausur zur Vorlesung Theoretische Grundlagen der Informatik Wintersemester 2012/13

Nachklausur zur Vorlesung Theoretische Grundlagen der Informatik Wintersemester 2012/13 Institut für Kryptographie und Sicherheit Prof. Dr. Jörn Müller-Quade Nachklausur zur Vorlesung Theoretische Grundlagen der Informatik Wintersemester 2012/13 Vorname Nachname Matrikelnummer Hinweise Für

Mehr

21. Dynamic Programming III

21. Dynamic Programming III Approximation 21. Dynamic Programming III FPTAS [Ottman/Widmayer, Kap. 7.2, 7.3, Cormen et al, Kap. 15,35.5] Sei ein ε (, 1) gegeben. Sei I eine bestmögliche Auswahl. Suchen eine gültige Auswahl I mit

Mehr

Technische Universität München. Vorlesungsgrobstruktur: wo stehen wir, wie geht s weiter

Technische Universität München. Vorlesungsgrobstruktur: wo stehen wir, wie geht s weiter Vorlesungsgrobstruktur: wo stehen wir, wie geht s weiter Kapitel 7 Fortgeschrittene Datenstrukturen Motivation: Lineare Liste: Suchen eines Elements ist schnell O(log n) Einfügen eines Elements ist langsam

Mehr

Graphen. Definitionen

Graphen. Definitionen Graphen Graphen werden häufig als Modell für das Lösen eines Problems aus der Praxis verwendet, wie wir im Kapitel 1 gesehen haben. Der Schweizer Mathematiker Euler hat als erster Graphen verwendet, um

Mehr

Fachprüfung. Nachrichtencodierung

Fachprüfung. Nachrichtencodierung Fachprüfung Nachrichtencodierung 14. März 2006 Prüfer: Prof. Dr. P. Pogatzki Bearbeitungszeit: 2 Stunden Hilfsmittel: Taschenrechner, Vorlesungsscript, Übungsaufgaben Name:... Matr.-Nr.:... Unterschrift:...

Mehr