Telekommunikationssysteme

Größe: px
Ab Seite anzeigen:

Download "Telekommunikationssysteme"

Transkript

1 Telekommunikationssysteme WS 1999 / 2000 Prof. Dr. Claudia Linnhoff-Popien M Institut für Informatik Ludwig-Maximilians-Universität, München N TE AM M Prof. Dr. Otto Spaniol Lehrstuhl für Informatik 4 RWTH Aachen Mitarbeiter: (in München) Markus Garschhammer Bernhard Kempter Annette Kostelezky Mitarbeiter: (in Aachen) Frank Imhoff Axel Küpper Jens Meggers

2 Informationen und Signale Ein Signal ist die Darstellung einer Nachricht durch physikalische Größen: Spannungsverlauf zeitliche Änderung der elektrischen Feldstärke Änderung der Frequenz, Amplitude Information (im Sinne der Informatik): wird dargestellt (durch Signale, Zeichen, Nachrichten, Sprache,...) wird verarbeitet (Eingabe, Ausgabe, Übermittlung, Speicherung,...) hat verschiedene Eigenschaften, z.b.: - unabhängig vom Ort und Zeit - beliebig oft kopierbar und kennt keine Originale - ist fast beliebig kombinierbar (Fragmente, Verschlüsselung) -läßt sich stark komprimieren

3 Signalformen Wert Zeit zeitkontinuierlich zeitdiskret wertdiskret wertkontinuierlich

4 Informationstheorie Claude Elwood Shannon (* 1916): amerikanischer Ingenieur und Mathematiker ab 1941 Mitarbeiter der Bell Telephone Laboratories 1949: A mathematical theory of communication Information ist die Abnahme der Ungewißheit über das Eintreten eines statistischen Ereignisses. Informationstheorie Darstellung Speicherung Austausch (Übertragung) von Information ohne Rücksicht auf deren Inhalt oder Semantik Verwendet vorwiegend Methoden aus der Wahrscheinlichkeitsrechnung und der Stochastik.

5 Grundbegriffe Die Nachrichtenquelle wählt aus einer Menge von möglichen Nachrichten eine gewünschte Nachricht aus. Die Nachricht ist eine nach vorher festgelegten Regeln zusammengestellt, endliche Folge von Zeichen und Zuständen, die eine Information vermittelt. Der Sender übersetzt diese Nachricht in das Signal, welches dann über den Übertragungskanal vom Sender zum Empfänger übertragen wird. Signale sind physikalische Größen, z.b. Schall, elektrische oder optische Impulse. Man unterscheidet analoge und digitale Signale. Der Empfänger ist ein umgekehrter Sender, der das übertragene Signal in eine Nachricht zurückverwandelt und diese an das Ziel weitergibt.

6 Übertragungsweg Problem: Während des Übertragungsprozesses werden dem Signal Daten in Form von Störungen (Rauschen) hinzugefügt. Verzerrungen in der Telefonie atmosphärische Störungen in der Funktechnik Schatten und Verzerrungen bei der Bildübertragungen Quelle Sender Kanal Empfänger Senke Störungen

7 Fragen Wie mißt man den Informationsgehalt (den Betrag der Information)? Wie mißt man die Kapazität eines Übertragungskanals? Wie erfolgt eine möglichst optimale Übersetzung (Codierung) der Nachricht in Signale durch den Sender? Was sind die charakteristischen Merkmale einer effizienten Codierung? Wenn die Codierung so effizient wie möglich ist, mit welcher Übertragungsrate kann der Kanal Information weiterleiten? Welchen Einfluß haben Störungen auf die Nachrichten, die schließlich das Ziel erreichen? Wie kann man die unerwünschten Effekte der Störungen auf ein Minimum beschränken und bis zu welchem Grad können sie ausgeschaltet werden?

8 Informationsgehalt eines Zeichens Der Informationsgehalt eines einzelnen Zeichen z i innerhalb eines Zeichenvorrats Z = {z 1,z 2,...,z N } hängt ausschließlich von der Wahrscheinlichkeit ab, mit der dieses Zeichen innerhalb einer Nachricht auftritt. Der Informationsgehalt ist gleich der Anzahl binärer Entscheidungen (Fragen), die man benötigt um dieses Zeichen zu finden / erfragen. Voraussetzung: Beide Entscheidungen / Antworten sind gleich wahrscheinlich

9 Informationsgehalt Beispiel 1: Gegeben ist ein (Skat-)Kartenspiel mit 32 Karten. Gesucht ist der Informationsgehalt einer bestimmten Karte. 1. Frage: Rot - Schwarz Rot 2. Frage: Herz - Karo Herz 3. Frage: Zahl - Bild Bild 4. Frage: Bube/Dame - König/Ass Bube/Dame 5. Frage: Bube - Dame Dame Die Information "Herzdame" hat den Informationsgehalt 5, denn mit 5 binären Entscheidungen kann man diese Karte ermitteln.

10 Einheit des Informationsgehalts Beispiel 2: Gegeben ist eine geordnete Zeichenfolge [z 1,z 2,...,z N ]. Gesucht ist der Informationsgehalt eines Zeichens z i. Erforderlich sind k = ld N Fragen (Devide and Conquer) Der Informationsgehalt eines Zeichen z i ist gleich ld N bit/zeichen Die Einheit des Informationsgehaltes heißt bit (basic indissoluble information unit). Nicht zu verwechseln mit der Einheit für die Darstellung von Daten mit Hilfe binärer Zeichen Bit (binary digit). Wichtig: Zur Darstellung von n bit werden n Bit benötigt.

11 Wahrscheinlichkeitsverteilung Es sei x(η) eine Zufallsvariable, die diskrete Werte x i mit i=1,...,n und mit den folgenden Wahrscheinlichkeiten annimmt: ( x ) = P η x( η) ({ }) P = i x i Der Informationsgehalt I des Ereignisses x(η) = x i ist dann definiert als 1 ld = ld P x ( ) i ( ) P x i bit / Ereignis Da P(x i ) nur Werte zwischen 0 (völlige Ungewißheit, ob das Ereignis auftreten wird) und 1 (völlige Gewißheit) annehmen kann, ist der Informationsgehalt I immer positiv.

12 Informationsgehalt digitaler Signale Erscheint am Empfänger immer nur dasselbe Zeichen, so ist P(x i )=1 und der Informationsgehalt I = 0. Es wird keine Information übertragen, da feststeht, welches Zeichen als nächstes in der Zeichenkette (Nachricht) auftreten wird. Sendet eine binäre Nachrichtenquelle beide Zeichen mit gleicher Wahrscheinlichkeit, d.h. P(x i )= ½, so ist I = 1 bit für jedes einzelne Zeichen. Sendet die Quelle N verschiedene Zeichen mit den gleichen Wahrscheinlichkeiten P(x i )=1/N, dann ist I = -ld P(x i ) I = -ld P = -ld 1/N = -(ld 1 - ld N) = ld N

13 Informationsgehalt der Sprache Beispiel: Gegeben seien 30 Zeichen (29 Buchstaben + Zwischenraum). Werde zusätzlich für das Auftreten dieser Zeichen eine Gleichverteilung angenommen, so gilt P(x i ) = 1/30. Der Informationsgehalt betrüge dann I = -ld 1/30 = ld 30 4,9 bit/zeichen. Zur binären Darstellung eines Zeichens benötigte man daher 5 Bit. Aber: Eine Gleichverteilung aller Zeichen ist unrealistisch Zeichen a b c d e f g h i j... deutsch P[%]= englisch P[%]=

14 Diskrete Nachrichtenquellen Eine Nachrichtenquelle heißt diskret, wenn alle Nachrichten ausschließlich aus Zeichen eines endlichen Alphabets Z = {z 1,..., z n } bestehen. Ist die Wahrscheinlichkeit für die Wahl der verschiedenen Zeichen in jedem Stadium des Prozesses von der vorhergegangenen Auswahl abhängig, handelt es sich um einen stochastischen Prozeß. e p 1 p 2 p 3 r _ p 4 n i e k

15 Entropie Mittelwert des Informationsgehalt einer Nachricht: H = p 1 I 1 + p 2 I 2 + p 1 I p n I n bit/zeichen Die Entropie der Zufallsvariable x ist der mittlere Informationsgehalt: H N ( x) = P( x ) ld P( x ) i= 1 i i Die Entropie ist ein Maß für: die mittlere Unsicherheit über den Ausgang eines Ereignisses den mittleren Informationsgehalt einer Zufallsgröße die Zufälligkeit eines Ereignisses

16 binäre Entropiefunktion Gegeben sei eine binäre Nachrichtenquelle mit dem Alphabet Z = {0,1} 0 tritt der Wahrscheinlichkeit P 0 und 1 mit der Wahrscheinlichkeit 1-P 0 auf. H(P 0 ) = - (P 0 ld P 0 + (1- P 0 ) ld (1-P 0 )) bit / Zeichen = - P 0 ld P 0 - (1- P 0 ) ld (1- P 0 ) bit / Zeichen H(P 0 ) wird auch als Shannon- Funktion bezeichnet H(P 0 ) erreicht das Maximum für P 0 =1/2, d.h. wenn die beiden Zeichen gleich häufig auftreten. H(P 0 ) Allgemein gilt: Das Maximum der Entropie H max wird erreicht, wenn alle Zeichen gleichwahrscheinlich sind. (bei N Zeichen ist p 1 =p 2 =p 3 =...=p N =1/N). P 0

17 Quellcodierung Quellcodierungstheorem (Shannon): Für eine diskrete, statistisch unabhängige Quelle, die Zufallszeichen x mit den Realisierungen x i erzeugt, ist es für die Rekonstruktion der Zeichenfolge notwendig und hinreichend, H(x) bit / Zeichen zur Codierung zu verwenden. Effiziente Algorithmen für lange Folgen: Huffman-Codierung für Quellen, deren Statistik hinreichend bekannt sind Lempel-Ziv-Codierung für Quellen mit unbekannter Statistik (Universal Source Coding) (ist Modem-Übertragungsprotokoll v42.bis implementiert)

18 Informationsgehalt einer Nachricht Beispiel: Der Informationsgehalt der Nachricht "WINTERSEMESTER" Zeichen W I N T E R S M P z 1/14 1/14 1/14 2/14 4/14 2/14 2/14 1/14 I z 3,8 3,8 3,8 2,8 1,8 2,8 2,8 3,8 H 0,271 0,271 0,271 0,4 0,514 0,4 0,4 0,271 Tatsächliche Entropie: H(x)=0,395 Maximale Entropie: H max (x)=8 1/8 ld (1/8) = 3 Das Verhältnis zwischen der tatsächlichen und der maximalen Entropie wird relative Entropie genannt: H rel (x) = H(x) / H max (x)

19 Redundanz Die Differenz zwischen der maximalen und der tatsächlichen Entropie wird als Redundanz bezeichnet: r(x) = H max (x) - H (x) bzw. r rel (x)=1 - H rel (x) Redundanz gibt den Teil des Aufbaus der Nachricht an, der nicht durch die Wahlfreiheit der Quelle, sondern eher von angenommenen statistischen Regeln bestimmt wird. Grundlage für die Datenkompression Nutzungsmöglichkeiten in der Kryptographie Redundanz im Binärcode: Anzahl der Bits, um die eine kodierte Nachricht die minimale Anzahl benötigter Bits überschreitet.

20 Statistische Abhängigkeiten Beispiel: Entropie der deutschen Sprache Der mittlere Informationsgehalt aller Buchstaben inkl. des Leerzeichens ist 4,9bit / Buchstabe. (Voraussetzung: Alle Buchstaben und der Zwischenraum treten gleichwahrscheinlich auf) Aber: Es existieren lokale statische Abhängigkeiten, die eine Optimierung erlauben Digramme und Trigramme der deutschen Sprache er 0,0409 en 0,04 ch 0,0242 de 0,0227 ei 0,0193 nd 0,0187 te 0,0185 in 0,0168 ein 0,0122 ich 0,0111 nde 0,089 die 0,087 und 0,087 der 0,086 che 0,075 end 0,075

21 Entropie der Sprache Berücksichtigung der Wahrscheinlichkeitsverteilung der Buchstabenfolgen führt zu H(x) von nur 1,6 bit pro Zeichen. Die Redundanz der deutschen Schriftsprache ist folglich 4,9bit - 1,6bit = 3,3bit. Beispiel: WIRD DIE REDUNDANZ REDUZIERT IST DAS LESEN VIEL MÜHSAMER WIRDDIEREDUNDANZREDUZIERTISTDASLESENVIELMÜHSAMER WI DD ER DU DA ZR DU IE TI TD SL SE VI LM HS ME Entropie der Sprache unter Ausnutzung aller Korrelationen: Deutsch: 1,3 bit/buchstabe (Küpfmüller) Englisch: 1,0 bit/buchstabe (Shannon) Friedrich L. Bauer: Entzifferte Geheimnisse. 2. erweiterte Auflage, Springer, 1997

22 Kanalkodierung

23 Digitale Übertragungssysteme Befreiung von redundanten Anteilen, sowie von Anteilen, die zu nicht wahrnehmbaren oder tolerierbaren Fehlern führen. Fügt z.b. Zusatzinformationen ein, die den Einfluß von Übertragungsfehlern vermindern. Quellcodierung Kanalcodierung Leitungscodierung Bildet das digitale Signal in eine für die Leitung gut geeignete Form ab (z.b. Taktrückgewinnung). Quelle Sender Kanal Empfänger Senke Störungen

24 Digitalisierung Mehrzahl der Quellensignale ist zeit- und wertkontinuierlich Übertragung erfolgt jedoch zunehmend digital Problem: Bei der Digitalisierung solcher Quellensignale ist prinzipiell nicht möglich, einen fehlerfrei durch ein diskretes Signal mit endlicher Binärstellenzahl darzustellen. Die Entropie wertkontinuierlicher Quellen ist also nicht endlich. Ein begrenzter Quantisierungsfehler ist aber u.a. auf Grund unvollkommener Sinnesorgane akzeptabel. Überführung einer kontinuierlichen Quelle in eine diskrete Quelle endlicher Entropie

25 Informationsfluß Beispiel: Gleichverteiltes, weißes, tiefpaßbegrenztes Quellensignal der Grenzfrequenz f g und der Leistung S Das Verhältnis zwischen Signalleistung und Quantisierungsfehlerleistung soll S / N q betragen, dann muß jeder Abtastwert mit k = 0,5 ld (S / N q ) bit codiert werden. s(t) T = 1 2 f g T 2T 3T Tastet man mit der Nyquist-Rate r = 2f g ab, dann ist der Informationsfluß dieser realen Quelle H* = r k = f g ld (S / N q ) bit / Zeiteinheit

26 Kanalkapazität In der Informationstheorie wird ein nicht idealer Übertragungskanal durch das statistisch definierte Maß der zeitbezogenen Kanalkapazität C* beschrieben. In der Informationstheorie wird ein nicht idealer Übertragungskanal durch das statistisch definierte Maß der zeitbezogenen Kanalkapazität C* beschrieben. Beispiel (binärer Kanal): Mit der Fehlerwahrscheinlichkeit P F ist die Kanalkapazität C* = 1 - H b (P F ) C(P F ) 1-P F P F P F 1 1-P F 1 0 0,5 1 P F

27 Transinformationsgehalt Wechselseitige Information zwischen zwei Zufallsgrößen (Transinformationsgehalt): I N M ( x; y) = P( x ) i, y j i= 1 j= 1 ld ( ) j xi ( ) P y P y j = = N M i= 1 j= 1 ld N i= 1 ( x ) P( x ) P y j i ( x ) P y ( x ) P( x ) P y j j i i i i I(x;y) 0 falls x und y statistisch unabhängig sind, ist I(x;y)=0

28 Kanalkodierungstheorem Im Folgenden: Aufteilung des Eingangs-Bitstroms in k-tupel jedem k-tupel wird ein Codewort der Länge n > k zugeordnet Die Kanalkapazität sei definiert als C* = max I(x;y) P(x i ) Der Code hat die Rate r = k / n in bit pro Codesymbol Kanalcodierungstheorem für diskrete, gedächtnislose Kanäle: Es existiert ein Code (n,k), bei dem die mittlere Codewort- Fehlerwahrscheinlich P E n für n gegen null geht (P E n 0), wenn R < C gilt.

29 Kanalkapazität Wenn die Signale einer Quelle der Entropie H und der Rate r über einen Kanal derzeitbezogenen Kapazität C* übertragen werden, dann existiert ein geeignetes Codierungsverfahren so, daß für H* C* die Fehlerwahrscheinlichkeit beliebig klein ist. Die Kanalkapazität entspricht also des höchsten noch fehlerfrei übertragbaren Informationsflusses Übertragbarer Informationsfluß ist also abhängig von der Bandbreite f B, der Signalleistung S und der Quantisierungsfehlerleistung N (Rauschleistung) Bei einer Erhöhung der Übertragungsbandbreite f B kann ein schlechteres S / N in Kauf genommen werden. f B führt jedoch nicht zu einem beliebig kleinen S / N, da die Rauschleistung am Ausgang des Kanals ebenfalls mit der Bandbreite ansteigt.

30 Grenzfall der Kanalkapazität Beispiel: Kanalkapazität eines nicht bandbegrenzten, durch weißes Rauschen gestörten Kanals: C* = lim C* = lim f B ld ( 1 + S / (2f B N)) f B f B = ld (e) S / 2N = 0,72 S / N bit / Zeiteinheit Zur Übertragung mit der Rate C* ist eine Mindestleistung von S = C* N / 0,72 erforderlich. Bei einer Rate C* steht für die Übertragung eines Binärwertes im Mittel die Zeit T = 1 / C* zur Verfügung.

31 Shannon-Grenze Pro Binärwert ist eine Mindestenergie von E min = S T = S / C* = N / 0,72 Minimal erforderliches E / N - Verhältnis (E / N) min = 2 / ld (e) = 1,39 = 1,42 db Oberhalb dieser Grenze kann eine Übertragung fehlerfrei erfolgen, unterhalb steigt die Fehlerwahrscheinlichkeit rasant an. Praktisch angewandte Systeme erreichen eine deutlich schlechtere Eigenschaften. Erst neueste Entwicklungen nähern sich u.a. durch Hinzufügen fehlerkorrigierender Bestandteile der Shanon-Grenze an.

32 Shannon-Grenze BCH*-Code: 0,5 Fehlerabstand bei 1kBit/s Einfügen redundanter Zeichen Beispiel 92 Binärzeichen werden durch 35 redundante Zeichen geschützt, wodurch bis zu 5 fehlerhafte Zeichen sicher korrigiert werden können Fehlerwahrscheinlichkeit * Bose-Chaudhuri-Hocqenghem-Code (zyklischer Blockcode) BCH- Code Shannon- Grenze bipolare Übertragung E / N Unipolare Übertragung [db] 1 s 1 min 1 h 1 d (Tag) 1 a (Jahr)

33 Adaptive Anwendungen

34

35 Heterogene Netze digitales Telefonnetz (ISDN) Problem: Mobilfunknetz (UMTS) Sender sendet mit höherer Datenrate als der Empfänger verarbeiten kann Teilnetze sind überlastet Internet Backbone (z.b. ATM) Lösungsansatz: Adaptivität analoges Telefonnetz (PSTN) Sender erkennt Engpässe und konfiguriert aktuelle Sendekapazität dynamisch lokales Netzwerk oder Intranet (Ethernet)

36 Senderseitige Anpassung Empfänger-Feedback lokales Feedback Input Encoder Netzwerk Decoder Output Der Sender empfängt Feedback-Pakete vom Empfänger, um den Netzwerkzustand zu ermitteln Der Encoder des Senders wird für eine geeignete Ausgangsrate konfiguriert (lokales Feedback) Der Anpassungsprozess berechnet die aktuell gültige Sendekapazität anhand der Feedback- Informationen des Empfängers (z. B. Paketfehlerrate) Vorteile: Das Netzwerk kann ein Best effort -Netz sein (z. B. das heutige Internet). Nur Endanwendungen sind betroffen, aber z.b. keine Betriebssystemänderungen (d.h. Einführung und flächendeckender Einsatz wird erleichtert). Probleme: Die Anpassung benötigt eine gewisse Zeit; schlechtes Leistungsverhalten in diesem Zeitraum. Fairness bzgl. anderer Steuerungsalgorithmen (z.b. TCP Congestion Control) muss zusätzlich beachtet und realisiert werden.

37 Beispiel zur Senderanpassung: DAA Senderbasiertes Adaptionsverfahren: DAA (Direct Adjustment Algorithm) Parameter: min_rate (z.b. 150 kbit/s) max_rate (z.b kbit/s) loss_threshold (z.b. 5 %) Additive Increase Fraction (AIF) (z.b. 50 kbit/s) R bzw. R n n = = R R n 1 n 1 ( 1 loss + loss _ threshold ) + AIF Berechnung im Abstand von 4-6 Sekunden ( zur Vermeidung von Resonanz ) If (reported_loss_ratio > loss_threshold) If (measured_output_rate > output_rate) output_rate = max(min_rate, measured_output_rate (1- reported_loss_ratio + loss_threshold)) else output_rate = max(min_rate, output_rate (1- reported_loss_ratio + loss_threshold)) else output_rate = min(max_rate,output_rate + AIF)

38 Datenratenanpassung und Fairness Quelle 1 Quelle 2 Quelle 3 Quelle 4 Router 100 Mbit/s 1.5 Mbit/s Empfänger 1 Empfänger 2 Empfänger 3 Empfänger 4 4 Video Sender / Empfänger Datenratenanpassung durch Quantisierung (konstante Bildrate) 1 Router (Senderate reduziert auf 1.5 Mbit/s) Sender verwenden das DAA Schema min_rate 228 kbit/s max_ rate 1,5 Mbit/s loss_threshold 5 % Additive Increase Fraction: 50 kbit/s Datenrate (kbit/s) Quelle 3 Quelle 2 Source 2 Quelle 4 Verlustrate (%) Quelle 1 Quelle 2 Quelle 3 Quelle Zeit (s) Zeit (s)

39 Bildqualität durch Quantisation QUANT = 1 QUANT = 31

40 Fehlerbehandlung Zeitliche Fehlerpropagierung: Sender Empfänger Paketverlust Lösung: Full Intraframe Refresh bei Paketverlusten Die Empfängeranwendung überträgt ein Kontrollpaket zum Sender Der Sender codiert den nächsten Videoframe vollständig Darstellungsfehler Sender Empfänger Paketverlust (erkannt anhand der RTP Sequenznummer) Kontrollpaket Nachteil: Hohe benötigte Kapazität durch Codierung eines vollständigen Bildes

41 Error Recovery: TT-Verfahren Verbesserung des Full Intraframe Refresh-Schemas: Das Timestamp-Verfahren; In der Vorlesung eingesetzt - entwickelt von Jens Meggers (RWTH/i4) Sender Erzeugt eine Tabelle mit 396 Einträgungen, welche die Zeitstempel der neuesten gesendeten Makroblöcke enthält. Bei Erhalt eines Kontrollpakets vom Empfänger können die beim Empfänger nicht angekommenen Makroblöcke identifiziert und im nächsten Bild zusätzlich eingefügt werden. Empfänger Baut eine entsprechende Tabelle für die von ihm empfangenen Makroblöcke auf. Wenn der Empfänger einen Fehler erkennt (anhand der RTP-Sequenznummer), überträgt er seine Tabelle in einem Kontrollpaket zum Sender. Sender stellt Makroblock (i,j) als beim Empfänger fehlerhaft fest, wenn gilt: r ij < s ij und s ij < max(r) Vorteil: Effiziente Fehlerkorrektur Nachteil: Aufwand für Kontrollpakete. Empfängermatrix R Beispiel für Timestamp-Tabelle (sehr vereinfacht): Sendermatrix S

42 Error Recovery: TT-Verfahren Verbesserung des Full Intraframe Refresh-Schemas: Das Timestamp-Verfahren; In der Vorlesung eingesetzt - entwickelt von Jens Meggers (RWTH/i4) Sender Erzeugt eine Tabelle mit 396 Einträgungen, welche die Zeitstempel der neuesten gesendeten Makroblöcke enthält. Bei Erhalt eines Kontrollpakets vom Empfänger können die beim Empfänger nicht angekommenen Makroblöcke identifiziert und im nächsten Bild zusätzlich eingefügt werden. Empfänger Baut eine entsprechende Tabelle für die von ihm empfangenen Makroblöcke auf. Wenn der Empfänger einen Fehler erkennt (anhand der RTP-Sequenznummer), überträgt er seine Tabelle in einem Kontrollpaket zum Sender. Sender stellt Makroblock (i,j) als beim Empfänger fehlerhaft fest, wenn gilt: r ij < s ij und s ij < max(r) Vorteil: Effiziente Fehlerkorrektur Nachteil: Aufwand für Kontrollpakete. Empfängermatrix R Beispiel für Timestamp-Tabelle (sehr vereinfacht): Sendermatrix S

43 Vergleich der Verfahren ohne Fehlerbehebung Paketverlust Full Intra Frame Refresh Paketverlust Timestamp Table (TT-)Verfahren Paketverlust

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch . Thema Informationstheorie geht zurück auf Claude Shannon The Mathematical Theory of Communication beschäftigt sich mit Information

Mehr

Kapitel 9: Informationstheorie. 2. Entropie

Kapitel 9: Informationstheorie. 2. Entropie ZHAW, NT, FS2008, Rumc, Kapitel 9: 2-1 Kapitel 9: Informationstheorie 2. Entropie Inhaltsverzeichnis 2.1. INFORATIONSQUELLEN...2 2.2. INFORATIONSGEHALT...3 2.3. INIALE ANZAHL BINÄRE FRAGEN...5 2.4. ENTROPIE

Mehr

Übungsaufgaben zur Vorlesung Quellencodierung

Übungsaufgaben zur Vorlesung Quellencodierung Übungsaufgaben zur Vorlesung Quellencodierung Aufgabe 1: Gegeben seien die Verbundwahrscheinlichkeiten zweier diskreter Zufallsvariablen x und y: P(x, y) x 1 = 1 x 2 = 2 x 3 = 3 y 1 = 1 0.1 0.1 0.1 y 2

Mehr

1 Grundlagen. 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen

1 Grundlagen. 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen 1 Grundlagen 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen Die Überlegungen dieses Kapitels basieren auf der Informationstheorie von Shannon. Er beschäftigte

Mehr

Klausur Informationstheorie und Codierung

Klausur Informationstheorie und Codierung Klausur Informationstheorie und Codierung WS 2013/2014 23.01.2014 Name: Vorname: Matr.Nr: Ich fühle mich gesundheitlich in der Lage, die Klausur zu schreiben Unterschrift: Aufgabe A1 A2 A3 Summe Max. Punkte

Mehr

Signale und Codes Vorlesung 4

Signale und Codes Vorlesung 4 Signale und Codes Vorlesung 4 Nico Döttling December 6, 2013 1 / 18 2 / 18 Letztes Mal Allgemeine Hamming Codes als Beispiel linearer Codes Hamming Schranke: Obere Schranke für k bei gegebenem d bzw. für

Mehr

Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1

Redundanz. Technische Informationsquelle Entropie und Redundanz Huffman Codierung. Martin Werner WS 09/10. Martin Werner, Dezember 09 1 Information, Entropie und Redundanz Technische Informationsquelle Entropie und Redundanz Huffman Codierung Martin Werner WS 9/ Martin Werner, Dezember 9 Information und Daten Informare/ Informatio (lat.)

Mehr

Vortrag am Kai Sauer Nanostrukturphysik I

Vortrag am Kai Sauer Nanostrukturphysik I Vortrag am 29.02.2013 Kai Sauer Nanostrukturphysik I 1 Informationsfluss Informationstheorie Hartley-Information Shannon-Information Kanalkapazität und gestörte Kanäle Einfaches Übertragungsmodell Beispiele

Mehr

Einleitung. Kapitel 1

Einleitung. Kapitel 1 Kapitel 1 Einleitung In diesem Abschnitt geben wir einen kurzen Überblick über den Inhalt der Vorlesung. Wir werden kurz die wesentlichen Probleme erläutern, die wir ansprechen wollen. Wir werden auch

Mehr

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b.

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b. Entropie Grundlegend für das Verständnis des Begriffes der Komprimierung ist der Begriff der Entropie. In der Physik ist die Entropie ein Maß für die Unordnung eines Systems. In der Informationstheorie

Mehr

Übertragungstechnik. Übertragungstechnik. Copyright Chr. Schaffer, Fachhochschule Hagenberg, MTD 1

Übertragungstechnik. Übertragungstechnik. Copyright Chr. Schaffer, Fachhochschule Hagenberg, MTD 1 Übertragungstechnik Copyright Chr. Schaffer, Fachhochschule Hagenberg, MTD 1 Allgemeines Schema einer Nachrichtenübertragung Modulator Sender Störungen Strecke Nachrichtenquelle Nachrichtensenke Demodulator

Mehr

Die Mathematik in der CD

Die Mathematik in der CD Lehrstuhl D für Mathematik RWTH Aachen Lehrstuhl D für Mathematik RWTH Aachen St.-Michael-Gymnasium Monschau 14. 09. 2006 Codes: Definition und Aufgaben Ein Code ist eine künstliche Sprache zum Speichern

Mehr

(Prüfungs-)Aufgaben zur Codierungstheorie

(Prüfungs-)Aufgaben zur Codierungstheorie (Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1

Mehr

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1 Informationsgehalt Kapitel 4.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle Sender

Mehr

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Prof. Bernd Brügge, Ph.D Institut für Informatik Technische Universität München Sommersemester 2 2. Juli 2 Copyright 2 Bernd

Mehr

Kommunikationstechnik II Wintersemester 07/08

Kommunikationstechnik II Wintersemester 07/08 Kommunikationstechnik II Wintersemester 07/08 Prof. Dr. Stefan Weinzierl Musterlösung: 5. Aufgabenblatt 1. Aufgabe: Kanalkodierung Zweck der Kanalcodierung: - Abbildung der information bits des Quellkodes

Mehr

Mathematische Grundlagen III

Mathematische Grundlagen III Mathematische Grundlagen III Informationstheorie Vera Demberg Universität des Saarlandes 26. Juni 202 Vera Demberg (UdS) Mathe III 26. Juni 202 / 43 Informationstheorie Entropie (H) Wie viel Information

Mehr

Technische Informatik - Eine Einführung

Technische Informatik - Eine Einführung Martin-Luther-Universität Halle-Wittenberg Fachbereich Mathematik und Informatik Lehrstuhl für Technische Informatik Prof. P. Molitor Technische Informatik - Eine Einführung Darstellung von Zeichen und

Mehr

Begriffe aus der Informatik Nachrichten

Begriffe aus der Informatik Nachrichten Begriffe aus der Informatik Nachrichten Gerhard Goos definiert in Vorlesungen über Informatik, Band 1, 1995 Springer-Verlag Berlin Heidelberg: Die Darstellung einer Mitteilung durch die zeitliche Veränderung

Mehr

Informationstheorie und Codierung

Informationstheorie und Codierung Informationstheorie und Codierung 3. Codierung diskreter Quellen Gleichmäßiger Code Ungleichmäßiger Code Fano-, Huffman-Codierung Optimalcodierung von Markoff-Quellen Lauflängencodes nach Golomb und Rice

Mehr

Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines

Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A) + Info (B) Definition: = Info (nie eintretendes Ereignis) eines Seite 1 Georg-August-Universität Göttingen Robert Schaback Zum Begriff der Information in Mathematik und Informatik Seite 2 Information = Unsicherheit e Info (e) := - log p(e) Info ( A und B) = Info (A)

Mehr

Klausur zur Vorlesung Informationstheorie

Klausur zur Vorlesung Informationstheorie INSTITUT FÜR INFORMATIONSVERARBEITUNG UNIVERSITÄT HANNOVER Appelstraße 9A 0167 Hannover Klausur zur Vorlesung Informationstheorie Datum:.02.2006 Uhrzeit: 9:00 Uhr Zeitdauer: 2 Stunden Hilfsmittel: ausgeteilte

Mehr

Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir

Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht

Mehr

Prof. Dr. Stefan Weinzierl Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit zur Fehlererkennung kodiert.

Prof. Dr. Stefan Weinzierl Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit zur Fehlererkennung kodiert. Audiotechnik II Digitale Audiotechnik: 8. Tutorium Prof. Dr. Stefan Weinzierl 9.2.23 Musterlösung: 9. Dezember 23, 8:34 Fehlerkorrektur II Audiosymbole mit einer Länge von 8 bit werden mit einem Paritätsbit

Mehr

2.7 Der Shannon-Fano-Elias Code

2.7 Der Shannon-Fano-Elias Code 2.7 Der Shannon-Fano-Elias Code Die Huffman-Codierung ist ein asymptotisch optimales Verfahren. Wir haben auch gesehen, dass sich die Huffman-Codierung gut berechnen und dann auch gut decodieren lassen.

Mehr

2. Digitale Codierung und Übertragung

2. Digitale Codierung und Übertragung 2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Verlustfreie universelle Kompression 2.3 Digitalisierung, Digitale Medien Weiterführende Literatur zum Thema Informationstheorie:

Mehr

Information und Codierung

Information und Codierung Richard W. Hamming Information und Codierung Technische Universität Darmstadt FACHBEREICH INFORMATIK BIBLIOTHEK Invantar-Nr.: Sachgebiete:. Standort: VCH Inhalt Vorwort zur 1. Auflage der Originalausgabe

Mehr

Molekulare Bioinformatik

Molekulare Bioinformatik Molekulare Bioinformatik Wintersemester 203/204 Prof. Thomas Martinetz Institut für Neuro- und Bioinformatik Universität zu Luebeck 07.0.204 Molekulare Bioinformatik - Vorlesung 0 Wiederhohlung Die Entropie

Mehr

Einführung in die Kodierungstheorie

Einführung in die Kodierungstheorie Einführung in die Kodierungstheorie Einführung Vorgehen Beispiele Definitionen (Code, Codewort, Alphabet, Länge) Hamming-Distanz Definitionen (Äquivalenz, Coderate, ) Singleton-Schranke Lineare Codes Hamming-Gewicht

Mehr

Tutorübung zur Vorlesung Grundlagen Rechnernetze und Verteilte Systeme Übungsblatt 3 (6. Mai 10. Mai 2013)

Tutorübung zur Vorlesung Grundlagen Rechnernetze und Verteilte Systeme Übungsblatt 3 (6. Mai 10. Mai 2013) Technische Universität München Lehrstuhl Informatik VIII Prof. Dr.-Ing. Georg Carle Dipl.-Ing. Stephan Günther, M.Sc. Nadine Herold, M.Sc. Dipl.-Inf. Stephan Posselt Tutorübung zur Vorlesung Grundlagen

Mehr

Zyklische Codes Rechnernetze Übung SS2010

Zyklische Codes Rechnernetze Übung SS2010 Zyklische Codes Binärcodes Blockcodes Lineare Codes Nichtlineare Codes Zyklische Codes Systematische Codes Binärcodes Blockcodes Lineare Codes Nichtlineare Codes Zyklische Codes Systematische Codes Durch

Mehr

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005

CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 CODIERUNGSTHEORIE KURS ZELL AN DER PRAM, FEBRUAR 2005 1. Das Problem 1.1. Kanalcodierung und Fehlerkorrektur. Wir wollen eine Nachricht über einen digitalen Kanal, der nur 0 oder 1 übertragen kann, schicken.

Mehr

Dynamisches Huffman-Verfahren

Dynamisches Huffman-Verfahren Dynamisches Huffman-Verfahren - Adaptive Huffman Coding - von Michael Brückner 1. Einleitung 2. Der Huffman-Algorithmus 3. Übergang zu einem dynamischen Verfahren 4. Der FGK-Algorithmus 5. Überblick über

Mehr

16 - Kompressionsverfahren für Texte

16 - Kompressionsverfahren für Texte 16 - Kompressionsverfahren für Texte Prof. Dr. S. Albers Kompressionsverfahren für Texte Verlustfreie Kompression Original kann perfekt rekonstruiert werden Beispiele: Huffman Code, Lauflängencodierung,

Mehr

2 Informationstheorie

2 Informationstheorie 2 Informationstheorie Formale Grundlagen der Informatik I Herbstsemester 2012 Robert Marti Vorlesung teilweise basierend auf Unterlagen von Prof. emer. Helmut Schauer Grundbegriffe Informatik (IT: Information

Mehr

Einführung in die Codierungstheorie

Einführung in die Codierungstheorie Einführung in die Codierungstheorie Monika König 11.12.2007 Inhaltsverzeichnis 1 Einführung und Definitionen 2 2 Fehlererkennende Codes 3 2.1 Paritycheck - Code............................... 3 2.2 Prüfziffersysteme................................

Mehr

Übung zur Vorlesung. Informationstheorie und Codierung

Übung zur Vorlesung. Informationstheorie und Codierung Übung zur Vorlesung Informationstheorie und Codierung Prof. Dr. Lilia Lajmi Juni 25 Ostfalia Hochschule für angewandte Wissenschaften Hochschule Braunschweig/Wolfenbüttel Postanschrift: Salzdahlumer Str.

Mehr

Praktikum Digitaltechnik

Praktikum Digitaltechnik dig A) Vorbereitungsaufgaben: 1) Ermitteln Sie anhand der gegebenen zwei Blockschaltbilder die Schaltgleichungen und vereinfachen Sie weitmöglich! y 1 =(/(/(x 0 x 1 )/(x 0 +x 1 )))+(/(/(x 0 x 1 )+/(x 0

Mehr

Themen Medientechnik II. Grundlagen der Bildkompression (Teil 1) Claude E. Shannon ( ) Digitale Bildübertragungsstrecke

Themen Medientechnik II. Grundlagen der Bildkompression (Teil 1) Claude E. Shannon ( ) Digitale Bildübertragungsstrecke .4.6 Themen Medientechnik II Grundlagen der Bildkompression (Teil ) Dr. Detlev Marpe Fraunhofer Institut für Nachrichtentechnik HHI Grundlagen der statistischen ignalverarbeitung Mittelwert, Varianz, NR,

Mehr

Lösungsvorschläge zu Blatt Nr. 13

Lösungsvorschläge zu Blatt Nr. 13 Institut für Algorithmen und Kognitive Systeme Dr. Jörn Müller-Quade Carmen Kempka Christian Henrich Nico Döttling Vorlesung Informatik III Lösungsvorschläge zu Blatt Nr. Aufgabe (K ( Punkte Gegeben ist

Mehr

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes

1. Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 1 Woche: Einführung in die Codierungstheorie, Definition Codes, Präfixcode, kompakte Codes 5/ 44 Unser Modell Shannon

Mehr

Kanalkapazität. Gestörter Kanal. Grundlagen der Rechnernetze Physikalische Schicht 25

Kanalkapazität. Gestörter Kanal. Grundlagen der Rechnernetze Physikalische Schicht 25 Kanalkapazität Gestörter Kanal Grundlagen der Rechnernetze Physikalische Schicht 25 Signalstärken und Dämpfung Spannung U, Strom I, Leistung P und Energie E: Dämpfung Signalstärke Distanz Grundlagen der

Mehr

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert.

Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. Anwendungen von Bäumen 4.3.2 Huffman Code Problem: Finde für Alphabet mit n Zeichen einen Binärcode, der die Gesamtlänge eines Textes (über diesem Alphabet) minimiert. => nutzbar für Kompression Code fester

Mehr

zu Aufgabe 26: a) A 3 A 2 A 4 A 1 A 5 A 0 A 6

zu Aufgabe 26: a) A 3 A 2 A 4 A 1 A 5 A 0 A 6 zu ufgabe 6: a) 3 5 6 7 p( ) p( ) p( 3 ) p( ) p( 5 ) p( 6 ) p( 7 ) = p( 3 ) = p( 3 ) = p( 3 ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = 8 p( ) = p( ) = p( ) = p( ) Lösung: b) binär 8 p(

Mehr

Lineare Codes. Dipl.-Inform. Wolfgang Globke. Institut für Algebra und Geometrie Arbeitsgruppe Differentialgeometrie Universität Karlsruhe 1 / 19

Lineare Codes. Dipl.-Inform. Wolfgang Globke. Institut für Algebra und Geometrie Arbeitsgruppe Differentialgeometrie Universität Karlsruhe 1 / 19 Lineare Codes Dipl.-Inform. Wolfgang Globke Institut für Algebra und Geometrie Arbeitsgruppe Differentialgeometrie Universität Karlsruhe 1 / 19 Codes Ein Code ist eine eindeutige Zuordnung von Zeichen

Mehr

Rechnernetze Übung 5. Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai Wo sind wir?

Rechnernetze Übung 5. Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai Wo sind wir? Rechnernetze Übung 5 Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2012 Wo sind wir? Quelle Nachricht Senke Sender Signal Übertragungsmedium Empfänger Quelle Nachricht Senke Primäres

Mehr

Kapitel 4 Leitungscodierung

Kapitel 4 Leitungscodierung Kapitel 4 Leitungscodierung Prof. Dr. Dirk W. Hoffmann Hochschule Karlsruhe w University of Applied Sciences w Fakultät für Informatik Übersicht Quelle Senke Kompression Huffman-, Arithmetische-, Lempel-Ziv

Mehr

Codierung. H.-G. Hopf

Codierung. H.-G. Hopf Codierung H.-G. Hopf Inhalt Informationsübermittlung Codierung von Zeichen GDI: Codierung / 2 Inhalt Informationsübermittlung Codierung von Zeichen GDI: Codierung / 3 Ideale Kommunikation Übertragungskanal

Mehr

Grundbegrie der Codierungstheorie

Grundbegrie der Codierungstheorie Grundbegrie der Codierungstheorie Pia Lackamp 12. Juni 2017 Inhaltsverzeichnis 1 Einleitung 2 2 Hauptteil 3 2.1 Blockcodes............................ 3 2.1.1 Beispiele.......................... 3 2.2

Mehr

Grundlagen der digitalen Kommunikationstechnik

Grundlagen der digitalen Kommunikationstechnik Carsten Roppel Grundlagen der digitalen Kommunikationstechnik Übertragungstechnik - Signalverarbeitung - Netze mit 368 Bildern, 42 Tabellen und 62 Beispielen Fachbuchverlag Leipzig im Carl Hanser Verlag

Mehr

1 Das Kommunikationsmodell

1 Das Kommunikationsmodell 1 Das Kommunikationsmodell Das Sender-Empfänger-Modell der Kommunikation (nach Shannon und Weaver, 1949) definiert Kommunikation als Übertragung einer Nachricht von einem Sender zu einem Empfänger. Dabei

Mehr

Kanalkapazität. Grundlagen der Rechnernetze Physikalische Schicht 25

Kanalkapazität. Grundlagen der Rechnernetze Physikalische Schicht 25 Kanalkapazität Gestörter t Kanal Grundlagen der Rechnernetze Physikalische Schicht 25 Signalstärken und Dämpfung Spannung U, Strom I, Leistung P und Energie E: Dämpfung Signalstärk ke Distanz Grundlagen

Mehr

Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2012

Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2012 Rechnernetze Übung 6 Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2012 Ziel: Nachrichten fehlerfrei übertragen und ökonomisch (wenig Redundanz) übertragen Was ist der Hamming-Abstand?

Mehr

Optimalcodierung. Thema: Optimalcodierung. Ziele

Optimalcodierung. Thema: Optimalcodierung. Ziele Optimalcodierung Ziele Diese rechnerischen und experimentellen Übungen dienen der Vertiefung der Kenntnisse im Bereich der Optimalcodierung, mit der die Zeichen diskreter Quellen codiert werden können.

Mehr

Übung zu Drahtlose Kommunikation. 1. Übung

Übung zu Drahtlose Kommunikation. 1. Übung Übung zu Drahtlose Kommunikation 1. Übung 22.10.2012 Termine Übungen wöchentlich, Montags 15 Uhr (s.t.), Raum B 016 Jede Woche 1 Übungsblatt http://userpages.uni-koblenz.de/~vnuml/drako/uebung/ Bearbeitung

Mehr

Spektrum und Bandbreite

Spektrum und Bandbreite Spektrum und Bandbreite 0.0 0 1f 2f 3f 4f 5f 6f Spektrum: Bandbreite: Grundlagen der Rechnernetze Physikalische Schicht 12 Aperiodische Signale in der Frequenzdomäne Bildquelle: de.wikipedia.org/wiki/frequenzspektrum

Mehr

Die Digitalisierung von Musik

Die Digitalisierung von Musik Die Digitalisierung von Musik 1 Analoges Speichern Speicherung von Musik auf einer LP Die Daten sind analog gespeichert Analysis 2 Digitale Datenerfassung 1.Sampling Das (akustische) elektrische Signal

Mehr

9.4 Sicherheit von Verschlüsselungsverfahren

9.4 Sicherheit von Verschlüsselungsverfahren 9.4 Sicherheit von Verschlüsselungsverfahren ist bedroht durch = Resistenz gegenüber Kryptoanalyse kleine Schlüsselräume (erlauben systematisches Ausprobieren aller möglichen Schlüssel) Beispiel: Cäsars

Mehr

Mathe III. Garance PARIS. Mathematische Grundlagen III. Informationstheorie. 20. Juni /1

Mathe III. Garance PARIS. Mathematische Grundlagen III. Informationstheorie. 20. Juni /1 Mathematische Grundlagen III Informationstheorie 20 Juni 20 / Informationstheorie Ein Gerüst, um über den Informationsgehalt von (linguistischen) Ereignissen nachzudenken Einige Beispiele für Anwendungen:

Mehr

Der Backoff-Algorithmus

Der Backoff-Algorithmus Der Backoff-Algorithmus Ausarbeitung im Rahmen der Vorlesung Lokale und Weitverkehrsnetze II (Prof. Koops) SS 2001 3570316 Lars Möhlmann 3570317 Jens Olejak 3570326 Till Tarara Fachhochschule Oldenburg/Ostfriesland/Wilhelmshaven

Mehr

Elementare Einführung in die Wahrscheinlichkeitsrechnung, Informationstheorie und stochastische Prozesse mit Warteschlangentheorie

Elementare Einführung in die Wahrscheinlichkeitsrechnung, Informationstheorie und stochastische Prozesse mit Warteschlangentheorie Berichte aus der Informationstechnik Klaus-Dieter Thies Elementare Einführung in die Wahrscheinlichkeitsrechnung, Informationstheorie und stochastische Prozesse mit Warteschlangentheorie für Computernetzwerke

Mehr

Musterlösung zur Aufgabe A1.1

Musterlösung zur Aufgabe A1.1 Abschnitt: 1.1 Prinzip der Nachrichtenübertragung Musterlösung zur Aufgabe A1.1 a) Im markierten Bereich (20 Millisekunden) sind ca 10 Schwingungen zu erkennen. Daraus folgt für die Signalfrequenz näherungsweise

Mehr

Informationstheorie und Codierung Schriftliche Prüfung am 8. Mai 2006

Informationstheorie und Codierung Schriftliche Prüfung am 8. Mai 2006 Informationstheorie und Codierung Schriftliche Prüfung am 8. Mai 2006 Institut für Nachrichtentechnik und Hochfrequenztechnik Bitte beachten Sie: Sie dürfen das Vorlesungsskriptum, einen Taschenrechner

Mehr

Ein (7,4)-Code-Beispiel

Ein (7,4)-Code-Beispiel Ein (7,4)-Code-Beispiel Generator-Polynom: P(X) = X 3 + X 2 + 1 Bemerkung: Es ist 7 = 2^3-1, also nach voriger Überlegung sind alle 1-Bit-Fehler korrigierbar Beachte auch d min der Codewörter ist 3, also

Mehr

Woche 2: Zufallsvariablen

Woche 2: Zufallsvariablen Woche 2: Zufallsvariablen Patric Müller ETHZ WBL 17/19, 24.04.2017 Wahrscheinlichkeit und Statistik Patric Müller WBL 2017 Teil III Zufallsvariablen Wahrscheinlichkeit

Mehr

6: Diskrete Wahrscheinlichkeit

6: Diskrete Wahrscheinlichkeit Stefan Lucks Diskrete Strukturen (WS 2009/10) 219 6: Diskrete Wahrscheinlichkeit 6: Diskrete Wahrscheinlichkeit Stefan Lucks Diskrete Strukturen (WS 2009/10) 220 Wahrscheinlichkeitsrechnung Eines der wichtigsten

Mehr

Digitalisierung. Digitale Übertragung analoger Signale. störsicher (0/1-Codierung, Fehlerkorrektur) präzise (fixe unveränderliche Codeworte)

Digitalisierung. Digitale Übertragung analoger Signale. störsicher (0/1-Codierung, Fehlerkorrektur) präzise (fixe unveränderliche Codeworte) Digitale Übertragung analoger Signale Vorteile digitaler Übertragung störsicher (0/1-Codierung, Fehlerkorrektur) präzise (fixe unveränderliche Codeworte) Nachteiler digitaler Übertragung natürliche Signale

Mehr

Digitalisierung und Kodierung

Digitalisierung und Kodierung Digitalisierung und Kodierung Digitale Medien liegen in digitaler Form vor Deshalb werden analoge Medien digitalisiert und geeignet kodiert Ziel der Digitalisierung: effiziente Berechnung wenig Verluste

Mehr

Codierungstheorie Teil 1: Fehlererkennung und -behebung

Codierungstheorie Teil 1: Fehlererkennung und -behebung Codierungstheorie Teil 1: Fehlererkennung und -behebung von Manuel Sprock 1 Einleitung Eine Codierung ist eine injektive Abbildung von Wortmengen aus einem Alphabet A in über einem Alphabet B. Jedem Wort

Mehr

Fehlererkennung und Fehlerkorrektur in Codes

Fehlererkennung und Fehlerkorrektur in Codes Fehlererkennung und Fehlerkorrektur in Codes Blockcodes und Hamming Abstand Untersuchungen zu Codierungen von Informationen, die über einen Nachrichtenkanal übertragen werden sollen, konzentrieren sich

Mehr

- Sei r(x,y) Eingangsbild, dass nur Rauschen (Quantenrauschen) enthält.

- Sei r(x,y) Eingangsbild, dass nur Rauschen (Quantenrauschen) enthält. Eingang System Ausgang - Sei r(x,y) Eingangsbild, dass nur (Quantenrauschen) enthält. - Das Bild enthalte keinerlei Information, d.h. das Spektrum ist weiß und es gibt keine Korrelationen zwischen den

Mehr

Unsicherheit * M RS = 6

Unsicherheit * M RS = 6 Informationstheorie Gegenstand Unsicherheit Überraschung Entropie Relative und maximale Entropie, Redundanz Konditionale Entropie und Verbundentropie Wechselseitige ("Mutual") Information Gegenstand Kodierung,

Mehr

9. Vorlesung. Systemtheorie für Informatiker. Dr. Christoph Grimm. Professur Prof. Dr. K. Waldschmidt, Univ. Frankfurt/Main

9. Vorlesung. Systemtheorie für Informatiker. Dr. Christoph Grimm. Professur Prof. Dr. K. Waldschmidt, Univ. Frankfurt/Main 9. Vorlesung Systemtheorie für Informatiker Dr. Christoph Grimm Professur Prof. Dr. K. Waldschmidt, Univ. Frankfurt/Main Letzte Woche: Abtastung und Rekonstruktion Abtastung: Wandelt bandbegrenzte kontinuierliche

Mehr

Mathematische Grundlagen III

Mathematische Grundlagen III Mathematische Grundlagen III Informationstheorie Prof Dr. Matthew Crocker Universität des Saarlandes 22. Juni 205 Matthew Crocker (UdS) Mathe III 22. Juni 205 / 43 Informationstheorie Entropie (H) Wie

Mehr

Informations- und Kommunikationssysteme

Informations- und Kommunikationssysteme Informations- und Kommunikationssysteme Übungsaufgaben 2. Teil 1 Aufgabe 1 Es sei gegeben, dass eine Datei mit F Bit über einen Pfad, der über Q Links durch das Netzwerk führt, gesendet wird. Das Netzwerk

Mehr

Seminar Kolmogorovkomplexität. Universität Potsdam Wintersemester 2009/10

Seminar Kolmogorovkomplexität. Universität Potsdam Wintersemester 2009/10 Universität Potsdam Wintersemester 2009/10 Kolmogorovkomplexität Kolmogorovkomplexität (auch Algorithmische Komplexität ) ist der zentrale Begriff der Algorithmischen Informationstheorie (AIT). Kombiniert

Mehr

Prof. Dr. R. Mathar RWTH Aachen, SS 2002 Daniel Catrein Abgabe: bis 15:45 Uhr. 1. Übung zur Einführung in die Stochastik für Informatiker

Prof. Dr. R. Mathar RWTH Aachen, SS 2002 Daniel Catrein Abgabe: bis 15:45 Uhr. 1. Übung zur Einführung in die Stochastik für Informatiker Daniel Catrein Abgabe: 02.05.02 1. Übung zur Einführung in die Stochastik für Informatiker Aufgabe 1 Bei einem Kartenspiel mit 52 Karten werden an jeden der vier Spieler (A, B, C und D) 13 Karten ausgegeben.

Mehr

2. Eigenschaften digitaler Nachrichtensignale

2. Eigenschaften digitaler Nachrichtensignale FH OOW / Fachb. Technik / Studiengang Elektrotechnik u. Automatisierungstechnik Seite 2-2. Eigenschaften digitaler Nachrichtensignale 2. Abgrenzung zu analogen Signalen Bild 2.- Einteilung der Signale

Mehr

2. Digitale Codierung und Übertragung

2. Digitale Codierung und Übertragung 2. Digitale Codierung und Übertragung 2.1 Informationstheoretische Grundlagen 2.2 Speicherbedarf und Kompression 2.3 Digitalisierung Ludwig-Maximilians-Universität München Prof. Hußmann Digitale Medien

Mehr

Wichtige Eigenschaft: zeitliche Abnahme der Schallintensität. Akustische Ereignisse sind zeitliche Phänomene mit Anfang und Ende

Wichtige Eigenschaft: zeitliche Abnahme der Schallintensität. Akustische Ereignisse sind zeitliche Phänomene mit Anfang und Ende Schallaufzeichnung Wichtige Eigenschaft: zeitliche Abnahme der Schallintensität Akustische Ereignisse sind zeitliche Phänomene mit Anfang und Ende Akustische Ereignisse sind vergänglich Akustische Ereignisse

Mehr

Modelle der Kommunikation. 1. Technisches Kommunikationsmodell Shannon&Weaver 2. Eisbergmodell Sigmund Freud 3. 4 Seiten Modell Schulz von Thun

Modelle der Kommunikation. 1. Technisches Kommunikationsmodell Shannon&Weaver 2. Eisbergmodell Sigmund Freud 3. 4 Seiten Modell Schulz von Thun Modelle der Kommunikation 1. Technisches Kommunikationsmodell Shannon&Weaver 2. Eisbergmodell Sigmund Freud 3. 4 Seiten Modell Schulz von Thun 1 Ein einfaches Modell der Kommunikation: Shannon & Weaver

Mehr

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele

Organisation. Was kommt zum Test? Buch Informatik Grundlagen bis inkl. Kapitel 7.4 Wissensfragen und Rechenbeispiele Organisation Was kommt zum Test? Buch Informatik Grundlagen bis inkl Kapitel 74 Wissensfragen und Rechenbeispiele 3 Vorträge zur Übung Informationstheorie, Huffman-Codierung und trennzeichenfreie Codierung

Mehr

Grundlagen der Nachrichtentechnik

Grundlagen der Nachrichtentechnik Universität Bremen Arbeitsbereich Nachrichtentechnik Prof. Dr.-Ing. A. Dekorsy Schriftliche Prüfung im Fach Grundlagen der Nachrichtentechnik Name: Vorname: Mat.-Nr.: BSc./Dipl.: Zeit: Ort: Umfang: 07.

Mehr

A1.7: Entropie natürlicher Texte

A1.7: Entropie natürlicher Texte A1.7: Entropie natürlicher Texte Anfang der 1950er Jahre hat Claude E. Shannon die Entropie H der englischen Sprache mit einem bit pro Zeichen abgeschätzt. Kurz darauf kam Karl Küpfmüller bei einer empirischen

Mehr

28 4. DIE MATHEMATIK HINTER DER COMPACT DISC. Abbildung 4.1: Selbstkorrigierende Codes

28 4. DIE MATHEMATIK HINTER DER COMPACT DISC. Abbildung 4.1: Selbstkorrigierende Codes 8 4. DIE MATHEMATIK HINTER DER COMPACT DISC y1 1 4 3 y3 y Abbildung 4.1: Selbstkorrigierende Codes 4. Die Mathematik hinter der Compact Disc 4.1. Selbstkorrigierende Codes Wenn wir eine Reihe von 0 und

Mehr

Übungsblatt 8. Aufgabe 1 Datentransferrate und Latenz

Übungsblatt 8. Aufgabe 1 Datentransferrate und Latenz Übungsblatt 8 Abgabe: 15.12.2011 Aufgabe 1 Datentransferrate und Latenz Der Preußische optische Telegraf (1832-1849) war ein telegrafisches Kommunikationssystem zwischen Berlin und Koblenz in der Rheinprovinz.

Mehr

Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2011

Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2011 Rechnernetze Übung 5 Frank Weinhold Professur VSR Fakultät für Informatik TU Chemnitz Mai 2011 Ziel: Nachrichten fehlerfrei übertragen und ökonomisch (wenig Redundanz) übertragen Was ist der Hamming-Abstand?

Mehr

Inhaltsverzeichnis Aufgaben und Grundbegriffe der Nachrichtentechnik Signale und Systeme

Inhaltsverzeichnis Aufgaben und Grundbegriffe der Nachrichtentechnik Signale und Systeme Inhaltsverzeichnis 1 Aufgaben und Grundbegriffe der Nachrichtentechnik... 1 1.1 Entwicklung der Nachrichtentechnik... 2 1.2 Nachrichtentechnik, Informationstechnik und Telekommunikation... 7 1.3 Nachrichtenübertragung...

Mehr

Kommunikationstechnik II Wintersemester 08/09

Kommunikationstechnik II Wintersemester 08/09 Kommunikationstechnik II Wintersemester 8/9 Prof. Dr. Stefan Weinzierl Musterlösung: 8. Aufgabenblatt Lösung in der Rechenübung am 9.1.9 1. Aufgabe: Fehlererkennung/-korrektur Audio Symbole mit einer Länge

Mehr

Digital Signal Processing

Digital Signal Processing - for Master Study by TFH Bochum - Analog Signal I OO O I I I O O O Digital Signal Seite 1 Zielsetzung der Signalverarbeitung Analyse: H(t), H(f) Modellieren y(t) {} Physikalische Größe und Prozesse Synthese

Mehr

Themen. Sicherungsschicht. Rahmenbildung. Häufig bereitgestellte Dienste. Fehlererkennung. Stefan Szalowski Rechnernetze Sicherungsschicht

Themen. Sicherungsschicht. Rahmenbildung. Häufig bereitgestellte Dienste. Fehlererkennung. Stefan Szalowski Rechnernetze Sicherungsschicht Themen Sicherungsschicht Rahmenbildung Häufig bereitgestellte Dienste Fehlererkennung OSI-Modell: Data Link Layer TCP/IP-Modell: Netzwerk, Host-zu-Netz Aufgaben: Dienste für Verbindungsschicht bereitstellen

Mehr

TCP Teil 2. TCP Teil 2: Tilmann Kuhn Betreuer: Dr. Thomas Fuhrmann 1/18

TCP Teil 2. TCP Teil 2: Tilmann Kuhn Betreuer: Dr. Thomas Fuhrmann 1/18 TCP Teil 2 sliding window protocol Begriffe: MSS, RTT und RTO bulk-data flow Stau-Vermeidung Langsamer Start Zusammenspiel: S.V. und L.S. TCP features und options TCP Teil 2: Tilmann Kuhn Betreuer: Dr.

Mehr

Modul Diskrete Mathematik WiSe 2011/12

Modul Diskrete Mathematik WiSe 2011/12 Modul Diskrete Mathematik WiSe / Ergänzungsskript zum Kapitel 3.4. Hinweis: Dieses Manuskript ist nur verständlich und von Nutzen für Personen, die regelmäßig und aktiv die zugehörige Vorlesung besuchen

Mehr

Grundlegende Steuer- und Verwaltungsfunktionen (ICMP)

Grundlegende Steuer- und Verwaltungsfunktionen (ICMP) Grundlegende Steuer- und Verwaltungsfunktionen (ICMP) Dr. Hannes P. Lubich Bank Julius Bär Zürich Einführung in TCP/IP Grundlegende Steuer- und Verwaltungsfunktionen (ICMP) (1) Einführung in ICMP Zur Steuerung

Mehr

Grundlagen der Telematik AMW Übungsaufgaben

Grundlagen der Telematik AMW Übungsaufgaben Grundlagen der Telematik AMW Übungsaufgaben Grundlagen der Telematik (AMW SS 00): Übungsaufgaben Aufgabe Es sei gegeben, dass eine Datei mit F Bit über einen Pfad, der über Q Links durch das Netzwerk führt,

Mehr

Musterlösung: 11. Dezember 2014, 10:43. Informationstheorie und Entropiekodierung

Musterlösung: 11. Dezember 2014, 10:43. Informationstheorie und Entropiekodierung Audiotechnik II Digitale Audiotechnik: 8. Übung Prof. Dr. Stefan Weinzierl 11.12.2014 Musterlösung: 11. Dezember 2014, 10:43 Informationstheorie und Entropiekodierung Bei der Entropiekodierung werden die

Mehr

Signale und Codes Vorlesung 11

Signale und Codes Vorlesung 11 Signale und Codes Vorlesung 11 Nico Döttling January 31, 2014 1 / 22 Ein List-Decoder für WH k Theorem (Goldreich-Levin) Für jedes ɛ > 0 existiert ein effizienter List-Decoder für WH k welcher 1 2 ɛ Fehler

Mehr

1.3 Digitale Audiosignale

1.3 Digitale Audiosignale Seite 22 von 86 Abb. 1.2.12 - Wirkung der Schallverzögerung Effekte sind: Delay, Echo, Reverb, Flanger und Chorus Hört man ein akustisches Signal im Raum, dann werden die Signale von Wänden und anderen

Mehr