Telekommunikationssysteme

Telekommunikationssysteme WS 1999 / 2000 Prof. Dr. Claudia Linnhoff-Popien M Institut für Informatik Ludwig-Maximilians-Universität, München N TE AM M Prof. Dr. Otto Spaniol Lehrstuhl für Informatik 4 RWTH Aachen Mitarbeiter: (in München) Markus Garschhammer Bernhard Kempter Annette Kostelezky Mitarbeiter: (in Aachen) Frank Imhoff Axel Küpper Jens Meggers

Informationen und Signale Ein Signal ist die Darstellung einer Nachricht durch physikalische Größen: Spannungsverlauf zeitliche Änderung der elektrischen Feldstärke Änderung der Frequenz, Amplitude Information (im Sinne der Informatik): wird dargestellt (durch Signale, Zeichen, Nachrichten, Sprache,...) wird verarbeitet (Eingabe, Ausgabe, Übermittlung, Speicherung,...) hat verschiedene Eigenschaften, z.b.: - unabhängig vom Ort und Zeit - beliebig oft kopierbar und kennt keine Originale - ist fast beliebig kombinierbar (Fragmente, Verschlüsselung) -läßt sich stark komprimieren

Signalformen Wert Zeit zeitkontinuierlich zeitdiskret wertdiskret wertkontinuierlich

Informationstheorie Claude Elwood Shannon (* 1916): amerikanischer Ingenieur und Mathematiker ab 1941 Mitarbeiter der Bell Telephone Laboratories 1949: A mathematical theory of communication Information ist die Abnahme der Ungewißheit über das Eintreten eines statistischen Ereignisses. Informationstheorie Darstellung Speicherung Austausch (Übertragung) von Information ohne Rücksicht auf deren Inhalt oder Semantik Verwendet vorwiegend Methoden aus der Wahrscheinlichkeitsrechnung und der Stochastik.

Grundbegriffe Die Nachrichtenquelle wählt aus einer Menge von möglichen Nachrichten eine gewünschte Nachricht aus. Die Nachricht ist eine nach vorher festgelegten Regeln zusammengestellt, endliche Folge von Zeichen und Zuständen, die eine Information vermittelt. Der Sender übersetzt diese Nachricht in das Signal, welches dann über den Übertragungskanal vom Sender zum Empfänger übertragen wird. Signale sind physikalische Größen, z.b. Schall, elektrische oder optische Impulse. Man unterscheidet analoge und digitale Signale. Der Empfänger ist ein umgekehrter Sender, der das übertragene Signal in eine Nachricht zurückverwandelt und diese an das Ziel weitergibt.

Übertragungsweg Problem: Während des Übertragungsprozesses werden dem Signal Daten in Form von Störungen (Rauschen) hinzugefügt. Verzerrungen in der Telefonie atmosphärische Störungen in der Funktechnik Schatten und Verzerrungen bei der Bildübertragungen Quelle Sender Kanal Empfänger Senke Störungen

Fragen Wie mißt man den Informationsgehalt (den Betrag der Information)? Wie mißt man die Kapazität eines Übertragungskanals? Wie erfolgt eine möglichst optimale Übersetzung (Codierung) der Nachricht in Signale durch den Sender? Was sind die charakteristischen Merkmale einer effizienten Codierung? Wenn die Codierung so effizient wie möglich ist, mit welcher Übertragungsrate kann der Kanal Information weiterleiten? Welchen Einfluß haben Störungen auf die Nachrichten, die schließlich das Ziel erreichen? Wie kann man die unerwünschten Effekte der Störungen auf ein Minimum beschränken und bis zu welchem Grad können sie ausgeschaltet werden?

Informationsgehalt eines Zeichens Der Informationsgehalt eines einzelnen Zeichen z i innerhalb eines Zeichenvorrats Z = {z 1,z 2,...,z N } hängt ausschließlich von der Wahrscheinlichkeit ab, mit der dieses Zeichen innerhalb einer Nachricht auftritt. Der Informationsgehalt ist gleich der Anzahl binärer Entscheidungen (Fragen), die man benötigt um dieses Zeichen zu finden / erfragen. Voraussetzung: Beide Entscheidungen / Antworten sind gleich wahrscheinlich

Informationsgehalt Beispiel 1: Gegeben ist ein (Skat-)Kartenspiel mit 32 Karten. Gesucht ist der Informationsgehalt einer bestimmten Karte. 1. Frage: Rot - Schwarz Rot 2. Frage: Herz - Karo Herz 3. Frage: Zahl - Bild Bild 4. Frage: Bube/Dame - König/Ass Bube/Dame 5. Frage: Bube - Dame Dame Die Information "Herzdame" hat den Informationsgehalt 5, denn mit 5 binären Entscheidungen kann man diese Karte ermitteln.

Einheit des Informationsgehalts Beispiel 2: Gegeben ist eine geordnete Zeichenfolge [z 1,z 2,...,z N ]. Gesucht ist der Informationsgehalt eines Zeichens z i. Erforderlich sind k = ld N Fragen (Devide and Conquer) Der Informationsgehalt eines Zeichen z i ist gleich ld N bit/zeichen Die Einheit des Informationsgehaltes heißt bit (basic indissoluble information unit). Nicht zu verwechseln mit der Einheit für die Darstellung von Daten mit Hilfe binärer Zeichen Bit (binary digit). Wichtig: Zur Darstellung von n bit werden n Bit benötigt.

Wahrscheinlichkeitsverteilung Es sei x(η) eine Zufallsvariable, die diskrete Werte x i mit i=1,...,n und mit den folgenden Wahrscheinlichkeiten annimmt: ( x ) = P η x( η) ({ }) P = i x i Der Informationsgehalt I des Ereignisses x(η) = x i ist dann definiert als 1 ld = ld P x ( ) i ( ) P x i bit / Ereignis Da P(x i ) nur Werte zwischen 0 (völlige Ungewißheit, ob das Ereignis auftreten wird) und 1 (völlige Gewißheit) annehmen kann, ist der Informationsgehalt I immer positiv.

Informationsgehalt digitaler Signale Erscheint am Empfänger immer nur dasselbe Zeichen, so ist P(x i )=1 und der Informationsgehalt I = 0. Es wird keine Information übertragen, da feststeht, welches Zeichen als nächstes in der Zeichenkette (Nachricht) auftreten wird. Sendet eine binäre Nachrichtenquelle beide Zeichen mit gleicher Wahrscheinlichkeit, d.h. P(x i )= ½, so ist I = 1 bit für jedes einzelne Zeichen. Sendet die Quelle N verschiedene Zeichen mit den gleichen Wahrscheinlichkeiten P(x i )=1/N, dann ist I = -ld P(x i ) I = -ld P = -ld 1/N = -(ld 1 - ld N) = ld N

Informationsgehalt der Sprache Beispiel: Gegeben seien 30 Zeichen (29 Buchstaben + Zwischenraum). Werde zusätzlich für das Auftreten dieser Zeichen eine Gleichverteilung angenommen, so gilt P(x i ) = 1/30. Der Informationsgehalt betrüge dann I = -ld 1/30 = ld 30 4,9 bit/zeichen. Zur binären Darstellung eines Zeichens benötigte man daher 5 Bit. Aber: Eine Gleichverteilung aller Zeichen ist unrealistisch Zeichen a b c d e f g h i j... deutsch P[%]= 6.47 1.93 2.68 4.83 17.48 1.65 3.06 4.23 7.73 0.27 englisch P[%]= 8.04 1.54 3.06 3.99 12.51 2.30 1.96 5.49 7.26 0.16

Diskrete Nachrichtenquellen Eine Nachrichtenquelle heißt diskret, wenn alle Nachrichten ausschließlich aus Zeichen eines endlichen Alphabets Z = {z 1,..., z n } bestehen. Ist die Wahrscheinlichkeit für die Wahl der verschiedenen Zeichen in jedem Stadium des Prozesses von der vorhergegangenen Auswahl abhängig, handelt es sich um einen stochastischen Prozeß. e p 1 p 2 p 3 r _ p 4 n i e k

Entropie Mittelwert des Informationsgehalt einer Nachricht: H = p 1 I 1 + p 2 I 2 + p 1 I 3 +... + p n I n bit/zeichen Die Entropie der Zufallsvariable x ist der mittlere Informationsgehalt: H N ( x) = P( x ) ld P( x ) i= 1 i i Die Entropie ist ein Maß für: die mittlere Unsicherheit über den Ausgang eines Ereignisses den mittleren Informationsgehalt einer Zufallsgröße die Zufälligkeit eines Ereignisses

binäre Entropiefunktion Gegeben sei eine binäre Nachrichtenquelle mit dem Alphabet Z = {0,1} 0 tritt der Wahrscheinlichkeit P 0 und 1 mit der Wahrscheinlichkeit 1-P 0 auf. H(P 0 ) = - (P 0 ld P 0 + (1- P 0 ) ld (1-P 0 )) bit / Zeichen = - P 0 ld P 0 - (1- P 0 ) ld (1- P 0 ) bit / Zeichen H(P 0 ) wird auch als Shannon- Funktion bezeichnet H(P 0 ) erreicht das Maximum für P 0 =1/2, d.h. wenn die beiden Zeichen gleich häufig auftreten. H(P 0 ) Allgemein gilt: Das Maximum der Entropie H max wird erreicht, wenn alle Zeichen gleichwahrscheinlich sind. (bei N Zeichen ist p 1 =p 2 =p 3 =...=p N =1/N). P 0

Quellcodierung Quellcodierungstheorem (Shannon): Für eine diskrete, statistisch unabhängige Quelle, die Zufallszeichen x mit den Realisierungen x i erzeugt, ist es für die Rekonstruktion der Zeichenfolge notwendig und hinreichend, H(x) bit / Zeichen zur Codierung zu verwenden. Effiziente Algorithmen für lange Folgen: Huffman-Codierung für Quellen, deren Statistik hinreichend bekannt sind Lempel-Ziv-Codierung für Quellen mit unbekannter Statistik (Universal Source Coding) (ist Modem-Übertragungsprotokoll v42.bis implementiert)

Informationsgehalt einer Nachricht Beispiel: Der Informationsgehalt der Nachricht "WINTERSEMESTER" Zeichen W I N T E R S M P z 1/14 1/14 1/14 2/14 4/14 2/14 2/14 1/14 I z 3,8 3,8 3,8 2,8 1,8 2,8 2,8 3,8 H 0,271 0,271 0,271 0,4 0,514 0,4 0,4 0,271 Tatsächliche Entropie: H(x)=0,395 Maximale Entropie: H max (x)=8 1/8 ld (1/8) = 3 Das Verhältnis zwischen der tatsächlichen und der maximalen Entropie wird relative Entropie genannt: H rel (x) = H(x) / H max (x)

Redundanz Die Differenz zwischen der maximalen und der tatsächlichen Entropie wird als Redundanz bezeichnet: r(x) = H max (x) - H (x) bzw. r rel (x)=1 - H rel (x) Redundanz gibt den Teil des Aufbaus der Nachricht an, der nicht durch die Wahlfreiheit der Quelle, sondern eher von angenommenen statistischen Regeln bestimmt wird. Grundlage für die Datenkompression Nutzungsmöglichkeiten in der Kryptographie Redundanz im Binärcode: Anzahl der Bits, um die eine kodierte Nachricht die minimale Anzahl benötigter Bits überschreitet.

Statistische Abhängigkeiten Beispiel: Entropie der deutschen Sprache Der mittlere Informationsgehalt aller Buchstaben inkl. des Leerzeichens ist 4,9bit / Buchstabe. (Voraussetzung: Alle Buchstaben und der Zwischenraum treten gleichwahrscheinlich auf) Aber: Es existieren lokale statische Abhängigkeiten, die eine Optimierung erlauben Digramme und Trigramme der deutschen Sprache er 0,0409 en 0,04 ch 0,0242 de 0,0227 ei 0,0193 nd 0,0187 te 0,0185 in 0,0168 ein 0,0122 ich 0,0111 nde 0,089 die 0,087 und 0,087 der 0,086 che 0,075 end 0,075

Entropie der Sprache Berücksichtigung der Wahrscheinlichkeitsverteilung der Buchstabenfolgen führt zu H(x) von nur 1,6 bit pro Zeichen. Die Redundanz der deutschen Schriftsprache ist folglich 4,9bit - 1,6bit = 3,3bit. Beispiel: WIRD DIE REDUNDANZ REDUZIERT IST DAS LESEN VIEL MÜHSAMER WIRDDIEREDUNDANZREDUZIERTISTDASLESENVIELMÜHSAMER WI DD ER DU DA ZR DU IE TI TD SL SE VI LM HS ME Entropie der Sprache unter Ausnutzung aller Korrelationen: Deutsch: 1,3 bit/buchstabe (Küpfmüller) Englisch: 1,0 bit/buchstabe (Shannon) Friedrich L. Bauer: Entzifferte Geheimnisse. 2. erweiterte Auflage, Springer, 1997

Kanalkodierung

Digitale Übertragungssysteme Befreiung von redundanten Anteilen, sowie von Anteilen, die zu nicht wahrnehmbaren oder tolerierbaren Fehlern führen. Fügt z.b. Zusatzinformationen ein, die den Einfluß von Übertragungsfehlern vermindern. Quellcodierung Kanalcodierung Leitungscodierung Bildet das digitale Signal in eine für die Leitung gut geeignete Form ab (z.b. Taktrückgewinnung). Quelle Sender Kanal Empfänger Senke Störungen

Digitalisierung Mehrzahl der Quellensignale ist zeit- und wertkontinuierlich Übertragung erfolgt jedoch zunehmend digital Problem: Bei der Digitalisierung solcher Quellensignale ist prinzipiell nicht möglich, einen fehlerfrei durch ein diskretes Signal mit endlicher Binärstellenzahl darzustellen. Die Entropie wertkontinuierlicher Quellen ist also nicht endlich. Ein begrenzter Quantisierungsfehler ist aber u.a. auf Grund unvollkommener Sinnesorgane akzeptabel. Überführung einer kontinuierlichen Quelle in eine diskrete Quelle endlicher Entropie

Informationsfluß Beispiel: Gleichverteiltes, weißes, tiefpaßbegrenztes Quellensignal der Grenzfrequenz f g und der Leistung S Das Verhältnis zwischen Signalleistung und Quantisierungsfehlerleistung soll S / N q betragen, dann muß jeder Abtastwert mit k = 0,5 ld (S / N q ) bit codiert werden. s(t) T = 1 2 f g T 2T 3T Tastet man mit der Nyquist-Rate r = 2f g ab, dann ist der Informationsfluß dieser realen Quelle H* = r k = f g ld (S / N q ) bit / Zeiteinheit

Kanalkapazität In der Informationstheorie wird ein nicht idealer Übertragungskanal durch das statistisch definierte Maß der zeitbezogenen Kanalkapazität C* beschrieben. In der Informationstheorie wird ein nicht idealer Übertragungskanal durch das statistisch definierte Maß der zeitbezogenen Kanalkapazität C* beschrieben. Beispiel (binärer Kanal): Mit der Fehlerwahrscheinlichkeit P F ist die Kanalkapazität C* = 1 - H b (P F ) C(P F ) 1-P F 0 0 1- P F P F 1 1-P F 1 0 0,5 1 P F

Transinformationsgehalt Wechselseitige Information zwischen zwei Zufallsgrößen (Transinformationsgehalt): I N M ( x; y) = P( x ) i, y j i= 1 j= 1 ld ( ) j xi ( ) P y P y j = = N M i= 1 j= 1 ld N i= 1 ( x ) P( x ) P y j i ( x ) P y ( x ) P( x ) P y j j i i i i I(x;y) 0 falls x und y statistisch unabhängig sind, ist I(x;y)=0

Kanalkodierungstheorem Im Folgenden: Aufteilung des Eingangs-Bitstroms in k-tupel jedem k-tupel wird ein Codewort der Länge n > k zugeordnet Die Kanalkapazität sei definiert als C* = max I(x;y) P(x i ) Der Code hat die Rate r = k / n in bit pro Codesymbol Kanalcodierungstheorem für diskrete, gedächtnislose Kanäle: Es existiert ein Code (n,k), bei dem die mittlere Codewort- Fehlerwahrscheinlich P E n für n gegen null geht (P E n 0), wenn R < C gilt.

Kanalkapazität Wenn die Signale einer Quelle der Entropie H und der Rate r über einen Kanal derzeitbezogenen Kapazität C* übertragen werden, dann existiert ein geeignetes Codierungsverfahren so, daß für H* C* die Fehlerwahrscheinlichkeit beliebig klein ist. Die Kanalkapazität entspricht also des höchsten noch fehlerfrei übertragbaren Informationsflusses Übertragbarer Informationsfluß ist also abhängig von der Bandbreite f B, der Signalleistung S und der Quantisierungsfehlerleistung N (Rauschleistung) Bei einer Erhöhung der Übertragungsbandbreite f B kann ein schlechteres S / N in Kauf genommen werden. f B führt jedoch nicht zu einem beliebig kleinen S / N, da die Rauschleistung am Ausgang des Kanals ebenfalls mit der Bandbreite ansteigt.

Grenzfall der Kanalkapazität Beispiel: Kanalkapazität eines nicht bandbegrenzten, durch weißes Rauschen gestörten Kanals: C* = lim C* = lim f B ld ( 1 + S / (2f B N)) f B f B = ld (e) S / 2N = 0,72 S / N bit / Zeiteinheit Zur Übertragung mit der Rate C* ist eine Mindestleistung von S = C* N / 0,72 erforderlich. Bei einer Rate C* steht für die Übertragung eines Binärwertes im Mittel die Zeit T = 1 / C* zur Verfügung.

Shannon-Grenze Pro Binärwert ist eine Mindestenergie von E min = S T = S / C* = N / 0,72 Minimal erforderliches E / N - Verhältnis (E / N) min = 2 / ld (e) = 1,39 = 1,42 db Oberhalb dieser Grenze kann eine Übertragung fehlerfrei erfolgen, unterhalb steigt die Fehlerwahrscheinlichkeit rasant an. Praktisch angewandte Systeme erreichen eine deutlich schlechtere Eigenschaften. Erst neueste Entwicklungen nähern sich u.a. durch Hinzufügen fehlerkorrigierender Bestandteile der Shanon-Grenze an.

Shannon-Grenze BCH*-Code: 0,5 Fehlerabstand bei 1kBit/s Einfügen redundanter Zeichen Beispiel 92 Binärzeichen werden durch 35 redundante Zeichen geschützt, wodurch bis zu 5 fehlerhafte Zeichen sicher korrigiert werden können Fehlerwahrscheinlichkeit 10-2 10-4 10-6 10-8 10-10 10-12 * Bose-Chaudhuri-Hocqenghem-Code (zyklischer Blockcode) BCH- Code Shannon- Grenze bipolare Übertragung -4 0 5 10 15 20 25 E / N Unipolare Übertragung [db] 1 s 1 min 1 h 1 d (Tag) 1 a (Jahr)

Adaptive Anwendungen

Heterogene Netze digitales Telefonnetz (ISDN) Problem: Mobilfunknetz (UMTS) Sender sendet mit höherer Datenrate als der Empfänger verarbeiten kann Teilnetze sind überlastet Internet Backbone (z.b. ATM) Lösungsansatz: Adaptivität analoges Telefonnetz (PSTN) Sender erkennt Engpässe und konfiguriert aktuelle Sendekapazität dynamisch lokales Netzwerk oder Intranet (Ethernet)

Senderseitige Anpassung Empfänger-Feedback lokales Feedback Input Encoder Netzwerk Decoder Output Der Sender empfängt Feedback-Pakete vom Empfänger, um den Netzwerkzustand zu ermitteln Der Encoder des Senders wird für eine geeignete Ausgangsrate konfiguriert (lokales Feedback) Der Anpassungsprozess berechnet die aktuell gültige Sendekapazität anhand der Feedback- Informationen des Empfängers (z. B. Paketfehlerrate) Vorteile: Das Netzwerk kann ein Best effort -Netz sein (z. B. das heutige Internet). Nur Endanwendungen sind betroffen, aber z.b. keine Betriebssystemänderungen (d.h. Einführung und flächendeckender Einsatz wird erleichtert). Probleme: Die Anpassung benötigt eine gewisse Zeit; schlechtes Leistungsverhalten in diesem Zeitraum. Fairness bzgl. anderer Steuerungsalgorithmen (z.b. TCP Congestion Control) muss zusätzlich beachtet und realisiert werden.

Beispiel zur Senderanpassung: DAA Senderbasiertes Adaptionsverfahren: DAA (Direct Adjustment Algorithm) Parameter: min_rate (z.b. 150 kbit/s) max_rate (z.b. 2000 kbit/s) loss_threshold (z.b. 5 %) Additive Increase Fraction (AIF) (z.b. 50 kbit/s) R bzw. R n n = = R R n 1 n 1 ( 1 loss + loss _ threshold ) + AIF Berechnung im Abstand von 4-6 Sekunden ( zur Vermeidung von Resonanz ) If (reported_loss_ratio > loss_threshold) If (measured_output_rate > output_rate) output_rate = max(min_rate, measured_output_rate (1- reported_loss_ratio + loss_threshold)) else output_rate = max(min_rate, output_rate (1- reported_loss_ratio + loss_threshold)) else output_rate = min(max_rate,output_rate + AIF)

Datenratenanpassung und Fairness Quelle 1 Quelle 2 Quelle 3 Quelle 4 Router 100 Mbit/s 1.5 Mbit/s Empfänger 1 Empfänger 2 Empfänger 3 Empfänger 4 4 Video Sender / Empfänger Datenratenanpassung durch Quantisierung (konstante Bildrate) 1 Router (Senderate reduziert auf 1.5 Mbit/s) Sender verwenden das DAA Schema min_rate 228 kbit/s max_ rate 1,5 Mbit/s loss_threshold 5 % Additive Increase Fraction: 50 kbit/s Datenrate (kbit/s) 1600 1400 1200 1000 800 600 400 Quelle 3 Quelle 2 Source 2 Quelle 4 Verlustrate (%) 100 90 80 70 60 50 40 30 20 Quelle 1 Quelle 2 Quelle 3 Quelle 4 200 10 0 0 100 200 300 400 500 600 700 800 900 Zeit (s) 0 0 100 200 300 400 500 600 700 800 900 Zeit (s)

Bildqualität durch Quantisation QUANT = 1 QUANT = 31

Fehlerbehandlung Zeitliche Fehlerpropagierung: 1 2 3 4 5 1 2 3 4 5 Sender Empfänger Paketverlust Lösung: Full Intraframe Refresh bei Paketverlusten Die Empfängeranwendung überträgt ein Kontrollpaket zum Sender Der Sender codiert den nächsten Videoframe vollständig Darstellungsfehler 1 2 3 4 5 1 2 3 4 5 Sender Empfänger Paketverlust (erkannt anhand der RTP Sequenznummer) Kontrollpaket Nachteil: Hohe benötigte Kapazität durch Codierung eines vollständigen Bildes

Error Recovery: TT-Verfahren Verbesserung des Full Intraframe Refresh-Schemas: Das Timestamp-Verfahren; In der Vorlesung eingesetzt - entwickelt von Jens Meggers (RWTH/i4) Sender Erzeugt eine Tabelle mit 396 Einträgungen, welche die Zeitstempel der neuesten gesendeten Makroblöcke enthält. Bei Erhalt eines Kontrollpakets vom Empfänger können die beim Empfänger nicht angekommenen Makroblöcke identifiziert und im nächsten Bild zusätzlich eingefügt werden. Empfänger Baut eine entsprechende Tabelle für die von ihm empfangenen Makroblöcke auf. Wenn der Empfänger einen Fehler erkennt (anhand der RTP-Sequenznummer), überträgt er seine Tabelle in einem Kontrollpaket zum Sender. Sender stellt Makroblock (i,j) als beim Empfänger fehlerhaft fest, wenn gilt: r ij < s ij und s ij < max(r) Vorteil: Effiziente Fehlerkorrektur Nachteil: Aufwand für Kontrollpakete. Empfängermatrix R 64 64 64 64 64 64 64 64 71 71 64 64 64 64 71 71 82 64 64 71 82 82 96 101 64 64 82 93 96 101 64 64 93 94 94 101 Beispiel für Timestamp-Tabelle (sehr vereinfacht): 64 64 64 64 64 64 64 64 71 71 64 64 64 64 71 71 82 64 64 71 82 82 96 101 64 71 82 93 96 101 64 71 93 94 94 109 Sendermatrix S 64 64 64 64 64 64 64 64 71 71 64 64 64 64 71 71 82 64 64 71 82 82 96 101 64 71 71 93 96 109 64 71 93 94 109 109

Vergleich der Verfahren 1 2 3 4 5 6 7 ohne Fehlerbehebung Paketverlust 1 2 3 4 5 6 7 Full Intra Frame Refresh Paketverlust 1 2 3 4 5 6 7 Timestamp Table (TT-)Verfahren Paketverlust