Übung 3. Tutorübung zu Grundlagen: Rechnernetze und Verteilte Systeme (Gruppen Mo-T2 / Fr-T1 SS2017)

Transkript

1 Übung 3 Tutorübung zu Grundlagen: Rechnernetze und Verteilte Systeme (Gruppen Mo-T2 / Fr-T SS27) Dennis Fischer dennis.fischer@tum.de Institut für Informatik Technische Universität München / /4 Abtastung Quantisierung Kanaleinflüsse Kanalkodierung

2 Fourierreihe Mithilfe einer Fourierreihe lassen sich periodische Signale als Summe aus gewichteten Sinus und Cosinus ausdrücken a 2 bezeichnet den Gleichanteil s(t) = a 2 + (a k cos(kωt) + b k sin(kωt)) () a k = 2 T b k = 2 T k= T T s(t) cos(k ωt)dt (2) s(t) sin(k ωt)dt (3) 5/7

3 Fourierreihe 2 e) y T T.5 T 2 T 2.5 T 3 T 3.5 T 4 T 4.5 T 5 T x 6/7

4 Fourierreihe 2 g) Fourierreihe und ersten beiden Harmonischen für s(t) = t T A 3 2 s(t) t /7 h h 2 a 2 a 2 + h + h 2

5 Abtastung, Rekonstruktion und Quantisierung Natürlich vorkommende Signale sind zeitkontinuierlich und wertkontinuierlich, d. h. sie nehmen zu unendlich vielen Zeitpunkten beliebige reelle Werte an. Problem für Computer: Endlicher Speicher Endliche Rechengenauigkeit Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -9

6 Abtastung, Rekonstruktion und Quantisierung Natürlich vorkommende Signale sind zeitkontinuierlich und wertkontinuierlich, d. h. sie nehmen zu unendlich vielen Zeitpunkten beliebige reelle Werte an. Problem für Computer: Endlicher Speicher Endliche Rechengenauigkeit Lösung: Diskretisierung von Signalen im Zeitbereich (Abtastung) und Wertbereich (Quantisierung). Ein zeit- und wertdiskretes Signal ist digital und wird in Wörtern fester Länge gespeichert. A Q Vergleiche: Nutzung von Fix- bzw. Gleitkommazahlen anstelle von reellen Zahlen entspricht einer Rundung (Quantisierung) auf eine endliche Anzahl diskreter Stufen. Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -9

7 Abtastung Das Signal s(t) wird mittels des Einheitsimpulses (Dirac-Impulses) δ[t] in äquidistanten Abständen T a (Abtastintervall) für n Z abgetastet: { t = nt a, ŝ(t) = s(t) δ[t nt a], mit δ[t nt a] = sonst. n= Da ŝ(t) nur zu den Zeitpunkten nt a für ganzzahlige n von Null verschieden ist, vereinbaren wir die Schreibweise ŝ[n] für zeitdiskrete aber wertkontinuierliche Signale. s(t) Zeit t [s] Abbildung 2: Zeitkontinuierliches Signal s(t) Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -2

8 Abtastung Das Signal s(t) wird mittels des Einheitsimpulses (Dirac-Impulses) δ[t] in äquidistanten Abständen T a (Abtastintervall) für n Z abgetastet: { t = nt a, ŝ(t) = s(t) δ[t nt a], mit δ[t nt a] = sonst. n= Da ŝ(t) nur zu den Zeitpunkten nt a für ganzzahlige n von Null verschieden ist, vereinbaren wir die Schreibweise ŝ[n] für zeitdiskrete aber wertkontinuierliche Signale..5 s(t) ŝ[n] Zeit t [s] Abbildung 2: Zeitkontinuierliches Signal s(t) und Abtastwerte ŝ[n] Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -2

9 Rekonstruktion Mittels der Abtastwerte ŝ[n] ist es möglich, das ursprüngliche Signal s(t) zu rekonstruieren: ( ) t nta s(t) ŝ[n] sinc. T a n= Abtastwerte sind Stützstellen und dienen als Gewichte für eine passende Ansatzfunktion (trigonometrische Interpolation, vgl. Polynominterpolation Numerisches Programmieren)..5 s(t) ŝ[n] Zeit t [s] Abbildung 3: Abtastwerte ŝ[n] Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -2

10 Rekonstruktion Mittels der Abtastwerte ŝ[n] ist es möglich, das ursprüngliche Signal s(t) zu rekonstruieren: ( ) t nta s(t) ŝ[n] sinc. T a n= Abtastwerte sind Stützstellen und dienen als Gewichte für eine passende Ansatzfunktion (trigonometrische Interpolation, vgl. Polynominterpolation Numerisches Programmieren)..5 s(t) ŝ[n] ŝ[6] sinc(t/3 6) Zeit t [s] Abbildung 3: Jeder Abtastwert ŝ[n] dient als Gewicht für die Ansatzfunktion zur Rekonstruktion. Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -2

11 Rekonstruktion Mittels der Abtastwerte ŝ[n] ist es möglich, das ursprüngliche Signal s(t) zu rekonstruieren: ( ) t nta s(t) ŝ[n] sinc. T a n= Abtastwerte sind Stützstellen und dienen als Gewichte für eine passende Ansatzfunktion (trigonometrische Interpolation, vgl. Polynominterpolation Numerisches Programmieren)..5 s(t) ŝ[n] Zeit t [s] Abbildung 3: Jeder Abtastwert ŝ[n] dient als Gewicht für die Ansatzfunktion zur Rekonstruktion. Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -2

12 Rekonstruktion Mittels der Abtastwerte ŝ[n] ist es möglich, das ursprüngliche Signal s(t) zu rekonstruieren: ( ) t nta s(t) ŝ[n] sinc. T a n= Abtastwerte sind Stützstellen und dienen als Gewichte für eine passende Ansatzfunktion (trigonometrische Interpolation, vgl. Polynominterpolation Numerisches Programmieren)..5 s(t) ŝ[n] 3 Stützstellen Zeit t [s] Abbildung 3: Die Summe der gewichteten Ansatzfunktionen nähert sich dem ursprünglichen Signal in Abhängigkeit der Anzahl der Summenglieder. Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -2

13 Rekonstruktion Mittels der Abtastwerte ŝ[n] ist es möglich, das ursprüngliche Signal s(t) zu rekonstruieren: ( ) t nta s(t) ŝ[n] sinc. T a n= Abtastwerte sind Stützstellen und dienen als Gewichte für eine passende Ansatzfunktion (trigonometrische Interpolation, vgl. Polynominterpolation Numerisches Programmieren)..5 s(t) 3 Stützstellen 7 Stützstellen Zeit t [s] Abbildung 3: Die Summe der gewichteten Ansatzfunktionen nähert sich dem ursprünglichen Signal in Abhängigkeit der Anzahl der Summenglieder. Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -2

14 Rekonstruktion Wann ist eine verlustfreie Rekonstruktion möglich? Die Multiplikation im Zeitbereich entspricht einer Faltung im Frequenzbereich: s(t) δ[t nt] S(f) δ[f n/t]. T Diese Faltung mit Einheitsimpulsen entspricht einer Verschiebung von S(f) entlang der Abszisse. Folglich entspricht die Abtastung des Signals s(t) in Abständen T a der periodischen Wiederholung seines Spektrums S(f) in Abständen von f a = /Ta. Beispiel: Abtastung eines auf B bandbegrenzten Signals s(t) mit der Abtastfrequenz f a = 3B: Signalamplitude s(t).5.5 Signalamplitude s(t) Zeit t [s] (a) Ursprüngliches Signal s(t) Frequenz f [Hz] (b) Zugehöriges Spektrum S(f) (schematisch) Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -22

15 Rekonstruktion Wann ist eine verlustfreie Rekonstruktion möglich? Die Multiplikation im Zeitbereich entspricht einer Faltung im Frequenzbereich: s(t) δ[t nt] S(f) δ[f n/t]. T Diese Faltung mit Einheitsimpulsen entspricht einer Verschiebung von S(f) entlang der Abszisse. Folglich entspricht die Abtastung des Signals s(t) in Abständen T a der periodischen Wiederholung seines Spektrums S(f) in Abständen von f a = /Ta. Beispiel: Abtastung eines auf B bandbegrenzten Signals s(t) mit der Abtastfrequenz f a = 3B: Signalamplitude s(t).5.5 Signalamplitude s(t) Zeit t [s] (a) Abgetastetes Signal ŝ[n] Frequenz f [Hz] (b) Zugehöriges Spektrum Ŝ(f) (schematisch) Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -22

16 Rekonstruktion Abtasttheorem von Shannon und Nyquist Ein auf f B bandbegrenztes Signal s(t) ist vollständig durch äquidistante Abtastwerte ŝ[n] beschrieben, sofern diese nicht weiter als T a /2B auseinander liegen. Die Abtastfrequenz, welche eine vollständige Signalrekonstruktion erlaubt, ist folglich durch nach unten beschränkt. f a > 2B Signalamplitude s(t).5 Ta Signalamplitude s(t) B Zeit t [s] (a) Abgetastetes Signal ŝ[n] Frequenz f [Hz] (b) Zugehöriges Spektrum Ŝ(f) (schematisch) Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -23

17 Rekonstruktion Abtasttheorem von Shannon und Nyquist Ein auf f B bandbegrenztes Signal s(t) ist vollständig durch äquidistante Abtastwerte ŝ[n] beschrieben, sofern diese nicht weiter als T a /2B auseinander liegen. Die Abtastfrequenz, welche eine vollständige Signalrekonstruktion erlaubt, ist folglich durch nach unten beschränkt. f a > 2B Signalamplitude s(t).5.5 Ta Signalamplitude s(t) B Aliasing Zeit t [s] (a) Abgetastetes Signal ŝ[n] Frequenz f [Hz] (b) Zugehöriges Spektrum Ŝ(f) (schematisch) Wählt man f a < 2B, so überlappen sich die periodischen Wiederholungen des Spektrums Diesen Effekt bezeichnet man als Aliasing Eine verlustfreie Rekonstruktion ist in diesem Fall nicht möglich Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -23

18 Quantisierung Die Abtastwerte ŝ[n] R sind noch kontinuierlich im Wertebereich und können i. A. nicht exakt gespeichert werden. Lösung: Quantisierung Die Unterscheidung von M = 2 N Signalstufen erfordert Codewörter von N bit Jeder Signalstufe wird dabei ein bestimmtes Codewort zugeordnet Die Signalstufen werden im Quantisierungsintervall I Q = [a,b] sinnvoll verteilt Was ist sinnvoll? Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -24

19 Quantisierung Die Abtastwerte ŝ[n] R sind noch kontinuierlich im Wertebereich und können i. A. nicht exakt gespeichert werden. Lösung: Quantisierung Die Unterscheidung von M = 2 N Signalstufen erfordert Codewörter von N bit Jeder Signalstufe wird dabei ein bestimmtes Codewort zugeordnet Die Signalstufen werden im Quantisierungsintervall I Q = [a,b] sinnvoll verteilt Was ist sinnvoll? Beispiel: Lineare Quantisierung mit mathematischem Runden Optimal, wenn alle Werte innerhalb I Q mit gleicher Wahrscheinlichkeit auftreten Stufenbreite = b a M Innerhalb I Q beträgt der maximale Quantisierungsfehler q max = /2 Signalwerte außerhalb I Q werden auf die größte bzw. kleinste Signalstufe abgebildet Außerhalb I Q ist der Quantisierungsfehler unbeschränkt b = a = 4 Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -24

20 Signaltypen (Übersicht) (a) Analog s(t) (b) Zeitdiskret und wertkontinuierlich ŝ[n] (c) Zeitkontinuierlich und wertdiskret s(t) (d) Digital s[n] Kapitel : Physikalische Schicht Abtastung, Rekonstruktion und Quantisierung -26

21 Quantisierung N: Länge der Codewörter in bit Anzahl an Signalstufen M = 2 N Stufenbreite / Schrittweite = b a M Maximaler Quantisierungsfehler q max = 2 2/4 Abtastung Quantisierung Kanaleinflüsse Kanalkodierung

22 Kanaleinflüsse Beispiel: Signalamplitude s(t) Zeit t Abbildung 4: Idealisiertes Sendesignal Kapitel : Physikalische Schicht Übertragungskanal -3

23 Kanaleinflüsse Beispiel: Signalamplitude s(t) Zeit t Abbildung 4: Sendesignal nach Dämpfung und Tiefpasseinflüssen durch den Kanal Kapitel : Physikalische Schicht Übertragungskanal -3

24 Kanaleinflüsse Beispiel: Signalamplitude s(t) Zeit t Abbildung 4: Sendesignal nach Dämpfung und Tiefpasseinflüssen durch den Kanal sowie mit AWGN Kapitel : Physikalische Schicht Übertragungskanal -3

25 Kanalkapazität Rauschfreier, M-ärer Kanal Angenommen es können nicht nur zwei sondern M = 2 N unterscheidbare Symbole übertragen werden. Wie ändert sich die erzielbare Datenrate? Wir erinnern uns an Quantisierung und Entropie: Mit einer Wortbreite von N bit lassen sich M = 2 N diskrete Signalstufen darstellen. Emittiert eine Quelle alle Zeichen (Signalstufen) mit der gleichen Wahrscheinlichkeit, so ist die Entropie (und damit die mittlere Information) der Quelle maximal. Folglich erhalten wir für die Übertragungsrate über einen Kanal der Bandbreite B die maximale Rate R max = 2B log 2 (M) bit. Hartleys Gesetz Auf einem Kanal der Bandbreite B mit M unterscheidbaren Signalstufen ist die Kanalkapazität durch nach oben begrenzt. C H = 2B log 2 (M) bit Interessant: Wenn wir beliebig viele Signalstufen voneinander unterscheiden könnten, wäre die erzielbare Datenrate unbegrenzt! Wo ist das Problem? Kapitel : Physikalische Schicht Übertragungskanal -33

26 Kanalkapazität Rauschen Rauschen macht es schwer, Signalstufen auseinanderzuhalten Je feiner die Signalstufen gewählt werden, desto schwieriger wird dies Signalamplitude s(t) Zeit t Maß für die Stärke des Rauschens: SNR = Signalleistung Rauschleistung = PS P N Das Signal to Noise Ratio (SNR) wird in db angegeben: Beispiel: P S = mw, P N =,5 mw SNR = log (,5 ) db 3, db SNR db = log (SNR) Kapitel : Physikalische Schicht Übertragungskanal -34

27 Kanalkapazität Shannon-Hartley-Theorem Auf einem Kanal der Bandbreite B mit additiven weißen Rauschen mit Rauschleistung P N und Signalleistung P S beträgt die obere Schranke für die erreichbare Datenrate C S = B log 2 ( + PS P N ) bit. Herleitung des Theorems: siehe Shannons Veröffentlichung Communication in the Presence of Noise von 949 []. Vergleich mit Hartleys Gesetz (aufschlussreich!): ( b a C H = 2B log 2 (M) = 2B log 2 Die Intervallgrenzen a,b beziehen sich hier auf das unquantisierte Signal Mit α = a + /2 und β = b /2 als minimale bzw. maximale quantisierte Signalamplitude erhalten wir C H = 2B log 2 ( β α + Wird () ausmultipliziert, kommt aber etwas anderes raus! ) = B log 2 (( ). + β α ) 2 ) C S berücksichtigt nur additives Rauschen des Kanals, aber keine Quantisierungsfehler.. () C H berücksichtigt nur die Signalstufen und damit das Quantisierungsrauschen, aber keine Kanaleinflüsse. Der fehlende gemischte Term, wenn man () ausmultipliziert und mit C S vergleicht, liegt in der Unabhängigkeitsannahme des Nutzsignals und des Rauschens begründet (E[xη] = E[x]E[η]). Der Quantisierungsfehler ist natürlich nicht unabhängig vom Eingangssignal aus diesem Grund lässt sich () nicht ohne Näherung in die selbe Form wie C S bringen. Kapitel : Physikalische Schicht Übertragungskanal -37

28 Kanalkapazität Zusammenfassung Die Kanalkapazität C ist durch zwei Faktoren beschränkt: Die Anzahl M der unterscheidbaren Symbole Selbst ein rauschfreier Kanal hilft nichts, wenn wir nur zwei Symbole nutzen (können). Signal-to-Noise Ratio (SNR) Ist das Signal-zu-Rausch-Verhältnis SNR zu gering, muss ggf. der Abstand zwischen den Signalstufen erhöht und damit die Anzahl unterscheidbarer Symbole verringert werden, um eine zuverlässige Unterscheidung gewährleisten zu können. Für die tatsächliche Kanalkapazität C gilt also folgende obere Schranke: C < min{c H,C S} = min {2B log 2 (M), B log 2 ( + SNR)} bit. Anmerkungen: Das ist nur ein Modell mit stark vereinfachenden Annahmen. Wie man einen Kanalcode mit genau der richtigen Menge Redundanz konstruieren kann, so dass C maximiert wird, ist ein offenes Problem der Informationstheorie. ( Challenge!) Wir sprechen hier von Datenraten im informationstheoretischen Sinn, d. h. die zu übertragenden Daten liegen redundanzfrei vor. Dies ist in praktischen Systemen nie gewährleistet: Nutzdaten werden vor dem Senden nicht zwangsläufig (und niemals optimal) komprimiert Zusätzlich zu den Nutzdaten werden Kontrollinformationen (Header) benötigt ( später) Die tatsächlich erzielbare Netto-Datenrate liegt unterhalb der informationstheoretischen Schranke. Kapitel : Physikalische Schicht Übertragungskanal -38

29 Hartley & Shannon B: Bandbreite M: Anzahl Signalstufen Kanalkapazität nach Hartley C H = 2 B log 2 (M) Kanalkapazität nach Shannon C S = B log 2 ( + SNR) Signal-to-Noise-Ratio SNR = P Signal P Noise Signal-to-Noise Ration in db SNRdB = log (SNR)dB 3/4 Abtastung Quantisierung Kanaleinflüsse Kanalkodierung

30 Quellenkodierung [4] Digitale Daten Codewörter Kanalwörter Basisbandimpulse Quellenkodierung Kanalkodierung Leitungskodierung Modulation Kanal Kanaldekodierung Quellendekodierung Detektion Demodulation Schicht 6/ Schicht Kapitel : Physikalische Schicht Nachrichtenübertragung -4

31 Quellenkodierung [4] Quellenkodierung (Source Coding) Ziel der Quellenkodierung ist es, druch Abbildung von Bitsequenzen auf Codewörter Redundanz aus den zu übertragenden Daten zu entfernen. Die entspricht einer verlustlosen Datenkompression entspricht. Die Quellenkodierung kann in unterschiedlichen Schichten des ISO/OSI-Modell vorkommen: Datenkompression kann auf der Darstellungsschicht (Schicht 6) stattfinden Daten können bereits in komprimierter Form vorliegen (verlustlos komprimierte Dateiformate, z. B. ZIP, PNG) Im Mobilfunkbereich (digitale Sprachübertragung) kann die Quellenkodierung einer niedrigen Schicht zugeordnet werden In lokalen Netzwerken (Ethernet, WLAN) findet i. d. R. keine Quellenkodierung statt Beispiele: Huffman-Code Lempel-Ziv / Lempel-Ziv-Welch (LZW) Run-Length-Enconding (RLE) In Kapitel 5 gehen wir auf den Huffman-Code ein Kapitel : Physikalische Schicht Nachrichtenübertragung -42

32 Kanalkodierung [4] Digitale Daten Codewörter Kanalwörter Basisbandimpulse Quellenkodierung Kanalkodierung Leitungskodierung Modulation Kanal Kanaldekodierung Quellendekodierung Detektion Demodulation Schicht 6/ Schicht Kapitel : Physikalische Schicht Nachrichtenübertragung -43

33 Kanalkodierung [4] Kein realisierbarer Übertragungskanal ist perfekt. Ein Maßstab dafür ist die Bitfehlerwahrscheinlichkeit p e: Bei Ethernet über Kupferkabel charakteristisch: p e 8 Bei WLAN charakteristisch: p e 6 oder mehr Bei ungesicherter Funkübertragung charakteristisch: p e 4 oder mehr Gedankenspiel: Ungesicherte Funkverbindung mit p e = 4, Fehler unabhängig und gleichverteilt Paketlänge L = 5 B = 2 bit Pr [ Kein Bitfehler im Paket ] = ( 4 ) 2 3 % 7 % der übertragenen Datenpakete würden mind. einen Bitfehler enthalten. Kanalkodierung (Channel Coding) Ziel der Kanalkodierung ist es, den zu übertragenden Daten gezielt Redundanz hinzuzufügen, so dass eine möglichst große Anzahl an Bitfehlern erkannt und korrigiert werden kann. Kapitel : Physikalische Schicht Nachrichtenübertragung -44

34 Kanalkodierung [4] Beispiel: Unkomprimiertes Bild (Bitmap) über einen verlustbehafteten Kanal versendet ohne Kanalkodierung mit Kanalkodierung Kapitel : Physikalische Schicht Nachrichtenübertragung -45

35 Kanalkodierung [4] Blockcodes Blockcodes unterteilen den Datenstrom in Blöcke der Länge k und übersetzen diese in Kanalwörter der Länge n > k wobei die zusätzlichen n k bit für Fehlererkennung und Rekonstruktion verwendet werden. k n x C x Das Verhältnis R = k wird als Coderate bezeichnet. n Kapitel : Physikalische Schicht Nachrichtenübertragung -47

36 Übung 3 Tutorübung zu Grundlagen: Rechnernetze und Verteilte Systeme (Gruppen Mo-T2 / Fr-T SS27) Dennis Fischer dennis.fischer@tum.de Institut für Informatik Technische Universität München / /4 Abtastung Quantisierung Kanaleinflüsse Kanalkodierung