Sparen mit Datenkompression

Ähnliche Dokumente
Algorithmus zur komprimierten Übertragung von Textdaten an mobile Endgeräte

Die Magie der großen Zahlen. Trotz hoher Taktraten schlechte Antwortzeiten wo liegen die Ursachen. Wolfgang Schau

Hauptdiplomklausur Informatik. September 1998: Rechnernetze

Abschlussklausur. Computernetze. 14. Februar Legen Sie bitte Ihren Lichtbildausweis und Ihren Studentenausweis bereit.

Dynamisches Huffman-Verfahren

Klausur Rechnernetze für Studierende des Studiengangs Scientific Programming und Auszubildende zum Beruf des Math.-Tech. Software-Entwicklers

SCHICHTENMODELLE IM NETZWERK

Aufbau und Wirkungsweise

D-Link s Super G mit Smart Antenna MIMO-Technologie

Vermaschte, drahtlose Sensornetzwerke für Grossanlagen

Thema: RNuA - Aufgaben

Eigenschaften von Kompressionsverfahren

Trellis Diagramme und Viterbi-Decoder

Datenübertragung. Kommunikationstechnik, SS 08, Prof. Dr. Stefan Brunthaler 33

Paketvermittlung (1/9)

Übungsblatt 4. (Router, Layer-3-Switch, Gateway) Aufgabe 2 (Kollisionsdomäne, Broadcast- Domäne)

WeOS SHDSL. Wie wird SHDSL richtig konfiguriert? WeOS SHDSL Seite 1 von 11 /.at /.ch -

Funktionselemente von Netzwerken

TCP Teil 2. TCP Teil 2: Tilmann Kuhn Betreuer: Dr. Thomas Fuhrmann 1/18

Übungsblatt 4. (Router, Layer-3-Switch, Gateway) Aufgabe 2 (Kollisionsdomäne, Broadcast- Domäne)

Übung 9. Tutorübung zu Grundlagen: Rechnernetze und Verteilte Systeme (Gruppen Mo-T1 / Di-T11 SS 2016) Dennis Fischer

Sicherungsschicht (Ethernet)

Die Mathematik in der CD

Seminarwochenende Oktober 2007 AutoLab

Kommunikation zwischen Mikrocontrollern

Grundlagen Rechnernetze und Verteilte Systeme IN0010, SoSe 2018

Übung 10. Tutorübung zu Grundlagen: Rechnernetze und Verteilte Systeme (Gruppen Mo-T2 / Fr-T1 SS2017)

2. Übung zur Vorlesung Rechnernetze 1, WS05/ (Abgabe am )

Firewall - Techniken & Architekturen

Der Backoff-Algorithmus

WLAN & Sicherheit IEEE

Ihr Partner für Software im Bereich CNC-Maschinen WLAN-DNC. NCP NC-Technik AG Burghaldenstr. 56 CH-5600 Lenzburg. Tel.

Programmierung mit NQC: Kommunikation zwischen zwei RCX

Eine verlustbehaftete Komprimierung ist es, wenn wir einige Kleidungsstücke zu

Routing. Was ist Routing?

Übungsklausur WS 13/14

SMAVIA Recording Server Version SP A

Im Vorlesungsskript (5) auf Seite 7 haben wir folgendes Bild:

Stufe IV. EDI-Software und Übertragungswege. Klaus Kaufmann, GS1 Germany, Juli 2016

Themen. Sicherungsschicht. Rahmenbildung. Häufig bereitgestellte Dienste. Fehlererkennung. Stefan Szalowski Rechnernetze Sicherungsschicht

LANCOM Techpaper Performance

Der CAN-Bus (Controller Area Network)

Digitale Medien. Übung zur Vorlesung. Vorlesung: Heinrich Hußmann Übung: Renate Häuslschmid

Datenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut

VERFASSER VERTEILER PROJEKT STICHWORT Reiner Weible Allgemein Profibus mit Bluetooth Profibus Bluetooth

ÜBUNGEN ZUR VORLESUNG PERFORMANCE VON KOMMUNIKATIONSSYSTEMEN

Aktives LAN Performance und Security

Übung zur Vorlesung. Digitale Medien. Vorlesung: Heinrich Hußmann Übung: Renate Häuslschmid, Hanna Schneider

Bildformate und Langzeitarchivierung. Lisa Rau

Systeme II. Christian Schindelhauer Sommersemester Vorlesung

Übungsblatt 8. Aufgabe 1 Datentransferrate und Latenz

Grundlagen und Definitionen

Kompressionsverfahren für Texte

Konfigurieren und Verwalten von Dateisystemen

Hauptdiplomklausur Informatik. September 2000: Rechnernetze

56K USB Einwahl und Fax Modem - V.92 - Extern - Hardwarebasierend

Industrielle Kommunikation / GPRS/UMTS/LTE / Fernwirksysteme / Steuerungen

Digitalisierung. analoges Signal PAM. Quantisierung

Praktikum BKSPP: Blatt 2

Wie muss der Eingabetext beschaffen sein, damit er sich gut komprimieren lässt?

Kommunikation im lokalen Netz

Huffman-Kodierung. Fachbereich Medieninformatik. Hochschule Harz. Huffman-Kodierung. Referat. Henner Wöhler. Abgabe:

Übungsblatt Warum brauchen Bridges und Layer-2-Switches keine physischen oder logischen

Vernetzte Systeme. Übungsstunde Adrian Schüpbach 30. Juni 2006

Grundlagen. Vortrag von. Veranstaltung. Rüdiger Busch. Rechnernetze 1

6. Komprimierung. (Text)komprimierung ist ein Wechsel der Repräsentation von Daten, so daß sie weniger

Digitale Medien. Vorlesung: Heinrich Hußmann Übung: Renate Häuslschmid. Übung zur Vorlesung

Computeranwendung in der Chemie Informatik für Chemiker(innen) 4. Netzwerke

Übungsblatt 5 - Musterlösung

Haifeng Liu Martin Seidel

Übung Rechnernetze, 3. Netztechnologie Teil1. 3.1: Ethernet

AK-Automatisierungs und Kommunikationstechnik TI Technische Informatik. NWT Netzwerktechnik

Serielle Schnittstellen

Arithmetisches Codieren

VoIP Messung. Voice-Readiness Test. Beschreibung

Betriebssysteme und Netze

Grundlagen der Technischen Informatik. 2. Übung

, Franz J. Hauck, Verteilte Systeme, Univ. Ulm, [2006w-MMK-C-VoIP.fm, ]

Eigenschaften von IP-Netzen (1 / 2)

Übersicht. Aktivitäten-Auswahl-Problem. Greedy Algorithmen. Aktivitäten-Auswahl-Problem. Aktivitäten-Auswahl-Problem. Datenstrukturen & Algorithmen

Lösung von Übungsblatt 10. (Router, Layer-3-Switch, Gateway)

Entwicklung eines intelligenten FlexRay-Sternkopplers Paul Milbredt, AUDI AG, , TU Darmstadt

Vernetzung und Kommunikation

Kapitel 7 End- zu End- Verzögerung

Systeme II 7. Woche Funkprobleme und Ethernet

Supervectoring: Alle Infos zum Super-DSL der Telekom

Netzwerke, Kapitel 3.1

Textkompression. Komprimierung von Daten. Runlength Komprimierung (2) Runlength Komprimierung (1) Herkömmliche Kodierung. Runlength Komprimierung (3)

Avamboo GmbH Avamboo Encrypt. SICHERE MIT Avamboo Encrypt. für Outlook 2010 / 2013 / Handbuch

Vernetzte Systeme Network Layer Vermittlungsschicht Schicht 3 Netzwerk Schicht

SO BEHERRSCHEN SIE IHR WLAN

Voraussetzungen für die Nutzung der Format Rechenzentrumslösung (ASP)

TCP. Transmission Control Protocol

16 - Kompressionsverfahren für Texte

Multicast-Kommunikation Teleseminar Wintersemester 1999/2000. MOSPF (Multicast Open Shortest Path First)

Schnelle Ladezeiten sind das A & O für eine gelungene Website

SMAVIA Recording Server Version SP C

3b: Telekommunikation

Transkript:

2.1 Daten Komprimierung V. Seite -1- Sparen mit Datenkompression In unserer national und international vernetzten Welt spielen Mietleitungen eine wichtige Rolle. Nicht zuletzt fallen sie als Budgetposten immer mehr ins Gewicht. Die Mietleitungskosten sind direkt abhängig von der Leistung (Übertragungskapazität) und der Leitungslänge. Gelingt es nun, mittels geeigneter Technologien, die benötigte Übertragungskapazität zu reduzieren ohne den Datendurchsatz zu beeinträchtigen, so können billigere Leitungen eingesetzt oder die bestehenden Leitungen bei gleichen Kosten besser ausgenützt werden. Im folgenden wird nur die Kompression für direkte, transparente Verbindungen erläutert. Datenkompression für die Datenübertragung auf öffentlichen Netzen, wie X.25, Frame Relay, ISDN, etc. wurde nicht berücksichtigt. Diese können jedoch mit ähnlichen Methoden beschleunigt werden. Effizienzsteigerung Verschiedene Faktoren beeinflussen direkt die Effizienz einer Datenübertragung. Will man die Leitungskosten reduzieren, müssen alle Faktoren angemessen berücksichtigt werden. Schlussendlich sollen über eine gegebene Leitung mit einer zusätzlichen Einrichtung netto mehr Daten übertragen werden können. Die daraus resultierenden Ersparnisse sollen eine rasche Amortisation der zusätzlichen Investitionen ermöglichen. Oft wird auch festgestellt, dass der Engpass nicht die Übertragungsleitung ist. Faktoren ausserhalb der eigentlichen Übertragung, z.b. ein langsames Applikationsprogramm, können für die Verzögerung verantwortlich sein. Der grösste Teil der Probleme bei zu langsamen Reaktionszeiten könnten durch geeignetere Programmierung der Datenbanken behoben werden. Wie z.b. Proxy-Server oder Datenbank Doppel die gegenseitig abgeglichen werden. Die Kompression allein ist wertlos, sofern nicht auch dazu die Verzögerungszeit, die Art der Komprimierung und der angewandte Algorithmus beachtet werden. Grosse Kompressionsfaktoren, die in Datenblättern angepriesen werden, sind mit äusserster Vorsicht zu betrachten. Messungen mit einer Ethernet Bridge eines bekannten Herstellers ergaben, dass die Kompressionsfaktoren über alles gemessen bei weitem nicht seinen Angaben entsprachen. Während die Bridge bei 9,6kbit/s noch einen Faktor 5 erbrachte, reduzierte sich der Faktor bei 64kbit/s auf 2. Bei 2Mbit/s benötigte das Gerät für die Kompression mehr Zeit als für die Übertragung ohne Komprimierung. Für die Messungen, die zu den Herstellerangaben führten, waren vermutlich ideale Bedingungen kreiert worden. D.h. Text-Daten lassen sich gut und gerne um den Faktor 1-2 komprimieren, jedoch Bild-Daten (die meist bereits in einem komprimierten Format vorliegen) erreichen nur eine sehr geringe Komprimierung von ca. 1.1! Kompression Die Datenkompression ist, wie der Begriff richtig ausdrückt, eine Verdichtung der Daten. Dabei sind Daten im heutigen Sinne als Bits und Bytes zu verstehen, deren Ursprung Daten sein können, aber nicht unbedingt sein müssen. Die Kompression basiert auf einem 8-Bit Byte. Übermittelt werden die Daten in Paketen, getrennt von Fullcharaktern (idle characters). Je nach Häufigkeit der auftretenden Charakter oder Sequenzen von Charaktern, teilt man ihnen einen Kurzcode zu. Damit reduziert sich die Anzahl Bits für dieselbe Information. Schon Samuel Morse hatte 1844 genau dieses Konzept angewandt. Je nach der Häufigkeit der Buchstaben verwendete Morse in seinem Code 1,2,3 oder 4 Zeichen. Die heute verwendeten Algorithmen sind meist eine Variante des in den 7er Jahren von Abraham Lempel und Jacob Ziv entwickelten Kompressions-Algorithmus. Der Lempel-Ziv Algorithmus erstellt eine Tabelle repetitiver Charakter und Sequenzen, denen ein kurzer Code mit fixer Länge, genannt Token, zugeteilt wird. Nur diese Token werden übertragen und auf der Empfängerseite, mit Hilfe derselben Tabelle, die ursprünglichen Daten wieder hergestellt. Soll die Datenkomprimierung effizient sein, muss diese Tabelle dynamisch, d.h. in regelmässigen Abständen den Daten angepasst werden. Dies bedingt jedoch, dass jede Änderung in der Tabelle der Empfängerseite mitgeteilt und damit auch übertragen wird. Je häufiger die Tabelle angepasst wird, desto öfter muss sie übertragen werden und desto mehr unproduktive Daten sind auf der Leitung. Auch die Länge der reduzierbaren Sequenzen hat einen direkten Einfluss auf die Effizienz der Komprimierung. Lange Sequenzen ergeben eine hohe Komprimierung, jedoch auch grosse Verzögerungen. Je länger die Sequenz

2.1 Daten Komprimierung V. Seite -2- desto grösser ist die Verarbeitungszeit, da die ganze Sequenz erst in den Speicher eingelesen werden muss bevor ein Token zugeteilt und gesendet werden kann. Ein positiver Nebeneffekt der Komprimierung ist eine einigermassen sichere Verschlüsselung der Daten. Da die Tabellen dynamisch verändert werden, benötigte man zum Entschlüsseln genau dasselbe Gerät in gleicher Konfiguration. Die fehlenden Standards helfen in diesem Fall der Sicherheit. Bereits sind schon Produkte auf dem Markt, die zusätzlich zur Komprimierung die Daten auch verschlüsseln.

2.1 Daten Komprimierung V. Seite -3- Komprimierungsarten Es gibt zwei verschiedene Komprimierungsarten, eine reine Software Lösung und eine mehr oder weniger auf Hardware basierende Technologie. Die reine Software Lösung ist genügend für Übertragungsgeschwindigkeiten bis max. 64kbit/s. Bei höheren Geschwindigkeiten wird die Verarbeitungszeit (latency) zu gross. Hardware Lösungen sind heute für Geschwindigkeiten von bis zu 8Mbit/s erhältlich. Es bleibt noch die Frage, ob ein spezielles Gerät für die Datenkompression oder eine in Bridge/Router integrierte Option eingesetzt werden soll. Bei der integrierten Variante ist noch zu unterscheiden, ob das ganze Paket oder auch nur die Daten ohne Rahmen (frame) komprimiert werden können. Wird das ganze Paket komprimiert, so ist der Einsatzbereich, wie für das spezielle Gerät, auf Punkt-zu-Punkt Anwendungen begrenzt. Werden nur Daten ohne Rahmen behandelt, hat das den Vorteil, dass die Routing-lnformationen in Klartext vorhanden sind. Die Pakete können so über mehrere Knoten gesendet werden, ohne dass eine Dekomprimierung stattfinden muss. Dieser Vorteil ist durch den Mangel eines Standards aber sehr minim, da er nur in einem homogenen Netzwerk zum tragen kommt. In homogenen Netzwerken müssen alle Knoten kompatibel und vom gleichen Hersteller sein. In heterogenen Netzwerken ist die Datenkompression auf Punkt-zu-Punkt Anwendungen limitiert. Generell kann festgestellt werden, dass eine integrierte Datenkompression wesentlich mehr Verarbeitungszeit benötigt als ein spezialisiertes Gerät. Der Grund ist, dass Mikroprozessor und Speicher primär für andere Aufgaben eingesetzt sind und dass meistens eine reine oder aber mindestens parzielle Softwarekomprimierung angewendet wird. Die auf Datenkompression spezialisierten Geräte verwenden die äusserst schnelle Hardwarekomprimierung. Dies bringt dafür den Nachteil von zusätzlichen Elementen in der Übertragungsstrecke. Ein kleiner, dank der Zuverlässigkeit der heutigen Technologien, fast vernachlässigbarer Nachteil. Ein weiterer zu beachtender Faktor ist die angewandte Methode der Fehlerkorrektur. Bei jeder Übertragung können Fehler entstehen. Eine spezielle Kontrolle erlaubt das Erkennen von Fehlübertragungen. Nach einem festgelegten Modus quittiert der Empfänger dem Sender den korrekten oder aber inkorrekten Erhalt der Daten. Bis zum Eingang dieser Quittung müssen die unkomprimierten Daten im Speicher bleiben um sie eventuell nochmals senden zu können. Je grösser die komprimierten Sequenzen sind und je mehr Datenpakete gesendet werden dürfen, bis eine Quittung abgewartet werden muss, desto mehr Zeit wird für die Korrektur verwendet und desto weniger Zeit steht für Nutzdaten zur Verfügung. Standards Bis heute bestehen keine Standards für die Datenkompression. Alle erhältlichen Systeme verwenden eine proprietäre Technologie. Unter dem Namen "Synchronous Data Compression Consortium" (SDCC) haben sich etwa zwei Dutzend, in der Datenkompression tätigen Firmen zusammengeschlossen. Das Ziel ist, sich erst auf einen standardisierten Algorithmus zu einigen. für später ist geplant, einen eigentlichen Standard zu erarbeiten der u.a. auch Fehlererkennung und Fehlerkorrektur enthalten soll. Bis zur Verabschiedung eines Datenkompressions-Standards können aber noch einige Jahre vergehen. Sparpotential Die Mietleitungskosten sind ein enormer Budgetposten. Die Grafik 1 zeigt die monatlichen Gebühren für eine Mietleitung von 2 km in der Schweiz und je eine Leitung in das benachbarte Ausland (angrenzende Staaten und BENELUX), in ein entferntes europäisches Land und nach Nordamerika, in Abhängigkeit der Übertragungsrate. Auffallend ist dabei der sprunghafte Anstieg der Kosten zwischen 128 kbit/s und 256 kbit/s. In dieser Grafik wurden für alle Auslandleitungen nur die Mietgebühren ohne lokalen Anschluss und ohne Anteile des Auslandes berücksichtigt. Die effektiven Kosten sind daher um einiges höher. Grafik 1

2.1 Daten Komprimierung V. Seite -4- Mietleitungskosten pro Monat Gebühren ohne Anschlussleitungen und Anteil des Auslands 5 3 2 1 64kBit/s 128kBit/s 256kBit/s 384kBit/s 512kBit/s 768kBit/s 124kBit/s 248kBit/s Übertragungsrate 1 km Schweiz 2 km Schweiz Angrenzende Länder Europ. Ausland Nord-Amerika Um die Rentabilität einer Installation von Kompressionsgeräten berechnen zu können, muss von einem minimalen Kompressionsfaktor ausgegangen werden. Unter Berücksichtigung der vorhin erklärten Faktoren und unter der Annahme des Einsatzes spezialisierter Geräte sowie unter Beachtung eines Sicherheitsfaktors, kann mit einer minimalen Kompression von Faktor 2 gerechnet werden. D.h., dass die Übertragungsraten mindestens halbiert werden können. Grafik 2 Mietleitung 2 km CH 128/256kBit/s Amortisation der Kosten der Datenkompression 8 7 5 3 2 km @ 128 k Leitung 2 km @ 256 k Leitung 2 km @ 128 k mit Kompression 2 1 1 2 3 4 5 6 7 8 9 1 11 12 Monate Grafik 3

2.1 Daten Komprimierung V. Seite -5-18 1 1 Mietleitung 1 km CH 124/248 kbit/s Amortisation der Kosten der Datenkompression 12 1 8 1 km @ 1M Leitung 1 km @ 2M Leitung 1 km @ 1M Leitung mit Kompression 2 1 2 3 4 5 6 7 8 9 1 11 12 Monate Die Auswirkung der reduzierten Übertragungsgeschwindigkeit auf die Mietleitungskosten zeigen für zwei Beispiele die Grafiken 2 und 3. Beide Beispiele betreffen Inlandleitungen. Einsparungen auf Auslandleitungen sind noch markanter. Die Grafik 2 hat zur Annahme eine 2 km Mietleitung, die von 256 kbit/s auf 128 kbit/s reduziert werden kann. Die Kosten für die Kompressionsgeräte, inklusive deren Installation von ca. Fr. 13.- sind innert 3 Monaten amortisiert. Danach bringt jeder Monat eine Ersparnis von ca. Fr. 3 9.-. Grafik 3 zeigt die Verhältnisse bei einer 1 km langen 2 Mbit/s Leitung die auf 1 Mbit/s reduziert wurde. Die Investitionen werden hier innerhalb von weniger als 1 Monaten amortisiert und nachher jeden Monat Einsparungen von ca. Fr. 3 5.- realisiert. Schlussbemerkung Das Sparpotential in der Datenkommunikation ist bei Mietleitungen sehr beachtenswert. Die Randbedingungen sind jedoch sorgfältig zu überprüfen. Unter Berücksichtigung aller Faktoren darf mit einer Halbierung der benötigten Übertragungsrate gerechnet werden. Sehr zu empfehlen ist ein Versuchsbetrieb bei dem die Übertragungszeiten definierter Daten mit und ohne Kompression gemessen werden. Bei der Verwendung von effizienten, externen Kompressionsgeräten beträgt die Amortisationszeit der Zusatzinvestitionen durch die Kostenreduktion in der Regel weniger als 12 Monate.