Vorlesung Rechnernetze II

Transkript

1 Vorlesung Rechnernetze II Prof. Dr. Harald Richter Die Vervielfältigung oder Weitergabe des Skripts ist nur mit Genehmigung des Verfassers gestattet. Alle Rechte liegen beim Verfasser. 1 1 Einleitung und Überblick über Rechnernetze Hinweis: Das erste Kapitel ist für Studierende ohne Rechnernetze-Kenntnisse gedacht 1.1 Wichtige Definitionen Internet = miteinander gekoppelte, öffentliche Teilnetze, die zu einem weltumspannenden Netz verbunden sind Intranets = interne Netze von Firmen, Organisationen Behörden, Universitäten, Telekom-Unternehmen u.s.w. Intranets sind oft, aber nicht immer Teilnetze des Internet Intranets sind im inneren Aufbau und den verwendeten Protokollen oft zueinander inkompatibel Intranets werden durch sog. Gateway-Rechner und dem IP-Protokoll des Internet gekoppelt (IP = internet protocol) 1.2 Historie des Internet Ursprünglich wurde das Internet in den späten 1960er-Jahren für das US Department of Defense zur sicheren Kommunikation zwischen Atombunkern entwickelt Es wurde seit den frühen 1970er-Jahren von amerikanischen Behörden, Universitäten und Forschungseinrichtungen für verschiedene Dienste genutzt, wie z.b.: 2

2 Zugriff auf entfernte Dateien (FTP) Login auf entfernte Rechner (Remote Login, Telnet) Elektronische Post ( ) 1.3 Heutiger Stand Heutzutage wird das Internet hauptsächlich durch Dienste wie www und dominiert Alle Internet-Dienste und -Anwendungen beruhen auf Datenübertragung in Rechnernetzen Die Datenübertragung basiert auf Nachrichtenaustausch mittels Paketen 1.4 Segmentierung Längere Nachrichten werden in kleinere Pakete zerlegt und vom Internet in maximal 64 K Byte großen Portionen übertragen Beispielnachricht: Der Mond ist aufge gangen 1. Paket 2. Paket 3. Paket 4. Paket 5. Paket 3 Momentaufnahme des Transfers der Beispielnachricht Ziel Länge Inhalt B, 5, aufge Sender Rechner A Sendepuffer: gangen 4. Paket 4. Ack A, 2, OK Ziel Länge Inhalt Rechner B Empfangspuffer: Der Mond ist Empfänger 1.5 Datensicherung Pakete können durch Übertragungsfehler verfälscht werden Verwendung von Prüfsummen (CRC), um Fehler zu erkennen Im Fehlerfall werden Pakete durch das TCP-Protokoll automatisch wiederholt Pakete können verloren gehen 4

3 Für jedes empfangene Paket, das empfangen wurde und korrekt ist, wird eine Quittung zurückgeschickt (=Acknowledge, Ack) 1.6 Flusssteuerung Sender muss Pakete in dem Tempo an den Empfänger senden, das ihn nicht überfordert Flusssteuerung 1.7 Wegewahl (Routing) Der Datentransport bei Weitverkehrsnetzen verläuft über Zwischenknoten (Routern) Router B, 5, auf- C B, 4, Mond Sender A Sendepuffer: gangen B, 3, ist D A, 2, OK B Em= pfänger Empfangspuffer: Der Router 5 Die Wegewahl geschieht im Internet durch das IP-Protokoll Jedes Paket wird als autonome Einheit versendet Router müssen Pakete zwischenspeichern, um die Wegewahl vornehmen zu können = "store-and-forward"-prinzip 1.8 Ende-zu-Ende-Übertragung Pakete gehen bei IP unterschiedliche Wege von der Quelle zum Ziel Pakete können sich überholen TCP-Protokoll beim Empfänger muss Paketreihenfolge wiederherstellen Des weiteren leistet TCP u.a. eine Paketwiederholung von der Quelle zum Ziel 1.9 Das ISO-7-Schichten-Modell Die ISO (International Standardization Organization) hat die Aufgaben, die beim Transport von Daten zwischen Rechnern anfallen, in einem Schichtenmodell gegliedert Nur die ersten 4 Schichten sind in Teilen im Internet implementiert 6

4 Rechner A Partnerprotokoll = peer protocol Rechner B Application Presentation Session Transport Network Data Link Physical indirekte Kommunikation indirekte Kommunikation direkte Kommunikatiindirekte indirekte Kommunikation indirekte Kommunikation Anwendungsschicht Darstellungsschicht direkte Kommunikation Sitzungssteuerungsschicht Transportschicht Vermittlungsschicht Sicherungsschicht Bitübertragungsschicht Physikalisches Übertragungsmedium Jede Schicht erbringt einen speziellen Dienst für die darüberliegenden Schichten Sie bietet an ihrer Schnittstelle nach oben einen wohl definierten Funktionsumfang an Die Implementierung einer Schicht heißt Instanz Die Instanz einer Schicht auf einem Rechner kommuniziert nur mit einer Instanz derselben Schichthöhe 7 Instanzen gleicher Höhe auf verschiedenen Rechnern heißen peers (Partnerinstanzen) Die Kommunikationsregeln zwischen peers werden durch ein Protokoll festgelegt Für die Abwicklung des Protokolls greift jede Instanz auf die Funktionen der unmittelbar darunterliegenden Schicht zurück 7-stufige rekursive Aufrufreihenfolge von Unterprogrammen von Schicht 7 bis hinunter zu Schicht 1 Ausschnitt aus dem Schichtenmodell Rechner A Instanz von Schicht i Instanz von Schicht i-1 Protokoll i Protokoll i-1 Rechner B Instanz von Schicht i Instanz von Schicht i-1 Schicht i Schicht i Nur auf Ebene 1 werden tatsächlich Bits übertragen Die Ebenen 2-7 haben andere Aufgaben 8

5 1.10 Indirekte Kommunikation im ISO-Modell Daten werden innerhalb eines Rechners von Schicht zu Schicht transportiert Zwischen 2 Rechnern können Daten nur auf der Schicht 1 transportiert werden Kommunikation zwischen Instanzen höher als Schicht 1 werden indirekt (virtuell) abgewickelt Die indirekte Kommunikation wird mittels eines Protokolls zwischen Partnerinstanzen durchgeführt, so dass beide Partnerinstanzen sich verstehen können (Protokoll = gemeinsame Sprache) 1.11 Header und Trailer Von Schicht zu Schicht kommt ein Paket-Header und evtl. ein Paket-Trailer hinzu Einige der Nachrichtenköpfe (Header) bzw. Trailer können im Allgemeinfall auch leer sein Ist die zu übertragende Information zu lang, wird sie segmentiert 9 Sendeprozess Anwendungsprotokoll Anwendungsschicht Darstellungsschicht Sitzungsschicht Transportschicht Vermittlungsschicht Sicherungschicht Bitübertragungsschicht Darstellungsprotokoll Sitzungsprotokoll SH Transportprotokoll TH Verm. prot. NH DH PhH Daten PH Daten Daten Daten AH Daten Daten Daten DT PhT Anwendungsschicht Darstellungsschicht Sitzungsschicht Transportschicht Vermittlungsschicht Sicherungschicht Bitübertragungsschicht Empfängerprozess AH = application header PH = presentation header SH = session header TH = transport header NH = network header DH, DT = data link header/trailer PhH, PhT = physical link header/trailer Tatsächlicher Übertragungspfad Tatsächlich übertragene Bits 10

6 1.12 Beschreibung der Schichten im ISO-Modell Nachfolgend werden die einzelnen ISO-Schichten beschrieben Bitübertragungsschicht (Schicht 1) Übertragungsmedien: elektrische Kabel (Zweidrahtleitung, Koaxialkabel,...) elektromagnetische Wellen (Richtfunk, Satelliten, Mobilfunktelefonie,...) Glasfaser (Monomode-Faser, Multimode-Faser) Art der Übertragung: synchron oder asynchron zu einem Taktsignal bitseriell oder bitparallel unkodiert (rein binär) oder kodiert (Manchester-Code, differentieller Manchester-Code,...) Übertragungsverfahren: nicht moduliert (= Basisband ) moduliert (Frequenz-, Amplituden-, Phasen-Modulation) nicht gemultiplext gemultiplext (Zeitmultiplex, Frequenzmultiplex) Datenraten verschiedener Netz-Technologien Bei lokalen Netzen und Stadtnetzen (LANs und MANs) gibt es folgende Datenraten: 11 Ethernet 10/100/1000 Mbit/s, 10 GBit/s Token Ring 4/16 Mbit/s FDDI 100 Mbit/s Funk-LANs 0,2..50 Mbit/s, sog. WLANs (=Wireless LAN) Bei Weitverkehrsnetzen (Wide Area Networks, WANs) gibt es folgende Datenraten: Telefonnetz 56 kbit/s (über Modem) ISDN 64 kbit/s bzw. 128 kbit/s xdsl 1, Mbit/s (DSL = Digital Subscriber Line, x=a,s,...) Mobilfunk 64 kbit/s...7 Mbit/s Mietleitung vom Typ E1 von einer Telekomfirma: 2048 kbit/s SONET/SDH Mbit/s... 2, Gbit/s Sicherungsschicht (Schicht 2) Sicherungsschicht ist in zwei Subschichten 2a und 2b unterteilt: Logical Link Control (LLC) Medium Access Control (MAC) Schicht 2b Schicht 2a Sicherungsschicht Beispiel: Sicherungsschichtsprotokolle IEEE x für WLAN 12

7 Hinweis: (IEEE = Institute of Electrical and Electronics Engineers = Berufsverband, sehr aktiv im Bereich der Normung) Die LLC-Schicht ist für die eigentlichen ISO-Schicht-2-Aufgabe der Sicherung zuständig Die MAC-Schicht regelt nur den Zugang mehrerer Rechner zu einem gemeinsam genutzten Übertragungsmedium wie z.b. zu einem gemeinsamen Kabel oder Funkkanal MAC-Subschicht (Medium Access Control) Man unterscheidet zwischen kollisionsbehafteten und kollisionsfreien Protokollen 1.) Kollisionsbehaftete Protokolle Jeder Rechner überträgt Daten, ohne sich mit anderen abzusprechen Bsp.: Ethernet ohne Switch aber mit gemeinsamem Kabel Durch gleichzeitige Übertragung verschiedener Pakete kommt es zu Kollisionen Kollisionen resultieren in Paketverlusten Reduzierung der Paketverluste durch: Abhören des Mediums vor dem Senden, ob das Medium frei ist Zufallsgesteuerte Zeitverzögerung vor erneutem Paketsenden nach Auftreten einer Kollision (CSMA/CD) CSMA/CD heißt Carrier Sense For Multiple Access With Collision Detection 13 2.) Kollisionsfreie Protokolle Es gibt eine Sendeberechtigungsmarke (Token), die in einem ringförmigen Netz von Sender zu Sender weitergereicht wird Nur wer das Token besitzt, darf senden Da es nur ein Token gibt, ist der exklusive Medienzugriff gesichert Nach dem Senden eines Paketes muss das Token zum nächsten Nachbarn weitergereicht werden Beispiel: Token-Ring (4 bzw. 16 Mb/s), FDDI (Fiber Distributed Data Interface, 100 Mb/s) LLC-Subschicht Aufgaben von LLC (Logical Link Control): Portionierung des Bitstroms in Frames Anhängen einer Prüfsumme an die Daten (CRC, Cyclic Redundancy Check) Erneute Übertragung bei Fehler oder Verlust eines Pakets zwischen benachbarten Knoten Senden eines Quittungsrahmens durch den empfangenden Nachbarknoten, um fehlerhafte oder verlorene Pakete beim Sender anzuzeigen (= Acknowledge) Timeout zum Erkennen von Verlust von Quittungen zwischen benachbarten Knoten Flusssteuerung zwischen benachbarten Knoten = Bremsen des Senders zur Verhinderung von Pufferüberlauf beim Empfänger Vollduplex- oder Halbduplexbetrieb auf der Schicht 2 Vollduplex heißt: Sender und Empfänger können gleichzeitig senden 14

8 Beispiel Ethernet: keine Neuübertragung, kein Timeout, keine Flusssteuerung, Halfduplex Vermittlungsschicht (Schicht 3) Das Schicht-3-Protokoll im Internet ist IP (IP = Internet Protocol) Aufgaben: 1.) Segmentierung von Datenpaketen, die zu lang sind, in Schicht-2-Datenrahmen und zusammenbauen der Rahmen beim Empfänger 2.) Je nach der Verbindungsart: Verbindungslos (Datagram) Nachrichtenpakete enthalten Ziel- und Quelladresse Sie werden unabhängig voneinander durch das Netz geschickt, d.h. sie gehen unterschiedliche Wege Verbindungsorientiert Feste Verbindung vom Sender zum Empfänger, Pakete gehen stets denselben Weg 3.) Je nach dem Routing-Algorithmus: Wegewahl ist adaptiv/nicht adaptiv Adaptiv heißt, dass die Verkehrsbelastung der Zwischenknoten berücksichtigt und danach die Route ausgewählt wird Verbindung ist verklemmungsfrei oder nicht verklemmungsfrei (Deadlocks) 15 Verbindung nutzt gleichzeitig mehrere Pfade durch das Netz oder nicht (dient zur Bandbreiteerhöhung und Fehlertoleranz) 4.) Kopplung von Netzen verschiedener Betreiber 5.) Steuerung des Datenverkehrs bei Staus zur Vermeidung von überlasteten Zwischenknoten Transportschicht (Schicht 4) Beispiele für Transportprotokolle im Internet: TCP (transmission control protocol) und UDP (user datagram protocol) Bei verbindungsorientiertem Datenaustausch durch TCP wird eine feste Verbindung zwischen Sender und Empfänger über Zwischenknoten quer durch das Netz auf- und wieder abgebaut Aufgaben: große Datenmengen werden in transportierbare Pakete zerteilt Es gibt eine Rahmensegmentierung auf Schicht 3 und eine Paketsegmentierung auf Schicht 4 Adressierung einzelner Prozesse beim Empfänger durch eine Portnummer Bei verbindungsorientiertem Datenaustausch kommen als weitere Aufgaben hinzu: Wiederherstellen der Paketreihenfolge 16

9 Erneute Übertragung eines Pakets bei Fehler oder Verlust, nicht zwischen Nachbarknoten, sondern über alle Zwischenknoten hinweg quer durch das Netz Flusssteuerung erfolgt zwischen Sender und Empfänger (Ende zu Ende) Multiplexen bei verbindungsorientiertem Datenaustausch Multiplexen = Mehrfachnutzung ein- und derselben Verbindung, um Bandbreite effizient zu nützen Sitzungsschicht (Schicht 5) Synchronisierung bei Client/Server-Kommunikation bzgl.: Beginn einer Sitzung (login) und Ende (logout) Half Duplex/full Duplex auf Schicht 5 Automatisches Wiederaufsetzen einer gestörten Verbindung an der Stelle der Unterbrechung (Recovery) Schicht 5 gibt es nicht im Internet Schicht 5-Funktionalität wird von Schicht 7-Anwendungen nachgebildet Darstellungsschicht (Schicht 6) Aufgaben: Anpassung der unterschiedlichen Datenkodierungen und -Formate zwischen den Rechnern, z.b. EBCDIC <-> ASCII, ASCII <-> ISO-Code, <CR><LF> in <LF><CR>, u.s.w. 17 Anpassung der unterschiedlichen Zahlenrepräsentationen zwischen den Rechnern, z.b. 32-Bit-Integer in 64-Bit-Integer u.s.w. Datenverschlüsselung und Datenkompression Schicht 6 gibt es nicht im Internet Schicht 6-Funktionalität wird von Schicht 7-Anwendungen nachgebildet Schicht 7 kann im Internet nur auf den Funktionen der Transportschicht (Schicht 4) aufsetzen Anwendungsschicht (Schicht 7) Hier sind alle Internet-Anwendungen, sowie die meisten Internet-Dienste lokalisiert und die Funktionen der Schichten 5 und 6 in Form zahlreicher Einzellösungen angesiedelt Die Programmierschnittstelle (API) im Internet sind die Berkeley-Sockets bzw. die Win- Sockets der Schicht 4 Neben den 7 Schichten gemäß ISO gibt es noch sehr viele Protokolle und Anwendungen, die für den Betrieb des Internet notwendig sind, wie z.b. das Internet Control Message Protocol (ICMP) oder das Domain Name System (DNS) ICMP und DNS gehören in die Kategorie des Netzmanagements ICMP und DNS etc. können nicht in das ISO-7-Schichten-Modell einsortiert werden, da Netzmanagement dort nicht vorgesehen ist 18

10 Übersicht zu den Schichten und Protokollen im Internet Anwendung Transport Vermittlung Sicherung 2b (Logical Link Control Dateitransfer (ftp, Port 20, 21), Telnet (Port 23), (smtp, Port 25), DNS (Port 53), NFS, www (http, Port 80),... Transmission Control Protocol TCP, User Datagram Protocol UDP Internet Protokoll IP V4, IP V6 Internet Control Message Protocol ICMP Logical Link - Control (LLC) (theoretisch) SONET /SDH - Point to Point Protocol (PPP) E1/T1 FDDI DQDB Ethernet WLAN DSL Beispiel: Surfen im Internet über DSL-Modem 19 Verpacken einer web-seite Inhalt der web-seite Anwendungsdaten HTTP-Kopf HTTP-Inhalt Nachspann PPP- Frame TCP-Segment Sicherung 2a (Medienzugangssteuerung) Bitübertragung PPP- Kopf IP-Datagramm IP- Kopf TCP-Nutzdaten TCP- Kopf IP-Nutzdaten PPP-Nutzdaten Nutzdaten der Bitübertragungsebene Vorspann PPP = Point-to-Point Protocol = Protokoll der Sicherungsschicht IP = Internet Protocol = Protokoll der Vermittlungsschicht TCP = Transmission Control Protocol = Protokoll der Transportschicht HTTP = Hypertext Transport Protocol = Protokoll der Anwendungsschicht 20

11 2 Beschreibung der Darstellungsschicht (ISO-Schicht 6) Die ISO-Darstellungsschicht wird im Internet durch zahlreiche Einzellösungen in Form von Internet-Diensten und -Anwendungen nachgebildet Im folgenden wird die Funktion der Datenkompression anhand von Schicht-7-Anwendungen des Internet erläutert Dabei wird besonderer Wert auf die Kompression multimedialer Daten gelegt 2.1 Multimediale Daten Multimediale Daten spielen im Internet eine immer wichtigere Rolle Leider ist das Internet nicht für Multimediale Daten ausgelegt Multimedial heißt: mindestens ein zeitdiskretes und ein zeitkontinuierliches Medium wird für die Darstellung von Information benutzt. Beispiel Audio + Diagramme, Video + PP-Folien Zahl der gleichzeitig verwendeten Medien ist 2 Durch die Kombination von 2 Medien verschiedener Kategorien entsteht eine neue Art der Präsentation von Information Eine multimediale Präsentation ist interessanter, detaillierter und leichter nachvollziehbar 21 Die Kombination von zeitdiskreten mit zeitkontinuierlichen Medien erfordert eine zeitliche Synchronisation beider Medienarten bei der Übertragung und bei der Wiedergabe Die zeitliche Synchronisation bei der Übertragung wird durch Echtzeitprotokolle wie z.b. ATM erreicht, die es im Internet aber nicht gibt Die Erzeugung von Multimediadaten erfolgt mit Hilfe spezieller Anwendungen wie z.b. MS Power Point oder Adobe Director Aber: wie speichert und überträgt man effizient Multimediadaten im Internet? Eine erhebliche Erleichterung dieses Problems wird dadurch erzielt, dass man eine Kompression der Daten vornimmt 2.2 Kompression von Graphik/Bild/Video-Daten Für die Speicherung und Kompression von Graphik/Bild/Video-Daten gibt es eine Reihe von Formaten: PDF (Portable Document Format): für ganze Dokumente BMP (Bit Map Picture): für ein Bild, aber ohne Kompression! GIF (Graphics Interchange Format): für ein Bild, inkl. Metainformation JPEG (Joint Photographic Expert Group): für ein Bild (Photo) HTML (Hypertext Markup Language): für ganze web-seiten MPEG (Motion Picture Experts Group): für Video 22

12 MP3 (MPEG 1 Audio, Layer 3): für Audio Microsoft WAV (für Audio), AVI (für Audio and Video) SUN AU (für Audio), Apple Quicktime (für Video) Real Video, Real Audio Macromedia Flash (Vektorgraphik) VRML (Virtual Reality Modeling Language): für perspektivische Wiedergabe von 3D-Szenen Quicktime Virtual Reality: für perspektivische Wiedergabe von 3D-Szenen 2.3 Gliederung der Formate zur Datenspeicherung Es gibt firmenabhängige/standardisierte Formate sowie plattformabhängige/-unabhängige Formate Des weiteren gibt es komprimierte/unkomprimierte Formate sowie www-geeignete/ www-ungeeignete Formate Im folgenden werden wichtige Formate zur Datenkompression bei Speicherung und Datenübertragung betrachtet Datenkompression ist eine Aufgabe der ISO-Schicht 6 Da es diese im Internet nicht gibt, wird Kompression durch zahlreiche Formate zur Datenspeicherung und zahlreiche Internet-Anwendungen nachgebaut Prinzip der Kompression low delay uncompressed Multimedia Data Input intrinsic scalability compression high quality compressed Multimedia Data Output lower data rate after compression low complexity (e.g., ease of decoding) efficient implementation (e.g., memory requirements) 2.5 Grobgliederung der Kompressionsalgorithmen Kompressionsalgorithmen verlustfrei (lossless) verlustbehaftet (lossy) 24

13 2.6 Feingliederung der Kompressionsalgorithmen Nur verlustbehaftete Kompressionen liefern die nötigen Reduktionsraten für die effiziente Speicherung und den effizienten Transport von Multimedia-Daten (Raten > 10 notwendig). Kompressionsalgorithmen Entropie-Kodierungen Quellen-Kodierungen Kanal-Kodierungen Hybride Kodierungen Entropie-Kodierungen Immer verlustfrei. Beispiel: Lauflängenkodierung bei FAX. Semantik (Bedeutung) der Daten spielt für die Kompression keine Rolle Kompressionsraten Quellen-Kodierungen Je nach Verfahren und Parameterwahl verlustfrei oder verlustbehaftet. Beispiel: JPEG 25 Semantik der Daten ist für die verlustbehaftete Kompression wichtig Kompressionsraten 10 Beruht oft auf der Diskreten Cosinus Transformation + dem Wegglassen von Fourierkoeffizienten mit hoher Frequenz und kleiner Amplitude Es ändern sich durch Kompression nur die feinen Details eines Bildes von ganz scharf zu etwas weniger scharf, sofern die Rate nicht zu hoch gewählt ist Kanal-Kodierungen Verlustbehaftet. Beispiele: MP3-Player oder Subband-Kodierung Physiologische Wirkung der wiedergegebenen Daten auf Augen/Ohren ist für die Kompression wichtig Beispiel: leise Töne unmittelbar nach oder gleichzeitig mit lauten Tönen von ähnlicher Höhe kann das Ohr nicht wahrnehmen Sie können weggelassen werden Kompressionsraten Hybride Kodierungen Meistens verlustbehaftet. Beispiel: JPEG, MPEG Kombinationen aus den ersten drei Verfahren 26

14 Damit sind die höchsten Kompressionsraten erzielbar (bis ca. 100) 2.7 Verfahren der Entropie-Kodierung Entropie-Kodierungen Lauflängen- Kodierung Statistische Kodierungen Color-Lookup-Table- Kodierung Morse-Kode Huffman-Kode Ziv-Lempel-Kode Arithmetischer Kode Innerhalb der Entropie-Kodierung sind die Lauflängen-Kodierung und die Color-Lookup-Table-Kodierung bekannt Daneben gibt es noch die große Gruppe der statistische Kodierungen Verfahren der Quellen-Kodierung Quellen-Kodierungen Prädiktive Kodierung Transformations-Kodierungen Vektorquantisierung Diskrete Fouriertransformation Schnelle Fouriertransf. (FFT) Diskrete Cosinustransformat. Innerhalb der Quellen-Kodierung sind die Prädiktive Kodierung und die Vektorquantisierung bekannt Daneben gibt es noch die Gruppe der Transformations-Kodierungen 28

15 2.9 Verfahren der Kanal-Kodierung Kanal-Kodierungen Subsampling Als hybrid gelten alle Verfahren, die Entropie-, Quellen und Kanal-Kodierungen zusammennehmen Subband-Kodierung Innerhalb der Kanal-Kodierung gibt es das Subsampling und die Subband-Kodierung 2.10 Verfahren der hybriden Kodierung Hybride Kodierungen JPEG MPEG1, 2, 4, 7 H.261, Beschreibung der Entropie-Kodierungsverfahren Die wichtigsten Entropie-Kodierungsverfahren sind die Lauflängenkodierung, der Morsekode, die Huffman-Kodierung, die Variable Length Integer-Kodierung, die Lempel- Ziv-Kodierung, die Arithmetische Kodierung und die Color-Lookup-Table-Kodierung Lauflängenkodierung Die Voraussetzung für die Lauflängenkodierung (run-length-encoding) sind lange Sequenzen gleicher Zeichen Wird stets bei der Fax-Datenübertragung eingesetzt Jedes Zeichen, das mehrfach hintereinander kommt, wird nur einmal zusammen mit der Anzahl der Wiederholungen übertragen Die Anzahl der Wiederholungen wird als Metainformation in der Form Wiederholungsindikator und Anzahl übertragen Der Empfänger muss die Metainformation von den eigentlichen Daten unterscheiden können Dazu gibt es zwei Möglichkeiten: 1.) Der Wiederholungsindikator ist ein spezielles Steuerzeichen, das in den normalen Daten nicht vorkommt. Dadurch wird die Metainformation von den Daten unterschieden. 30

16 Nachteil: Ein solches Steuerzeichen ist nur bei Verwendung eines Codes möglich, der solche Zeichen überhaupt enthält, wie z.b. ASCII (American Standard Code for Information Interchange) 2.) Der Wiederholungsindikator ist eine Folge von normalen Zeichen (=Kennzeichnungsfolge) Nachteil: Das Vorkommen dieser Folge von normalen Zeichen muss vom Sender im normalen Datensatz z.b. durch Byte Stuffing verhindert werden. Dadurch wird der normale Datensatz vergrößert. Alternativ zu Byte Stuffing kann auch ein spezielles Steuerzeichen verwendet werden. Byte Stuffing heißt: Zwischen Sender und Empfänger wird eine Kennzeichnungsfolge vereinbart, z.b. 5 Mal hintereinander #FF Der Sender verhindert, dass in den normalen Daten diese Bytefolge übermittelt wird, indem er z.b. nach dem 4. aufeinanderfolgenden #FF in den Nutzdaten ein Füllbyte einfügt, wie z.b. #00 Der Empfänger kontrolliert, ob nach dem 4. #FF ein #00 kommt. Wenn ja, wird dieses aus den Nutzdaten wieder entfernt, um die Nutzdaten nicht zu verfälschen. Will der Sender die Kennzeichnungsfolge übertragen, erzeugt er 5 Mal hintereinander #FF Kommen beim Empfänger 5 Mal hintereinander #FF an, weiß er, dass es sich nicht um Nutzdaten handelt, sondern um die Kennzeichnungsfolge 31 Beispiel für die Verwendung eines Steuerzeichens als Wiederholungsindikator:... A B C E E E E E E D A C B A B C E <CNTRL M> 6 D A C B... Zeichen Anzahl ASCII-Steuerzeichen als Wiederholungsindikator Morsekode Zeichen werden im Morsekode als Kombination von Punkten und Strichen bzw. als Folgen von kurzen und langen Tönen codiert Die Punkt/Strich-Darstellung ist vordergründig äquivalent zu einem 0/1-Kode, allerdings gibt es beim Morsekode noch ein drittes Zeichen: die Pause zwischen Punkten bzw. Strichen Sender überträgt zeichenweise im Morsealphabet; der Empfänger dekodiert schritthaltend Der Empfänger kann den Beginn jedes Zeichens anhand der Pause erkennen 32

17 Die Häufigkeit der Buchstaben A-Z in der englischen Sprache wurde von Samuel Morse anhand von Zeitungsartikeln einmal ermittelt und in ein sog. Kodebuch eingetragen Das Kodebuch heißt Morsealphabet und ist Sender und Empfänger bekannt Vorteil des Morsekodes: der häufigste Buchstabe hat die kürzeste Kodierung, der seltenste die längste für die häufigen Buchstaben müssen weniger Punkte und Striche übertragen werden als für die seltenen (= zeitsparend) Huffman-Kodierung Mit dem Huffman-Kode sind ca. 40% Kompressionsrate erreichbar (verlustfrei!) Der Huffmann-Kode ist eine Spezialisierung des Morsekodes, bei der das dritte Zeichen (die Pause) wegfällt. Er eignet sich deshalb für eine digitale Übertragung mit Null und Eins. Die Voraussetzung für den Wegfall der Pause besteht darin, dass die Kodeworte präfixfrei sind Präfixfrei heißt, dass kein Kodewort zugleich den Anfang eines anderen Kodewortes bildet, d.h. kein Kodewort ist im Anfang eines anderen Kodewortes enthalten Die Kodeworte müssen deshalb präfixfrei sein, damit der Empfänger die Bits im empfangenen Bitstrom eindeutig jeweils einem Kodewort zuordnen kann Zur Erzielung der Präfixfreiheit muss für jeden zu übertragenden Datensatz die statistische Häufigkeitsverteilung (= wie oft kommt welches Zeichen vor) bestimmt werden 33 Mathematisches Hilfsmittel für Präfixfreiheit und Kodeworterzeugung ist der Entscheidungsbaum Definition Entscheidungsbaum Ein Entscheidungsbaum ist ein Binärbaum, bei dem die Kanten mit 0 oder 1 beschriftet sind Jeder Pfad von der Wurzel zu einem Blatt des Baumes stellt ein Kodewort dar Der Wert des Kodeworts ergibt sich aus der Aneinanderreihung der auf einem Pfad durchlaufenen Kantenbeschriftungen Beim Huffman-Entscheidungsbaum sind zusätzlich die Blätter des Baumes mit den zu kodierenden Zeichen beschriftet (= markiert ) Die inneren Knoten des Baums, also nicht die Wurzel oder die Blätter des Baumes, sind darüberhinaus mit der Häufigkeit des Auftretens der zu kodierenden Zeichen markiert, die im Teilbaum unterhalb des betrachteten Knotens liegen Die Häufigkeit des Auftretens ist eine rationale Zahl zwischen 0 und 1 und repräsentiert die Wahrscheinlichkeit des Vorkommens eines Zeichens im Datensatz Das Ziel ist wie beim Morse-Kode, dass der häufigste Buchstabe den kürzesten Kode erhält und der seltenste Buchstabe den längsten, und dass alle Kodeworte präfixfrei sind Der Pfad des häufigsten Buchstabens muss nahe unterhalb der Wurzel enden, und der Pfad des seltensten bis auf die tiefste Ebene des Baumes hinabreichen 34

18 Beide Pfade (kurz und lang) münden in einem Blatt Algorithmus der Huffman-Kodierung 1.) Zuerst werden senderseitig die im Datensatz verwendeten Zeichen ermittelt 2.) Danach wird die Häufigkeitsverteilung dieser Zeichen im Datensatz durch Abzählen bestimmt und daraus ein Entscheidungsbaum erstellt 3.) Dann wird mit Hilfe des Entscheidungsbaums ein Kodebuch erstellt 4.) Danach wird der Datensatz mit Hilfe des Kodebuchs kodiert und dadurch komprimiert 5.) Zur Dekodierung wird zuerst das Codebuch des Senders dem Empfänger mitgeteilt 6.) Dann werden die Kodeworte einzeln zum Empfänger übertragen 7.) Der Empfänger dekodiert schritthaltend mit dem Sender Kodewort für Kodewort anhand seines Kodebuchs und der Eigenschaft der Präfixfreiheit der Kodeworte Regeln zur Erstellung des Entscheidungsbaums 1.) Der Entscheidungsbaum wird rekursiv von den Blättern zur Wurzel aufgebaut 2.) Begonnen wird mit den beiden seltensten Zeichen. Sie dienen 2 benachbarten Blättern als Beschriftung ) Falls mehrere Zeichen gleich selten sind, entsteht eine Mehrdeutigkeit => es gibt >1 gleichwertige Entscheidungsbäume 4.) Die beiden seltensten Zeichen werden zu einem Teilbaum zusammengefasst und ihre summierte Häufigkeit an der Wurzel ihres Teilbaums als Knotenmarkierung notiert 5.) Die eine Kante des Teilbaums (z.b. immer die linke bzw. die untere) wird mit 0, die andere Kante wird mit 1 beschriftet 6.) Das Verfahren, zwei seltene Zeichen zu einem Teilbaum zusammenzufassen, wird mit den beiden dritt- und viertseltensten Zeichen bzw. der Wurzel eines Teilbaums fortgesetzt. D.h., es wiederholen sich in analoger Weise die Schritte 2)-5). 7.) Im weiteren werden jeweils solche Blätter oder Teilbäume zu übergeordneten Teilbäumen zusammengefasst, deren summierter Markierungswert an der gemeinsamen Wurzel am kleinsten ist. Dadurch wird erreicht, dass seltene Zeichen besonders lang kodiert werden. 8.) Der Prozess terminiert, sobald alle Zeichen eine Position als Blatt im Entscheidungsbaum erhalten haben, d.h. sobald alle Zeichen als Beschriftung der Blätter verwendet wurden Durch das beschriebene Verfahren wird sichergestellt, dass seltene Zeichen in lange Pfade übersetzt werden. Dies ist nach Voraussetzung erforderlich, um häufige Zeichen kurz kodieren zu können 36

19 Der Empfänger rekonstruiert anhand der erhaltenen Kodeworte eine Kopie des Entscheidungsbaums des Senders Der Empfänger durchläuft den Entscheidungsbaum entlang eines Pfades von der Wurzel zu einem Blatt Sobald er an einem Blatt ankommt, ist das Kodewort zu Ende. Der Empfänger weiß dadurch, wie viele Bits in einem Bitstrom zu einem Kodewort gehören. Da der Baum der einzige kreisfreie Graph unter allen ungerichteten Graphen ist, wird ferner erreicht, dass es für jedes Zeichen genau einen Pfad durch den Baum und damit genau ein Kodewort gibt Die Präfixfreiheit wird dadurch erzielt, dass an jeder Verzweigung, d.h. an jedem inneren Knoten, sich die beiden Alternativen durch je ein Bit unterscheiden und jeder Pfad an einem Blatt endet. Selbst wenn zwei Pfade den gleichen Anfang haben, unterscheiden Sie sich früher oder später voneinander. Der Code eines Zeichens ist also nie Teil eines anderen Zeichencodes. Sobald der Empfänger an einem Blatt angekommen ist, gehört das nächste Bit im Bitstrom zum nächsten Kodewort Beispiel: Datensatz, der zu kodieren ist: A B D C A A E D C. Im Datensatz verwendete Zeichen: A, B, C, D und E Häufigkeiten der Zeichen: p(a)=3/9, p(b)=1/9, p(c)=2/9, p(d)= 2/9, p(e)=1/9 37 Daraus resultiert der unten dargestellte, nicht eindeutige Entscheidungsbaum: Entscheidungsbaum 1 1 5/9 Wurzel 9/ / /9 0 Häufigkeit Zeichen => Kodewort 3/9 A 11 2/9 C 10 2/9 D 01 1/9 B 001 1/9 E 000 Man könnte auch die Blätter C und D zu einem Teilbaum zusammenfassen, da beides Mal 4/9 als Häufigkeit auftritt 38

20 Daraus resultierendes Kodebuch für die Kodierung von A B D C A A E D C: Kodebuch: Zeichen Kode A 11 B 001 C 10 D 01 E 000 A B D C A A E D C Übertragene Bits (= Datensatz-Kodierung) Variable Length Integer-Kodierung Ein wichtiger Variante der Huffman-Kodierung ist die nicht die Darstellung von Zeichen, sondern die von ganzen Zahlen über Bitstrings variabler Länge, die sog. Variable Length Integer Prinzip: kleine Zahlen sind im täglichen Leben häufiger als große => Sie sollten in weniger Bits kodiert werden Bsp.: Es sei in einem Beispiel-Datensatz die nachfolgende Häufigkeitsverteilung von ganzen Zahlen gegeben. Hinweis: Bemerkung: die angegebene Häufigkeitsverteilung ist durchaus realistisch 39 Zahlen Häufigkeitsklasse Zahl der Bits für die Anzahl der Fallunterscheidungen innerhalb einer Häufigkeitsklasse 0 am häufigsten 0 1 am zweithäufigsten 0 2,3 am dritthäufigsten 1 4,...,7 am vierthäufigsten 2 8,...,15 am fünfthäufigsten 3 16,...,31 am sechsthäufigsten 4 32,...,63 am siebthäufigsten 5 64,...,127 am achthäufigsten Um innerhalb einer gewählten Häufigkeitsklasse eine Zahl eindeutig zu klassifizieren, ist log 2 [Anzahl der Fallunterscheidungen] an Bits nötig Zusätzlich wird jede Häufigkeitsklasse mit einem Vorzeichenbit (VZ) versehen, um auch negative ganze Zahlen kodieren zu können 40

21 Um Kompression zu erzielen, müssen mehrere Variable-Length-Integer aus unterschiedlichen Häufigkeitsklassen im Originaltext existieren, sonst lohnt sich das Verfahren nicht Kleine Zahlen werden dann mit wenig Bits, große mit mehr Bits kodiert Zur Unterscheidung der einzelnenvariable-length-integer in einem Bitstrom ist die Angabe der Zahl der Bits notwendig, die man pro Variable Length Integer braucht Die Zahl der Bits pro Variable Length Integer gewinnt man aus der Datenstruktur, die eine Variable Length Integer definiert Diese Datenstruktur ist ein Tripel: 1.) Zahl der Bits, die für die Anzahl der Fallunterscheidungen nötig ist +1. Die Angabe erfolgt im Binärcode. Das Vorzeichen benötigt stets 1 Bit. 2.) Vorzeichenbit 3.) Anzahl der Fallunterscheidungen. Die Angabe erfolgt im Binärcode. Die Zahl der Bits in 1.) hängt ab von der Größe der größten vorkommenden Häufigkeitsklasse Die Zahl der Bits, aus denen Feld 1 des Tripels besteht, muss in jedem Datenstrom konstant und bekannt sein, damit der Empfänger den Beginn und Ende aller Datenstrukturen durch Abzählen eindeutig feststellen kann Beispiel: werden. Es sollen alle Zahlen zwischen +/-0,...,31 als Variable Length Integer kodiert 41 Lösung: Die oben angegebenen Zahlen bestehen aus folgenden Häufigkeitsklassen: 0, +/-1, +/-2, +/-3, +/-(4,...,7), +/-(8,...15), +/-(16,...,31), d.h. aus 13 Klassen Die größten aber auch seltensten Häufigkeitsklassen sind +/-(16,...,31) Zur Unterscheidung aller Zahlen in der größten Häufigkeitsklasse benötigt man 4 Bit. Hinzu kommt das VZ => Gesamtzahl der Bits = 5. Die Zahl 5 kann man binär mit 3 Bit kodieren. Für die Datenstrukturen der einzelnen Häufigkeitsklassen ergibt sich: Datenstruktur(16,...,31) = {101, 0, abcd} Datenstruktur(8,...,15) = {100, 0, abc} Datenstruktur(4,...,7) = {011, 0, ab} Datenstruktur(2,...,3) = {010, 0, a} Datenstruktur(1) = {001, 0} Datenstruktur(0) = {000} Negative Zahlen unterscheiden sich durch eine 1 im 2. Element Daraus ergibt sich für die Datenstruktur aller Variable Length Integer zwischen +/- (0,...,31): 1.) Feste Zahl von 3 Bit für die Angabe der Länge aus 2.) und 3.). Mögliche Werte sind 5,4,3,2,1,0. 2.) 0 oder 1 Bit für das VZ. 0 Bit, wenn Länge = 0. 3.) 0,1,2,3 oder 4 Bit für die Fallunterscheidungen innerhalb der Häufigkeitsklasse 42

22 Beispiel: Die Kodierung der Zahlen 0,1,-1, 4, und -21 aus dem Intervall -32,...-1,0,1,...,31 ist: Zahl Länge/VZ/Wert Zum Vergleich die 6- Bit Integer- Darstellung (=länger!) Lempel-Ziv-Kodierung Lempel-Ziv-Kodes stellen eine ganze Familie von Kodes dar, die sich mehr oder weniger voneinander unterscheiden Eine bestimmte Variante der Lempel-Ziv-Kodes wird für das Zip-Programm verwendet Lempel-Ziv berücksichtigt nicht nur die Häufigkeit einzelner Zeichen im Datensatz, sondern ganzer Zeichenketten höhere Kompressionsrate als bei Huffman, da ganze Strings mit einem Kodewort dargestellt werden 43 Besonderheit bei Lempel-Ziv: Ist der Datensatz vom Sender komplett eingelesen, sind zugleich alle Daten komprimiert (= kodiert schritthaltend mit dem Einlesen der Daten) Eine der bekanntesten Varianten der Lempel-Ziv-Familie ist Lempel-Ziv-Welch (LZW) LZW gewährleistet sowohl bei der Kompression als auch bei der Dekompression eine hohe Arbeitsgeschwindigkeit Der wesentliche Unterschied von LZW zu den anderen Lempel-Ziv-Varianten besteht darin, das nur Kodes und keine Zeichen ausgegeben werden Dies ist genau wie beim Huffman-Kode und setzt voraus, das zu Beginn der Kodierung/ Dekodierung für jedes im Eingabealphabet vorkommende Zeichen ein entsprechender Kode in einem Kodebuch existieren muss LZW arbeitet aber im Gegensatz zum Huffman-Kode über Präfixe (= Textstrings aus 0 u. 1) als Zwischenwerte und über die Verkettung von Textstrings miteinander (=String- Konkatenation) Präfix heißt, dass ein Kodewort zugleich den Anfang eines anderen Kodewortes bildet Arithmetische Kodierung Patentiertes Verfahren, d.h. kostenpflichtig Ähnlich wie Huffman-Kodierung, jedoch mit noch höherer Kompressionsrate als Huffman oder Lempel-Ziv Komprimiert ebenso wie Lempel-Ziv-Welch ganze Zeichenketten, berücksichtigt aber zusätzlich die Häufigkeit ihres Auftretens im Datensatz: ei z.b. ist häufiger als yw. 44

23 Es werden n-tupel von Zeichen aus dem Datenstrom mit je einem Kodewort kodiert; mit n = beliebig aber fest Die Kompression erfolgt dadurch, das die Bitrepräsentation des Kodeworts kürzer ist als die des n-tupels Das Kodewort des n-tupels wird indirekt über die Häufigkeit des n-tupels berechnet Dazu werden die Häufigkeiten aller n-tupel als Längen auf einem Zahlenstrahl nacheinander aufgetragen, z.b. für n= 4 beginnend mit dem 4-Tupel aaaa und endend mit zzzz Häufige n-tupel haben eine größere Länge auf dem Zahlenstrahl als seltene Dann wird der Zahlenstrahl auf das Intervall [0,1] skaliert Jedes n-tupel überdeckt ein Teilintervall aus [0,1] Alle Teilintervalle werden mit einem im Prinzip beliebigen Wert aus dem jeweiligen Teilintervall kodiert Dieser Wert ist eine rationale Zahl, die im Rechner als REAL z.b. gemäß IEEE 754 (=Zahlendarstellung im Rechner) repräsentiert wird. Daher der Name arithmetische Kodierung. Die Kompression erfolgt dadurch, dass der Codewert so gewählt wird, dass dessen Bitzahl kleiner ist als die Bits des n-tupels, das er repräsentiert Der Wert ist das Kodewort des n-tupels 45 Da es oft im jeweiligen Teilintervall mindestens eine rationale Zahl gibt, die im gewählten Zahlenformat der Gleitkomma-Zahl nach nur wenigen Bits der Mantisse mit Nullen weitergeht, kann man sich diese Nullen sparen. Sie können weggelassen werden. Da häufige n-tupel ein größeres Teilintervall haben, ist für sie die Wahrscheinlichkeit, eine solche Gleitkomma-Zahl mit besonders wenigen Mantisse-Bits zu finden, höher als für seltene n-tupel Häufige n-tupel werden im Mittel kürzer kodiert als seltene Dadurch wird komprimiert Color-Lookup-Table-Kodierung Bildschirme verwenden zur Farbdarstellung oft 3 Byte pro Pixel => 16 M Farben In einem einzigen Bild sind aber nicht alle 16 M Farben gleichzeitig vertreten, sondern in der Regel viel weniger Hinzu kommt, dass das Auge nur max. 8 Mio. Farben also ca. 50% von 16 M unterscheiden kann Anlegen einer Farbzuordnungstabelle (= Kodebuch) Beispiel: in einem Bild seien nur 200 verschiedene Farben verwendet, der Bildschirm benötigt jedoch 3 Byte pro Pixel zur Ansteuerung 46

24 Es wird eine Tabelle mit 200 Einträgen zu je 3 Byte aufgebaut. Jeder Eintrag kodiert eine andere im Bild verwendete Farbe Anstelle der 3 Byte Farbinformation pro Pixel wird nur ein 1 Byte als Index für die Farbzuordnungstabelle abgespeichert (mit 1 Byte kann man bis zu 256 Einträge in der Farbzuordnungstabelle adressieren) 2.12 Beschreibung der Quellen-Kodierungsverfahren Bekannte Quellen-Kodierungsverfahren sind die Prädiktive Kodierung und die Vektorquantisierung Daneben gibt es noch die Gruppe der Transformationskodierungen Prädiktive Kodierung Es wird bei der prädiktiven Kodierung ein Vorhersager (Prädiktor) benutzt, der das jeweils nächste Zeichen im Datenstrom anhand der Zeichen, die in der Vergangenheit gesendet wurden, schätzt (= Extrapolation) Kodierer/Dekodierer bzw. Sender/Empfänger benutzen denselben Prädiktor Es wird nur der Fehler, d.h. die Differenz zum jeweils vorhergesagten Wert übertragen Wenn sich im Datenstrom nur wenig ändert, bzw. wenn der Prädiktor gut ist, ist die Abweichung vom Schätzwert klein (= geringe Differenz) 47 Kompression wird dadurch erreicht, das die Abweichungen vom Schätzwert i.a. in weniger Bits kodiert werden können als die Absolutwerte Transformationskodierung Innerhalb der Transformationskodierungen sind die DFT, FFT und DCT die wichtigsten Verfahren Diskrete Fouriertransformation (DFT) Die DFT ist eine Variante der klassischen Fouriertransformation (FT). Die FT ist für zeitkontinuierliche, periodische Funktionen definiert. Die DFT hingegen kann auf zeitdiskrete Funktionen angewandt werden, d.h. auf Zahlenwerte, die in einem Rechner abgespeichert werden können Die zeitdiskreten Funktionen werden als periodisch angenommen Die Periodizität stellt eine Idealisierung der Wirklichkeit dar, ist aber wichtig für das Weiterrechnen Die DFT transformiert wie die FT Funktionen (= Signale) in eine Summe von Sinusschwingungen unterschiedlicher Frequenz, Phase und Amplitude Diese Frequenzen heissen Spektrum des Signals und bestehen aus Grundwelle und Oberwellen 48

25 Die Frequenzen bei FT und DFT sind auf einer x-achse, auf der man sie auftragen kann, in stets gleichen Abständen angeordnet, haben aber i.a. unterschiedliche Höhe (Amplitude) Jeder Amplitudenwert einer Frequenz auf der x-achse heißt Fourierkoeffizient Aufgrund dessen, dass die zu transformierenden Signale im Zeitbereich als periodisch angenommen werden, ergeben sich diskrete Werte mit konstantem Abstand im Spektrum Diskrete Frequenzwerte sind die Voraussetzung für die Berechnung derselben im Computer Mathematischer Hintergrund der DFT Eine periodische Funktion f wird als Linearkombination von i.a. unendlich vielen sog. Basisfunktionen dargestellt Basisfunktionen sind bei der Fouriertransformation sin(nx)- und cos(mx)-funktionen (n, m N 0 ), Sinus- und Cosinus-Schwingungen sind in einem Funktionenraum zueinander orthogonal Der Funktionenraum heißt Fourierraum Linearkombination heißt, dass die diversen Schwingungen gewichtet, d.h. mit unterschiedlicher Amplitude und Phase addiert werden Die Gewichtungsfaktoren der Basisfunktionen repräsentieren eindeutig die Funktion f Die Gewichtungsfaktoren heißen Fourierkoeffizienten und werden mittels der sog. Fourier-Hintransformation bestimmt 49 Die Gewichtungsfaktoren sind komplexe Zahlen und enthalten die Amplitude und Phase ihrer Basisfunktion (= Sinus-Schwingung) als Information Die Gewichtungsfaktoren erscheinen auf der Frequenzachse in festen Abständen Sie bilden im Fourierraum eine Funktion F, die umkehrbar eindeutig mit f korreliert Die Fourier-Rücktransformation ist die inverse Operation der Hintransformation und rekonstruiert aus den Gewichtungsfaktoren F wieder die Originalfunktion f Die Fourier-Rücktransformation ist eine Linearkombination aus Sinus- und Cosinus- Schwingungen verschiedener Amplitude, Phase und Frequenz Hin- und Rücktransformation sind bis auf ein Minus-Zeichen mathematisch identisch In der Praxis beschränkt man sich auf die Transformation periodischer Signale, die zusätzlich im Fourierraum bandbegrenzt sind, da sonst das sog. Abtasttheorem, das analoge Signale digitalisiert, verletzt werden würde bei Bandbegrenzung im Eingangssignal werden nur endlich viele Koeffizienten benötigt Fouriertransformation ist bei Beachtung der Bandbegrenzung und der Periodizität verlustfrei Verlustbehaftete Kompression entsteht durch Weglassen hoher Frequenzanteile mit kleiner Amplitude; diese Anteile tragen nur wenig zum generellen Signalverlauf bei Schnelle Sinus-Schwingungen mit kleiner Amplitude sind weniger wichtig 50

26 D-DFT für Bilder Wird die Fouriertransformation nicht auf 1-dimensionale Signale wie z.b. Audio-Signale, sondern auf 2-D Bilder angewandt, erhält man Fourierkoeffizienten im 2-dimensionalen Fourierraum Jeder Koeffizient repräsentiert dabei die Amplitude und Phase einer Welle bestimmter Frequenz, die sich in einer 2-D Ebene ausbreitet, der sog. Bildebene Die Sinus-Schwingungen (= Wellen) sind bei Schwarz/Weiß-Bildern als ansteigende und abklingende Hell/Dunkel-Verläufe in der Ebene sichtbar Der Helligkeitswert entspricht dabei der Höhe der Sinus-Schwingung, die wiederum von einem Fourierkoeffizienten im Rechner repräsentiert wird Farbbilder sind die Summe der Helligkeitsverläufe der 3 Grundfarben Rot, Grün u. Blau An jeder Stelle (x y) der Bildebene überlagern sich die Wellen des Spektrums zur Helligkeit bzw. zur Farbe des Bildes an dieser Stelle Der Fourierkoeffizient mit der Frequenz F 0 =0 hat eine besondere Bedeutung: F 0 =0 repräsentiert den sog. Gleichanteil des Signals Der Gleichanteil des Signals ist der Mittelwert über alle Amplitudenwerte Daneben gibt es noch die sog. Grundfrequenz F 1 >0, die den Abstand der Fourierkoeffizienten auf der x-achse (dem Fourierraum) festlegt F 1 wird benötigt, um die Großes des Speichers im Rechner zur Abspeicherung der Fourierkoeffizienten zu ermitteln 51 Niedrige Grundfrequenz bedeutet ein feines Raster im Fourierraum, d.h. viel Speicher Ein Koeffizient i mit F i >0 repräsentiert Phase und Amplitude einer Welle mit der Frequenz i*grundfrequenz F 1 Es gilt: Wenn es ein feines Raster und hohe Frequenzen im Fourierraum gibt, dann gibt es hohe Auflösung im Ortsraum, d.h. scharfes Bild, aber viel Speicherverbrauch Schnelle Fouriertransformation (FFT) Die FFT ist ein sehr effizientes numerisches Verfahren zur Berechnung der 1D oder 2D- DFT, das es schon seit den 1960er Jahren gibt Die Zeitkomplexität zur Berechnung der DFT wird durch die FFT dramatisch von O(n 2 ) auf O(nlogn) verringert (bei 1D-DFT) Bei der 2D-FFT ist der Gewinn noch größer Die FFT wird in Technik und Wissenschaft sehr oft eingesetzt Die DFT/FFT ist bei Beachtung des sog. Abtasttheorems, der Bandbegrenzung und der Periodizität eine verlustfreie Transformation 52

27 Diskrete Cosinustransformation (DCT) Die DCT ist ein Spezialfall der diskreten Fouriertransformation DFT und kann über das Verfahren der FFT numerisch effizient berechnet werden, sofern bestimmte Voraussetzungen erfüllt sind: Es sei die zu transformierende Funktion f periodisch und spiegelsymmetrisch zur y-achse (= gerade) und bandbegrenzt Da solche Funktionen in der Praxis fast nie vorkommen, tut man so als ob, um Weiterrechnen zu können Das zu transformierende Signal bzw. der zu kodierende Datenstrom wird als periodisch, gerade und bandbegrenzt angenommen Bei Annahme dieser Voraussetzungen ist die DCT anwendbar und verlustfrei Datenkompression erfolgt durch Weglassen von Fourierkoeffizienten hoher Frequenzen mit kleiner Amplitude (= verlustbehaftet) Vorteile der diskreten Cosinustransformation gegenüber der DFT/FFT: Nur reelle Koeffizienten, d.h. keine komplexen Zahlen im Computer notwendig Nur cosinus(mx)-funktionen als Basisfunktionen, keine sinus-funktionen Hin- und Rücktransformationen sind reell (keine Arithmetik mit komplexen Zahlen nötig) Bei JPEG und MPEG wird die diskrete Cosinustransformation eingesetzt Vektorquantisierung Wird speziell zur Bildkompression verwendet Bild wird in kleine quadratische oder rechteckige Blöcke gleicher Größe aufgeteilt Jeder Block erhält eine Kennzeichnungs-Nummer Das Kodebuch besteht aus der Menge verschiedener Blöcke des Bildes und deren Nummern Anstelle des Bildes wird zuerst das Kodebuch und dann die Nummern übertragen, aus denen sich das Bild zusammensetzt Eine Kompression erfolgt genau dann, wenn mehrfach derselbe Block im Bild vorkommen, da ab dem zweiten gleichen Block nur noch dessen Nummer übertragen werden muss Die Nummer des Blocks wird etwas hochtrabend als Vektor bezeichnet 2.13 Beschreibung der Kanal-Kodierungsverfahren Die Kanal-Kodierungsverfahren beruhen darauf, dass man entweder die Pixel eines Bildes zu größeren zusammenfasst oder dass man das Spektrum von Tönen in einzelne Bereiche unterteilt, die getrennt komprimiert werden Farb-Subsampling Beruht darauf, dass das Auge sehr feine Farbverläufe schlechter auflösen kann als gröbere 54

28 sehr nah benachbarte Pixel mit ähnlicher Farbe brauchen nicht individuell abgespeichert werden, sondern können gemittelt als ein einziger Wert gespeichert werden Üblich sind Mittelungen über je zwei eng benachbarte Pixel, entweder in x oder y-richtung oder in beide Richtungen (=Mittelwert aus 2x2 Pixelblock) Die Mittelung im Ortsraum wirkt wie eine sog. Tiefpassfilterung im Frequenzbereich Dadurch werden die Fourierkoeffizienten mit hoher Frequenz abgeschnitten => Kompression durch Weglassen hoher Frequenzen Subband-Kodierung 2D-Bild oder 1D-Tonsignal wird fouriertransformiert und das Spektrum in einzelne Teilbereiche aufgeteilt, die als Teilbänder (Subbänder) bezeichnet werden Jedes Subband wird getrennt komprimiert => Subband-Kodierung Die Subbänder, bei denen Fourierkoeffizienten mit geringer Amplitude und hoher Frequenz vorkommen, werden stärker verlustbehaftet komprimiert als die Bänder mit hoher Amplitude und niedriger Frequenz Der größte Informationsverlust tritt da auf, wo er am wenigsten dem Auge auffällt 55 3 JPEG (= Hybride Kodierung) Aufgrund der vorangegangenen Kapitel sind jetzt alle Grundlagen vorhanden, um JPEG verstehen zu können JPEG ist ein sehr gutes Kompressionsverfahren für Farbbilder mit kontinuierlichem Farbverlauf JPEG wurde 1993 von der Joint Photographic Expert Group (=Untergruppe der ISO) standardisiert Komprimiert jeweils 1 Bild Ist der Standard bei Kameras und im www Für Zeichnungen, Liniengraphiken oder Texte weniger geeignet, da dort der Farbverlauf springt Ebenfalls weniger geeignet für Bilder mit hohen Kontrasten oder hohem Detailreichtum Basiert auf der Kombination der zuvor erläuterten Kompressionsalgorithmen (Discrete Cosinustransformation + Huffman +...) Erlaubt verlustfreie Kompression (bis 3:1) und verlustbehaftete Kompression (bis ca. 40:1) Die Rate bei verlustbehafteter Kompression ist frei einstellbar Bildqualität kann beliebig zwischen gut und schlecht gewählt werden 56

29 Zusammenhang zwischen Kompressionsrate und Bildqualität: Rate Bildqualität 5 wie Original 10 sehr gut 20 gut 30 befriedigend Sehr allgemeines Kompressionsschema, da unabhängig von: Bildauflösung, Bildseitenverhältnis und Pixelgröße Farbrepräsentation, d.h. wie Farbe im Rechner codiert wird Bildkomplexität und statistischen Eigenschaften des Bildes Standardisiertes Austauschformat der codierten Daten vorhanden (=.jpg-dateien) Implementierung des JPEG Encoders/Decoders durch Software, sofern ausreichend Prozessorleistung vorhanden ist, ansonsten gibt es spezielle Hardware zur Umwandlung in.jpg-format MOTION JPEG für Videokompression = Erweiterung von JPEG für kurze Sequenz von JPEG-codierten Bildern. Wird in Digitalkameras oder Handys verwendet. 3.1 Vorteile von JPEG Farbtiefe kann beliebig groß sein 57 Verschiedene Operationsmodi je nach Anwendungsfall Weit verbreitet; ist de jure- und de facto-standard in Digitalkameras, Handys und im www 3.2 Wichtige Begriffe in JPEG Die von JPEG verwendeten wichtigen Begriffe sind das Farbmodell, das Subsampling mit der x:y:z-notation, die JPEG-Komponenten und die JPEG-Dateneinheiten Farbraumdarstellung (Farbmodell) Fakt: Das Auge kann geringe Helligkeitsunterschiede besser unterscheiden als geringe Farbunterschiede Rot-Grün-Blau-Darstellung (RGB) von Bildern ist für die Kompression ungünstig, da dabei Farbe und Helligkeit zusammen kodiert werden Besser ist die Darstellung über Helligkeitssignal (Luminanz) und 2 Farbsignale (Chrominanz) Luminanz/-Chrominanzsignale werden mit Y, C b, C r, bzw. beim PAL-Farbfernsehen mit Y, U, V abgekürzt. C b, C r bzw. U, V definieren eindeutig eine Farbe in einem 2D-Farbraum. JPEG verwendet meist den Luminanz/Chrominanz-Farbraum, ist aber nicht darauf festgelegt 58