Datenreduktion digitalisierter Fernsehbilder

Transkript

1 Datenreduktion digitalisierter Fernsehbilder Der Autor Dipl.-Ing. Joachim Schulze-Wenck (5) ist seit 974 bei der Deutschen Telekom mit wechselnden Aufgabenstellungen im Bereich Funk beschäftigt. Seit 994 in der Ressortleitung Technischer Betrieb Rundfunk (TBR) Hamburg des Geschäftsbereichs Rundfunk und Breitbandkabel tätig. Die Digitalisierung hat mittlerweile alle Bereiche der Nachrichtentechnik erfasst. Diese Technologie ermöglicht es, dass auch Fernseh- und Videobilder in digitale Datenströme umgewandelt werden können, sodass erst dadurch eine leistungsfähige Übertragung von Daten, Sprache und Bildern über ein Medium möglich ist. Eine wirtschaftlich vertretbare und physikalisch machbare Übertragung ist bei der geforderten Perfektion der Bilder nur mit einem Kompressionsverfahren möglich, das die Bilder im für das menschliche Auge wahrnehmbaren Bereich nicht beeinträchtigt. Die zu übertragenden Bilder müssen daher zunächst codiert werden. Im nachfolgenden Beitrag wird die Bildcodierung digitaler Fernsehbilder nach dem häufig verwendeten MPEG-2-Verfahren, ausgehend von den Grundlagen, beschrieben. Ausgangslage Bei der Digitalisierung von Bildern fallen große Datenmengen an. So ergibt z. B. die Digitalisierung eines einzelnen Fernsehbildes, das eine Auflösung von Bildpunkten hat, bei einer Farbtiefe von 3 Bit je Bildpunkt, eine Datenmenge von,9 MB. Bei der in Europa üblichen Bildfolgefrequenz von 25 Hz ergibt sich eine Datenrate von 3 Mbit/s. In der praktischen Anwendung kommen noch Anteile für zusätzliche Informationen hinzu, sodass sich eine Datenrate von 45 Mbit/s ergeben würde. Die Kosten, die bei der Verarbeitung, Übertragung und Speicherung derartiger Datenmengen aufkommen, haben schon früh zu Entwicklungen geführt, mit denen sich die Datenmenge ohne sichtbaren Qualitätsverlust reduzieren lässt. Datenreduktionsverfahren, die in den Bereichen Multimedia und Fernsehen erfolgreich auf dem Markt bestehen sollen, müssen u. a. folgende Eigenschaften aufweisen: preiswerte Decoder für die Endkunden, Signalverschlüsselung zulassen, leichte Neusynchronisation. Zwei Verfahren zur Datenreduktion von digitalisierten Bildern sind genormt und am Markt eingeführt. Im Jahr 992 wurde das JPEG-Verfahren, das von der Joint Photographic Experts Group, einer Arbeitsgruppe der Normengremien ISO und IEC 2, definiert wurde, veröffentlicht. Es war ursprünglich für die Datenreduktion von digitalisierten Standbildern gedacht. Später kam eine Erweiterung auf bewegte Bilder unter dem Namen M-JPEG (Motion-JPEG) hinzu. Die Moving Pictures Experts Group (MPEG), die ebenfalls eine Arbeitsgruppe der Gremien ISO/IEC ist, stellte 99 den MPEG--Standard vor. MPEG- ist für bewegte Bilder mit Datenraten bis zu,5 Mbit/s optimiert und vor allem für Multimediaanwendungen in Verbindung mit dem Personalcomputer (PC) ausgelegt. Im Jahr 994 folgte als Erweiterung des MPEG--Standards der MPEG-2-Standard. MPEG-2 ist für die Datenreduktion von Fernsehsignalen aller Normen einschließlich HDTV (High Definition Television = hochauflösendes Fernsehen) ausgelegt und erfüllt die oben aufgeführten Bedingungen. Abhängig von der gewünschten Qualität und Auflösung des TV-Bildes wird hier mit Datenraten zwischen 4 Mbit/s und 8 Mbit/s gearbeitet. Mit den zwei eingeführten Verfahren können die Datenmengen von Bildern ohne nennenswerten sichtbaren Qualitätsverlust etwa bis zum Faktor 7 reduziert werden. 2 Grundlagen In den folgenden Abschnitten werden wichtige Begriffe und Verarbeitungsschritte erläutert, die im Beitrag häufig verwendet werden. 2. Farbsignal Bei der elektrischen Abtastung von Bildern mit einer Kamera oder einem Scanner wird die Vorlage in drei Bilder aus den Primärfarben Rot (R), Grün (G) und Blau (B) zerlegt. Die Information über Farbe, Farbsättigung und Helligkeit eines Bildpunktes ist durch die Intensität der drei Primärfarben festgelegt. Für die weitere Signalbearbeitung ist es jedoch zweckmäßig, wenn die Helligkeits- und Farbinformationen voneinander unabhängig vorliegen. Dazu wird aus den drei Primärfarben R, G und B ein Helligkeitssignal, das Y-Signal, gewonnen. Für die Farbinformation werden aus dem Y-Signal, dem R- und dem B-Signal zwei Farbsignale, C R und C B, gebildet. Unter Berücksichtigung der Farbempfindlichkeit des Auges werden die in elektrische Werte umgewandelten Intensitätsgrößen der drei Primärfarben mit Faktoren bewertet und addiert. Das Ergebnis stellt einen Grauwert dar. Y =,299R +,587G +,4B Die Gleichung zeigt, dass der Helligkeitseindruck vor allem durch das Grünsignal bestimmt wird. Hier spiegelt sich die hohe Grünempfindlichkeit des menschlichen Auges wider. Für die Farbinformation werden nun noch zwei Werte benötigt, der dritte Wert kann jederzeit 2 ISO: Abk. International Standard Organisation, Standardisierungsorganisation für alle Bereiche der Technik. IEC: Abk. International Electrotechnical Commission, internationale Kommission für die Standardisierung elektrotechnischer Geräte. 444

2 horizontale Bildpunkte Bild : Digitale Abtastraster für Fernsehsignale Zeilen 4 : 4 : 4 4 : 2 : 2 4 : 2 : 4 : : (ITU-R BT 6) BT Broadcasting Service Television ITU-R Internationale Telekommunication Union-Radio-Recommendation Y-Signal C R, C B Signale unter Einbeziehung des Y-Signals aus den zwei Farbsignalen berechnet werden. C R = R Y C B = B Y Die drei Signale Y, C R und C B werden Komponentensignale genannt. Mit dieser Signalform können im Bildsignal Helligkeit und Farbe unabhängig voneinander bearbeitet werden. Das Thema im Überblick Bei der Codierung und Speicherung von Daten sind die Aspekte Sicherheit, Standardisierung und Leistungsfähigkeit von besonderer Bedeutung. Da Speicherplatz meist knapp ist und Übertragungswege möglichst schnell und kostengünstig genutzt werden sollten, ist es sinnvoll, Daten, wo immer es möglich ist, zu verdichten, d. h. zu reduzieren und zu komprimieren. Das Grundprinzip der Datenkompression ist es, häufig vorkommende Bitfolgen stellvertretend durch kürzere zu ersetzen. Hier wird zwischen verlustfreien und verlustbehafteten Verfahren unterschieden. Für die Datenreduktion von digitalisierten Bildern sind zwei verlustbehaftete Verfahren genormt und unter den Bezeichnungen JPEG und MPEG am Markt eingeführt. Sie werden für die Speicherung und Übertragung von Fernsehbildern genutzt. Datenreduzierte Bildsignale werden aufgrund des ständig steigenden Kostendrucks in naher Zukunft auf allen Netzebenen die Regel sein. 2.2 Abtastraster Bei der Digitalisierung eines Bildes muss aus den theoretisch unendlich vielen Bildpunkten, aus denen das Bild besteht, eine endliche Anzahl für die digitale Darstellung des Bildes festgelegt werden. Das digitale Äquivalent 3 eines Fernsehbildes des Formats 4:3 besteht aus Punkten. Davon enthalten Punkte sichtbare Bildinformationen, der verbleibende Rest enthält Synchroninformationen und Zusatzsignale. Bei der Bildabtastung werden für jeden Bildpunkt die Werte der drei Komponentensignale ermittelt. Aus der verwendeten Abtastrate von 3,5 MHz, der -Bit-Darstellung eines jeden Abtastwertes und der Bildfolge von 25 Bildern/s ergibt sich ein Datenstrom von 45 Mbit/s. Die physiologischen 4 Untersuchungen des Farbsehens des menschlichen Auges haben ergeben, dass das Auge Farben sehr viel schlechter als Helligkeitsunterschiede auflösen kann. Aus diesem Grund wird in der Regel bereits bei der Signalerzeugung eine Reduzierung der Farbauflösung durch horizontale Filterung des Signals durchgeführt (horizontale Unterabtastung der Farbsignale). Im Produktionsbereich haben die Farbsignale die halbe Auflösung des Helligkeitsignals. Das bedeutet, dass immer zwei Bildpunkte die gleiche Farbinformation haben. Mit dieser vertretbaren Maßnahme wird die Datenmenge des betrachteten Bildes auf 27 Mbit/s reduziert. Dieses Verfahren wurde in der Empfehlung ITU-R BT.6 5 festgeschrieben. Dabei werden bei der Digitalisierung das Y-Signal mit 3,5 MHz und die zwei Farbsignale mit je 6,75 MHz abgetastet. Die zwei hier beschriebenen Signalabtastungen ergeben unterschiedliche Muster der Zuordnung der Y- und C-Signale zu den Bildpunkten. Eine Abtastung, bei dem Y- und C-Signale mit der gleichen Abtastrate verarbeitet werden, wird als 4:4:4-Abtastung bezeichnet. Die Abtastung nach ITU-R BT.6 mit der horizontalen Unterabtastung der Farbinformation um den Faktor 2 wird dann als 4:2:2-Abtastung bezeichnet. Das Bild zeigt die Anordnung der Bildpunkte des Y-Signals mit den zugeordneten C- Signalen für die üblichen Abtastraster. Eine weitere Reduzierung der Daten kann durch stärkere Unterabtastung der Farbsignale erreicht werden. Der damit verbundene Qualitätsverlust erlaubt die Verwendung dieser Signale nur in den Fällen, in denen keine intensive Nachbearbeitung der Signale mehr stattfindet. Es werden nur Raster verwendet, die leicht aus den 4:2:2-Raster gewonnen werden können. Die 4::-Abtastung ergibt sich aus einer weiteren horizontalen Unterabtastung der Farbsignale. Hier haben vier nebeneinander liegende Bildpunkte die gleiche Farbinformation. Bei der 4:2:-Abtastung erfolgt gegenüber dem 4:2:2-Raster eine zusätzliche vertikale Unterabtastung des Farbsignals. Hier ist ebenfalls vier Y-Werten ein gemeinsamer Farbwert zugeordnet. Denkbar ist auch noch die 4::-Abtastung. Die da Äquivalent: gleichwertiger Ersatz, Gegenwert. Physiologie: Wissenschaft von den Grundlagen des allgemeinen Lebensgeschehens, besonders von den normalen Lebensvorgängen und Funktionen des menschlichen Organismus. ITU-R BT.6: Abk. International Telecommunication Union-Radio Sector, Broadcasting Service Television. 445

3 Verwendete Abkürzungen D 2D BT DCC DCT DTS GOP HDTV IDCT IEC ISO ITU-R JPEG M-JPEG MB Mbit/s MHz MPEG PC PCR PTS RLE SNR STC TV VLE eindimensional zweidimensional Broadcast Service Television Digital Compact Cassette Diskrete Cosinustransformation Decode Time Stamp Group Of Pictures High Definition Television Inverse-DCT International Electrotechnical Committee International Standardisation Organisation International Telecommunications Union-Radio Section Joint Picture Expert Group Motion-JPEG Megabyte Megabit pro Sekunde Megahertz Motion Picture Expert Group Personalcomputer Programm Clock Referenz Presentation Time Stamp Run Length Encoding Signal to Noise Ratio System Time Clock Television Variable Length Encoding mit erreichbare Bildqualität wäre noch für Anwendungen im privaten Bereich ausreichend. Die 4:4:4-Abtastung wird nur dort im Produktionsbereich eingesetzt, wo eine intensive Nachbearbeitung des Bildsignals erfolgt. Die Einbindung von Computeranimationen in vorliegendes Bildmaterial, z. B. in Werbefilmen und Kinoproduktionen wie Jurassic Park, soll hier als Beispiel dienen. 2.3 Diskrete Cosinustransformation (DCT) Die DCT ist das Herzstück der Datenreduktion digitalisierter Bilder. In der praktischen Anwendung werden jeweils zusammenliegende kleine Teile der digital vorliegenden Bildinformation gemeinsam betrachtet. Gründe für diese Vorgehensweise liegen u. a. in der Begrenzung des Rechenaufwandes und in der einfacheren Bewegungsschätzung. Zur Durchführung der DCT wird das Bild in Blocks aus jeweils 8 8 Bildpunkten geteilt. Auf jeden Block wird dann für das Y- und die zwei C-Signale die zweidimensionale DCT (2D-DCT) angewendet. Als Ergebnis erhält man drei Anordnungen (Matrizen) von 8 8 DCT-Koeffizienten. Die Eigenschaften der DCT lassen sich leichter bei der Betrachtung der D-DCT verstehen. Die Gleichung der D-DCT für die Betrachtung von 8 Bildpunkten lautet: Cu = für u = 2 Cu = für u = bis 7 Die Gleichung ermittelt für 8 Bildpunkte f(x) 8 DCT-Koeffizienten C(u). Bei der Berechnung gehen durch die Summierung für jedes C(u) alle 8 Bildpunkte in das Ergebnis ein. Damit wird die Information eines Bildpunktes über alle DCT- Koeffizienten verteilt. Dabei werden die Einflüsse der Eigenschaften der benachbarten Bildpunkte mit berücksichtigt. Haben benachbarte Bildpunkte große Änderungen in der Intensität, z. B. bei einem Helligkeitssprung, entstehen hohe Werte bei großen u. Haben alle Bildpunkte den gleichen Wert, wird nur der Koeffizient C() einen Wert aufweisen, alle anderen Koeffzienten haben den Wert. Die Erklärung ist einfach: Ein Helligkeitssprung enthält große spektrale Anteile bei hohen Frequenzen, die sich nach der DCT in entsprechend hohen Werten bei großen u niederschlagen. Wenn alle Bildpunkte den gleichen Wert aufweisen, sieht die DCT eine Gleichspannung und der Gleichspannungsanteil aller betrachteten Bildpunkte wird immer durch Koeffizienten C() beschrieben. So betrachtet stellen die 8 ermittelten DCT-Koeffzienten das Frequenzspektrum der Bildpunkte dar, wobei sich höhere Frequenzanteile in Werten bei steigendem u bemerkbar machen. Der Vorgang der DCT ist uneingeschränkt umkehrbar. Mit der Anwendung der inversen diskreten Cosinustransformation (IDCT) auf die DCT-Koeffizienten erhält man die ursprünglichen Werte der Bildpunkte zurück. Die Gleichung der D-IDCT für die Betrachtung von 8 DCT Koeffizienten lautet: Cu = für u = 2 Cu = für u = bis 7 7 C(u) = Cu ƒ(x)cos (2x + )uπ 2 6 x= 7 (2x + )uπ ƒ(x) = CuC(u)cos 2 u= 6 Die DCT-Koeffizienten sind irrationale Zahlen mit unbegrenzter Anzahl Stellen nach dem Komma. Diese Zahlen haben in Abhängigkeit von der geforderten Genauigkeit einen wesentlich größeren Speicherbedarf als die ursprünglichen Werte für die 8 Bildpunkte. Bis zu diesem Schritt, der noch uneingeschränkt umkehrbar ist, liegt also noch keine Datenreduktion des ursprünglichen Signals vor. Wenn es gelingt, die Folge der DCT- Koeffizienten durch kleine ganze Zahlen mit einer möglichst großen Anzahl aufeinander folgender Nullen darzustellen, ist in der folgenden Signalverarbeitung eine wirksame Datenreduktion möglich. Das wird durch die Quantisierung 6 der einzelnen Koeffizienten erreicht. Zu diesem Zweck wurden empirisch (erfahrungsgemäß), unter Einbeziehung des Sehempfindens des Auges, für jeden Koeffizienten einzeln Quantisierungsschrittweiten ermittelt. Dabei werden die feineren Strukturen des betrachteten Bildausschnitts, für die das Auge nicht so empfindlich ist, mit größerer Schrittweite quantisiert als die Koeffizienten, die den Gleichspannungsanteil und die gröberen Strukturen darstellen. Die so gewonnenen Schrittweiten sind für jeden DCT-Koeffizienten in Quantisierungstabellen abgelegt. Die Quantisierungsschrittweiten in den Quantisierungstabellen sind, abhängig von der gewünschten Datenreduktion und der damit verbundenen Bildqualität, unterschiedlich grob abgestuft. Grobe Quantisierungsschritte haben ein geringeres Datenvolumen zur Folge. Beim Einsatz der Quantisierungstabellen zeigt die DCT ihren Vorteil für die Vereinfachung der Signalverarbeitung. Die feineren Bildstrukturen, die das Auge im Allgemeinen nicht deutlich wahrnimmt, werden immer durch Werte bei hohen u dargestellt und können nun ohne zusätzlichen Aufwand gezielt beeinflusst werden. Beim Quantisieren der DCT-Koeffizienten werden alle Koeffizienten durch die zugeordnete Quantisierungsschrittweite geteilt und das Ergebnis zu einer ganzen Zahl abgerundet. Da in realen Bildern die höheren Spektralanteile nach der DCT in der Regel nur kleine Werte ergeben, werden diese nach erfolgter Quantisierung Null ergeben. Die nun gewonnenen Werte ermöglichen durch die Darstellung in Form von kleinen ganzen Zahlen mit aufeinander folgenden Nullen eine wirksame Datenreduktion. So elegant sich dieses Verfahren auch darstellt: Nach der Durchführung dieses Arbeitsschrittes ist der Prozess verlustbehaftet. Die IDCT kann nun 6 Quantisierung: Überführung von kontinuierlichen analogen Signalen in diskrete digitale Werte. 446

4 8 Bildpunkte, Übergang von dunkel auf hell digitale Werte der 8 Bildpunkte normiert auf Werte von -28 bis ermittelte DCT-Koeffizienten Quantisierungsmatrix -4 2 nach Anwendung der Quantisierungsmatrix reproduzierte digitale Werte nach IDCT DCT Discrete Cosine Transform IDCT Inverse DCT Bild 2: Beeinflussung der Bilddaten durch Quantisierung das ursprüngliche Signal nur noch näherungsweise wieder herstellen. Das Bild 2 zeigt die Eigenschaften der DCT und die Auswirkung der Quantisierung anhand eines Beispieles für die D-DCT. Die Abbildung zeigt acht Bildpunkte eines schnellen Überganges von dunklem auf hellen Bildinhalt. Der Übergang erfolgt hier bewusst über zwei Zwischenwerte, weil die Videobandbreite des in Europa verwendeten Fernsehsystems einen schnelleren Verlauf nicht zulässt. Die DCT-Koeffizienten stellen von links nach rechts den Gleichspannungsanteil gefolgt von den höherfrequenten Signalanteilen dar. Nach der Anwendung der Quantisierungsmatrix auf die einzelnen DCT-Koeffizienten erhält man die gewünschte Folge zusammenstehender Nullwerte für die höheren Frequenzanteile. Die mit der IDCT reproduzierten Werte für die Bildpunkte weisen bereits geringe Abweichungen vom Original auf. Das Beispiel wurde mit dem abgebildeten Programm DCT.BAS (Programmierbeispiel), das keinen Anspruch auf eine elegante Programmierung legt, ermittelt. Das Programm ist in QBASIC 7 geschrieben. Da QBASIC praktisch auf jedem PC vorhanden ist, können interessierte Leser eigene Untersuchungen, z. B. die Optimierung der Quantisierungstabelle, durchzuführen. Die Ermittlung der DCT-Koeffizienten ist sehr rechenintensiv. Schon die Berechnung der D-DCT auf 8 Bildpunkte erfordert 64 Berechnungen. Die Ermittlung 2D-DCT Koeffizienten auf 8 8-Werte benötigt bereits 4 96 Durchläufe des Gleichungssystems. Da bei bewegten Bildern alle Berechnungen in Echtzeit erfolgen müssen, werden aus diesem Grund keine anderen Blockgrößen als 8 8-Werte für die Anwendung der DCT verwendet. Mit der 2D-DCT werden in realen Bildern zusammenhängende Bereiche aus 8 8 Bildpunkten verarbeitet. Als Ergebnis erhält man eine Matrix aus 8 8 DCT-Koeffizienten. Das Bild 3 zeigt ein Beispiel für einen Helligkeitsverlauf. Die gewonnenen Koeffizienten werden dann den gleichen Verarbeitungsprozessen unterworfen, wie sie bereits bei der D-DCT beschrieben wurden. Abschließend folgen die Gleichungen der 2D-DCT für Blöcke von 8 8 Bildpunkten. 7 7 C(u, v) = CuCv ƒ(x, y) 4 x=y= (2x + )uπ (2y + )vπ cos cos 6 6 Cu, Cv = für u, v = 2 Cu, Cv = für u, v = bis 7 Die IDCT ermittelt sich wie folgt: 7 7 ƒ(x, y) = CuCv CuCvC(u, v) 4 u=v= (2x + )uπ (2y + )vπ cos cos 6 6 Cu, Cv = für u, v = 2 Cu, Cv = für u, v = bis Lauflängencodierung Die Lauflängencodierung RLE (Run Length Encoding) betrachtet die Anzahl gleicher aufeinander folgender Werte in einer Datei und codiert diese dann mit der Anzahl und dem Wert. Die erreichbare Datenreduktion ist umso größer, je mehr gleiche Werte aufeinander folgen. Bei der hier betrachteten Datenreduktion von Bildsignalen wird die Matrix der quantisierten 64 DCT-Koeffizienten im Zick-Zack-Verfahren (Bild 4), beginnend beim Koeffizienten des Gleichspannungsanteils, ausgelesen. Mit diesem Verfahren erreicht man in diesem Fall eine größere Anzahl aufeinander folgender Nullwerte als beim zeilenweisen Auslesen der Matrix. Bei der Anwendung der Lauflängencodierung auf die ausgelesenen Werte der Matrix des Beispiels kann die Datenmenge von 64 Werten leicht auf 2 Werte reduziert werden. Die Lauflängencodierung arbeitet verlustfrei, die Qualität des Bildsignals wird in diesem Prozessschritt nicht weiter beeinflusst. 2.5 Huffmanncodierung Den Systementwicklern reicht die mit der RLE gewonnene Datenreduktion noch nicht aus. Nach der RLE werden die Daten einer weiteren Datenreduktion unterworfen. Diese hier angewendete Codierung wurde 952 von D. Huffmann 8 entdeckt und nach ihm benannt. Sie beruht auf der statistischen Häufigkeitsverteilung der Elemente einer Datei oder eines Datenstroms. Häufig vorkommende Elemente werden mit kurzen Bitkombinationen codiert, für seltener auftretende Elemente werden lange Bitkombinationen verwendet. Aufgrund der unterschiedlich langen Codewörter liefert der Huffmann-Encoder Daten unterschiedlicher Länge. Diese Codierung wird deshalb dem Oberbegriff Variable Length Coding (VLE) zugeordnet. Im Encoder und Decoder erfordert diese Codierung Tabellen gleichen Inhalts (Huffmann- Tabellen), die die Zuordnung der Elemente zu den Bitkombinationen des codierten Signals festlegen. Der Vorteil, der sich bei dieser Codierung ergibt, liegt in der Anpassungsfähigkeit an die Eigenschaf- 7 8 QBASIC: Abk. Quick Basic, Programmiersprache, die zum Lieferumfang zu MS DOS gehört. D. Huffmann: amerikanischer Informatiker. 447

5 Beispielprogramm für die diskrete Cosinustransformation DCT REM Berechnung der eindimensionalen DCT in QBASIC REM von Dipl.-Ing. J. Schulze-Wenck REM Nach einer Vorlage aus der Zeitschrift mc REM Ausgabe Juni 993 REM Liste der dig. Werte der 8 Bildpunkte eines REM Ausschnitts der Bildzeile REM (die ersten 8 Werte) und der Daten der REM Quantisierungsmatrix (die REM folgenden 8 Werte) REM Die ersten 8 Werte enthalten beliebige Zahlen REM zwischen (schwarzer Bildpunkt) und REM 255 (weißer Bildpunkt). REM Die Quantisierungsmatrix ist nicht optimiert! DATA 7,7,7,,5,2,2,2,6,,,6,24,4,5,6 REM Variablen- und Konstantendeklaration REM Speicher für Bildpunkte DIM F( TO 7) AS INTEGER REM Speicher für DCT-Koeffizienten DIM C( TO 7) AS DOUBLE REM Speicher für die über IDCT zurückgewonnenen REM Bildpunkte DIM G( TO 7) AS DOUBLE REM Speicher für die Quantisierungsmatrix DIM Q( TO 7) AS DOUBLE CONST Pi = # CONST Wurzel2 = # CLS REM Einlesen der dig. Werte der 8 px eines REM Ausschnitts der Bildzeile REM (die ersten 8 Werte der DATA-Zeile) FOR x = TO 7 READ F(x) NEXT REM Einlesen der Quantisierungsmatrix (die letzten 8 REM Werte der DATA-Zeile) FOR x = TO 7 READ Q(x) NEXT REM Abfrage ob Quantisierung angewendet werden soll MLOOP: CLS PRINT Quantisierungsmatrix anwenden? J/N LINE INPUT A$ A$ = UCASE$ (A$) IF A$ = J OR A$ = N THEN GOTO CONT GOTO MLOOP CONT: CLS Flag = IF A$ = J THEN Flag = REM Berechnung der DCT REM Ermitteln der Koeffizienten C() BIS C(7) PRINT Aus den dig. Werten der Pixel ermittelte DCT-Koeffizienten: PRINT FOR u = TO 7 C(u) = FOR x = TO 7 REM Wert für Bildpunkt F(x) auf Werte zwischen 28 REM bis +27 normieren F=F(x) 28 Zw# = COS((2 * x + ) * u * Pi / 6) C(u) = C(u) + F * Zw# NEXT x ten der vorliegenden Daten. Im betrachteten Fall der Datenreduktion digitalisierter Bilder wurden von den Normengremien empirisch geeignete Huffmann-Tabellen erarbeitet. Zusätzlich ist es vorgesehen, dass im Coder anwenderspezifische Tabellen verwendet werden können. Für diesen Fall müssen die Tabellen mit den Daten an den Decoder übertragen werden. 3 Datenreduktion nach JPEG Das Verfahren zur Datenreduktion nach JPEG setzt voraus, dass das vorliegende Bild bei der Digitalisierung zeilenweise abgetastet wird und die Farbinformationen im Format YUV vorliegen. Auf jede der drei Komponenten wird der gleiche Prozess angewendet. Das Bild 5 zeigt die Elemente eines JPEG-Encoders mit paralleler Verarbeitung der drei Komponentensignale. Wenn die Verarbeitungsgeschwindigkeit keine entscheidende Rolle spielt, können die Komponentensignale auch nacheinander bearbeitet werden. Die Eingangsschaltung enthält je nach Anwendungsfall Voll- oder Teilbildspeicher, die die Bilddaten aufnehmen. Anschließend werden zur Blockbildung je acht Zeilen der Bilddaten spaltenweise ausgelesen. Das Bild 6 veranschaulicht das Verfahren. Die Daten aus acht Zeilen und acht Spalten bilden einen Block aus 64 Bildpunkten. Jeder Bildpunkt des Blocks besteht aus den drei Komponenten YUV. An die folgende DCT werden 3 64 Werte übergeben. Hier werden die DCT-Koeffizienten berechnet und im folgenden Arbeitsschritt quantisiert. Der Arbeitsschritt der Quantisierung des Signals hat neben der Datenreduktion auch Informationsverluste zur Folge. Abhängig vom gewünschten Kompressionsfaktor 9 sind die Quantisierungstabellen mehr oder weniger grob gestuft. Für die Komponenten Y und UV werden im Quantisierer in der Regel unterschiedliche Quantisierungstabellen verwendet. Diese Maßnahme ist zulässig, weil das Auge für Auflösungsverluste bei Farben weniger empfindlich ist, als bei vergleichbaren Verlusten im Bereich der Helligkeitsunterschiede. Dadurch kann eine stärkere Datenreduktion erreicht werden. Das Bild 7 zeigt beispielhaft die Fehler und Verluste einer Vorlage 9 Kompressionsfaktor: Verhältnis der Datenmenge des Quellmaterials zur Datenmenge nach der Bearbeitung. 448

6 bei unterschiedlicher Datenreduktion. Die Vorlage beansprucht den Codieralgorithmus aufgrund der extremen Helligkeitsunterschiede zwischen zwei benachbarten Bildpunkten sehr stark. Daher treten schon bei geringer Kompression Artefakte im Bild auf. Das JPEG- Verfahren ist auf photorealistische Vorlagen ausgelegt, bei denen derartige Helligkeitssprünge so gut wie nie vorkommen. Die folgenden Arbeitsschritte beeinflussen die Bildqualität nicht weiter. Der aus dem Quantisierer kommende Datenstrom wird mit vollständig umkehrbaren Verfahren weiter verdichtet und der Ausgangsschaltung zugeführt. Hier werden die Daten serialisiert und über einen Pufferspeicher ausgegeben. 3. Eigenschaften von JPEG Bei JPEG-komprimierten Daten gilt, wie auch bei allen anderen verlustbehafteten Kompressionsverfahren, dass mehrfaches aufeinander folgendes Codieren und Decodieren eines Bildes starke Qualitätsverluste zur Folge hat. Die Ursache liegt in der systembedingten unvollständigen Rekonstruktion der Vorlage aus dem codierten Signal. Der fehlerfrei decodierte Bildanteil und die systembedingten Fehler werden in jedem folgenden Codierprozess weiter verfälscht. Es tritt keine Addition, sondern eine Multiplikation der Fehler ein. Das JPEG-Verfahren wurde ursprünglich für ruhende Bilder entwickelt. Hier kann sich der Betrachter beliebig lang auf das Bild konzentrieren. Dabei fallen Fehler in der Reproduktion des Bildes stärker als bei bewegten Bildern auf. Bei Kompressionsraten zwischen 2: bis 5: kann davon ausgegangen werden, dass Reproduktionsfehler noch nicht wahrnehmbar sind. Die JPEG-Encoder werden mit einer großen Auswahl an Kompressionsgraden ausgestattet. Die Vorlagen können mit Abtastraten von 4:4:4 bis zu 4:: eingelesen werden. Zusätzlich kann der Kompressionsfaktor über verschieden grobe Quantisierungstabellen beeinflusst werden. Artefakte: hier künstlich erzeugte (durch den Prozess) unerwünschte zusätzliche Bildpunkte. serialisieren: Umwandlung des Signalstroms von parallel auf seriell. Parallele Signalströme benötigen viele Signaladern, serielle Signalströme kommen mit zwei Adern aus. C(u) = C(u) *.5 IF u = THEN REM Berücksichtigung des Faktors /Wurzel2 bei REM u= C(u) = C(u) / Wurzel2 END IF PRINT DCT-Koeffizient für U = ; u; ist = ; C(u) NEXT u REM Quantisierung der DCT-Koeffizienten IF Flag THEN REM Quantisieren PRINT FOR u = TO 7 S=SGN(C(u)) C#=ABS(C(u)) C(u) =S * INT(C# / Q(u)) PRINT Der quantisierte DCT-Koeffizient für U = ; u; ist = ; C(u) NEXT PRINT PRINT Beliebige Taste drücken, um inverse DCT zu berechnen. DO LOOP UNTIL INKEY$ <> CLS END IF REM Ende Quantisierung REM Inverse DCT zur Wiederherstellung des REM ursprünglichen Signals IF Flag THEN REM Zwischenrechnung, wenn Quantisierung gewählt: REM Aus den quantisierten DCT-Koeffizienten mit REM den Werten der Quantisierungsmatrix die REM ursprünglichen Werte, die nun mit REM Quantisierungsfehlern behaftet sind, REM wiederherstellen. FOR u = TO 7 C(u) = C(u) * Q(u) NEXT END IF FOR x = TO 7 G(x) = FOR u = TO 7 Zw# = COS((2 * x + ) * u * Pi / 6) IF u = THEN REM Berücksichtigung des Faktors /Wurzel2 bei u= Zw# = Zw# / Wurzel2 END IF G(x) = G(x) + C(u) * Zw# NEXT u G(x) = G(x) *.5 REM Die coderseitig erfolgte Normierung rückgängig machen G(x) = G(x) + 28 NEXT x PRINT PRINT PRINT Vergleich der ursprünglichen Werte der Pixel PRINT mit den über die inverse DCT reproduzierten Werten. PRINT FOR x = TO 7 PRINT Pixel ; x; Originalwert = ; F(x), Nach IDCT = ; CINT(G(x)) NEXT REM Ende des Programms 449

7 Bild 3: Übergang vom Bild zur Matrix der DCT- Koeffizienten horizontale Bildpunkte zunehmende horizontale Auflösung Zeilen Zunehmende vertikale Auflösung xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx Original xxx xxx xxx nach DCT Bild 4: Auslesen der DCT-Koeffizientenmatrix Bild 5: Prinzip eines JPEG-Encoders Gleichspannungsanteil Start Wechselspannungsanteile xxx xxx xxx xxx xxx xxx xxx xxx xxx Folgen von Nullwerten bei zeilenweisem Auslesen der Matrix: x x x x x x x x usw. zick-zack Auslesen der Matrix: x x x x x x x x x usw. 3.2 M-JPEG Eine Erweiterung des JPEG-Verfahrens auf bewegte Bilder stellt das M-JPEG (Motion-JPEG) dar. Hier wird das Quellmaterial in Echtzeit Bild für Bild eingelesen. Jedes einzelne Bild wird als Standbild betrachtet und nach dem beschriebenen JPEG-Verfahren bearbeitet. Dieses Verfahren wird in Fernsehstudios bei unterschiedlichen Anwendungen eingesetzt. Auf Grund der systembedingt eingeschränkten Bildqualität sind hier vor allem Anwendungen im News-Bereich und für Einspielungen von Videoclips zu finden. Der M-JPEG-Datenstrom benötigt zur Bearbeitung und Speicherung nur einfache kostengünstige Rechnersysteme. Bildgenauer Schnitt kann ohne Decodierung erfolgen. Wenn die Kompressionsrate kleiner als 5: beträgt, ist sogar eine gewisse Nach- digitale Bilddaten im YUV Format Eingangsspeicher und Blockbildung DCT Quanti- sierer RLE Huffmann- encoder Ausgangsschaltung komprimierte Bilddaten DCT Discrete Cosine Transform RLE Run Length Encoding Quanti- sierungs- tabellen Huffmann- tabellen 45

8 8 Pixel 8 Pixel 8 Pixel 8 Pixel Bild 6: Blockbildung aus Zeilen und Bildpunkten 8 Zeilen Block enthält 8 x 8 Pixel bearbeitung, z. B. Einblendungen von Logos oder Text, ohne große Qualitätseinbußen möglich. Diese Systeme arbeiten mit Datenraten von etwa 7 Mbit/s. Das entspricht einer Kompression von 3,9: bei 4:2:2-Abtastung bezogen auf das 27 Mbit/s Signal nach ITU-R 6. Diese Datenrate kann bereits von jedem leistungsfähigen PC verarbeitet werden. Die ständig sinkenden Kosten für derartige Systeme lassen den Einsatz im Heimbereich mittelfristig für möglich erscheinen. 4 Datenreduktion nach MPEG 4. Grundlegende Unterschiede zu JPEG Während die Datenreduktion nach JPEG jedes Bild für sich allein betrachtet und codiert, berücksichtigt das MPEG-Verfahren die Eigenschaften mehrerer aufeinander folgender Bilder. Dabei kommen verschiedene Verfahren zur Anwendung. Neu ist hier, dass auch die Bewegung der Motive in den Bildern mit in den Codierprozess einbezogen wird. Da zum Ausgangsmaterial in der Regel auch Toninformationen gehören, enthält die Norm auch Verfahren zur Datenreduktion der Toninformationen. Die so gewonnenen Daten müssen zusammengefasst und transportfähig gemacht werden. dioinformationen in Verbindung mit programmbegleitenden Zusatz- und Steuerinformationen. Teil 2, Video: beschreibt die Komprimierungsverfahren für die Bildinformationen. Teil 3, Audio: beschreibt die in der Norm enthaltenen Verfahren zur Komprimierung von Audiosignalen. Teil 4, Compliance: beschreibt Testverfahren für die komprimierten Datenströme. Der vorliegende Beitrag behandelt die Verfahren aus dem zweiten Teil der Norm. Alle Bestandteile der Norm können auch unabhängig voneinander angewendet werden. So wird z. B. bei der Digital Compact Cassette (DCC) und beim digitalen Hörrundfunk DAB (Digital Audio Broadcasting) die Audiokomprimierung nach MPEG verwendet. Die drei ersten Teile der Norm stellen einen Bausatz-Standard dar. Jedes Teil enthält eine Anzahl von Werkzeugen, die in Abhängigkeit der gewählten Zusammenstellung für jede Anwendung die optimale Codierung ermöglichen. In der Norm werden nur die Eigenschaften der Decoder beschrieben. Ein Encoder muss die Datenreduktion so vornehmen, dass ein standardgerechter Decoder das ursprüngliche Signal wieder herstellen kann. Damit ist es den Herstellern von Encodern überlassen, wie und in welchem Umfang sie die von der Norm bereitgestellten Verfahren einsetzen. Zusätzlich wird, durch die Beschränkung der Norm auf die Definition des Decoders, den Herstellern die Weiterentwicklung der Algorithmen für den Codierprozess ermöglicht. Die Verfahren MPEG- und MPEG-2 haben zum jetzigen Zeitpunkt die größte Verbreitung. Die Norm MPEG- hat gegenüber der neueren Norm MPEG-2 Einschränkungen, die die Anwendung des Verfahrens für den Rundfunkbereich nicht empfehlen. So wird das bei Bild 7: Qualitätsverluste bei steigendem Kompressionsfaktor 4.2 Elemente der MPEG-Norm Die MPEG-Norm besteht aus vier Teilen: Teil, Systems: beschreibt den Aufbau der zusammengefügten komprimierten Video- und Au- Original 86 KB JPEG 4:2:2-Abtastung, normal komprimiert 2 KB JPEG 4::-Abtastung, stark komprimiert 7 KB 45

9 Bild Nr. Bild 8: Beispiel der Codierfolge einer Group of Pictures Codierung als I B Ermittelt aus den Bildern und 3 2 B Ermittelt aus den Bildern und 3 3 P Vorherbestimmt (prädiziert) aus Bild 4 B Ermittelt aus den Bildern 3 und 6 5 B Ermittelt aus den Bildern 3 und 6 6 P Vorherbestimmt (prädiziert) aus Bild 3 7 B Ermittelt aus den Bildern 6 und 9 8 B Ermittelt aus den Bildern 6 und 9 9 I B TV-Anwendungen vorliegende Zeilensprungverfahren 2 bei der Bildabtastung nicht unterstützt. Zusätzlich ist die Auflösung der Bilder bei TV-Signalen begrenzt. Bei der in Europa üblichen Bildfolgefrequenz von 25 Hz lässt MPEG- nur noch eine Auflösung von Bildpunkten zu. Standardfernsehbilder haben in Europa eine Auflösung von Bildpunkten. Vor der Codierung nach MPEG- müssen die Halbbilder des Fernsehens in Vollbilder überführt werden. Anschließend werden die Bilder durch horizontale und vertikale Filterung in der Auflösung reduziert. Bildgruppe (Group of Pictures) GOP Nach der Decodierung muss die ursprüngliche Bildgröße durch Interpolation 3 wieder hergestellt werden. Die Folge ist eine deutlich reduzierte Bildqualität. MPEG-2 ist für die Kompression von TV-Signalen ausgelegt. Es können alle bestehenden TV-Formate bis hin zum HDTV verarbeitet werden. Aus diesem Grund wird im Folgenden die Signalverarbeitung nach MPEG-2 beschrieben. 4.3 Bildcodierung Die nachfolgend beschriebenen Verfahren der MPEG-2-Norm können sowohl im Vollbild- als auch im Halbbildmodus angewendet werden. Dabei können innerhalb eines Vollbildes beide Verarbeitungsarten nebeneinander auftreten. Im Encoder wird, abhängig vom Bildinhalt und der Bewegung im Bild, entschieden, welche Verarbeitungsart auf die einzelnen Bildteile angewendet wird Elemente einer Group of Pictures Bei der MPEG-Codierung wird zwischen unterschiedlich codierten Bildern unterschieden. Grundlage ist das so genannte Intraframecodierte Bild, das als I-Bild bezeichnet wird. Diese Bilder werden ähnlich dem JPEG-Verfahren ausschließlich aus Informationen, die nur aus diesem Bild stammen, codiert. Die I-Bilder müssen in gewissen regelmäßigen Abständen in den Datenstrom eingefügt werden. Sie dienen zur Aktualisierung der Daten im Decoder und sind zur Synchronisation erforderlich. Im Gegensatz hierzu steht die Interframe-Codierung, bei der über mehrere Bilder hinweg codiert wird. Hierzu gehören die zwei weiteren verwendeten Bildarten: Prädizierte (prädizieren = vorausbestimmen) Bilder (P-Bilder) werden aus den vorangegangenen I- oder P-Bildern vorausbestimmt. In der Fachliteratur wird in diesem Fall oft der Begriff Vorhersage verwendet. Dieser Begriff ist irreführend. Er vermittelt den Eindruck, dass es sich hier um eine reine Extrapolation 4 des Bildinhaltes und der Bewegung handelt. Der Dateninhalt eines P-Bildes wird jedoch unter Einbeziehung des tatsächlichen Bildinhaltes des P-Bildes gewonnen. Bidirektional prädizierte und interpolierte Bilder (B-Bilder) werden aus den zeitlich vorangegangenen und den nachfolgenden I- oder P-Bildern erzeugt. Sie dürfen aus diesem Grund nicht mehr zur Vorhersage anderer Bilder verwendet werden. Die B-Bilder enthalten nur noch eine sehr kleine Datenmenge, weil ein Großteil der Zeilensprungverfahren: Eine Bildabtastung geschieht in zwei Schritten: Zuerst werden alle Zeilen mit ungeraden Nummern und anschließend alle Zeilen mit geraden Nummern abgetastet. Interpolation: Rechnerische Ermittlung von Werten, die zwischen zwei vorhandenen Werten einer Folge liegen. Extrapolation: näherungsweise Bestimmung von Funktionswerten außerhalb eines Intervalls aufgrund der Kenntnis von Funktionswerten innerhalb dieses Intervalls. 452

10 Bildinformation bereits im Bildspeicher des Decoders vorliegt und nicht mehr übertragen werden muss. Die Gruppe von Bildern, die von einem I-Bild bis zum folgenden I-Bild gemeinsam betrachtet werden, wird Group of Pictures (GOP) genannt. In Bild 8 ist eine GOP-Länge von 9 dargestellt. Das bedeutet, dass jedes neunte einem I-Bild folgende Bild wieder ein I-Bild ist. Die im Beispiel gezeigte Folge von I-, B-, und P-Bildern ist nicht festgeschrieben. Im Encoder wird je nach vorgegebener Datenrate und Bildinhalten entschieden, welche Folge von B- und P-Bildern innerhalb einer GOP auftritt. Aus dem Bild kann die Erkenntnis abgeleitet werden, dass mit steigender GOP- Länge auch die Fehler in den erzeugten B- und P-Bildern ansteigen müssen. Aus diesem Grund ist es nicht mehr sinnvoll, mit GOP- Längen über 6 zu arbeiten. Die praktisch angewendeten Codierungen arbeiten meist mit GOP- Längen zwischen und 2. Die GOP-Länge enthält ausschließlich I-Bilder und weist damit gewisse Ähnlichkeiten mit dem M-JPEG- Verfahren auf. Bei der Beschreibung eines MPEG-Signals wird der Abstand der I-Bilder (GOP-Länge) meist mit dem Parameter N und der Abstand der P-Bilder mit dem Parameter M bezeichnet. Das Beispiel in Bild 8 wird durch die Parameter N = 9 und M = 3 beschrieben. Die Parameter N und M werden nicht zum Decoder übertragen. Sie dienen nur der Charakterisierung der Codierung. Die Art des übertragenen Bildes wird dem Decoder am Anfang eines jeden Bildes im Flag Picture Coding Type 5 mitgeteilt. Y Block Y Block 2 Der Aufbau der GOP-Struktur in Bild 8 zeigt, dass die codierten Bilder in einer anderen Reihenfolge, als sie im Encoder eingehen, übertragen werden müssen. So können die Bilder und 2 im Decoder erst ermittelt werden, wenn Bild und Bild 3 empfangen und decodiert wurden. Die Reihenfolge der gesendeten Bilder sieht im vorliegenden Beispiel so aus:, 3,, 2, 6, 4, 5, 9, 7, 8. Der Decoder muss also ausreichenden Speicherplatz zum Zwischenspeichern der Bilder haben. Bereits aus der Übertragungsfolge der Bilder ist ein Zeitversatz zum Original zu erkennen. Im Beispiel beträgt der Versatz mindestens 3 Bilder, das sind bei 25 Bildern/s für Encodierung und Decodierung 24 ms. Der Encoder versieht die codierten Bilder mit Zeitmarken (engl. Time Stamps), aus denen der Decoder entnehmen kann, wann ein Bild decodiert werden muss und wann es zur Anzeige kommt. Diese Daten stehen in den Flags DTS (Decode Time Stamp) und PTS (Presentation Time Stamp). Zur zeitlichen Synchronisation des Decoders werden zusätzlich mindestens alle ms Zeitmarken, PCR (Programm Clock Referenz) in den Datenstrom eingefügt. Im Decoder wird mit dem PCR der interne 27-MHz-Systemtakt STC (System Time Clock) mit dem Encodertakt synchronisiert Blöcke, Makroblöcke und Slices Y Block Y Block 3 Die einzelnen Bilder werden für die Codierung in drei Verarbeitungsebenen unterteilt. Die unterste Ebene besteht aus den einzelnen Blöcken. Wie bereits beim JPEG-Verfahren beschrieben besteht jeder Block aus einer Anordnung von 8 8 Bildpunkten. Auf diese Blöcke wird die DCT angewendet. Die nächsthöhere Ebene wird durch die Makroblöcke gebildet. Hier werden jeweils vier aneinander grenzende Blöcke gemeinsam betrachtet. Ein Makroblock besteht demnach aus den Helligkeits- und Farbinformationen von 6 6 Bildpunkten. Die Bewegungsschätzung des MPEG-Standards findet auf Makroblockebene statt. Bei der MPEG-Komprimierung wird häufig die 4:2:-Abtastung verwendet. In diesem Fall besteht ein Makroblock aus sechs Blöcken (Bild 9): Je ein Block für die Farbinformationen C R und C B und vier Blöcken für die Helligkeitsinformation. Bei einer 4:2:2-Abtastung enthält ein Makroblock vier Blöcke mit Farbinformationen. Die Blöcke mit den Farbinformationen unterliegen bei der Codierung den gleichen Verarbeitungsschritten wie die Blöcke mit der Helligkeitsinformation. Neben den verarbeiteten Blöcken enthält ein Makroblock weitere Steuerinformationen für den Decoder. Es handelt sich um die Makroblockadresse, die Bewegungsvektoren, die Quantisierungsskalierung, den Typ des Makroblocks und den Typ der DCT. Die Makroblockadresse dient der einwandfreien Zuordnung des Blocks. Die Bewegungsvektoren sind das Ergebnis der Bewegungsschätzung und werden bei P- und B-Bildern verwendet. Der Inhalt jedes Makroblocks kann unterschiedlich grob quantisiert werden. Diese Information wird dem Decoder über die Quantisierungsskalierung mitgeteilt. Es wird zwischen den folgenden Arten von Makroblöcken unterschieden: 5 6 CB Block 4 Skipped Macroblocks 6 ergeben sich aus der Vorhersage aus dem voherigen Bild. Wenn sich der Inhalt und die Lage des Blocks nicht verändert hat, werden kei- Flag Picture Coding Type: In der Datentechnik ist ein Flag der Inhalt von einem oder mehreren Bits, der für die Verarbeitung Signal- oder Steuerfunktionen enthält. Im vorliegenden Fall hat das Flag die Bezeichnung Picture Coding Type und der Inhalt lautet I, P oder B. Damit wird dem Decoder mitgeteilt, welche Signalverarbeitung angewendet werden soll. Skipped Macroblocks: hier sinngemäß ausgelassene Macroblocks, weil diese nicht übertragen werden. CR Block 5 Bild 9: Inhalt eines Makroblocks bei der 4:2:-Abtastung 453

11 Bild : Beispiel für die Anordnung von Slices innerhalb eines Bildes ne Informationen über diesen Block übertragen. Der Decoder erkennt die skipped Macroblocks an den Makroblockadressen und kopiert an diese Stelle den Inhalt des vorherigen Bildes. Intracodierte Makroblocks können bei allen drei Bildarten vorkommen. I-Bilder enthalten ausschließlich intracodierte Makroblöcke. Bei P- und B-Bildern werden diese Makroblöcke für die Bildteile übertragen, für die eine Vorherbestimmung nicht möglich ist. Hier werden die Makroblockadresse, die Quantisierungsskalierung, der Typ und die DCT-Koeffizienten zum Decoder übertragen. Bei intercodierten Makroblocks wird zwischen rückwärts vorhergesagten (backward predicted) Macroblocks und vorwärts vorherbestimmtem (forward predicted) Macroblocks unterschieden. Da sich bestimmte Bildteile in aufeinander folgenden Bildern nicht ändern oder sich nur deren Position im Bild ändert, wird bei backward predicted Macroblocks der Inhalt und die Lage aus dem vorangegangenen I- oder P-Bild vorherbestimmt. Dieser Typ wird bei P- und B-Bildern verwendet. Der forward predicted Macroblock wird aus dem nachfolgenden I- oder P-Bild ermittelt. Dazu müssen die zeitlich folgenden Bilder decodiert vorliegen. Das führt zu einer größeren zeitlichen Verzögerung des Systems. Forward predicted Makroblocks werden nur bei B-Bildern verwendet. Mit den Bewegungsvektoren werden dem Decoder die Positionsänderungen des Blocks relativ zum Referenzbild mitgeteilt. Übertragen 5 34 Sonderfall: Slicelänge = Bildbreite minimale Slicelänge = Makroblock werden die Makroblockadresse, die Bewegungsvektoren, der Typ und wenn der Bildinhalt dies erfordert die Quantisierungsskalierung und die DCT-Koeffizienten. Die höchste Verarbeitungsebene innerhalb eines Bildes wird durch das Slice gebildet. Ein Slice ist eine zusammenhängende Anzahl von Makroblöcken. Die Slices dienen vor allem der Fehlertoleranz des Systems. Im Fall von Übertragungsfehlern kann der Decoder auf den Beginn des folgenden Slices neu aufsynchronisieren. Zu diesem Zweck werden 32 Bit für die Synchronisation am Anfang eines jeden Slices übertragen. Die Anzahl und Anordnung der Slices eines Bildes ist nicht fest vorgegeben. Ein Bild kann aus einem einzigen Slice bestehen oder wie in Bild aus einer Anzahl Slices unterschiedlicher Größe. Jedem Slice wird bei der Codierung ein Header vorangestellt. Der Header enthält neben der Synchroninformation die Nummer des Slice, Angaben der vertikalen Position des Slice im Bild und die Anzahl der Makroblöcke, die der Slice enthält. Diese Angabe ist für die Decodierung von skipped Macroblocks wichtig. Anhand der Makroblockadressen kann der Decoder die nicht übertragenen Makroblöcke erkennen und wiederherstellen. Skipped Macroblocks sind in I-Bildern sowie am Anfang und Ende eines Slice nicht erlaubt Prädiktion und Bewegungsschätzung Die Werkzeuge Prädiktion 7 und Bewegungsschätzung stellen den wichtigsten Anteil an der Datenreduktion von Bildfolgen dar. Beide Verfahren sind in ihrer Funktion außerordendlich komplex. Die nach einer Decodierung des Datenstroms erzielbare Bildqualität hängt in besonderem Maß von den im Encoder für die Prädiktion und Bewegungsschätzung eingesetzten Algorithmen ab. Der Aufbau von MPEG erlaubt es den Herstellern, diese Algorithmen laufend weiter zu entwickeln. Im nachfolgenden Teil wird die Prädiktion und die Bewegungsschätzung an einem überschaubaren Beispiel beschrieben. Bei diesen Verfahren wird der Umstand genutzt, dass sich in der Regel aufeinander folgende Bilder nur geringfügig voneinander unterscheiden. Es liegt deshalb nahe, in diesen Fällen nur die Unterschiede zum vorhergehenden Bild zu übertragen. Für die bei MPEG erreichbaren Kompressionsfaktoren reicht diese einfache Vorgehensweise nicht aus. Mit der zusätzlichen Einbeziehung der bewegten Teile des Bildes in die Codierung wird eine deutlich stärkere Datenreduktion erreicht. Diese Vorgänge werden anhand von Bild erläutert. Das Bild zeigt zwei Bilder aus einer Sequenz. Das linke Bild soll intracodiert sein, das rechte soll aus dem linken I-Bild prädiziert codiert werden. In beiden Bildern ist zum besseren Verständnis die Makroblockstruktur eingezeichnet. Auf die zusätzliche Darstellung der Slice- Struktur wird hier verzichtet, weil sie für die im Folgenden beschriebenen Arbeitsschritte von untergeordnetem Interesse ist. Im Encoder muss ein Differenzbild erzeugt werden, anhand dessen ermittelt werden kann, an welchen Stellen des Bildes zusätzlicher Aufwand erforderlich ist. Alle im Differenzbild schwarz erscheinenden Makroblöcke können als skipped Makroblöcke codiert werden. Dabei muss beachtet werden, dass der jeweils erste und letzte Makroblock eines Slice mit übertragen werden muss. Im Decoder werden die skipped Makroblocks durch den Inhalt des bereits übertragenen I-Bildes ersetzt. Das setzt einen entsprechend großen Speicher auf der Empfangsseite voraus. Bei den Teilen des Bildes, bei denen die Differenz nicht Null ist, setzt die Bewegungsschätzung an. Dabei wird im Encoder untersucht, ob Makroblöcke des Ausgangsbildes im prädizierten Bild an anderen Positionen wieder erscheinen. In diesen Fällen reicht es aus, die neue 7 Prädiktion: Vorhersage, Voraussage. 454

12 Bild N intracodier = Bild N+M prädiziert Beide Makroblöcke haben den gleichen Inhalt. Es werden die Vektoren übertragen. Im Decoder wird der Makroblock aus dem Ausgangsbild um den in den Vektoren ange- gebenen Betrag verschoben in das prädizierte Bild eingefügt. Die schwarzen Makroblöcke im Differenzbild weisen keinen Unterschied zum vorher- gehenden I-Bild auf. Es werden keine Bildinformationen übertragen. Im Decoder wird an diesen Stellen der Bildinhalt des I-Bildes in das prädizierte Bild eingefügt. Differenz der Bilder Dort, wo sich der Bildinhalt stark geändert hat, wird der entsprechende Markroblock des prädizierten Bildes intracodiert übertragen. Position des Blocks in Form von Vektoren zu übertragen. Im Decoder wird der Inhalt des betreffenden Blocks aus dem gespeicherten I-Bild entnommen und an die neue Position im aktuellen Bild eingefügt. An den Stellen des prädizierten Bildes, die nicht durch verschobene Makroblocks des Ausgangsbildes ersetzt werden können, werden vom Encoder intracodierte Makroblocks des prädizierten Bildes übertragen. Um Fehler bei der Decodierung gering zu halten, wird im Encoder für das Ausgangsbild nicht das Original, sondern das aus dem gewonnenen Datenstrom decodierte I-Bild verwendet. Damit ist sichergestellt, dass für den Codiervorgang des P-Bildes das gleiche Datenmaterial, das auch dem Decoder zur Verfügung steht, verwendet wird. Bei den zwischen I- und P-Bild angeordneten B-Bildern erfolgt die Codierung in vergleichbaren Arbeitsschritten. Bei der Bewegungsschätzung werden die neuen Positionen der Makroblöcke aus dem vorangehenden I-Bild und dem nachfolgenden P-Bild ermittelt. Es ist ebenso möglich, aus den korrespondierenden 8 Makroblöcken der zwei Ausgangsbilder Mittelwerte zu bilden, die dann in das B-Bild an der entsprechenden Position eingefügt werden. Makroblöcke, die nicht mehr aus den beiden Ausgangsbildern gewonnen werden können, müssen intracodiert übertragen werden. Welche der hier kurz angesprochenen Verfahren bei der Codierung zur Anwendung kommen, wird durch die Algorithmen im Encoder bestimmt. Die im Encoder implementierten Verfahren werden zu einem großen Teil vom Hersteller eingebracht. Das hat zur Folge, dass eine bestimmte Bildvorlage von Encodern unterschiedlicher Hersteller auch unterschiedlich codiert wird. Halten sich die Hersteller streng an die MPEG-Norm, liefern, trotz unterschiedlicher Codierung, alle Encoder einen Datenstrom, der von allen MPEG-Decodern verarbeitet werden kann. Unterschiede können sich hier vor allem bei der Qualität des decodierten Bildes zeigen Profiles und Levels Die bisher vorgestellten Werkzeugsammlungen erlauben es den Anwendern, nahezu beliebige Kompressionsraten mit der gewünschten Qualität zu erzeugen. Hierzu können die beschriebenen Verfahren in freier Kombination eingesetzt werden. Diese Vorgehensweise verhindert praktisch die allgemeine Austauschbarkeit des komprimierten Bildmaterials, es sei denn die Decoder beherrschen grundsätzlich sämtliche Eigenschaften des Systems. Das widerspricht dem Gebot der Wirtschaftlichkeit auf der Seite der Decoder. Um umfangreiche Austauschbarkeit und unkomplizierte Decoder zu erhalten, wurden bestimmte MPEG-2- Konfigurationen zu so genannten Profiles und Levels zusammengefasst. Ein Profile definiert aus der Menge der Werkzeuge der Norm eine bestimmte Anzahl, die in diesem Profile genutzt werden darf. Jeder Decoder, der dieses Profile beherrscht, kann den Datenstrom verarbeiten. Die Level legen innerhalb eines Profiles wichtige Bildparameter fest. Hierzu gehören u. a. die unterschiedlichen Bildauflösungen, die für die Decodierung benötigten Speichergrößen und die maxima- 8 korrespondieren: in Verbindung stehen, übereinstimmen. Bild : Prinzip der Prädiktion 455

13 Simple Profile Main Profile SNR Scalable Spatially High Profile Profile Scalable Pofile Low 4:2: 4:2: Level Pixel Pixel 4 Mbit/s 4 (3) Mbit/s MP@LL SNRP@LL Main 4:2: 4:2: 4:2: 4:2:, 4:2:2 Level Pixel Pixel Pixel Pixel 5 Mbit/s 5 Mbit/s 5 () Mbit/s ( ) SP@ML MP@ML SNRP@ML 2 (5,4) Mbit/s HP@ML High- 4:2: 4:2: 4:2:, 4:2: Level Pixel Pixel Pixel 6 Mbit/s (72 576) (72 576) MP@H4L 6 (4,5) 8 (6,2) Mbit/s Mbit/s SSP@H4L HP@H4L High :2:, 4:2:2 Level Pixel Tabelle: Zusammenstellung der Profiles und Levels in MPEG-2 Bild 2: Typisches Verhältnis der Datenmengen in Abhängigkeit der Codierung bei MPEG-2 relative Datenmenge len Größen der Bewegungsvektoren. Die Profiles und Levels sind abwärtskompatibel. Das bedeutet, dass ein höheres Profile oder ein höherer Level alle niederwertigen Profiles und Levels mit beinhaltet. Eine Übersicht über die Profiles für die in Europa genutzte Bildfolgefrequenz von 25 Hz zeigt die Tabelle. In der Tabelle sind für jede Profile- Level-Kombination die Abtastung des Eingangssignals, die Auflösung des Bildes, die maximal erlaubte Datenrate und die Kurzbezeichnung angegeben. Die Angabe MP@ML wird z. B. als Main Profile at Main Level gesprochen. Die Unterschiede der einzelnen Profiles stellen sich wie folgt dar: Das Simple Profile codiert nur I- und P-Bilder. Da hier B-Bilder I P B 8 Mbit/s Pixel MP@HL Bildcodierung (96 576) (8,25) Mbit/s HP@HL nicht erlaubt sind, können Decoder besonders einfach aufgebaut werden. Das Main Profile kann alle heute gebräuchlichen Bildsignale mit Standardqualität verarbeiten. Das SNR 9 Scalable Profile ermöglicht es den Datenstrom derartig zu codieren, dass ein Empfänger bei schlechtem Eingangssignal noch ein Bild mit verminderter Qualität darstellen kann. Der Datenstrom wird zu diesem Zweck in einen Basisdatenstrom (Base Layer) mit erhöhtem Fehlerschutz und einen Datenstrom mit Zusatzinformationen (Enhancement Layer) aufgeteilt. Bei gutem Eingangssignal kann ein Empfänger das Bild in voller Qualität wiedergeben. Verschlechtert sich das Eingangssignal, z. B. beim mobilen Empfang, fällt das Bild nicht übergangslos aus, sondern es wird mit verminderter Qualität wiedergegeben. Der Fachausdruck für derartige Eigenschaften eines digitalen Signals heißt Graceful Degradation. In der Tabelle sind die maximalen Datenraten des Basisdatenstroms in Klammern angegeben. Das Spatially Scalable Profile (örtliche Skalierbarkeit) erweitert das SNR Scalable Profile um die Eigenschaft der unterschiedlichen Bildauflösung zwischen dem Basisdatenstrom allein und dem Basisdatenstrom in Verbindung mit dem Zusatzdatenstrom. Als Anwendung können hier HDTV-Signale so codiert werden, dass ein Standardempfänger den Basisdatenstrom nutzt und ein Bild mit normaler Auflösung darstellt. Der HDTV-Empfänger kann bei gutem Eingangssignal die volle HDTV-Qualität wiedergeben. Bei schlechtem Eingangssignal kann er immer noch den Basisdatenstrom für die Bildwiedergabe nutzen. Das High Profile beinhaltet alle Eigenschaften der bisher aufgezählten niederen Profiles. Zusätzlich können auch Signale mit 4:2:2-Abtastung übertragen werden. Eine Sonderform des High Profile wird im Produktionsbereich verwendet. Verbunden mit der 4:2:2-Abtastung enthält der Datenstrom nur I-Bilder. Das Signal ist dann vergleichbar mit M-JPEG. Derartig codierte Bildfolgen lassen sich in der digitalen Ebene ohne Qualitätsverlust bildgenau schneiden. 4.4 Regelung des Ausgangsdatenstroms Das Ergebnis der Codierung liefert für jedes Bild eine andere Datenmenge. Systembedingt weisen I-Bilder die größte Datenmenge auf, gefolgt von den P- und B-Bildern. Ein I-Bild wird beim MP@ML im Mittel durch eine Datenmenge von 4 KB, ein P-Bild durch 4 KB und ein B-Bild durch 2 KB dargestellt. Zur besseren Veranschaulichung zeigt Bild 2 dies in Form eines Säulendiagramms. Da MPEG-Signale über die vorhandenen Datenübertragungswege geführt werden, ist es notwendig eine konstante Datenrate am Ausgang des Encoders zu erhalten. Zu diesem Zweck enthält der Encoder am Ausgang einen Pufferspeicher. In diesem Speicher werden die codierten Bildinformationen geschrieben. Der Speicherinhalt wird mit konstanter Datenrate ausgelesen. Speichergröße, Kompression und Datenrate müssen aufeinander abgestimmt sein. Andernfalls kann es zum Über- oder Unterlauf des Puffers kommen. Aus diesem Grund sind für die einzelnen Profile-Level- Kombinationen Puffergrößen für den Encoder und den Decoder festgelegt worden. Den prinzipiellen Verlauf eines Pufferfüllstandes über eine Bildsequenz zeigt das Bild 3. Als Ausgangsmaterial wird hier die in Bild 8 angegebene Folge von I-, P- und B-Bildern angenommen. 9 SNR: Abk. Signal to Noise Ratio. 456

14 Trotz der bisher beschriebenen Maßnahmen kann ein Über- oder Unterlauf des Puffers bei bestimmten Bildinhalten nicht ausgeschlossen werden. Deshalb wird die Datenmenge aus der Bildcodierung in Abhängigkeit vom Füllstand des Puffers geregelt. Praktisch geschieht das über eine variable Quantisierung. Droht der Füllstand des Puffers zu hoch zu werden, wird gröber quantisiert. Damit sinkt die Datenmenge, die im Codierprozess entsteht. Dies wirkt sich jedoch auch auf die Bildqualität aus. Bei geringem Füllstand muss feiner quantisiert werden, um ein Leerlaufen des Puffers zu verhindern. Der Pufferfüllstand wirkt zurück auf den Wert der Quantisierungsskalierung. Die im Quantisierer mittels der Quantisierungsmatrix gewonnenen Werte werden zusätzlich durch den Faktor der Quantisierungsskalierung geteilt. Damit werden ursprüngliche Quantisierungsstufen beeinflusst. Die Quantisierungsskalierung gilt gesondert für jeden Makroblock. Der Encoder muss hierbei auch den Füllstand des Eingangspuffers des Decoders berücksichtigen. Der Eingangspuffer des Decoders wird mit einem konstanten Datenstrom gefüllt. Die Entleerung erfolgt jedoch in unterschiedlichen Größen, abhängig von der Art des entnommenen Bildes. Auch hier darf kein Über- oder Unterlauf des Füllstandes vorkommen. Die variable Quantisierung zur Sicherstellung eines konstanten Datenstroms stellt den grundlegenden Unterschied zu M-JPEG dar. Die Auswirkungen auf die Bildqualität sind bei sehr kleinen Datenraten oder extremen Bildinhalten zu erkennen. Bei kleinen Datenraten reichen bereits langsame Kameraschwenks aus, um die feinen Strukturen des Bildes aufgrund gröberer Quantisierung verschwinden zu lassen. Sobald das Bild zur Ruhe kommt, wird feiner quantisiert, und die verschwundenen Bildstrukturen werden wieder sichtbar. Unter extremen Bildinhalten sind hier vor allem häufige Schnitte, bei denen sich der vollständige Bildinhalt ändert, zu nennen. Kommt es innerhalb einer GOP zu mehreren Schnitten, ist das System überfordert und liefert nur noch sehr grob 2 Pixel: Die kleinste zerlegbare Einheit eines Bildes (von Picture Element ) auf einem Bildschirm. Mit der Anzahl der Pixel wird u. a. die Auflösung eines Bildschirmes oder einer Grafik beschrieben. GOP Pufferfüllstand Group Of Pictures strukturierten Bildinhalt. Da das Auge sich bei derartigen Bildvorlagen nicht auf ein bestimmtes Bild anpassen kann, ist dieser Effekt in der Regel nicht sehr auffällig. 5 Eigenschaften der MPEG-Codierung Das MPEG-Verfahren setzt eine Korrelation (Wechselbeziehung) der aufeinander folgenden Bilder einer Sequenz voraus. Das Verfahren versagt dann, wenn diese Voraussetzung nicht erfüllt wird. Es ist somit praktisch unmöglich, ein verrauschtes Bild nach der Decodierung in der Qualität des Ausgangsbildes wiederzugeben. Da Rauschen unkorreliert ist, belastet es den Encoder so stark, dass die Auflösung des eigentlichen Bildinhaltes darunter leidet. Auf das Problem der Codierung schneller Bewegungssequenzen wurde bereits eingegangen. Aufgrund der physiologischen Eigenschaften des Auges liegen die hier auftretenden Fehler in der Regel unterhalb der Wahrnehmungsschwelle. Die gröbere Quantisierung bei schnellen Änderungen des Bildinhaltes kann dazu führen, dass die Blockstruktur im Bild erkennbar wird. Dieser Fehler wird Blocking genannt. Blocking darf hier nicht mit der sichtbaren Blockstruktur des Ausgangssignals einiger Decoder bei Ausfall der Decodierung verwechselt werden. Werden im Rahmen der digitalen Bildbearbeitung, z. B. bei der Erzeugung von Effekten, einzelne Pixel 2 in den Bereich eines anderen Blocks verschoben, können ebenfalls sichtbare Fehler auftreten. Diese Fehler werden Pixelshift genannt. I P3 B B2 P6 B4 B5 Bild Typ und Nr. in der GOP 6 Schlussbetrachtung Die ständige technische Weiterentwicklung, die vor allem die Leistungsfähigkeit der Signalverarbeitung steigert, hat gerade im Bereich der Bildkompression zu einer steigenden Bildqualität geführt. Schnellere Signalprozessoren erlauben bei den in Echtzeit arbeitenden Encodern den Einsatz intelligenterer Algorithmen. MPEG-2-Signale galten bis vor kurzem als ausschließlich für die Signalverteilung zum Endkunden geeignet. Durch die Entwicklung neuer Verarbeitungsverfahren, z. B. synchrones Decodieren und Codieren, sind MPEG-Signale auch im Produktionsbereich einsetzbar geworden. Diese Systeme erlauben ohne nennenswerten Qualitätsverlust die Bearbeitung von Datenströmen, die I-, P- und B-Bilder enthalten. Es kann davon ausgegangen werden, dass komprimierte Bildsignale in naher Zukunft auf allen Netzebenen die Regel sein werden. Auf Grund des Kostendrucks werden die Betreiber rundfunktechnischer Einrichtungen diesen Weg beschreiten müssen. (He) Internetadresse Unter können Links zu weiteren Systeminformationen und MPEG-Software aufgerufen werden. Bild 3: Typischer Verlauf des Füllgrades des Datenpuffers innerhalb einer GOP 457