Technische Universität Braunschweig

Transkript

1 Technische Universität Braunschweig Institut für Betriebssysteme und Rechnerverbund Prof. Dr.-Ing. Lars Wolf Prof. Dr.-Ing. Michael Beigl Untersuchung der Akzeptanz verschiedener Anpassungsmethoden für Videoströme Diplomarbeit im Studiengang Elektrotechnik Verfasser: Hannes Gabsch Matrikel-Nr Betreuer: Dipl.-Inform. Jens Brandt Braunschweig, den

2 Erklärung über die selbstständige Anfertigung Erklärung Ich versichere, die vorliegende Arbeit selbstständig und nur unter Benutzung der angegebenen Hilfsmittel angefertigt zu haben. (Ort, Datum) (Unterschrift) II

3 Kurzfassung Die Zufriedenheit der Endbenutzer mit Videoqualität und Angebotsvielfalt wird ein bedeutender Faktor für den Erfolg neuer in den Massenmarkt drängender mobiler Videotechnologien sein. Deshalb ist eine effektive Transcodierung bei gleichzeitig hoher wahrgenommener Qualität entscheidend für den kommerziellen Erfolg. Mobile Video-Wiedergabegeräte benötigen ein auf ihre speziellen Anforderungen angepasstes Video. Es gibt verschiedene Möglichkeiten bei einer Transcodierung die einzelnen Parameter des Videos an das Endgerät anzupassen. In dieser Diplomarbeit wird untersucht, wie die entsprechenden Parameter variiert werden können und wie sich diese Veränderung sowohl auf die subjektiv von Endbenutzern wahrgenommene Qualität als auch auf die nach objektiven Kriterien mathematisch ermittelte Qualität auswirkt. Die Ergebnisse werden unter Berücksichtigung verschiedener Videoinhalte und unterschiedlicher Datenraten miteinander verglichen. Dazu wird ein Videocodec nach dem MPEG-4 Standard und als Testgerät ein PDA (ipaq der Firma HP) eingesetzt. Ein weiteres Ziel dieser Arbeit ist die Ermittlung derjenigen Datenrate, bei der eine optimale Qualität auf dem Endgerät erreicht wird, so dass eine weitere Erhöhung der Datenrate zu keiner sichtbaren Verbesserung der Qualität führt. Eine statistische Auswertung der Untersuchungsergebnisse, die möglichen Übertragungswege für mobiles Video und objektiven Methoden zur Videobewertung werden vorgestellt und analysiert. Abstract The contentment of the end user concerning video quality and diversity will be a conclusive factor for the market performance of new technologies pressing into the market for mobile video. Therefore an effective transcoding with concurrently good perceived quality is crucial for the future commercial success. Mobile video players require content, which is specifically encoded for each type of device. There are several possibilities to meet those requirements. In this diploma thesis, the influence of these adjustable transcoding parameters on perceived video quality on the one hand and the objective video quality measured by mathematical methods on the other hand is examined. For this purpose a video codec conform to the MPEG-4 standard is used for video encoding and an ipaq from HP is used for playback. Afterwards the results of the subjective tests using different bitrates and contents are presented and compared. Additionally, the devices bit rate for optimal quality is determined. At this level, a further increase of the bit rate does not result in an enhanced subjective quality perceived by the potential users. The results are statistically analysed and presented together with the potential transmission paths for mobile video and algorithms for mathematical calculation of objective video qualities. III

4

5 Vorgegebene Aufgabenstellung Hier kommt das Original hin IV

6

7 Inhaltsverzeichnis Titelblatt...I Erklärung über die selbstständige Anfertigung...II Kurzfassung... III Abstract... III Vorgegebene Aufgabenstellung...IV Inhaltsverzeichnis... V Abkürzungsverzeichnis...VII Abbildungsverzeichnis...IX Tabellenverzeichnis... X Formelverzeichnis...XI 1 Einleitung Verwandte Arbeiten Videokomprimierung Analoge Videokomprimierung Interlace Historie digitaler Videokomprimierung Der MPEG-4 Standard ISO Farbcodierung im MPEG Standard Videokomprimierung nach H Multipass Encoding und Ratecontrol Bewertung von Videokomprimierung Subjektive Methoden Framevergleich Objektive Methoden Verfahren auf Einzelbildebene PSNR JDEC (auch Sarnoff JNDmetrix) SSIM Alternative Methoden zur Videoqualitätsbewertung Übertragungswege UMTS Mögliche Nutzerzahl bei UMTS Abrechnungsmodelle bei UMTS Broadcaststandards Abrechnungsmodelle bei Broadcast Mobiles Internet (WLAN) Abrechungsmodelle für WLAN Stationärer Datentransfer DVB-H T-DMB Vodafone LIVE T-Mobile TV Vergleich der Standards für mobiles Video Codierung des Videomaterials für das Testgerät Der HP ipaq Technische Daten des ipaq Auflösung Farbtiefe V

8 6.5 Quantisierung Framerate Datenrate Multipass und Ratecontrol Resizing und Cropping Deinterlacing Audiocodierung für Nachrichtensendungen Genutzte Programme Ausgangsmaterial Bearbeitung des Videomaterials Nachrichtensendung Fußballspiel Kinotrailer Comic Kinotrailer Realfilm Auswahl der Codierungsparameter Ermitteln der optimalen Qualität Subjektive Bewertung Framevergleich von Videos mit verschiedenen Auflösungen Aufbau des Tests zur Framerate / Quantisierung Durchführung der Befragung Test zur Framerate / Quantisierung Test zur optimalen Qualität Auswertung der Ergebnisse Statistische Auswertung Signifikanztests Chi-Quadrat Anpassungstest Approximativer Gaußtest Bravais-Pearson-Korrelationskoeffizient Fußball mit 180 kbit/s Animationsfilm mit 180 kbit/s Realfilm-Kinotrailer mit 180 kbit/s Nachrichtensendung mit 180 kbit/s Fußball mit 90 kbit/s Test zur optimalen Qualität Darstellung und Analyse der Ergebnisse Fazit Ausblick Quellenverzeichnis Anhang: Aufbau der CD... A VI

9 Abkürzungsverzeichnis 3GPP 3rd Generation Partnership Project AAC Advanced Audio Coding AMR-WB Adaptive Multirate Codec / Wide Band AVC Advanced Video Coding AVI Audio Video Interleaved B-Frame Bidirectional coded Frame CD Compact Disc CODEC Coder/Decoder DAB Digital Audio Broadcasting db Dezibel DCT diskrete Cosinustransformation DMB Digital Multimedia Broadcasting DRM Digital Rights Management DVB Digital Video Broadcasting DVB-C Digital Video Broadcasting-Cable DVB-H Digital Video Broadcasting for Handhelds DVB-S Digital Video Broadcasting-Satellite DVD Digital Versatile Disc fps frames per second GNU GNU's Not Unix GPL GNU General Public License GSM Groupe Spécial Mobile oder Global System for Mobile communications HDTV High Definition Television HP Hewlett Packard HSDPA High Speed Downlink Packet Access IBM International Business Machines IEEE Institute of Electrical and Electronics Engineers I-Frame Intra Coded Frame ISO Internationale Organisation für Normung ITU International Telecommunication Union JND Just Noticeable Difference JPEG Joint Photographic Experts Group MBMS Multimedia Broadcast/Multicast Service MFD Mobiles Fernsehen Deutschland MPEG Motion Pictures Expert Group OGM Ogg Media PAL Phase Alternating Line PDA Personal Digital Assistent PDF Portable Document Format P-Frame Predictive coded Frame PSNR Peak signal-to-noise ratio PVQA Perceptual Video Quality Assessment QCIF Quarter Common Intermediate Format QCIF Quarter Common Intermediate Format QVGA Quarter Video Graphics Array RAM Random Access Memory ROM Read-Only-Memory VII

10 SSCQE SSIM TCPMP T-DMB TFT UKW UMTS UQI VOD VOP WLAN Single-stimulus continuous quality Evaluation Structural Similarity The Core Pocket Media Player Terrestrial Digital Multimedia Broadcasting Thin-Film Transistor Ultra Kurzwelle Universal Mobile Telecommunications System Universal Quality Index Video-on-Demand Video Object Plane Wireless Local Area Network VIII

11 Abbildungsverzeichnis Abbildung 1: 4:2:0 Farbcodierung, gesamtes Bild, Luminanz und Chrominanz einzeln (aus [Grages]) Abbildung 2: PSNR Werte (Fußball 180 kbit/s 25 fps) Abbildung 3: Schema für die SSIM Berechnung aus [SSIM] Abbildung 4: SSIM für verschiedene Datenraten - Fußballvideo 25 Frames pro Sekunde Abbildung 5: Best-Server-Zellstruktur für Berlin (aus [Unger]) Abbildung 6: Durchsatz in einem WLAN Netzwerk, abhängig von der Zahl der Clients (aus [Vasan]) Abbildung 7: HP ipaq hx2000 Pocket PC-Serie (Quelle: HP Homepage) Abbildung 8: Testvideo Nachrichtensendung Abbildung 9: Testvideo Fußballspiel Abbildung 10: Testvideo Kinotrailer Comic Abbildung 11: Testvideo Kinotrailer Realfilm Abbildung 12: Originalvideo nach Resizing Abbildung 13: codiertes Video in 320*240 Auflösung ( Fußball 180 kbit/s) Abbildung 14: Video in 240*180 Auflösung (Fußball 180 kbit/s) Abbildung 15: bevorzugtes Video Abbildung 16: Schulnote - Fußball 180 kbit/s Abbildung 17: Alters- und Geschlechterverteilung - Fußball 180 kbit/s Abbildung 18: Y-PSNR Werte der Luminanz - Fußball 180 kbit/s Abbildung 19: SSIM Index - Fußball 180 kbit/s Abbildung 20: bevorzugtes Video Abbildung 21: Schulnote Abbildung 22: Alters- und Geschlechtsverteilung - Animationsfilm 180 kbit/s Abbildung 23: Y-PSNR Werte - Animationsfilm 180 kbit/s Abbildung 24: Alters- und Geschlechtsverteilung - Kinotrailer Realfilm 180 kbit/s Abbildung 25: bevorzugtes Video Abbildung 26: Schulnote Abbildung 27: Y-PSNR Werte - Skeleton 180 kbit/s Abbildung 28: Alters- und Geschlechtsverteilung - Tagesschau 180 kbit/s Abbildung 29: bevorzugtes Video Abbildung 30: Schulnote - Tagesschau 180 kbit/s Abbildung 31: Y-PSNR - Tagesschau 180 kbit/s verschiedene Frameraten Abbildung 32: SSIM Werte - Tagesschau 180 kbit/s verschiedene Frameraten Abbildung 33: Alters- und Geschlechtsverteilung - Fußball 90 kbit/s Abbildung 34: bevorzugtes Video - Fußball 90 kbit/s Abbildung 35: Schulnote - Fußball 90 kbit/s Abbildung 36: Y-PSNR - Fußball 90 kbit/s verschiedene Frameraten Abbildung 37: SSIM - Fußball 90 kbit/s verschiedene Frameraten Abbildung 38: Y-PSNR - Vergleich verschiedener Daten- und Frameraten - Fußballvideo Abbildung 39: SSIM - Vergleich verschiedener Daten und Frameraten Fußballvideo Abbildung 40: Paarvergleich praktische und theoretische Verteilung Abbildung 41: z-wert einer Standardnormalverteilung (aus [Weichbold]) Abbildung 42: Alters- und Geschlechterverteilung (Test zur optimalen Qualität) Abbildung 43: Y-PSNR Werte - Fußball verschiedene Bitraten Abbildung 44: SSIM Werte - Fußball verschiedene Bitraten IX

12 Tabellenverzeichnis Tabelle 1: Visual Tools von verschiedenen MPEG-4 Profilen... 9 Tabelle 2: Bravais-Pearson-Korrelationskoeffizienten - PSNR (Fußball 180 kbit/s 25 fps) Tabelle 3: Korrelationskoeffizienten Fußballvideo Tabelle 4: Tarife WLAN-Hotspots (T-Mobile) Tabelle 5: Übersicht - Videoparameter der verschiedenen Videos Tabelle 6: Beispielwerte Chi-Quadrat Anpassungstest Tabelle 7: Korrelationskoeffizienten - Fußball 180 kbit/s Tabelle 8: Mittelwert PSNR und SSIM - Fußball 180 kbit/s Tabelle 9: Durchschnittliche Y-PSNR Werte - Madagaskar 180kbit/s Tabelle 10: Ergebnis des Chi-Quadrat Signifikanztests Madagaskar 180 kbit/s Tabelle 11: Mittelwerte Y-PSNR - Skeleton 180 kbit/s Tabelle 12: Ergebnisse der Chi-Quadrat Signifikanztests Skeleton 180 kbit/s Tabelle 13: Mittelwerte Y-PSNR und SSIM - Tagesschau 180 kbit/s Tabelle 14: Ergebnisse der Chi-Quadrat Signifikanztests - Tagesschau 180 kbit/s Tabelle 15: Mittelwerte Y-PSNR und SSIM - Fußball 90 kbit/s Tabelle 16: Beispielauswertung Paarvergleich: Präferenzen für Unterrichtsfächer (aus [Bortz]) Tabelle 17: Paarvergleich zur optimalen Qualität Ergebnisse der Befragung - unnormiert. 70 Tabelle 18: Paarvergleich zur optimalen Qualität Ergebnisse der Befragung - richtige Antworten Tabelle 19: Paarvergleich zur optimalen Qualität Wahrscheinlichkeit einer richtigen Antwort Tabelle 20: Paarvergleich zur optimalen Qualität relative Häufigkeiten Tabelle 21: z-werte und Skalenwerte - Paarvergleich zur optimalen Qualität Tabelle 22: Paarvergleiche - Einteilung in leichte und schwere Vergleiche Tabelle 23: geratene Ergebnisse und richtige Antworten - Paarvergleich zur optimalen Qualität Tabelle 24: Ergebnisse der Signifikanztests (approximativer Gaußtest) und Verwerfungsbereiche Tabelle 25: Y-PSNR und SSIM Werte - Fußball verschiedene Bitraten X

13 Formelverzeichnis Formel 1: Peak Signal to Noise Ratio (PSNR) Formel 2: Webersches Gesetz Formel 3: Weber-Fechner-Gesetz Formel 4: Universal Quality Index (UQI) Formel 5: Chi-Quadrat-Anpassungstest - Testfunktion Formel 6: Approximativer Gaußtest Vorraussetzung zur Anwendung Formel 7: Approximativer Gaußtest - Testfunktion Formel 8: Beavais-Pearson-Korrelationskoeffizient Formel 9: statistische Wahrscheinlichkeit - Paarvergleich Formel 10: z-werte der Standardnormalverteilung XI

14

15 1 Einleitung 1 Einleitung Bisher ist der mobile Empfang von TV Signalen nur mit großen Einschränkungen möglich. Das liegt unter anderem daran, dass bei Planung und Aufbau des terrestrischen Sendernetzes die Möglichkeiten für mobilen Empfang nicht berücksichtigt wurden. Es existieren zwar verschiedene Lösungen, um z.b. im Auto während der Fahrt terrestrisches Fernsehen empfangen zu können, da jedoch die TV Programme regional verschieden sind und die Empfangsbedingungen stark schwanken, müssen die Frequenzen oft gewechselt werden und an vielen Orten ist ohne Richtantenne mit hohem Gewinn kein TV Empfang möglich. Zusätzlich ist die Programmvielfalt eingeschränkt, da außerhalb der Ballungsräume als Grundversorgung nur die drei öffentlich-rechtlichen Programme empfangen werden können. Als Alternative zum mobilen terrestrischen Empfang gab es Versuche mit elektrisch verstellbaren Richtantennen (beam forming) für den TV-Satellitenempfang, z.b. im Auto. Diese Lösung funktioniert jedoch nur zusammen mit einer relativ großen Flachantenne, die auf dem Dach eines PKW montiert und daher nicht portabel ist. Ist die Sichtverbindung zum Satelliten z.b. durch ein Gebäude unterbrochen, ist ebenfalls kein Programmempfang möglich. Da der Preis für diese neue Technik noch relativ hoch ist, hat der Einstieg in den Massenmarkt bisher nicht stattgefunden. Eine Videoübertragung via Mobilfunk ist aufgrund der notwendigen Datenraten erst mit Netzen der dritten Generation möglich, die kommerzielle Einführung dieser Dienste findet gerade weltweit statt. Die Betreiber erhoffen sich dadurch in den neuen Netzen steigende Nutzerzahlen. Durch diese Videoapplikationen könnte sich ihr technischer Mehrwert erstmals vielen Kunden erschließen. Im Zuge der Digitalisierung der terrestrischen Fernsehübertragungskanäle wurde daran gedacht, Sendefrequenzen für die Nutzung mit mobilem Fernsehen (für die Standards DVB-H und T-DMB) zu vergeben. Diese Vergabe hat inzwischen in den meisten Bundesländern stattgefunden, erste Tests in Deutschland sind zur Fußballweltmeisterschaft in Ballungsräumen gestartet worden. Um über die neuen Verbreitungswege ein möglichst großes Programmangebot realisieren zu können, ist es wichtig, die benötigte Datenrate der TV Programme zu reduzieren. Das ist zum einen durch den Einsatz moderner Videokompressionsverfahren, zum anderen durch Anpassung von verschiedenen Parametern möglich. Wie man sie setzt, um für den Benutzer ein möglichst ansehnliches Ergebnis zu erhalten, soll in dieser Diplomarbeit untersucht werden. Da die Nutzer (anders als bei stationärem terrestrischem Fernsehen) für den Empfang meistens zusätzliche Gebühren zahlen müssen, ist es besonders wichtig, ein für die meisten Nutzer akzeptables Verhältnis zwischen Programmvielfalt und Bildqualität zu erreichen. Die Videoparameter beeinflussen dabei unterschiedlich stark die Datenrate und Videoqualität. Welcher Videocodec endgültig für die Codierung eingesetzt wird, ist von der Parameterwahl zunächst unabhängig. Ein Qualitätsvergleich für verschiedene Codecs nach dem MPEG-4 Standard wurde z.b. in [Jumisko] und [Codec_Comp] durchgeführt. In dieser Arbeit wird jedoch versucht, eher grundsätzliche Untersuchungen zur Akzeptanz der verschiedenen Anpassungsmethoden für Videoströme durchzuführen, die losgelöst von der aktuellen Entwicklung der Videocodierung untersucht werden. Die untersuchten Parameter der Videocodierung können grundsätzlich dann zum Einsatz kommen, wenn es darum geht, ein für den Zuschauer akzeptables Video mit einer möglichst geringen Bandbreite zu erzeugen. Da mobiles Video auf anderen Endgeräten betrachtet wird als klassisches Video und sich die verwendeten Geräte u.a. in der Größe des Bildschirmes stark voneinander unterscheiden, muss hier eine gesonderte Beurteilung stattfinden. Die untersuchte Datenrate von 90 kbit/s bzw. 180 kbit/s kann von allen modernen drahtlosen Kom- 1

16 1 Einleitung munikationstechnologien, wie z.b. UMTS, WLAN, DVB-H und DMB, problemlos bewältigt werden. Mit steigender Benutzerzahl ergeben sich jedoch eventuell Probleme wegen der begrenzten Übertragungsbandbreite (siehe Kapitel 5.2 und 5.6). Für den stationären Empfang dagegen haben sich die Benutzer an volle PAL Auflösung (768*576 Pixel) mit 25 Bildern pro Sekunde gewöhnt, so dass es nicht sinnvoll erscheint, niedrigere Auflösungen und Frameraten einzuführen. Hier geht der Trend der Industrie eindeutig in Richtung höchauflösendes Fernsehen (HDTV) mit wahlweise erhöhter Framerate. Geräte, die das marktübliche HD-Ready Logo tragen [HD-Ready], müssen Bildwiederholfrequenzen von 50 und 60 Hertz progressiv und interlaced unterstützen (siehe Kapitel 3.2). Mit modernen Transcodierungsverfahren ist es möglich, einen Videostream in verschiedenen Auflösungen und Frameraten zur Verfügung zu stellen, ohne jedes Mal den gesamten Prozess einer Decodierung, Anpassung und Neucodierung durchlaufen zu müssen oder den Speicherplatz für ein angepasstes Video zu belegen. Für die Bereitstellung eines Videos mit verschiedenen Frameraten ist es normalerweise nötig, den kompletten Recodierprozess on-the-fly für jede gewünschte Framerate zu durchlaufen. Da eine Differenzcodierung vorliegt, können bestimmte Frametypen nicht einfach ausgelassen werden, um eine niedrigere Datenrate zu erreichen, wie es bei nicht differenzcodierenden Codecs möglich wäre. Dieser Recodierungsvorgang hat einen hohen Rechenaufwand zur Folge, weil bei modernen Codecs nach dem MPEG Standard Bewegungsvektoren zwischen aufeinander folgenden Frames gesucht werden müssen. In [Pejhan] wird eine Implementation vorgestellt, die es erlaubt, diese komplexe Rechenaufgabe der Encodierung vorher offline durchzuführen, um auf dem Transcodierrechner Rechenzeit zu sparen. Diese Methode hat gegenüber der Möglichkeit, vorher alle Videos in allen möglichen Frameraten zu speichern, den Vorteil, dass sie erheblich weniger Speicherplatz benötigt. Es müssen nur die gefundenen Vektoren gespeichert werden. Sie brauchen nur einen Bruchteil des Speicherplatzes, den das recodierte Video belegen würde. Der Transcodierrechner kann nun aus dem Video in der vorliegenden ursprünglichen Framerate die relevanten Frames decodieren, diese durch die (vorher gesuchten) Vektoren verbinden und sie als neuen Datenstrom mit niedrigerer Framerate zur Verfügung stellen. Das ist insbesondere bei der Anpassung für Video-on-Demand von Vorteil. Es ist dadurch möglich, auf eine heterogene Endgerätestruktur einzugehen und das Video individuell auf jedes einzelne Zielgerät anzupassen. Anders als bei Broadcaststandards beziehen Endgeräte für Video-on-Demand jeweils einzeln ihre Datenströme aus den verschiedenen Verbreitungswegen für Datennetze. Sie unterscheiden sich in Verfügbarkeit, Bandbreite und Mobilität sehr stark. Die Fähigkeiten der Endgeräte bezüglich der unterstützten Videocodecs und Performance können auch entscheidend differieren. Die jeweiligen Anforderungen des Endgerätes können dem Video-on-Demand Server mitgeteilt werden, da in der Regel eine Zwei-Wege- Kommunikation möglich ist. In dieser Arbeit werden die Anpassungsmethoden auf ihre Auswirkungen bezüglich Datenrate und Videoqualität untersucht und bewertet, um für die verschiedenen Endgeräte eine optimale Transcodierung des Inhalts vornehmen zu können. Dazu werden andere Arbeiten, die sich mit diesem Themenkomplex beschäftigen, vorgestellt. Es folgt eine Einführung über Videokomprimierung und deren Bewertungsmöglichkeiten. Danach werden mögliche Übertragungswege für das mobile Umfeld vorgestellt und verglichen. Eine Beschreibung der Videoparameter zusammen mit den durchgeführten Tests und eine Auswertung der gesammelten Daten schließt sich an. Abschließend wird ein Fazit gezogen und ein Ausblick auf die zukünftige Entwicklung gegeben. Nicht alle Fragen zur subjektiven Wahrnehmung von mobilem Video können in dieser Arbeit beantwortet werden. Dafür sind die möglichen Einflussfaktoren zu umfangreich. Einige Beispiele für mögliche Einflüsse, die in dieser Arbeit nicht untersucht und erfasst werden, sind: Kurz- und Weitsichtigkeit, Farbsehschwäche, Audiospur, Betrachtungsabstand, Beleuch- 2

17 1 Einleitung tungsverhältnisse usw. Es wird jedoch versucht mit den zur Verfügung stehenden Mitteln eine möglichst allgemeingültige Aussage über die subjektive Qualität zu erhalten. Dass man bei genauerer Untersuchung bestimmter Einflüsse eventuell zu anderen Schlussfolgerungen kommen könnte, ist nicht auszuschließen und wird auch durch die sich zum Teil widersprechende Literatur bestätigt. 3

18 4 1 Einleitung

19 2 Verwandte Arbeiten 2 Verwandte Arbeiten Die technischen Rahmenbedingungen für Videos haben sich bis zur Einführung der digitalen Videostandards nur sehr langsam verändert. Als Referenz für eine gute Videoqualität dient für viele Nutzer die Projektion im Kino. Seit der kommerziellen Erschließung des Kinos hat es bildtechnisch (neben dem Farbfilm) nur wenige Umstellungen gegeben. Mit der Einführung des Tonfilms wurde die Framerate von anfänglich 18 Bildern pro Sekunde auf heute 24 Bilder pro Sekunde angehoben 1. Alle Versuche, einen neuen Kinostandard mit einer höheren Framerate am Markt durchzusetzen, verliefen bis heute meist erfolglos (z.b. Todd-A0, IMAX HD). Der Zuschauer hat sich an diese Rate gewöhnt und es kann angenommen werden, dass er mit ihr zufrieden ist. Beim Fernsehen wurde die Bildwiederholfrequenz des Fernsehbildes (wegen der in Europa verwendeten Frequenz des Stromnetzes) auf 50 Hertz festgelegt. Es werden aber jeweils nur Halbbilder übertragen, so dass sich eine Framerate von 50 Halbbildern (oder 25 Vollbildern) pro Sekunde ergibt (siehe Kapitel 3.2). Diese Framerate wurde seit Einführung des Fernsehstandards nicht verändert, findet sich auf allen Abspielgeräten und -formaten wieder (z.b. DVD) und wird in den neuen HDTV Standards weiterbenutzt, aber unter anderem ergänzt um die Möglichkeit, auch 50 Vollbilder pro Sekunde zu übertragen. Erst die Entwicklung von digitalen Videostandards mit einem möglichst geringen Bedarf an Datenrate (z.b. für Videotelefonie) führte dazu, dass man sich erneut Gedanken über eine Framerate unterhalb von 24 fps (frames per second) machte. Apteker et al. [Apteker] untersuchten 1995 den Zusammenhang von Framerate und Akzeptanz eines Videos bei einem Nutzer, der sich nicht primär auf das Video konzentrierte. Jedoch ging bei diesem Experiment die Erhöhung der Framerate auch mit einer (fast proportionalen) Erhöhung der Datenrate einher 2. Für diese Arbeit soll die Datenrate (zumindest im Mittelwert) konstant gehalten werden, was eher dem Anwendungsfall bei mobilem Fernsehen und Video-on-Demand entspricht. Das heißt, eine Verringerung der zeitlichen Auflösung geht einher mit einer erhöhten räumlichen Detailvielfalt (erhöhte Wiedergabegenauigkeit jedes einzelnen Bildes). Das hat natürlich auch entscheidenden Einfluss auf die subjektiv wahrgenommene Qualität des Videos. In [Winkler] wird untersucht, ob bei Videobitraten von kbits/s ein nach dem International Telecommunication Union (ITU) H.264 Standard (siehe Kapitel 3.6) codiertes Video in einer QCIF Auflösung von 176*144 Pixeln bei gleicher Datenrate mit 15 oder mit 8 fps bessere subjektive Testergebnisse liefert. In fast allen Anwendungsfällen wird das Video mit 8 fps als besser bewertet. In der Zusammenfassung wird allerdings darauf hingewiesen, dass diese Ergebnisse nur nach weiteren Tests auf andere Auflösungen, Datenraten und Videocodecs übertragen werden können. Masry et al. [Masry] kommen in ihrer Arbeit zu dem Ergebnis, dass bei niedrigen Bitraten Videos mit 15 Frames pro Sekunde bei einem subjektiven Test von den meisten Nutzern gegenüber 10 fps oder 30 fps bevorzugt werden. Dazu haben sie einen SSCQE (Single-stimulus continuous quality evaluation) Test nach ITU-R Recommendation BT [ITU_BT500] durchgeführt. Die 19 Befragten bewerten mit einem analogen Schieber kontinuierlich die Videoqualität und können so sofort auf störende Veränderungen im Video reagieren. Bei der Auswertung sind neben den Mittelwerten besonders die Stellen mit starken Änderungen interessant, um herauszufinden, wie sensibel die Nutzer z.b. auf Artefaktbildung reagieren. 1 Allerdings war der Hauptgrund nicht die flüssigere Bilddarstellung, sondern die höhere Geschwindigkeit, mit der der Film befördert wird. Das ist für die Tonwiedergabe wichtig. 2 Es wurde Indeo RTV 2.1, ein Videocodec, der nicht differenzencodierend arbeitet, eingesetzt. 5

20 2 Verwandte Arbeiten Während des Tests wurde die Framerate im Video verändert und die Bitrate konstant gehalten. Dabei konnte festgestellt werden, dass die Stellen des Videos mit 30 Frames pro Sekunde meistens schlechter bewertet wurden als solche im Video mit 15 oder 10 Frames pro Sekunde. Der Test wurde bei einer Auflösung von 352*240 Bildpunkten durchgeführt, allerdings waren die Ergebnisse auch noch vom Inhalt und selten auch vom eingesetzten Encoder abhängig. Da der Fokus der Arbeit aber auf der Untersuchung von Artefakteffekten auf die Videobewertung lag, wurde auf den Aspekt mit veränderlicher Framerate nur am Rande eingegangen und die Ursachen nicht genauer analysiert. Hauske et al. [Hauske] untersuchen in ihrer Studie bei zehn Befragten unter anderem den Zusammenhang von subjektiver Qualität und Framerate bei Videos in QCIF Auflösung. Die besten Ergebnisse wurden bei 7 fps erzielt. Die Videobitrate betrug 50 und 64 kbit/s bei einem H.264 Codec. 6

21 3 Videokomprimierung 3 Videokomprimierung Das Ziel der Videokomprimierung ist es, den Speicherbedarf (und damit die Datenrate) eines Videos zu reduzieren. Ohne Videokomprimierung würde ein Testvideo von 75 Sekunden Länge, das in dieser Arbeit verwendet wird, etwa eine Größe von 430 MB (und damit eine Datenrate von ca. 46 MBit/s) 3 haben. Die Videokomprimierung lässt sich in verlustlose und verlustbehaftete Videokomprimierung unterteilen. Bei der verlustlosen Videokomprimierung wird nach der Decodierung das ursprüngliche Videosignal exakt zurück gewonnen. Der erreichbare Komprimierungsfaktor ist aber wesentlich geringer als bei verlustbehafteter Komprimierung, deshalb ist verlustlose Videokomprimierung im Endkundensegment fast nicht anzutreffen. Verlustlose Komprimierung hat den großen Vorteil, dass die Qualität des Videomaterials sich nicht verschlechtert. Dieses ist besonders wichtig, wenn das Video nacheinander mehrere Bearbeitungs- (und damit Codierungs-) -schritte durchlaufen soll (z.b. Schnitt, Nachbearbeitung mit Filtern, Einfügen von Untertiteln, usw.). Bei verlustbehafteter Codierung sinkt mit jedem Codiervorgang die Qualität, bei verlustloser Codierung bleibt die ursprüngliche Qualität erhalten. Verlustbehaftete Videokomprimierung versucht mit psychovisuellen Modellen, die Wahrnehmungsungenauigkeiten des menschlichen visuellen Systems auszunutzen, um in den Videobildern nur Details beizubehalten, die ein Betrachter auch wirklich wahrnehmen kann. Alle technisch bedeutenden Systeme für den Endkunden benutzten eine solche Art der Komprimierung. 3.1 Analoge Videokomprimierung Seit der kommerziellen Einführung der Funkübertragung bewegter Bilder wird mit der Interlace Übertragung eine Art von Videokomprimierung benutzt. Das Interlace Verfahren (siehe Kapitel 3.2) ermöglicht flüssige Bewegungen bei gleichzeitig hoher Auflösung. Mit Einführung des Farbfernsehens kam eine weitere analoge Komprimierung hinzu, um auf den Kanälen für Schwarzweißfernsehen ohne Anpassung des Frequenzspektrums (und unter Beibehaltung der Kompatibilität zu alten Fernsehgeräten) auch Farbinformationen übertragen zu können. Hierzu wird unter anderem die Farbinformation unterabgetastet. Dieses Verfahren berücksichtigt, dass das menschliche Auge Helligkeitsveränderungen sehr viel stärker wahrnimmt als Farbänderungen. Letztere werden deswegen nicht mit voller Auflösung, sondern einem Bruchteil (meist der Hälfte oder einem Viertel) übertragen, ohne dass es dem durchschnittlichen Betrachter auffällt. Diese Unterabtastung kann auch bei modernen digitalen Bild- und Videokomprimierungsverfahren wie JPEG und MPEG benutzt werden (siehe Kapitel 3.5). 3.2 Interlace Das Zeilensprungverfahren wurde zu Beginn der Fernsehübertragungen eingeführt, um Übertragungsbandbreite einzusparen und gleichzeitig einem Flimmern der damals verbreiteten Bildröhren entgegen zu wirken Pixel * 240 Pixel * 24 Bit Farbtiefe (3 Byte) * 25 Frames pro Sekunde * 75 Sekunden 7

22 3 Videokomprimierung Bei einer Interlace Übertragung werden statt 25 Vollbildern pro Sekunde 50 Halbbilder pro Sekunde übertragen. Dabei enthält das erste Halbbild (Top Field) jeweils die ungeraden Bildzeilen und das zweite Halbbild (Bottom Field) die geraden Bildzeilen. Dadurch ergibt sich eine erhöhte zeitliche Auflösung und bei einer Bildröhre der Vorteil einer Flimmerreduktion. Moderne Darstellungsgeräte (wie z.b. LCD Bildschirme) sind für ein flimmerfreies Bild nicht auf das Zeilensprungverfahren angewiesen. Hier überwiegen die Probleme der Übertragungstechnik, wie z.b. Zeilenflimmern oder kammartige Ausfransungen bei schnellen Bewegungen. Beim progressiven Videoformat wird - anders als beim Interlace-Videoformat - jeweils ein ganzes Vollbild in voller Auflösung übertragen. 3.3 Historie digitaler Videokomprimierung Die wichtigsten (offenen) Standards zur digitalen Videokomprimierung sind die H.26x (der internationalen Fernmeldeunion (ITU)) und die MPEG Reihe (der Internationalen Organisation für Normung (ISO)). Erster dieser Standards zur Videokomprimierung war H.261, der 1990 verabschiedet wurde. Alle weiteren internationalen Standards zur Videokomprimierung (von ITU und ISO) bauen auf ihm auf. Die wichtigste Methode zur Verringerung der benötigten Datenrate beim Speichern von Videos ist dabei die Differenzcodierung von Videoframes. Das bedeutet, es kann nicht mehr jeder Frame einzeln für sich aus dem Datenstrom extrahiert werden, sondern es werden andere Frames benötigt, von denen der jeweilige Frame abgeleitet wird. Dieses System nutzt die Eigenschaft von Videos aus, dass sich zwei aufeinander folgende Frames sehr ähnlich sehen. Um gegen Übertragungsfehler geschützt zu sein und einen Zugriff auf beliebige Stellen des Videos zu ermöglichen (ohne den kompletten Videostrom zu durchlaufen), werden in regelmäßigen Abständen so genannte I-Frames (Intra Coded Frames) eingefügt, die nicht auf andere Frames Bezug nehmen und sofort decodiert werden können. Bei einem nicht korrigierbaren Übertragungsfehler oder einem vom Benutzer gewünschten Sprung zu einer bestimmten Position wird nun der letzte, vorher im Videostrom liegende I- Frame gesucht und von dort an werden alle folgenden, davon abhängigen P-Frames (Predictive Coded Frames) decodiert. Moderne Codecs verwenden noch einen dritten Frametyp (B- Frames, Bidirectional Coded Frames), der sich auf vorhergehende und nachfolgende P- und I- Frames beziehen kann und eine besonders hohe Komprimierung ermöglicht (aber auch Arbeitsspeicherbedarf und Komplexität der Decodierung erhöht). Bei Komprimierung wird das Bild in Pixelblöcke zerlegt (z.b. 8*8 Pixel). Es ist deshalb nötig, dass die Auflösung des Videos ein Vielfaches dieser Blöcke ist. Die Bewegung der einzelnen Blöcke von einem Frame zum folgenden wird ermittelt und in Bewegungsvektoren gespeichert. 3.4 Der MPEG-4 Standard ISO Der ISO Standard [14496] besteht inzwischen aus 22 Teilen, die verschiedene Methoden für die Darstellung digitaler Multimediainhalte definieren. Für diese Arbeit am relevantesten sind der Teil [ ] (Audiocodierung) und [ ], der sich mit der Videocodierung beschäftigt und augenblicklich in der dritten Auflage vom vorliegt. In diesem Standard werden nur der Aufbau des Datenstroms und die Prozesse, die beim Decodieren stattfinden, definiert. Das erlaubt eine zum Teil vom Standard unabhängige Verbesserung des Encoders und führt dazu, dass es verschiedene Implementationen eines Co- 8

23 3 Videokomprimierung decs auf dem Markt gibt, die sich in Rechenintensität und Videoqualtität zum Teil deutlich unterscheiden, aber auch noch weiterentwickelt und verbessert werden können. Um eine breite Basis an Anwendungsmöglichkeiten zu bieten, definiert der ISO-Standard eine Reihe von Codierungs-Profilen, die für verschiedene Einsatzzwecke gedacht sind. So existieren Profile mit geringer Komplexität für Hardwareplayer (z.b. Simple Profile, siehe Tabelle 1), die eine möglichst einfache (und damit günstige) Decodierung in Hardwarechips mit wenig Arbeitsspeicher zulassen. Zusätzlich sind erweiterte Codierungsmöglichkeiten vorgesehen, um die Codierung effizienter (aber auch rechen- und speicherintensiver) zu machen. Da das in dieser Arbeit verwendete Testgerät genug Prozessor-Performance und Arbeitsspeicher aufweist, werden alle vom verwendeten XVID-Codec angebotenen Features des MPEG- 4 Advanced Simple Profile benutzt. XVID [1] ist eine freie Implementation des ISO Standards, die für viele Betriebssysteme zur Verfügung steht und in Vergleichstests mit anderen Codecs nach demselben Standard eine gute Performance und Qualität bietet [Codec_Comp]. Visual Tools Simple Core Main Visual Object Types Advanced Advanced Real Time Coding Simple Efficency Advanced Simple Fine Granularity Scalable Basic X X X X X X X Error Resillience X X X X X X X Short Header X X X X X X X B-VOP X X X X X MPEG / Custom Quantization X X X X X P-VOP based temporal scalability X X X Binary Shape X X X Grey Shape X X Interlace X X X X Sprite X Dynamic Resolution Conversion X NewPred X Global Motion Compensation X X ¼ Pel Motion Compensation X X SA-DCT X Fine Granularity Scalability X FGS Temporal Scalability X Tabelle 1: Visual Tools von verschiedenen MPEG-4 Profilen Wie aus Tabelle 1 entnommen werden kann, hat das hier benutzte Advanced Simple Profile gegenüber dem Simple Profile fünf zusätzliche Möglichkeiten zur Codierung: Alle in einem B-VOP (Bipredicted Video Object Plane) gebildeten Videoobjekte beziehen sich gleichzeitig jeweils auf ihre direkt vorhergehenden und nachfolgenden Objekte. 9

24 3 Videokomprimierung MPEG / Custom Quantization bedeutet, dass zwei verschiedene Quantisierungsmodelle benutzt werden können. Das H.263 Quantisierungsmodell steht in allen Profilen zur Verfügung, im Advanced Simple Profile gibt es noch zusätzlich das MPEG Quantisierungsmodell und es können eigene Quantisierungsmodelle erstellt und verwendet werden. Interlace bedeutet, dass eine Codierung von Halbbildern im Zeilensprungverfahren beherrscht wird. Global Motion Compensation (GMC) dient zur vereinfachten Codierung von Bewegungen, die sich auf den gesamten Frame beziehen (z.b. bei Kameraschwenk, Zoom oder Rotation). Bewegungsvektoren müssen dann nur für Videoblöcke angegeben werden, die sich nicht in die Hauptrichtung bewegen. Quarter Pixel Motion Compensation (QPEL, auch Quarter Pixel Motion Search Precision) bezeichnet die Bewegungsschätzung auf Viertelpixel Niveau. Das Simple Profile ist nur in der Lage, die Bewegung von Videoobjekten auf Halbpixelniveau zu schätzen. Durch QPEL wird die Präzision erhöht, der Bewegungsfehler geringer und dadurch die Effizienz der Codierung erhöht. Zusätzlich zur Videokomprimierung nach ISO , die in dieser Arbeit verwendet wird, existiert noch ein neuerer und komplexerer Advanced Video Coding Standard zur Videokomprimierung nach ISO [ ] (MPEG-4 AVC oder H.264 genannt). Viele der in diesem Standard verwendeten Methoden kommen auch im ASP Profil von ISO vor. Zum Zeitpunkt der Auswahl des Videocodecs gab es aber noch keinen frei verfügbaren Encoder nach dem ISO Standard, der sich nicht in einem experimentellen Stadium befand und für die Arbeit verwendet werden konnte. 3.5 Farbcodierung im MPEG Standard Die Farbcodierung erfolgt im MPEG Standard nach dem YUV Model. Dabei werden Helligkeits- und Farbinformationen unabhängig voneinander codiert, weil sie sich so in verschiedenen Auflösungen (in demselben Bild) verwenden lassen. Da, wie bereits erwähnt, das Auge auf Helligkeitsänderungen empfindlicher reagiert als auf Farbänderungen, liegt die Luminanzoder Helligkeitskomponente des Bildes (Y) immer in voller Auflösung vor. Die Chrominanzoder Farbkomponenten (U und V) können nun horizontal und vertikal unterabgetastet vorliegen (z.b. in Halb- oder Viertelauflösung, siehe Abbildung 1) oder auch die volle Auflösung haben. Bei der Videocodierung für den Privatgebrauch (und auch bei dem Test in dieser Arbeit) wird meistens das YUV 4:2:0 Modell benutzt, bei dem die Chrominanz horizontal und vertikal die halbe Auflösung hat. Gegenüber dem YUV 4:4:4 Modell (volle Auflösung der Chrominanz) erhält man so eine Datenreduktion von 50% fast ohne sichtbare Qualitätseinbußen. In Abbildung 1 sind ein Farbbild, dessen Luminanz einzeln und die beiden Chrominanzbilder einzeln dargestellt. 10

25 3 Videokomprimierung Abbildung 1: 4:2:0 Farbcodierung, gesamtes Bild, Luminanz und Chrominanz einzeln (aus [Grages]) 3.6 Videokomprimierung nach H. 263 Der ISO Standard wurde zeitlich nach dem ITU Standard H.263 [H.263] von 1995/1996 entwickelt. Da er für niedrige Datenraten mit relativ wenig Bewegung schon gute Codierungsergebnisse liefert, ist er im MPEG-4 Standard enthalten, wurde aber an einigen Stellen erweitert. Videos nach dem H.263 Standard sollten also von allen MPEG-4 Decodern verarbeitet werden können, umgekehrt ist es leider nicht immer der Fall. Viele auf dem Markt befindliche Codec-Implementierungen nach dem MPEG-4 Standard sind jedoch in der Lage, Videos nach dem H. 263 Standard zu erzeugen. In Berichten im Internet werden die beiden Standards leider nicht konsequent getrennt und meist synonym behandelt, was darauf zurückzuführen ist, dass eine weitgehende Kompatibilität existiert, die sich z.b. auch im 3GPP (3rd Generation Partnership Project) der Standardisierungsgremien des Mobilfunks zeigt. Im 3GP [3GP] Dateiformat für Multimediadateien auf mobilen Geräten sind Videos nach dem MPEG- 4 (also ISO und ISO AVC, auch bekannt als H.264)) 4 oder H.263 Standard erlaubt. 3.7 Multipass Encoding und Ratecontrol Moderne Videocodecs unterstützen die Codierung mit einer variablen Bitrate. Das bedeutet, dass ruhige Szenen (ohne viel Bewegung) eines Videos mit geringerer Datenrate codiert werden als z.b. Kamerafahrten oder Actionszenen. Diese Methode liefert im Allgemeinen eine bessere Qualität als eine konstante Bitrate, die unabhängig vom Inhalt ist. Bandbreite, die an einer ruhigen Stelle des Videos eingespart wird, kann an Stellen, die sonst viele Artefakte (sichtbare Bildungenauigkeiten) aufweisen würden, eingesetzt werden, um die wahrgenommene Qualität zu verbessern. Diese Methode ist für den Anwendungsbereich von mobilem Video meistens einem konstanten Quantisierungsfaktor (siehe Kapitel 6.5) vorzuziehen, da man Voraussagen über die benötigte Datenrate geben kann. Da der Übertragungskanal oft eine feste Bandbreite hat, muss darauf geachtet werden, dass das Video trotzdem noch übertragen werden kann und weder im Mittel noch an irgendeiner 4 Bei Advanced Video Coding nach dem MPEG-4 Standard ist es erstmals so, dass die früher parallel existierenden Standards zur Videokomprimierung von ISO (Normierungsgremium u. a. für die Informatik, Videostandard MPEG-4 Part 10) und ITU (Normierungsgremium der Telekommunikation, Videostandard H.264) vollkommen identisch sind. Dieses war unter anderem aufgrund der Konvergenz von Telefon- und Datennetzen z.b. im Mobilfunk der dritten Generation dringend notwendig. 11

26 3 Videokomprimierung Stelle des Videos über eine lange Zeit eine zu hohe Bitrate zur Codierung verwendet wird. Dafür ist die Datenratensteuerung des Videocodecs (Ratecontrol) zuständig. Um eine möglichst präzise Aussage über die nötige Bitrate treffen zu können, ist es notwendig, das Videomaterial zu kennen. Das geschieht durch eine Codierung in mehreren Durchläufen (Multipass Encoding). Im ersten Durchlauf wird das Video analysiert und für jede Szene die notwendige Bitrate ermittelt. Erst im zweiten Durchlauf findet die eigentliche Codierung statt. Dieser Qualitätszuwachs wird jedoch mit einer erhöhten Laufzeit des Encodiervorgangs erkauft. 12

27 4 Bewertung von Videokomprimierung 4 Bewertung von Videokomprimierung In diesem Kapitel werden verschiedene Vorgehensweisen zur Qualitätsbewertung von Videos vorgestellt und kurz verglichen. Auf diese Verfahren wird besonders in Kapitel 9 zurückgegriffen um abzuleiten, zu welchen Ergebnissen die einzelnen Tests bei verschiedenen Videosequenzen kommen und wo genau ihre Stärken und Schwächen liegen. 4.1 Subjektive Methoden Eine relativ einfache Möglichkeit zur Bewertung der Videoqualität ist die Befragung von Testpersonen. Man erhält dabei jedoch nur subjektive Ergebnisse, die unter Umständen nicht immer reproduzierbar sind und von einer Reihe von Faktoren (wie Beleuchtung, Alter der Personen, verwendetes Display, Betrachtungsabstand und -winkel usw.) abhängen. Weiterhin nimmt eine Befragung viel Zeit in Anspruch und ist in der Regel mit einigen Kosten verbunden. Bei richtiger Durchführung der Befragung sind die Ergebnisse jedoch sehr aussagekräftig, weil es sich nicht um eine Simulation, sondern um echt erlebte und bewertete Eindrücke handelt. Ein Stichprobenumfang von 30 Personen, bei vermuteter Normalverteilung der Antworten, ist hierbei ausreichend [Bamberg]. Es kann jedoch nicht garantiert werden, dass alle wesentlichen Einflussfaktoren richtig berücksichtigt werden, da der untersuchte Sachverhalt äußerst vielschichtig ist. In dieser Arbeit wurde daher versucht, mit den zur Verfügung stehenden Mitteln eine möglichst genaue subjektive Qualitätsanalyse durchzuführen. Es ist aber nicht auszuschließen, dass Abweichungen von den hier ermittelten Ergebnissen auftreten können, wenn sich einige der möglichen Einflussfaktoren ändern (z.b. Sehschwäche der Befragten, Beleuchtung des Displays, Geschlechts- und Altersverteilung). 4.2 Framevergleich Eine Möglichkeit Videos zu vergleichen ist, charakteristische Szenen (z.b. mit viel oder wenig Bewegung) aus den Videos auszusuchen und dort zwei identische Frames, die mit den verschiedenen Codierparametern codiert wurden, zu untersuchen. Um gleiche Voraussetzungen zu erhalten, bietet sich diese Methode nur an, wenn die Videos dieselbe Framerate verwenden, da man durch Auslassen von Frames bei der Codierung natürlich mehr Bits zum Codieren jedes einzelnen Frames zur Verfügung hat, das Frame also detailreicher codiert werden kann. Es können jedoch nicht alle Qualitätsaspekte eines Videos durch einen Vergleich der Frames beurteilt werden. Neben der Framerate werden alle zeitlichen Einflüsse bei einem Framevergleich nicht berücksichtigt (siehe auch Kapitel 4.5). Methoden für einen Framevergleich auf objektiver, mathematischer Ebene werden in Kapitel 4.4 vorgestellt. 13

28 4 Bewertung von Videokomprimierung 4.3 Objektive Methoden Für eine Verbesserung der Verfahren zur Videocodierung ist es wünschenswert, eine zuverlässige Methode zu haben, die Auskunft über die Qualität der Codierung gibt. Um auf aufwendige subjektive Tests verzichten zu können, wird in letzter Zeit versucht, objektive Verfahren zur Videobewertung zu entwickeln. Objektive Methoden sind nicht auf menschliche Betrachter angewiesen, sondern Computerprogramme können diese auf Videos anwenden. Die Ergebnisse stehen nach Ende der Berechnungen sofort zur Verfügung, unterliegen keinen statistischen Schwankungen oder weiteren Einflussfaktoren und sind reproduzierbar, da sie nach einem mathematisch formal definierten Schema ablaufen. Die Ergebnisse der objektiven Verfahren stimmen jedoch nicht immer mit denen der subjektiven Verfahren überein und ihre Aussagekraft ist umstritten. Für den objektiven Vergleich von Videos mit verschiedenen Auflösungen und Frameraten ist bisher keine praktikable Methode bekannt. 4.4 Verfahren auf Einzelbildebene Die drei hier vorgestellten Verfahren arbeiten auf Einzelbildebene. Das heißt, sie vergleichen Videos frameweise immer als Differenz des Originalframes und des codierten Frames. Prinzipbedingt können daher keine zeitlichen Eigenschaften der Videos (Framerate, zeitliche Effekte der menschlichen Wahrnehmung (siehe Kapitel 4.5) usw.) berücksichtigt werden. Für Vergleiche auf Einzelbildebene müssen die beiden Videos dieselben Videoparameter (Auflösung und Framerate) aufweisen. Sind diese Parameter nicht gleich, müssen sie angepasst werden, wie am Ende von Kapitel beschrieben. Die Aussagekraft der Verfahren wird dadurch aber noch weiter reduziert PSNR PSNR steht für Peak Signal-to-Noise Ratio. Es ist eine Methode zur Differenzbewertung von zwei Einzelbildern (Originalbild und codiertem Bild). Es wird dabei jedes Bild des Originalvideos Punkt für Punkt mit dem Bild des komprimierten Videos verglichen und die Differenz der Farbwerte gebildet. Diese Differenz ist der Ausgangswert für die weitere Berechnung und die Übertragung in eine logarithmische Skala (siehe Formel 1). PSNR hat keine direkte Aussagekraft bei Videos mit verschiedenen Auflösungen oder Frameraten und kann dort nur über Umwege ermittelt werden, die Wahrnehmungscharakteristik des Auges wird nur unzureichend berücksichtigt. Dennoch wird PSNR in wissenschaftlichen Analysen zur Videokomprimierung teilweise verwendet, um einen ersten schnellen Überblick über eine Tendenz zur Verbesserung oder Verschlechterung der Qualität zu erhalten. Dabei werden die Werte für Videos meist in Dezibel angegeben. Da PSNR einen Bildvergleich für jeden Frame durchführt, ist die Framerate des Videos unerheblich. Bei Videos wird meist der Mittelwert aller PSNR Vergleiche aller einzelnen Frames angegeben oder in einem Diagramm der PSNR Wert über der Zeit abgetragen (siehe Abbildung 2, Tabelle 9). 14

29 4 Bewertung von Videokomprimierung Abbildung 2: PSNR Werte (Fußball 180 kbit/s 25 fps) In Abbildung 2 wurde der PSNR Wert nach folgender Formel berechnet 5. PSNR 2 a * n * m 10 * log10 m (1) 2 ( x ij y ij ) = n i= 1 j= 1 m: horizontale Auflösung beider Bilder n: vertikale Auflösung beider Bilder x,y: Bilder zum Ermitteln der PSNR Werte a: Farbtiefe (pro Farbkomponente) Höhere PSNR Werte weisen auf weniger Unterschiede zwischen den beiden Videos (also auf ein gut codiertes Video) hin. In Abbildung 2 werden wegen der verwendeten Farbcodierung für ein Testvideo drei PSNR Werte berechnet. Bei der hier vorliegenden YUV-Farbcodierung müssen für jede Farbkomponente einzeln die PSNR Werte bestimmt werden. Es fällt auf, dass nicht alle Farbkomponenten die gleichen Ergebnisse liefern. Zwar stimmen die Tendenzen der drei Kurven meist überein, die Bravais-Pearson-Korrelationskoeffizienten (siehe Kapitel 9.3) bestätigen dies (siehe Tabelle 2), um die Frames 1650 herum hat jedoch die U-Farbkomponente bessere PSNR Werte als die V-Farbkomponente. Das ist beim Rest des Videos umgekehrt. Nach Tabelle 2 sind sich die U-PSNR und V-PSNR Werte am ähnlichsten. In der Praxis vergleicht man entweder nur die PSNR Werte der Y-Farbkomponente (weil sie für das Auge am sichtbarsten ist) oder verrechnet für jeden Frame alle drei PSNR Werte zu einem Wert. 5 Es existiert noch eine andere Formel, die aber zu der angegebenen Formel umgeformt werden kann. 15

30 4 Bewertung von Videokomprimierung Korrelationskoeffizienten Y-PSNR U-PSNR V-PSNR Y-PSNR 1 0,554 0,410 U-PSNR 0, ,658 V-PSNR 0,410 0,658 1 Tabelle 2: Bravais-Pearson-Korrelationskoeffizienten - PSNR (Fußball 180 kbit/s 25 fps) Die durchweg schlechteren PSNR Werte des Leuchtdichtesignals (Helligkeits- oder Y- Komponente) sind auch durch die verringerte Auflösung der Farben resultierend aus der Unterabtastung im verwendeten YUV 4:2:0 Farbmodell (siehe Kapitel 3.5) zu erklären. Hier werden die Chrominanzsignale horizontal und vertikal in der Auflösung auf die Hälfte reduziert, um Bandbreite einzusparen. Da die Auflösung folglich nur noch ein Viertel der vollen Auflösung beträgt, sind weniger Farbinformationen zu codieren als Helligkeitsinformationen, was bei ersteren zu einer höheren Abbildungsgenauigkeit führt. Um PSNR Werte von Videos in verschiedenen Auflösungen oder Frameraten miteinander vergleichen zu können, sind einige Extraschritte notwendig. Wie aus Formel (1) zu entnehmen ist, setzt PSNR Bilder in identischer Auflösung voraus. Hat man ein codiertes Video in einer niedrigeren Auflösung vorliegen und möchte die PSNR Werte bestimmen (die sich ja immer als Differenz zu dem Originalvideo ergeben), muss man erst das Originalvideo auf die Auflösung des codierten Videos verkleinern. Startet man jetzt die Berechnung, erhält man natürlich nur die PSNR Werte des verkleinerten Videos, der Qualitätsverlust durch die Verkleinerung wird nicht mitbewertet und muss gesondert betrachtet werden, um Vergleichbarkeit mit subjektiven Tests zu gewährleisten. Ähnlich verhält es sich bei der Ermittlung von PSNR Werten für Videos mit verschiedenen Frameraten. Da bei Videos eine frameweise Berechnung stattfindet, wird vorausgesetzt, dass Originalvideo und codiertes Video dieselbe Framerate haben. Ist das nicht der Fall, wird trotzdem z.b. Frame 20 des Originalvideos mit Frame 20 des codierten Videos verglichen, beide Frames beinhalten aber nicht dieselbe Videoszene. Daraus resultieren dann sehr schlechte PSNR Werte. Soll der Vergleich sinnvoll sein, ist auch hier eine Anpassung des Originalvideos nötig. Die Framerate muss der des codierten Videos entsprechen, damit nur identische Frames verglichen werden. Wieder fließt die reduzierte Framerate nicht in die Berechnung mit ein. Der Qualitätsverlust durch abgehackte Bewegungen muss separat betrachtet werden. Für die Darstellung der Ergebnisse in einem Diagramm ist die zeitliche Achse anzupassen (zu dehnen) (siehe Abbildung 18) JDEC (auch Sarnoff JNDmetrix) Das im Sarnoff Research Center entwickelte Just-Noticeable Difference (JND) Model [Sarnoff] basiert auf dem im Weberschen Gesetz definierten ebenmerklichen Unterschied und hat damit einen für Lichtempfindlichkeit experimentell bestätigten Hintergrund. R E = k * (2) Webersches Gesetz R E : merklich stärkere Empfindung R: vorangehender Reiz R : Zuwachs zum vorangehenden Reiz k: konstanter Faktor 16