Abwägen von Qualität und Leistung beim Dekodieren von H.264 Video. Diplomverteidigung Michael Roitzsch

Transkript

1 Abwägen von Qualität und Leistung beim Dekodieren von H.264 Video Diplomverteidigung Michael Roitzsch

2 DVD (720x576) HDTV (1280x 720) HDTV (1920x1080) 35 mm Kinofilm (4096x2160) IMAX ( 10000x7000) nur in halber Kantenlänge dargestellt 2

3 Das Problem die Zukunft wird hochauflösend (HDTV, Blu-ray, HD-DVD, Digital Cinema) Apple Hardware-Empfehlung für 1920x1080: 2 GHz Dual-G5, 3 GHz Dual-Pentium oder 2 GHz Core Duo ein Prozessor reicht nicht mehr 3

4 Die Grundlage neues Kompressionsformat für die entstehenden Datenmengen entwickelt von Video-Experten der ISO (MPEG) und der ITU (H.26x) Ergebnis: H.264 = ISO = MPEG-4 Part 10 = MPEG-4 AVC = AVC 4

5 H.264 Kodiereffizienz: 0.1 Bit pro Pixel zwei- bis dreimal besser als MPEG-2 universell einsetzbar: Handy-TV, Video- Konferenzen, HDTV Pflicht für alle Blu-ray- und HD-DVD- Geräte 5

6 Clip: Original

7 Dekodier-Aufwand Anteil der Bilder 35% 30% 25% 20% 15% 10% 5% 0% Dekodierzeit pro Bild in Millionen Prozessor-Takten (auf AMD Sempron GHz) 7 Bedarfsplanung nicht nach Maximallast, sondern nur einem Anteil hier: 50% Anteil

8 Clip: No Skip

9 Analyse Video stottert, weil Bilder nicht rechtzeitig fertig dekodiert werden Dekodier-Aufwand muss auf andere Art verringert werden, als durch Auslassen von Bildern 9

10 Slices 10

11 Slices Ersetzen Slices (horizontale Bildstreifen) können separat dekodiert oder durch Interpolation ersetzt werden es sollten möglichst wenige Slices wegfallen bei Zeitknappheit: Slices mit hoher Dekodierzeit als erstes weglassen Dekodierzeit-Vorhersage: siehe Belegarbeit 11

12

13 Ersetzungsstrategie Interpolation ist sehr schlechter Ersatz anstelle Teilen desselben Bildes können Teile früherer Bilder verwendet werden diese sollten größere Ähnlichkeit zum ersetzten Slice haben Zusammenstückeln des Ersatzes aus Referenzbildern 13

14 Bewegung zwischen zu ersetzendem Slice und Referenzbild besteht ein zeitlicher Versatz während dieser Zeit bewegen sich die Objekte im Bild H.264 kodiert diese Bewegung in Bewegungsvektoren Nutzung dieser Vektoren zur Verbesserung des Ersatzes 14

15 Quadtree vollständige Auswertung aller Vektoren dauert zu lange Vergröbern und Zusammenfassen von Vektoren in einem Quadtree adaptive Unterteilung zur Reduktion der Datenmenge 15

16 Adaptives Zusammenfassen 16

17 Vorverarbeitung Quadtree wird offline per Vorverarbeitung in den Video-Datenstrom eingebettet simples Kompressionsverfahren (Fibonacci- Codierung) hier: 6% zusätzliche Daten Slice-Ersatz per Quadtree immer noch 7½mal so schnell wie komplettes Dekodieren 17

18 100 Qualitätsbewertung bei Sehtest Quadtree- Ersatz

19 Auswahlstrategie bisher: Slices nach Dekodierzeit ausgewählt eigentlich wollen wir die Qualität maximieren Einplanen der Slices nach dem durch ihren Ersatz verursachten visuellen Qualitätsverlust 19

20 Qualitätsmetrik oft verwendet: mittlerer quadratischer Fehler gibt visuell wahrgenommenen Fehler nur schlecht wieder bessere Metrik: Structural Similarity Index Qualitätsverlust für jedes Slice messen, Werte im Datenstrom ablegen, Slices mit kleinem Verlust zuerst weglassen 20

21 100 Qualitätsbewertung bei Sehtest Quadtree- Ersatz Qualitätsmessung

22 Fehlerfortpflanzung bisher wurde nur der direkte Fehler gemessen für H.264 mit seinen langlebigen Referenzbildern ist aber die Fortpflanzung von Fehlern wichtig bisher einfach: B-Frames für H.264 ist genauere Betrachtung nötig 22

23 Emissionsfaktor Fehlerfortpflanzung durch Verwendung fehlerhafter Referenzbilder Fehlereintrag durch verwendeten Flächenanteil abschätzen alle Beiträge eines Slices an Fehlern anderer Slices aufsammeln Emissionsfaktor gibt gesamten Fehleraustrag eines Slices an A B C D 23

24 Nutzwert Emissionsfaktor mit gemessenem Qualitätsverlust multipliziert liefert eine Bewertung der visuellen Relevanz für jedes Slice Dekodierzeit liefert eine Bewertung der Kosten für jedes Slice Verhältnis von Kosten und Effekt ist Nutzwert eines Slices, Slices mit kleinem Nutzen zuerst weglassen 24

25 100 Qualitätsbewertung bei Sehtest Quadtree- Ersatz Qualitätsmessung Nutzwert

26 Zusammenfassung offline Vorverarbeitung Slice- Auswahl Dekodieren/ Ersetzen Quadtree-Bewegungs-Daten erlauben den Ersatz von Slices Nutzwert für jedes Slice kombiniert visuellen Gesamt-Qualitätsverlust und Dekodier-Aufwand in einer Zahl Dekodieren eines H.264-Videos auf einem Rechner mit halber Kraft bei akzeptabler Qualität möglich 26

27 Ausblick Verfahren flexibel erweiterbar Nutzung von Slices, die bildstrukturen Folgen, anstelle von horizontalen Streifen direkte Integration der Quadtree-Idee in zukünftige Video-Kompressions-Standards Nutzung für andere Ressourcen, zum Beispiel Netzwerkbandbreite 27