Qualitätssicherung visueller Medien in Videokonferenzen

Transkript

1 Zentrum für Informationsdienste und Hochleistungsrechnen (ZIH) Qualitätssicherung visueller Medien in Videokonferenzen Auflösung, Farb-Tiefe, Weiss-Balance, Quantisierung, Re-Sampling, Transcoding, Pre-/Post-Processing, Testbilder Dieter Herrmann

2 MIME-Types: Multipurpose Internet Mail Extension (1993) Multimedia Internet Message Extension (1996), S-MIME (1998) - application - audio - image - message - model - multipart - text - video - x-type Visuelle Medien-Typen: Dokumente, Bilder, Modelle, Texte, Video und sonstige TU Dresden, Dieter Herrmann Seite 2 von 24

3 Bild Inhalte : Stand-Bilder, Still-Image (jpg), Still-Video (i-frame); Raster-Grafik (png), Skalierbare Grafik (svg); Raster-Text, Skalierbarer Text, Lauf-Schrift; Bild-Sequenzen, Animationen; Virtuelle Räume, 3D Modelle, 2D Projektionen, statisch, dynamisch (wrl, x3d); Bewegt-Bilder, Motion-JPEG, Motion Pictures, Video; TU Dresden, Dieter Herrmann Seite 3 von 24

4 Bilder sind Abbildungen und heute digital quantisiert in jeder Dimension: Breite in Bild-Punkten oder Pixeln (Picture Elements); Höhe in Pixeln; Geometrische Quantisierung der Flächen-Projektion in physikalische 2D-Raster; Spektrale Aufteilung in Farb-Ebenen (mono, tri-chromatisch bis multispektral); Digitalisierung der Signal-Amplituden in binary digits (bit); Sequenzen dynamischer Abläufe in Bilder/Sekunde (fps frames per second); Zusammenfassung in lokale und temporale Raster: Zeilen, Spalten, Blöcke, MCU (Main Compression Units), Slices, Planes, GoP (Group of Pictures); TU Dresden, Dieter Herrmann Seite 4 von 24

5 Bild-Aufnahme über klassische Optik mit allen Vor- und Nachteilen; Farb-Aufteilung über 1-, 2-, 3- oder 4-Chip Sensoren (CCD, CMOS); TU Dresden, Dieter Herrmann Seite 5 von 24

6 Nympfenbad im Dresdner Zwinger: Oben links RGB Echt-Farben; Oben rechts monochrom Y-Bild; Unten Farb-Auszüge 4 * 25%; GRGB Farb-Mosaik Filter; TU Dresden, Dieter Herrmann Seite 6 von 24

7 Farb-Differenz Transformation und Farb-Unterabtastung 4:2:0 (4:1:1): TU Dresden, Dieter Herrmann Seite 7 von 24

8 Farb-Differenz Bildwiedergabe erfolgt in umgekehrter Analogie: Color-Upsampling 4:4:4, YCbCr zu RGB Transformation; Farb-Separation temporal oder lokal mit Mosaik, Delta, Strip Filter (Trio-Dot); Technologische Unterschiede zwischen Displays, Panels und Projektoren: CRT, LCD, TFT, OLED, Plasma, DLP, und vielen anderen; TU Dresden, Dieter Herrmann Seite 8 von 24

9 Juni TU Dresden, ZIH, VCC TU Dresden, Dieter Herrmann Seite 9 von 24

10 Juni TU Dresden, ZIH, VCC Grau- & Farb-Verläufe, Hauttöne, Farb-Quantisierung TU Dresden, Dieter Herrmann Seite 10 von 24

11 Juni TU Dresden, ZIH, VCC Kontrast-Detail Auflösung in Luminanz / Chrominanz TU Dresden, Dieter Herrmann Seite 11 von 24

12 DCT 2D Basis-Frequenzen (JPEG, MPEG), Zick-Zack Quantisierung DC zu AC: TU Dresden, Dieter Herrmann Seite 12 von 24

13 Video-Format A / D MHz Vertik. Linien Horiz.Zeilen PAL Linien mal Zeilen VHS (FBAS, CVBS) A 3,0 MHz 240 (320) 576 i, (p) Punkte TV, analog Broadcast A 4,7 MHz i, (p) Punkte VCD (MPEG-1) D p Punkte HQ-VCD (MPEG-1 +) D p Punkte S-VHS, Hi-8, Y/C A 5,0 MHz i Punkte Laserdisk, analog A 5,3 MHz 425 (450) 576 i Punkte TV - CRT A i Punkte S-VCD (MPEG-2) D i, (p) Punkte XSVC (MPEG-2, +) D i, (p) Punkte DVD (MPEG-2) mini DV (M-JPEG) D D 5,0 <5,5 MHz 500 (540) i, p 576 i, p Punkte Punkte DVD (theoretisch) D ( 6,75 MHz ) p Punkte Progressive MPEG-1 D p Punkte DVD (MPEG-2) D p Punkte HD ready (NTSC) D (920) 720 p Punkte HD ready (PAL) D (960) 768 p Punkte Full HD (HDV, DCin) D (1380) 1080 i, (p) Punkte TU Dresden, Dieter Herrmann Seite 13 von 24

14 Juni TU Dresden, ZIH, VCC Moire, Aliasing und Anti-Aliasing im Siemens-Stern TU Dresden, Dieter Herrmann Seite 14 von 24

15 Juni TU Dresden, ZIH, VCC Komplementär-Farb Auflösung im Stern mit Anti-Aliasing TU Dresden, Dieter Herrmann Seite 15 von 24

16 Juni TU Dresden, ZIH, VCC Zonen-Platte für Modulation Transfer Function RGB+Y TU Dresden, Dieter Herrmann Seite 16 von 24

17 Juni TU Dresden, ZIH, VCC Stufen Zonen-Platte für VHS, S-VHS, DVD und HDV TU Dresden, Dieter Herrmann Seite 17 von 24

18 Juni TU Dresden, ZIH, VCC Stufen Zonen-Platte, VHS bis HDV, Moire & Anti-Aliasing TU Dresden, Dieter Herrmann Seite 18 von 24

19 Juni TU Dresden, ZIH, VCC Aspect Ratio: 4:3 in 16:9, Scaling Varianten TU Dresden, Dieter Herrmann Seite 19 von 24

20 Heutige VC-Systeme sind dem Stand der Technik über 10 Jahre zurück: - Anspruch auf Video und Data/XGA oder Dual Video wird nicht wirklich erfüllt; - keine ausreichende Differenzierung zwischen Video, Text oder Stand-Bild; - kein Hybrid Natural/Synthetic Coding, keine Super-Position von Bildern; - Pre-Processing reduziert sich auf Sub-Sampling und/oder Tiefpass; - CCD/CMOS Sensoren werden unverantwortlich auf Kochplatten geheizt; - Daten-Übertragung, Bandbreiten-Last erfolgt massiv selbst bei Stand-Bildern; - Post-Processing wie De-Blocking, De-Interlacing, De-Ringing fehlen; - auch MPEG-4 Formate bedeuten nicht zwingend Bild-Qualität, nur SAP-Profile; - Lokal-adaptive Verfahren sind nicht implementiert, nur globale Verarbeitung; - Offene ISO, W3C Standards wie GIF, PNG, XML, SVG, X3D bis SMIL fehlen; - Trotz Web-Interface fehlt ein nutzbarer HTML-Stack für Präsentationen; - VC Video-Qualität erreicht noch nicht den Stand 1996 (minidv, DVD, DVB); TU Dresden, Dieter Herrmann Seite 20 von 24

21 Video Konferenz Multi-Point (MCU), 2006 (VHS) TU Dresden, Dieter Herrmann Seite 21 von 24

22 HDTV war gestern DCin und Next Generation TV/DVB, NHK Japan 2005: Quelle: TU Dresden, Dieter Herrmann Seite 22 von 24

23 Qualitäts-Sicherung mit synthetischen und natürlichen Testbildern: - wachsende Vielfalt erhöht Inkompatibilitäten, Konvergenz bleibt Illusion; - kein System schafft den Spagat von CIF240 bis zu Full HD1080 ohne Verluste; - Breite, Höhe, Farb-Tiefe, Weiß-Balance, Seiten-Verhältniss, Profil und Level; - Test-Bilder sind seit Beginn und etwa 1930 in der Fernseh-Technik etabliert; - Abtast-Theoreme (Shannon, Nyquest, Kotelnikov) bleiben digital anwendbar; - Digital-Technik, Re-Sampling und Trans-Coding sind keinesfalls verlustfrei; - High Definition ab 768p Zeilen echte Auflösung erfüllt bisher kein VC-System; - Digitale Tests existieren für Druck, Foto, Camcorder, TV, DVD, Displays, etc.; - ISO-Standards zu Auflösung, Farb-Raum und Transfer Function existieren; - Hersteller können ihr Preis/Leistungs-Verhälniss reproduzierbar rechtfertigen; - Betreiber, Operater und Service können optimale Kommunikation sichern; - Nutzer und Anwender können Marketing, Dichtung und Leistung differenzieren; TU Dresden, Dieter Herrmann Seite 23 von 24

24 Mont Blanc 4810 m im Juni Spitze des Eisberges: Tele-Presence und der lange Weg zu guter Bild-Qualität TU Dresden, Dieter Herrmann Seite 24 von 24