Multimediatechnik / Video

Transkript

1 Multimediatechnik / Video Teil 1: Grundlagen Dipl.-Ing. Oliver Lietz TFH/Beuth-Hochschule Hochschule WS 2009 Oliver Lietz - Multimediatechnik / Video Film / Video Film/Video = Bewegte Bilder 2D+t (Ort+Zeit( Ort+Zeit) T Bildelemente (Picture Elements, Pixels) Auflösung (Ort) z.b. 720x576 Pixel Auflösung (Zeit): Bildrate (Frame Rate, FPS) z.b. 24, 25,, 30 Bilder/Sekunde N s,n M t,o R S r,m Oliver Lietz - Multimediatechnik / Video / WS 2009/10 2

2 Anzahl Pixel/Bild: Auflösung x * y 720*576 Datenmenge je Pixel: RGB: 3*8=24 Bit = 3 Byte Datenmenge Video Datenmenge je Sekunde: Bildrate (Frame Rate, FPS) z.b. 24, 25, 30 Bilder/Sekunde N T M t,o R S r,m Beispiele: SDTV: 720 x 576 x 3 x 25 Bytes/Sek. = 30 MB / s = 100 GB / h HDTV: 1920 x 1080 x 3 x 25 Bytes/Sek. = 150 MB / s = 500 GB / h s,n Oliver Lietz - Multimediatechnik / Video / WS 2009/ Video-Bildgr Bildgrößen (Auflösungen) Oliver Lietz - Multimediatechnik / Video / WS 2009/10 4

3 Bewegung Sehsinn hat eine zeitliche Auflösung < 24 Hz (Bilder/s) -> Flimmern bei Bildfolgen Abfolge von Einzelbildern wird bei ausreichender Frequenz als kontinuierliche Bewegung wahrgenommen Abhängig von Umgebungslicht, Abstand, Auflösung, Kino 24 Hz, Fernsehen 25 (50) Hz => Filme sind im Fernsehen 4 % kürzer k!!! Oliver Lietz - Multimediatechnik / Video / WS 2009/ Videocodierung/Komprimierung wozu? Speicherung DVD, Blueray Kamera (Flash, Memorystick,, Band, ) Festplatte Mobiltelefon (UMTS, 3GPP), PDA Übertragung Digital-TV (DVB) Internet / Video on Demand Mobiltelefon (UMTS, 3GPP) Digital Cinema (HDTV, 2K, 4K) Oliver Lietz - Multimediatechnik / Video / WS 2009/10 6

4 ITU-R R 709 Digitales HDTV 1920x1080 interlaced und progressiv 25 Hz (auch 24, 30, 50, 60 Hz) 8 Bit YUV 4:2:2 Farbauflösung Standard, auch 10 Bit Aufgabe: Datenrate/Stunde für f 1920x1080p 25, YUV 4:2:2, 8 Bit 1920x1080i 25, YUV 4:2:2, 8 Bit Oliver Lietz - Multimediatechnik / Video / WS 2009/ Interlaced Video ( Zeilensprung( Zeilensprung ) top field bottom field 2 zeitlich versetzte Halbbilder (Fields) aus jeder 2. Zeile Vorteil: Erhöhung hung der Frequenz 25 Frames -> > 50 Fields/Sec. Nachteil: geringere örtliche Auflösung! (vertikal) Vollbilder: progressiv,, Halbbilder: interlaced Oliver Lietz - Multimediatechnik / Video / WS 2009/10 8

5 Standards: Interlaced-Effekt 576i 25 (= 720x576, 25 Frames/s,, 50 Fields/s) 1080i 25 (= 1920x1080, 25 Frames/s,, 50 Fields/s) 1080p 50 (= 1920x1080, 50 Frames/s) 1080p 24 (Kino/Blueray) Sieht man den Interlaced- Kamm Kamm-Effekt auch auf alten Röhrenmonitoren / TV-Ger Geräten? Wie sieht progressive auf einem Interlaced-Monitor aus? Oliver Lietz - Multimediatechnik / Video / WS 2009/ De-Interlacing Ziel: optimale Darstellung von Video-Interlaced Interlaced- Material auf Progressiv-Monitor (LCD) Nicht trivial, da Material interlaced aufgenommen! Oliver Lietz - Multimediatechnik / Video / WS 2009/

6 De-Interlacing Verfahren 1. Zeilen weglassen oder verdoppeln geringere Auflösung 2. Zeilen mitteln / interpolieren ( Blending( Blending ) geringere Auflösung + Störeffekt 3. Bildanalyse / Bewegungsschätzung, neue Zwischenbilder errechnen aufwändig! Oliver Lietz - Multimediatechnik / Video / WS 2009/ Analoges TV-Signal (s/w) Abtastung zeilenweise Helligkeitsverlauf s/w = Luminanz Videosignal einer Bildzeile (Ort/Luminanz( Ort/Luminanz): Oliver Lietz - Multimediatechnik / Video / WS 2009/

7 Analoges TV-Signal Sichtbare und nicht sichtbare Bereiche Horizontal- (Zeilen-) ) und Vertikal- (Bild-) ) Austastung 576 von 625 Zeilen sichtbar Interlaced-Abtastung (Zeilensprung-Halbbilder) Oliver Lietz - Multimediatechnik / Video / WS 2009/ Aufbau einer Zeile: Analoges TV-Signal FBAS (Farb-Bild Bild-Austast-Signal): 625 Zeilen (PAL) / 525 (NTSC) Oliver Lietz - Multimediatechnik / Video / WS 2009/

8 Digitales TV-Signal Bildzeile s/w ITU-R R 601 (ehem. CCIR-601) 576 Zeilen (von 625) (2x288 interlaced) [ NTSC (US/Jp( US/Jp.): 480 Zeilen von 525 ] Abtastung : 720 Werte / Bildzeile Quantisierung (Stufen): Je Abtastwert 256 Stufen (8 Bit, im Studio auch 10 Bit) Benutzt wird nur : schwarz=16, weiss=235 Oliver Lietz - Multimediatechnik / Video / WS 2009/ Digitales TV-Signal Bildzeile Farbe (YUV) ITU-R R 601 (ehem. CCIR-601) 720 Abtastwerte / Bildzeile (Y/Lum( Y/Lum.) Farbe: YUV 4:2:2 360 Werte für f r U,V 8 Bit / 256 Stufen Oliver Lietz - Multimediatechnik / Video / WS 2009/

9 Datenmenge Digitales TV (ITU 601) 4:2:2! 720 (Y) + 2 * 360 (U,V) = 1440 Werte / Zeile Je 576 Zeilen 8 Bit pro Farbwert (YUV): ( ) * 576 = Bytes / Bild * 25/s = 20 MB / Sekunde Unkomprimiertes YUV: Speicherung/Übertragung UYVY-UYVY UYVY-UYVY- Oliver Lietz - Multimediatechnik / Video / WS 2009/ Frage Wie kann ein s/w-film platzsparend gespeichert werden ohne Qualitätsverlust? tsverlust? (Vergleich zu RGB?) Antwort: YUV-Format verwenden: Nur Y verwenden, U und V weglassen (=0)! Oliver Lietz - Multimediatechnik / Video / WS 2009/

10 Licht und Farbe Licht = Elektromagnetische Welle Farbton = Wellenlänge/Frequenz nge/frequenz λ = c/f, c=300t km/s Helligkeit = Auslenkung (Amplitude/Energie) Oliver Lietz - Multimediatechnik / Video / WS 2009/ Farbspektrum / Prisma Weißes es Licht = Farbmischung / Spektrum Brechungswinkel abhängig von Wellenlänge nge (Dispersion) Oliver Lietz - Multimediatechnik / Video / WS 2009/

11 Farbmischung Mischung aus Grundfarben Licht: additive Farbmischung (Summe= Summe= Weiss ) Rot, Grün, Blau (RGB) Druck: subtraktive Farbmischung (Summe= Summe= Schwarz ) Cyan,, Magenta, Yellow (CMY), Key (schwarz) -> > CMYK Oliver Lietz - Multimediatechnik / Video / WS 2009/ Wie entsteht Weiß ß? Gleiche Anteile von R,G,B Welche Wellenlängen ngen hat R,G,B? Weißes es Licht: Spektrum aller Wellenlängen, ngen, nicht nur R,G,B Oliver Lietz - Multimediatechnik / Video / WS 2009/

12 CIE-Farbmodelle / Gamut Darstellbare Farben (Palette) Primärvalenzen rvalenzen R, G, B Dreieck im Farbdiagramm srgb Adobe RGB Oliver Lietz - Multimediatechnik / Video / WS 2009/ CIE-Farbdiagramm Additive Farbmischung: Primärfarben rfarben R,G,B bzw. X,Y,Z X+Y+Z = 1 Y = Luminanz X,Y = Chrominanz (Farbheit) Weißpunkt Rand: Spektralfarben Purpurlinie: Blau/Rot Farbsättigung (Saturation( Saturation) Abstand vom Weißpunkt Oliver Lietz - Multimediatechnik / Video / WS 2009/

13 Wärmestrahlung / Farbtemperatur Farbtemperatur: wie erscheint ein idealer schwarzer KörperK rper bei der genannten Temperatur? Bis 2000 K: Infrarot, danach glühen Tageslicht: 6500K (Weisspunkt D65 ) Glühlampe: 3000K Oliver Lietz - Multimediatechnik / Video / WS 2009/ Spektrum / Normlicht Spektrale Verteilung von Licht Kerze/Glühlampe A, Tageslicht D65 ( = 6500K ) Oliver Lietz - Multimediatechnik / Video / WS 2009/

14 Weißabgleich Unterschiedlicher Weißpunkt (Mischung RGB) Oliver Lietz - Multimediatechnik / Video / WS 2009/ Farbformate Nutzung verschiedene Farbdarstellungen, die an die jeweilige Anwendung angepasst sind (Beispiel: Rot-Gr Grün-Blau/RGB, Helligkeit-Farbton/HSV Farbton/HSV) Jeweils Spezifikation von 3 Zahlenwerten, z.b. (0, 0, 255) Farbformate sind äquivalent und können k ineinander umgerechnet werden YUV : z.b. für f r Farbfernsehen, JPEG / Video-Codierung RGB: Additive Mischung (Summe=Weiss( Summe=Weiss) -> > Videotechnik CMYK: Subtraktive Mischung (Summe=Schwarz( Summe=Schwarz) -> > Drucktechnik HSV: Mischung aus Farbton, Sättigung, S Helligkeit (Hue,Sat( Hue,Sat., Value) Oliver Lietz - Multimediatechnik / Video / WS 2009/

15 24 Bit-Farbtabelle RGB-Farben Oliver Lietz - Multimediatechnik / Video / WS 2009/ Helligkeits- und Farb-Pixel s/w-pixel: Helligkeit Beispiel 8 Bit/Pixel = 256 Stufen 0=schwarz, 255=weiß (häufig nur ) Farbe: Mischung z.b. RGB Beispiel 24 Bit/Pixel, RGB (0,255,0) = Grün Oliver Lietz - Multimediatechnik / Video / WS 2009/

16 RGB RotRot-Grü Grün-Blau, RGB additive Farbmischung, (1,1,1)=weiß (1,1,1)=weiß rot grün blau Oliver Lietz - Multimediatechnik / Video / WS 2009/ YUV - Farbformat Grauwert (Helligkeit) und 2 Farbdifferenzen (U, V) Farbfernsehen kompatibel zu SWSW-Fernsehen HauptHaupt-Information im Helligkeitssignal (Y) Y U V Oliver Lietz - Multimediatechnik / Video / WS 2009/

17 YUV Farbformat Grauwert (Helligkeit) und 2 Farbdifferenzen (U, V) Y U, V meist verkleinert, da Sehsinn für f r Farbauflösung weniger empfindlich als für f r Helligkeitsauflösung sung Fast immer in der Videotechnik genutzt Bezeichnungen 4:2:2 oder 4:2:0 U V Oliver Lietz - Multimediatechnik / Video / WS 2009/ Großer Sehwinkel ( > 180 ) Hohe Auflösung 1/30 = = 2 2 (Winkelminuten) Farbe, 3D Schnell Sehr großer Belichtungsbereich (10 10 ) Hoher Schärfebereich durch Akkomodation Sehen Oliver Lietz - Multimediatechnik / Video / WS 2009/

18 Aufbau des Auges Retina: Netzhaut mit Rezeptor-Zellen Gelber Fleck (Macula): Großteil der Sehzellen Sehgrube (Fovea( Fovea), Teil der Macula: scharfe Abbildung (2 o Sehwinkel) Blinder Fleck: keine Netzhaut-Zellen (engl. optic disk ) Quelle: [EGBECK] Oliver Lietz - Multimediatechnik / Video / WS 2009/ Netzhaut: Wahrnehmung von Licht [EGBECK] Zapfen: 3 Arten: Farbe Tagessehen 6 Mio. Zellen Stäbchen: Grauwerte Nachtsehen 120 Mio. Zellen Fovea: nur Zapfen! -> > Unschärfe im Dunkeln! Oliver Lietz - Multimediatechnik / Video / WS 2009/

19 Tages- / Nachtsehen Zapfen/Stäbchen Empirisch gemessenes Helligkeitsempfinden hell/dunkel Maximale Empfindlichkeit im Grünbereich Links Nachtkurve (Stäbchen), rechts Tageskurve (Zapfen) Oliver Lietz - Multimediatechnik / Video / WS 2009/ Verteilung von Zapfen und Stäbchen Quelle: [EGBECK] Oliver Lietz - Multimediatechnik / Video / WS 2009/

20 Empfindlichkeit der Zapfen Farb-Empfinden je Wellenlänge: nge: Überlagerung der Zapfenarten [EGBECK] Oliver Lietz - Multimediatechnik / Video / WS 2009/ Sehwinkel / Auflösungsverm sungsvermögengen Auflösung (Scharf sehen) 1/30 = = 2 2 (Bogenminuten) Erfassung mit einem Blick : : ca (auch TV) Gesamter Sehbereich ca Oliver Lietz - Multimediatechnik / Video / WS 2009/

21 Sehwinkel / Scheinbare Größ öße tan (α/2) = (G/2)/g α = 2 * arctan( ( (G/2)/g ) g = (G/2) / tan(α/2) Beispiel: Bildgröß öße e 100cm, α = 20,, welcher Abstand? [g = 50 / tan 10 = = 283cm] Oliver Lietz - Multimediatechnik / Video / WS 2009/ Sehwinkel - Aufgabe Ein 16:9 Bild soll einen Sehwinkel horizontal 30 aufspannen bei einem Abstand von 3m. Welche Abmessungen muss der Bildschirm haben? (x,y,diagonal) tan (α/2) = (G/2)/g G = 2 g G = 2 g tan (α/2) /2) Oliver Lietz - Multimediatechnik / Video / WS 2009/

22 Wellenausbreitung / Polarisation Richtung der Auslenkung unpolarisiert = alle Richtungen Oliver Lietz - Multimediatechnik / Video / WS 2009/ Lichtgeschwindigkeit in Medien Medium Vakuum Luft Wasser Lichtgeschwindigkeit km/s km/s km/s Glas km/s Oliver Lietz - Multimediatechnik / Video / WS 2009/

23 Brechung (Refraktion) Übergang zwischen Medien, z.b. Luft/Glas Änderung der Ausbreitungsgeschwindigkeit + Änderung der Wellenlänge! nge! Brechzahl / Brechungsindex n = c 0 /c (Geschw. Vakuum/Medium) Brechungsgesetz (Snellius( Snellius) sin α / sin β = n 2 /n 1 sin α / sin β = λ 2 / λ 1 [ Schulphysik: zusätzlich (Teil( Teil-)Reflexion mit gleichem Ausfallswinkel ] Oliver Lietz - Multimediatechnik / Video / WS 2009/ Beugung Reflexion / Brechung: Richtungsänderung nderung Beugung: Ablenkung Praxis: Beugung an Objektiv-Kante und Blende (Weitere Anwendung: Audio-Wellenfeldsynthese) Oliver Lietz - Multimediatechnik / Video / WS 2009/

24 Brechung mit Sammel-Linse Oliver Lietz - Multimediatechnik / Video / WS 2009/ Optische Abbildung mit Sammellinse Linsengleichung 1/b + 1/g = 1/f G/g = B/b Brennweite f: Bildweite für f r unendlich weites Objekt Brechkraft: D [dpt] = 1/f (Dioptrien) Wie groß ist das Bild B bei b=5cm, g=50cm, G=1cm? Oliver Lietz - Multimediatechnik / Video / WS 2009/

25 Schärfe/Unsch rfe/unschärfe Oliver Lietz - Multimediatechnik / Video / WS 2009/ Unschärfe Punkt wird zu Kreis (Zerstreuung) Abbildung vor oder hinter Bildebene Oliver Lietz - Multimediatechnik / Video / WS 2009/

26 Schärfentiefe Oliver Lietz - Multimediatechnik / Video / WS 2009/ Blende Helligkeits- und Schärfentiefeanpassung Oliver Lietz - Multimediatechnik / Video / WS 2009/

27 Blende / Blendenzahl Hohe Blendenzahl / kleine Blendenöffnung K = Brennweite / Öffnungsdurchmesser Oliver Lietz - Multimediatechnik / Video / WS 2009/ Schärfentiefe Größere Schärfentiefe durch Kleinere Brennweite größere Blendenzahl (kleinere Blendenöffnung) größere Gegenstandsweite (Motivabstand) Oliver Lietz - Multimediatechnik / Video / WS 2009/

28 Räumliches Sehen (Stereoskopie) Oliver Lietz - Multimediatechnik / Video / WS 2009/ Parallaxe, Konvergenz, Disparität Parallaxe/Konvergenzwinkel α Akkomodation (Scharfstellen) Disparität Unterschiedlicher Projektionsort [Wimmer]/[Kornfeld] Oliver Lietz - Multimediatechnik / Video / WS 2009/

29 3D-Video 3D-Video = Video aus mehreren Ansichten Nicht verwechseln mit Computergrafik-3D! Oliver Lietz - Multimediatechnik / Video / WS 2009/ D-Video Video-VerarbeitungVerarbeitung Wie werden mehrere Ansichten aufgezeichnet? In der Regel 2 Kameras Mehrere Ansichten möglich m für f r besseren Raumeindruck Forschungsgebiet: Virtuelle Ansichten errechnen Oliver Lietz - Multimediatechnik / Video / WS 2009/

30 3D-Video Video-Wiedergabe Displays mit Brille: Polarisation, Shutterbrille Ohne Brille (Autostereoskopie): noch nicht perfekt Standards: Blueray,, Dezember 2009! Speicherung: 2 separate Videos 1 Video mit 2 Ansichten nebeneinander Verschachtelt Interlaced Verschachtelt Frame-weise (Blueray) Oliver Lietz - Multimediatechnik / Video / WS 2009/ D-Stereo Stereo-Video-Brillen Ziel: verschiedene Ansichten je Auge Passiv: anaglyph (rot/grün, rot/cyan oder gelb/blau-colorcode ColorCode) Polarisation horizontal/vertikal oder rotierend Aktiv: Shutterbrille (Anschluss an Grafikkarte) Oliver Lietz - Multimediatechnik / Video / WS 2009/

31 Polarisation 2 Projektoren + Polfilter Silberleinwand (Alu) Polfilter- Brille Nachteile: Leinwand Geringe Lichtstärke Oliver Lietz - Multimediatechnik / Video / WS 2009/