University of Applied Science Signalverarbeitung für audiovisuelle Kommunikation 1. Digitale Multimediasignale - Bild- und Videosignale & Digitalisierung
Bild- und Videosignale Bilder/Video(Bildfolgen): Elektromagnetische Welle im sichtbaren Spektrum Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 2
Augenaufbau Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 3
Retina / Rezeptortypen Verteilung von Zapfen und Stäbchen [Quelle: Bilddatenkompression, Strutz] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 4
Farbwahrnehmung 3 Zapfentypen, normierte Darstellung A Grün (100% Empfindlichkeit) B Gelb-Rot (95% Empfindlichkeit) C Violett-Blau (3% Empfindlichkeit) [Quelle: Bilddatenkompression, Strutz] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 5
Farbwahrnehmung Farbdarstellung (CIE-Normfarbtafel, 1931) Jeder Punkt repräsentiert eine von normalen Beobachtern wahrnehmbare Farbe Alle Farben zwischen zwei Punkten sind durch Mischen der Farben der Endpunkte möglich Alle Farben innerhalb eines Dreiecks sind durch Mischen der Farben der Eckpunkte möglich B G Mit RGB darstellbarer Farbbereich R Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 6
Farbwahrnehmung RGB-Farbraum: Darstellbare Farben im RGB-Farbraum Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 7
Bilderfassungssystem analog ADC/ CODEC DSP digital DDC Analog: BAS-Videosignal (VBS) oder Farbvarianten, s.u. Digital: IEEE1394 (Firewire, i.link), Cameralink Prof. Dr.-Ing. Marcus Purat,, FB VII Digitale Schnittstelle (parallel) Multimediasignale_02, Seite 8
Bilderfassungssystem light source image acquisition optical axis Industrielle CCD Kameras object camera lens CCD-chip [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 9
CCD-Sensoren [Quelle: Internet] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 10
CCD-Sensoren CCD-Sensoren: [Quelle: Internet] Orts-Zeit-Umwandlung Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 11
CCD- und CMOS-Sensoren CCD-Sensoren: Hohe Genauigkeit (gleichförmige Empfindlichkeit) CMOS-Sensoren: Ungenauer Geringere Leistungsaufnahme Schnelleres Auslesen von Bildausschnitten Zusätzliche Integration von Schaltkreisen möglich (Kamera auf einem Chip) Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 12
Farbbilderfassung 1-Chip-Kamera: Sensorelemente und RGB-Filter. Nachteil: Verringerung der Auflösung CCD-Chip Filter Licht Filter CCD-Chip (grün) Prisma 3-Chip-Kamera: Licht wird durch ein Prisma getrennt und separat gefiltert. Nachteil: Aufwändige Konstruktion. [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 13
Zeilen-Scan Orts-Zeit-Umwandlung: [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 14
Zeilen-Scan Progressive Scan: Jede Bildzeile nacheinander scannen Interlaced Scan: Zeilen mit Zeilensprung scannen 2 Halbbilder (fields) für ein Vollbild (frame) [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 15
Zeilen-Scan Progressive Wiedergabe von interlaced Video Interlace Artifacts (Kämme) [Quelle: Internet] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 16
Analoges Videosignal s/w-videosignal (BAS, engl. VBS) [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 17
Farbsignale Luminanz (Helligkeit) und Chrominanz (Farbe): Kompatibilität zum s/w-tv Verarbeitung von Grauwertbildern bei Farbaufnahmen Sinnesorgan (Auge) für Luminanz empfindlicher Luminanz Y = 0.299 R + 0.587 G + 0.114 B Unterschiedliche Darstellungen von Chrominanz YUV (PAL-System) YIQ (NTSC-System) YCbCr (Digitales Video) Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 18
Farbsignale YUV: U = 0.493 (B-Y), V = 0.877 (R-Y) U U=V=0: Y=R=G=B Grauwert (weiß schwarz) V Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 19
Farbsignale YIQ: Vergleichbar mit YUV aber andere Farbachsen Q I Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 20
Farbsignale YCrCb: Anpassung des Wertebereichs der Chrominanzsignale an 8-Bit-Darstellung durch geeignete Normierung und Offset. 0 Y 255-111.18 U 111.18 und -156.825 V 156.825 bzw. -127.5 Cr 127.5 und -127.5 Cb 127.5 Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 21
Analoges Videosignal Analoges Farb-Videosignal (FBAS, YUV, CVBS, Composite) Farbsynchronisationsburst Chrominanzsignale mit QAM im sw-spektrum [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 22
Analoges Videosignal Alternative analoge Farb-Videosignale: Component Video Y/C (S-VHS) (2 Signale) RGB (3 Signale) YUV (3 Signale) Zusätzlich manchmal Sync-Signale (HSYNC/VSYNC) Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 23
Fernsehsignalnormen PAL: 25 Hz Bildfolgefrequenz (50 Hz Halbbilder) 625 Zeilen pro Vollbild 576 sichtbare Zeilen NTSC: 30 Hz Bildfolgefrequenz (60 Hz Halbbilder) 525 Zeilen pro Vollbild 480 sichtbare Zeilen Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 24
Digitalisierung des Videosignals Bildformate: QCIF: Bildtelefon / Mobile Video (ca. 4Mbps) CIF/SIF: Bildtelefon+, CD-Video (ca. 30 Mbps) ITU-R 601: TV, DVD-Video (ca. 165 Mbps) ITU-R 709: HDTV (ca. 830 Mbps) [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 25
Digitalisierung des Videosignals Parameter: Abtastfrequenz 13,5 MHz 8 Bit Quantisierung Subsampling der Chrominanzkomponenten möglich Format 4:4:4 keine Unterabtastung Format 4:2:2 Horizontale Unterabtastung, Faktor 2 Format 4:1:1 Horizontale Unterabtastung, Faktor 4 Format 4:2:0 Horiz./Vertikale Unterabtastung, Faktor 2 Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 26
Digitalisierung des Videosignals Abtastfrequenz gemäß ITU601 = 13,5 MHz [Quelle: DVB, Reimers] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 27
Digitale Videosignale [Quelle: DVB, Reimers] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 28
Digitale Videosignale [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 29
Videopegel-Diagramm [Quelle: DVB, Reimers] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 30
AD-Converter für Video [Quelle: DVB, Reimers] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 31
DA-Converter für Video [Quelle: DVB, Reimers] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 32
Digitales Bildsignal x(m,n) Zahlenfolge s(t) x(m,n+1) Zahlenfolge m Zeile n Zeile n+1 t m s(t) Erfassungssystem x(m,n) DSP Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 33
Digitales Bildsignal [Quelle: Multimedia Communication Technology, Ohm] Darstellung von x(m,n) als Matrix x(0,0) x(0,1) X = x(0,2) M x(0, N 1) x(1,0) x(1,1) x(1,2) x(1, N 1) x(2,0) x(2,1) O x(2, N 1) L L L x( M 1,0) x( M 1,1) x( M 1, N 1) Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 34
Farbbildwiedergabe mit VLT [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Speicherplatzsparend Schnelle Farbmanipulation möglich, wenn Anzahl der Einträge in Tabelle geringer als Anzahl der Pixel im Bild Widergabe über Index in einer Farbtabelle Video-Lookup-Table (VLT) Rot Grün Blau 17 Pixel Bild 0 1 2 3... 17..................... Zum Monitor Video-Lookup-Table (VLT) 255 Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 35
Digitale Bildsequenz = Video [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 36
Modell für Erfassungssystem w(m,n)=h[v](m,n) u(m,n)=s n (mt) v(m,n)=g[u(m,n)] n(m,n) s(t) Sample g(.) H[.] + x(m,n) Sample: Abtastung (Aliasing!) g(.): Nichtlineares, statisches System (Nichtlinearität des ADC, Sensors, Offset, Gamma-Charaktersitik, etc.) H[.]: Lineares, dynamisches System (Antialiasingfilter, Sensor, Normierung auf Zahlenformat, ) n(m,n): Additive Rauschstörung (Sensoren, Quantisierung) Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 37
3D-2D-Abbildung Kamerasystem 2-D Bild Linse Sichtpyramide 3-D Szene [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Änderung der Information Alle Punkte außerhalb der Sichtpyramide werden nicht abgebildet. Alle verdeckten Punkte in der Sichtpyramide werden nicht abgebildet. Von den abgebildeten Punkten geht die Tiefeninformation verloren. Geometrische Verzerrungen Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 38
Geometrische Verzerrung Stürzende Linien durch nicht senkrechte Aufnahme Korrektur [Quelle: Bildverarbeitung, Neumann] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 39