Signalverarbeitung für audiovisuelle Kommunikation

Transkript

1 University of Applied Science Signalverarbeitung für audiovisuelle Kommunikation 1. Digitale Multimediasignale - Bild- und Videosignale & Digitalisierung

2 Bild- und Videosignale Bilder/Video(Bildfolgen): Elektromagnetische Welle im sichtbaren Spektrum Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 2

3 Augenaufbau Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 3

4 Retina / Rezeptortypen Verteilung von Zapfen und Stäbchen [Quelle: Bilddatenkompression, Strutz] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 4

5 Farbwahrnehmung 3 Zapfentypen, normierte Darstellung A Grün (100% Empfindlichkeit) B Gelb-Rot (95% Empfindlichkeit) C Violett-Blau (3% Empfindlichkeit) [Quelle: Bilddatenkompression, Strutz] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 5

6 Farbwahrnehmung Farbdarstellung (CIE-Normfarbtafel, 1931) Jeder Punkt repräsentiert eine von normalen Beobachtern wahrnehmbare Farbe Alle Farben zwischen zwei Punkten sind durch Mischen der Farben der Endpunkte möglich Alle Farben innerhalb eines Dreiecks sind durch Mischen der Farben der Eckpunkte möglich B G Mit RGB darstellbarer Farbbereich R Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 6

7 Farbwahrnehmung RGB-Farbraum: Darstellbare Farben im RGB-Farbraum Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 7

8 Bilderfassungssystem analog ADC/ CODEC DSP digital DDC Analog: BAS-Videosignal (VBS) oder Farbvarianten, s.u. Digital: IEEE1394 (Firewire, i.link), Cameralink Prof. Dr.-Ing. Marcus Purat,, FB VII Digitale Schnittstelle (parallel) Multimediasignale_02, Seite 8

9 Bilderfassungssystem light source image acquisition optical axis Industrielle CCD Kameras object camera lens CCD-chip [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 9

10 CCD-Sensoren [Quelle: Internet] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 10

11 CCD-Sensoren CCD-Sensoren: [Quelle: Internet] Orts-Zeit-Umwandlung Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 11

12 CCD- und CMOS-Sensoren CCD-Sensoren: Hohe Genauigkeit (gleichförmige Empfindlichkeit) CMOS-Sensoren: Ungenauer Geringere Leistungsaufnahme Schnelleres Auslesen von Bildausschnitten Zusätzliche Integration von Schaltkreisen möglich (Kamera auf einem Chip) Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 12

13 Farbbilderfassung 1-Chip-Kamera: Sensorelemente und RGB-Filter. Nachteil: Verringerung der Auflösung CCD-Chip Filter Licht Filter CCD-Chip (grün) Prisma 3-Chip-Kamera: Licht wird durch ein Prisma getrennt und separat gefiltert. Nachteil: Aufwändige Konstruktion. [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 13

14 Zeilen-Scan Orts-Zeit-Umwandlung: [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 14

15 Zeilen-Scan Progressive Scan: Jede Bildzeile nacheinander scannen Interlaced Scan: Zeilen mit Zeilensprung scannen 2 Halbbilder (fields) für ein Vollbild (frame) [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 15

16 Zeilen-Scan Progressive Wiedergabe von interlaced Video Interlace Artifacts (Kämme) [Quelle: Internet] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 16

17 Analoges Videosignal s/w-videosignal (BAS, engl. VBS) [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 17

18 Farbsignale Luminanz (Helligkeit) und Chrominanz (Farbe): Kompatibilität zum s/w-tv Verarbeitung von Grauwertbildern bei Farbaufnahmen Sinnesorgan (Auge) für Luminanz empfindlicher Luminanz Y = R G B Unterschiedliche Darstellungen von Chrominanz YUV (PAL-System) YIQ (NTSC-System) YCbCr (Digitales Video) Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 18

19 Farbsignale YUV: U = (B-Y), V = (R-Y) U U=V=0: Y=R=G=B Grauwert (weiß schwarz) V Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 19

20 Farbsignale YIQ: Vergleichbar mit YUV aber andere Farbachsen Q I Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 20

21 Farbsignale YCrCb: Anpassung des Wertebereichs der Chrominanzsignale an 8-Bit-Darstellung durch geeignete Normierung und Offset. 0 Y U und V bzw Cr und Cb Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 21

22 Analoges Videosignal Analoges Farb-Videosignal (FBAS, YUV, CVBS, Composite) Farbsynchronisationsburst Chrominanzsignale mit QAM im sw-spektrum [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 22

23 Analoges Videosignal Alternative analoge Farb-Videosignale: Component Video Y/C (S-VHS) (2 Signale) RGB (3 Signale) YUV (3 Signale) Zusätzlich manchmal Sync-Signale (HSYNC/VSYNC) Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 23

24 Fernsehsignalnormen PAL: 25 Hz Bildfolgefrequenz (50 Hz Halbbilder) 625 Zeilen pro Vollbild 576 sichtbare Zeilen NTSC: 30 Hz Bildfolgefrequenz (60 Hz Halbbilder) 525 Zeilen pro Vollbild 480 sichtbare Zeilen Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 24

25 Digitalisierung des Videosignals Bildformate: QCIF: Bildtelefon / Mobile Video (ca. 4Mbps) CIF/SIF: Bildtelefon+, CD-Video (ca. 30 Mbps) ITU-R 601: TV, DVD-Video (ca. 165 Mbps) ITU-R 709: HDTV (ca. 830 Mbps) [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 25

26 Digitalisierung des Videosignals Parameter: Abtastfrequenz 13,5 MHz 8 Bit Quantisierung Subsampling der Chrominanzkomponenten möglich Format 4:4:4 keine Unterabtastung Format 4:2:2 Horizontale Unterabtastung, Faktor 2 Format 4:1:1 Horizontale Unterabtastung, Faktor 4 Format 4:2:0 Horiz./Vertikale Unterabtastung, Faktor 2 Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 26

27 Digitalisierung des Videosignals Abtastfrequenz gemäß ITU601 = 13,5 MHz [Quelle: DVB, Reimers] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 27

28 Digitale Videosignale [Quelle: DVB, Reimers] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 28

29 Digitale Videosignale [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 29

30 Videopegel-Diagramm [Quelle: DVB, Reimers] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 30

31 AD-Converter für Video [Quelle: DVB, Reimers] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 31

32 DA-Converter für Video [Quelle: DVB, Reimers] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 32

33 Digitales Bildsignal x(m,n) Zahlenfolge s(t) x(m,n+1) Zahlenfolge m Zeile n Zeile n+1 t m s(t) Erfassungssystem x(m,n) DSP Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 33

34 Digitales Bildsignal [Quelle: Multimedia Communication Technology, Ohm] Darstellung von x(m,n) als Matrix x(0,0) x(0,1) X = x(0,2) M x(0, N 1) x(1,0) x(1,1) x(1,2) x(1, N 1) x(2,0) x(2,1) O x(2, N 1) L L L x( M 1,0) x( M 1,1) x( M 1, N 1) Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 34

35 Farbbildwiedergabe mit VLT [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Speicherplatzsparend Schnelle Farbmanipulation möglich, wenn Anzahl der Einträge in Tabelle geringer als Anzahl der Pixel im Bild Widergabe über Index in einer Farbtabelle Video-Lookup-Table (VLT) Rot Grün Blau 17 Pixel Bild Zum Monitor Video-Lookup-Table (VLT) 255 Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 35

36 Digitale Bildsequenz = Video [Quelle: Multimedia Communication Technology, Ohm] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 36

37 Modell für Erfassungssystem w(m,n)=h[v](m,n) u(m,n)=s n (mt) v(m,n)=g[u(m,n)] n(m,n) s(t) Sample g(.) H[.] + x(m,n) Sample: Abtastung (Aliasing!) g(.): Nichtlineares, statisches System (Nichtlinearität des ADC, Sensors, Offset, Gamma-Charaktersitik, etc.) H[.]: Lineares, dynamisches System (Antialiasingfilter, Sensor, Normierung auf Zahlenformat, ) n(m,n): Additive Rauschstörung (Sensoren, Quantisierung) Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 37

38 3D-2D-Abbildung Kamerasystem 2-D Bild Linse Sichtpyramide 3-D Szene [Quelle: Grundlagen der Bildverarbeitung, Tönnies] Änderung der Information Alle Punkte außerhalb der Sichtpyramide werden nicht abgebildet. Alle verdeckten Punkte in der Sichtpyramide werden nicht abgebildet. Von den abgebildeten Punkten geht die Tiefeninformation verloren. Geometrische Verzerrungen Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 38

39 Geometrische Verzerrung Stürzende Linien durch nicht senkrechte Aufnahme Korrektur [Quelle: Bildverarbeitung, Neumann] Prof. Dr.-Ing. Marcus Purat,, FB VII Multimediasignale_02, Seite 39