Vorlesung Grundlagen Videotechnik Psycho-Optik. -Geschichte: verschiedene Abstraktionsstufen

Transkript

1 Vorlesung Grundlagen Videotechnik Psycho-Optik -Geschichte: verschiedene Abstraktionsstufen - Abbildung 3-D auf 2-D - erste Zeichnungen, Höhlenbilder - Zerlegung in Bildpunkte: Photozellen, parallele Übertragung - Zerlegung in zeitlich aufeinander folgende Bildpunkte (Abtastung), oder Bilder für Bewegtbilder (S-W Fernsehen)

2 Psycho-Physik Annahme des Gehirns: 3Dimensionale Welt! Reale Welt Modell der Welt Aber Auge: Retina Oberfläche (2-Dim), Gehirn rechnet auf 3 Dimensionen zurück

3

4

5 Projektionsmatrix Lochkamera-Prinzip 3D-Objekt/Szene Loch Abbild Abbildung von den 3-D Koordinaten des Objekts zu den 2-D Koordinaten in der Bildebene erfolgt mittels einer Projektionsmatrix P.

6 Man verwendet sog. Homogenen Koordinaten, wo eine zusätzliche Koordinate w für die Beschreibung einer Translation (Verschiebung) verwendet wird: [][ p11 p12 x y = p 21.. w p 31.. p ][ ] p14 X Y x= P X.. Z p34 W Hier ist P die Projektionsmatrix der Kamera, X sind die 3D Welt-Koordinaten und x die Koordinaten auf der Bildebene der Kamera.

7 Beachte: x, y, w und x /w, y /w,1 beschreiben den gleichen Punkt. (sh. auch Beispiel fuer eine Projektion auf die X,Y Ebene (bei Z=1): ][ ] X x Y y = Z w W [][ Die Projektion auf die Bildebene ist hier also: [ x, y]=[ X,Y ]/ Z (siehe obige Gleichung fuer gleiche Punkte) Dies stellt eine mögliche Kamera-Projektion dar.

8 z Z=1 x z=0 Durch die Normalisierung auf Z=1 nehmen wir eine Projektion auf die Bildebene bei Z=1 vor.

9 Informationsverlust durch Projektion von 3-D auf 2-D. Beispiel: Optische Täuschungen. Aus:

10

11 Zerlegung in Bildpunkte hier wichtig: Gehirn erkennt teils verdeckte Objekte, also auch verdeckt vom Gitter des Punktrasters - Auge selber nimmt Bilder mit einzelnen Sehzellen wahr, und setzt daraus Bild zusammen. Wie sehen Sehzellen aus, wie viele und welche Formen gibt es?

12

13 -2 Typen von Photorezeptoren: Stäbchen und Zapfen: -Stäbchen: ca. 110 Mio. Stäbchen, Hell-Dunkel-Sehen (skotopisches Sehen). -Zapfen: ca. 6 Mio. Zapfen, im sogen. gelben Fleck (macula lutea) konzentriert, Farbsehen bei Tageslicht (photopisches Sehen) Unterschied der Anzahl wichtig für Übertragung und Kompression. Aus:

14

15 Farbe Aus: J.Lim: 2-Dimensional Signal and Image Processing

16 Luminanz, Luminosity Function, Helligkeitsempfindung des Auges: 3 10 =m i l l i= =m i k r o= 9 10 =n a n o= 1 mm 1000 Wellenlaengen dergrundfarben von Kamera und Monitor

17 Spektrale Empfindlichkeit der Zapfen der Retina Luminanz Überhöhung Summe der Beiträge der 3 Zapfentypen Aus: Video Processing and Communications, Yao Wang, Jörn Ostermann, and Ya-Qin Zhang, Prentice Hall,2002 ISBN

18 Beachte: An der Luminosity Function sehen wir quantitativ die unterschiedliche Empfindlichkeit des Auges fuer unterschiedliche Wellenlaengen des Lichts. Kameras und Monitore haben ihre Zentren ihrer Durchlassbereiche der Grundfarben-Farbfilter bzw. der Grundfarben Farbstoffe der Monitore and den gekennzeichneten Stellen. Dort koennen wir die zugehoerige Emfindlichkeit des Auges ablesen. Hinzu kommt, dass Monitore und auch Kameras eine nichtlineare Leucht- oder Emfpindlichkeits-Kennline haben, die etwas exponentiell verlaeuft (langsamer Leuchtanstieg bei geringer Anteuerung, schneller Anstieg bei staerkerer Ansteuerung). Die Kombination von Augenempfindlichkeit bei den Grundfaben und der nicht-linearitaet der Monitore ergibt die Faktoren fuer die Luminaz-Komponente des Bildes Y, die einfach als Schwarz/Weiss Version des fab-bildes angesehen werden kann: Y :=0.299R+0.587G+0.114B

19 Farbtransformationen: YUV Um die unterschiedliche Empfindlichkeiten des Auges für Helligkeit (Luminanz) und Farbe (Chrominanz) zu nutzen, führt man nach der Kameraaufnahme Farbtransformationen durch. Die gebräuchlichste ist YUV. Sie ist definiert durch die erwaehnte Luminanz-Komponente: Y :=0.299R+0.587G+0.114B Fuer eine gute Trennung von Luminanz und Farbe brauchen wir Farb-Komponenten, die moeglichst zu Null werden wenn Pixel unbunt sind, also nur schwarz, weiss oder grau sind. Diese Eigenschaft erhaelt man mit den folgenden Farbkomponenten, die wir U und V nennen. Farbkomponenten nennen wir auch Chrominanz. U =B Y

20 V =R Y In Matrix-Schreibweise koennen wir diese 3 neuen Komponenten aus den 3 Grundfarb-Komponenten einfach durch eine MatrixMultiplikation erhalten. Die Koeffizienten der Matrix fuer U und V ergeben sich einfach durch ausschreiben der Komponente Y: [][ ] R Y U = G B V Durch die geringere Anzahl der farbempfindlichen Zapfen im Auge koennen nun die Farbkomponenten mit einer geringeren Bandbreite oder Bitrate uebertragen werden. Z.B. im analogen TV haben U und V Bandbreiten von ca. 1.3 MHz (in PAL), und Y ca. 5 MHz.

21 Python Beispiel Das folgende Python beispiel zeigt die YUV Farbtransformation. Im ersteb Fenster ist das Oroginal live Video zu sehen, und in den weiteren die Komponenten YUV. Beachte: Wenn ein unbuntes Objekt oder Papier vor die Kamera gehalten werden, werden die Videos der U und V Komponenten schwarz, weil deren Pixel zu Null werden. Aufruf mit: python videorecprocyuv.py

22 YIQ Eine alternative Farbtransformation ist YIQ. Sie ist soga noch effektiver in der Reduktion der Bandbreiten fuer die farbkomponenten, war aber in analoger Elektronik schwerer zu realisieren. Daher wird hauptsächlich im ersten Farbfernsensystem verwendet, im NTSC Farbfernsehsystem (analog). Die Transformation ist: [][ ][ ] 0,299 0,587 0,114 R Y I = ,274 0,321 G 0,211 0,522 0,311 B Q In beiden transformationen sehen wir: Wenn R=G=B, dann ist Y=U=0 und I=Q=0.

23 Beachte auch: U,V und I,Q koennen negativ werden! I: Bereich orange-blau Q: Bereich lila-grün Auge ist im I-Bereich empfindlicher. I: 1,3 MHz Bandbreite (ca. 1 4 Video-Bandbreite) Beim NTSC Verfahren: YIQ.: Farbram um 30 gedreht, gegenüber YUV.

24 1 Q: 0,5 MHz Bandbreite (ca. 10 Video-Bandbreite) YCbCr YcrCb ist eine Farbtransformation die in digitalen Systemen verwendet wird, ueblicherweise mit 8bit Aufloesung pro Komponente. Sie beinhaltet eine Normalisierung und eine Verschiebung, so dass die Werte aller Komponenten zwischen 0 und 255 liegen (also auch nicht mehr negativ sind). Aus YUV ergibt sich so die Farbtransformation [ ][ ][ ] Y' R' G ' 0.5 Cb = B ' Cr Y',R',G',B' haben den ', weil sie nun auch nur Werte zwischen 0 und 255 haben.

25 Farbunterabtastung der Pixel in digitalen Systemen Y'CbCr 4:4:4 Y'CbCr 4:2:2 Y'CbCr 4:2:0 Y'CbCr 4:2:0 MPEG-2-Abtastpositionen Weiss: Luminanz-Komponente Grau: Chrominanz-Komponenten (aus:

26 Beachte: Bei 4:2:0 wird fuer die Farbkomponenten nur jedes 2. Pixel horizontal und vertikal uebertragen.

27 Die Farbe eines Pixels wird bestimmt vom Verhaeltnis der Intensitaeten seiner Grundfarben. Python Beispiel: python imagecolordisp.py Beachte: Wenn wir alle 3 Farbkomponenten R,G,B mit dem gleichen Faktor multiplizieren, aendert sich nur die Helligkeit aber nicht die Farbe! Wenn uns also nur die Farbe interessiert, koennen wir eine beliebige Festlegung fuer die Helligkeit waehlen, z.b.: R+G+B=Konstant Frage: Wenn wir eine bestimmte Farbe haben moechten, wie bekommen wir das dazugehoerige Verhaeltnis der Grundfarben zueinander? Wenn wir die Grundfarben eines Monitors oder Kamera kennen, wie bestimmen wir dessen Farbraum?

28 Hierfuer konstruieren wir einen Farbraum, dessen Achsen die Hypotetischen Outputs der Roten (x) und Gruenen (y) Zapfen sind. Diese sind normalisiert auf den Bereich von 0 bis 1. Der Output der hypotetischen Blauen Zapfen (z) ergibt sich aus konstanten Summe eins: x+y+z=1 Damit ergibt sich das sogenannte CIE-Normfarbtafel.

29

30

31 Farbtemperatur: Farbe (glühend) eines schwarzen Körpers (Black-Body) bei der gegebenen Temperatur. - Glühbirnen: Temperatur etwa K an der Glühwendel -> entsprechende Farbtemperatur - Sonnenlicht: Farbtemperatur etwa 6000K, entspricht etwa Temperatur an Sonnenoberfläche.

32