4.1.1 Halbleitersensoren zur Bildaufnahme Als Halbleiter-Bildsensoren kommen heute Bildsensoren vom Typ CCD(Charge Coupled Devices)-Bildsensoren und CMOS-Bildsensoren zum Einsatz 4.1.3 CCD-Bildsensoren Bei CCD-Sensoren geschieht die Signalauswertung getrennt vom eigentlichen Bildsensor. Historie 1968: Erster MOS-Technologie (G. Weckler) Sensor mit Ladungsintegration auf parasitärer Photodiodenkapazität C D und x-y-adressierbarer Auslese mittels MOS-Schaltern 1971: Erster Sensor nach dem CCD Sensor Prinzip mit Ladungsintegration in Potentialtöpfen Pixel = Picture Element Quelle: Dave Litwiller, CCD vs. CMOS, Teledynedalsa Bildkommunikationstechnik - Folie 253 Bildkommunikationstechnik - Folie 255 4.1.2 CCD-Bildsensoren CCD-Sensoren arbeiten nach dem Prinzip der Eimerkettenschaltung. Photonen erzeugen Ladungen, die durch geschickte Wahl von Potentialen transportiert werden können. 4.1.4 CCD-Bildsensoren Interline-Transfer CCD: Nach der Belichtung werden alle Ladungen gleichzeitig schnell in die dunkel angedeckten, vertikalen CCD Register geschoben. Von dort werden sie langsam ausgelesen. Gleichzeitig kann eine neue Belichtung beginnen. Kleine Chipgröße Geringe Pixelanzahl Geringe Empfindlichkeit Anwendung: Consumer-Camcorder Quelle: http://hamamatsu.magnet.fsu.edu/articles/microscopyimaging.html Bildkommunikationstechnik - Folie 254 Bildkommunikationstechnik - Folie 256 1
4.1.4 CCD-Bildsensoren Frame-Transfer CCD: Nach der Belichtung werden alle Ladungen gleichzeitig schnell in den dunkel abgedeckten Speicherbereich geschoben. Von dort werden sie langsam ausgelesen. Gleichzeitig kann eine neue Belichtung beginnen. Große Chipgröße Hohe Pixelanzahl Hohe Empfindlichkeit 4.1.6 CCD-Bildsensoren Full-Frame CCD: Während des Auslesens kann keine weitere Belichtung erfolgen. Mechanischer Verschluß nötig. Kleine Chipgröße Hohe Pixelanzahl Hohe Empfindlichkeit Anwendung: Standbildfotografie mit CCDs Bildkommunikationstechnik - Folie 257 Bildkommunikationstechnik - Folie 259 4.1.5 CCD-Bildsensoren Beispiel: CCD-Frame-Transfer-Sensor A,B,C: Takt -Signal-Anschlüsse für A,B: Signal zur Verschiebung des Ladungsbildes vom Aufnahmeteil in den Speicherteil (3-Phasig), B: Signal zur zeilenweisen Verschiebung des Ladungsbildes in das Ausgaberegister (3- Phasig), C: Signal zur Auslesung der Ladungsbild-Zeilen aus dem Ausleseregister (2- Phasig). A 1 A 2 A 3 B 1 B 2 B 3 Ausgaberegister CCD-Spalten 1. Zeile Aufnahmeteil 1. Zeile Speicherteil optisch abgedeckt Videosignal 4.2.1 CMOS-Bildsensoren Architektur ähnlich SRAM oder DRAM. Wahlfreies Auslesen einzelner Pixel. Einfachste Form: Jedes Pixel besteht aus einer Photodiode und einem Adresstransistor: Passive Pixel Sensor (PPS) C 1 C 2 Bildkommunikationstechnik - Folie 258 Bildkommunikationstechnik - Folie 260 2
4.2.2 CMOS-Bildsensoren 4.3.1 Vergleich CCD- und CMOS-Bildsensoren Verbesserung: Jedes Pixel besteht aus einer Photodiode, einem Verstärker und einem Adresstransistor. Weiterhin gibt es Verstärker für jede Spalte. CCD-Bildsensor erfordert externe(s) IC(s) für Taktschemaerzeugung und Treiben der CCD- Elektrodenstrukturen für den Ladungstransport Es werden mehrere Taktphasen benötigt, die an die Zellen der CCD-Matrix zu verteilen sind Große zu treibende kapazitive Lasten Konfigurationsschnittstelle und Analog-Digital Umsetzung extern Stark optimierter Herstellungsprozeß, große Parameterhomogenität Active Pixel Sensor (APS) Bildkommunikationstechnik - Folie 261 CMOS-Bildsensor mit On-Chip Auslese und optional auch On-Chip Timinggenerierung, Analog-Digital-Umsetzer, Schnittstellen für Konfiguration usw. CMOS-Design und Herstellung breiter verfügbar als für CCD Örtliche Streuungen von Prozeßparametern und Mismatch führen zu Fixed Pattern Noise (FPN) welches jedoch On-Chip korrigierbar ist großer Temperaturbereich (bis 120 C erprobt) niedrige System-Verlustleistung aufgrund niedriger Versorgungsspannung und zeilenweiser Auslese Umwandlung Ladung in Spannung oder Strom erfolgt im Pixel Bildkommunikationstechnik - Folie 263 4.2.3 CMOS-Bildsensoren Die Auslese und die Steuerung kann bei CMOS-Bildsensoren vollständig On-Chip erfolgen 4.4.1 Funktionsweise von Halbleiter-Bildsensoren Der wesentliche Effekt zur Wandlung von elektromagnetischer Strahlung im Wellenlängenbereich von etwa 0,1... 10 μm ist der fotoelektrische Effekt. Halbleiter-Bildsensoren nutzen den sog. Inneren fotoelektrischer Effekt. Durch die einfallenden Strahlungsquanten werden im Halbleiter Elektronen- Lochpaare generiert, die entweder zum Stromfluß (Fotowiderstand) beitragen oder zur Ladungsanhäufung führen (CCD, Fotoelement, Fotodiode) oder durch Ladungsüberschwemmungen in Sperrschichten zur Änderung des Stromfluss führen (Fotodiode, Fototransistor). Durch eine Photonen-Absorbtion werden Elektronen vom Valenzband ins Leitungsband angehoben. Quelle: Dave Litwiller, CCD vs. CMOS, Teledynedalsa Bildkommunikationstechnik - Folie 262 Bildkommunikationstechnik - Folie 264 3
4.4.2 Funktionsweise von Halbleiter-Bildsensoren Die Bandlücke ist materialabhängig. Energie eines Photons mit h: Planck sches Wirkungsquantum h = 6,626 10-34 Js f: Lichtfrequenz λ: Lichtwellenlänge c: Lichtgeschwindigkeit Grenzwellenlänge λ. Oberhalb von λ ist der Festkörper transparent. Halbleiter Bandlücke E g grenz Germanium 0,7 ev 1800 nm Silizium 1,1 ev 1100 nm GaAs 1,4 ev 840 nm GaP 2,3 ev 560 nm SiC 2,8 ev 440 nm GaN 3,5 ev 350 nm Bildkommunikationstechnik - Folie 265 4.4.4 Funktionsweise von Halbleiter-Bildsensoren Photosensitives Element CCD und PhotoGate: Photonen fallen durch mehr (CCD) oder minder (Photogate) lichtdurchlässige Poly-Si-Elektrode in den Halbleiter ein Photonen erzeugen Elektron-Loch-Paare am durch Inversionsschicht erzeugten pn-übergang Photostrom Integrationszeit = Ladung die im Potentialtopf gesammelt wird Photosensitives Element CCD: der Potentialtopf wird durch die Elektrodengeometrie und die angelegten Spannungen räumlich begrenzt Elektrodenspannung bestimmt die Tiefe der Verarmungszone und damit die Tiefe des Potentialtopfes Ladungsüberlauf äußert sich in Blooming wenn keine Gegenmaßnahmen getroffen werden Ladungstransport durch Verschieben der Potentialtöpfe (siehe 4.1.2) Bildkommunikationstechnik - Folie 267 4.4.3 Funktionsweise von Halbleiter-Bildsensoren Nachteil von CCD und Photogate: Abdeckung der Sensorfläche durch nicht vollständig transparentes Poly-Si-Gate. Entstehung von Photoströmen η mit Φ : Teilchenstrom, Photonen pro Sekunde A: Fläche des Teilchenstroms q: Elementarladung 1,6 10-19 As η : wellenlängenabhängiger Quantenwirkungsgrad : Aktive Pixelfläche, z.b. Photodiodenfläche Quelle: Kurt Thorn: Digital Cameras in Microscopy 4.4.5 CMOS Sensorelement Pinned Photodiode Photonen erzeugen wie bei CCD Elektron- Loch-Paare gesammelte Ladung wird für Auslese über das Transfergate (TX) zu einer CMOS Ausleseschaltung übertragen Ladungs/Spannungsumwandlung im Pixel Mix aus CCD-Prinzip und CMOS- Auslesetechnik in CMOS realisiert RS: Row Select RST: Reset TX: Transfer Gate Bildkommunikationstechnik - Folie 266 Bildkommunikationstechnik - Folie 268 4
4.4.6 Full Well Capacity Maximalladung im Potentialtopf von CCD und Photogate bei großen Pixeln z.b. 300.000 q Elektron, für typische Pixel von 4x4μm² bis 10x10μm² aber nur 25.000-100.000 Elementarladungen. Man spricht bei Bildsensoren daher auch von einer sog. Full Well Capacity von z.b. 100.000 Elektronen. Beim PhotoGate Pixel findet die Ladungs/Spannungsumwandlung anders als beim CCD schon in der Ausleseschaltung im Pixel statt. Die Spannungserhöhung pro erzeugtem Elektron-/Lochpaar am Pixelausgang liegt bei ca. 5-7μV/Elektron 4.4.8 Photodiode Im pn-übergang einer Diode bringt man ein p-dotiertes und ein n-dotiertes Gebiet in Kontakt. Durch Diffusion der Majoritätsträger in das jeweils andere Gebiet und durch die dortige Rekombination entsteht eine an Ladungsträgern verarmte Zone, der pn-übergang wird damit hochohmig. Schließt man an das p-gebiet eine positive und an das n-gebiet eine negative Spannung an (Durchlaßrichtung), so werden zusätzliche Ladungsträger in die Verarmungszone getrieben, deren elektrischer Widerstand sinkt und die Diode leitet. Bei entgegengesetzter Polung (Sperrichtung) werden noch mehr Ladungsträger aus dem pn-übergang abgezogen, dieser wird noch hochohmiger und sperrt. Wird ein Halbleiter mit einem pn-übergang beleuchtet, werden durch Lichtabsorption Elektronen-Loch-Paare erzeugt und im elektrischen Feld des pn- Übergangs getrennt. Elektronen laufen in das n-gebiet, Löcher in das p-gebiet. Bildkommunikationstechnik - Folie 269 Bildkommunikationstechnik - Folie 271 4.4.7 Full Well Capacity 4.4.9 Photodiode Full Well Capacity ausgewählter Kameras und kommerziell erhältlicher Sensoren Der erzeugte Photostrom ist also ein Strom in Sperrrichtung. Es muss berücksichtigt werden, dass bei Photodioden nur der sehr schmale Bereich des pn-übergangs selbst bzw. ein kleiner unmittelbar angrenzender Bereich aktiv ist. Photonen erzeugen Elektron-Loch-Paare Ladungstrennung bewirkt messbaren Photostrom, der als Strom oder als Spannung, d.h. als Ladung auf der parasitären Diodenkapazität C D ausgelesen werden kann Quelle: http://blog.kasson.com/?attachment_id=3259 Quelle: http://www.clarkvision.com/articles/digital.sensor.performance.summary/#full_well Bildkommunikationstechnik - Folie 270 Bildkommunikationstechnik - Folie 272 5
4.4.10 Photodiode Diodenstrom: k: Boltzmannkonstante 1,38 10-23 J/K q: Elementarladung 1,6 10-19 As I s : Sättigungsstrom der Diode (konstant) T: absolute Temperatur 1 Für die in Sperrrichtung vorgespannte Photodiode gilt damit 4.4.12 Lineares integrierendes Pixel Die nach dem Reset eingestellte Spannung verringert sich nun aufgrund der Entladung durch Photostrom und Dunkelstrom. Im Beispiel wird die nach der Belichtungsdauer verbleibende Ladung als Spannung an der Diode ausgelesen. 1 d 0 Wenn der Photostrom während der kurzen Belichtungs- bzw. Integrationszeitdauer (typ. 1-30ms) quasi konstant ist, gilt: 1 1 Dunkelstrom bei Raumtemperatur ca. 2 fa für ein 5 μm x 10 μm Pixel, Photostrom bei einer Bestrahlungsstärke E = Φ e /A = 2 W/m² (auf dem Sensor gemessen) ca. 600 fa für 5 μm x 10 μm Pixel. Bildkommunikationstechnik - Folie 273 Bildkommunikationstechnik - Folie 275 4.4.11 Lineares integrierendes Pixel 4.4.13 Lineares integrierendes Pixel Meist wird für Photodioden in CMOSTechnologie eine n+-diffusion-p-substrat-diode verwendet, da sie die geringste Fläche benötigt. Sie lässt sich hervorragend für sogenannte lineare integrierende Pixel einsetzen. In der Praxis wird die Photodiode zu Beginn der gewünschten Belichtungsdauer über einen Reset Schalttransistor (RST) in Sperrichtung auf ihre Referenzspannung von z.b. U ref = 3V aufgeladen. Da die in Diode sperrt, bleibt die in der parasitären Sperrschichtkapazität der Diode abgespeicherte Ladung zunächst erhalten, auch wenn der Reset-Schalter anschließend wieder geöffnet wird U ref RST Mit und λ gilt für die optische und elektrische Bestrahlungsstärke bzw. : Φ λ Φ η η λ η Spektrale Empfindlichkeit: η 0,25 für η 0,48 U D C D Bildkommunikationstechnik - Folie 274 Bildkommunikationstechnik - Folie 276 6
4.4.14 Lineares integrierendes Pixel 4.5.1 Drei-Sensor-Farbkamera Quantenwirkungsgrad η Rot-Sensor rot reflektierend Grün-Sensor blau reflektierend Blau-Sensor Quelle: Datenblatt Truesense KAC-12040 IMAGE SENSOR Bildkommunikationstechnik - Folie 277 Bildkommunikationstechnik - Folie 279 4.4.15 Lineares integrierendes Pixel Beispielrechnung mit 0,25 1 1 mit Responsivität 893 für = 0,28 Die Spannung ist somit unabhängig von der Fläche der Photodiode und C D, ist also durch R = 893 V/(J/m²) (bei 650nm) bestimmt. Für 1msund 2 folgt 1,78 V. Bildkommunikationstechnik - Folie 278 4.5.2 Drei-Sensor-Farbkamera 4.1.4, Abb. 1 zeigt das Aufbauprinzip einer Drei-Sensor-Kamera. Jede der Sensoren dient zur Aufnahme eines Farbauszugs. Das Gesamtlicht wird mithilfe eines prismatischen Farbteilersystems in einen Rot-, einen Grün- und einen Blauanteil aufgespaltet. Das Licht trifft zuerst auf einen teildurchlässigen Spiegel, mit dem der Blauanteil reflektiert wird. Das durch diesen Spiegel hindurchtretende rote und blaue Licht trifft dann auf einen zweiten teildurchlässigen Spiegel, der den Rotanteil reflektiert. Das hindurchtretende Licht trifft auf den Sensor zur Aufnahme des Grünauszugs. Die von den teildurchlässigen Spiegeln reflektierten Rot- und Blauanteile des Lichts werden über totalreflektierende Flächen der Teilerprismen auf die Sensoren zur Aufnahme des Rot- und Blauanteils gelenkt. Die optischen Weglängen für die verschiedenen Lichtanteile sind so gewählt, dass die Farbauszüge über eine Optik jeweils auf die lichtempfindlichen Schichten der Sensoren abgebildet werden. Eine Schwierigkeit bei der Drei-Sensor-Kamera liegt darin, dass die drei Farbauszüge deckungsgleich abgetastet werden müssen. Bildkommunikationstechnik - Folie 280 7
4.6.1 Ein-Sensor-Farbkamera Bei den aus Aufwandsgründen in der Konsumtechnik bevorzugt verwendeten Ein-Sensor-Kameras bereitet die Deckung der Farbauszüge (Konvergenz) keine Probleme. Bei ihnen werden die Farbauszüge über räumlich ineinander verschachtelte Farbfilter quasi simultan erzeugt. Besonders günstige Filter- Verschachtelungen lassen sich bei Verwendung von Halbleitersensor-Kameras verwenden, bei denen unterschiedlich farbige Filterflächenelemente fest den Sensorelementen zugeordnet werden können. Bildkommunikationstechnik - Folie 281 4.6.3 Bayer-Pattern Das sog. Bayer-Pattern, benannt nach einem Kodak-Mitarbeiter, wird häufig verwendet. Es enthält doppelt so viele Grünfilter wie Rot- oder Blaufilter und entspricht daher den Eigenschaften des menschlichen Gesichtssinns. Für jedes Bildelement wird aber nur der Wert eines Farbauszuges geliefert, die Werte der anderen beiden Farbauszüge müssen jeweils für jedes Bildelement berechnet werden. Einfacher Berechnungsalgorithmus: Die Werte der Grün-Bildelemente werden als Luminanzsignalwerte E Y verwendet Die Luminanzsignalwerte der nicht-grün-bildelemente werden durch einfach Interpolation der Werte der Grün-Nachbarwerte gebildet Die Berechnung der Chrominanzsignale der Rot- und Blau- Bildelemente geschieht durch C R =E R -E Y und C B =E B E Y. Durch eine Interpolation werden die fehlenden Chrominanzsignalwerte bestimmt Bildkommunikationstechnik - Folie 283 4.6.2 Mosaikfilteranordnungen Für die mosaikförmige Anordnung der einzelnen Farbfilter sind verschiedene Muster üblich: Zufallsmuster Vertikale oder diagonale Streifen Normales oder diagonales Bayer-Pattern Bildkommunikationstechnik - Folie 282 4.6.4 Bayer-Pattern Aufwendigerer Berechnungsalgorithmus: Für jedes Bildelement werden die Mittelwerte der benachbarten Bildelemente der anderen Farbauszüge berechnet. So stehen für jedes Bildelement ER, EG, EB zur Verfügung. Für die Umgebung wird ein mittleres Luminanzsignal berechnet, z.b. mit E E E E E E E E 3 oder 0, 2 0,7 0,1 Y R G B Y R G B Die Berechnung der Chrominanzsignale geschieht durch C E E ; C E E ; C E E R R Y G G Y B B Y Das hochfrequente Luminanzsignal wird bestimmt durch E für rote Bildelemente Y ER CR E für grüne Bildelemente Y EG CG E E C für blaue Bildelemente Y B B Bildkommunikationstechnik - Folie 284 8
4.6.5 Bayer-Pattern Direkt in RGB (gemeint ist E R, E G, E B ) rechnender Berechnungsalgorithmus: 4.6.7 Bildstörungen durch Mosaikfilter Das Bayer Mosaikfilter mit hochfrequenten Strukturen Fehlfarben Bildvorlage Simuliertes Ergebnis Quelle: Rudolph J. Guttosch: Investigation of Color Aliasing of High Spatial Frequencies and Edges for Bayer-Pattern Sensors and Foveon X3 Direct Image Sensors Bildkommunikationstechnik - Folie 285 Quelle: Rudolph J. Guttosch: Investigation of Color Aliasing of High Spatial Frequencies and Edges for Bayer-Pattern Sensors and Foveon X3 Direct Image Sensors Bildkommunikationstechnik - Folie 287 4.6.6 Kanteneffekte bei Mosaikfiltern Bayer Mosaikfilter mit Schräger Kante 4.6.8 Bildstörungen durch Mosaikfilter Durch Bildvorlagen mit regelmäßigen hochfrequenten Details können Störstrukturen durch Mosaikfilteranordnungen entstehen Quelle: Rudolph J. Guttosch: Investigation of Color Aliasing of High Spatial Frequencies and Edges for Bayer-Pattern Sensors and Foveon X3 Direct Image Sensors Bildkommunikationstechnik - Folie 286 Foto: Sabine van Treeck Bildkommunikationstechnik - Folie 288 9
4.6.9 Bildstörungen durch Mosaikfilter Kommerzielle Kameras ohne optisches Tiefpassfilter neigen zu Störstrukturen durch die Verwendung von Mosaikfiltern (oben: Kodak slr/c, unten: Canon 1ds) 4.6.1 CMY-Farbfiltermuster Die Abbildung zeigt die spektralen Empfindlichkeiten zweier vergleichbarer Kodak Bildsensoren mit Mosaikfiltern, einmal für RGB- und einmal für CMY-Mosaikfilter. Fotos: www.dpreview.com Bildkommunikationstechnik - Folie 289 Quelle: Kodak- Datenblatt Bildkommunikationstechnik - Folie 291 4.6.10 CMY-Farbfiltermuster Neben RGB-Farbfiltermosaiken werden auch Farbfiltermosaike mit gelben, purpurnen und blaugrünen Filtern verwendet. Sie werden als CMY-Filter bezeichnet: und besitzen eine höhere Lichtempfindlichkeit, da die RGB-Farbfilter produktionstechnisch jeweils aus zwei aufeinanderliegenden Filtern bestehen, z.b. Rot aus Gelb und Purpur, so dass der Transmissionsgrad der RGB-Farbfilter im Durchlassbereich kleiner ist und die RGB-Farbfilter im Gegensatz zu den CMY-Farbfiltern einen kleineren Lichtwellenlängenbereich als Durchlassbereich besitzen und damit für ein gleichverteiltes Lichtsignal (weiß) weniger Lichtenergie passieren lassen. 4.6.12 Neuartige Mosaikfilteranordnungen Zur Steigerung der Sensorempfindlichkeit gibt es neue Entwicklungen mit Sensorelementen, die keine Filter tragen und damit eine höhere Empfindlichkeit aufweisen. Man kommt hier der späteren Verarbeitung mit einem Luminanzsignal und zwei Chrominanzsignalen schon im Sensor näher. Varianten teilw. ohne Farbfilter Neue Anordnung Bayer-Pattern Bildkommunikationstechnik - Folie 290 Quelle und Bilder: Kodak, Juni 2007 Bildkommunikationstechnik - Folie 292 10
4.6.13 Neuartige Mosaikfilteranordnungen Fujifilm "X-Trans" CMOS Sensor 4.7.2 Beispiel: Optisches Tiefpassfilter Nikon D800 (E) Der "X-Trans" CMOS Sensor wird ohne optisches Tiefpaßfilter verwendet. In jeder Zeile und in jeder Spalte sind wenigstens ein für R, G und B empfindliches Sensorelement. Aber im Gegensatz zum Bayer-Pattern gibt es etwas weniger für R und B empfindliche Sensorelemente. D800 D800E Quelle: www.dpreview.com Bildkommunikationstechnik - Folie 293 Bildkommunikationstechnik - Folie 295 4.7.1 Beispiel: Optisches Tiefpassfilter Nikon D800 (E) Seit 2012 : Nikon D800 mit optischem Tiefpassfilter, Nikon D800E ohne 4.7.3 Beispiel: Optisches Tiefpassfilter Nikon D800 (E) D800 D800E Quelle: www.dpreview.com Quelle: www.dpreview.com Bildkommunikationstechnik - Folie 294 Bildkommunikationstechnik - Folie 296 11
4.7.4 Beispiel: Optisches Tiefpassfilter Nikon D800 (E) 4.7.4 Beispiel: Leica M Typ240 D800 D800E Quelle: www.dpreview.com Bildkommunikationstechnik - Folie 297 Bildkommunikationstechnik - Folie 299 4.7.5 Beispiel: Optisches Tiefpassfilter Sony RX-1 (R) Sony RX-1 Sony RX-1 Sony RX-1R Sony RX-1R Quelle: www.dpreview.com Bildkommunikationstechnik - Folie 298 12