Digitale Bildverarbeitung (DBV)

Transkript

1 Digitale Bildverarbeitung (DBV) Prof. Dr. Ing. Heinz Jürgen Przybilla Labor für Photogrammetrie heinz bochum.de Tel Sprechstunde: Montags Uhr und nach Vereinbarung HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 1

2 Schema einer Digitalkamera HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 2

3 Aufbau, Funktion und Eigenschaften von Halbleitersensoren HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 3

4 Digitale Aufnahmesysteme Digitale Aufnahmesysteme erfassen die Bildinformation mit Hilfe opto elektronischer Sensoren, die anstelle einer Filmschicht im Bildraum angebracht sind. Sie liefern unmittelbar ein elektronisches Bild, das durch geeignete Komponenten digitalisiert und in einen Rechner übertragen werden kann. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 4

5 Digitale Aufnahmesysteme HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 5

6 Opto elektronische Bildsensoren In photogrammetrischen Aufnahmesystemen werden ausschließlich Festkörper Bildsensoren (solid state sensor) eingesetzt. Jedes Detektorelement (Sensorelement) erzeugt proportional zur einfallenden Lichtmenge elektrische Ladung, die anschließend elektronisch ausgelesen, aufbereitet und digitalisiert wird. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 6

7 Opto elektronische Bildsensoren CCD Charged Coupled Device (Ladungsgekoppeltes Bauelement) CMOS Complementary Metal Oxide Semiconductor (paarweise komplementär zueinander angeordnete Transistoren ) Anfänge der Technologien: 60er und 70er Jahren CMOS: damals zu langsam, Schwierigkeiten bei der Herstellung bis 1990 fast ausschließlich CCD Chips HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 7

8 Eigenschaften von Halbleitersensoren Die dargestellten Eigenschaften stellen ein Maß für die Qualität bzw. die aufgabenspezifische Eignung eines Sensors dar. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 8

9 Quantenausbeute ( quantum efficiency ) Die Effizienz, mit der in einem Halbleiter ein Photon (Lichtteilchen) in ein Landungsträgerpaar umgewandelt wird. Der Maximalwert liegt bei ca. 80% (grün). HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 9

10 Pixelanzahl Die Anzahl der Bildpunkte auf den Sensoren istindenvergangenen25jahrendrastisch gestiegen. In der Photogrammetrie werden derzeit (2014) Kameras mit max. 250 MPixel angeboten. Im Consumer Markt sind 25 MPixel, z.t. auch darüber hinaus verfügbar. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 10

11 Pixelanzahl HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 11

12 Pixelgröße Die durchschnittliche Größe eines Bildelements ist bei Digitalkameras deutlich gesunken. Eine Reduzierung der Pixelgröße auf Werte unter ca. 5µm ist wenig sinnvoll, da die geometrische Auflösung der verwendeten Objektive i.d.r. nicht besser ist. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 12

13 Sensor Pixelgrößen HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 13

14 Sensorformate (Consumer Markt) HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 14

15 Signal Rausch Verhältnis (S/N) Das Signal Rausch Verhältnis ist der Quotient aus der Amplitude des übertragenen Signals zu der Rauschamplitude des Kanals. Es ist ein logarithmisches Maß und wird in Dezibel (db) angegeben. Bei elektrooptischen Bildsensoren wird unter S/N das Verhältnis der maximal speicherbaren Anzahl der Ladungsträger pro Pixel zum Rauschsignal verstanden. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 15

16 Signal Rausch Verhältnis (S/N) Ein Rauschsignal wird erzeugt, wenn Elektronen ohne Beteiligung von einfallendem Licht freigesetzt werden, z. B. durch Temperatureinfluss Dunkelstrom. Eine Temperaturerhöhung um 8 C hat in etwa eine Verdoppelung des Dunkelstroms zur Folge. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 16

17 Signal Rausch Verhältnis (S/N) Durch Dunkelstrom verursachtes Rauschen kann zum Teil nachträglich durch Bildbearbeitung am Computer oder bereits in der Kamera entfernt werden. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 17

18 Beispiel für Dunkelstrom [ HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 18

19 Auslesegeschwindigkeit Die Auslesegeschwindigkeit definiert die Wiederholrate der Bildaufnahme (Bildwiederholfrequenz). In der praktischen Anwendung mit digitalen Kameras muss noch die interne Speicherung bzw. die Datenübertragung berücksichtigt werden. Eine Steigerung kann durch paralleles Auslesen mehrerer Sensorzeilen erreicht werden. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 19

20 Dynamikumfang Der Dynamikumfang zeigt, wie gut sehr helle und gleichzeitig sehr dunkle Bildbereiche eines Motivs vom Bildsensor noch korrekt abgebildet werden können. Bildsensoren erreichen z.b. nicht den gleichen Dynamikumfang wie das menschliche Auge. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 20

21 Dynamikumfang Während das Auge an sonnigen Tagen auch in Häuserschatten noch Zeichnung erkennen, bildet eine Digitalkamera den Schattenbereich zu dunkel ab oder die helle Hauswand ist überzeichnet. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 21

22 Dichteumfang (Gradation) Der Dichteumfang ist die Spannbreite zwischen der minimalen (D min ) und maximalen Dichte (D max ) eines lichtempfindlichen Materials. Die Dichtekurve beschreibt den Zusammenhang zwischen Belichtung und der Reaktion des Sensors. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 22

23 Dichteumfang (Gradation) Die Steilheit der Dichtekurve (bei logarithmischer Auftragung der Belichtung) wird als Gammawert, der Unterschied zwischen der maximalen und der minimalen Dichte auch als Dichteumfang bezeichnet. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 23

24 Dichteumfang (Gradation) tan D log H Gradation γ : Steigung des geradlinigen Teils der o.a. Funktion HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 24

25 Dichteumfang (Gradation) Der lineare Teil beschreibt den Bereich, bei dem der Sensor normal belichtet wird: gleiche Belichtungsintervalle führen zu gleichen Dichteintervallen. Die nicht linearen Kurvenverläufe werden als Unterbelichtung bzw. Überbelichtung bezeichnet. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 25

26 Speichertiefe (Farbtiefe) Die Speichertiefe ergibt sich aus dem radiometrischen Auflösungsvermögen des Sensors. Sie stellt somit die Anzahl der unterschiedlichen Grauwertstufen dar. Es besteht eine Verbindung zum S/N und dem Dynamikumfang. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 26

27 Allgemeine Empfindlichkeit Die Empfindlichkeit S (sensivity, speed) einer fotografischen Emulsion wird für eine bestimmte Strahlung und genau festgelegte Aufnahme und Entwicklungsbedingungen definiert. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 27

28 Allgemeine Empfindlichkeit Sie wird als Kehrwert jener Belichtung H D definiert, mit der eine bestimmte Dichtedifferenz D über dem Grauschleier erzielt wird. Angaben in Deutschland nach DIN, in USA nach ASA. Nach ISO Norm sind beide Angaben notwendig. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 28

29 Allgemeine Empfindlichkeit DIN ASA HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 29

30 Allgemeine Empfindlichkeit Sensoren digitaler Kameras weisen ein Äquivalent zur Filmempfindlichkeit des chemischen Films auf. Wie beim Film kann die Schärfeleistung bei Einstellung einer niedrigen Empfindlichkeit gesteigert werden. Die Einstellung einer höheren Empfindlichkeit führt i.d.r. zu einer Zunahme des Bildrauschens. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 30

31 Allgemeine Empfindlichkeit Höhere Empfindlichkeiten werden erreicht, indem das (analoge) Signal des Sensors vor der Digitalisierung stärker verstärkt wird. Die Empfindlichkeit von Halbleitersensoren ist in der ISO definiert. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 31

32 CCD Sensor HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 32

33 CCD Sensor Ursprünglich 1969 von Forschern der Bell Laboratorien in den USA für die Datenspeicherung entwickelt Bereits 1970 wurde ein CCD Bildsensor gebaut 1975 Digitalkamera mit Fairchild CCD Bildsensor mit 0.01 MP und 4 kg HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 33

34 CCD Sensor HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 34

35 CCD Sensor Detektorelemente werden durch MOS Kondensatoren (metal oxide semiconductor) gebildet. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 35

36 Opto elektronische Bildsensoren Aktivierung der Ladungen im Halbleiter durch unterschiedliche Strahlungsintensitäten (Photonen) des einfallenden Lichtes. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 36

37 Opto elektronische Bildsensoren Transfer und Ausleseregister neben den aktiven Detektoren HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 37

38 Opto elektronische Bildsensoren Ausleseprinzip mittels CCD Technik: Die Ladungszustände verschieben sich von Takt zu Takt (t 0, t 1, t 2, ) jeweils um ein Element nach rechts und werden im letzten Element quantifiziert. CCD oder Eimerketten Prinzip HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 38

39 Interline Transfer Architektur [Th. Luhmann: Nahbereichsphotogrammetrie] Die lichtempfindlichen Sensorelemente sind getrennt angeordnet und weisen zum Nachbarelement eine Lücke von etwa der Größe eines Elements auf. Die Ladungsträger werden in eine Transferspalte verschoben und in einer vertikalen, optisch verdeckten CCD Eimerkette zum Ausleseregister transportiert. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 39

40 Interline Transfer Architektur [ HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 40

41 Frame Transfer Architektur [Th. Luhmann: Nahbereichsphotogrammetrie] Der Sensor besteht aus einer lichtempfindlichen Sensorzone und einer gleich großen, abgedeckten Speicherzone, die aus CCD Eimerketten bestehen. Nach der Belichtung werden die Ladungsträger vertikal aus der Sensorzone in die Speicherzone transportiert. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 41

42 Frame Transfer Architektur [ HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 42

43 Full Frame Transfer Architektur [Th. Luhmann: Nahbereichsphotogrammetrie] Der Sensor besitzt nur noch eine Sensorzone, aus der die Ladungen direkt in ein Ausleseregister übertragen werden. Während des Auslesevorgangs darf die Sensorzone nicht wieder belichtet werden. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 43

44 Full Frame Architektur [ HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 44

45 Farbsensoren Für die Detektion von Farbbildern werden Sensoren mit Pixeln unterschiedlicher spektraler Empfindlichkeit benötigt. Nach der notwendigen Verrechnung von Pixeln gleicher oder benachbarter Positionen werden Helligkeits und Farbinformationen erhalten. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 45

46 Farbsensoren: Verfahren Drei Chip CCD Sensor: Systeme, die unter Verwendung eines Dichroitisches Prismas das Spektrum aufspalten und drei getrennten CCD Sensoren zuführen. [ HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 46

47 Farbsensoren: Verfahren Bayer Matrix: Systeme, die einen Sensor benutzen, der mit einer absorbierenden Farbmaske versehen ist. [ Sensor] HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 47

48 Farbsensoren: Verfahren Foveon X3 Sensor: System, das die unterschiedliche Eindringtiefe von roten und blauem Licht in Silicium ausnutzen. Ist bei CCD Sensoren nicht üblich. [ resource.com] HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 48

49 CMOS Sensor HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 49

50 CMOS Sensor Active Pixel Sensor (APS) Die Technik wurde 1963 bei Fairchild Semiconductor entwickelt und patentiert. In den 1970er und 1980er Jahren noch bedeutungslos, da die notwendige Integrationsdichte noch nicht erreicht war. Der Anteil der lichtempfindlichen Fläche an der Gesamtfläche eines Pixels lag anfänglich bei nur 30%. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 50

51 CMOS Sensor Active Pixel Sensor (APS) [Foto: Canon] HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 51

52 CMOS Sensor Ein Active Pixel Sensor (APS) ist ein Halbleiterdetektor zur Lichtmessung, der in CMOS Technik gefertigt ist und deshalb oft als CMOS Sensor bezeichnet wird. Die CMOS Technologie ist eine bewährte Technik zur Herstellung von Rechnerprozessoren und Speicherbausteinen. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 52

53 CMOS Sensor Detektorelemente werden durch komplementäre Metall Oxid Halbleiter (Complementary metal oxide semiconductor) gebildet. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 53

54 CMOS Sensor CMOS Sensoren basieren auf Fotodioden oder Transistorelementen. Die durch das einfallende Licht entstehende Ladung wird direkt durch einen in jedem Pixel integrierten Verstärker und Digitalisierbaustein verarbeitet. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 54

55 CMOS Sensor Es findet kein sequentieller Ladungstransport statt. Pixel lassen sich einzeln schalten oder auslesen. Es besteht eine deutliche geringere Störanfälligkeit gegenüber Blooming und Transportverlusten. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 55

56 CMOS Sensor Neben der Pixelmatrix und den Auslesestrukturen können ohne Weiteres Kamerafunktionen auf dem Sensor integriert werden, so dass mit der CMOS Technologie Einchip Lösungen realisiert werden können. HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 56

57 CMOS Sensor [ HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 57

58 CMOS Sensor: Vorteile gegenüber CCD Sensor Nur 1/10 bis 1/3 des Energieverbrauchs Geringere Herstellungskosten Direkt adressierbare Sensorelemente Hohe Bildfrequenzen > 1000 Bilder/sec Sensorsteuerung und Bildverarbeitung direkt auf dem Chip Hoher Dynamikumfang und geringes Rauschen HS BO Labor für Photogrammetrie: Aufbau und Funktion von Halbleitersensoren 58