Informationsfluss. Digitale Bildverarbeitung

Transkript

1 Informationsfluss Digitale Bildverarbeitung

2 Digitale Bildverarbeitung

3 Bildaufname: CCD und CMOS Sensoren - Funktionsweise Charge Coupled Device Photodiode - Michael W. Davidson, Florida State University Prinzip Bildsensoren: ein Bildsensor hat eine Vielzahl in der Fläche angeordnete Silizium Photodioden. Die Intensität des einfallenden Lichtes wird über den Ladungszustand gemessen Licht regt Elektronen in der Depletions region SiO2 an. Diese werden auf Silikon übertragen, da Spannung im Halbleiter angelegt ist. Der fliessende Strom wird gemessen.

4 Bildaufname: CCD und CMOS Sensoren - Funktionsweise Charge Coupled Device Photodiode - Quantumeffizienz Blooming Rauschen Sensitivität

5 Bildaufname: CCD und CMOS Sensoren - Fullframe und Interline CCD - Fullframe CCD: Interline CCD: Haben für jeden Pixel nur einen lichtempfindlichen Bereich. Ladungen werden zeilenweise von Reihe zu Reihe weitergeschoben, bis sie in eine Auslesezeile gelangen. Bestehen pro Pixelreihe aus jeweils zwei Zeilen. Eine registriert das Licht und die andere leitet die Ladung weiter.

6 CCD Sensoren Schnellere Aufnamegeschwindigkeit von Sequenzen Datenmengen Reduktion Kürzere Belichtungszeit Verbessertes Signal zu Rauschen Verhältnis In Kamerasoftware einstellbar

7 Bildaufname: Photomultiplier (PMT) Verstärken das durch Photonen erzeugte Signal. - Confocale Laserscanning Mikroskopie Durch Photonen angeregte Elektronen schlagen weitere Elektronen aus den Dynoden heraus.

8 Schritte in der Bildbearbeitung

9 Digital Resolution Digital Acquisition Digital Image: How many pixels are needed to reproduce the object with the resolution obtained by the microscope Acquired with 512 x 512 pixels Acquired with 128 x 128 pixels

10 Analog Digital Wandler (A/D) - früher - - heute -?? Wieviele Pixel braucht ein Bild um die kleinsten von einander unterscheidbaren Strukturen adäquat darzustellen?

11 Analog Digital Wandler (A/D) - Zu Grunde liegendes Prinzip: Nyquist-Shannon-Abtast Theorem nm Pixelgrösse Ein analoges Signal muss mit mehr als der doppelten Signalfrequenz f(abtast) = 2,3 x f abgetastet werden um aus dem digitalen Abbild das analoge Ausgangssignal rekonstruieren zu können.

12 Schritte in der Bildbearbeitung

13 Digitale Codierung von Bildern - Mathematische Beschreibung der Tiefe von Pixeln - 1 bit beschreibt zwei Zustände: 0 und 1 2 bit beschreiben 4 Zustände 00, 01, 10 und 11 8 bit = 1byte beschreiben 2 8 Zustände = 256 Möglichkeiten Pixelwerte sind binäre Wörter der länge k, ein Pixel kann 2 k unterschiedlichen Werte annehmen. k = Bit-Tiefe. Signal (e.g. light) analog / digital converter 256 levels = 8 bit 4096 levels = 12 bit levels = 16 bit precision increases, larger dynamic ranges of signals can be accurately digitized 3-bit 4-bit 16-bit

14 Digitale Codierung von Bildern - Bildtypen - Binärbilder enthalten zwei Pixelwerte: schwarz und weiss mit jeweils einem bit pro pixel (0 und 1). 3-D Farbbilder werden z.b. in der konfokalen Mikroskopie erstellt. Sie bestehen aus Stapeln von Farbbildern mit 1-5 Kanälen, die meist 8 bit Tiefe aufweisen. Grauwertbilder sind häufig 8-bit (1byte) tief. Ein Pixel kann also 2 8 verschiedene Werte annehmen (256 Graustufen) Graustufen liegen immer im Wertebereich 0-2 k -1. Farbbilder z.b RGB (rot, grün. blau) Bilder bestehen aus 3 Kanälen für jede Farbe einer mit meistens 8 bit Tiefe. Somit hat ein Pixel in diesem Fall 24-bit. 4-D Farbbilder: können z.b in der Lebendzellmikroskopie generiert werden. Bildstapel bestehend aus mehreren Kanälen werden zeitabhängig aufgenommen. Spezialbilder: erforderlich wenn oben beschriebene Standardformate für die Darstellung der Bildwerte nicht mehr ausreichen. Es kann sich um Bilder mit negativen Werten als Zwischenergebnis einzelner Verarbeitungsschritte handeln.

15 Schritte in der Bildbearbeitung

16 Auflösung NA λ Auflösung (nm) Pixelgrösse mit Nyquist Kriterium (nm)

17 Digitale Codierung von Bildern - Beispiel für die Bildmatrix eines Fluoreszensfarbbildes

18 Rot Grün Jeder Kanal kodiert für eine Intensitätsverteilung für Rot, Grün respektive Blau Farbe Die endgültige Farbe entsteht durch Addition der einzelnen Kanäle Blau

19 3D Data Set y z x ) z ) z ) z ) z The information within the optical sections along the z-axis can be used to reconstruct a 3-dimensional image.

20 4D Data Set x y z ) z ) z ) z ) z ) z ) z ) z ) z t1 t2 3-D stacks recorded along the time course

21 5D Data Set Wavelenghts adding another dimension of fluorescent data (displayed as pseudo-colors). x y z ) z ) z ) z ) z ) z ) z ) z ) z ) z ) z ) z ) z t1, t2, t3,...

22 Voxels A voxel (= volume element) is the 3D-equivalent of the 2D-pixel. It is the smallest unit of a sampled volume. The given maximal lateral (x,y) resolution of 0.2 µm and the axial (z) resolution of 0.4 µm of a voxel results in an elongated shape (point spread function).

23 Digitale Codierung von Bildern - Speicherformate - TIFF Tagged Image File Format universell und flexibel können mehrere Bilder mit unterschiedlichen Eigenschaften enthalten. bestehen aus einem Image Header und den Image File Directories, die die eigentlichen Bilddaten enthalten. Unterstützung verschiedender Kompressionsverfahren

24 Digitale Codierung von Bildern - Speicherformate - JPEG Joint Photgraphics Expert Group Der Schwachpunkt der JPEG Kompression besteht im Verhalten bei abrupten Uebergängen und dem Hervortreten der 8 x 8 Bildblöcke bei hohen Kompressionsraten.

25 Digitale Codierung von Bildern - Look up tables (LUT) und Falschfarbendarstellung -

26 Schritte in der Bildbearbeitung Beschreibung von Bildern

27 Beschreibung von Bildern - Histogramme - Value count Histogramme von Bildern beschreiben die Häufigkeit der einzelnen Intensitätswerte Fkt: Informationen über ein Bild in kompakter Weise sichtbar machen

28 Beschreibung von Bildern - Histogramme - Binning: mehrere Intensitätswerte bzw ein Intervall von Intensitätswerten zu einem Eintrag zusammen fassen. z. B werden für ein 14 bit Bild (2 14 / 256 = 64) Intervalle mit jeweils 64 Graustufen zur Darstellung durch Binning gebildet. Diese Pixel liegen räumlich nicht! beieinander

29 Beschreibung von Bildern - Informationen im Histogramm: Belichtung - unterbelichtet Belichtung korrekt belichtet? überbelichtet

30 Beschreibung von Bildern - Informationen im Histogramm: Kontrast - Als Kontrast bezeichnet man den Bereich von Intensitätsstufen, die in einem konkreten Bild effektiv genutzt werden, also die Differenz zwischen dem maximalen und minimalen Pixelwert

31 Beschreibung von Bildern - Informationen im Histogramm: Dynamik - Unter Dynamik versteht man die Anzahl verschiedener Pixelwerte in einem Bild.

32 Beschreibung von Bildern - Informationen im Histogramm: Unterschiede zwischen Bildtypen -

33 Beschreibung von Bildern - Informationen im Histogramm: Bildaufnamefehler - Spitzen an den Enden des Histogramms zeigen Ueber- respektive Unterbelichtung an.

34 Schritte in der Bildbearbeitung

35 Beschreibung von Bildern - Informationen im Histogramm: Bildmanipulation - Original Kontrasterhöhung Kontrastverminderung

36 Beschreibung von Bildern - Informationen im Histogramm: Bildmanipulation Anwendungsbeispiel- Image J: Bildbearbeitung

37 Punktoperationen an Einzelbildern -generelle Definition - Als Punktoperationen bezeichnet man Operationen auf Bilder, die nur die Werte der einzelnen Bildelemente Pixel betreffen. Jeder neue Pixelwert ist ausschliesslich abhängig vom ursprünglichen Pixelwert an der selben Position. - Beispiel: Invertieren -

38 Punktoperationen an Einzelbildern - LUT Funktionen -

39 - Beispiel: Invertieren - Punktoperationen an Einzelbildern - LUT Funktionen -

40 Punktoperationen an Einzelbildern - LUT Funktionen - - Beispiel: Schwellenwert -

41 Punktoperationen an Einzelbildern - Gammakorrektur - Dargestellter Pixel = (gemessener Pixel min) (max min) γ

42 Punktoperationen an Bildpaaren Verknüpfung zweier Bilder miteinander durch logische Operatoren add, subtract, multiply, divide, AND, OR, MIN, MAX, γ, etc.

43 Punktoperationen an Bildpaaren - Background subtraction - Rohbild (I R ) Hintergrundbild (I F ) Dunkelbild (I D ) I C = (I R I D ) / (I F I D ) Hintergrund korrigiertes Bild (I C )

44 Punktoperationen an Bildpaaren - Background subtraction / flatfield correction - - Beispiel - Corrected image Non corrected image Background

45 Pixelgruppen Prozessierung Ein Pixel wird verändert, wobei die Nachbarpixel gewichtet Einfluss nehmen

46 Pixelgruppen Prozessierung -Prinzip -

47 Pixelgruppen Prozessierung - High pass Filter- High pass Filter: arbeitet besonders feine Details heraus ist verstärkt eher kontrastarme Details. Allerdings wird das Rauschen verstärkt, so dass ein Bild körnig aussehen kann

48 Pixelgruppen Prozessierung Low pass Filter: entfernt rauschige Pixel und weicht scharfe Uebergänge auf - Low pass Filter

49 Pixelgruppen Prozessierung Median Filter: reduziert Rauschen und gleicht Pixelwerte aus unter Bezugname der Nachbarpixel, allerdings ohne eine Gewichtung.

50 Pixelgruppen Prozessierung - Drehen - Bicubic interpolation Nearest neighbour interpolation Pixel can only be stored in a square matrix: interpolation necessary

51 Pixelgruppen Prozessierung - Deconvolution - Bei optischen Abbildungen stellt das Bild die Konvolution (Faltung) der originalen Bildfunktion mit der Punkt- Verbreiterungs-Funktion (Point Spread Function oder PSF) dar. Dekonvolution - Entfaltung Allgemein dargestellt entspricht dies dem Versuch, aus dem Ergebnis f der Faltung zweier Funktionen g und h f = g * h die unbekannte Funktion g bei bekanntem h und f zu bestimmen; Dekonvolution wird zum Beispiel zum Schärfen von Bildern verwendet. Die Dekonvolutions-Filter versuchen die Unschärfe mathematisch zu erfassen und rückgängig zu machen. Einige Verfahren: * Van Cittert deconvolution * Wiener deconvolution * Richardson Lucy deconvolution * blind deconvolution * Meinel * ZNova Algorithmus * Agard & Sedat Die Schärfung erfolgt über die PSF Matrix. Wird ein Bild digital unscharf gemacht, so kann man mit Hilfe von Dekonvolution und der genauen Kenntnis dieses Filters das Bild vollständig wiederherstellen.

52 Pixelgruppen Prozessierung - Deconvolution - Die Punktantwort oder Punktspreizfunktion (engl. "point spread function", kurz PSF) in der Optik und Bildverarbeitung beschreibt die Wirkung von bandbegrenzenden Einflussfaktoren wie * Beugungserscheinungen an Blenden * Abbildungsfehler * Einfluss der Sensorfläche bzw. Apertur Sie gibt an, wie ein idealisiertes punktförmiges Objekt durch ein System abgebildet würde. Bei Mikroskopen begrenzt die Breite der PSF die erreichbare Auflösung.

53 Sinn und Zweck Pixelgruppen Prozessierung - Deconvolution - Erhöhung der Auflösung in x, y und z Rauschen wird reduziert Optimierung des Bild formenden Prozesses (astigmatism,...)

54 Background Deconvolution Reality Theory focal plane 0.1 µm bead Crossection 1 µm Fluorescent bead with a diameter of 0.1 µm

55 Deconvolution Procedure Measure object of known size, but smaller than the resolution of the microscope: e.g. fluorescent bead with a diameter of 0.1 µm Compare image to the real representation of the object Convolution PSF Deconvolution Determine the difference of measured to real object Correct unknown objects with the difference.

56 Deconvolution 0.1 µm Bead microscope strongly misaligned! raw deconvolved Crossection Crossection 1 µm

57 Deconvolution effect