Lösen Sie mindestens 7 der folgenden Aufgaben. Abgabe: nächster Termin (21.Mai 2019).

Transkript

1 Image Tutorial 2 MBV - SS19, richard rascher-friesenhausen Dies ist der zweite Teil einer sehr, sehr kurze Einführung zu Python und den Möglichkeiten, vermittels des Moduls SimpleITK Bilder zu bearbeiten. Wir erweitern in diesem Tutorial unseren Umgang mit SimpleITK insbesondere um neue eingebaute Bildfilter und den Umgang mit dreidimensionalen Bildern. Für weitergehende Informationen zu SimpleITK schauen Sie unter Insbesondere die Beschreibung der Klassen ist für diese Tutorial von Interesse: Die Beschreibungen sind zwar für das C++-Interface der Bibliothek geschrieben. Sie lassen sich aber relativ einfach auf Python übersetzen. Lösen Sie mindestens 7 der folgenden Aufgaben. Abgabe: nächster Termin (21.Mai 2019). Wir gehen auf diesem Zettel stets davon aus, dass wir das Modul SimpleITK und auch myshow importiert haben. import SimpleITK as sitk from myshow import myshow SimpleITK Filter Das Modul SimpleITK stellt viele Bildverarbeitungsoperatoren (ImageFilter) zur Verfügung, die wir zum Teil auch schon selber implementiert haben. Bspw. die Glättungsfilter aus dem letzten Übungsblatt. Aber auch viele weitere. Beispielweise ist das Invertieren eines Grauwertbildes mit der Funktion InvertIntensity möglich. img = sitk.readimage('quadrat.png')

2 gmi = sitk.invertintensity(img) sitk.writeimage(gmi, 'tardauq.png') myshow(sitk.tile([img, gmi],[2,1])) Diese Hilfe zu InvertIntensityImageFilter beschreibt das objektorientierte Interface zu dem Algorithmus. Oben haben wir das prozedurale Interface InvertIntensity verwendet. Fast alle SimpleITK Algorithmen bieten diese beiden Schnittstellen an. Dabei ist der prozedurale Aufruf meist einfacher. Das objektorientierte Interface ist aber flexibler. Dazu später mehr. Neben der Prozedur InvertIntensity gibt es auch noch Square, Sin, AbsoluteValueDifference, RescaleIntensity. All dies Prozeduren entsprechen den Bildverarbeitungsalgorithmen, die wir auf den Übungszettel 2 für die verschiedenen Aufgaben selber programmiert haben. Aufgabe: Lösen Sie noch einmal die Aufgabe 3.4. Verwenden Sie aber diesmal die Prozedur AdaptiveHistogramEqualization von SimpleITK (mit den Standardparametern). img = sitk.readimage('woman_in_water.png') # out =??? sitk.writeimage(out, 'equal_woman_in_water.png') myshow(sitk.tile([img, out],[2,1])) Wir verarbeiten zumeist Bilder, die den Pixeltyp unsigned int 8 oder UInt8 besitzen. Für manche Berechnungen benötigt man aber Bilder, die einen Pixelwert als Float beschreiben. Und zum Speichern muss dann wieder ein UInt8 daraus gemacht werden. Für den Wechsel der Pixel-Datentypen gibt es den Bildoperator CastImageFilter oder Cast. Aufgabe: Probieren Sie dazu den folgenden Programmcode einmal aus. img = sitk.readimage('quadrat.png') print(img.getpixelidtypeasstring(), type(img[0,0])) Img = sitk.cast(img, sitk.sitkfloat32) print(img.getpixelidtypeasstring(), type(img[0,0])) Z.B. benötigen in SimpleITK die Glättungsfilter basierend auf partiellen Differentialgleichungen Eingangsbilder, deren Pixeltyp eine Float Zahl ist. Machen wir

3 gleich. Glättungsfilter Zuvor noch einmal die Glättungsfilter über Faltungsmasken. Der kleinste Mittelwertfilter besitzt die Faltungsmaske Diese kann über den Filter ConvolutionImageFilter oder Convolution auf ein Bild angewendet werden. Dazu gehört der folgende Python-Code import numpy as np img = sitk.readimage('clown.png') Img = sitk.cast(img, sitk.sitkfloat32) mean = sitk.getimagefromarray( 1/9 * np.array([[1, 1, 1], [1, 1, 1], [1, 1, 1]], np.float32)) Out = sitk.convolution(img, mean) out = sitk.cast(out, sitk.sitkuint8) sitk.writeimage(out, 'mean-clown.png') myshow(sitk.tile([img, out], [2, 1])) Aufgabe: Spielen Sie den obigen Programmcode durch und überprüfen Sie das Ergebnis mit dem MeanImageFilter bzw. Mean. # Ihr Code hierhinein Wir haben nun die Möglichkeit, eigene Filter über die Filtermaske zu definieren und auszuprobieren. Z.B. mit der "schiefe" Binomialmaske

4 Aufgabe: Was liefert der obige "schiefe" Binomialfilter für den Clown. Was passiert, wenn man ihn mehrfach (10 mal) anwendet. Vergeichen Sie mit dem normalen Binomailfilter. img = sitk.readimage('clown.png') Img = sitk.cast(img, sitk.sitkfloat32) # mask = Out = sitk.convolution(img, mask) out = sitk.cast(out, sitk.sitkuint8) sitk.writeimage(out, 'skew-clown.png') myshow(sitk.tile([img, out], [2, 1])) # Und jetzt mehrfach... Wir haben mit dem Mittelwertfilter und dem Binomialfilter eine Reihe von Glättungsfiltern kennengelernt. Sie haben den Nachteil, dass sie Kanten verschwimmen lassen. Es gibt Glättungsfilter, die versuchen, nur bis zu eine Kante zu glätten und damit die Kante zu erhalten. Der Kuwahara-Filter ist so ein Operator. Seine Ergebnisbilder wirken jedoch "blockig". import numpy as np def sitkkuwahara(img): arr_mask = 1/6 * np.array([[1, 1, 1, 0, 0], [1, 1, 1, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]], np.float32) arr_masks = [arr_mask] for i in range(1, 4): arr_masks.append(np.rot90(arr_masks[i-1])) masks = [] for i in range(4): masks.append(sitk.getimagefromarray(arr_masks[i]))

5 oimg = sitk.cast(img, sitk.sitkfloat32) simg = sitk.square(oimg) oimgs = [] simgs = [] for i in range(4): oimgs.append(sitk.convolution(oimg, masks[i])) simgs.append(sitk.convolution(simg, masks[i])) oimg = sitk.compose(oimgs) simg = sitk.compose(simgs) vimg = sitk.subtract(simg, sitk.square(oimg)) arr_vimg = sitk.getarrayfromimage(vimg) indices = np.argmin(arr_vimg, 2) Out = sitk.image(oimg) for x in range(out.getwidth()): for y in range(out.getheight()): Out[x, y] = oimg[x, y][indices[y, x]] out = sitk.cast(out, sitk.sitkuint8) return out Aufgabe: Wenden Sie den obigen Kuwahara-Filter auf das Clown-Bild einmal und 10 mal an. Die sogenannten Diffusionsfilter sind ebenfalls kanten-erhaltende Glättungsfilter, bei denen aber keine Blockbildung au ritt. Aufgabe: Verwenden Sie CurvatureAnisotropicDiffusionImageFilter, um das Clown Bilder zu glätten. Halten Sie sich bei der Programmierung an die kommende Struktur. Darin werden für die notwendigen Parameter folgende Standardwerte gesetzt: numberofiterations: 5 timestep: conductanceparameter: 3.0 img = sitk.readimage('clown.png') # Cast image to float type. Necessary for diffusion. Img = sitk.cast(img, sitk.sitkfloat32)

6 # Call image filter. Out = sitk.curvatureanisotropicdiffusion(img, conductanceparameter=3.0, # Show image and result. myshow(img, 'original') myshow(out, 'smoothed') numberofiterations=5, timestep=0.125) # Cast result to uint type. Necessary for png. out = sitk.cast(out, sitk.sitkuint8) # Save result. sitk.writeimage(out, 'smooth-clown.png') Aufgabe: Verwenden Sie auch die Bilder clown.png, moon.png und brain.png. Spielen Sie bei einem der Bilder ein wenig mit den obigen Parametern. (Vorsicht: eine zu hohe Iterationszahl führt zu sehr langen Rechenzeiten.) Vergleichen Sie die Ergebnisse. Ersetzen Sie den obigen Diffusionsfilter durch GradientAnisotropicDiffusion. Welcher ist "besser"? Mehr Informationen zu den Filtern finden Sie in der Dokumentation zu ITK, dem ITKSo wareguide. Diesen finden Sie unter wareguide.pdf. Aufgabe: Wie könnte man ein buntes Bild glätten? Spielen Sie Ihre Idee einmal durch auf einem Bild Ihrer Wahl. 3D Bilder im SimpleITK Wir verwenden das Modul SimpleITK insbesondere deshalb, weil wir damit auch dreidimensionale Bilder erzeugen, lesen, bearbeiten und schreiben können. Dazu gehören die folgenden Befehle, die wir zum Teil von 2D Bildern schon kennen.

7 Erzeugen eines sitk.image Objektes aus einer Bilddatei: img = sitk.readimage(dateiname) dateiname: Name einer existierenden Bilddatei, String. Speichern eines Bildobjekts: sitk.writeimage(img, dateiname) dateiname: Name der neuen Bilddatei, String Erzeugen eines sitk.image-objektes mit gegebener Dimension: img = sitk.image(breite, hoehe, tiefe, sitk.sitkuint8) breite: Anzahl der Spalten des Bildes, Integer größer Null hoehe: Anzahl der Zeilen des Bildes, Integer größer Null tiefe: Anzahl der Schichten des Bildes, Integer größer Null Auslesen der Tiefe eines Bildobjektes: breite = img.getdepth() Auslesen eines Voxels eines Bildobjektes: g = img[x,y,z] x: Spaltenindex des Voxels, Integer y: Zeilenindex des Voxels, Integer z: Schichtindex des Voxels, Integer g: Grauwert des Voxels, Integer Setzen eines Voxels eines Bildobjektes: img[x,y,z] = g x: Spaltenindex des Voxels, Integer y: Zeilenindex des Voxels, Integer z: Schichtindex des Voxels, Integer g: Grauwert des Voxels, Integer Aufgabe: Erzeugen Sie ein (leeres) Bild mit den Dimensionen 128, 64, 32. Prüfen Sie nach, ob das Bild tatsächlich diese Dimensionen besitzt. (GetHeight(), GetWidth(), GetDepth(), GetDimension(), GetSize()). Aufgabe: Erzeugen Sie ein dreidimensionales Bild der Größe 128^3 mit einem Quader der Seitenlänge 30 in der Mitte. Speichern Sie das Bild unter dem Namen quader.tiff ab. Das TIFF-Format kann mit 3D-Bildern umgehen. Schauen Sie sich Ihr Ergebnis in ImageJ an. Probieren Sie auch einmal das ImageJ Plugin 3D->3D Viewer aus.

8 myshow(img[:, :, 64]) Aufgabe: Erzeugen Sie ein dreidimensionales Bild der Größe 128^3 mit einer Kugel mit Radius 30 in der Mitte. Speichern Sie das Bild unter dem Namen kugel.tiff ab. myshow(img[:, :, 64]) In dem MeVisLab-Verzeichnis auf den Rechnern im MT-Rechnerraum findet man unter dem Verzeichnis Packages/MeVisLab/Resources/DemoData verschiedene medizinische Bilddateien. In dem dortigen Unterverzeichnis ProbandT1Formats sind unterschiedliche Bildformate eines T1-MR Bildes abgelegt. Aufgabe: Finden Sie auf Ihrem Rechner das angesprochene MeVisLab-Verzeichnis und schauen Sie sich die darin enthaltene Datei ProbandT1.small.itk.uint16.tiff in ImageJ an. Verwenden Sie auch wieder das 3D Viewer Plugin. Auf 3D-Bilder können auch alle SimpleITK Bildoperatoren angewendet werden. Aufgabe: Laden Sie die Datei ProbandT1.small.itk.uint16.tiff mit SimpleITK als Bild Img ein. Bekommen Sie den maximalen und minimalen Grauwert heraus. Invertieren Sie das Bild Img. Wenden Sie einen Threshold-Operator auf I über J = sitk.threshold(img, 800, 2000) an und schauen Sie sich das Ergebnis wieder in ImageJ an. Was ist übrig geblieben? I = sitk.readimage('probandt1.small.itk.uint16.tiff') # Min = # Max = # gmi = invertiert... # J = Schwellenwert...

9 Die Grauwerte in dem Bild sind 12Bit kodiert und bewegen sich in einem Intervall, dass deutlich mehr als 255 Grauwerte umfasst.