Automatische Segmentierung von mikroskopischen Zellbildern für die Biokompatibilitätsprüfung mit Hilfe eines Künstlich Neuronalen Netzes S. Buhl 1, B. Neumann 1,M. Schneider 1, U. Lehmann 1, E.Eisenbarth 2, T. Weißbach 2 1 Institut für Computer Science, Vision und Computational Intelligence, Fachhochschule Südwestfalen, Frauenstuhlweg 31, 58644 Iserlohn 2 Fachbereich Informatik und Naturwissenschaften Tel. (02371) 566-214 Fax (02371) 566-420 E-Mail: {Buhl, Neumann.B, Eisenbarth, MSchneider, Lehmann}@fh-swf.de 1 Zusammenfassung Im Rahmen dieses Projektes wird ein 2-stufiges Segmentierungsverfahren zur Analyse von mikroskopischen Zellbildern erarbeitet. Der erste Schritt besteht aus einer Bildvorverarbeitung zur Bildartefaktbeseitigung und Vorsegmentierung der Zellbereiche. In Stufe 2 erfolgt dann die Datengenerierung innerhalb der Zellbereiche, die durch das zuvor trainierte Künstliche Neuronale Netz (KNN) klassifiziert werden. 2 Motivation und Zielsetzung Die Endoprothetik hat mit der Einführung neuer Materialien und physikalischer Prinzipien seit etwa der Mitte des letzten Jahrhunderts eine rasante Entwicklung erlebt und liefert heute einen großen Beitrag zur Verbesserung der Lebensqualität sowie zur Steigerung der Lebenserwartung. Weltweit werden heutzutage jährlich mehr als 1.000.000 künstliche Hüftgelenke und 800.000 künstliche Kniegelenke eingesetzt, davon in Deutschland ca. 150.000 Hüft- und 60.000 Knieendoprothesen mit steigender Tendenz der Fallzahlen. Selbstverständlich muss gewährleistet sein, dass die eingesetzten Implantatmaterialien möglichst gut vom umliegenden Körpergewebe angenommen werden. Aus diesem Grund müssen umfangreiche Biokompatibilitätsprüfungen der eingesetzten Biomaterialien vorgenommen werden [1]. Zur Unterstützung der Biotechnologen bei der derzeit aufwendigen Prüfung der Biokompatibilität wird eine Automatisierung der Analyse mikroskopischer Zellbilder angestrebt. Die Segmentierung von mit nicht fluoreszierenden Farbstoffen behandelter Zellen in mikroskopischen Bildern stellt nach wie vor eine große Herausforderung dar. Für die Gewebeverträglichkeitsuntersuchung verbietet sich die Zellfärbung mit Fluoreszenzfarbstoffen, obwohl dadurch eine Zellsegmentierung erleichtert würde. Dies kommt daher, dass sich die Fluoreszenzfarbstoffe an spezifischen Stellen innerhalb der Zelle anlagern und somit die Bewertung der gesamten Zelle unmöglich macht. In der Literatur werden viele Verfahren für die Zellsegmentierung und analyse mit Methoden der Bildverarbeitung (BV) beschrieben [2][3][4]. Bei der Biokompatibilitätsprüfung von Implantatwerkstoffen weisen die zu untersuchenden Zellen komplexe Zellgeometrien auf.
Abbildung 1: Verwendete histologisch-zytologisch gefärbte Zellen Hier liegt der Unterschied zu vielen Publikationen. Da, wie in Abb.1 zu erkennen, die Zellmorphologie stark variiert, wird die Segmentierung von Zellen in Zellclustern sehr erschwert. Dies hat uns dazu motiviert, eine Zellsegmentierung mit BV- in Kombination mit CI-Methoden zu entwickeln. 3 Bildvorverarbeitung Das Substrat, auf dem die Zellen aufgebracht werden, wird im Vorfeld einem Poliervorgang unterzogen. Dabei können Polierartefakte im Bildmaterial sichtbar werden, die sich ggf. negativ auf die Segmentierung der Zellen auswirken können. In Abb.2 sind einige Polierkratzer zu erkennen. Abbildung 2: Zellen mit überlagerten Polierriefen Für eine Bildvorverarbeitung ist es wichtig, die Kratzer zu eliminieren, die in die Zellbereiche hineinlaufen, da sie eine geschlossene Zellkontursegmentierung verhindern können. Dabei ist zu beachten, dass keine schmalen Zellausläufer fälschlicherweise als Kratzer interpretiert und eliminiert werden, weil sie ein wichtiges Kriterium für die Beurteilung der Biokompatibilität darstellen. Um Zellausläufer auszuschließen werden alle Kratzer folgenden Prüfungen unterzogen: - Befindet sich mindestens ein Ende des Kratzers in einem Bildbereich mit hohem Blauanteil - Ist das Verhältnis des Blaukanals zum Rotkanal > 1.1 - Ist das Verhältnis des Blaukanals zum Grünkanal > 1.1
Abbildung 3: Darstellung der segmentierten Artefakte Die Segmentierung der Kratzer wird durch eine spezielle Funktion unter Verwendung der partiellen Ableitungen einer Gaußschen Glättungsmaske durchgeführt [5]. Nachdem alle Kratzer segmentiert sind (Abb.3), erfolgt nun die Interpolation der Kratzerpixelfarbwerte in Abhängigkeit von der lokalen Umgebung. Dazu werden die Kratzerregionen jeweils zweimal einer Dilatation unterzogen und der erste dilatierte Bereich vom zweiten subtrahiert. Der auf diese Weise neu entstandene Bereich dient als Maske für die Interpolation der Kratzerpixel mit den Umgebungsfarbwerten (Abb.4). Abbildung 4: Detektierter Kratzer und Interpolationsbereich Die Berechnung des neuen Kratzerpixelfarbwertes erfolgt dabei zeilenweise und orthogonal zur Kratzerorientierung. So werden lokale Farbänderungen in der Umgebung des Kratzers z.b. an der Zellgrenze bei der Neuberechnung des Farbwertes berücksichtigt. In Abb. 5 ist das Ergebnis einer solchen Prozedur zu sehen. Abbildung 5: Nach Ausfilterung der Kratzer Im Vergleich zu Abb. 2 sind die u.a. in die Zelle hineinlaufenden Kratzer völlig eliminiert worden, so dass nun eine stabilere Segmentierung der Zellkonturen gewährleistet ist.
4 Zellkontursegmentierung Die Segmentierung der Zellkonturen erfolgt jeweils für alle 3 Farbkanäle getrennt über eine Schwellwertoperation. Die resultierenden Binärbilder werden dann vereinigt und einer Bereichsegmentierung unterzogen, damit zusammenhängende Flächen individuell auswertbar sind. Daraufhin erfolgt eine Auswahl der Regionen über das Merkmal Fläche. Schließlich werden dann kleinere Segmentierungslücken bis zu einer Fläche von 85 Pixeln innerhalb der Regionen geschlossen. Die nachfolgende Grafik veranschaulicht die geschilderte Vorgehensweise.
5 Datenerzeugung für das KNN Da das KNN zwischen dem inneren und äußeren Ektoplasma sowie dem Endoplasma unterscheiden soll, mussten hierfür geeignete Merkmale gefunden werden. In dieser Arbeit stellen wir dem KNN vier Inputinformationen für die Klassifizierung bereit. Bei den ersten drei Inputwerten RGB V R, RGB V G, RGB V B handelt es sich um normierte Farbkanalverhältnisse, die aus den lokalen Histogrammen berechnet werden. Hierfür werden die Schwerpunkte R S, G S und B S aus den lokalen Histogrammen ermittelt und anschließend nach der Vorschrift R G RGB S V R =, RGB V S G =, RGB V S B = normiert. B Dabei wird = RS + GS + BS gesetzt. Zur Berechnung des Schwerpunktes des Rotauszuges haben wir z.b. R n 1 S = n mkgk k 1 m = k k = 1 verwendet. Für die Schwerpunkte der anderen Farbkanäle wird analog vorgegangen. Die Normierung macht die Ergebnisse von Helligkeitsschwankungen unabhängig. Bei dem vierten Inputwert handelt es sich um die Farbsättigung, da das Endoplasma i.d.r. eine höhere Farbsättigung besitzt als das Ektoplasma. Hierzu wird das RGB-Bild vorteilhaft in den HSV-Farbraum transformiert. Die Inputdaten werden wie bereits erwähnt in lokalen Fenstern der Größe 10x10 Pixel generiert. Sie werden iterativ durch die Zellregion verschoben. Dabei wird im ersten Schritt das kleinste umschließende Rechteck der aktuellen Zellkontur berechnet und schrittweise die Fenstermaske durch das umschließende Rechteck bewegt (Abb.6). Abbildung 6: Unterteilung der Zelle in kleine Segmente Nach jeder Iteration wird geprüft, ob mindestens 70% der Fensterfläche durch Zellpixel ausgefüllt sind. Ist dies der Fall, werden die Daten für die Inputneuronen ermittelt und gespeichert.
6 Einsatz eines Künstlichen Neuronalen Netzes Der Vorteil bei der Verwendung eines KNN liegt vor allem darin, dass ein komplexes Problem relativ einfach ohne mathematische Modellbildung und umfangreichen Algorithmen gelöst werden kann. In umfangreichen Vorversuchen mussten die optimalen Inputdaten für den erfolgreichen Einsatz eines KNN ermittelt werden. Zur Klassifizierung der unterschiedlichen Zellbereiche wurde folgende Netzarchitektur gewählt (Abb.7): Abbildung 7: Verwendete Netzarchitektur Für das Training wurden im Vorfeld 60 Trainings, 5 Validierungs- und 3 Testpattern generiert. Mit dem Backpropagation-Lernalgorithmus, einer Lernrate von η =0.5 und 2000 Lernzyklen sowie einer Validierung nach jedem 10 Schritt hat sich folgendes Trainings- und Validierungsergebnis herausgestellt. Abbildung 8: Trainings- und Validierungsfehler in Abh. der Lernzyklen
7 Ergebnisse Grundsätzlich eignen sich KNN`s zur Klassifikation der verschiedenen Zellbereiche. Zum jetzigen Zeitpunkt weisen die bisher analysierten Zellen eine relativ große Fläche und ausgeprägte Ekto- und Endoplasmabereiche auf, die von dem KNN gut klassifiziert werden. Abbildung 9: Klassifizierung der Zellbereiche In Abb. 9 stehen die Zahlen innerhalb der kleinen Fenster für 1: Endoplasma 2: Hellblaues Ektoplasma (es umschließt das Endoplasma) 3: Äußeres braunes Ektoplasma. Der Vorteil bei der lokalen Klassifizierung durch ein KNN mit Hilfe eines automatisch verschiebbaren Fensterbereiches liegt darin, dass neben der lokalen Klassifizierung auch gleichzeitig in großen Zellclustern der morphologische Kontext erhalten werden kann. Bei einer Segmentierung mit reiner Bildverarbeitung geht diese Information verloren. Vereinzelt auftretende lokale Klassifizierungsfehler können durch Überprüfung der Umgebung korrigiert werden. 8 Ausblick Im weiteren Verlauf des Projektes soll überprüft werden, in wie weit ein KNN auf morphologisch komplexere Zellen übertragbar ist. Dabei könnten weitere Merkmale gefunden werden, die als Inputdaten für das KNN geeignet sind. Da im Endoplasma meist große Farbvariationen vorhanden sind, könnten die aus den Grauwerthistogrammen berechneten Varianzen als weitere Inputdaten herangezogen werden. Vielleicht können sogar die kompletten Histogramme als Inputdaten verwendet werden. In dem Fall müsste jedoch das KNN wesentlich erweitert und optimiert werden.
9 Danksagung Das interdisziplinäre Projekt entstand am Institut für Computer Science, Vision and Computational Intelligence in Zusammenarbeit mit dem Labor für Biotechnologie an der Fachhochschule Südwestfalen. Das Institut wird vom Ministerium für Innovation, Wissenschaft, Forschung und Technologie des Landes Nordrhein-Westfalen gefördert. 10 Literatur [1] Rainer Gradinger, Hans Gollwitzer: Ossäre Integration, Springer Berlin Heidelberg 2006 [2] M. Tscherepanow, F.Zöllner, F.Kummert: Aktive Konturen für die robuste Lokalisation von Zellen; Springer Verlag; Berlin Heidelberg; 2005 [3] Lars Dornheim, Jana Dornheim.: Automatische Detektion von Lymphknoten in CT-Datensätzen des Halses; Springer Verlag; Berlin Heidelberg; 2008 [4] Giuliana Ramella, Gabriella Sanniti di Baja: Image Segmentation by Non- Topological Erosion and Topological Expansion;Advances in Mass Data Analysis of Signals and Images in Medicine Biotechnology and Chemistry International Converences MDA 2006/2007 [5] MVTec Halcon Referenzhandbuch Version 9.0