Diplomarbeit. Michael Franke. Oktober 2012

Transkript

1 Diplomarbeit Machbarkeitsstudie zur Nutzung eines auf Structured Light basierenden Kamerasystems zur Bewegungskorrektur von Patientenbewegungen in der Positronen-Emissions-Tomographie Michael Franke Oktober 2012 Helmholtz-Zentrum Dresden Rossendorf Institut für Radiopharmazie Abteilung Positronen-Emissions-Tomographie Die Diplomarbeit wurde eingereicht an der: Technische Universität Dresden Fakultät Informatik Institut für Software- und Multimediatechnik Professur Mediengestaltung verantwortlicher Hochschullehrer: Verantwortlicher des HZDR: Betreuer am HZDR: Prof. Dr.-Ing. habil. Rainer Groh Prof. Dr. Jörg van den Hoff Dr. Jens Langner, Dr. Frank Hofheinz

2

3 Selbständigkeitserklärung Hiermit erkläre ich, Michael Franke (Matrikelnummer ), dass ich diese Diplomarbeit selbstständig erstellt und keine anderen als die angegebenen Hilfsmittel verwendet habe. Dresden, Oktober 2012

4

5 Zusammenfassung Die Positronen-Emissions-Tomographie (PET) ist ein bildgebendes Verfahren der Nuklearmedizin, das unter anderem in der Krebsdiagnostik verwendet wird. Der zeitliche Aufwand einer PET-Untersuchung liegt dabei im Rahmen mehrerer Minuten bis hin zu etwa einer Stunde. Selbst kleinste Bewegungen des Patienten während einer Aufnahme können die Qualität der resultierenden Bilder negativ beeinflussen, da sie zu Unschärfe und Bewegungsartefakten und damit zur problematischeren Verwendbarkeit der tomographischen Daten im Rahmen der medizinischen Auswertung führen. Seit einigen Jahren existieren Verfahren zur Korrektur der stattgefundenen Bewegungen, hierzu müssen diese allerdings detektiert werden. Zur Bewegungserkennung wurde am Helmholtz-Zentrum Dresden-Rossendorf (HZDR) ein System auf der Basis von externen, so genannten Markern entwickelt. Diese müssen während einer PET-Messung am Patienten befestigt werden. Das Bewegungserkennungssystem des HZDR wird im folgenden auch Referenzsystem genannt. Es liefert sehr genaue Ergebnisse, ist allerdings unter anderem aufgrund der externen Marker nicht problemlos auf jeden PET-Scanner übertragbar. Da am HZDR in den letzten Jahren ein neues Kombinationsgerät aus PET und MRT in Betrieb gegangen ist, sollen im Rahmen dieser Arbeit Methoden untersucht werden, die eine markerlose Bewegungserkennung ermöglichen. Dazu wurde eine PET-Messung an einem entsprechend präparierten Phantom, einer Attrappe, durchgeführt, welches unterschiedlichen Bewegungen ausgesetzt wurde. Parallel zur PET-Messung wurden von den Bewegungen des Phantoms Aufnahmen sowohl mit dem bisherigen, marker-basierten Trackingsystem als auch mit einer Microsoft Kinect angefertigt. Aus diesen Daten wurden anschließend mittels unterschiedlicher Algorithmen die Transformationen der Position des Phantoms zwischen einzelnen Messzeitpunkten berechnet. Diese Informationen wurden dann zur Bewegungskorrektur der PET-Daten genutzt, aus denen im Anschluss die bewegungskorrigierten Volumendaten rekonstruiert wurden. Es wurde ein Qualitätsvergleich der mittels Kinect-Daten bewegungskorrigierten Bilder durchgeführt. Dabei wurden die verwendeten Algorithmen sowohl untereinander als auch im Vergleich mit dem bisherigen Trackingsystem evaluiert. Es konnte gezeigt werden, dass die markerlose Bewegungserkennung mittels des vorgestellten Versuchsaufbaus grundsätzlich funktioniert. Alle untersuchten Algorithmen benötigten eine gegenüber dem Referenzsystem deutlich ge-

6 steigerte Verarbeitungszeit. Die Qualität der bewegungskorrigierten PET-Daten war durchweg schlechter als bei Verwendung des Referenzsystems, erreichte aber dennoch zum Teil klinisch ausreichende Werte. Weitere Untersuchungen im Hinblick auf eine Optimierung der Registrierungsschritte sowie die Evaluierung anderer, geeigneterer Kamerasysteme sind notwendig, um das markerbasierte Verfahren im gegebenen Kontext vollständig ablösen zu können.

7 Inhaltsverzeichnis 1. Einleitung 1 2. Alternative Nutzungsmöglichkeiten 5 3. Grundlagen Positronen-Emissions-Tomographie Das Messprinzip PET-Installationen am HZDR Bewegungskorrektur von PET-Scans Auswertung der rekonstruierten Schichtbilder Anforderungen an ein Tracking-System im HZDR Tiefenbestimmung durch visuelle Systeme Microsoft Kinect Tiefenerkennung Rahmenbedingungen für den Einsatz Punktwolken Filtertechniken Registrierungsverfahren Material und Methoden Verwendete Hard- und Software Cross-Kalibrierung Bewegungserkennung Aufnahmefrequenz Wahl des Referenzbildes Filterung Downsampling Segmentierung der Kopfoberfläche Registrierung Übersicht über die Auswertungen

8 Bewertungskriterien Evaluation im Kontext einer PET-Messung Versuchsaufbau und -ablauf Analyse der Maximalintensitäten Vertiefende Analyse der besten Verfahren Bewertungskriterien der vertiefenden Analyse Aufbau der prototypischen Implementierung KinectRecorder SphereSeg KNTrack Resultate Cross-Kalibrierung von Kinect und PET-Scanner Bewegungserkennung Aufnahme der Kinect-Daten Wahl des Referenzbildes Downsampling Segmentierung der Kopfoberfläche Filterung Registrierung der Punktwolken Übersicht über die Auswertungen Evaluation im Kontext einer PET-Messung Euklidischer Abstand der aktivitätsgewichteten ROI-Schwerpunkte Mittlere Aktivität der ROIs Maximale Aktivität der ROIs Diskussion Cross-Kalibrierung von Kinect und PET-Scanner Bewegungserkennung Versuchsaufbau und -ablauf Aufnahme der Kinect-Daten

9 Wahl des Referenzbildes Downsampling Segmentierung der Kopfoberfläche Filterung Registrierung von Punktwolken Evaluation im Kontext einer PET-Messung Fazit 75 A. Kinect-Hardware 77 B. Kinect-Tiefenerkennung im Detail 81 B.1. IR-Pattern B.2. Disparity-Map Bibliographie 90

10

11 1 EINLEITUNG 1. Einleitung Obwohl die Medizin in den letzten Jahrzehnten viele Fortschritte in der Diagnose und Behandlung von Krebs erzielt hat, war dieses Krankheitsbild auch 2010 Ursache etwa eines Viertels aller Todesfälle in Deutschland [1]. Für die erfolgreiche Behandlung von Tumoren ist häufig deren frühzeitige Erkennung sowie eine möglichst genaue Abgrenzung der betroffenen Regionen maßgeblich. Dazu existieren verschiedene Verfahren wie die Szintigraphie, die Magnet-Resonanz-Tomographie (MRT), die Computer-Tomographie (CT) sowie die für die vorliegende Arbeit relevante Positronen-Emissions-Tomographie (PET). Diese ist ein nuklearmedizinisches Bildgebungsverfahren, mit dem Stoffwechselvorgänge sichtbar gemacht werden können. Sie wird abseits der Krebsdiagnostik auch in der Neurologie oder Kardiologie verwendet. Die PET bedient sich dabei eines speziellen Tracers, der dem Patienten in die Blutbahn injiziert wird. Ein Tracer ist eine radioaktiv markierte Substanz, die am Stoffwechsel des Patienten teilnimmt, diesen wegen der geringen verabreichten Stoffmenge sowie der geringen Halbwertszeit des radioaktiven Zerfalls (wenige Minuten bis zu etwa zwei Stunden) aber nicht beeinflusst. Der am häufigsten verwendete Tracer ist 2-[ 18 F]Fluoro-2-Deoxy-D-Glukose (FDG). Der Tracer reichert sich aufgrund ihrer erhöhten Stoffwechselaktivität besonders stark in Tumorzellen an [2, 3]. Der radioaktive Zerfall des Tracers wird dann im PET-Scanner detektiert und die so gewonnen Daten zu einem drei-dimensionalen Bild rekonstruiert. Je nachdem, ob nur ein kleiner Teil des Körpers, beispielsweise der Kopf, oder der gesamte Körperstamm untersucht werden sollen, dauert eine PET-Untersuchung typischerweise von einigen Minuten bis hin zu etwa einer Stunde. Während dieses Zeitraums sollte sich der Patient idealerweise nicht bewegen, da selbst kleinste Lageänderungen zu Unschärfe oder Artefakten in den rekonstruierten Bildern führen können. Diese Vorgabe ist in der Praxis allerdings nicht einzuhalten, so dass Verfahren zur Bewegungserkennung, -analyse sowie -korrektur zur Anwendung kommen müssen, bevor die Bildrekonstruktion beginnen kann. Bewegungen können dabei sowohl extern (beispielweise das Verrücken des Kopfes oder von Gliedßmaßen) als auch intern vorkommen (beispielweise durch Verschiebung von Organen bei der Atmung). Für den Siemens Exact Ecat HR + PET-Scanner (HR + ) des Helmholtz-Zentrums Dresden-Rossendorf (HZDR) wurden solche Verfahren für Bewegungen des Patientenkopfes im Rahmen einer Diplom- und Doktorar- 1

12 1 EINLEITUNG beit entwickelt und auch in die klinische Routine überführt [4, 5]. Die Bewegungserkennung basiert auf einer Reihe von externen Markern, welche an einer Sicherheitsbrille, dem so genannten Target, befestigt wurden. Diese Brille wird von Patienten während einer Untersuchung getragen und die Bewegungen des Targets gegenüber einer Referenzposition aufgezeichnet. Die Bewegungen werden dann analysiert und die Rohdaten der PET-Messung entsprechend korrigiert, bevor die drei-dimensionale Bildrekonstruktion durchgeführt wird wurde am HZDR einer der weltweit ersten Hybrid-Tomographen (bestehend aus einem PET sowie einem MRT) der Firma Philips installiert. Aufgrund der Tatsache, dass bei einer Kopfmessung im PET/MR für eine Trackingbrille kein Platz wäre, lässt sich das bewährte, markerbasierte Bewegungserkennungssystem nicht ohne weiteres auf den neuen Scanner übertragen. Es existieren verschiedene Methoden, Bewegungserkennung und -korrektur von PET- Aufnahmen durchzuführen, von denen viele bereits Einzug in die Fertigung der Geräte an sich gehalten haben, während andere sich gegenwärtig in der Erforschung oder Erprobung befinden. Neuere Scannergenerationen kombinieren häufig verschiedene Bildgebungsverfahren. Die Informationen des integrierten Zweitsystems lassen sich dann oft zur Bewegungserkennung nutzen. Beschrieben werden solche speziellen Methoden beispielsweise für eine Kombination aus PET und SPECT (Single Photon Emission Computed Tomography) bei Pellot-Barakat [6]. Philips benutzt für die Kombination aus PET und CT eine Atemphasenerkennung, bei der entweder mittels eines dehnbaren Gürtels oder eines infrarot (IR) - reflektiven Targets auf dem Bauch des Patienten sowie einer IR-Kamera die einzelnen Abschnitte der Atmung detektiert werden. Eine Aufnahme der PET/CT Daten erfolgt dann jeweils nur in derselben Bewegungsphase, wodurch sich die Bewegungsartefakte deutlich reduzieren lassen (bei entsprechend erhöhter Untersuchungsdauer) [7]. Bei PET/MRT- Kombinationsgeräten von Siemens kann mit Hilfe der MRT-Daten ein Bewegungsfeld erstellt werden, das die gesamte Körperbewegung, also auch die Bewegung der inneren Organe beispielsweise bei der Atmung, umfasst [8]. Neben diesen Scanner-spezifischen Ansätzen existieren auch Lösungen für Scanner-unabhängige Bewegungserkennungen. Systeme zum markerbasierten Tracking finden sich beispielsweise bei Woo [9] oder Langner [4, 5]. Placht stellt ein System zur markerlosen Bewegungserkennung mittels einer Time of Flight-Kamera vor [10]. 2

13 1 EINLEITUNG Die von Chun in [8] vorgestellte Lösung ist leider nicht auf den Philips PET/MR des HZDR übertragbar, da im Gegensatz zum Gerät von Siemens beide Scanner nicht integriert, sondern räumlich getrennt vorliegen und somit keine gleichzeitige Aufnahme von PET und MRT-Daten möglich ist. Aus diesem Grund soll die vorliegende Arbeit Methoden zur markerlosen Bewegungserkennung entwickeln beziehungsweise evaluieren. Es wurde sich für einen Ansatz mittels Structured light entschieden und dafür eine auf der Microsoft Kinect (Kinect) basierende Installation zur Verfügung gestellt. Die Kinect besteht dabei unter anderem aus einer RGB- sowie einer IR-Tiefenkamera und liefert eine so genannte Disparity-Map der Szene, also ein Bild mit Tiefeninformationen der im Sichtbereich der Kamera, dem Field of view (FOV), liegenden Umgebung. Diese Art von dreidimensionalen Informationen aus nur einer Perspektive heraus wird auch als 2,5D bezeichnet. Aus diesen Tiefeninformationen wird eine so genannte Punktwolke generiert. Damit wird ein Datensatz bezeichnet, in dem für alle Punkte einer Szene lediglich ihre 3D-Koordinaten gespeichert werden. Um die Bewegungen des Patienten während einer PET-Untersuchung detektieren zu können, werden die mittels Kinect nacheinander aufgezeichneten Bilder (beziehungsweise die daraus generierten Punktwolken) gegeneinander registriert. Dabei wird mittels numerischer Methoden versucht, die affine Transformation zu berechnen, die eine Punktwolke möglichst ideal auf die andere abbildet und damit die stattgefundene Patientenbewegung zwischen zwei Aufnahmen repräsentiert. Im Rahmen dieser Arbeit wurden verschiedene Methoden untersucht, die es erlauben, die affine Transformation zu bestimmen. Ebenso wurde der Einsatz von in der Computergrafik gängigen Filtertechniken sowie der Einfluss diverser anderer Faktoren auf den Registrierungsprozess untersucht. Die Qualität der jeweils rekonstruierten Bilder wurde sowohl absolut als auch relativ zum Referenzsystem ermittelt. Die relative Bestimmung der Güte zum Referenzsystem ist sinnvoll, da sich dieses im klinischen Einsatz sehr gut bewährt hat (es wurden bereits über 1000 bewegungskorrigierte PET-Untersuchungen im klinischen Kontext am HZDR durchgeführt) und ein neues System vergleichbar gute (oder bessere) Ergebnisse liefern sollte. Zur letztendlichen Bewertung der Güte der entwickelten Bewegungserkennung mittels der Kinect wurde eine so genannte Phantom-Messung an einem PET-Scanner durchgeführt. Als Untersuchungsobjekt wurde ein mit einer radioaktiven Quelle präparierter Frisierpup- 3

14 1 EINLEITUNG penkopf (Phantom) genutzt, das verschiedenen Bewegungen innerhalb des FOV des PET- Scanners ausgesetzt wurde. Begleitend zur PET-Messung wurde die Bewegungserkennung mittels des Referenzsystems parallel zur Bildaufzeichnung mittels der Kinect durchgeführt. Um die im Kinect-Koordinatensystem berechneten Transformationen für die Bewegungsanalyse und -korrektur nutzen zu können, mussten Methoden zur Cross-Kalibrierung der Koordinatensysteme des PET-Scanners und der Kinect erarbeitet werden. 4

15 2 ALTERNATIVE NUTZUNGSMÖGLICHKEITEN 2. Alternative Nutzungsmöglichkeiten Die in der vorliegenden Arbeit vorgestellte Erkennung kleinster Bewegungen starrer Körper kann auf vielfältige Weise auch in anderem Kontext genutzt werden. Beispielhaft sollen einige davon im Folgenden vorgestellt werden. Die Verwendung des infraroten Lichtspektrums ermöglicht dabei generell die Bewegungserkennung auch unter schlechten Lichtverhältnissen oder gar in völliger Dunkelheit. Überwachung und Steuerung Halb- und vollautomatisierte Prozesse und Arbeitsabläufe erfordern typischerweise eine ebenso automatisierte Überwachung bestimmter Parameter. Der hier vorgestellte Algorithmus ist prinzipiell in der Lage, diese Überwachung unter bestimmten Bedingungen durchführen zu können. Denkbare Einsatzgebiete wären beispielsweise die Positionierung von mechanischen Greifarmen, die Feinsteuerung von Automaten (zum Beispiel in einer Haarschneide-Maschine) oder die Positions- und Lagebestimmung von Gegenständen, Robotern oder ähnlichem aus einer externen Perspektive heraus. Ein Beispiel einer solchen Anwendung zeigt die Firma Georgia Tech mit ihrer Software BioTrack Pack [11]. In dieser werden die Bewegungen von Insekten mittels einer ähnlichen Bewegungserkennung verfolgt und visualisiert (vgl. dazu Abb. 1) 1 Steuerung interaktiver Szenen / Kopftracking Intuitive Bedienbarkeit virtueller Szenen ist Forschungsgegenstand vieler Disziplinen der Informatik. Die in dieser Arbeit vorgestellte Bewegungserkennung auf Basis der Microsoft Kinect bietet eine preiswerte und genaue Kopftracking-Lösung für interaktive Systeme. Auf diese Art könnten beispielsweise Usability-Untersuchungen direkt am Arbeitsplatz des Nutzers durchgeführt werden, statt ein teures Mehrkamera-Setup in einem extra eingerichteten Usabillity-Labor nutzen zu müssen. Auch andere Untersuchungen und Studien, die Informationen aus der Kopfposition und -orientierung ziehen, profitieren von den im Rahmen dieser Arbeit vorgestellten Konzepten (beispielsweise Aufmerksamkeits-Studien). 1 Die räumliche Auflösung der Microsoft Kinect ist allerdings zu gering, um so filigrane Strukturen wie Ameisen erkennen zu können. Dennoch können diese Konzepte auch auf größere Objekte übertragen werden. 5

16 2 ALTERNATIVE NUTZUNGSMÖGLICHKEITEN Abbildung 1: Ausschnitt aus der BioTrack Pack-Software der Firma Georgia Tech. Mit diesem Programm können die Bewegungen von Insekten visualisiert und verfolgt werden (aus [11] entnommen). Roboter- und Agenten-Navigation Die autonome Navigation von Robotern und Agenten ist ein breites Forschungsgebiet der Robotik sowie der künstlichen Intelligenz. Die in dieser Arbeit vorgestellten Algorithmen bieten Robotern die Möglichkeit, unbekannte Umgebungen zu erkunden und sich anhand von Landschaftsmerkmalen zu orientieren. Landschaftsmerkmale können dabei alle markanten Punkte einer Umgebung sein, also beispielsweise Möbel, Wände, Bäume, etc. Zur Positionsbestimmung könnte eine Datenbank bekannter Objekte sowie deren Position, ähnlich einer Landkarte, dem Roboter eingegeben werden. Diese könnte dann fortlaufend mit den Daten des aktuellen Umgebungsscans verglichen werden und die Orientierung und Position erkannter Gegenstände zur Positionsbestimmung und Wegeplanung nutzen. An der Stanford University wird seit einiger Zeit eine solche Bibliothek bekannter und gebräuchlicher Objekte erstellt [12]. Natürlich kann beispielsweise durch Umfahren und Vermessen unbekannter Gegenstände ein solcher Roboter auch unbekannte Objekte in seine Datenbank übernehmen und auf diese Art seine Umgebung kartografieren. 6

17 3 GRUNDLAGEN 3. Grundlagen Im folgenden Kapitel sollen die theoretischen Grundlagen der verwendeten Methoden vorgestellt werden. Dabei wird das Augenmerk zunächst auf die Funktionsweise der Positronen- Emissions-Tomographie gerichtet (siehe Kap. 3.1). Danach folgt eine Kurzübersicht über Tiefenerkennungssysteme auf Basis von Licht (Kap. 3.2), bevor die Arbeitsweise der Microsoft Kinect untersucht werden soll (Kap. 3.3). Zum Abschluss des Kapitels werden eingesetzte Filtertechniken vorgestellt (Kap. 3.5) sowie das Konzept von Punktwolken und deren Registrierung erläutert, die im Rahmen dieser Arbeit eine Rolle spielen (Kap. 3.4) Positronen-Emissions-Tomographie Während andere Verfahren wie die MRT oder die CT zur Untersuchung der morphologischen Struktur eingesetzt werden, ist die PET ein Verfahren der funktionellen Bildgebung, mit dessen Hilfe Stoffwechselvorgänge sichtbar gemacht werden können. Insbesondere im Bereich der Onkologie können durch die erstmals 1924 durch Warburg gefundene erhöhte Stoffwechselaktivität von Tumorzellen ([2, 3]) detailliertere Aussagen über das Vorhandensein, die Ausbreitung oder generelle Entwicklung von Tumoren getroffen werden. Aber auch in anderen Bereichen, in denen gegenüber der Norm veränderte Stoffwechselprozesse eine Rolle spielen, wird die PET eingesetzt, beispielsweise in der Kardiologie oder auch der Neurologie (beispielsweise bei Alzheimer- oder Parkinsson-Krankheit). Dazu wird dem Patienten ein Tracer injiziert. Obwohl die physiologischen und physikalischen Grundlagen der PET bereits in den 20er und 30er Jahren des letzten Jahrhunderts bekannt wurden, dauerte es noch bis 1977, bis die PET dank der erstmaligen Synthetisierung des Tracers 2-[ 18 F]Fluoro-2-Deoxy-D-Glukose (FDG) Einzug in die klinische Praxis halten konnte Das Messprinzip Bei der PET wird die räumliche Verteilung eines Tracers im Körper des Patienten bestimmt. Als Grundlage werden dabei verschiedene Stoffe verwendet, die in den jeweils zu beobachtenden Stoffwechselprozessen eine fundamentale Rollen spielen. Im Fall des Zuckerstoffwechsels wird beispielsweise ein radioaktiv markierter Zucker verwendet (F-18 FDG), für den Knochenstoffwechsel wird vornehmlich radioaktiv markiertes Fluorid (F-18 NaF) genutzt. Die 7

18 3.1 Positronen-Emissions-Tomographie 3 GRUNDLAGEN Abbildung 2: Schematische Darstellung der Funktionsweise der Positronen-Emissions- Tomographie (aus [13] entnommen). Suche nach geeigneten Tracern für bestimmte Stoffwechselprozesse ist Gegenstand aktiver Forschung des Faches Radiopharmazie. Der eingesetzte Tracer unterliegt einem β + -Zerfall. Dabei zerfällt im Atomkern des Radionuklids ein Proton in ein Neutron und setzt dabei ein Neutrino sowie ein Positron frei. Das Neutrino verlässt den Ort des Zerfalls de facto ohne weitere Wechselwirkung, während das Positron nach wenigen Millimetern mit einem Elektron der umgebenden Materie kollidiert und in einer Materie-Antimaterie-Reaktion, einer so genannten Annihilation, vernichtet wird (man spricht hier auch von Vernichtungsstrahlung). Dabei entstehen zwei Gammaquanten mit einer Energie von 511 kev, die sich idealerweise exakt entgegengesetzt im 180 -Winkel voneinander entfernen. Diese Gammaquanten können im PET-Scanner durch die Kombination von Szintillationskristallen mit Photomultipliern detektiert werden. Aufgrund des 180 -Winkels entfernen sich die Photonen voneinander entlang einer Linie. Sie werden in zwei sich gegenüberliegenden Detektoren des Scanners registriert. Die Verbindungslinie zwischen diesen Detektoren wird dabei überlicherweise als line-of-response (LOR) bezeichnet. 8

19 3 GRUNDLAGEN 3.1 Positronen-Emissions-Tomographie Alle Detektoren eines PET-Scanners bestehen aus Szintillator-Kristallen. Die durch die Annihilation des Positron-Elektron-Paares entstandenen Gammaquanten regen die Moleküle der Kristalle durch Stoßprozesse derart an, dass die Anregungsenergie in Form von Licht wieder abgegeben wird. Dieses Licht kann mit nachgeschalteten Photokathoden und entsprechender Verstärkung gemessen werden. In Folge dessen werden mehrere dieser Detektoren zu größeren Blöcken zusammengefasst und in einem oder mehreren Ringen angeordnet (siehe Abb. 2). Werden zwei Ereignisse innerhalb eines vorgegebenen Zeitfensters in gegenüberliegenden Detektorblöcken erfasst, geht man davon aus, dass sie aus einer einzigen Annihilation stammen, man spricht von einer Koinzidenz. Der kurze Ringtunnel des Scanners, in dem die Messung durchgeführt wird, wird als Gantry bezeichnet, innerhalb der sich das FOV des Scanners befindet. Damit wird der Bereich bezeichnet, in dem die Beobachtung von Ereignissen möglich ist. Das FOV besitzt dabei üblicherweise nur eine axiale Länge von etwa 15 bis 20 cm, zur Aufnahme beispielsweise eines Patientenkopfes müssen also üblicherweise mehrere leicht überlappende Aufnahmen gemacht werden, diese werden als Bettpositionen bezeichnet. Die Verarbeitung aller detektierten Koinzidenzen zu einem durch Menschen lesbaren drei-dimensionalen Volumendatensatz wird als Bildrekonstruktion bezeichnet. Nach der Annihilation wechselwirken die Gammaquanten auf ihrem Weg zu den Detektorblöcken teilweise mit der Materie, die sie durchdringen. Dabei kommt es zu Stoßeffekten, durch die die Quanten absorbiert und/oder gestreut werden. Diese Ablenkung führt zur falschen Detektion von Ereignissen durch den Scanner. Man kann davon ausgehen, dass die Orientierungen der durch die Annihilation entstehenden Flugbahnen gleichverteilt sind. Des weiteren hängt die Wahrscheinlichkeit, dass ein Photon auf seinem Weg zum Detektor von der Materie absorbiert wird, nicht vom Ort der Annihilation auf der LOR ab. Zudem kann die Absorption von Gammaquanten für bestimmte Materie-Arten (Wasser, Knochen, etc.) je nach deren Dicke und Dichte bestimmt werden. Dadurch wird eine Korrektur des PET-Bildes möglich, die auf einer sogenannten Abschwächungsmessung oder Transmissionsmessung beruht: eine externe Strahlungsquelle wird um den Patienten herumgeführt und die Menge der gegenüberliegend detektierten Strahlung aufgezeichnet. Auf diese Art kann der Absorptionsanteil durch den Patienten ermittelt und die PET-Daten entsprechend korrigiert werden. In den neueren, kombinierten PET/CT oder PET/MRT Geräten werden statt der 9

20 3.1 Positronen-Emissions-Tomographie 3 GRUNDLAGEN Abbildung 3: Die beiden PET-Installationen des HZDR. Linkes Bild: HR+ ECAT Exact PET. Rechtes Bild: Philips Ingenuity TF PET/MR; der kleinere, linke Tomograph ist der PET, rechts ist das MRT zu sehen, in der Mitte die drehbare Patientenliege (Bilder J. Langner, HZDR). Transmissionsmessung (mittels einer externen Strahlungsquelle) die CT- beziehungsweise MRT-Daten zur Abschwächungskorrektur herangezogen PET-Installationen am HZDR Seit 2011 befinden sich am HZDR zwei PET-Scanner im klinischen Einsatz: zum einen der ECAT Exact HR+ der Firma Siemens, zum anderen der Ingenuity TF PET/MR der Firma Philips (siehe Abb. 3). Obwohl die vorliegende Arbeit sich auf die Bewegungserkennung am Siemens-Scanner beschränkt, sollen dennoch beide Systeme vorgestellt werden, da letztlich die Umsetzung der Ergebnisse dieser Arbeit auf den neueren Scanner von Philips geplant ist. Siemens ECAT Exact HR+ Dieses Modell wurde 1993 von Siemens/CTI in Knoxville/Tennesse entwickelt und 1996 am damaligen Forschungszentrum Rossendorf (heute das HZDR) installiert. Der Scanner zählt in vier Ringen angeordnete Gamma-Detektoren. Jeder dieser Detektoren besteht aus einem mm (B H T ) Szintillator-Kristall aus Bismuth Germanat (BGO - Bi4 Ge3 O1 ). Jeweils 64 dieser Kristalle sind in einem 8 8 Array zu einem Detektorblock zusammengefasst und mit einem 2 2 Photomultiplier-Array zusammen geschaltet. 72 solcher Blöcke bilden einen Ring des Scanner mit einem Durchmesser von 80 cm. Alle 10

21 3 GRUNDLAGEN 3.1 Positronen-Emissions-Tomographie vier Ringe zusammen decken eine axiale Tiefe von etwa 15 cm ab. Für den Scanner wird eine Auflösung der rekonstruierten Bilder im Zentrum der PET-Gantry von etwa 5-6 mm angegeben ([5], S.37 und S.128). Zusätzlich zur eigentlichen räumlichen Messung des radioaktiven Zerfalls des injizierten Tracers im FOV des Scanners wird eine Messung der Abschwächung innerhalb des FOV durchgeführt. Hierzu werden drei β + -Strahlungsquellen (Ge-68) um den Scanner-Ring herumgeführt und die entgegengesetzt ankommende Strahlung detektiert. Diese Daten fließen dann zusammen mit einem Schwächungsbild des leeren FOV in die drei-dimensionale Bildrekonstruktion ein (vgl. dazu Abschn ). Philips Ingenuity TF PET/MR Dieser Scanner stellt die erste kommerziell verfügbare Kombination aus PET und MRT dar und wurde am HZDR als einem der weltweit ersten Standorte im Jahr 2011 installiert. PET und MRT sind dabei separate Einheiten, die über eine drehbare Patientenliege räumlich verbunden sind. Das starke Magnetfeld (3 Tesla) sowie die Empfindlichkeit des MRT gegenüber anderen elektromagnetischen Quellen stellen eine große Herausforderung für die Installation weiterer technischer Bauteile, beispielsweise die Kameras einer Bewegungserkennung, dar. Philips gibt die Auflösung der rekonstruierten Bilder im Zentrum der PET-Gantry mit 4,7 mm an [14] Bewegungskorrektur von PET-Scans Die Aufnahme einer Bettposition dauert typischerweise mehrere Minuten, häufig sind mehrere Bettpositionen eines Patienten nacheinander aufzuzeichnen. Bewegungen des Patienten während dieser Zeit führen zu genereller Unschärfe sowie Bewegungsartefakten in den resultierenden Bildern (vgl. dazu Abb. 4) und somit unter Umständen zu schlechterer Befundung durch den behandelnden Arzt. Eine Erkennung der Patientenbewegungen und mit deren Hilfe die nachträgliche Korrektur der PET-Daten, wie beispielsweise 2009 von Langner vorgestellt, ist in der Lage, die Bildqualität signifikant zu verbessern, ohne die räumliche Auflösung der Messdaten übermäßig zu verschlechtern ([5], S.87 ff.). 11

22 3.1 Positronen-Emissions-Tomographie 3 GRUNDLAGEN Abbildung 4: Sagittale Schnitte eines PET-Scans eines menschlichen Gehirns: a) Bild zum Startzeitpunkt eines PET-Scans, b) Bild zum Endzeitpunkt des gleichen PET-Scans, Bewegung hat stattgefunden, c) das unkorrigierte Bild, deutliche Bewegungsartefakte sind sichtbar, d) resultierendes Bild nach Anwendung der Bewegungskorrektur, Artefakte wurden sichtbar reduziert). Abbildung 5: Eines der beiden am HZDR installierten IR-Kamera-Paare, mit den integrierten IR-Blitzen wird die Szene beleuchtet. Das am Patientenkopf befestigte, IR-reflektive Tracking-Target sticht aus den Bildern deutlich hervor und die Stereo-Aufnahme ermöglicht eine Positionsbestimmung des Targets und damit des Patientenkopfes im Raum. 12

23 3 GRUNDLAGEN 3.1 Positronen-Emissions-Tomographie Die Bewegungserkennung Am HZDR ist ein System zur Bewegungserkennung am HR + -Scanner installiert. Das verwendete Kamerasystem ARTtrack (Weilheim i.ob, Deutschland) besteht aus vier IR-Kameras, von denen jeweils zwei auf einer Seite des PET-Ringes montiert sind (vgl. Abb. 5). Ein Kamerapaar befindet sich vor dem PET-Scanner, während das andere auf der Rückseite angebracht ist. In die Kameras sind Illuminatoren integriert, die die Szene stroboskopartig mit IR-Blitzen beleuchten. Es wird ein externes Tracking-Target benötigt, um die Patientenbewegungen beobachten zu können. Dieses besteht aus einer Art Gerüst aus Kunststoff, auf das fünf IR-reflektiv beschichtete Kunststoffkugeln befestigt sind (siehe Abb. 6). Die Arme des Gerüstes sind dabei alle unterschiedlich lang und so angeordnet, dass alle Kugeln unterschiedliche Entfernungen voneinander besitzen. Dieses Target muss nun möglichst fest mit dem Körper verbunden werden, dessen Bewegungen gemessen werden sollen. Im Falle eines Scans des Kopfes wurde am HZDR eine Sicherheitsbrille verwendet, die während der Messung vom Patienten getragen wird und an deren Oberseite das Tracking-Target befestigt ist. Für die Bewegungserkennung senden die Illuminatoren nun IR-Lichtblitze mit hoher Frequenz in den Raum. Die IR-Kameras zeichnen dann ein Stereobild der Szene auf, in dem die fünf Kugeln des Targets deutlich sichtbar sind. Deren Positionen im Raum werden dann mittels Stereotriangulation errechnet (siehe Abschn. 3.2). Durch Bewegungen des Patienten während der Messung ändert sich nun die Position von einigen oder allen Kugeln des Targets. Daraufhin kann eine affine Transformation berechnet werden, die eine der beiden Positionen des Targets auf die jeweils andere abbildet. Die so gefundene Transformation stellt damit die Bewegung des Targets zwischen beiden Positionen dar. Diese Transformationen werden für alle Bilder einer Messreihe durchgeführt. Als Referenzbild kann dabei entweder die jeweils zeitlich vorangegangene Aufnahme oder eine zu Beginn der Messung festzulegende Aufnahme gewählt werden; das ARTtrack-System gibt dabei die Transformationen gegenüber einer Kalibrierposition wieder. Cross-Kalibrierung Die so aufgezeichneten Bewegungsdaten des Patienten liegen allerdings im Koordinatensystem des ARTtrack-Systems vor, sie müssen also noch in das Koordinatensystem des PET-Scanners übertragen werden, um eine Aussage über die Patientenbewegung im Kon- 13

24 3.1 Positronen-Emissions-Tomographie 3 GRUNDLAGEN Abbildung 6: Das am HZDR verwendete Target des ARTtrack Systems (aus [5] entnommen). text des PET-Scans geben zu können. Durch die Kenntnis von mindestens drei gleichen Punkten in zwei dreidimensionalen Szenen mit jeweils verschiedenen Koordinatensystemen kann eine affine Transformation zwischen diesen beiden Koordinatensystemen berechnet werden, sodass Bewegungen in einem der Systeme in die entsprechenden Bewegungen des jeweils anderen abbildbar sind; diesen Vorgang nennt man auch Cross-Kalibrierung. Im Falle des ARTtrack-Systems stehen mit den Zentren der Kalibrierungskugeln sogar fünf statt der minimal notwendigen drei Punkte zur Cross-Kalibrierung zur Verfügung, die zusätzlichen Informationen werden als Redundanz zur Erhöhung der Kalibrierungsgüte genutzt [15]. Für eine erfolgreiche Cross-Kalibrierung müssen allerdings die fünf Kugeln im Koordinatensystem des PET-Scanners identifiziert werden. Dazu wird das Target im FOV des Scanners platziert und gleichzeitig zur Beobachtung mittels der ARTtrack-Software eine Abschwächungsmessung im PET durchgeführt, um das Target im PET-Bild sichtbar zu machen. Eine Bildanalyse der Abschwächungsbilder liefert die Zentren der fünf Kugeln, die sich aufgrund ihres höheren Abschwächungskoeffizienten deutlich gegenüber der Umgebung (Luft) abzeichnen. Eine Zuordnung der einzelnen Kugeln im PET-Bild zu ihren Äquivalenten in den ARTtrack-Daten ist durch die unterschiedlichen Abstände der Kugeln zueinander möglich. Sind alle Kugelkoordinaten in beiden Koordinatensystemen bekannt, kann die affine Transformation zwischen beiden Systemen berechnet werden [4, 5]. Die Bewegungsanalyse Nachdem die Bewegungen des Patienten im PET-Koordinatensystem über den gesamten Untersuchungszeitraum bekannt sind, können diese nun in die Bewegungskorrektur einbezogen werden. Das am HZDR von Langner entwickelte Verfahren ist event-basiert, da jedes 14

25 3 GRUNDLAGEN 3.1 Positronen-Emissions-Tomographie gemessene Koinzidenzereignis anhand der ermittelten Patientenbewegung räumlich korrigiert wird. Während einer typischen Bewegungsmessung werden bei einer Aufnahmedauer von einer Minute etwa 600 Bewegungsinformationen (bei 10 FPS) sowie Koinzidenzen in einer Größenordnung von 10 8 bis 10 9 Ereignissen pro Messung auf Seiten des PET aufgezeichnet. Deshalb ist ein vorverarbeitender Schritt notwendig, um die Verarbeitungszeit der Bewegungskorrektur zu verringern. Dazu werden die für diskrete Zeitpunkte vorliegenden Bewegungsinformationen nach signifikanten Bewegungen gefiltert. Hierzu wird ein Gitter auf eine virtuelle Kugel entsprechendem Durchmessers (typischerweise 20 cm) projiziert. Alle Punkte dieses Gitters werden mit der für den Messzeitpunkt gemessenen Transformationsmatrix der Bewegungserkennung transformiert. Die Bewegung wird genau dann als signifikant klassifiziert, sobald mindestens ein Gitterpunkt nach der Transformation einen euklidischen Abstand von mindestens 1 mm zum Ausgangsort seiner Transformation besitzt. Der Schwellwert von 1 mm wurde dabei empirisch gewählt. Er stellt einerseits eine hinreichend kleine Schranke im Hinblick auf das Auflösungsvermögen des PET-Scanners dar. Andererseits wird gleichzeitig gewährleistet, dass genügend Werte als nicht relevant gefiltert werden. Zusätzlich zur Verringerung der Verarbeitungszeit kann damit das Sensorrauschen des ARTtrack-Systems kompensiert werden (vgl. dazu [5] S.64 ff.). Die Bewegungskorrektur Wurden alle relevanten Bewegungen des Messzeitraumes identifiziert, werden alle gemessenen Koinzidenzen, die jeweils nach relevanten Bewegungen gemessen wurden, mit den für diesen Abschnitt gültigen Transformationsmatrizen räumlich transformiert. Dadurch werden die Koinzidenzen den LORs zugeordnet, in denen sie registriert worden wären, wenn keine Bewegung stattgefunden hätte. Es ist leicht ersichtlich, dass ein bestimmter Teil der Koinzidenzen nach dieser Transformation aus dem FOV des Scanners fällt, da er ohne Bewegung nie detektiert worden wäre. Diese Ereignisse müssen verworfen werden. An dieser Stelle tritt nun das Problem auf, dass anstelle der falsch detektierten Ereignisse andere, eigentlich korrekte Ereignisse, durch die Patientenbewegung schon während der Messung aus dem FOV ausgetreten sind und damit der Rekonstruktion nicht mehr zur Verfügung stehen. An diesen Stellen entstehen unterrepräsentierte Regionen im Bild, welche ohne Korrektur die Qualität stark verschlechtern. Durch entsprechende Modifikation des Bewegungsverar- 15

26 3.1 Positronen-Emissions-Tomographie 3 GRUNDLAGEN beitungsprozesses können diese Regionen allerdings größtenteils korrigiert werde. Für die genaue Funktionsweise der Bewegungskorrektur sei an dieser Stelle auf Langner [5] verwiesen Auswertung der rekonstruierten Schichtbilder Nach erfolgter Bewegungskorrektur wird der dreidimensionale Volumendatensatz einer PET- Messung rekonstruiert. Dieser Datensatz wird im Folgenden auch Schichtbild genannt. Er zeigt die diskretisierte Verteilung der Aktivitätskonzentration für jedes Voxel in Bequerel je Milliliter. Ohne näher auf die klinische Auswertung von PET-Daten einzugehen, sollen kurz drei wichtige Konzepte vorgestellt werden, die für die vorliegende Arbeit von Bedeutung sind. Regions of Interest Eine Region of Interest (ROI) bezeichnet einen abgegrenzten Bereich eines PET-Schichtbildes (vgl. Abb. 7). Die Abgrenzung kann dabei anhand eines Schwellwertes der Aktivitätskonzentration erfolgen. Dabei werden alle Voxel des Schichtbildes ausgewählt, die diesen Schwellwert überschreiten. Andere Abgrenzungen beispielsweise anhand einer manuellen Selektion oder eines dynamischen Schwellwertes sind ebenfalls möglich, aber für die vorliegende Arbeit nicht relevant. Abbildung 7: Links: Ein rekonstruiertes PET-Schichtbild einer Punktquelle; Rechts: eine mit einer minimalen Schwelle von 0,9 MBq/ml abgegrenzte ROI (in rot/gelber Farbskala), für die Diskretisierung (Voxelgröße) wurde ein in der PET typischer Wert gewählt. 16

27 3 GRUNDLAGEN 3.1 Positronen-Emissions-Tomographie Maximale und mittlere Aktivitätskonzentration einer ROI Für jede abgegrenzte ROI können die maximale und die mittlere (durchschnittliche) Aktivitätskonzentration ermittelt werden. Der Voxel mit maximaler Aktivitätskonzentration wird auch als der heißeste Voxel der ROI bezeichnet. Aktivitätsgewichteter Schwerpunkt einer ROI Jede abgegrenzte ROI hat eine gewisse räumliche Ausdehnung. Die Aktivitätskonzentration ist dabei typischerweise nicht gleichverteilt, sondern ausgehend vom heißesten Punkt der ROI zu ihren Rändern hin abfallend. Für diese Verteilung kann ein Schwerpunkt der Aktivitätskonzentration ermittelt werden, um dem sich anschaulich die meiste Konzentration sammelt Anforderungen an ein Tracking-System im HZDR Ein PET-Scanner ist Bestandteil des klinischen Alltags vieler onkologischer Einrichtungen. Aus diesem Grund existieren diverse zusätzliche Anforderungen an den Betrieb eines Bewegungserkennungssystems. Die wichtigsten davon sollen im folgenden kurz genannt werden: Die Messungen des PET-Scanners dürfen nicht beeinträchtigt werden. Die Kameras dürfen den klinischen Ablauf nicht stören. Die Genauigkeit des Systems sollte sich in etwa auf dem Niveau der Leistung des ARTtrack-Systems befinden. Die Bewegungserkennung sollte nach Möglichkeit automatisiert sowie in Echtzeit während der Messung ablaufen. Die Bedienung sollte möglichst einfach und intuitiv gestaltet sein. Eine Kalibrierung muss möglichst schnell und einfach erfolgen können und sollte so selten wie möglich durchgeführt werden müssen. 17

28 3.2 Tiefenbestimmung durch visuelle Systeme 3 GRUNDLAGEN 3.2. Tiefenbestimmung durch visuelle Systeme Tiefenerkennungssysteme, die visuelle Informationen zur Tiefenbestimmung benutzen, beruhen im Wesentlichen auf den folgenden Prinzipien. Triangulierung Bei dieser Methode wird ein Laser-Emitter und ein Sensor benutzt, die in definiertem Abstand und Winkel zueinander stehen. Der Laser emittiert einen Lichtpunkt auf das zu scannende Objekt, dessen Oberfläche den Lichtstrahl reflektiert. Der Sensor registriert dann in seinem Blickfeld diese Reflektion. Sowohl die Distanz von Emitter und Sensor als auch der Winkel zwischen emittiertem Lichtstrahl und der räumlichen Scanner-Sensor-Achse sind bekannt. Der Winkel zwischen abgetastetem Punkt und dem Sensor kann daraufhin aus der Messung des reflektierten Lichtstrahls im Blickfeld des Sensors berechnet werden. Damit sind alle notwendigen Voraussetzungen erfüllt, um die Dreieckskonstruktion Sensor-abgetasteter Punkt-Emitter vollständig zu beschreiben (Winkel-Seite-Winkel Regel) und die Entfernung des Punktes, an dem der Laserstrahl reflektiert wurde, kann durch Triangulation ermittelt werden. Statt eines einzelnen Lichtpunktes wird in der Praxis meist ein ganzer Streifen in die Szene projiziert, um den Scan zu beschleunigen (vgl. dazu [16]). Time-of-Flight Time-of-Flight Kameras tasten eine Szene stroboskopartig mit einem Laser ab. Diese Blitze werden von einem Sensor registriert und die Laufzeit des Laserstrahls gemessen. Da die Lichtgeschwindigkeit bekannt ist, kann der Abstand des Reflektionspunktes vom Emitter als die Hälfte des zurückgelegten Lichtweges bestimmt werden. Die größte Herausforderung bei dieser Methode ist eine hinreichend genaue Messung der Laufzeit des Lichtstrahls, da selbst minimale Messfehler zu größeren Abweichungen der ermittelten Distanz führen können [17]. Moduliertes Licht Im Gegensatz zur Triangulierungsmethode und zur Time-of-flight-Methode wird hierbei auf eine Modulation des Lasersignals gesetzt. Dabei illuminiert der Laser die Szene konstant über die Zeit. Auf das Signal kann beispielsweise eine Sinuskurve aufmoduliert werden. Ein Sensor registriert nun die Modulation des ankommenden, reflektierten Lichts. Aus der 18

29 3 GRUNDLAGEN 3.3 Microsoft Kinect Abbildung 8: Schematische Darstellung der Tiefenbestimmung mittels Structured Light (aus [19] entnommen). Phasenverschiebung von ausgehendem zu einfallendem Laserlicht kann auf die Laufzeit des Laserstrahls geschlossen werden und aus dieser die Tiefeninformation gewonnen werden [18]. Strukturiertes Licht Als Strukturiertes Licht oder im Englischen structured light wird ein Verfahren bezeichnet, bei dem ein bekanntes Muster durch einen Projektor in die Szene geworfen wird. Die verwendeten Muster sind im allgemeinen Streifen, schachbrettförmige Punktmuster oder Interferenzmuster. Abbildung 8 zeigt die Funktionsweise eines solchen Scanners. Die Tiefeninformation einzelner Pixel werden auch hier durch Triangulation gewonnen. Oft werden mehrere Kameras gleichzeitig eingesetzt, um alle vom Projektor beleuchteten Flächen aufnehmen zu können. Es ist bei diesem Verfahren nicht notwendig, Laser-Emitter oder spezielle Infrarot-Sensoren zu verwenden. Es ist möglich, mit normalen Projektoren und handelsüblichen Kameras wie in [20] beschrieben Erfolge zu erzielen. Für hinreichend präzise Messungen sind allerdings sehr scharfe Kanten im projizierten Muster notwendig, wie sie üblicherweise nur mit Lasern erzeugt werden können. 19

30 3.3 Microsoft Kinect 3 GRUNDLAGEN Abbildung 9: Microsoft Kinect für die XBox 360 (aus [21] entnommen) Microsoft Kinect Die Microsoft Kinect ist eine Hardware-Ergänzung zur XBox Spielekonsole der Firma Microsoft. Diese Erweiterung wird zur Bewegungserkennung der Spieler im dreidimensionalen Raum genutzt. Sie setzt damit einen Trend in der Entwicklung von Spielekonsolen fort, den Spieler von physischen Eingabegeräten unabhängiger zu machen beziehungsweise den gesamten Körper als Eingabegerät in das Spielprinzip einzubeziehen. Intuitivität und Natürlichkeit der Bedienung sollen auf diese Art deutlich gegenüber klassischen Eingabegeräten gesteigert werden. Frühere Entwicklungen dieser Art umfassen beispielsweise das EyeToy-System von Sony Computer Entertainment oder auch die Wii von Nintendo. Das EyeToy-System hat dabei größere Ähnlichkeit mit der Kinect, da auch dort die Szene nur durch eine Kamera betrachtet und die Bewegung der Spieler dann durch entsprechende Software berechnet wird, während bei der Wii lediglich die Bewegung der als Handhelds konstruierten Gamecontroller getrackt wird. Ebenso wie die Wii hat auch die Kinect sehr schnell Einzug in die wissenschaftliche Forschung gehalten. Das preiswerte, kompakte und - gemessen an seinem Preis - qualitativ hochwertige Gerät wurde in einer Vielzahl von Forschungsprojekten der Robotik und der Computergrafik eingesetzt. Die Grundlage dafür bildete die Entwicklung eines freien Linux- Treibers, die im openkinect-projekt gipfelte [22]. Dieser Treiber ermöglichte es erstmalig, die 20

31 3 GRUNDLAGEN 3.3 Microsoft Kinect Abbildung 10: Darstellung des Projektions-Musters der Kinect in Falschfarben (aus [23] entnommen). Kinect auch an normalen PCs über den USB-Anschluss zu betreiben. Mittlerweile wurden verschiedene andere Treibervarianten veröffentlicht, von denen die OpenNI/NITE Version von PrimeSense die bedeutendste ist wurde zusätzlich ein SDK für Windows von Microsoft herausgegeben, mit dessen Hilfe Kinect-Anwendungen für Windows erstellt werden können. Im folgenden Kapitel soll die Funktionsweise der Tiefenerkennung der Microsoft Kinect detailliert vorgestellt werden, soweit diese bekannt ist. Im Anschluss daran werden Bedingungen formuliert, die sich für den Einsatz der Microsoft Kinect im Kontext der vorliegenden Arbeit ergeben (Abschnitt 3.3.2). Ein Überblick über die in der Kinect verbaute Hardware ist unter Anhang A zu finden Tiefenerkennung Das in der Kinect eingesetzte Tiefenerkennungsverfahren ist eine Variante des strukturierten Lichts. Die grundlegende Funktionsweise ist in zwei Patenten offengelegt worden [24, 25]. 21

32 3.3 Microsoft Kinect 3 GRUNDLAGEN Zur genauen Arbeitsweise der in der Kinect verwendeten Algorithmen wurde allerdings weder von PrimeSense noch von Microsoft definitive Angaben abseits der veröffentlichten Patente gemacht, sodass vielfältige unabhängige Untersuchungen von Wissenschaftlern sowie Hobby-Bastlern durchgeführt wurden. Im Folgenden soll ein kurzer Überblick über die hierbei herausgefundenen Mechanismen gegeben werden. Eine detailliertere Betrachtung findet sich unter Anhang B. Das Kinect Infrarot-Pattern Um die Tiefenberechnung durchführen zu können, nutzt die Kinect ein mittels Laser projiziertes Muster (Pattern), das aus einer großen Anzahl heller und dunkler Punkte besteht (siehe Abb. 10). Bei Reichinger [26] findet sich eine detaillierte Analyse des projizierten Musters. Es ist nicht klar, ob die Punkte innerhalb des Teilmusters (pseudo)-zufällig verteilt sind [27], oder wiederum aus voneinander unterscheidbaren Teil-Mustern aufgebaut ist. Möglicherweise werden besondere Merkmale des Musters benutzt, um ein schnelleres Lookup der einzelnen Regionen zu ermöglichen (vgl. dazu auch Abb. 11). Vom Sensorbild zur Disparity-Map Als Disparity-Map wird eine Matrix bezeichnet, die disparities (engl. für Verschiebungen) zu Referenzwerten beinhaltet. Es kann als gesichert gelten, dass die Tiefenbestimmung der Kinect mittels des Triangulationsverfahrens durchgeführt wird. Zusätzlich zum IR-Kamerabild wird ein weiteres, im Sensor gespeichertes Bild, genutzt (vgl. [26]). Dieses Bild zeigt wahrscheinlich das projizierte Muster in bestimmter Entfernung zum Sensor und hätte in diesem Fall bei einer werkseitigen Kalibrierung aufgenommen werden müssen. Zwischen diesem Bild, dem sogenannten Referenzbild, und dem vom IR-Sensor kommenden Kamerabild wird nun eine Stereo-Triangulation durchgeführt. Es ergeben sich Verschiebungen zwischen den Pixeln der beiden Bilder in horizontaler Richtung. Eine Verschiebung in vertikaler Richtung ist nicht möglich, da die beiden Sensoren fix in derselben Ebene montiert sind. Für jedes Pixel des Sensorbildes wird eine solche Verschiebung berechnet und in der Disparity-Map gespeichert. Diese wird dann von der Kinect über den USB-Port versendet. Die Tiefeninformation für einen Punkt im Sensorbild kann nur an den hellen Punkten des projizierten Musters berechnet werden. Für alle Pixel dazwischen kann nur eine Interpolati- 22

33 3 GRUNDLAGEN 3.3 Microsoft Kinect Abbildung 11: Darstellung des in ein S/W Bitmap umgewandelten Teilmusters der Kinect. Türkis eingekreist sind zwei herausragende Stellen des Musters, die auch mit bloßem Auge gut erkennbar sind (nach [26]). on angegeben werden. Diese erfolgt auch auf Sub-Pixel-Ebene, wobei eine Genauigkeit von 1/8 Pixel erreicht wird (siehe [28]). Damit ist klar, dass Strukturen, die in einer bestimmten Entfernung vom Sensor kleiner als die Entfernung der projizierten Punkte des Musters sind, nicht wahrgenommen werden beziehungsweise im Fall von Bewegungen sogar zu Störungen des Tiefenbildes führen können. Verteilung der Tiefenwerte innerhalb der Reichweite des Sensors Alle Analysen stimmen darüber überein, dass die Tiefenwerte der Disparity-Map nicht auf die Tiefe des Raumes gleichverteilt sind [29, 30, 31], sondern dass die größte Anzahl der 2047 möglichen Werte auf eine Entfernung zwischen 50 cm bis etwa zwei Metern vom Sensor gemappt sind (vgl. Abb. 12). Der Kinect-Sensor kann dabei Tiefen ab etwa 0.48 m wahrnehmen, ab diesem Punkt kann eine Disparity zugewiesen werden. Die Reichweite an sich scheint weit über die von PrimeSense angegebenen Werte hinaus zu gehen, im Allgemeinen wird von einer maximalen Reichweite von etwa 10 m ausgegangen, dabei spielen allerdings auch Faktoren wie die Materialien der Oberflächen im FOV, Beleuchtung und Ähnliches 23

34 3.3 Microsoft Kinect 3 GRUNDLAGEN Abbildung 12: Verteilungskurve der Disparity-Werte für 134 gemessene Tiefenpositionen (aus [29] entnommen). eine große Rolle. Allerdings ist die Menge an Disparity-Werten in dieser Entfernung extrem gering, sodass die maximale Operationsreichweite deutlich darunter liegt [30]. Genauigkeit der Tiefeninformationen PrimeSense gibt sowohl für die horizontale wie auch die vertikale Auflösung Referenz-Werte an, welche das Design erreichen soll (vgl. Tab. 12). Es ist ersichtlich, dass die Angabe dieser Werte sich auf eine bestimmte Messtiefe bezieht. Diese Abhängigkeit der Genauigkeit von der Tiefe liegt im verwendeten Stereo-Triangulationsverfahren begründet. Da Kamera und Projektor nur wenige Zentimeter voneinander entfernt montiert wurden, ergibt sich ein relativ spitzer Winkel für einzelne Tiefenpunkte zwischen beiden Bildern. Je größer die Entfernung des zu messenden Raumpunktes von der Kinect ist, desto spitzer wird dieser Winkel; dieser Zusammenhang ist linear. Zum Problem für die Genauigkeit des Sensors wird dabei seine geringe Auflösung: die Raumpunkte müssen zur Bestimmung der Disparity auf Pixelebene abgebildet und somit diskretisiert werden. Wird der Winkel zwischen Projektorstrahl und Sensorstrahl zu spitz, können nur immer größere Abstände zwischen zwei Tiefenpositionen als verschieden wahrgenommen werden (vgl. Abb. 12). Für die Quer- 24

35 3 GRUNDLAGEN 3.3 Microsoft Kinect auflösung einzelner Raumpunkte ist ebenfalls die geringe Sensorauflösung entscheidend. Da sie allerdings nicht von einem Winkel abhängt, ist ein linearer Anstieg mit zunehmender Raumtiefe zu erwarten. Wissenschaftler der Deutschen Gesellschaft für Photogrammetrie und Fernerkundung haben diese Zusammenhänge untersucht und bestätigt [30] Rahmenbedingungen für den Einsatz Die in den vorangegangenen Kapiteln vorgestellten Informationen zu Genauigkeit, Algorithmus und technischen Details der Kinect sollen nun dazu genutzt werden, spezifische Anforderungen an einen Einsatz zur markerlosen Bewegungserkennung am HZDR zu formulieren. Folgende Kriterien lassen sich identifizieren: Die Kamera muss vom zu beobachtenden Objekt ein möglichst hochauflösendes Bild erzeugen können. Bedingt durch das große FOV der Kinect wird eine Aufstellungsdistanz knapp oberhalb der Mindestreichweite von etwa 50 cm empfohlen. Dadurch wird eine Maximierung der Tiefen- und Querauflösung erreicht. Die Kinect sollte möglichst frontal auf das Gesicht des Patienten ausgerichtet sein, im Idealfall direkt oberhalb und im Winkel von 90 angebracht sein. Je flacher die Kinect auf das Gesicht schaut, desto größere Probleme treten bei der Tiefenbestimmung auf. Die zur Bildebene stark geneigten Oberflächen führen in diesem Fall zu einer starken optischen Verzerrung des projizierten Punktmusters. Diese Verzerrungen sind dafür verantwortlich, dass die Tiefenbestimmung an den entsprechenden Stellen fehlschlagen kann. Kleidungsschichten über den zu untersuchenden Körperpartien bilden einen mehrfachen Störfaktor: zum einen beeinflussen sie unter Umständen und je nach Farbzusammensetzung und verwendeten Materialien die Reflektion des Infrarotlasers, zum anderen sorgen die häufigen Falten und Knitter für eine starke Fragmentierung des Tiefenbildes durch Verschattung des projizierten Musters. Des Weiteren dämpft Kleidung an sich natürlich die Wahrnehmung der Bewegung von Körperteilen oder hemmt diese sogar. Die Verwendung von stark infrarot-reflektiven Materialien stört die Tiefenerkennung der Kinect so stark, dass an den entsprechenden Stellen keine Tiefe 25

36 3.3 Microsoft Kinect 3 GRUNDLAGEN ausgelesen werden kann. Eine nähere Beschreibung dieses Effekts und sein Einfluss auf die Cross-Kalibrierung mit anderen Tracking-Technologien wird in Kapitel 5.1 näher erläutert. Daher wird eine Aufnahme von unverhüllten Körperteilen für ein bestmögliches Ergebnis empfohlen. Von einer Demontage der Kinect, um beispielsweise nur die Sensorplatten im Aufbau einer Messeinrichtung zu verwenden, wird abgeraten. Es wird von einer starken Empfindlichkeit des Gerätes gegenüber mechanischen und thermischen Belastungen berichtet, sodass der Grundkörper am besten unangetastet bleibt [22]. Eine Möglichkeit besteht in der Demontage des Standfußes, um den strukturellen Schwachpunkt der Konstruktion zu beseitigen. Abbildung 13: Zusammenhang zwischen Disparity und realer Objekttiefe (aus [31] entnommen). Z 0 stellt dabei die Tiefe des Referenzbildes dar, Z k die Tiefe des Messpunktes k im Objektraum, b den Abstand von Projektor zu Sensor, f die fokale Länge des Sensors, D die Disparity des Punktes k im Objektraum und d die gemessenen Disparity im Bildraum des Sensors. 26

37 3 GRUNDLAGEN 3.4 Punktwolken 3.4. Punktwolken Als Punktwolke kann eine beliebige Menge an Punkten im dreidimensionalen Raum bezeichnet werden, wie sie häufig als Ergebnis von 3D-Scans entsteht. Dabei ergeben sich die Messungen der Koordinaten jeweils nur für ganz bestimmte Punkte im Raum (vgl. dazu die Ausführungen zur Auflösung der Kinect im Kapitel 3.3). Im Normalfall existieren keine weiteren Informationen außer ihren Koordinaten, insbesondere ist im Allgemeinen nichts über Nachbarschaftsbeziehungen bekannt. Einen Spezialfall bilden hierbei sogenannte geordnete Punktwolken, deren Grundlage ein Scannerbild beispielsweise der Kinect ist. Da bei diesen Verfahren für jeden Sensorbildpunkt nur genau ein Tiefenwert existiert, kann über die x- und y-koordinaten auf die jeweiligen Nachbarn geschlossen werden. In der Bildverarbeitung werden solche aus einem einzigen Blickwinkel heraus aufgenommenen Bilder typischerweise auch 2,5-D genannt. Die vorliegende Arbeit bedient sich für die Arbeit mit Punktwolken der OpenSource-Bibliothek Point Cloud Library (PCL) (siehe 4.1). Die Erzeugung von Punktwolken aus Sensordaten Die Erzeugung der Punktwolken für die Kinect erfolgt direkt über die vom Sensor gelieferte Disparity-Map. Dazu muss allerdings der abstrakte Disparity-Wert in eine sinnvolle Tiefeninformation überführt werden. Abbildung 13 zeigt den Zusammenhang zwischen Disparity und realer Tiefe. Dabei entspricht Z 0 der Tiefe des Referenzbildes, Z k der Tiefe des Messpunktes k im Objektraum, b dem Abstand von Projektor zu Sensor, f der fokalen Länge des Sensors, D der Disparity des Punktes k im Objektraum und d der gemessenen Disparity im Bildraum des Sensors. Aus den Ähnlichkeitssätzen für Dreiecke ergibt sich: sowie: D b = Z 0 Z k Z 0, (1) d f = D Z k. (2) Durch Ersetzung von D in Gleichung 1 durch die nach D umgestellte Gleichung 2 und Umstellung der erhaltenen Formel nach Z 0 ergibt sich: 27

38 3.5 Filtertechniken 3 GRUNDLAGEN Z k = Z Z (3) 0 fb d. Die Parameter Z 0, f und b können hierbei durch die Kalibrierung herausgefunden werden. Damit ist Gleichung 3 das mathematische Modell zur Ableitung der realen Tiefe aus den Disparity-Werten der Kinect. Bei bekanntem f können dann die X- und Y-Koordinaten wie bei Khoshelham [31] gezeigt berechnet werden: X k = Z k f (x k x 0 + δy) (4) Y k = Z k f (y k y 0 + δy). (5) Dabei sind δx und δy Korrekturfaktoren der Linsenverzerrung. Damit sind alle Koordinaten der Punkte eindeutig im Raum definiert und die Punktwolke kann erzeugt werden. In Übereinstimmung mit Khoshelham [31] soll darauf hingewiesen werden, dass von parallelen Bild- und Tiefensensor-Koordinatensystemen ausgegangen worden ist Filtertechniken Als Filter werden in der Computergrafik Werkzeuge bezeichnet, die Pixel beziehungsweise Bilder im zweidimensionalen Fall oder Voxel beziehungsweise Szenen im dreidimensionalen Fall hinsichtlich einer oder mehrerer Eigenschaften verändern. Häufige Problemstellungen sind dabei beispielsweise die Beseitigung von im Bild vorhandenem Rauschen, die Unterdrückung von Details ( Weichzeichner ) oder aber deren Hervorhebung ( Scharfzeichner ). Es kann zwischen Filtern unterschieden werden, die sich auf einzelne Pixel beziehen (Per- Pixel-Filter) und Filtern, die eine Nachbarschaft um ein zu untersuchendes Pixel berücksichtigen. Der diskrete Kalman-Filter Der Kalman-Filter ist ein häufig verwendetes Verfahren, um vergangene, gegenwärtige und zukünftige Zustände eines Systems linear schätzen zu können, selbst wenn die Modellparameter nicht genau bekannt sind (vgl. dazu [32]). Er existiert in einer diskreten sowie einer kontinuierlichen Variante, wobei für die vorliegende Arbeit nur die diskrete Variante von 28

39 3 GRUNDLAGEN 3.5 Filtertechniken Bedeutung ist. Der Filter kann je nach Parameterwahl entweder sehr eng der Messung folgen oder sich eher träge verhalten. Für eine ausführliche Beschreibung der Funktionsweise sei an dieser Stelle auf Welch und Bishop verwiesen [32]. Der Bilaterale Filter Eine der grundlegenden Filtermethoden in der Bildverarbeitung ist der Bilaterale Filter. Er ist ein kantenerhaltender sowie rauschunterdrückender nichtlinearer Glättungsfilter. Für die Filterung wird ein n m Pixel großes Fenster über das Bild gelegt und verschoben. Die gefilterten Werte berechnen sich dann aus einer Filterungsfunktion, deren Gewichtung innerhalb des n m-fensters durch eine Normalisierungsfunktion festgelegt wird. Die Normalisierung sorgt dafür, dass sich die Gewichte der einzelnen Pixel des Fensters zu 1 addieren [33]. Im einfachen Fall sind beide Funktionen Gauss-Funktionen, aber auch andere Formen sind denkbar. Es wurden vielfältige Verbesserungen an der originalen Filtermethode vorgenommen. Huang und Fuh beschreiben in [34] beispielsweise die Verwendung eines abgewandelten Algorithmus, der deutlich besser mit dem Problem von Impulsrauschen umgehen kann als die von Tomasi in [33] beschriebene Methode. Für die vorliegende Arbeit wurde der in OpenCV (eine frei verfügbare Software-Bibliothek für die Arbeit mit 2D-Daten) implementierte Bilaterale Filter für die Tiefenbilder der Kinect sowie der in der PCL implementierte Bilaterale Filter für die resultierenden Punktwolken verwendet. VoxelGrid-Filter Die PCL implementiert einen Filtertyp VoxelGrid für Punktwolken (vgl. Kap. 3.4). Dieser Filter stellt eine Möglichkeit zum uniformen Downsampling von Punktwolken zur Verfügung. Damit wird die Reduzierung der Punktdichte innerhalb der Wolke bezeichnet. Diese wird dazu in Voxel einer bestimmten Kantenlänge unterteilt. Für jedes dieser Voxel wird nun das Zentroid aller enthaltenen Punkte gebildet, die Menge aller Zentroiden bildet dann die reduzierte Wolke. Durch die Verringerung der Punktmenge können Berechnungen deutlich beschleunigt werden. Downsampling geht dabei immer mit einem Verlust an Informationen einher, es muss also ein geeigneter Kompromiss zwischen Informationsverlust und Geschwindigkeitszuwachs gefunden werden (vgl. dazu [35]). 29

40 3.6 Registrierungsverfahren 3 GRUNDLAGEN Bildstabilisierungs-Filter Die Tiefenbilder der Kinect weisen an Kanten und Ecken sowie ungünstig geneigten Oberflächen starke Instabilitäten auf, der registrierte Tiefenwert schwankt also in großem Umfang. Deshalb wurde im Rahmen dieser Arbeit ein einfacher, experimenteller, Per-Pixel- Stabilisierungsfilter entwickelt. Für jedes Pixel werden dabei die n letzten Tiefenwerte gespeichert. Überschreitet die Differenz des aktuellen Wertes n + 1 den letzten gemessenen Wert um mehr als eine bestimmte Schranke k, wird das Pixel aus dem Bild entfernt Registrierungsverfahren Die Extrahierung von Bewegungsinformationen aus aufeinander folgenden Sensoraufnahmen macht eine so genannte Registrierung der generierten Punktwolken notwendig. Damit ist eine Reihe von numerischen Verfahren gemeint, mit deren Hilfe die affine Transformation zweier Punktwolken berechnet werden kann, mit denen diese möglichst gleich ausgerichtet werden. Abbildung 14 verdeutlicht diesen Vorgang. Einige dieser Verfahren benötigen zusätzliche Informationen, wie beispielsweise Oberflächen-Normalen oder Farbgradienten eines RGB-Bildes, andere benötigen hingegen lediglich die Koordinaten der Punkte der Wolken als Input. Verschiedene Verfahren können dabei auch miteinander kombiniert werden. Dabei wird das Ergebnis eines Verfahrens als initiale Schätzung eines anderen verwendet. Da die Punktwolke dann bereits grob auf das Registrierungsziel ausgerichtet ist, kann im Normalfall eine bessere Feinjustierung durch einen sich anschließenden, genaueren Algorithmus erreicht werden. Dieses Verfahren kann auch auf die aufeinander folgende Registrierung von vielen Punktwolken in einer Aufnahmereihe übertragen werden, die beispielsweise bei der Bewegungserkennung vorliegt. Bei ausreichend hoher Abtastrate sind die zu erwartenden Bewegungen zwischen einzelnen Punktwolken sehr gering, die gefundene Transformation im Bild n kann also als initiale Schätzung für die Transformation des Bildes n + 1 verwendet werden. Im Folgenden sollen drei Verfahren vorgestellt werden, die im Rahmen dieser Arbeit verwendet wurden. 30

41 3 GRUNDLAGEN 3.6 Registrierungsverfahren Abbildung 14: Registrierung zweier Punktwolken; oben: Korrespondierende Punkte der beiden in grau und blau dargestellten, aus unterschiedlichen Perspektiven aufgenommenen Punktwolken sind durch rote Linien dargestellt, unten: das Resultat des Registrierungsverfahrens nach Anwendung der gefundenen Transformation, die grün dargestellte Wolke entspricht dabei der blauen Wolke im oberen Bild (aus [35] entnommen). 31

42 3.6 Registrierungsverfahren 3 GRUNDLAGEN Normal-Distributions-Transform Nach Magnusson kann das Normal-Distributions-Transform (NDT) als eine Methode zur kompakten Abbildung von Punktwolken auf eine Oberflächenrepräsentation verstanden werden. Diese besteht aus einer Reihe von lokalen Wahrscheinlichkeits-Dichte-Verteilungen (deutsch für Probability Density Function, auch PDFs genannt), welche die Gestalt der Oberfläche beschreiben ([36], S.55). In einem ersten Schritt wird der Raum der Punktwolke in ein Gitter aus gleich großen Kuben unterteilt. Für jede dieser so entstandenen Zellen wird eine PDF generiert. Diese Funktionen sind eine Approximation der Oberflächen, beschreiben damit sowohl die Lage, als auch deren Orientierung und Glattheit und sind zusätzlich kontinuierlich ableitbar ([36], S.56 ff.). Danach wird für eine Punktwolke eine Maximum-Likelihood -Optimierung durchgeführt, um die optimale Pose zu finden. Eine Pose bezeichnet die Lage (Position und Orientierung) einer Punktwolke oder eines Objektes im dreidimensionalen Raum. Eine kritische Größe des NDT-Verfahrens ist die Größe der verwendeten Zellen sowie gegebenenfalls die verwendete Subsampling-Methode. Magnusson zeigt, dass mindestens fünf Punkte pro Zelle benötigt werden ([36], S.65). Iterative Closest Point Zuletzt soll das Iterative Closest Point (ICP) Verfahren vorgestellt werden. ICP ist ein iterativer Algorithmus, der ausgehend von einer initialen Schätzung mit jedem Schritt eine genauere Transformation liefert. Die Iteration wird dann so lange fortgesetzt, bis der Fehler unterhalb eines zu definierenden Schwellwertes gefallen ist oder eine festgesetzte Zahl an Iterationen überschritten wurde. ICP sucht zu jedem Punkt der Ursprungspunktwolke den nächsten Punkt der Ziel- Wolke. Die Abstände aller so gefundenen Punkt-Paare werden quadriert und aufsummiert. Diese Summe bildet damit den Fehler, also ein Maß für den Abstand zweier Punktwolken voneinander. Ziel des ICP-Verfahrens ist es nun, diesen Fehler durch fortgesetzte Anpassung der Transformationsparameter zu minimieren. Rusinkiewicz und Levoy haben in [37] die folgenden sechs verschiedene Stadien des Algorithmus definiert: 32

43 3 GRUNDLAGEN 3.6 Registrierungsverfahren 1. Selektion von Punkten in einer oder beiden Punktwolken. 2. Finden der korrespondierenden Punkte in der jeweils anderen Wolke. 3. Gewichtung der gefundenen Paare. 4. Zurückweisung von Paaren anhand definierter Kriterien. 5. Zuweisung einer Fehlermetrik anhand der gefundenen Punktpaare. 6. Minimierung der Fehlermetrik. Mit dem ICP-Verfahren ist eine sehr genaue Bestimmung der Transformationsmatrix möglich. Es ist allerdings leicht ersichtlich, dass für ein möglichst optimales Ergebnis eine gute initiale Schätzung von Nöten ist, da der Algorithmus sonst leicht in ein lokales Minimum laufen kann. Deshalb wird in der Praxis häufig für die Schätzung der Initialausrichtung zunächst ein anderer der Registrierungsalgorithmen verwendet, wobei dann das Hauptaugenmerk auf dessen Ausführungsgeschwindigkeit, nicht so sehr auf dessen absolute Genauigkeit gerichtet wird. Danach kann die Feinjustierung mittels ICP erfolgen. Random Sample Consensus Random Sample Consensus (RANSAC) ist ein Verfahren, mit dem ein Modell innerhalb einer Reihe von Messwerten geschätzt werden kann (vgl. dazu Abb. 15) [35]. Fischer und Bolles haben den Algorithmus bereits 1981 vorgestellt [38]. Das Verfahren gilt als stabil und sehr robust gegenüber Ausreißern in der Datenmenge. Es lässt sich in folgende drei Schritte unterteilen, die iterativ wiederholt werden bis ein Abbruchkriterium erreicht wurde: 1. Zufällige Auswahl einer Menge an Punkten aus dem Datensatz. 2. Ermittlung des Modells mit den gewählten Punkten. 3. Ermittlung der Unterstützer für das Modell aus dem restlichen Datensatz. Rusu, Blodow und Beetz haben das RANSAC-Modell zum Sample Consensus Initial Alignment-Verfahren (SAC-IA) erweitert und auf die Registrierung von Punktwolken übertragen [39]. Diese erfolgt mittels sogenannter Features. Damit werden Parameter bezeichnet, die einzelne Punkte oder Teile der durch die Punktwolke repräsentierten Oberfläche 33

44 3.6 Registrierungsverfahren 3 GRUNDLAGEN Abbildung 15: Darstellung des RANSAC-Algorithmus: links die Inputmenge, rechts die gefundene Menge Punkte, die das Modell Linie am besten unterstützen (aus [35] entnommen). beschreiben. In dieser Arbeit wurde sich auf Features beschränkt, die anhand von Oberflächennormalen bestimmt werden (Point Feature Histogramm Estimation (PFHE) [40, 41], Fast Point Feature Histogramm Estimation (FPFHE) [39] sowie Principal Curvature Estimation (PCE) [35]). Für die Bestimmung der Oberflächennormalen wird eine Nachbarschaft um die Punkte der Wolke definiert [42] und anhand dieser eine Normale bestimmt. Verfahren dazu sind beispielsweise die Principal Component Analysis [35] oder die Definition von Ausgleichsebenen [43]. Es existieren allerdings eine Vielzahl anderer Algorithmen, die beispielsweise Oberflächenfarbe (Signature of Histograms of Orientations (SHOT) [44, 45]) oder Oberflächengradientenänderungen benutzen (Rotation Invariant Feature Transform (RIFT) [46]). Ziel aller Feature-basierten Verfahren ist es, rotations- und translationsinvariante Oberflächenmerkmale extrahieren zu können, die in unterschiedlichen Aufnahmeszenarien (Beleuchtung, Blickwinkel etc.) stabil (wieder)gefunden werden können. Je einzigartiger die gefunden Features innerhalb einer Wolke sind und je stabiler sie wiedergefunden werden können, desto höher ist ihr Informationsgehalt für das Registrierungsverfahren. Um die Verarbeitungsgeschwindigkeit zu erhöhen und nur Punkte mit hohem Informationsgehalt in die Registrierung einzubeziehen, können in einem ersten Schritt sogenannte Keypoints berechnet werden. Damit werden Punkte bezeichnet, die hinsichtlich eines oder mehrerer Features (möglichst) einzigartig in der Punktwolke identifizierbar sind. Auch dafür existieren diverse Verfahren, 34

45 3 GRUNDLAGEN 3.6 Registrierungsverfahren die auf spezielle Situationen zugeschnitten sind, die aber nicht im Rahmen der vorliegenden Arbeit untersucht wurden. 35

46 4 MATERIAL UND METHODEN 4. Material und Methoden 4.1. Verwendete Hard- und Software Die verwendete Rechentechnik Alle Berechnungen wurden auf dem folgenden Computersystem durchgeführt: 4x AMD Opteron 8356 Quadcore 2,3 GHz 32 GB RAM Ubuntu Linux v11.04 Die Aufnahme der Kinect-Daten erfolgte auf einem separaten PC, der mit einem Intel Atom Prozessor, 2 GB Hauptspeicher sowie einer SSD-Festplatte ausgestattet war und unter Ubuntu Linux v11.04 betrieben wurde. Verwendete Bibliotheken Diverse OpenSource-Bibliotheken wurden im Rahmen dieser Arbeit verwendet: libfreenect, ein Unix-Treiber für die Microsoft Kinect [22], opencv 2.4 für die Verarbeitung der Sensorbilder [47] sowie die Point Cloud Library (PCL) zur Erzeugung und Registrierung der Punktwolken (siehe Abschn. 3.4) [35]. Verwendete Software des HZDR Im Rahmen dieser Arbeit kam verschiedene, bereits am HZDR implementierte Software zum Einsatz. Die wichtigsten Programme sollen im Folgenden kurz vorgestellt werden. ROVER ROVER [48] ist eine Auswertungsumgebung für PET-Studien und wird im Rahmen dieser Arbeit zur Auswertung der rekonstruierten PET-Bilder verwendet. Das Hauptaugenmerk liegt dabei auf quantitativen Analysen der tomographischen Bilder, um Aussagen bezüglich der Ausdehnung, Größe, des Volumen und der Aktivitätskonzentrationen von ROIs geben zu können. 36

47 4 MATERIAL UND METHODEN 4.2 Cross-Kalibrierung trkcalib Die Software trkcalib ermöglicht die Cross-Kalibrierung eines PET-Scanners mit dem ARTtrack Bewegungserkennungssystem. Dazu wird von einem ruhenden Kalibrierungstarget eine Abschwächungsmessung im PET durchgeführt und gleichzeitig eine Aufnahme mittels ARTtrack durchgeführt. Eine implementierte Bildanalyse der Schichtbilder der Abschwächungsmessung wie auch der Trackingdaten der ARTtrack-Kameras liefert die Transformationsmatrix, mit der sich beide Systeme cross-kalibrieren lassen. Analyze_trk Analyze_trk ist eine am HZDR im Rahmen einer Doktorarbeit entstandene Software, welche Bewegungsdaten im Datenformat des ARTtrack-Systems auf signifikante Bewegungen hin untersucht und filtert (vgl. dazu 3.1.3). Die Software verwendet zusätzlich die mittels trkcalib gefundene Transformationsmatrix, um die Bewegungsevents in das Koordinatensystem des PET-SCanners zu überführen [5]. lmmover lmmover ist eine ebenfalls im Rahmen einer Doktorarbeit am HZDR entstandene Software [5]. Mit ihrer Hilfe werden die eigentlichen PET-Volumendaten anhand der von Analyze_trk gefundenen Bewegungen korrigiert. Dieser Schritt stellt die eigentliche Bewegungskorrektur dar (vgl. dazu 3.1.3) Cross-Kalibrierung von Kinect und PET-Scanner Alle drei Systeme (Kinect, ARTtrack, PET) berechnen die Bewegungs- beziehungsweise Bildinformationen in ihrem jeweils eigenen Koordinatensystem. Die eigentliche Bewegungskorrektur der PET-Daten findet allerdings im Koordinatensystem des PET-Scanners statt. Es ist daher notwendig, die Bewegungsinformationen der Tracking-Systeme in das Koordinatensystem des PET-Scanners zu überführen. Die Cross-Kalibrierung zwischen ARTtrack und PET-Scanner wurde in Kapitel 3.1.3) vorgestellt. Eine direkte Verwendung des ARTtrack- Targets (und damit eine direkte Cross-Kalibrierung zwischen Kinect und ARTtrack) war nicht möglich, da die hochreflektive Beschichtung der Kugeln des ARTtrack-Targets keine Tiefenberechnung durch die Kinect zulässt (vgl. Abb.18). 37

48 4.2 Cross-Kalibrierung 4 MATERIAL UND METHODEN Aus diesem Grund wurde im Rahmen dieser Arbeit Methoden zur Kalibrierung einer Kinect mit einem PET-Scanner entwickelt. Analog zum ARTtrack-System wird ebenfalls ein Target verwendet, das aus einem Gerüst und fünf daran angebrachten Kugeln gleichen Durchmessers besteht. Alle fünf Kugeln haben jeweils paarweise verschiedene Entfernungen zueinander, um eine eindeutige Zuordnung der Kugeln in beiden Koordinatensystemen ermöglichen zu können (vgl. Abschn ). In Bezug auf Größe und Material der Kugeln wurden verschiedene Analysen durchgeführt, sowohl hinsichtlich der Qualität und Stabilität der resultierenden Kinect-Bilder als auch im Hinblick auf die Sichtbarkeit der Kugeln in den Schichtbildern einer begleitend durchgeführten PET-Abschwächungsmessung. Die mögliche spätere Verwendung der Bewegungserkennung am kombinierten PET/MR verbietet die Verwendung metallischer Werkstoffe. Es wurde daher ein Kunststoffgerüst eines ARTtrack-Targets ohne die Reflektorkugeln verwendet. Zunächst wurden auf die Arme des Gerüsts Polystyrol-Kugeln mit einem Durchmesser von 2 cm (analog zum ARTtrack-System) beziehungsweise 5 cm aufgebracht. Später wurden Kugeln aus Holz mit einem Durchmesser von ebenfalls 5 cm getestet. Von diesen Targets wurde parallel zur Kinect-Erfassung eine Abschwächungsmessung im PET-Scanner durchgeführt (30 min), um ein rekonstruiertes Abschwächungsbild zu erzeugen. Mit Hilfe der vorhandenen Kalibrierungssoftware (trkcalib) wurden in diesem Abschwächungsbild die Kugelzentren im PET-Koordinatensystem bestimmt. Um die Cross-Kalibrierung durchführen zu können, müssen die Koordinaten der jeweiligen Kugelzentren zusätzlich im Kinect-Koordinatensystem abgegrenzt werden. Dazu wurde zunächst aus den Kinect-Daten eine Punktwolke erzeugt (vgl. Abb. 16 b und c). Innerhalb dieser Punktwolke wurden virtuelle Kugeln eingefügt, die manuell an die passenden Stellen geschoben wurden, sodass sie optisch mit den Kugelschalen in der Punktwolke übereinstimmten (vgl. Abb. 16 d). Die Koordinaten der Kugelzentren sowohl der PET-Messung als auch aus der Punktwolke der Kinect wurden dann verwendet, um mittels trkcalib die affine Transformation zwischen beiden Koordinatensystemen zu bestimmen. 38

49 4 MATERIAL UND METHODEN 4.2 Cross-Kalibrierung Abbildung 16: a) RGB-Aufnahme der Cross-Kalibrierung, das Target ist im FOV des PET- Scanners zu sehen, b) Punktwolke des Targets aus frontaler Perspektive, c) dieselbe Punktwolke aus seitlicher Perspektive, d) in die Punktwolke wurden manuell zwei Kugeln zur Cross-Kalibrierung platziert. 39

50 4.3 Bewegungserkennung 4 MATERIAL UND METHODEN 4.3. Bewegungserkennung Die Tiefenkamera der Microsoft Kinect liefert einen kontinuierlichen Strom an Tiefenbildern oder Disparity-Maps (vgl. Abschn ). Um die Bewegungen des Patienten aus diesen Tiefenbildern berechnen zu können, müssen diese zunächst in Punktwolken transformiert werden. Mit Hilfe der in Kapitel 3.4 vorgestellten Methoden müssen diese Punktwolken dann verarbeitet und gegen ein Referenzbild registriert werden. Das Referenzbild stellt dabei den Nullpunkt der Messung dar, auf dessen Position sich alle erkannten Bewegungen beziehen. Der Ablauf eines Registrierungsschrittes sieht dabei im Allgemeinen wie folgt aus: 1. Filterung der Disparity-Daten 2. Generierung der Punktwolke 3. Downsampling der Punktwolke 4. Segmentierung der Kopfoberfläche 5. Registrierung der Punktwolken Alle diese Schritte beeinflussen die erkannten Bewegungen, daher wurden für jeden Teilschritt bis auf die Generierung der Punktwolke aus den Disparity-Daten mehrere Alternativen untersucht. Zusätzlich wurde der Einfluss einer veränderten Aufnahmefrequenz sowie der Wahl des Referenzbildes analysiert. Die Menge der Parameter der einzelnen Verfahren und ihrer Alternativen ist enorm groß. Aus diesem Grund musste eine Vorauswahl getroffen werden. Daher wurden für alle Schritte Standardbelegungen der Methoden beziehungsweise Parameter definiert. Die einzelnen Alternativen sowie die jeweiligen Standardparameter werden in den folgenden Abschnitten vorgestellt. Die Auswertung, in der nur die Standard- Parameter verwendet wurden, soll im Folgenden auch als Standard-Auswertung bezeichnet werden. Im Anschluss daran sollen kurz die Kriterien erläutert werden, anhand derer die Bewertung der Verfahren erfolgte Aufnahmefrequenz Um einen einheitlichen Datensatz für die spätere Auswertung zu generieren, erfolgte die Aufnahme der Daten unabhängig von der Verarbeitung. Die Aufnahmefrequenz in Frames 40

51 4 MATERIAL UND METHODEN 4.3 Bewegungserkennung per Second (FPS) kann zu Beginn der Aufnahme bestimmt werden. Es werden Tiefen- und RGB-Bilder der Kinect gleichermaßen gespeichert. Die Aufnahme erfolgt dabei im Rohdatenformat (Tiefenwerte im PPM-Format, RGB-Daten im PGM-Format), ein Tiefenbild belegt dabei 600 kb Speicher, ein RGB-Bild 900 kb. Tiefen- und RGB-Bilder werden von der Kinect im Idealfall abwechselnd übertragen, vor allem in längeren Aufnahmen gilt dieses Muster allerdings nicht für alle Messpunkte. Für die Untersuchung des Einflusses der Aufnahmefrequenz auf die anfallende Datenmenge sowie die Registrierungsgüte wurden in drei Auswertungen Frequenzen von 10, 15 sowie 30 FPS simuliert, indem gegebenenfalls Bilder aus den aufgenommenen Daten übersprungen wurden. Der Standard-Wert für alle anderen Auswertungen betrug 30 FPS Wahl des Referenzbildes Die Wahl eines geeigneten Referenzbildes hat einen entscheidenden Einfluss auf die Qualität der gefundenen Transformationen, da alle Bilder der Messreihe dagegen registriert werden. Eine schlechte Wahl kann somit unter Umständen die gesamte Bewegungserkennung unbrauchbar machen. Das Bild sollte die Kopfoberfläche möglichst umfassend darstellen, rauscharm sein und in der Ruhelage aufgenommen werden. Um den Einfluss des Startbildes zu untersuchen, wurden drei Messungen mit jeweils unterschiedlichem Referenzbild durchgeführt: 1., 50. sowie 100. Bild der Messung. Diese Bilder sollten jeweils alle zeitlich in einer Phase der Aufnahme liegen, wenn das zu trackende Objekt keiner Bewegung ausgesetzt ist (siehe 4.4.1). Standardmäßig wurde das 50. Bild als Referenzbild in allen Auswertungen verwendet Filterung Es wurde der Einfluss dreier Filtermethoden auf die Güte und die Laufzeit des Registrierungsverfahrens der Punktwolken getestet. Der diskrete Kalman-Filter, der Bilaterale Filter sowie der Bildstabilisierungsfilter wurden in folgenden Kombinationen zueinander getestet: diskreter Kalman-Filter (KF) Bildstabilisierungsfilter (BSF) 41

52 4.3 Bewegungserkennung 4 MATERIAL UND METHODEN bilateraler Filter (BLF) BLF KF BSF BLF KF BLF BSF KF BLF In allen anderen Auswertungen wurde auf den Einsatz von Filtern verzichtet Downsampling Die Laufzeit von Verfahren, die mit Punktwolken arbeiten, hängt stark von der Anzahl an Punkten innerhalb der Wolken ab. Eine Reduzierung der Punktdichte verringert die benötigte Rechenzeit beträchtlich, geht aber mit einem Informationsverlust einher. Der Einfluss der Punktdichte wurde mittels des VoxelGrid-Filters (siehe 3.5) untersucht, getestet wurden dabei Voxelgrößen von 1 mm, 3 mm sowie 5 mm. In allen anderen Auswertungen betrug die Größe der Voxel 5 mm Segmentierung der Kopfoberfläche Aus den Tiefenbildern der Kinect muss die Kopfoberfläche extrahiert beziehungsweise segmentiert werden. Dazu wurden zwei Verfahren implementiert. Zum einen wurde eine Segmentierung direkt auf den Tiefendaten der Kinect (der Disparity-Map) im zweidimensionalen Bildraum durchgeführt. Diese Segmentierung wird im folgenden als 2D-Segmentierung bezeichnet. Zum anderen wurde eine Segmentierung innerhalb der aus den Disparity-Daten erzeugten 3D-Punktwolke verwendet. Diese im folgenden als 3D-Segmentierung bezeichnete Methode war Teil der Standard-Auswertung. 2D-Segmentierung Es wurde eine erweiterte Version des 4-connected FloodFill-Algorithmus [49] implementiert, der direkt auf dem Bild der Tiefenkamera (Disparity-Map) der Kinect arbeitet. Es wird initial ein Startpixel ausgewählt, welches (vorab bekannt) auf der Kopfoberfläche liegt. Ausge- 42

53 4 MATERIAL UND METHODEN 4.3 Bewegungserkennung hend von diesem Pixel werden alle direkten Nachbarpixel untersucht, ob sie bestimmten Bedingungen genügen und gegebenenfalls zur Menge der Pixel der gefundenen Kopfoberfläche hinzugefügt. Eine solche Bedingung ist beispielsweise nur eine bestimmte Tiefe gegenüber des höchsten gefundenen Pixels der Kopfoberfläche. Auf diese Art soll tatsächlich nur der Kopf segmentiert und ein Auslaufen des Algorithmus auf Teile des Halses oder der im FOV der Kinect sichtbaren Patientenliege verhindert werden. Der Algorithmus sucht iterativ für alle neu gefundenen Pixel wieder alle zur Kopfoberfläche gehörenden Nachbarpunkte, bis keine weiteren Pixel mehr hinzugefügt werden können. Aufgrund der partiellen Instabilität des Kinect-Bildes kann nicht immer garantiert werden, dass der Startpixel einen gültigen Tiefenwert darstellt. Deshalb wird ein schachbrettartig angeordnetes Gitter von insgesamt zehn Pixeln benutzt, um initiale Startwerte für den FloodFill zu generieren. Alle Pixel der Disparity-Map, die nicht durch den FloodFill-Algorithmus markiert wurden, werden dann als ungültig markiert, sie werden also bei der Generierung der Punktwolke nicht betrachtet. 3D-Segmentierung Es ist auch nach der Generierung einer Punktwolke aus den 2,5D-Daten möglich, die Kopfoberfläche eines Patienten zu segmentieren. Dazu müssen zunächst alle Punkte erfasst werden, die sich zum Zeitpunkt der Aufnahme innerhalb des FOV des PET-Scanners befanden. Aus dieser Menge müssen dann alle Punkte entfernt werden, die zu tief liegen, also zur Liege oder dem Oberkörper gehören. Dazu wird eine euclidean cluster extraction, eine Methode der PCL-Bibliothek, durchgeführt, mit der eine Punktwolke in einzelne zusammenhängende Bestandteile unterteilt werden kann. Diese Unterteilung geschieht mittels einer Art 3D-region-growing [35]. Der größte zusammenhängende Bestandteil dieser Unterteilung ist daraufhin im Normalfall die Kopfoberfläche. Da diese Methode sich auf das FOV des PET-Scanners bezieht, muss die Punktwolke im Vorfeld der 3D-Segmentierung zunächst in das Koordinatensystem des PET-Scanners überführt werden. Die Extraktion der Punkte, die im FOV des PET-Scanners liegen, erfolgt dann mittels eines an den Achsen des PET-Koordinatensystems ausgerichteten, virtuellen Quaders, der einen Großteil der Gantry und damit auch den Patientenkopf umfasst. Die Ausrichtung der Quaderachsen an den Achsen des Koordinatensystems ermöglicht dabei einfache Inklusionstests innerhalb der 43

54 4.3 Bewegungserkennung 4 MATERIAL UND METHODEN Punktwolke, die für jede Dimension unabhängig voneinander durchgeführt werden können. Zur Überführung der Kinect-Daten in das Koordinatensystem des PET-Scanners müssen allerdings die entsprechenden Transformationsmatrizen der Cross-Kalibrierung bekannt sein (siehe Kap. 4.2) Registrierung Die für Punktwolken in Abschnitt 3.6 vorgestellten Registrierungsverfahren wurden sowohl einzeln als auch in folgenden Kombinationen miteinander verglichen: Normal Distribution Transform (NDT) Iterative Closest Point (ICP) Sample Consensus - Initial Alignment (SAC-IA) NDT ICP SAC-IA ICP Da ICP sehr häufig in lokale Minima läuft, wurde dieses Verfahren in Kombinationen analog zur Fachliteratur nur zur Feinjustierung verwendet [10]. Die Auswertung wurde einmal ohne Initialschätzung durchgeführt, jedes Bild wurde dabei unabhängig voneinander gegen das Referenzbild registriert. Diese Variante wird als ohne IT, also ohne Initialtransformation bezeichnet. In einer zweiten Auswertungsreihe wurde die gefundene Transformation des Vorgängerbildes als initiale Schätzung des Nachfolgebildes verwendet, dafür wurde die Kurzform mit IT, also mit Initialtransformation gewählt. Für das SAC-IA Verfahren wurde das FPFHE Feature (Fast Point Feature Histogram Estimation, siehe 3.6) gewählt. Die Normalen wurden mittels einer kd-baumsuche bestimmt. Als kd-baum wird eine spezielle Form von Binärbäumen bezeichnet. Diese unterteilt einen multidimensionalen Datensatz derart, dass eine effiziente Suche nach benachbarten Einträgen ermöglicht wird (vgl. dazu [42]). Es wurden keine Keypoints verwendet. 44

55 4 MATERIAL UND METHODEN 4.3 Bewegungserkennung Übersicht über die Auswertungen Der Einfachheit halber wurde jeder Auswertung eine Laufnummer gegeben. Tabelle 1 zeigt alle durchgeführten Auswertungen im Überblick, ein Stern markiert hierbei die Verwendung der initialen Transformation bei der Registrierung Bewertungskriterien Im Folgenden sollen die Kriterien vorgestellt werden, nach denen der Vergleich der Güte der Bewegungserkennung erfolgte. Mittlerer Abstand korrespondierender Punkte in Ziel- und Quellpunktwolken (MA) Die Summe der Abstandsquadrate aller Punkte der Zielwolke zu ihren jeweils nächsten Nachbarn in der Quellwolke nach Anwendung der gefundenen Transformation ist ein übliches Gütekriterium für Registrierungsalgorithmen. Die Summe der quadrierten Abstände wird dabei als die Kostenfunktion der Transformation betrachtet, welche durch das Registrierungsverfahren minimiert werden soll. Die Summe ist dabei nach der Menge aller Punktpaare gewichtet. Laufzeit (LZ) Die durchschnittlich benötigte Zeit pro Registrierung einer Punktwolke ist ein wichtiges Kriterium für die Beurteilung der Verfahren. Idealerweise soll Echtzeitfähigkeit erreicht werden. Dadurch steht zwischen zwei Bildern bei einer Aufnahmefrequenz von 30 FPS eine durchschnittliche Verarbeitungszeit von maximal 33,3 msec pro Bild zur Registrierung der Punktwolken zur Verfügung. Je niedriger der LZ-Wert ausfällt, desto besser geeignet ist das Verfahren hinsichtlich der Verarbeitungsdauer beziehungsweise im Hinblick auf eine mögliche Echtzeitfähigkeit. Prozentsatz zurückgewiesener Bilder (PzB) Es muss davon ausgegangen werden, dass nicht alle Registrierungen der Punktwolken einer Messung durch einen Algorithmus zufriedenstellend gefunden werden. Die Anfälligkeit des ICP für lokale Minima wurde bereits erwähnt, auch andere Verfahren können unter 45

56 4.3 Bewegungserkennung 4 MATERIAL UND METHODEN Nr. FPS Ref.-bild Voxelgröße Segment. Filtermethode Registr.-verf. # mm 3D keine ICP # mm 3D keine ICP * # mm 3D keine NDT # mm 3D keine NDT * # mm 3D keine NDT ICP # mm 3D keine NDT ICP * # mm 3D keine SAC-IA # mm 3D keine SAC-IA * # mm 3D keine SAC-IA ICP # mm 3D keine SAC-IA ICP * # mm 2D keine NDT ICP # mm 3D keine NDT ICP # mm 3D keine NDT ICP # mm 3D keine NDT ICP # mm 3D keine NDT ICP # mm 3D keine NDT ICP # mm 3D keine NDT ICP # mm 3D KF NDT ICP # mm 3D BSF NDT ICP # mm 3D BLF NDT ICP # mm 3D BSF KF NDT ICP # mm 3D BSF BLF NDT ICP # mm 3D KF BLF NDT ICP # mm 3D BSF KF BLF NDT ICP Tabelle 1: Übersicht der einzelnen Auswertungen; die Standard-Auswertung ist fett und kursiv gedruckt, Abweichungen davon in den anderen Auswertungen jeweils nur fett gedruckt. 46

57 4 MATERIAL UND METHODEN 4.4 Evaluation im Kontext einer PET-Messung bestimmten, nicht im Vorfeld bekannten Bedingungen versagen beziehungsweise unzufriedenstellende Ergebnisse liefern. Für die Behandlung dieser Fälle ist es notwendig, interne Kriterien zu formulieren, nach denen eine Registrierung als erfolgreich angesehen wird oder als fehlgeschlagen zurückgewiesen werden muss. Ein Beispiel eines solchen Kriteriums ist die Summe der quadrierten Abstände (siehe oben), die einen bestimmten Schwellwert nicht überschreiten soll. Werden bei gleichen Daten bei einem Verfahren mehr Bilder zurückgewiesen als bei einem anderen, ist dessen Güte als geringer einzuschätzen Evaluation im Kontext einer PET-Messung Die verschiedenen Auswertungen, die im vorangegangenen Kapitel vorgestellt wurden, lieferten für die durchgeführte Messung jeweils einen Datensatz aller erkannten Bewegungen. Um diese Daten abschließend hinsichtlich ihrer Güte im Kontext einer realen PET-Messung bewerten zu können, wurde für jede Auswertung die Bewegungskorrektur mittels der Software lmmover sowie die abschließende Bildrekonstruktion durchgeführt. Die Ergebnisse des bisher verwendeten ARTtrack-Systems wurden ebenfalls in den Vergleich einbezogen. Zur Durchführung der vergleichenden Bewegungskorrektur realer PET-Daten wurde parallel zu den Aufnahmen der Microsoft Kinect (vgl. Kap. 4.3) eine PET-Messung eines Phantoms sowie eine gleichzeitige Aufzeichnung der durch das ARTtrack-System erkannten Bewegungen durchgeführt. Abschnitt erläutert den Versuchsaufbau sowie -ablauf näher. Die Evaluation erfolgte dann in zwei Schritten: zunächst wurden für alle Auswertungen aus Kapitel 4.3 die Maximalintensität der Aktivitätskonzentration abgegrenzter ROIs bestimmt (Abschn ). Anhand dieser Daten wurden vier Verfahren ausgewählt, die einer genaueren Analyse der rekonstruierten Volumendatensätze unterzogen wurden (Abschn ) Versuchsaufbau und -ablauf Für die Testmessungen am PET-Scanner wurde ein präpariertes Phantom, ein Modellkopf (siehe Abb. 18), verwendet. Zur Simulation einer realen PET-Messung wurde eine radioaktiv angereicherte Struktur, in diesem Fall eine Natrium-22 Linienquelle mit einer Aktivität von 3,5 MBq, seitlich am Modellkopf befestigt. Das markerbasierte ARTtrack-Target wurde senkrecht an der Oberseite des Kopfes montiert, um eine gleichzeitige Bewegungsmessung 47

58 4.4 Evaluation im Kontext einer PET-Messung 4 MATERIAL UND METHODEN durch das ARTtrack-System zu ermöglichen. Der Versuchsaufbau ist in Abbildung 17 dargestellt. Während der Messung wurde das Modell unterschiedlich bewegt. Die Messung unterteilte sich in vier Phasen, die im Kontext einer PET-Messung Frames genannt werden. Folgende Bewegungen wurden durchgeführt: 1. Durchführung einer zehnminütigen Transmissions- sowie eine fünfminütigen Emissionsmessung (Frame 1). 2. Während der laufenden PET-Messung wurde die Patientenliege mittels des eingebauten Schrittmotors fünf Minuten lang jeweils fünf Zentimeter in die Gantry hinein- beziehungsweise herausgefahren, diese Bewegung erfolgte entlang der Z-Achse des PET- Koordinatensystems (Frame 2). 3. Das Phantom wurde fünf Minuten lang manuell unregelmäßig und zufällig leicht bewegt und gedreht (Frame 3). 4. Die Patientenliege wurde fünf Minuten lang innerhalb der Gantry mittels des eingebauten Schrittmotors hoch- und wieder heruntergefahren, diese Bewegung verlief entlang der Y-Achse des PET-Koordinatensystems (Frame 4). Dabei wurden sowohl die Bewegungsdaten des ARTtrack-Systems als auch die RGB- und Disparity-Daten der Kinect parallel aufgezeichnet. Der Referenzframe bezeichnet den ersten Frame des mittels der ARTtrack-Daten bewegungskorrigierten PET-Datensatzes. Es kam zu einem Fehler bei der Datenerfassung des Kinect-Systems, wodurch für die erste Phase (ohne Bewegung) nur für die letzte Minute Bilddaten zur Verfügung standen Analyse der Maximalintensitäten In den rekonstruierten PET-Daten wurde in allen Frames eine Region of Interest (ROI, vgl. Abschn ) mit einem absoluten Schwellwert von 40 % der maximalen Strahlungsintensität des Referenzframes abgegrenzt. Diese ROI wurde für die Frames 2 bis 4 der Auswertungen verwendet und jeweils für jeden Frame die Differenz der ermittelten Maximalintensität gegenüber der Maximalintensität des Referenzframes bestimmt. Die Mittelung dieser Differenzen über die Frames 2 bis 4 wird in dieser Arbeit als die Differenz der Maximalintensitäten (DMI) bezeichnet. Im Idealfall einer unbewegten Aufnahme sollten sich diese 48

59 4 MATERIAL UND METHODEN 4.4 Evaluation im Kontext einer PET-Messung Abbildung 17: Versuchsaufbau der Testmessungen. Links im Gantry des HR+ -Scanners befindet sich das Kopfphantom, rechts oben ist die auf ein Gestell montierte Kinect zu sehen. Abbildung 18: Das genutzte Phantom der Testmessungen; an der Oberseite des Kopfes ist das ARTtrack-Target befestigt. Die starke Reflektivität der Kugeln des Targets ist auch im sichtbaren Lichtspektrum deutlich erkennbar. 49

60 4.4 Evaluation im Kontext einer PET-Messung 4 MATERIAL UND METHODEN Werte entsprechen. Durch die Bewegungen, denen das Phantom in den einzelnen Frames ausgesetzt war, verringert sich dieser Wert allerdings drastisch durch die falsche Zuordnung der gemessenen Koinzidenzen zu einzelnen Voxeln. Durch die Bewegungskorrektur wird im Endeffekt versucht, die gemessenen Koinzidenzen auf die richtigen Voxel abzubilden. Eine geringere Differenz zum Wert des Referenzframes signalisiert somit eine höhere Güte der Bewegungskorrektur Vertiefende Analyse der besten Verfahren Für den klinischen Einsatz stellt die Güte der rekonstruierten PET-Daten das wichtigste Kriterium für die Qualität der Bewegungserkennung dar. Daher wurden die drei nach dem DMI-Kriterium besten Auswertungen, die Standard-Auswertung sowie das ARTtrack- System einer genaueren quantitativen Untersuchung der rekonstruierten PET-Daten unterzogen. Hierbei wurden alle Frames einzeln betrachtet. Die entsprechenden ROIs wurden in jedem Frame neu mit dem Schwellwert von 40 % der Maximalintensität der Aktivitätskonzentration des Referenzframes abgegrenzt, das heißt, für alle ROIs wurde im Rahmen der Vorauswahl derselbe absolute Schwellwert verwendet. Es wurden aufgrund der fehlenden Kinect-Bilddaten für den ersten Frame jeweils nur die Frames 2 bis 4 untersucht. In den folgenden Abschnitten werden die Kriterien der vertiefenden Analyse näher beleuchtet Bewertungskriterien der vertiefenden Analyse Euklidischer Abstand der aktivitätsgewichteten ROI-Schwerpunkte Die für jeden Frame abgegrenzten ROIs besitzen einen Schwerpunkt der gemessenen Aktivitätskonzentration (vgl. Abschn ). Nach der Bewegungskorrektur befindet sich dieser Schwerpunkt in jedem Frame idealerweise auf der gleichen Position wie im Referenzframe. Der euklidische Abstand der Schwerpunkte zum Referenzframe kann daher als ein Maß genommen werden, wie ruhig das rekonstruierte Bild ist, beziehungsweise wie genau die Bewegungen erkannt und korrigiert wurden. Der Wert wurde für jeden Frame des Versuchsablaufs in Millimetern als Abstand zum aktivitätsgewichteten Schwerpunkt des Referenzframes ermittelt. 50

61 4 MATERIAL UND METHODEN 4.5 Aufbau der prototypischen Implementierung Mittlere Aktivität der ROIs Für jede abgegrenzte ROI kann eine Aussage über die mittlere gemessene Aktivitätskonzentration getroffen werden (vgl. Abschn ). Die gemittelte Aktivitätskonzentration der ROI des Referenzframes wurde mit 100 % festgelegt. Es wurde für alle fünf Auswertungen sowohl die absolute Differenz der mittleren Aktivitätskonzentrationen gegenüber des Referenzframes ermittelt. Zusätzlich wurde für jeden Frame die Differenz der mittleren Aktivitätskonzentration zum jeweiligen Wert der mittels des ARTtrack-Systems bewegungskorrigierten PET-Daten bestimmt. Maximale Aktivität der ROIs Im ersten Schritt der Analyse (vgl. Abschn ) wurde die mittlere Abweichung über alle Frames zur Vorauswahl der besten Auswertungen der Registrierung der Punktwolken für die vertiefende Analyse genutzt. In diesem zweiten Analyse-Schritt wurde nun zusätzlich die prozentuale Abweichung der Maximalintensität der ROIs gegenüber des Referenzframes für alle Frames einzeln aufgesplittet. Auch hier wurde wieder sowohl die prozentuale Abweichung zum Referenzframe als auch die Differenz der Abweichung zum Wert des mittels der ARTtrack-Daten bewegungskorrigierten PET-Volumendatensatz ermittelt Aufbau der prototypischen Implementierung Die Implementierung des Software-Protoypen fand in C++ unter Ubuntu Linux 64bit v11.04 statt. Es wurde zusätzlich das Qt4-Framework verwendet [50]. Es wurden die folgenden drei Software-Bausteine implementiert: 1. KinectRecorder, eine Software zum Aufnehmen und Speichern eines Kinect-Datenstroms. 2. SphereSeg, eine Software zur manuellen Positionierung von Kugeln im Kinect-Bild (vgl. dazu die Cross-Kalibrierung, Abschn. 4.2). 3. KNTrack, eine Software zur Berechnung der Transformationsmatrizen aus einem aufgezeichneten Kinect-Datenstrom. Die einzelnen Bausteine sollen nun im Folgenden näher beleuchtet werden. 51

62 4.5 Aufbau der prototypischen Implementierung 4 MATERIAL UND METHODEN KinectRecorder Als Grundlage dieser Software diente eine der libfreenect-bibliothek beiliegende, in C geschriebene Software zur Speicherung von Kinect-Daten. Diese wurde in C++ und Qt4 neu implementiert. Zusätzlich zur Speicherung der Bilddaten werden die internen Parameter der Kinect (fokale Länge, Abstand der Kameras und so weiter) ausgelesen und gespeichert. Diese werden von KNTrack und SphereSeg benötigt, um die RGB-Bilder mit der zeitlich nächsten Disparity-Map co-registrieren zu können. Anschaulich gesprochen wird bei einer Co-Registrierung jedem Punkt der Disparity-Map der korrekte Farbwert aus dem RGB- Bild zugeordnet. Es wurden verschiedene Ansätze implementiert, die entstehenden Bilddaten zu packen beziehungsweise in andere Formate als das Rohdatenformat umzuwandeln (vgl. Abschn ). Alle Daten einer Aufnahme werden hintereinander in ein Verzeichnis gespeichert, die Aufnahmezeiten werden dabei in den Dateinamen kodiert. Da im Laufe einer typischen Aufnahme (beispielsweise begleitend zu einer PET-Messung) leicht mehrere zehntausend Dateien gespeichert werden, schreibt KinectRecorder die Namen der aufgenommenen Bilder nacheinander in eine Textdatei. Auf diese Art kann bei der Auswertung der Aufnahme deutlich effizienter auf die einzelnen Dateien zugegriffen werden, da das Einlesen des gesamten Verzeichnisses in eine Datenstruktur entfällt SphereSeg Mit Hilfe dieser Software können manuell virtuelle Kugeln in einer Kinect-Aufnahme platziert werden. Als Grundlage dafür dient das Datenverzeichnis einer Aufnahme des Kalibrierungstargets (vgl. Abschn. 4.2), das durch die Software KinectRecorder erstellt wurde (vgl. Abschn ). Abbildung 16 zeigt einen Ausschnitt dieses Programms. Mit Hilfe der gespeicherten internen Parameter der Kinect wird eine Co-Registrierung des RGB-Bildes mit der Disparity-Map durchgeführt (vgl. Abschn ). Es ist eine freie Navigation innerhalb der Szene möglich. Es werden durch den Anwender insgesamt fünf virtuelle Kugeln innerhalb der Szene platziert, die mittels Tastaturkommandos an die entsprechenden Stellen innerhalb der Szene manövriert werden müssen. Wurden alle Kugeln zufriedenstellend positioniert, werden die Koordinaten der Zentren dieser virtuellen Kugeln in eine Datei ausgegeben, die von der Software trkcalib (vgl. Abschn. 4.1) dann zusammen mit den Daten der 52

63 4 MATERIAL UND METHODEN 4.5 Aufbau der prototypischen Implementierung begleitend durchgeführten PET-Messung zur Berechnung der Cross-Kalibrierungs-Matrizen genutzt werden. SphereSeg implementiert Teile der Nestk-Bibliothek von Nicolas Burrus, die Methoden zur Arbeit mit Kinect-Daten bereitstellt [51]. Es wurden kleinere Modifikationen vorgenommen, um den speziellen Anforderungen der vorliegenden Arbeit zu genügen. Abbildung 19: Ablaufdiagramm des Software-Prototypen KNTrack KNTrack Diese Software implementiert einen Großteil der in Abschnitt 4.3 vorgestellten Schritte einer Auswertung. Die Parameter dieser Schritte werden durch eine Konfigurationsdatei bestimmt. Zunächst wird die Textdatei eines mittels KinectRecorder (vgl. Abschn ) erstellten Datenverzeichnisses geöffnet. Diese wird zeilenweise eingelesen. Jeder Disparity- Map wird das zeitlich nächste RGB-Bild zugeordnet. Diese Bilder werden gegeneinander co-registriert. Danach werden eventuelle Filter auf die Disparity-Map angewendet (vgl. Abschn ), bevor aus ihr eine Punktwolke erzeugt wird. Im Anschluss daran wird die Registrierung der Punktwolke mit der aus dem Referenzbild generierten Punktwolke durchgeführt (vgl. Abschn ). Dazu werden eine oder zwei sogenannte AlignmentUnits verwendet, einmal eine InitialAlignmentUnit für die Grob-Ausrichtung der Punktwolke, danach eine FinalAlignmentUnit zur Feinjustierung (vgl. die Ausführungen zu den Registrierungs- 53

64 4.5 Aufbau der prototypischen Implementierung 4 MATERIAL UND METHODEN algorithmen in Kap. 3.6). Der Ablauf dieser Vorgänge ist in Abbildung 19 zu sehen. Dabei werden die gefundenen Transformationen - wenn die entsprechende Einstellung in der Konfigurationsdatei getroffen wurde - als initiale Transformation des nächsten Registrierungsschrittes verwendet. Nach Verarbeitung aller Zeilen der Textdatei werden alle gefundenen Transformationen in das Datenformat des ARTtrack-Systems gebracht und gespeichert. Alle nachfolgenden Schritte, die zur Bewegungskorrektur und zur Rekonstruktion der PET-Bilder notwendig sind, werden dann von HZDR-Software durchgeführt (siehe Abschn. 4.1). 54

65 5 RESULTATE 5. Resultate 5.1. Cross-Kalibrierung von Kinect und PET-Scanner Die Holzkugeln des für die Kinect angefertigten Kalibrierungs-Targets (siehe Abb. 17) haben eine geringere Dichte als die aus Metall bestehenden Kugeln des ARTtrack-Targets und benötigen deshalb eine längere Transmissionsmessung, um ein ausreichend kontraststarkes Abschwächungsbild zu erzeugen. Der erste Versuchsdurchlauf mit Kugeln aus Polystyrol scheiterte aus diesem Grund, da das Material auch nach 30 min Transmissionsmessung im PET-Schichtbild nicht ausreichend sichtbar war. Des Weiteren sind die Holzkugeln mit einem Durchmesser von 4 cm deutlich größer als die 2 cm Durchmesser des ARTtrack-Systems. Das resultierende PET-Bild zeigt weniger deutlich erkennbare Kreise. Aus diesen Gründen arbeitet der für das ARTtrack-System am HZDR vorimplementierte Algorithmus zur Ermittlung der Kugelzentren möglicherweise nicht in dem Maße genau, wie bei der Kalibrierung des ARTtrack-Targets selbst (vgl. Abb. 20). Abbildung 20: Ausschnitt aus dem PET-Schichtbild eines Scans des Holzkugeltargets, es ist nur eine Schicht dargestellt. Das rote Kreuz markiert den vom Algorithmus gefundenen Mittelpunkt der Kugel. Es ist deutlich zu sehen, dass der errechnete Mittelpunkt leicht versetzt zum optischen Mittelpunkt der Kugel liegt. Das Bild wurde mit der Software trkcalib erstellt. 55

66 5.2 Bewegungserkennung 5 RESULTATE Die Kugeln des Targets müssen zusätzlich im Koordinatensystem der Kinect erkannt und zugeordnet werden. Wie in Abbildung 16 zu sehen, wird bedingt durch die 2,5D-Aufnahme der Kinect jeweils nur ein relativ kleiner Teil der jeweiligen Kugeloberfläche erkannt. Ein Automatismus zur Erkennung der Kugeln in den Punktwolken ist denkbar, dennoch wurde für die vorliegende Arbeit lediglich eine manuelle Positionierung der Kugelzentren umgesetzt. Mit Hilfe der vorhandenen Software konnten danach die fünf Kugelzentren analog zur bisherigen ARTtrack-Kalibrierung zur Berechnung der Transformationsmatrizen PET-zu-Kinect und Kinect-zu-PET ermittelt werden Bewegungserkennung Im folgenden Abschnitt werden die Ergebnisse der Analyse der verschiedenen Alternativen in den einzelnen Phasen eines Registrierungsschrittes (siehe Abschn. 4.3) vorgestellt. Für alle Auswertungsreihen wurde zusätzlich das Kriterium der Differenz der Maximalintensitäten (DMI) bestimmt (siehe Abschn ). Dieses Kriterium wurde dazu benutzt, um eine Vorauswahl für die vertiefende Analyse im Kontext einer PET-Messung zu treffen, deren Ergebnisse in Kapitel 5.3 vorgestellt werden Aufnahme der Kinect-Daten Bei einer maximalen Framerate von 30 FPS ergibt sich bei einer angenommenen Messdauer von einer Stunde ein Platzbedarf von etwa 162 GB bei einem Datendurchsatz von 45 MB pro Sekunde. Es existieren verschiedene Ansätze, diesen Platzbedarf zu reduzieren: Verringerung der Aufnahmefrequenz Eine Verringerung der Frequenz führt zu prozentual gleichermaßen vermindertem Speicherbedarf. Es erhöht sich damit allerdings auch der Bewegungsspielraum des Patienten zwischen zwei Messpunkten, die Registrierungsqualität und -geschwindigkeit wird also unter Umständen beeinflusst. Tabelle 2 zeigt die Ergebnisse der drei durchgeführten Messungen. Die Verringerung der Aufnahmefrequenz führt zu einem leichten Anstieg der benötigten Verarbeitungszeit (LZ). Die Menge zurückgewiesener Bilder (PzB) bleibt anteilig gleich und auch der mittlere Abstand (MA) der Punkte der Punktwolken werden nicht beeinflusst. Es 56

67 5 RESULTATE 5.2 Bewegungserkennung Nr. MA LZ PzB DMI #5 (30 FPS) 20,27 mm 2,09 s 0,66 % 36,2 % #16 (15 FPS) 20,48 mm 2,09 s 0,65 % 37,1 % #17 (10 FPS) 20,34 mm 2,10 s 0,65 % 37,6 % Tabelle 2: Einfluss der Veränderung der Aufnahmefrequenz auf die vorgestellten Bewertungskriterien der Registrierung von Punktwolken. ergibt sich mit Reduzierung der FPS eine leichte Steigerung der DMI nach der Rekonstruktion der bewegungskorrigierten PET-Bilder. Verzicht auf die RGB-Daten Durch Verzicht auf die RGB-Daten lässt sich der Platzbedarf auf 40 % reduzieren. Die RGB- Daten werden nicht zur Generierung der Punktwolken benötigt, sind aber Input diverser Keypoint- und Feature-Matching-Algorithmen, auch sind Erweiterungen des ICP- beziehungsweise des NDT-Verfahrens verfüg- oder denkbar, die den Farbwert in die Berechnung der Transformationen einbeziehen. Nur in diesen Fällen ist die Speicherung von RGB-Daten notwendig. Verwendung anderer RGB-Formate Die RGB-Daten können in andere Bildformate umgewandelt werden. Eine Kodierung als PNG bewirkt eine Reduzierung des benötigten Speicherbedarfs pro RGB-Bild auf etwa 350 KB und damit eine Reduzierung des Gesamtbedarfs (1,5 MB pro Tiefenbild/RGB-Bild- Paar) auf etwa 950 KB, also um etwa 40 %. Da die PNG-Speicherung der Bilddaten verlustfrei ausfällt, existiert kein Einfluss auf die Güte der Registrierung. Die Ausführungsgeschwindigkeit sowohl des Aufnahme- wie auch des Registrierungsalgorithmus wird allerdings durch die notwendigen Konvertierungsoperationen deutlich negativ beeinflusst. Im Falle eines verlustbehafteten Bildformats (beispielsweise JPEG) kann der notwendige Speicherplatz deutlich stärker reduziert werden, ein Einfluss auf die Güte von auf RGB-Daten basierenden Registrierungsverfahren ist dann allerdings zu erwarten. 57

68 5.2 Bewegungserkennung 5 RESULTATE Kompression der Daten Die Verwendung von Kompressionsalgorithmen (umgangsprachlich als Packen bezeichnet) ist dazu geeignet, den notwendigen Platzbedarf deutlich zu reduzieren. Für die RGB-Daten bewirkt eine Kompression des PPM-Bildes mittels des BZ2-Algorithmus eine Verringerung auf etwa 50 %, also etwa 480 KB. Diese Kompression ist erwartungsgemäß deutlich schlechter als die Verwendung anderer Bildformate, die auf Bilddaten spezialisierte Komprimierungsalgorithmen verwenden. Die Kompression des Tiefenbildes mittels BZ2-Algorithmus bringt hingegen eine drastische Reduktion der Dateigröße auf etwa 10 % (rund 60 KB statt 600 KB) mit sich. Kompression (bei der Datenaufnahme) sowie Dekompression (bei der Registrierung der Daten) haben zwar keinen Einfluss auf die Güte der Bewegungserkennung an sich, verringern allerdings in beiden Phasen deutlich die Ausführungsgeschwindigkeit Wahl des Referenzbildes Alle drei Auswertungen zeigen nahezu identische Ausführungszeiten und Zurückweisungsraten (siehe Tab. 3). Die mittlere Summe der Differenzen von Punkten zu ihren korrespondierenden Punkten unterscheidet sich relativ stark voneinander, wobei die Wahl des ersten Bildes als Referenz eine Halbierung dieses Wertes gegenüber der Wahl des 100. Bildes darstellt. Alle drei Bilder wurden aus der Aufnahmephase ohne Bewegung (im Referenzframe) ausgewählt. Die mittleren Maximalintensitäten der Aktivitätskonzentration der bewegungskorrigierten PET-Bilder sollten sich also in etwa entsprechen. Entgegen dieser Erwartung zeigte sich allerdings ein deutlicher Einfluss auf diese Intensitäten: insbesondere die Wahl des ersten Bildes als Referenzbild verschlechterte die DMI um 3,6 Prozentpunkte gegenüber der Standard-Auswertung (39,8 % gegenüber 36,2 %) Downsampling Tabelle 4 zeigt den Einfluss des Downsamplings auf die Registrierung. Je größer die Voxelgröße gewählt wurde, desto größer wurden die mittleren Abstände aller Punkte zu ihren jeweiligen Korrespondenzen. Dieses Verhalten ist der Bildung des Zentroiden aller im jeweiligen Voxel enthaltenen Punkte geschuldet. Interessant ist die Halbierung der Menge zurückgewiesener Bilder beim Sprung von 1 mm Voxelgröße auf 3 mm. Erwartungsgemäß 58

69 5 RESULTATE 5.2 Bewegungserkennung Nr. MA LZ PzB DMI #14 (1. Bild) 15,02 mm 2,05 s 0,66 % 39,8 % #5 (50. Bild) 20,27 mm 2,09 s 0,66 % 36,2 % #15 (100. Bild) 29,78 mm 2,06 s 0,67 % 37,0 % Tabelle 3: Einfluss der Wahl des Referenzbildes auf die vorgestellten Bewertungskriterien der Registrierung von Punktwolken. Nr. MA LZ PzB DMI #12 (1 mm) 17,63 mm 3,80 s 1,22 % 39,0 % #13 (3 mm) 18,34 mm 2,29 s 0,66 % 35,9 % #5 (5 mm) 20,27 mm 2,09 s 0,66 % 36,2 % Tabelle 4: Einfluss des Downsamplings auf die vorgestellten Bewertungskriterien der Registrierung von Punktwolken. beschleunigt die Vergrößerung der Voxel die Ausführungsgeschwindigkeit der Registrierung: bei 3 mm Voxelgröße wurde nur 60 % der für eine Größe von 1 mm anfallenden Registrierungszeit benötigt, bei 5 mm Voxelgröße reduziert sich die notwendige Zeit auf 54 %. Während die DMI bei einer Voxelgröße von 3 mm sich leicht auf 35,9 % verbessert, verschlechtert sie sich gegenüber der Standard-Auswertung bei 1 mm Voxelgröße um 2,8 Prozentpunkte auf mittlere 39 % Abweichung vom Referenzframe Segmentierung der Kopfoberfläche Die verwendete Segmentierungsmethode hat großen Einfluss auf die Geschwindigkeit der Registrierung der Punktwolken. Tabelle 5 zeigt, dass die Verwendung des auf der Disparity-Map basierenden 2D-Verfahrens den Zeitbedarf je Bild der Registrierung auf 76 % der LZ bei Verwendung der 3D-Registrierung verringert. Zudem reduzierte sich die Anzahl zurückgewiesener Registrierungen sehr stark. Das MA-Kriterium stieg allerdings deutlich von 20,27 mm beim 3D-Verfahren auf 48,29 mm beim 2D-Verfahren an. Eine genauere Betrachtung der erzeugten Punktwolken zeigte, dass die zurückgewiesenen Bilder in allen Testläufen zum 59

70 5.2 Bewegungserkennung 5 RESULTATE Nr. MA LZ PzB DMI #11 (2D) 48,29 mm 1,59 s 0,01 % 36,9 % #5 (3D) 20,27 mm 2,09 s 0,66 % 36,2 % Tabelle 5: Einfluss der Segmentierungsmethode auf die vorgestellten Bewertungskriterien der Registrierung von Punktwolken. größten Teil auf eine fehlerhafte Segmentierung der Kopfoberfläche zurückzuführen waren und hauptsächlich im dritten Frame auftraten. Das Phantom wurde in diesem Frame zufällig bewegt. In einigen Fällen wurde dabei durch die 3D-Segmentierung statt der Kopfoberfläche die Hand segmentiert, die das Phantom bewegte. Diese Fehlsegmentierung trat bei der 2D- Variante nicht auf, allerdings bestand dort durch den verwendeten FloodFill-Algorithmus stärker das Problem des Auslaufens der erkannten Punktmenge in unerwünschte Bereiche (Patientenliege, Hand, und so weiter) Filterung Tabelle 6 zeigt den Einfluss der untersuchten Filtertechniken. Alle verwendeten Filter erhöhten erwartungsgemäß die Ausführungsgeschwindigkeit, bis hin zum knapp doppelten des Zeitbedarfs der Standard-Auswertung (#5). Der Bildstabilisierungsfilter (BSF) hatte hierbei den geringsten Einfluss (mit durchschnittlich 0,06 s zusätzliche Registrierungszeit je Bild), während der bilaterale Filter (BF) den größten Zeitmehrbedarf aufwies (mit durchschnittlich 1,8 s zusätzliche Registrierungszeit je Bild). Der mittlere Abstand aller Punkte zu ihren Korrespondenzen wurde durch den Kalman-Filter (KF) und die Kombination von Kalmanund Bilateralem Filter verringert, alle anderen Kombinationen erhöhten diesen Wert zum Teil stark. Die Verwendung des Kalman-Filters senkte die Menge zurückgewiesener Bilder, der Bildstabilisierungsfilter erhöhte sie hingegen. Beim wichtigen DMI-Kriterium schnitten alle verwendeten Filtertechniken entgegen der Erwartungen schlechter beziehungsweise nur in einem Fall (Bilateraler Filter) vergleichbar gut wie die Standard-Auswertung ab. 60

71 5 RESULTATE 5.2 Bewegungserkennung Nr. MA LZ PzB DMI #5 (ohne) 20,27 mm 2,09 s 0,66 % 36,2 % #18 (KF) 16,85 mm 2,39 s 0,24 % 38,4 % #19 (BSF) 36,37 mm 2,15 s 1,11 % 36,7 % #20 (BLF) 21,16 mm 3,87 s 0,66 % 36,2 % #21 (BSF KF) 33,12 mm 2,45 s 0,52 % 38,8 % #22 (BSF BLF) 39,01 mm 3,71 s 1,11 % 36,5 % #23 (KF BLF) 17,90 mm 3,97 s 0,24 % 39,6 % #24 (BSF KF BLF) 35,62 mm 3,82 s 0,52 % 40,2 % Tabelle 6: Einfluss bestimmter Filtertechniken auf die vorgestellten Bewertungskriterien der Registrierung von Punktwolken Registrierung der Punktwolken Der Vergleich der verschiedenen Verfahren zur Registrierung von Punktwolken ist in Tabelle 7 dargestellt. Generell wurde durch NDT und ICP eine schnellere Registrierung durchgeführt, wenn die Transformation des vorhergehenden Bildes als initiale Schätzung für die nächste Registrierung benutzt wurde. SAC-IA hingegen profitierte von dieser Maßnahme nicht. SAC-IA und NDT zeigten ohne initiale Schätzung eine deutlich erhöhte Menge zurückgewiesener Registrierungen. Die besten Ergebnisse hinsichtlich der mittleren Abstände der Punkte zu ihren jeweiligen Korrespondenzen erzielten ICP ohne und mit initialer Schätzung sowie die Kombination aus NDT und ICP mit initialer Schätzung, während SAC-IA und NDT ohne initiale Schätzung in dieser Hinsicht am schlechtesten Ergebnisse abschnitten. Hinsichtlich des DMI-Kriteriums zeigte sich ein ähnliches Bild: im Mittel schnitten alle Verfahren mit Initialtransformation deutlich besser ab als ohne, wobei die Kombination von NDT und ICP die geringsten Unterschiede aufwies. Das SAC-IA Verfahren alleine versagte hinsichtlich der DMI völlig (mit 98,1 % bzw. 85,9 % DMI). In Kombination mit ICP und Initialtransformation ergab sich allerdings überraschenderweise mit 33 % der drittbeste DMI-Wert aller untersuchten Kinect-Bewegungserkennungsverfahren. 61

72 5.3 Evaluation im Kontext einer PET-Messung 5 RESULTATE Nr. MA LZ PzB DMI #1 (ICP) 20,04 mm 0,55 s 0,66 % 35,4 % #2 (ICP *) 26,93 mm 0,52 s 0,66 % 31,3 % #3 (NDT) 54,54 mm 1,87 s 4,06 % 47,8 % #4 (NDT *) 21,15 mm 0,51 s 0,66 % 31,3 % #5 (NDT ICP) 20,27 mm 2,09 s 0,66 % 36,2 % #6 (NDT ICP *) 20,37 mm 0,71 s 0,66 % 35,1 % #7 (SAC-IA) 134,72 mm 1,02 s 4,98 % 98,1 % #8 (SAC-IA *) 37,17 mm 1,01 s 0,65 % 85,9 % #9 (SAC-IA ICP) 25,61 mm 1,19 s 1,31 % 45,9 % #10 (SAC-IA ICP *) 22,02 mm 1,17 s 0,66 % 33,0 % Tabelle 7: Verschiedene Registrierungsmethoden im Überblick, mit einem * wurde die Verwendung der Initialtransformation markiert Übersicht über die Auswertungen Tabelle 8 gibt eine komplette Übersicht über die Ergebnisse der ersten Phase der Studie. Die vier fett ausgezeichneten Auswertungen wurden für die weiterführende quantitative Untersuchung im Kontext einer PET-Messung ausgewählt. Dabei wurden die Auswertungen #2, #4 und #10 aufgrund der besten DMI-Werte aus den vorherigen Analysen ausgewählt. Zusätzlich wurde noch die Standard-Auswertung (#5) betrachtet Evaluation im Kontext einer PET-Messung Bevor die Untersuchungsergebnisse der einzelnen Kriterien näher beleuchtet werden, soll zunächst ein beispielhafter visueller Vergleich erfolgen. Abbildung 21 zeigt die rekonstruierten Schichtbilder dreier Auswertungen. Zur Rekonstruktion der PET-Daten wurde die Bewegungskorrektur sowohl mit den Daten der Auswertung #5 (c) als auch mit denen des ARTtrack-Referenzsystems (a) durchgeführt und den rekonstruierten PET-Bildern ohne Bewegungskorrektur gegenübergestellt (a). Die Normalisierung der Graustufenskala erfolgte in allen Bilder anhand der maximalen, gemessenen Aktivitätskonzentration des Referenz- 62

73 5 RESULTATE 5.3 Evaluation im Kontext einer PET-Messung Nr. MA LZ PzB DMI ARTtrack - 0,02 s - 25,7 % #1 20,04 mm 0,55 s 0,66 % 35,4 % #2 26,93 mm 0,52 s 0,66 % 31,3 % #3 54,54 mm 1,87 s 4,06 % 47,8 % #4 21,15 mm 0,51 s 0,66 % 31,3 % #5 (30 FPS) 20,27 mm 2,09 s 0,66 % 36,2 % #6 20,37 mm 0,71 s 0,66 % 35,1 % #7 134,72 mm 1,02 s 4,98 % 98,1 % #8 37,17 mm 1,01 s 0,65 % 85,9 % #9 25,61 mm 1,19 s 1,31 % 45,9 % #10 22,02 mm 1,17 s 0,66 % 33,0 % #11 48,29 mm 1,59 s 0,01 % 36,9 % #12 17,63 mm 3,80 s 1,22 % 39,0 % #13 18,34 mm 2,29 s 0,66 % 35,9 % #14 15,02 mm 2,05 s 0,66 % 39,8 % #15 29,78 mm 2,06 s 0,67 % 37,0 % #16 20,48 mm 2,09 s 0,65 % 37,1 % #17 20,34 mm 2,10 s 0,65 % 37,6 % #18 16,85 mm 2,39 s 0,24 % 38,4 % #19 36,37 mm 2,15 s 1,11 % 36,7 % #20 21,16 mm 3,87 s 0,66 % 36,2 % #21 33,12 mm 2,45 s 0,52 % 38,8 % #22 39,01 mm 3,71 s 1,11 % 36,5 % #23 17,89 mm 3,97 s 0,24 % 39,6 % #24 35,62 mm 3,82 s 0,52 % 40,2 % Tabelle 8: Übersicht der Ergebnisse der einzelnen Auswertungen; die vier in Abschnitt 5.3 näher untersuchten Auswertungen sind fett gedruckt dargestellt. 63

74 5.3 Evaluation im Kontext einer PET-Messung 5 RESULTATE Nr. Frame 2 (Beweg. entl. Z-Achse) Frame 3 (zufällige Beweg.) Frame 4 (Beweg. entl. Y-Achse) ARTtrack 1,08 mm 1,53 mm 1,10 mm #2 1,07 mm 3,13 mm 4,63 mm #4 1,58 mm 1,47 mm 1,71 mm #5 0,54 mm 0,28 mm 1,65 mm #10 0,54 mm 0,51 mm 2,44 mm Tabelle 9: Euklidische Abstände der aktivitätsgewichteten Schwerpunkte der einzelnen Frames zum aktivitätsgewichteten Schwerpunkt des Referenzframes in Millimetern. frames. Die Bewegungsartefakte innerhalb der einzelnen Frames der Rekonstruktion ohne Bewegungskorrektur sind hierbei deutlich sichtbar. Visuell unterscheidet sich die Qualität der mittels Auswertung #5 bewegungskorrigierten Bilder nur wenig von der Qualität der mittels ARTtrack-Daten korrigierten Rekonstruktion Euklidischer Abstand der aktivitätsgewichteten ROI-Schwerpunkte Tabelle 9 zeigt die Ergebnisse der Untersuchung der euklidischen Abstände der aktivitätsgewichteten Schwerpunkte der abgegrenzten ROIs zum Referenzframe. Alle Verfahren zeigen einen Versatz zur Position des Schwerpunktes des Referenzframes nach der Bewegungskorrektur. Alle Kinect-Testläufe zeigen den schlechtesten Wert jeweils im Frame 4 (Bewegung entlang der Y-Achse des PET-Scanners). Der Testlauf #2 hat mit 3,13 mm im dritten (zufällige Bewegung des Phantoms im FOV des PET-Scanners) und 4,63 mm Abstand im vierten Frame die schlechtesten Werte vorzuweisen. Die Auswertungen #5 und #10 besitzen für die Frames 2 (Bewegung entlang der Z-Achse des PET-Scanners) und 3 deutlich niedrigere Werte, als das ARTtrack-System (vgl. Abb. 22) Mittlere Aktivität der ROIs Alle Kinect-Versuchsreihen zeigen eine nur leicht schlechtere mittlere Aktivität in allen Frames als das ARTtrack-System (Tabelle 10). Frame 3 (zufällige Bewegung) ergab für 64

75 5 RESULTATE 5.3 Evaluation im Kontext einer PET-Messung Abbildung 21: Rekonstruierte Schichtbilder aller 4 Frames. a) ohne Bewegungskorrektur, b) mit Bewegungskorrektur mittels ARTtrack-Daten und c) mit Bewegungskorrektur mittels der Bewegungsinformationen der Auswertung #5 der Kinect-Daten; die erste Spalte zeigt jeweils einen Transversal-, die zweite einen Koronal- und die dritte Spalte einen Sagittal- Schnitt des Volumendatensatzes der Phantommessung. 65

76 5.3 Evaluation im Kontext einer PET-Messung 5 RESULTATE Abbildung 22: Euklidische Abstände der aktivitätsgewichteten Schwerpunkte der in den Frames abgegrenzten ROIs gegenüber dem aktivitätsgewichteten Schwerpunkt der ROI im Referenzframe in Millimetern. Nr. Frame 2 (Beweg. entl. Z-Achse) Frame 3 (zufällige Beweg.) Frame 4 (Beweg. entl. Y-Achse) ARTtrack 88,4 % 80,7 % 85,8 % #2 83,5 % 72,3 % 85,1 % #4 82,1 % 78,9 % 79,8 % #5 81,6 % 71,5 % 81,2 % #10 83,6 % 71,8 % 84,6 % Tabelle 10: Mittlere Aktivität der ROIs der einzelnen Frames in Prozent der ROI des Referenzframes. alle Testsysteme den schlechtesten Wert, der bis auf Auswertung #4 deutlich hinter den Werten der anderen Frames zurückbleibt. Auswertung #4 hingegen zeigt für alle Frames eine konstante Reduzierung der mittleren Aktivität von etwas mehr als 20 % gegenüber des Referenzframes. Abbildung 23 zeigt die mittleren Aktivitätskonzentrationen aller Testläufe für alle Frames sowohl absolut in Prozent des Referenzframes (links), wie auch relativ in Prozent zum ARTtrack-Wert des gleichen Frames (rechts). 66

77 5 RESULTATE 5.3 Evaluation im Kontext einer PET-Messung Abbildung 23: Links: Die mittleren Aktivitäten der in den Frames abgegrenzten ROIs in Prozent der mittleren Aktivität der ROI des Referenzframes. Rechts: Die Differenz der mittleren Aktivitäten der in den einzelnen Frames abgegrenzten ROIs der Kinect-basierten Bewegungserkennungsverfahren gegenüber des ARTtrack-Systems in Prozent. Nr. Frame 2 (Beweg. entl. Z-Achse) Frame 3 (zufällige Beweg.) Frame 4 (Beweg. entl. Y-Achse) ARTtrack 80,2 % 67,2 % 75,4 % #2 73,9 % 56,5 % 75,6 % #4 71,1 % 64,9 % 70,2 % #5 70,7 % 50,8 % 70,0 % #10 72,7 % 53,6 % 74,9 % Tabelle 11: Maximale Aktivität der ROIs der einzelnen Frames in Prozent der ROI des Referenzframes. 67

78 5.3 Evaluation im Kontext einer PET-Messung 5 RESULTATE Abbildung 24: Links: Die maximalen Aktivitäten der in den Frames abgegrenzten ROIs in Prozent der maximalen Aktivität der ROI des Referenzframes. Rechts: Die Differenz der maximalen Aktivitäten der in den einzelnen Frames abgegrenzten ROIs der Kinect-basierten Bewegungserkennungsverfahren gegenüber des ARTtrack-Systems in Prozent Maximale Aktivität der ROIs Tabelle 11 zeigt die Verteilung der Abweichungen der Maximalintensitäten zum Referenzframe in Prozent. Alle untersuchten Auswertungen verzeichnen einen starken Einbruch der gemessenen Maximalintensität im dritten Frame, wobei die Auswertung #5 mit einer Reduzierung auf 50,8 % am schlechtesten abschneidet. Auswertung #4 zeigt für alle Frames die geringste Fluktuation der Maximalintensitäten. Abbildung 24 zeigt die maximalen Aktivitätskonzentrationen aller Testläufe für alle Frames sowohl absolut in Prozent des Referenzframes (links), wie auch relativ in Prozent zum ARTtrack-Wert des gleichen Frames (rechts). 68

79 6 DISKUSSION 6. Diskussion 6.1. Cross-Kalibrierung von Kinect und PET-Scanner Eine möglichst genaue Cross-Kalibrierung der Kinect mit dem PET-Scanner ist notwendig, um eine Bewegungskorrektur durchführen zu können. Die vorgestellte manuelle Suche der Kugelzentren in den Punktwolken der Kinect erzeugt grundsätzlich geeignete Transformationsmatrizen, wie die Ergebnisse der weiterführenden quantitativen Untersuchung im Kontext einer PET-Messung zeigen konnte (siehe Abschn. 5.3). Die Tiefenwerte der Kinect werden dabei allerdings nicht exakt auf die Kugeloberfläche abgebildet. Das manuelle Einpassen der Kugeln an die entsprechenden Stellen der Punktwolken (vgl. Abb. 16) erfordert ein hohes Maß an Präzision, ist also unter Umständen ungenau und zudem zeitaufwendig. Eine Erweiterung der Bewegungserkennung sollte daher für die Cross-Kalibrierung einen entsprechenden Automatismus implementieren. Die Beschränkung auf kugelförmige Targets in der vorliegenden Arbeit wurde im Hinblick auf die optimale Nachnutzung von am HZDR vorhandener Software getroffen. Die Wahl einer anderen Target-Form, beispielsweise eines Quaders, führt möglicherweise zu einer genaueren Cross-Kalibrierung von Tiefenbildkamera und PET, da die geneigten Flächen unter Umständen besser durch die Tiefenbildkamera der Kinect erfasst werden können Bewegungserkennung Die Auswertung der Ergebnisse hat gezeigt, dass der mittlere Abstand der Punkte einer Punktwolke zu ihren jeweilig korrespondierenden Punkten (MA) kein geeignetes Kriterium ist, um eine Vorhersage auf die letztendliche Qualität der bewegungskorrigierten PET-Bilder zu treffen. Obwohl die Auswertungen #12, #14 und #18 die geringsten durchschnittlichen Abstandsquadrate aufwiesen, waren die durchschnittlich gemessenen Differenzen der maximalen Aktivitätskonzentrationen (DMI) geringer als die Werte beispielsweise der für die weiterführende quantitative Untersuchung im Kontext einer PET-Messung ausgewählten Auswertungen (#2, #4, #5 und #10, siehe Tab. 8). Das MA-Kriterium hat sich allerdings als ein grundsätzlich geeignetes Maß erwiesen, um während der Registrierung eine (unscharfe) Aussage über die Güte der Registrierung der Punktwolken an sich treffen und somit ungeeignete Transformationen zurückweisen zu können. 69

80 6.2 Bewegungserkennung 6 DISKUSSION Die durchschnittlich benötigte Zeit pro Registrierungsschritt schwankte innerhalb der einzelnen Testläufe mitunter extrem stark (zwischen etwa 0,5 und 4 Sekunden pro Registrierung einer Punktwolke). Zumeist waren es die Transformationen, die im Nachhinein als ungeeignet zurückgewiesen wurden, die am meisten Zeit für die Registrierung benötigten. Im Hinblick auf eine mögliche Echtzeitfähigkeit der Anwendung sollte ein zeitabhängiges Abbruchkriterium entworfen und in die Methoden der PCL-Bibliothek implementiert werden Versuchsaufbau und -ablauf Der Versuchsaufbau wurde hinsichtlich einer möglichst optimalen Positionierung der Microsoft Kinect gestaltet. Für den klinischen Einsatz sind allerdings andere Bedingungen einzuhalten (vgl. dazu Abschn ), die eine Montage des Tracking-Systems an der Decke des Untersuchungsraumes in potentiell großer Distanz erfordern. Mit zunehmender Entfernung nimmt allerdings die Tiefenauflösung der Microsoft Kinect überproportional stark ab. Des Weiteren sorgt das große FOV für eine zunehmende qualitative Verschlechterung der Bewegungsmessung mit steigender Entfernung der Kamera vom Patienten, da das Untersuchungsobjekt auf immer weniger Bildpunkte der (für die Dimension des FOV) kleinen Auflösung abgebildet wird. Die Nutzung einer einzelnen Tiefenkamera zur Registrierung der Bilder erscheint nicht ideal, da nur 2,5D-Daten gewonnen werden können und starke Verdeckungseffekte auftreten. Die Aufstellung von zwei oder mehr Kameras und die Co-Registrierung der erhaltenen Punktwolken ist für eine Verbesserung der Bewegungserkennung zu empfehlen Aufnahme der Kinect-Daten Die Verringerung der Aufnahmefrequenz verschlechtert die Qualität der bewegungskorrigierten PET-Daten nur in geringem Umfang, sorgt dabei allerdings für ein deutlich verringertes Datenvolumen und somit für einen stark verkürzten Zeitaufwand der gesamten Registrierung. Die Verwendung von Komprimierungsalgorithmen für die Tiefenbilder ist zu empfehlen, um das Datenaufkommen zusätzlich zu reduzieren. Angesichts der angestrebten Echtzeitfähigkeit ist der benötigte Speicherplatz allerdings zweitrangig, da in diesem Falle 70

81 6 DISKUSSION 6.2 Bewegungserkennung keine beziehungsweise deutlich weniger Daten zwischengespeichert werden müssen. Es ist zu überlegen, die Aufnahme der Tiefenbilder der Microsoft Kinect direkt über die PCL abwickeln zu lassen, da diese bereits ein Interface für die Integration des OpenNI/NITE- Treibers der Firma PrimeSense und die Co-Registrierung der Tiefen- und RGB-Bilder enthält. Dadurch würde die Wartung und Pflege der OpenKinect-PCL Schnittstelle entfallen. OpenNI/NITE enthält darüber hinaus Schnittstellen für andere Tiefenkameras abseits der Microsoft Kinect, sodass bei einer Anschaffung eines anderen Systems möglicherweise weniger Aufwand zur Migration des Programm-Codes betrieben werden muss Wahl des Referenzbildes Es hat sich gezeigt, dass die Wahl des Referenzbildes einen erheblichen Einfluss auf die Güte der Registrierung der Punktwolken hat: Auswertung #14 ergab gegenüber Auswertung #5 eine fast 10 % verringerte DMI, auch Auswertung #15 ergab eine um 2,2 % verschlechterte DMI. Es ist nicht genau geklärt, warum die Ergebnisse entgegen den Erwartungen unterschiedlich ausfielen. Es muss daher im Weiteren untersucht werden, wie eine optimale Wahl des Referenzbildes algorithmisch gelöst werden kann. Es scheint hierbei als sinnvoll, eine gemittelte Punktwolke aus den ersten n Tiefenbildern oder durch die Verwendung mehrerer Kameras mit unterschiedlichen Blickwinkeln zu erzeugen Downsampling Downsampling mittels des VoxelGrid-Filters hat sich als eine sehr effektive Methode erwiesen, die Registrierungsgeschwindigkeit zu erhöhen. Darüber hinaus scheint es im untersuchten Rahmen keinen signifikanten Einfluss auf die Güte der bewegungskorrigierten PET-Daten zu haben und ist deshalb in jedem Fall zu empfehlen Segmentierung der Kopfoberfläche Für die Funktionalität der Punktwolken-Registrierung ist es von entscheidender Bedeutung, die Kopfoberfläche korrekt segmentieren zu können. Beide analysierten Verfahren haben gezeigt, dass sie dazu in der Lage sind: die verwendete 2D-Segmentierung (auf Basis der Disparity-Map der Kinect) ergab eine nur um 2 % geringere DMI als die 3D-Variante (auf 71

82 6.2 Bewegungserkennung 6 DISKUSSION Basis von Punktwolken). Da die 2D-Segmentierung allerdings deutlich weniger Zeit in der Ausführung benötigt, sollte diese bevorzugt werden Filterung Es hat sich gezeigt, dass keine der verwendeten Methoden zur Filterung von Tiefenbildern eine Verbesserung der Qualität der bewegungskorrigierten PET-Bilder erreichen konnte. Der Grund hierfür ist möglicherweise, dass das VoxelGrid-Filter zur 3D-Segmentierung selbst schon eine Art Oberflächenglättung darstellt und somit beispielsweise die bilaterale Filterung unnötig wird. Andererseits ist es bei der Vielzahl an Parametern der einzelnen Filter unmöglich, innerhalb des Rahmens dieser Arbeit einen erschöpfenden Vergleich durchzuführen. Da sowohl bilaterale Filterung als auch der Kalman-Filter in der Literatur mit Erfolg zur Verbesserung der Qualität von Tiefenbildern eingesetzt wurden [10, 52], ist hier eine weitere Untersuchung, die möglicherweise auch andere Filter einbezieht, notwendig. Der Vorteil einer Filterung der 2D-Daten besteht in einer deutlich erhöhten Ausführungsgeschwindigkeit gegenüber äquivalenten Verfahren, die für 3D-Daten (Punktwolken) entworfen und optimiert wurden Registrierung von Punktwolken Für alle Registrierungsverfahren konnten Parameter bestimmt werden, mit denen ein gutes Ergebnis erzielt werden konnte. Es hat sich gezeigt, dass alle Algorithmen bei Verwendung einer Initialtransformation in der Regel genauer und schneller arbeiteten als ohne. Unter allen Auswertungen, die nur ein Punktwolken-Registrierungsverfahren verwendeten, konnte einzig das ICP-Verfahren sowohl ohne als auch mit initialer Schätzung brauchbare Ergebnisse abliefern. Das NDT-Verfahren ohne initiale Schätzung, aber vor allem der SAC- IA-Algorithmus in beiden Variationen lieferten nur unzureichende Ergebnisse (NDT) oder versagten völlig (SAC-IA). Ein anderes Bild zeigte sich bei der untersuchten Kombination der Verfahren. Dort konnte sich SAC-IA mit ICP und initialer Schätzung sogar gegen die NDT-ICP Kombination durchsetzen. Es ist nicht klar, woran das Versagen von SAC-IA als alleinige Registrierungsmethode lag. Möglicherweise wurden ungeeignete Parameter gewählt. Eventuell ist auch das verwendete 72

83 6 DISKUSSION 6.3 Evaluation im Kontext einer PET-Messung Feature nicht optimal für den hier vorliegenden Einsatzzweck und es existiert ein anderes Feature, welches diese Aufgabe deutlich genauer erfüllt. Des Weiteren ist bei SAC-IA die Verwendung von Keypoints in Betracht zu ziehen. Für eine abschließende Aussage über das SAC-IA Verfahren sollten also erst noch weitere Untersuchungen vorgenommen werden. Hinsichtlich der Ausführungsgeschwindigkeit ist zu beachten, dass alle Verfahren ohne Initialtransformation durch gleichzeitige Bearbeitung mehrerer Bilder trivial parallelisierbar sind, während hingegen alle Verfahren mit Initialtransformation auf die Ergebnisse des vorherigen Schrittes angewiesen sind Evaluation im Kontext einer PET-Messung Im Verlauf der quantitativen Analyse der bewegungskorrigierten PET-Bilder hat sich herausgestellt, dass alle Kinect-Bewegungserkennungen ein stärkeres Verschmieren sowohl der maximalen als auch der mittleren Aktivitätskonzentrationen gegenüber dem routinemäßig eingesetzten ARTtrack-System aufweisen. Es zeigte sich dabei allerdings, dass die untersuchten Verfahren teilweise das Aktivitätszentrum der einzelnen Frames näher am Zentrum des Referenzframes halten konnten. An Auswertung #2 ist zu erkennen, dass das ICP- Verfahren mit initialer Schätzung dazu tendiert, in lokale Minima zu laufen. Obwohl die mittlere und maximale Aktivitätskonzentration der ROIs gut erhalten bleibt, zeigt sich ein deutlicher Versatz der aktivitätsgewichteten Schwerpunkte. ICP sollte daher - ob mit oder ohne initiale Schätzung - nur zur Feinjustierung verwendet werden. Alle untersuchten Verfahren korrigierten den dritten Frame (zufällige Bewegung des Phantoms im FOV des PET-Scanners) am schlechtesten. Die dort vorgenommenen schnellen Bewegungen und Drehungen des Phantoms stellen allerdings einen Extremfall dar, der im klinischen Einsatz selten bis gar nicht vorkommt. Auswertung #4 zeigte das stabilste Bewegungserkennungsverhalten aller untersuchten Systeme. Es stellte sich heraus, dass alle Kinect-basierten Testläufe im vierten Frame (Bewegung des Phantoms entlang der Y-Achse des PET-Scanners) den größten Versatz des aktivitätsgewichteten Schwerpunkts der abgegrenzten ROI besaßen. Die dominierende Bewegung in Y-Richtung des PET-Scanners in diesem Frame hat dazu geführt, dass die Kinect flacher auf das Phantom ausgerichtet war. Dieser flachere Blickwinkel führte dazu, dass der Algorithmus zur Bestimmung der 73

84 6.3 Evaluation im Kontext einer PET-Messung 6 DISKUSSION Tiefenbilder mit zunehmender Höhe der Patientenliege immer schlechter funktionierte (vgl. Abschn. 3.3). Eine frontalere Ausrichtung der Tiefenkameras, beispielsweise durch Deckenmontage in der Nähe der Gantry wird deshalb empfohlen. 74

85 7 FAZIT 7. Fazit Es hat sich gezeigt, dass die markerlose Bewegungserkennung von Patientenbewegungen mit Hilfe von Structured Light unter Verwendung der Microsoft Kinect und des vorgestellten Versuchsaufbaus grundsätzlich funktioniert. Im Kontext der Anwendung auf PET-Daten ist die Verschlechterung der mittleren und maximalen Aktivitätskonzentrationen nach der Bewegungskorrektur gegenüber dem unbewegten Referenzframe im Toleranzbereich und für die Verwendung eines ursprünglich für den Spiele-Bereich konzipierten Gerätes überraschend gering. Hinsichtlich der erreichten Genauigkeit ist sicherlich nicht die Obergrenze des Machbaren erreicht worden. Dazu werden weiterführende Untersuchungen, insbesondere im Bereich der einzusetzen Features für SAC-IA sowie hinsichtlich geeigneter Filtertechniken empfohlen. Die markerlose Bewegungserkennung mittels Punktwolken erfordert jedoch in jedem Fall gegenüber dem ARTtrack-System einen deutlich gesteigerten Rechenaufwand. Es sind allerdings - gerade im Hinblick auf Parallelisierung - noch viele Möglichkeiten offen, um die Verarbeitungsgeschwindigkeit der Daten zu optimieren. Denkbar wäre beispielsweise, neben einer einfachen Parallelisierung durch Nutzung mehrerer Prozessoren, eine Auslagerung von Teilen der Berechnungen auf eine Graphical Processing Unit (GPU) unter Nutzung von CUDA oder ähnlichen Programmierschnittstellen. In diesem Fall könnte auf die Erfahrungen der Entwicklung der PCL-Bibliothek zurückgegriffen werden, bei der durch das Kinect Fusion -Projekt CUDA zur Beschleunigung der Registrierung von Punktwolken eingeführt wurde. Bezüglich der Nutzung im klinischen Kontext ist zu überlegen, ein anderes Kamerasystem zur Bewegungserkennung zu beschaffen, da die Microsoft Kinect in diesem Rahmen nur als beschränkt einsatzfähig angesehen werden kann. Ein solches System sollte idealerweise ein deutlich verengtes FOV bei gesteigerter Operationsreichweite gegenüber der Microsoft Kinect in sich vereinen. Auf diese Weise würde ein größerer Ausschnitt der Tiefenbilder den Bereich der Gantry des PET-Scanners abdecken. Dadurch würde sich die Auflösung der generierten Punktwolke deutlich erhöhen und somit unter Umständen eine bessere Qualität der Bewegungserkennung erreicht. Der Einsatz eines auf mehreren Kameras basierenden Systems wird empfohlen, um die 75

86 7 FAZIT Nachteile der 2,5D-Daten jeder einzelnen Tiefenkamera zu kompensieren. Die Installation einer zusätzlichen RGB-Kamera würde durch die Co-Registrierung von RGB- und Tiefendaten die Evaluierung zusätzlicher, auf kombinierten RGB-Tiefendaten basierender Algorithmen und Features ermöglichen und zur besseren Bewegungserkennung beitragen. 76

87 Abbildung 25: Schema des PrimeSense Referenz-Designs (aus [53] entnommen). A. Die Hardware der Microsoft Kinect Die Microsoft Kinect basiert auf dem PS1080 Controllerdesign der Firma PrimeSense (siehe Abb. 25). Das Datenblatt zu diesem Controller ([54]) listet die Parameter für das Design auf, die in Tabelle 12 zusammengefasst sind. Microsoft selbst hat an diesem Design scheinbar mehrere Änderungen vorgenommen. Es existieren allerdings keine offiziellen Angaben darüber, welche Hardware genau in der Kinect verbaut wurde. Tabelle 13 basiert auf einem Teardown, also einer Demontage der Hardware [55] (siehe Abb. 26). Die wichtigsten Änderungen gegenüber dem Referenzmodell sind dabei wie folgt: Die interne Auflösung von IR- und RGB-Sensor beträgt px [31]. Der Blickwinkel der RGB-Kamera hat einen leicht vergrößerten Blickwinkel (62 H, 48 V, 72 D) [56]. Die Anzahl der verwendeten Mikrofone liegt bei vier [55]. Es wurde ein Stellmotor eingebaut, der einen Bewegungsspielraum von ±27 besitzt [56]. Ein Accelerometer misst die Bewegungen des Gerätes 2. Eine steuerbare Front-Mehrfarb-LED für Zustandsanzeigen wurde hinzugefügt.

88 A KINECT-HARDWARE Eigenschaft PrimeSense Spezifikation Field of View (Horizontal, Vertikal, Diagonal) 58, 40, 70 Tiefenbild-Größe VGA ( ) Räumliche Auflösung X/Y (in 2 m Abstand) 3 mm Auflösung der Tiefe (in 2 m Abstand) 1 cm Maximale Framerate 60 FPS Durchschnittliche Latenzzeit im VGA-Modus 40 msec Operationsreichweite 0.8 m m Farbbild-Größe UXGA ( ) Audio: Anzahl eingebauter Mikrofone 2 Audio: Anzahl zusätzlicher Inputs 4 Daten-Interface USB 2.0 Energieversorgung USB 2.0 Energieverbrauch 2.25 W Abmessungen (Breite Höhe T iefe) 14 cm 3.5 cm 5 cm) Operationsumgebung Innenräume (beliebige Beleuchtung) Operationstemperatur 0 C - 40 C Tabelle 12: Die Spezifikation des PrimeSense Referenz-Designs (aus dem Datenblatt [54]). 78

89 A KINECT-HARDWARE Abbildung 26: Ansicht der Sensorlinsen einer teilweise demontierten Kinect (aus [55] entnommen). Tiefenbilder werden von der Kinect durch einen CMOS-Sensor von Aptina des Typs MT9M001C12STM aufgezeichnet. Dieser Sensor ist bereits seit einiger Zeit in Gebrauch und mit einer durchschnittlichen Pixelgröße von 0.57 µm deutlich größer als aktuellere Chips [57]. Die Auflösung des Sensors beträgt Pixel. Diese wird mittels eines 2 2 Pixel binnings auf eine Pixel große Auflösung halbiert. Durch den Tiefpassfilter direkt hinter der Linse wird der Sensor für Störungen anderer Wellenlängenbereiche außer der des Emitters unempfindlich gemacht. Ein Einsatz der Kinect im Freien ist dennoch nicht zu empfehlen, da das Sonnenlicht im gesamten Wellenlängenbereich eine zu starke Störungsquelle darstellt [30]. Von dieser Einschränkung ist allerdings beispielsweise auch das WiiMote System von Nintendo betroffen. Tests der OpenKinect-Community haben ergeben, dass der IR-Projektor Licht der Wellenlänge 830nm emittiert [22]. Diese Emission erfolgt ohne Modulierung. Das Licht des Lasers wird durch eine Prismenmatrix aufgespalten, um das Infrarot-Muster zu erzeugen. Die Temperatur des Laser-Emitters wird mittels eines Peltier-Elements konstant gehalten. Bei Bedarf sorgt ein Gehäuselüfter für zusätzliche Kühlung [22]. Der Motor für die Neigung