ANWENDUNG VON DEEP-LEARNING-VERFAHREN ZUR OCT-BILDANALYSE BEI DEGENERATIVEN NETZHAUTERKRANKUNGEN Vortrag zum Workshop LocalizeIT IM RAHMEN DER CHEMNITER LINUXTAGE 2019 DIPL.-INF. HOLGER LANGNER, PROF. DR. MARC RITTER 17.03.19
2 VORTRAGSGLIEDERUNG 1. Kurzvorstellung unseres Forschungsprojekts TOPOs 2. Degenerative Netzhauterkrankungen in der Augenmedizin: Bedeutung, Diagnostik und Therapie 3. Der TOPOs-Patientendatenbestand 4. Anwendung von Maschinellen Lernverfahren auf die OCT-Bildanalyse in der Augenmedizin
KURZVORSTELLUNG UNSERES FORSCHUNGSPROJEKTS TOPOS
4 DAS FORSCHUNGSPROJEKT TOPOS http://topos.averbis.de/ Beteiligte Forschungspartner: Averbis GmbH, Freiburg Verbundkoordinator Klinik für Augenheilkunde am Universitätsklinikum Freiburg Professur Medieninformatik Fakultät für Angewandte Computer- und Biowissenschaften Universität Rostock Institut für Informatik Visual Computing und Computergraphik Das Projekt wird gefördert von: BMBF Förderschwerpunkt Digitale Gesundheitsversorgung Laufzeit: 02.2017-01.2020
DEGENERATIVE NETZHAUTERKRANKUNGEN
6 DEGENERATIVE NETZHAUTERKRANKUNGEN ALTERSBEDINGTE MAKULADEGENERATION Degenerationsprozess der menschlichen Netzhaut, häufig altersbedingt (AMD) ist in Deutschland mit 50% Anteil die häufigste Ursache für eine schwere Sehbehinderung 1 jährlich erblinden in Deutschland dadurch etwa 5.000 Menschen neu 2012 waren in Deutschland rund 1.6 mio. Menschen ernsthaft daran erkrankt, und weitere 2.6 mio. im Frühstadium weltweit sind es ca. 20-25 mio. Menschen eine individuelle Therapie-Erfolgsprognose war bisher nicht möglich 1 lt. Berufsverband der Augenärzte Deutschlands e.v. (BVA)
DEGENERATIVE NETZHAUTERKRANKUNGEN AM SEHVORGANG DIREKT BETEILIGTE AUGENTEILE Netzhaut (Retina) mit Makula /Fovea Centralis Bildquelle: Wikipedia 7
BILDGEBENDE VERFAHREN IN DER OPTHALMOLOGIE FUNDUSKAMERA Funduskamera 2 Fundusbild eines gesunden rechten Auges 3 Bildquellen: Wikipedia, 2, 3 commons.wikimedia.org 8
9 BILDGEBENDE VERFAHREN IN DER OPTHALMOLOGIE FUNDUSKAMERA Fundusbild eines gesunden rechten Auges Sehnerv / Papille Fovea Centralis, Punkt des schärfsten Sehens
BILDGEBENDE VERFAHREN IN DER OPHTHALMOLOGIE OPTISCHE KOHÄRENZTOMOGRAFIE (OCT) Laser-Ophthalmoskop Heidelberg Spectralis OCT 1 volumetrische OCT-Tiefenschnittaufnahme der Netzhautregion 2 Bildquellen: 1 http://www.labmedicasystems.com/spectral-domain-oct.php?c=2, 2 Videoausschnitt SPECTRALIS 4D HD Eye Health Check, https://www.youtube.com/watch?v=c9mwijabyek 10
11 DEGENERATIVE NETZHAUTERKRANKUNGEN MAKULADEGENERATION: FORMEN UND VERLAUF Trockene Form der AMD Einlagerung der Abbaustoffe in Drusen Retinales Pigmentepithel (RPE) im gesunden Zustand Drusenbildung bei trockener AMD
12 DEGENERATIVE NETZHAUTERKRANKUNGEN MAKULADEGENERATION: FORMEN UND VERLAUF Trockene Form der AMD Einlagerung der Abbaustoffe in Drusen späte Phase: Absterben der Photorezeptoren (geographische Atrophie) führt i.a. zu Erblindung Retinales Pigmentepithel (RPE) im gesunden Zustand ist nicht direkt therapierbar derzeit Suche nach Prognoseindikatoren, die anzeigen, ob eine frühe Phase in die späte Phase übergehen wird Atrophie bei trockener AMD
13 DEGENERATIVE NETZHAUTERKRANKUNGEN MAKULADEGENERATION: FORMEN UND VERLAUF Feuchte Form der AMD Auge bildet neue Blutgefäße aus, die beim Abtransport der Abbaustoffe helfen sollen (Choroidale Neovaskularisationen) führt zu Leckagen d.h. Flüssigkeitsansammlungen sowie Blutungen Retinales Pigmentepithel (RPE) im gesunden Zustand subretinale Flüssigkeit bei feuchter AMD
14 DEGENERATIVE NETZHAUTERKRANKUNGEN MAKULADEGENERATION: FORMEN UND VERLAUF Feuchte Form der AMD Auge bildet neue Blutgefäße aus, die beim Abtransport der Abbaustoffe helfen sollen (Choroidale Neovaskularisationen) führt zu Leckagen d.h. Flüssigkeitsansammlungen sowie Blutungen Therapie: Injektion von VGEF-Inhibitoren in die Netzhaut ( IVOM -Therapie) unterdrücken des Blutgefäßwachstums Leckagen klingen dann ab Serie mehrerer Injektionen notwendig (Wirkung über ca. 4 Wochen hinweg) subretinale Flüssigkeit bei feuchter AMD
15 DEGENERATIVE NETZHAUTERKRANKUNGEN MAKULADEGENERATION: FORMEN UND VERLAUF Feuchte Form der AMD Auge bildet neue Blutgefäße aus, die beim Abtransport der Abbaustoffe helfen sollen (Choroidale Neovaskularisationen) führt zu Leckagen d.h. Flüssigkeitsansammlungen sowie Blutungen Therapie: Injektion von VGEF-Inhibitoren in die Netzhaut ( IVOM -Therapie) unterdrücken des Blutgefäßwachstume Leckagen klingen dann ab Serie mehrerer Injektionen notwendig (Wirkung über ca. 4 Wochen hinweg) Komplizierte Form: Flächenblutungen und Vernarbung Makulanarbe bei feuchter AMD
TOPOS- PATIENTENDATENBESTAND
17 DATENERHEBUNG IN DER AUGENMEDIZIN DER TOPOS PATIENTENDATENSATZ wir verwenden einen Realwelt - Klinikdatensatz der Augenklinik am Universitätsklinikum Freiburg Historie von ca. 3600 Patienten erhoben im Zeitraum zwischen 2007 und 01.2018 zumeist ältere Patienten jeder von ihnen hat mind. einmal eine IVOM- Therapie bekommen viele davon über lange Zeit hinweg ansonsten keine besonderen Auswahlkriterien viele Patienten leiden an mehreren Augenerkrankungen gleichzeitig Datenelement Anzahl Datensätze Patienten 3 683 OCT Exportdateien 49 856 OCT-Befunde 110 283 OCT-Einzelbilder ( B-Scans ) 3 465 957 Fundusbilder 110 282 ICD/OPS Ereignisse 334 102 Visusmessungen 86 491 Händisch erhobene OPS-Ereignisse 45 491 Arztbriefe 40 485 Averbis Text-Mining-Annotationen, > 280 000 extrahiert aus Arztbriefen
18 DATENERHEBUNG IN DER AUGENMEDIZIN WIE WERDEN PATIENTENDATEN COMPUTERTECHNISCH ERFASST? Schematische Darstellung (BPMN) am Beispiel der Augenklinik Freiburg
19 DATENERHEBUNG IN DER AUGENMEDIZIN WIE WERDEN PATIENTENDATEN COMPUTERTECHNISCH ERFASST? Anonymisierung Dateiexport und -transfer ca. 2.6 TB Rohdaten, nach Aufbereitung ca. 500GB KIS-seitige Entwicklungdauer für Datenbereitstellung: ca. 9-12 Monate
DATENERHEBUNG IN DER AUGENMEDIZIN AUFBEREITUNG DER OCT-BILDROHDATEN 1. Export des proprietären OCT-Bildformats (E2E) in Bilddateien mit dem Unified OCT Explorer 1 Bilder werden anschließend im Dateisystem verwaltet Heidelberg Spectralis OCT-Gerät 2 Dateiexport OCT-Bilddatenserver *.E2E-Files UOCTE-Bildexport reine Rechenzeit für 50000 E2E-Files: ca. 450h B-Scans als 512 x 496 Grauwert *.png 1 https://bitbucket.org/uocte/uocte/wiki/home 2 http://www.labmedicasystems.com/spectral-domain-oct.php?c=2 20
ANWENDUNG VON MASCHINELLEN LERNVERFAHREN AUF DIE OCT-BILDANALYSE
22 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER EIN EINFACHES OCT-KLASSIFIKATIONSBEISPIEL Diagnoseklassifikation: Unterscheidung feuchte vs. trockene AMD Aufgabe für das Klassifikationssystem: wir zeigen dir ein OCT-Bild eines an AMD erkrankten Patienten entscheide, welche Form der AMD dieser Patient hat? feucht trocken
ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER FUNKTIONSPRINZIP MASCHINELLER LERNVERFAHREN feucht Trainingsphase: das System lernt die Klassenzuordnung aus den ihm präsentierten Beispielen trocken Deep-Learning-System es werden sehr viele Bildbeispiele pro Patientenkategorie benötigt! Trainingsmenge von OCT-Bildern d.h. für diese ist uns bekannt, ob jeweils AMD feucht oder trocken vorliegt 23
24 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER AUFBAU EINES CNN VGG16-CNN-Architektur: wurde eingeführt von Simonyan and Zisserman: Very Deep Convolutional Networks for Large Scale Image Recognition Bildquelle: Webseite VGG in Tensorflow (Davi Frossard), https://www.cs.toronto.edu/~frossard/post/vgg16/ (letzter Zugriff: 14.03.19)
25 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER AUFBAU EINES CNN Beispiel für ein funktionsfähiges handcrafted CNN: conv2d_1 conv2d_2 8x28x96 relu 9x9x64 relu MaxPooling 3x3 MaxPooling 3x3 conv2d_3 3x3x256 dense_1 1024, relu dense_2 1024, relu dense_3 512, relu Output 2, softmax trocken feucht Input Image 128x128x8bit adam update cross entropy loss lrate 0.00015 80 epochs
26 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Schema unseres ML-Prozessierungsframeworks
27 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER EIN EINFACHES OCT-KLASSIFIKATIONSBEISPIEL Diagnoseklassifikation: Unterscheidung feuchte vs. trockene AMD Aufgabe für das Klassifikationssystem: wir zeigen dir ein OCT-Bild eines an AMD erkrankten Patienten entscheide, welche Form der AMD dieser Patient hat? feucht trocken
28 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Diagnoseklassifikation: Unterscheidung feuchte vs. trockene AMD Typisches Klassifikationsergebnis: CNNs sind offenbar sehr gut darin, komplexe Befundmerkmale in Bildern zu detektieren Accuracy: 87,3% (80/20-Test)
29 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Kernproblem: Individuelle Erfolgsprognose der IVOM-Therapie Wird eine IVOM-Therapie dem individuellen Patienten wahrscheinlich helfen? Wie viele Injektionsserien werden notwendig sein? Wird der Patient viele Serien über lange Zeit hinweg benötigen? Oder wird der Zustand nach den ersten Serien dann stabil bleiben (regelmäßige Kontrolle) Wie hoch ist das Risiko einer ungeplanten Therapiepause? 29
30 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Patientensegmentierung nach Therapieerfolg Woran kann man an einer vorhandenen Patientenhistorie erkennen, ob die Therapie erfolgreich war? am Verlauf des Visus fiktiver Idealverlauf des Visus bei erfolgreicher Therapie: Kontrolltermine IVOM-Injektionstermine
31 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Praxisprobleme bei der Patientensegmentierung nach Therapieerfolg Wie kann man diese Idealverläufe in der Datenmenge automatisch auffinden? Visusdelta mit Schwellenwert? reicht nicht aus, denn nur wenige Patienten weisen einen solchen Idealverlauf auf, da viele andere Einflussfaktoren den Visus drastisch verändern bisherige Lösung: grobes Vorfiltern und händisches Annotieren an Hand mehrerer Faktoren gleichzeitig Form des Verlaufs Berücksichtigen von anderen Einflussfaktoren unterscheidbare Kategorien des Therapieerfolgs: 1_decr: Visus nimmt trotz Therapie sukzessive / drastisch ab 2_instable: Sehschärfe stabilisiert sich, benötigt aber über lange Zeit hinweg beständige IVOM-Therapie 3_incr: der Patient spricht dauerhaft auf eine kurze Therapie an 4_untreat: IVOM-Therapie ist nicht (mehr) anwendbar z.b. da der Visus von Anfang an sehr schlecht (<0.05 vdez) war
32 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Praxisprobleme bei der Patientensegmentierung nach Therapieerfolg Das Endergebnis: eine Tabelle mit händisch nach Verlaufskategorie annotierten Patienten enthält alle eindeutigen Fälle 63 = 0,8% increasing 98 = 1,3% instable PID eyeside performerclass 139 = 1,3% decreasing 2273 R 3_incr 2318 L 1_decr 437 R 1_decr 2596 = 33,6% zu kurze Befundhistorie weniger als 6 Visusmessungen 4830 = 4_untreat oder unklar 152 L 2_stable 1882 R 2_stable insgesamt 7726 Sehverläufe (= Augen)
33 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Vorhersage des Therapieerfolgs an Hand eines OCT-Befundes Aufgabe für das Prognosesystem: wir zeigen dir ein OCT-Bild vom Erstbefund des Patienten sage vorher, in welcher Erfolgskategorie der Patient am Ende landen wird 1_decr? 2_instable 3_incr
34 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Vorhersage des Therapieerfolgs an Hand eines OCT-Befundes Training des Prognosesystems: bekommt als Bilddatenmenge alle B- Scans des ersten OCT-Befunds des jeweiligen Patienten Bilddatenmenge enthält alle 300 Sehverläufe, die eindeutig kategorisierbar waren davon wurden 90% fürs Training und 10% für den Test verwendet Kategorie Anzahl Bilder in der Trainingsmenge 1_decr 3231 360 2_instable 2197 245 3_incr 1539 172 Anzahl Bilder in der Testmenge
35 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Vorhersage des Therapieerfolgs an Hand eines OCT-Befundes Typisches Klassifikationsergebnis: Es gibt Anzeichen dafür, dass Informationen über den finalen Therapieerfolg bereits im ersten OCT-Befund enthalten sind Nächste Schritte im FuE-Projekt: Vertreter der Kategorie 4_untreat herausfiltern die unklaren Fälle in den Griff bekommen die Beispielmenge erweitern, um valide / reproduzierbare Ergebnisse zu erhalten empirischer Vergleich mit der Prognosefähigkeit menschlicher Fachexperten Accuracy: 77,09%
SCHLUSS! VIELEN DANK FÜR IHRE AUFMERKSAMKEIT!