ANWENDUNG VON DEEP-LEARNING-VERFAHREN ZUR OCT-BILDANALYSE BEI DEGENERATIVEN NETZHAUTERKRANKUNGEN

Transkript

1 ANWENDUNG VON DEEP-LEARNING-VERFAHREN ZUR OCT-BILDANALYSE BEI DEGENERATIVEN NETZHAUTERKRANKUNGEN Vortrag zum Workshop LocalizeIT IM RAHMEN DER CHEMNITER LINUXTAGE 2019 DIPL.-INF. HOLGER LANGNER, PROF. DR. MARC RITTER

2 2 VORTRAGSGLIEDERUNG 1. Kurzvorstellung unseres Forschungsprojekts TOPOs 2. Degenerative Netzhauterkrankungen in der Augenmedizin: Bedeutung, Diagnostik und Therapie 3. Der TOPOs-Patientendatenbestand 4. Anwendung von Maschinellen Lernverfahren auf die OCT-Bildanalyse in der Augenmedizin

3 KURZVORSTELLUNG UNSERES FORSCHUNGSPROJEKTS TOPOS

4 4 DAS FORSCHUNGSPROJEKT TOPOS Beteiligte Forschungspartner: Averbis GmbH, Freiburg Verbundkoordinator Klinik für Augenheilkunde am Universitätsklinikum Freiburg Professur Medieninformatik Fakultät für Angewandte Computer- und Biowissenschaften Universität Rostock Institut für Informatik Visual Computing und Computergraphik Das Projekt wird gefördert von: BMBF Förderschwerpunkt Digitale Gesundheitsversorgung Laufzeit:

5 DEGENERATIVE NETZHAUTERKRANKUNGEN

6 6 DEGENERATIVE NETZHAUTERKRANKUNGEN ALTERSBEDINGTE MAKULADEGENERATION Degenerationsprozess der menschlichen Netzhaut, häufig altersbedingt (AMD) ist in Deutschland mit 50% Anteil die häufigste Ursache für eine schwere Sehbehinderung 1 jährlich erblinden in Deutschland dadurch etwa Menschen neu 2012 waren in Deutschland rund 1.6 mio. Menschen ernsthaft daran erkrankt, und weitere 2.6 mio. im Frühstadium weltweit sind es ca mio. Menschen eine individuelle Therapie-Erfolgsprognose war bisher nicht möglich 1 lt. Berufsverband der Augenärzte Deutschlands e.v. (BVA)

7 DEGENERATIVE NETZHAUTERKRANKUNGEN AM SEHVORGANG DIREKT BETEILIGTE AUGENTEILE Netzhaut (Retina) mit Makula /Fovea Centralis Bildquelle: Wikipedia 7

8 BILDGEBENDE VERFAHREN IN DER OPTHALMOLOGIE FUNDUSKAMERA Funduskamera 2 Fundusbild eines gesunden rechten Auges 3 Bildquellen: Wikipedia, 2, 3 commons.wikimedia.org 8

9 9 BILDGEBENDE VERFAHREN IN DER OPTHALMOLOGIE FUNDUSKAMERA Fundusbild eines gesunden rechten Auges Sehnerv / Papille Fovea Centralis, Punkt des schärfsten Sehens

10 BILDGEBENDE VERFAHREN IN DER OPHTHALMOLOGIE OPTISCHE KOHÄRENZTOMOGRAFIE (OCT) Laser-Ophthalmoskop Heidelberg Spectralis OCT 1 volumetrische OCT-Tiefenschnittaufnahme der Netzhautregion 2 Bildquellen: Videoausschnitt SPECTRALIS 4D HD Eye Health Check, 10

11 11 DEGENERATIVE NETZHAUTERKRANKUNGEN MAKULADEGENERATION: FORMEN UND VERLAUF Trockene Form der AMD Einlagerung der Abbaustoffe in Drusen Retinales Pigmentepithel (RPE) im gesunden Zustand Drusenbildung bei trockener AMD

12 12 DEGENERATIVE NETZHAUTERKRANKUNGEN MAKULADEGENERATION: FORMEN UND VERLAUF Trockene Form der AMD Einlagerung der Abbaustoffe in Drusen späte Phase: Absterben der Photorezeptoren (geographische Atrophie) führt i.a. zu Erblindung Retinales Pigmentepithel (RPE) im gesunden Zustand ist nicht direkt therapierbar derzeit Suche nach Prognoseindikatoren, die anzeigen, ob eine frühe Phase in die späte Phase übergehen wird Atrophie bei trockener AMD

13 13 DEGENERATIVE NETZHAUTERKRANKUNGEN MAKULADEGENERATION: FORMEN UND VERLAUF Feuchte Form der AMD Auge bildet neue Blutgefäße aus, die beim Abtransport der Abbaustoffe helfen sollen (Choroidale Neovaskularisationen) führt zu Leckagen d.h. Flüssigkeitsansammlungen sowie Blutungen Retinales Pigmentepithel (RPE) im gesunden Zustand subretinale Flüssigkeit bei feuchter AMD

14 14 DEGENERATIVE NETZHAUTERKRANKUNGEN MAKULADEGENERATION: FORMEN UND VERLAUF Feuchte Form der AMD Auge bildet neue Blutgefäße aus, die beim Abtransport der Abbaustoffe helfen sollen (Choroidale Neovaskularisationen) führt zu Leckagen d.h. Flüssigkeitsansammlungen sowie Blutungen Therapie: Injektion von VGEF-Inhibitoren in die Netzhaut ( IVOM -Therapie) unterdrücken des Blutgefäßwachstums Leckagen klingen dann ab Serie mehrerer Injektionen notwendig (Wirkung über ca. 4 Wochen hinweg) subretinale Flüssigkeit bei feuchter AMD

15 15 DEGENERATIVE NETZHAUTERKRANKUNGEN MAKULADEGENERATION: FORMEN UND VERLAUF Feuchte Form der AMD Auge bildet neue Blutgefäße aus, die beim Abtransport der Abbaustoffe helfen sollen (Choroidale Neovaskularisationen) führt zu Leckagen d.h. Flüssigkeitsansammlungen sowie Blutungen Therapie: Injektion von VGEF-Inhibitoren in die Netzhaut ( IVOM -Therapie) unterdrücken des Blutgefäßwachstume Leckagen klingen dann ab Serie mehrerer Injektionen notwendig (Wirkung über ca. 4 Wochen hinweg) Komplizierte Form: Flächenblutungen und Vernarbung Makulanarbe bei feuchter AMD

16 TOPOS- PATIENTENDATENBESTAND

17 17 DATENERHEBUNG IN DER AUGENMEDIZIN DER TOPOS PATIENTENDATENSATZ wir verwenden einen Realwelt - Klinikdatensatz der Augenklinik am Universitätsklinikum Freiburg Historie von ca Patienten erhoben im Zeitraum zwischen 2007 und zumeist ältere Patienten jeder von ihnen hat mind. einmal eine IVOM- Therapie bekommen viele davon über lange Zeit hinweg ansonsten keine besonderen Auswahlkriterien viele Patienten leiden an mehreren Augenerkrankungen gleichzeitig Datenelement Anzahl Datensätze Patienten OCT Exportdateien OCT-Befunde OCT-Einzelbilder ( B-Scans ) Fundusbilder ICD/OPS Ereignisse Visusmessungen Händisch erhobene OPS-Ereignisse Arztbriefe Averbis Text-Mining-Annotationen, > extrahiert aus Arztbriefen

18 18 DATENERHEBUNG IN DER AUGENMEDIZIN WIE WERDEN PATIENTENDATEN COMPUTERTECHNISCH ERFASST? Schematische Darstellung (BPMN) am Beispiel der Augenklinik Freiburg

19 19 DATENERHEBUNG IN DER AUGENMEDIZIN WIE WERDEN PATIENTENDATEN COMPUTERTECHNISCH ERFASST? Anonymisierung Dateiexport und -transfer ca. 2.6 TB Rohdaten, nach Aufbereitung ca. 500GB KIS-seitige Entwicklungdauer für Datenbereitstellung: ca Monate

20 DATENERHEBUNG IN DER AUGENMEDIZIN AUFBEREITUNG DER OCT-BILDROHDATEN 1. Export des proprietären OCT-Bildformats (E2E) in Bilddateien mit dem Unified OCT Explorer 1 Bilder werden anschließend im Dateisystem verwaltet Heidelberg Spectralis OCT-Gerät 2 Dateiexport OCT-Bilddatenserver *.E2E-Files UOCTE-Bildexport reine Rechenzeit für E2E-Files: ca. 450h B-Scans als 512 x 496 Grauwert *.png

21 ANWENDUNG VON MASCHINELLEN LERNVERFAHREN AUF DIE OCT-BILDANALYSE

22 22 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER EIN EINFACHES OCT-KLASSIFIKATIONSBEISPIEL Diagnoseklassifikation: Unterscheidung feuchte vs. trockene AMD Aufgabe für das Klassifikationssystem: wir zeigen dir ein OCT-Bild eines an AMD erkrankten Patienten entscheide, welche Form der AMD dieser Patient hat? feucht trocken

23 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER FUNKTIONSPRINZIP MASCHINELLER LERNVERFAHREN feucht Trainingsphase: das System lernt die Klassenzuordnung aus den ihm präsentierten Beispielen trocken Deep-Learning-System es werden sehr viele Bildbeispiele pro Patientenkategorie benötigt! Trainingsmenge von OCT-Bildern d.h. für diese ist uns bekannt, ob jeweils AMD feucht oder trocken vorliegt 23

24 24 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER AUFBAU EINES CNN VGG16-CNN-Architektur: wurde eingeführt von Simonyan and Zisserman: Very Deep Convolutional Networks for Large Scale Image Recognition Bildquelle: Webseite VGG in Tensorflow (Davi Frossard), (letzter Zugriff: )

25 25 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER AUFBAU EINES CNN Beispiel für ein funktionsfähiges handcrafted CNN: conv2d_1 conv2d_2 8x28x96 relu 9x9x64 relu MaxPooling 3x3 MaxPooling 3x3 conv2d_3 3x3x256 dense_1 1024, relu dense_2 1024, relu dense_3 512, relu Output 2, softmax trocken feucht Input Image 128x128x8bit adam update cross entropy loss lrate epochs

26 26 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Schema unseres ML-Prozessierungsframeworks

27 27 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER EIN EINFACHES OCT-KLASSIFIKATIONSBEISPIEL Diagnoseklassifikation: Unterscheidung feuchte vs. trockene AMD Aufgabe für das Klassifikationssystem: wir zeigen dir ein OCT-Bild eines an AMD erkrankten Patienten entscheide, welche Form der AMD dieser Patient hat? feucht trocken

28 28 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Diagnoseklassifikation: Unterscheidung feuchte vs. trockene AMD Typisches Klassifikationsergebnis: CNNs sind offenbar sehr gut darin, komplexe Befundmerkmale in Bildern zu detektieren Accuracy: 87,3% (80/20-Test)

29 29 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Kernproblem: Individuelle Erfolgsprognose der IVOM-Therapie Wird eine IVOM-Therapie dem individuellen Patienten wahrscheinlich helfen? Wie viele Injektionsserien werden notwendig sein? Wird der Patient viele Serien über lange Zeit hinweg benötigen? Oder wird der Zustand nach den ersten Serien dann stabil bleiben (regelmäßige Kontrolle) Wie hoch ist das Risiko einer ungeplanten Therapiepause? 29

30 30 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Patientensegmentierung nach Therapieerfolg Woran kann man an einer vorhandenen Patientenhistorie erkennen, ob die Therapie erfolgreich war? am Verlauf des Visus fiktiver Idealverlauf des Visus bei erfolgreicher Therapie: Kontrolltermine IVOM-Injektionstermine

31 31 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Praxisprobleme bei der Patientensegmentierung nach Therapieerfolg Wie kann man diese Idealverläufe in der Datenmenge automatisch auffinden? Visusdelta mit Schwellenwert? reicht nicht aus, denn nur wenige Patienten weisen einen solchen Idealverlauf auf, da viele andere Einflussfaktoren den Visus drastisch verändern bisherige Lösung: grobes Vorfiltern und händisches Annotieren an Hand mehrerer Faktoren gleichzeitig Form des Verlaufs Berücksichtigen von anderen Einflussfaktoren unterscheidbare Kategorien des Therapieerfolgs: 1_decr: Visus nimmt trotz Therapie sukzessive / drastisch ab 2_instable: Sehschärfe stabilisiert sich, benötigt aber über lange Zeit hinweg beständige IVOM-Therapie 3_incr: der Patient spricht dauerhaft auf eine kurze Therapie an 4_untreat: IVOM-Therapie ist nicht (mehr) anwendbar z.b. da der Visus von Anfang an sehr schlecht (<0.05 vdez) war

32 32 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Praxisprobleme bei der Patientensegmentierung nach Therapieerfolg Das Endergebnis: eine Tabelle mit händisch nach Verlaufskategorie annotierten Patienten enthält alle eindeutigen Fälle 63 = 0,8% increasing 98 = 1,3% instable PID eyeside performerclass 139 = 1,3% decreasing 2273 R 3_incr 2318 L 1_decr 437 R 1_decr 2596 = 33,6% zu kurze Befundhistorie weniger als 6 Visusmessungen 4830 = 4_untreat oder unklar 152 L 2_stable 1882 R 2_stable insgesamt 7726 Sehverläufe (= Augen)

33 33 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Vorhersage des Therapieerfolgs an Hand eines OCT-Befundes Aufgabe für das Prognosesystem: wir zeigen dir ein OCT-Bild vom Erstbefund des Patienten sage vorher, in welcher Erfolgskategorie der Patient am Ende landen wird 1_decr? 2_instable 3_incr

34 34 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Vorhersage des Therapieerfolgs an Hand eines OCT-Befundes Training des Prognosesystems: bekommt als Bilddatenmenge alle B- Scans des ersten OCT-Befunds des jeweiligen Patienten Bilddatenmenge enthält alle 300 Sehverläufe, die eindeutig kategorisierbar waren davon wurden 90% fürs Training und 10% für den Test verwendet Kategorie Anzahl Bilder in der Trainingsmenge 1_decr _instable _incr Anzahl Bilder in der Testmenge

35 35 ANWENDUNG DES MASCHINELLEN LERNENS AUF OCT-BILDER Vorhersage des Therapieerfolgs an Hand eines OCT-Befundes Typisches Klassifikationsergebnis: Es gibt Anzeichen dafür, dass Informationen über den finalen Therapieerfolg bereits im ersten OCT-Befund enthalten sind Nächste Schritte im FuE-Projekt: Vertreter der Kategorie 4_untreat herausfiltern die unklaren Fälle in den Griff bekommen die Beispielmenge erweitern, um valide / reproduzierbare Ergebnisse zu erhalten empirischer Vergleich mit der Prognosefähigkeit menschlicher Fachexperten Accuracy: 77,09%

36 SCHLUSS! VIELEN DANK FÜR IHRE AUFMERKSAMKEIT!