Evaluation der computer-linguistischen Texterschließung neuroradiologischer Befunde im Berliner BFG-Projekt

Transkript

1 Evaluation der computer-linguistischen Texterschließung neuroradiologischer Befunde im Berliner BFG-Projekt KIS-RIS-PACS- und DICOM-Treffen Mainz Schloß Waldthausen 21. Juni 2013 Josef Schepers, Peter Geibel, Thomas Tolxdorff (Charité) unter Mitwirkung von Gabriel Curio, Hebun Erdur, Kati Jegzentis, Stefan Krüger, Frank Müller, Christian Nolte, Thorsten Schaaf, Lothar Zimmermann (Charité) Martin Trautwein et al. (Vivantes) Christian Seebode et al. (ORTEC medical)

2 BFG-Projektpartner Charité Universitätsmedizin Berlin - größtes Universitätsklinikum Deutschlands (4 Standorte in Berlin) - stat. Fälle / amb. Fälle / Betten / MA Vivantes Netzwerk für Gesundheit GmbH, Berlin - größter kommunaler Krankenkenhauskonzern (9 Häuser in Berlin) - stat. Fälle / amb. Fälle / Betten / MA ORTEC medical GmbH - Berliner IT-Unternehmen 2

3 BFG-Projektziele Aufgabenstellungen des BFG-Projektes Erforschung medizinisch-linguistischer Texterschließung (Arztbriefe, Befunde, Epikrisen, Verlegungsberichte ) Entwicklung kommerzieller nsoftware Sekundäre Datennutzung für Machbarkeitsanalysen klinischer n Sekundäre Datennutzung für nrekrutierung Vorfüllung von Case Report Forms (ecrfs) für klinische n Beitrag zum Senatsziel Gesundheitsmetropole Berlin 3

4 Erschließung von Episodenwissen Secondary Use : Episodenwissen / Faktenwissen der Patientenversorgung als Quelle der klinischen Forschung Episoden-/Faktenwissen umfasst: - Diagnosen, Symptome, Befunde, Prozeduren, Medikamente - Morphologie, Topologie, Komplikationen, Heilungsdauer - Aufenthaltsdaten, Demografische Merkmale... Episodenwissen vorhanden in: ~ ein Drittel in strukturierten Daten (KIS, Labor, etc.) ~ ein Drittel in Freitexten (Arztbriefe, Befunde ) ~ ein Drittel durch Nacherhebung 4

5 Applikation Study Matcher Klinischer Arbeitsplatz (Web Browser) Eingabe von nkriterien durch den Nutzer Ausgabe von passenden Patienten (pseudonymisiert) Klarnamen nur für autorisierte und authentifizierte Nutzer PID Benutzername + Passwort + PSN Nutzeranfragen Suchergebnisse CDR (Clinical Data Repository) Elektronische Patientenakte Forschungsdatawarehouse Clinical Data Repository CDR Pseudonymisierte Data strukturierte Patientendaten: Stammdaten, Falldaten, Diagnosen, Prozeduren, Laborwerte Pseudonymisierte extrahierte Fakten: zusätzliche Diagnosen, Befunde, Attribute (z.b. Lokalisationen), Medikamente, Schweregrade, etc. Pseudonymisierte Daten Pseudonymisierte Fakten Linguistische Pipeline Informationsextraktion aus Texten (Negation, UND, ODER, Synomyme, Hierarchien, Teil-Ganzes, etc.) Ontologien Medizinisches Wissen Projektschwerpunkt Linguistische Pipeline Pseudonymisierte Texte ETL (Extract, Transform, Load) + Pseudonymisierung von strukturierten Daten und Texten Ersetzung personenidentifizierender Merkmale (PID) mit Hilfe von Pseudonymen (PSN) PID PSN Trusted Third Party (TTP) Strukturierte Daten und Nachrichten KIS Krankenhausinformationssystem SAP bzw. Agfa Orbis IS-H/i.s.h.med Structured Data HL7 Messages Textdaten (unstrukturierte Daten) KIS und andere Systeme Textdaten Klinische Dokumente PID/PSN Speicherung und Verwaltung der Pseudonymliste Optional bei klinikinternen Betrieb Unterstützt De- Pseudonymisierung Datenquellen - Strukturierten Daten und - Freitextinformationen 5

6 Erschließung von Episodenwissen Kernelement des BFG-Projektes: die linguistische Verarbeitungskette Im MRT kommt ein akuter MCA-Verschlus rechts und ein chronischer ACI-Infarkt lniks zur Darstellung. [hatbeobachtung:infarkt[hatlokalisation:arteriacarotisint erna[],hatbeobachtungsattribut:chronisch[],hatbeobacht ungsattribut:mrt[],hatbeobachtungsattribut:sinister[]], hatbeobachtung:verschluss[hatbeobachtungsattribut:ak ut[],hatbeobachtungsattribut:dexter[],hatbeobachtungsa ttribut:mrt[],hatlokalisation:arteriacerebrimedia[]]] Text Morphologische Analyse Parser Concept- Mapping Strukturierte Fakten Tippfehlerkorrektur, Lemmatisierung, Stemming, Ellipsen, Hierarchische Phrasenstruktur Mapping von Phasen- Segmenten auf Substrukturen der Ontologie 6

7 Erschließung von Episodenwissen Elemente der morpho-syntaktischen Analyse und der semantischen Annotation: Identifikation von Negationen Skopus der Negation (nicht einfach und komplex) Instantiierung = konkrete Realisierungen eines Wortes im Kontext Krampf: Krampf, Krampfs, Krampfes, Krämpfen,... Auflösung von Komposita Segmentierung von Muskelkrämpfe in /muskel/ und /krampf/ Zuweisung von Wortarten durch einen Tagger Muster /ART ADJA* NN/ => Nominalphrase - die/art rechte/adja Clavicula/NN - keine/art Residuen/NN Erkennung von syntaktischer Struktur durch einen Parser Parser nutzt Wortarten-Tags zu Phrasenerkennung

8 Identifikation von n für Patienten Fall XY Fall XY, 5 9

9 Evaluation Evaluationsformen Subjektive Evaluation der Funktionen & Features (Faktor f) Zufriedenheit mit Funktionsumfang Zufriedenheit mit Benutzerfreundlichkeit etc. Quantitative Evaluation des Informationsgehaltes (Faktor i) Intrinsische Evaluation (Syntax, Morphologie, Semantik) Trefferquote und Genauigkeit der Erkennung von Absätzen, Sätzen, Nominalphrasen, Worten (Instanzen), Komposita, Wortarten, Skopi und Bedeutung Extrinsische Evaluation (Patientenidentifikation) Hier: Trefferquote und Genauigkeit der Erkennung von geeigneten n für Patienten / Patienten für n 9

10 Extrinsische Evaluation Wahrheitsmatrix der Patientenidentifikation (extr. Evaluation) Tatsächliche (wahre) Klasse positiv negativ (krank, studienkompatibel) (gesund, nichtkompatibel) Summe Summe wp = TP + FN wn = FP + TN Gesamt Ermittelt durch BFG- System positiv/ identifiziert negativ/ nicht-ident. TP: richtig positiv FN: falsch negativ FP: falsch positiv TN: richtig negativ ip = TP+FP in = FN+TN Trefferquote, Sensitivität = Genauigkeit, Pos. Präd. W.= Recall = Precision = F-Score: TP / (TP + FN) = TP / wp TP / (TP + FP) = TP / ip gewichtetes Kombinationsmaß aus Recall und Precision 10

11 Evaluation 11

12 Evaluation Vorläufige Bewertung Gutes Zwischenergebnis System bereits heute brauchbar für: Patientensuche / nvorschläge Befundrecherche Verbesserungen notwendig für: Machbarkeitsstudien (Feasibility) Vorfüllung ecrfs (Case Report Form) Evaluation erfolgt kontinuierlich und differenziert Verbesserungen orientieren sich an Evaluationsergebnissen 12

13 Vielen Dank für Ihre Aufmerksamkeit Kontakte BFG-Projekt: Charité (n) Vivantes (n) ORTEC medical (Software) ++49 (0) (0) (0) Am Sandwerder 37, Berlin 13