Castensen KU, Ebert Ch, Ebert C, Jekat S, Klabunde R, Langer H (Hrsg.). Computerlinguistik und Sprachtechnologie. 3. Auflage. Heidelberg: Spektrum

Transkript

1 Präsentation Natural Language and Text Processing in Biomedicine Matthias Baldauf WS 2010/11 Seminar Biomedizinische Informatik

2 Einleitung Natural Language Processing (NLP) Computerlinguistik maschinelle Verarbeitung von natürlicher Sprache auf dem Computer geschriebene Sprache (Text) & gesprochene Sprache Informatik <-> Linguistik Anfänge: 50er Jahre maschinelle Übersetzung Russisch-Englisch NLP im alltäglichen Einsatz: Textverarbeitungsprogramme Rechtschreibprüfung, Grammatiküberprüfung, Thesaurus Internet vollautomatische maschinelle Übersetzung (Google, MS-Hilfen, ) Quelle: Castensen KU, Ebert Ch, Ebert C, Jekat S, Klabunde R, Langer H (Hrsg.). Computerlinguistik und Sprachtechnologie. 3. Auflage. Heidelberg: Spektrum Akademischer Verlag; ISBN:

3 Motivation für NLP Kommunikation zwischen Menschen: natürliche Sprache Verbreitung von Wissen und Daten in der Biomedizin: 1) schriftlicher Form Artikeln Berichte (technische & administrative) Krankenakten, 2) verbaler Form Konferenzen Vorträge, Computer: sammeln, speichern & verteilen biomedizinischer Informationen

4 Motivation für NLP Texte fast immer elektronisch verfügbar, aber meist in narrativer (unstrukturierter) Form schlecht für weitere Verarbeitung im Computer schwierig zuverlässig zuzugreifen viele Wörter ein Begriff grammatikalische Strukturen gleiche Information Computer in der Medizin: Verarbeiten von strukturierten Daten Information in einer regulären, vorhersagbaren Form

5 Motivation für NLP NLP Überbrückung der Lücke zwischen unstrukturierten und strukturierten Daten Mensch: Interaktion mit Computer in natürlicher Sprache Computer: effektive Verarbeitung der Daten Quelle: Shortliffe EH, JJ Cimino (Hrsg.). Biomedical informatics: computer applications in health care and biomedicine. 3. Auflage. Berlin: Springer Verlag; ISBN:

6 Verwendetes Wissen phonetisches und phonologisches Wissen morphologisches Wissen lexikographisches Wissen syntaktisches Wissen semantisches Wissen pragmatisches Wissen Quellen: Shortliffe EH, JJ Cimino (Hrsg.). Biomedical informatics: computer applications in health care and biomedicine. 3. Auflage. Berlin: Springer Verlag; ISBN: Castensen KU, Ebert Ch, Ebert C, Jekat S, Klabunde R, Langer H (Hrsg.). Computerlinguistik und Sprachtechnologie. 3. Auflage. Heidelberg: Spektrum Akademischer Verlag; ISBN:

7 Verwendetes Wissen: Phonetisches und phonologisches Wissen Phonetik: Wie entstehen sprachliche Laute? Art, Erzeugung, Verwendung in der Kommunikation Phonologie: Grundobjekte der Lautsprache Untersucht deren Funktion, Struktur, Eigenschaften Wortunterscheidung

8 Verwendetes Wissen: Phonetisches und phonologisches Wissen Grundobjekt der Phonologie: Phonem kleinste bedeutungsunterscheidende Einheit der Sprache Bsp.: Katze Tatze Internationales Phonetisches Alphabet Schreibweise: /r/ Phone Realisierungen von Phonemen Untersuchungsgegenstand der Phonetik Schreibweise: [r] Silbe besteht aus einem oder mehreren Phonemen kleinste Lautgruppe phonologisches Wort besteht aus Silben

9 Verwendetes Wissen: Morphologisches Wissen Morphologie: Regeln Kombination von Morphemen zu Wörtern & Wortformen Morphem kleinste bedeutungstragende sprachliche Einheit besteht aus Phonemen oder Graphemen Beispiel: Ultraschall ultra ul + tra Schall

10 Verwendetes Wissen: Morphologisches Wissen Unterteilung von Morphemen: Nach ihrem Status: Freie Morpheme Bsp.: Schall Gebundene Morpheme Bsp.: -s bei Schalls Nach ihrer Wortfähigkeit: Grundmorpheme Bsp.: Haus, Auto Affixe Nach ihrer Funktion: lexikalisches Morphem Bsp.: Kopf im Wort Köpfe funktionales Morphem

11 Verwendetes Wissen: Morphologisches Wissen Englische Sprache keine besonders komplexe Morphologie Biomedizinische Sprache komplexe Morphologie Bsp 1 (Chemikalien): Hydr-oxy-nitro-di-hydro-thym-ine Bsp 2 (Prozeduren): Hepatikojejunostomie System sollte mit Wörtern flexibel agieren können Separierung ist schwierig

12 Verwendetes Wissen: Lexikographisches Wissen Lexikographie: Kategorisierung von Lexemen Lexem Grundform eines Wortes gehört zu ein oder mehreren Wortarten Nomen (Hüfte) Adjektive (mild) Verben (improvisieren) aus mehreren Wörtern

13 Verwendetes Wissen: Syntaktisches Wissen Syntax: Struktur von Phrasen und Sätzen Phrase Gruppe von zusammengehörenden Wörtern (Lexemen) Nominalphrasen - (der junge Patient) Adjektivphrasen - (ziemlich schmerzhaft) Verbalphrasen - (gefällt mit sehr) Kern und Modifizierer

14 Verwendetes Wissen: Syntaktisches Wissen Sätze Zusammengesetzt aus Phrasen Restriktionen zur Satzformung (deutsche Sprache) Keine Restriktionen zur Satzformung (klinische Sprache) Der Husten hat sich verschlechtert Husten verschlechtert Husten bilden Untersprache

15 Verwendetes Wissen: Semantisches Wissen Semantik: Bedeutung und Interpretation von Wörtern, Phrasen und Sätzen Wort mehrere Bedeutungen/Wortsinne Bsp.: Kopf = Körperteil eines Lebewesens = alte Maßeinheit Semantik in Allgemeinsprachen komplex Semantik in Untersprachen (Biomedizin) einfacher da restriktive semantische Muster kleine Anzahl semantischer Typen (Gen, Medikation, Krankheit ) kleine Anzahl semantischer Muster (Medikament-behandelt-Krankheit)

16 Verwendetes Wissen: Pragmatisches Wissen Pragmatik: erforscht sprachliches Handeln und Verwendung der Sprache Bsp.: englisches Wort mass Mammographiebericht (Brustmass - breast mass) Radiologiebericht des Brustkorbs (Lungenvolumen lung mass) Religiöse Zeitschift (Zeremonie) Bsp.: Eine Verletzung an der Vene konnte festgestellt werden. Diese ist schwerwiegend. diese referenziert die Verletzung, nicht die Vene

17 Techniken und Methoden NLP involviert drei große Aufgaben: 1) Repräsentation des linguistischen Wissens 2) Anwendung des Wissens 3) Wissensakquisition Quelle: Shortliffe EH, JJ Cimino (Hrsg.). Biomedical informatics: computer applications in health care and biomedicine. 3. Auflage. Berlin: Springer Verlag; ISBN:

18 Techniken und Methoden: Morphologie 1) Einlesen des Textes 2) Zerlegung in einzelne Tokens (Morpheme, Wörter, Satzzeichen ) Sehr schwer festzustellen, was ein Wort ist Bsp.: q.i.d. 5 mg. gegeben. Reguläre Ausdrücke / endliche Automaten Bsp.: [a-z]+( s)? [0-9]+ [.] patient s wbc dropped to 12.

19 Techniken und Methoden: Morphologie Besser geeignet: probabilistischer Ansatz Markov-Modelle Abb. 1: Markov-Modell (Übergangsmatrix) Quelle: Shortliffe EH, JJ Cimino (Hrsg.). Biomedical informatics: computer applications in health care and biomedicine. 3. Auflage. Berlin: Springer Verlag; ISBN:

20 Techniken und Methoden: Lexikographie Lexikalische Analyse: Welche Wörter/Begriffe sind dem System bekannt? Welche Wortart liegt vor? Wie schaut die Normalform aus? Ein Wort mehreren Wortarten angehörig Bsp.: stay = Nomen bei her hospital stay = Verb bei refused to stay Wortart-Tagging: Betrachten von umliegenden Wörtern

21 Techniken und Methoden: Lexikographie Erstellen von Regeln: CHANGE NOUN TO VERB IF PREVIOUS TAG IS TO CHANGE NOUN TO ADJECTIVE IF FOLLOWING TAG IS NOUN Bsp.: Satz vor Regelanwendung: total/noun hip/noun replacement/noun Satz nach Regelanwendung: total/adjective hip/noun replacement/noun Einsatz von Markov-Modellen

22 Techniken und Methoden: Syntax Grammatik spezifiziert mittels Regeln wie Wörter für best. Struktur zusammengeführt werden müssen Struktur hat zugrundeliegende Relationen Abbildung von Phrasen mittels regulären Ausdrücken Bsp.: ARTIKEL? ADJEKTIV* NOMEN* (SINGULAR PLURAL) die kongestive Herzinsuffizienz Teilparsing kann zu Informationsverlust führen

23 Techniken und Methoden: Syntax Kontextfreie Grammatiken Abb. 2: einfache kontextfreie Grammatik für die englische Sprache Abb. 3: Syntaxbaum für den Satz The patient had pain in lower extremities Quelle: Shortliffe EH, JJ Cimino (Hrsg.). Biomedical informatics: computer applications in health care and biomedicine. 3. Auflage. Berlin: Springer Verlag; ISBN:

24 Techniken und Methoden: Semantik Einzelne Wörter Semantische Interpretationen zuordnen Zu größeren semantischen Strukturen zusammenfügen Semantische Informationen in Lexikon gehalten Erzeugung z.b. durch UMLS, GeneBank Zu unterscheiden: Semantischer Typ Semantischer Sinn Bsp.: Ibuprofen, Aspirin und ASS

25 Techniken und Methoden: Semantik Wörter haben mehr als einen semantischen Typ Bsp.: Wachstum = anomaler Prozess (Tumor) = normaler Prozess (Kind) Wörter können doppeldeutig sein Bsp.: MS = multiple Sklerose = Mitralstenose Verwendung von Regeln Bsp: Discharge from hospital Discharge from eye

26 Techniken und Methoden: Semantik Reguläre Ausdrücke für größere semantische Strukturen: [GENE PROTEIN].* MFUN.* [GENE PROTEIN] Pax-3 aktivierte Myod Semantische Grammatiken für komplexe Strukturen: Abb. 4: einfache semantische kontextfreie Grammatik für die englische Sprache Grammatik erkennt No increased cholesterol Quelle: Shortliffe EH, JJ Cimino (Hrsg.). Biomedical informatics: computer applications in health care and biomedicine. 3. Auflage. Berlin: Springer Verlag; ISBN:

27 Techniken und Methoden: Pragmatik Syntaktische und semantische Analyse: betrachten Satz nur isoliert Finden von Beziehungen zwischen mehreren Sätzen Referentielle Ausdrücke Pronomen, Eigenworte, Nominalphrasen Referentieller Ausdruck Referent Dr. Cox der Arzt der den Patienten behandelt Der Patient ging in die Radiologie. Dort wurde ein Röntgenbild erstellt. Kohärenz von Texten Centering-Theorie

28 Anwendungen von NLP Informationsextraktion Information Retrieval Textgenerierung Benutzerschnittstellen maschinelle Übersetzung

29 Anwendungen von NLP: Informationsextraktion 1) Lokalisierung von relevanten Informationen im Text 2) Strukturierte Wiedergabe der gefundenen Informationen Ist die häufigste Anwendung in der biomedizinischen Domäne Anwendungen: Informationsextraktion aus klinischen Daten (EHR) Informationsextraktion aus wissenschaftlichen Artikeln Meist limitiert auf gewisse isolierte Terme (Medikation, Gene ) Komplexere Anwendungen: erkennbare Muster im Text Anspruchsvolle Techniken: Beziehungen zwischen den Termen

30 Anwendungen von NLP: Information Retrieval Unterstützende Funktion: Zugriff auf sehr große Sammlungen (z.b. in der Literatur) Benutzer: verfasst Abfrage (Query) NLP-System: Auswahl der ähnlichsten Dokumente Indexierung von Dokumenten: Einfache Form Isolation von Wörtern und Termen Fortgeschrittene Form Anwendung der Informationsextraktion

31 Anwendungen von NLP: Textgenerierung Formulieren von Sätzen in natürlicher Sprache Basis: strukturierte Daten Anwendungen: Erzeugen von Texten aus strukturierten Datenbanken Erzeugen von kurzen Zusammenfassungen umfangreicher Texte

32 Anwendungen von NLP: Benutzerschnittstellen Effektivere Kommunikation zwischen Mensch-Computer Eingabe der Daten: Direkt über die Tastatur (Templates / Makros) Spracherkennungssysteme Weniger verbreitet: Datenbankabfragen mittels natürlicher Sprache

33 Anwendungen von NLP: Maschinelle Übersetzung Maschinelle Übersetzung von Texten einer Sprache in eine andere Sprache Anwendung: mehrsprachige Arbeitsumgebungen Übersetzen per Hand: zeitaufwändig & kostenintensiv Übersetzung von Medikationshilfen für Patienten Übersetzung von wissenschaftlichen Artikeln

34 Anwendungen von NLP in der Praxis 2 2 Anwendungen im klinischen Bereich 1 Anwendung im biologischen Bereich Quellen: Day S, Christensen LM, Dalto J, Haug P.Identification of trauma patients at a level 1 trauma center utilizing natural language processing. J Trauma Nurs Apr-Jun;14(2): Baldwin KB. Evaluating healthcare quality using natural language processing. J Healthc Qual Jul-Aug;30(4):24-9. Rodríguez-Penagos C, Salgado H, Martínez-Flores I, Collado-Vides J. Automatic reconstruction of a bacterial regulatory network using Natural Language Processing. BMC Bioinformatics Aug 7;8:293.

35 Anwendungen von NLP in der Praxis: Identifizierung von Trauma-Patienten Trauma-Zentren: Trauma-Register sammeln, speichern, organisieren Patienteninformationen Auswahl von Patienten zur Aufnahme in das Trauma-Register komplex Identifizierungsprozess: täglicher Lagebericht Lesen der Krankengeschichte Lesen der ärztlichen Dokumentation Wochenende: andere Mitarbeiter Ausdrucken der Berichte fehleranfällig, mühsam, zeitraubend, unvollständig Quelle: Day S, Christensen LM, Dalto J, Haug P.Identification of trauma patients at a level 1 trauma center utilizing natural language processing. J Trauma Nurs Apr-Jun;14(2):79-83.

36 Anwendungen von NLP in der Praxis: Identifizierung von Trauma-Patienten Entwicklung eines NLP-System zu Identifizierung von Trauma- Patienten Bayes'sches Netzwerk Abbildung von Wörtern und Phrasen auf relevante Konzepte (Traumadiagnose) Trainieren des System Relevante Wörter und Phrasen: Kollisionen mit Kraftfahrzeugen, Brüche, Schusswunden, Stichwunden, Erstellen eine Relevanz-Score für Bericht Score > Schwellwert Speichern von relevanten Daten in Datenbank Programm erfasst 100% der Trauma-Patienten Quelle: Day S, Christensen LM, Dalto J, Haug P.Identification of trauma patients at a level 1 trauma center utilizing natural language processing. J Trauma Nurs Apr-Jun;14(2):79-83.

37 Anwendungen von NLP in der Praxis: Evaluierung der Gesundheitsversorgungsqualität Daten für klinische Qualitätsberichte liegen eingebettet in Berichten in der EHR NUD*IST NLP-System Verwendet Informationsextraktion Extrahiert und kategorisiert narrativen Text Quelle: Baldwin KB. Evaluating healthcare quality using natural language processing. J Healthc Qual Jul-Aug;30(4):24-9.

38 Anwendungen von NLP in der Praxis: Evaluierung der Gesundheitsversorgungsqualität Resultate des NLP-Systems Effizienz: Auffinden von Variablen: Abb. 5: Effizienzvergleich (NLP vs. manuell) Abb. 6: Finden von Variablen (NLP vs. manuell) Recall und Präzision: Recall: 29% Präzision: 70% Quelle: Baldwin KB. Evaluating healthcare quality using natural language processing. J Healthc Qual Jul-Aug;30(4):24-9.

39 Anwendungen von NLP in der Praxis: Automatische Rekonstruktion Automatische Rekonstruktion eines bakteriellen Regulationsnetzwerks mittels NLP Entwickeltes NLP-System Informationsextraktion aus wissenschaftlichen Artikeln Finden von Interaktionen Basis: regelbasiertes System Ziel Unterstützung der manuellen Pflege der transkriptionellen Regulation von E. coli Quelle: Rodríguez-Penagos C, Salgado H, Martínez-Flores I, Collado-Vides J. Automatic reconstruction of a bacterial regulatory network using Natural Language Processing. BMC Bioinformatics Aug 7;8:293.

40 Anwendungen von NLP in der Praxis: Automatische Rekonstruktion Beispiel-Output des NLP-Systems Abb. 7: Output einer gefundenen Interaktion im XML-Format Abb. 8: Evaluierung der extrahierten Interaktionen Quelle: Rodríguez-Penagos C, Salgado H, Martínez-Flores I, Collado-Vides J. Automatic reconstruction of a bacterial regulatory network using Natural Language Processing. BMC Bioinformatics Aug 7;8:293.

41 Herausforderungen von NLP Herausforderungen von NLP in der klinischen Domäne: 1) Gute Performance 2) Wiederherstellung von impliziten Wissen 3) Intraoperabilität 4) Interoperabilität 5) Trainingsdaten für NLP-Systeme

42 Herausforderungen von NLP Herausforderungen von NLP in der biologischen Domäne: 1) Dynamik der Domäne 2) Doppeldeutigkeiten von biomolekularen Namen 3) Große Anzahl von Einträgen 4) Namensgebung 5) Heterogenität der Texte

43 -ENDE- Vielen Dank für die Aufmerksamkeit