Natural Language Processing

Transkript

1 Natural Language Processing Kapitel 1: Einführung Prof. Dr. Johannes Maucher HdM MIB Version Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

2 Document History Version Date Changes Nr Initiale Version Korrekturen und Anpassungen; Grundlage für SS Umstellung der Lehrinhalte; Grundlage für SS Anpassungen für WS 13/ Übersicht NLP Prozesskette entfernt Anpassungen für WS 14/ Anpassungen für WS 16/ Komplette Überarbeitung/Neustrukturierung Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

3 Übersicht Kapitel Einführung 1 Was ist NLP Definition und Ziele Einordnung 2 Anwendungen 3 Schwerpunkt (Trend) in NLP allgemein 4 Herausforderungen und Probleme 5 NLP Ansätze 6 Die Vorlesung NLP Lernziele Inhalt Prüfung Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

4 Was ist NLP Definition und Ziele Definitionen In dieser Vorlesung liegt der Schwerpunkt eindeutig auf NL Understanding von Text. Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

5 Was ist NLP Definition und Ziele Vision und Ziel Vision Entwicklung von Computermodellen, die natürliche Sprache so gut verstehen und sprechen können wie Menschen. Ziel (realisitisch) Bau von Computermodellen, die Bedeutung in natürlich sprachlich verfassten Dokumenten und Sprache verstehen und daraus Schlüsse ziehen können. Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

6 Was ist NLP Definition und Ziele Es wäre schön, wenn uns ein Computer folgende Fragen beantworten könnte: Auf welches Produkt bezieht sich der Review? Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

7 Was ist NLP Definition und Ziele Es wäre schön, wenn uns ein Computer folgende Fragen beantworten könnte: Auf welches Produkt bezieht sich der Review? Wird das Produkt gut bewertet? Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

8 Was ist NLP Definition und Ziele Es wäre schön, wenn uns ein Computer folgende Fragen beantworten könnte: Auf welches Produkt bezieht sich der Review? Wird das Produkt gut bewertet? Werden Produktkomponenenten bzw. Produkteigenschaften individuell bewertet? Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

9 Was ist NLP Definition und Ziele Es wäre schön, wenn uns ein Computer folgende Fragen beantworten könnte: Auf welches Produkt bezieht sich der Review? Wird das Produkt gut bewertet? Werden Produktkomponenenten bzw. Produkteigenschaften individuell bewertet? Für welches Produkt dieser Kategorie wird eine bestimmte Eigenschaft insgesamt (über alle möglichen Reviews, Foren- und Blogbeiträge), am besten bewertet? Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

10 Was ist NLP Einordnung Informatik, Linguistik und Künstliche Intelligenz Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

11 Anwendungen Dialog Systeme / Question Answering Benötigt u.a.: Spracherkennung Sprache verstehen: Syntax und Semantik Semantische Suche, Information Retrieval Inferenzverfahren (Schlüsse ziehen) Sprachsynthese Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

12 Anwendungen Bedeutung des Textverstehens innerhalb der KI Ausschnitt aus Die ZEIT, Ausgabe : Ist er besser als wir?...ibm-konzern. Als dessen Computer Deep Blue 1997 den damaligen Schachweltmeister Garri Kasparow besiegte, war das beachtlich, aber auch zu erwarten. Schach ist ein Spiel nach mathematischen Regeln. Computer mögen so was. Doch ein bedeutender Teil der Datenwelt blieb den Computern verschlossen wie einem Analphabeten die Bücher: die im Netz und auf Computern Tag für Tag anschwellende Masse an Texten und Bildern. Das neue Forschungsziel der IBM-Führung nach dem Sieg im Schach war deshalb: ein alphabetisierter Computer, der unstrukturierte Texte verstehen kann. Das Kalkül: Kein Arzt der Erde kann alle Studien zu seinem Fach lesen und bewerten, kein Jurist binnen Sekunden Tausende Seiten erfassen, kein Risikoanalyst einer Bank alle Nachrichten zu einem Thema in seine Entscheidungen einbeziehen und kein Geheimagent das ganze Internet durchforsten. Ein Computer, der zu alldem in der Lage wäre und den Nutzern obendrein Antworten auf konkrete Fragen zu Medizin, Finanzen oder Terrorgefahren geben könnte, wäre ein Riesengeschäft. Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

13 Anwendungen Digitale Assistenten Gardner: Marktpotenzial Digitale Assistenten Siri Google Now, Google Pixel Cortana Amazon Echo Google Home Mini belauscht Nutzer Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

14 Anwendungen Automatische Übersetzung Skype-Echtzeitübersetzung in 8 Sprachen DeepL en Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

15 Anwendungen Dokumentklassifikation Allgemein: Automatische Einteilung von Dokumenten in verschiedene Klassen Beispiel: Spam-Filter Eingesetzt werden hierfür Verfahren des überwachten maschinellen Lernens in Verbindung mit NLP Techniken. Nutzerspezifische Klassifikation von Nachrichten, Posts,..., z.b. in Facebook Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

16 Anwendungen Opinion Mining (Sentiment Analysis) Document Level Sentiment Analysis bestimmt ob das Objekt, auf welches sich das Dokument bezieht, insgesamt eher gut oder schlecht beschrieben wird. Beispiele: Stimmungsanalyse auf Tweets Spiegel-Artikel vom Sentence Level Sentiment Analysis damit können auch einzelne Produktbestandteile und Produkteigenschaften analysiert werden. Quelle: Bing Liu; Sentiment Analysis: A Multifaced Problem; IEEE Intelligent Systems; June 2010 Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

17 Anwendungen Trendanalyse, z.b. mit Google Ngram Viewer Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

18 Anwendungen Weitere Anwendungen Textverarbeitung: Automatische Korrektur Information Retrieval: Suche nach bestimmten Inhalten in Texten. Herkömmliche Suche und semantische Suche. Sprachsynthese, eingesetzt in Dialogsystemen, Navigationsgeräten usw. Human Computer Interaction (HCI) z.b. als bevorzugte Schnittstelle im Auto Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

19 Schwerpunkt (Trend) in NLP allgemein Neural Network Language Models, Distributional Semantic Models Durch DSMs, speziell NNLMs, konnte in den vergangenen Monaten die Performanz vieler NLP Anwendungen trastisch verbessert werden. Semantische Ähnlichkeit wird auf Ähnlichkeit (Nähe) im Vektorraum abgebildet Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

20 Schwerpunkt (Trend) in NLP allgemein Beispiel für neuronal gelerntes Sprachmodell HdM Masterarbeit (Sascha Can): Erlernen von politisch ausgerichteten Sprachmodellen Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

21 Herausforderungen und Probleme Mehrdeutigkeit in der Phonologie / Homophonie Homophone sind Worte oder Wortfolgen, die gleich ausgesprochen werden, aber unterschiedliche Bedeutungen haben, z.b. bis - Biss Graf - Graph wahr - war Arm dran - arm dran fair tun - vertun einladen - ein Laden Relevant nur für das Sprachverstehen Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

22 Herausforderungen und Probleme Mehrdeutigkeit in der Morphologie Als Morphene werden die kleinsten bedeutungstragenden Einheiten einer Sprache bezeichnet. Morphologische Mehrdeutigkeit liegt vor, wenn ein Wort auf mehrere Arten in Morphene zerlegt werden kann, z.b. Stau becken - Staub ecken Kult urgeschichte - Kultur geschichte Uran brenner - Ur anbrenner Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

23 Herausforderungen und Probleme Lexikalische Mehrdeutigkeit / Homonyme Als Homonym bezeichnet man ein Wort, das für verschiedene Begriffe oder unterschiedliche Einzeldinge steht. Homonyme sind lexikalisch mehrdeutig (unterschiedliche Semantik) Beispiele: Bank Leitung Schloß Problematisch sind weiterhin Synonyme (Unterschiedliche Worte, die das gleiche bezeichnen, z.b. Bank und Geldinstitut) Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

24 Herausforderungen und Probleme Mehrdeutigkeit in der Syntax Komplexe sprachliche Zeichen (Wortfolgen) sind syntaktisch mehrdeutig, wenn ihnen mehr als eine syntaktische Interpretation zugeschrieben werden kann. Menschen können in diesem Fall meist aus der Semantik auf die Syntax schließen. Bei komplexeren Sätzen liefert die syntaktische Analyse oft mehrere Hundert Analysen. Die meisten von ihnen sind höchst unwahrscheinlich, werden aber durch die zugrunde liegende Grammatik gedeckt. Beispiel: Bert sah die Frau mit dem Fernglas Hierbei kann mit dem Fernglas entweder zum Prädikat (sah) oder zum Objekt (die Frau) gehören. Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

25 Herausforderungen und Probleme Mehrdeutigkeit in der Semantik Manchen komplexen Zeichen können mehrere Bedeutungen zugeordnet werden. Der Unterschied in der Bedeutung kann mit der Mehrdeutigkeit einzelner lexikalischer Zeichen oder mit der syntaktischen Mehrdeutigkeit des Satzes korrespondieren. Beispiel: Jeder Mann liebt eine Frau. Jeder Mann liebt mindestens eine Frau. Jeder Mann liebt genau eine Frau. Alle Männer lieben dieselbe Frau. Es gibt genau eine Frau, und alle Männer lieben sie. Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

26 Herausforderungen und Probleme Mehrdeutigkeit in der Aufeinanderfolge von Sätzen / Satzteilen Auf welches Wort im vorigen Satz /Satzteil bezieht sich das Pronomen? Beispiele: Die Kanne fiel gegen die Scheibe, dabei zerbrach sie. Das traurige Mädchen saß im Auto. Es kam nicht mehr weiter. Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

27 Herausforderungen und Probleme Pragmatische Mehrdeutigkeit Einer Äußerung, die syntaktisch und semantisch eindeutig ist, können in einem Sprechakt mehrere Bedeutungen zugeordnet werden. Beispiel: Mit dem Satz: Da ist etwas Grünes in der Suppe könnte der Sprecher folgendes beabsichtigen 1 : Sachebene: Ich sehe etwas Grünes. Selbstoffenbarung: Ich weiß nicht, was es ist. Beziehung: Du wirst es wissen. Appell: Sag mir bitte, was es ist! 1 Nach dem Vier-Seiten-Modell von Friedemann Schulz von Thun Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

28 NLP Ansätze Regelbasierter vs. Statistischer Ansatz Anytime a linguist leaves the group the recognition rate goes up 2 2 Zitat Fred Jelinek, früherer Chef der IBM Sprachgruppe Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

29 Die Vorlesung NLP Lernziele Lernziele Anwendungen Was kann man mit den NLP Verfahren alles machen? Welche Bedeutung kommt diesen Anwendungen heute und in Zukunft zu? Wie können Inhalt und Bedeutung von natürlichsprachlich verfassten Dokumenten maschinell erschlossen werden? Was sind die grundlegenden Techniken des NLP? Wie können diese Techniken implementiert werden? Link zu den Checker Fragen Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

30 Die Vorlesung NLP Inhalt Inhalte und Struktur der Vorlesung 1 Einführung: Definitionen, Ziele, Anwendungen und Übersicht 2 Textbeschaffung und Preprocessing 3 Vektorraummodell von Dokumenten, Ähnlichkeitsmaße 4 Latent Semantic Indexing 5 Textklassifikation, Grundlagen der Wahrscheinlichkeitsrechnung, Naive Bayes Classifier, Spam Filter 6 N-Gram Sprachmodelle 7 Distributional Semantic Models (DSM) 8 Neural Network Language Models (NNLM) 9 Tiefe Neuronale Netze für die Textklassifikation 10 Tiefe Neuronale Netze für die Automatische Übersetzung Optional: 1 Part Of Speech Tagging: Wortklassen, Bestimmung der Wortklassen 2 Information Extraction: Named Entity Recognition, Relation Recognition 3 Syntaktische Analyse, Syntax-Parsing Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

31 Die Vorlesung NLP Inhalt Checker-Fragen Link zu den Checker-Fragen Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

32 Die Vorlesung NLP Prüfung Prüfung Die Vorlesung Natural Language Processing (NLP) und das Praktikum Data Mining und Mustererkennung bilden zusammen das Modul Data Mining. Die Note im Praktikum Data Mining und Mustererkennung wird aus den Versuchen des Praktikums gebildet. Die Note der Vorlesung NLP wird in einer mündlichen Prüfung ermittelt. In die Modulnote fließt die NLP Note zu 2 Teilen und die Data Mining Note zu 3 Teilen ein. Die Modulprüfung ist in dem Semester anzumelden, in dem die letzte der beiden Teilnoten vorliegen wird. Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30

33 Referenzen S. Bird, E. Klein, E. Loper Natural Language Processing with Python; O Reilly, 2009 D. Jurafsky, J.H. Martin; Speech and Language Processing Language Processing; Pearson International Edition, 2009 D. Manning, H. Schütze; Foundations of Statistical Language Processing; MIT Press, 1999 K.-U. Carstensen, Ch. Ebert, C. Ebert, S. Jekat, R. Klabunde, H. Langer Computerlinguistik und Sprachtechnologie Spektrum-Verlag, 3. Auflage 2010 N. Indurkhya, F.J. Damerau (Editors); Handbook of Natural Language Processing; Chapman & Hall/ CRC, 2010 G. Heyer, U. Quasthoff, T. Wittig; Text Mining: Wissensrohstoff Text; W3L-Verlag, Herdecke, Bochum, 2006 Ethem Alpaydin Maschinelles Lernen; deutschsprachige Ausgabe erschienen im Oldenbourg Verlag, München 2008 Wikipedia: Mehrdeutigkeit Prof. Dr. Johannes Maucher (HdM MIB) NLP Kapitel 1: Einführung Version / 30