Einführung in die Computerlinguistik und Sprachtechnologie

Transkript

1 Einführung in die Computerlinguistik und Sprachtechnologie Vorlesung im WS 2012/13 (B-GSW-12) Prof. Dr. Udo Hahn Lehrstuhl für Computerlinguistik Institut für Germanistische Sprachwissenschaft Friedrich-Schiller-Universität Jena

2 Allgemeine Hinweise Vorlesung: MO, 16-18h (Fürstengraben 1, SR259) Übung zv: DO, 16-18h (August-Bebel 4, SR 103) beginnt am Vorlesungsmaterialien im Netz Students B-GSW-12 besteht aus VL+ÜB und Seminar! Sprechstunde: MI, 12-13h (FG 30, R 203) udo.hahn@uni-jena.de URL: Fachliteratur ist überwiegend in Englisch 2

3 Bitte Handys ausschalten... Kein Picknick 3

4 Genau bedenken Laptop- bzw. Online-Mania? 4

5 Auch deswegen... Courtesy: The Gazette, Vol. 101, 2008, No. 78, March 5,

6 Institut für Germanistische Sprachwissenschaft der FSU Jena Lehrstuhl für Theoretische Linguistik Prof. Dr. Peter Gallmann Dozentur für Sprachtheorie & Lexikologie HDoz. Dr. Christine Römer Professur für Textlinguistik & Pragmatik (vakant) Professur für Phonetik & Sprechwissenschaft Prof. Dr. Adrian Simpson Professur für Geschichte der deutschen Sprache Prof. Dr. Eckhard Meineke Lehrstuhl für Computerlinguistik Prof. Dr. Udo Hahn 6

7 Computerlinguistik in Jena (1/2) Organisatorischer Teil der Germanistik aber einzelsprachübergreifende Methodik besondere Anwendungsdomäne: Medizin + Biologie Integration in die Informatik: Neben- bzw. Anwendungsfach für B.Sc.: Informatik, Angewandte Informatik M.Sc.: Informatik, Computational Science Bioinformatik Geplant: Verselbstständigung des Faches Computerlinguistik (BA/MA, BSc/MSc) 7

8 Computerlinguistik in Jena (2/2) Aktive Forschergruppe Lehrstuhl für Computerlinguistik = Jena University Language & Information Engineering (JULIE) Lab Hohe internationale Visibilität (Publikationsdichte) Bundesministerium für Bildung & Forschung (BMBF) Forschungskern JenAge Frühere Projekte: StemNet Förderinitiativen der Europäischen Union Projekt MANTRA Frühere Projekte: CALBC (SA), BOOTStrep (STREP), Semantic Mining (NoE) Deutsche Forschungsgemeinschaft (DFG), VolkswagenStiftung, Ausgründung von Start-up-Firmen Averbis, TexKnowlogy Jobs, Jobs, Jobs... 8 auch für Studenten als studentische Hilfskraft

9 Computer (und Menschen!) tun sich schwer mit Sprache(n) 9

10 Die pykka Sprache Günny pykka-in tassas pel Criftek ut pykkalos coggy pons Criftek coggy (1) Criftek (2) Günny (1) pel (1) pons (1) pykka-in (1) pykka-los (1) tassas (1) ut (1) Lexikografische Ordnung Häufigkeitszählung 10

11 Die pykka Sprache Günny pykka-in tassas pel Criftek ut pykka-los coggy pons Criftek Perspektive des Computers auf Sprache Fehlt: Spezifikation von Wortbedeutung (Lexikon) Fehlt: Regeln für Wortverknüpfung (Syntax) Günny pykka-in tassas aus Criftek und pykkalos coggy nach Criftek Lediglich ein Syntaxskelett 11

12 Die pykka Sprache Günny pykka-in tassas aus Criftek und pykka-los coggy nach Criftek Deutsche Wortäquivalente: { Deutschland, Costa-Rica } { exportieren, importieren } { Optoelektronik, Banane } Deutschland importiert Bananen aus Costa- Rica und exportiert Optoelektronik nach Costa-Rica 12

13 Von pykka ins Deutsche I Günny pykka-in tassas aus Criftek und pykka-los coggy nach Criftek Deutsche Wortäquivalente: [ Deutschland = Günny, Costa-Rica = Criftek ] [ importieren = pykka-in, exportieren = pykka-los ] [ Banane = tassas, Optoelektronik = coggy ] Standard-Interpretation: Deutschland importiert Bananen aus Costa- Rica und exportiert Optoelektronik nach Costa-Rica 13

14 Von pykka ins Deutsche II Günny pykka-in tassas aus Criftek und pykkalos coggy nach Criftek Deutsche Wortäquivalente: [ Costa-Rica = Günny, Deutschland = Criftek ] [ importieren = pykka-in, exportieren = pykka-los ] [ Banane = tassas, Optoelektronik = coggy ] Non-Standard-Interpretation: Costa-Rica importiert Bananen aus Deutschland und exportiert Optoelektronik nach Deutschland 14

15 Konstituenten der Analyse/ Produktion natürlicher Sprache Inventar von Wörtern (Lexikon) und ihrer Bedeutungen (lexikalische Semantik) Verknüpfungsregeln für Wörter (Syntax) Ableitung der Bedeutung eines Satzes (Satz-Semantik) aus den lexikalischen Bedeutungen der Wörter und der Syntaxstruktur (semantische Interpretation) Evaluation der semantischen Interpretation auf der Basis von Hintergrundwissen (Enzyklopädie, Alltagswissen usw.) 15

16 Computerlinguistik I Linguistik: Gegenstandsbereich sind (überwiegend) natürliche Sprachen Deutsch, Englisch, Französisch,... Beispiele für formale Sprachen L = {a n b n, n N} = {ab, aabb, aaabbb, aaaabbbb,... } jede Programmiersprache JAVA, C++,... jede Logik Prädikatenlogik, Typenlogik,... Differentialgleichungen, Integrale, Vektoren, 16

17 Computerlinguistik II Beschreibungen und Formalisierungen entsprechen den Anforderungen, die sich aus der Verarbeitung durch Computer ergeben keine natürlichsprachige Beschreibung (à la Duden oder Grammatik für Fremdsprachenerwerb) explizite Spezifikation von Verfahrensbeschreibungen (Algorithmen), die von einer (abstrakten) Maschine ausgeführt werden können Beachtung formaler (komplexitätstheoretischer) Eigenschaften der Beschreibung: Berechenbarkeit, Entscheidbarkeit, Rechen-Kosten (Zeit, Speicher) 17

18 Computerlinguistik III Fundierung computerlinguistischer Beschreibungen durch den Bezug auf theoretische und methodische Prinzipien der Linguistik und Informatik Telefonvermittlung gesprochener Sprache Stimme in Navigationssystemen Grammatiktheorie (GB, OT, HPSG) Wörterbuch-Datenbank (Wahrig, LED usw) 18

19 Computerlinguistik IV Realisierung dieser Beschreibungen durch ihre Implementation in einem natürlichsprachlichen (Teil-)System entsprechend informatischer Standards Computerlinguistik ist keine naiv programmierte Linguistik Programmiertechnologien (z.b. objekt-orientiert) Daten(bank)technik (Zugriffsmethoden) Software Engineering Portierbarkeit (Domänenwechsel) Wiederverwendbarkeit (Middleware: UIMA usw.) Robustheit (NL ist ein sehr komplexes System) 19

20 Verortung der Computerlinguistik Deskription Formalisierung Algorithmisierung Programmierung natürliche Sprache(n) Linguistik Mathematik Informatik Theoretische Linguistik Generative Grammatik, OT Montague-Grammatik Unifikationsgrammatik Algebra Formale Grammatiken Formale Sprachen Automatentheorie Graphentheorie Logik Wahrscheinlichkeitstheorie Algorithmen & Datenstrukturen Programmierung P.sprachen, P.techniken Mustererkennung Informationssysteme Künstliche Intelligenz 20

21 Computerlinguistik-Standorte 21

22 Computerlinguistik-Standorte Texttechnologie Information Retrieval Digital Humanities U Saarbrücken U Stuttgart U Heidelberg RWTH Aachen U Jena U Tübingen TU Darmstadt U Bremen U Potsdam U Bielefeld U Trier U München U Düsseldorf U Bochum U Erlangen-Nürnberg U Osnabrück U Hamburg FU Hagen U Gießen U Hildesheim U Leipzig U Magdeburg

23 Warum Computerlinguistik? (auch mit einer Antwort aus Jena ) 23

24 Structured vs. Unstructured Data (1996) Source: Prabhakar & Raghavan, Verity (2002) 24

25 Structured vs. Unstructured Data (2006) 25

26 Wachsende Zahl an biomedizinischen Publikationen (jährlicher Zuwachs an Dokumenten in Medline) Quelle: 26

27 Wachsende Zahl an biomedizinischen Publikationen Medline Total Articles / year 27

28 APC (1/2) 28

29 APC (2/2) exzessive lexikalische Ambiguität 29

30 Twease: Stichwort-Suche [APC = antigen-presenting cells] 30

31 Semedico Suchmaschine Ermöglicht einen tieferen, semantischontologisch strukturierten Zugang zu Medline-Texten semantisch Automatische Erkennung von Entitäten (= Begriffe, Konzepte) Abbildung von Synonymen und Abkürzungen auf Konzept-Identifikatoren 31

32 Semantischer Zugang 32

33 Semantischer Zugang 33

34 Semantischer Zugang 34

35 Semantischer Zugang 35

36 Ontologischer Zugang Ermöglicht einen tieferen, semantischontologisch strukturierten Zugang zu Medline-Texten semantisch Automatische Erkennung von Entitäten (= Begriffe, Konzepte) Abbildung von Synonymen und Abkürzungen auf Konzept-Identifikatoren ontologisch Taxonomien werden bei der Suche mit einbezogen Ontologisch motivierte Facetten ermöglichen Browsing bei Suche 36

37 Ontologischer Zugang 37

38 Ontologischer Zugang 38

39 Ontologischer Zugang 39

40 Text-Mining-Architektur Text Dokumente Satz / Token Splitter Wortarten Tagger Akronym AE Erkenner Entitäten Erkenner AE & Mapper Lucene AE Indexer Lucene Such- Index Biomedizinische Ontologien/ Terminologien 40

41 Akronym- und Entitätenerkennung (mittels ontologie-basierter Lexika) Text Dokumente Satz / Token Splitter Wortarten Tagger Akronym Erkenner Entitäten Erkenner AE AE AE & Mapper Lucene Indexer Lucene Such- Index Biomedizinische Ontologien/ Terminologien 41

42 Fazit: Semedico Suchmaschine Ermöglicht einen tieferen semantischontologischen Zugang zu Medline- Texten > 21 Millionen Medline-Dokumente TMprozessiert und -indexiert Nutzerstudie an der Medizinischen Hochschule Hannover Youtube-Demo: 42

43 Bank (1/2) 43

44 Bank (2/2) Wo bleibt die lexikalische Ambiguität*? * Erste Nicht-Finanzbank nach 100 Treffern 44

45 Natürliche Sprache Ambiguität: lexikalisch-semantisch Homografie, Polysemie Konstanz liegt am Bodensee. Bei Konstanz des Luftdrucks... I saw that gasoline can explode [Ich sah diesen Benzinbehälter explodieren] [Ich sah, dass Benzin explodieren kann] 45

46 Skopus Natürliche Sprache Ambiguität: syntaktisch die alten Männer und Frauen die alten Männer und [allgemein alle] Frauen die alten Männer und alten Frauen PP-Anbindung Sie sahen den Mann mit dem Fernrohr Sie sahen den Mann mit Hilfe ihres INSTRUM Fernrohrs Sie sahen den Mann, der sein POSSESS Fernrohr trug 46

47 Natürliche Sprache Ambiguität: syntaktisch PP-Anbindung & Homografie/Polysemie They saw the man with the telescope. Sie sahen den Mann mit Hilfe ihres INSTRUM Fernrohrs. Sie sahen den Mann, der sein POSSESS Fernrohr trug. Sie zersägen den Mann mit Hilfe ihres INSTRUM Fernrohrs. Sie zersägen den Mann, der sein POSSESS Fernrohr trug. 47

48 48

49 49

50 Natürliche Sprache Ambiguität: syntaktisch Wachstumsverhalten v. PP-Anbindungen Die Tarifparteien haben sich [am frühen Mittwoch morgen] 1 [in Bad Nauheim] 2 [nach einem 16-stündigen Verhandlungsmarathon] 3 [auf einen Tarifabschluss] 4 [in Höhe] 5 [von 1,2 Prozent] 6 [für die Beschäftigten] 7 [in der hessischen Bekleidungsindustrie] 8 geeinigt. 50

51 Natürliche Sprache Ambiguität: syntaktisch Wachstumsverhalten v. PP-Anbindungen CAT n=8 = 1430 Die Tarifparteien haben sich [am frühen Mittwoch morgen] 1 [in Bad Nauheim] 2 [nach einem 16-stündigen Verhandlungsmarathon] 3 [auf einen Tarifabschluss] 2n 2n 4 [in Höhe] 5 [von 1,2 CATn = Prozent] 6 [für die n n 1 Beschäftigten] 7 [in der hessischen (2 Bekleidungsindustrie] n)! (2n)! 8 = geeinigt. Binärbäume!! n! (2n n)! ( n 1)! (2n ( n 1))! 51

52 Natürliche Sprache Ambiguität: semantisch Quantoren-Skopus Welcher Mitarbeiter verdient mehr als ein Abteilungsleiter? Werner Ceusters Bezugsmaßstab sind alle Abteilungsleiter (globales Max) Werner Ceusters und Barry Smith Angestellte aus der Abteilung ihres jeweiligen Abteilungsleiters, die mehr als dieser Abteilungsleiter verdienen (lokales Max) Werner Ceusters, Barry Smith, Peter Fripp,... Bezugsmaßstab ist irgendein Abteilungsleiter 52

53 Natürliche Sprache Ambiguität: pragmatisch Kann ich mit remove <file.txt> die Datei <file.txt> löschen? Nein! remove ist ein falscher Kommandobezeichner remove ist zwar richtiger Kommandobezeichner, aber der Benutzer hat keine Löschberechtigung es existiert keine Datei mit dem Namen <file.txt> 53

54 Information Retrieval & Extraktion Information Retrieval Informationsextraktion Text Mining 54

55 Informationsextraktion Disease: leprosy Drug: Thalidomide Thalidomide was found to be highly effective in managing the cutaneous manifestations of leprosy (erythema nodosum leprosum) and even to be superior to aspirin (acetylsalicyclic acid) in controlling leprosyassociated fever Effective-for: Thalidomide, cutaneous manifestations of leprosy Disease: leprosy-associated fever Drug: Thalidomide, Aspirin Effective-for: [ Thalidomide > Aspirin ], leprosy-associated fever 55

56 Textzusammenfassung 10% Reduktion 25% Reduktion Kondensierung: Reduktion auf relevante Information 56

57 Maschinelle Übersetzung Bedeutungsäquivalenz 57

58 Natürlichsprachliche Systeme implementieren sprachliche Verstehensleistungen (Text- oder Dialogmodus) zeigen die Emergenz sprachlichen und außersprachlichen Wissens an komplexen kognitiven Leistungen isolierte Betrachtungsweise generiert häufig unproduktive Zuordnungsdebatten (Syntax/Semantik) sind stets funktional orientiert (Assistenz, Beratung, Zeitersparnis, Leistungsoptimierung usw.) sind die Grundlage für Sprachtechnologie 58

59 Alternative Explananda linguistischer Modellierung Theoretische Linguistik Natürliche Sprache(n) als Kompetenzsystem(e): Rekonstruktion d. idealen Sprachsystems/Sprechers Computerlinguistik (e. Angewandte Linguistik) Natürliche Sprache(n) als Performanzsystem(e): Rekonstruktion funktionalen Sprachgebrauchs aus sprachtechnologischer Perspektive (Automaten) Psycholinguistik (e. a. Angewandte Linguistik) Natürliche Sprache(n) als Performanzsystem(e): Rekonstruktion menschlichen Sprachgebrauchs aus kognitiver Simulationsperspektive (Primaten) 59

60 Meilensteine der Computerlinguistik Theorie formaler Sprachen / Automatentheorie vs. Struktur natürlicher Sprachen (Noam Chomsky) Anwendungen: autom. Indexing, masch. Übersetzung 1966 ALPAC-Report Syntax I: Generative Transform.grammatik (N. Chomsky) vs. Augmented Transition Networks (William Woods) Frage-Antwort-Systeme: LUNAR (William Woods) 60

61 LUNAR Ulvospinel Chromeisenerz 61

62 Meilensteine der Computerlinguistik Theorie formaler Sprachen / Automatentheorie vs. Struktur natürlicher Sprachen (Noam Chomsky) Anwendungen: autom. Indexing, masch. Übersetzung 1966 ALPAC-Report Syntax I: Generative Transform.grammatik (N. Chomsky) vs. Augmented Transition Networks (William Woods) Frage-Antwort-Systeme: LUNAR (William Woods) Sprachverstehen: Künstliche Intelligenz & NL Dialogsysteme: SHRDLU (Terry Winograd) 62

63 SHRDLU Person: Pick up a big red block. Computer: OK. Person: Grasp the pyramid. Computer: I DON'T UNDERSTAND WHICH PYRAMID YOU MEAN. Person (changing their mind): Find a block which is taller than the one you are holding and put it in the box. Computer: BY "IT", I ASSUME YOU MEAN THE BLOCK WHICH IS TALLER THAN THE ONE I AM HOLDING. Person: How many blocks and how many pyramids are there? Computer: THERE ARE FIVE BLOCKS AND THREE PYRAMIDS. Person: What does the box contain? Computer: THE BLUE PYRAMID. 63

64 Meilensteine der Computerlinguistik Theorie formaler Sprachen / Automatentheorie vs. Struktur natürlicher Sprachen (Noam Chomsky) Anwendungen: autom. Indexing, masch. Übersetzung 1966 ALPAC-Report Syntax I: Generative Transform.grammatik (N. Chomsky) vs. Augmented Transition Networks (William Woods) Frage-Antwort-Systeme: LUNAR (William Woods) Sprachverstehen: Künstliche Intelligenz & NL Dialogsysteme: SHRDLU (Terry Winograd) Textverstehenssysteme: FRUMP (Roger Schank) 64

65 Script-basiertes Textverstehen 65

66 Meilensteine der Computerlinguistik Theorie formaler Sprachen / Automatentheorie vs. Struktur natürlicher Sprachen (Noam Chomsky) Anwendungen: autom. Indexing, masch. Übersetzung 1966 ALPAC-Report Syntax I: Generative Transform.grammatik (N. Chomsky) vs. Augmented Transition Networks (William Woods) Frage-Antwort-Systeme: LUNAR (William Woods) Sprachverstehen: Künstliche Intelligenz & NL Dialogsysteme: SHRDLU (Terry Winograd) Textverstehenssysteme: FRUMP (Roger Schank) Syntax II: Unifikationsgrammatiken (Fernando Pereira DCG, LFG, GPSG, HPSG, CUG, TAG), Lexikalisierung 66

67 Meilensteine der Computerlinguistik Theorie formaler Sprachen / Automatentheorie vs. Struktur natürlicher Sprachen (Noam Chomsky) Anwendungen: autom. Indexing, masch. Übersetzung 1966 ALPAC-Report Syntax I: Generative Transform.grammatik (N. Chomsky) vs. Augmented Transition Networks (William Woods) Frage-Antwort-Systeme: LUNAR (William Woods) Sprachverstehen: Künstliche Intelligenz & NL Dialogsysteme: SHRDLU (Terry Winograd) Textverstehenssysteme: FRUMP (Roger Schank) Syntax II: Unifikationsgrammatiken (Fernando Pereira DCG, LFG, GPSG, HPSG, CUG, TAG), Lexikalisierung Empirische Wende: NL & Korpora, Statistik, Evaluation (G.Salton, Eugene Charniak, Fred Jelinek, Ken Church) Sprachtechnologie: Speech, TREC, MUC, SUMMAC, EU 67

68 Meilensteine der Computerlinguistik Theorie formaler Sprachen / Automatentheorie vs. Struktur natürlicher Sprachen (Noam Chomsky) Anwendungen: autom. Indexing, masch. Übersetzung 1966 ALPAC-Report Syntax I: Generative Transform.grammatik (N. Chomsky) vs. Augmented Transition Networks (William Woods) Frage-Antwort-Systeme: LUNAR (William Woods) Sprachverstehen: Künstliche Intelligenz & NL Dialogsysteme: SHRDLU (Terry Winograd) Textverstehenssysteme: FRUMP (Roger Schank) Syntax II: Unifikationsgrammatiken (Fernando Pereira DCG, LFG, GPSG, HPSG, CUG, TAG), Lexikalisierung Empirische Wende: NL & Korpora, Statistik, Evaluation (G.Salton, Eugene Charniak, Fred Jelinek, Ken Church) Sprachtechnologie: Speech, TREC, MUC, SUMMAC, EU seit 2000 Maschinelles Lernen: Sprachmodelle & Anwendungen 68

69 NLP Challenge Competitions: Speech Recognition 69

70 NLP Challenge Competitions: Information Extraction 70

71 Literatur D. Jurafsky & J.A. Martin (2000), Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. Prentice Hall R. Mitkov (Ed.) (2003), The Oxford Handbook of Computational Linguistics. Oxford University Press, K.-U. Carstensen, Ch. Ebert, C. Endriss, S. Jekat, R. Klabunde & H. Langer (Eds.) (2004, 2nd ed.), Computerlinguistik und Sprachtechnologie. Elsevier Spektrum Akademischer Verlag C.D. Manning & H. Schütze (1999), Foundations of Statistical Natural Language Processing. MIT Press. 71