Einführung in die Computerlinguistik Überblick

Transkript

1 Einführung in die Computerlinguistik Überblick Hinrich Schütze & Robert Zangenfeind Centrum für Informations- und Sprachverarbeitung, LMU München Schütze & Zangenfeind: Überblick 1 / 19

2 Was ist Computerlinguistik? Schütze & Zangenfeind: Überblick 2 / 19

3 Was ist Computerlinguistik? Definition Computational linguistics is the scientific study of models and methods for automatic processing of natural language. Computational linguistics is an interdisciplinary field that shares a large part of its subject matter with computer science and linguistics. However, computational linguists also work on theories, models and methods that are not part of core linguistics or core computer science. Schütze & Zangenfeind: Überblick 2 / 19

4 Was ist Computerlinguistik? Definition Computational linguistics is the scientific study of models and methods for automatic processing of natural language. Computational linguistics is an interdisciplinary field that shares a large part of its subject matter with computer science and linguistics. However, computational linguists also work on theories, models and methods that are not part of core linguistics or core computer science. Closely related, but different: natural language processing, speech recognition Schütze & Zangenfeind: Überblick 2 / 19

5 Anwendungen der Computerlinguistik Rechtschreibkorrektur Grammatiküberprüfung Häufigkeitsanalysen von Vorkommen von Wörtern und linguistischen Phänomenen Lexikographie (Thesauri, Wörterbücher) Informationserschließung (Internet-Recherche) Kommunikation mit Maschine z.b. bei der Bank (vollautomatische) maschinelle Übersetzung Schütze & Zangenfeind: Überblick 3 / 19

6 Beispiele für industrielle Anwendungen Schütze & Zangenfeind: Überblick 4 / 19

7 Beispiele für industrielle Anwendungen Internetsuchmaschinen: sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Schütze & Zangenfeind: Überblick 4 / 19

8 Beispiele für industrielle Anwendungen Internetsuchmaschinen: sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Dialoganwendungen: Zugang zu komplexen Systemen, z.b. Bestellung eines Bahn- oder Flugtickets, Interaktion mit Bank, auch mit natürlichsprachlichen Anwendungen Schütze & Zangenfeind: Überblick 4 / 19

9 Beispiele für industrielle Anwendungen Internetsuchmaschinen: sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Dialoganwendungen: Zugang zu komplexen Systemen, z.b. Bestellung eines Bahn- oder Flugtickets, Interaktion mit Bank, auch mit natürlichsprachlichen Anwendungen Übersetzungssysteme: fremdsprachige Web-Seiten, Gebrauchsanweisungen, Wetterberichte etc. Schütze & Zangenfeind: Überblick 4 / 19

10 Beispiele für industrielle Anwendungen Internetsuchmaschinen: sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Dialoganwendungen: Zugang zu komplexen Systemen, z.b. Bestellung eines Bahn- oder Flugtickets, Interaktion mit Bank, auch mit natürlichsprachlichen Anwendungen Übersetzungssysteme: fremdsprachige Web-Seiten, Gebrauchsanweisungen, Wetterberichte etc. automatische Silbentrennung, Rechtschreibprüfung und -korrektur Schütze & Zangenfeind: Überblick 4 / 19

11 Beispiele für industrielle Anwendungen Internetsuchmaschinen: sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Dialoganwendungen: Zugang zu komplexen Systemen, z.b. Bestellung eines Bahn- oder Flugtickets, Interaktion mit Bank, auch mit natürlichsprachlichen Anwendungen Übersetzungssysteme: fremdsprachige Web-Seiten, Gebrauchsanweisungen, Wetterberichte etc. automatische Silbentrennung, Rechtschreibprüfung und -korrektur automatische Spracherkennung Schütze & Zangenfeind: Überblick 4 / 19

12 Beispiele für industrielle Anwendungen Internetsuchmaschinen: sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Dialoganwendungen: Zugang zu komplexen Systemen, z.b. Bestellung eines Bahn- oder Flugtickets, Interaktion mit Bank, auch mit natürlichsprachlichen Anwendungen Übersetzungssysteme: fremdsprachige Web-Seiten, Gebrauchsanweisungen, Wetterberichte etc. automatische Silbentrennung, Rechtschreibprüfung und -korrektur automatische Spracherkennung Informationsextraktion, z.b. relevante Qualifikationen aus Bewerbungsbriefen und Lebensläufen maschinell extrahieren Schütze & Zangenfeind: Überblick 4 / 19

13 Berufsfelder für Computerlinguisten Schütze & Zangenfeind: Überblick 5 / 19

14 Berufsfelder für Computerlinguisten Verarbeitung gesprochener Sprache für die Interaktion mit Computern Schütze & Zangenfeind: Überblick 5 / 19

15 Berufsfelder für Computerlinguisten Verarbeitung gesprochener Sprache für die Interaktion mit Computern Verarbeitung von Texten (suchen, bearbeiten und verwalten) Schütze & Zangenfeind: Überblick 5 / 19

16 Berufsfelder für Computerlinguisten Verarbeitung gesprochener Sprache für die Interaktion mit Computern Verarbeitung von Texten (suchen, bearbeiten und verwalten) Einsatz sprachtechnologischer Software und Ressourcen (in Verlagen, Übersetzungsbüros, Verwaltungen etc.): Maschinelle Übersetzung, elektronische Wörterbücher, Spracherkennung, Sprachgenerierung, lexikonbasierte Optimierung von Optical-Character-Recognition-Verfahren (OCR) Schütze & Zangenfeind: Überblick 5 / 19

17 Berufsfelder für Computerlinguisten Verarbeitung gesprochener Sprache für die Interaktion mit Computern Verarbeitung von Texten (suchen, bearbeiten und verwalten) Einsatz sprachtechnologischer Software und Ressourcen (in Verlagen, Übersetzungsbüros, Verwaltungen etc.): Maschinelle Übersetzung, elektronische Wörterbücher, Spracherkennung, Sprachgenerierung, lexikonbasierte Optimierung von Optical-Character-Recognition-Verfahren (OCR) akademischer Bereich Schütze & Zangenfeind: Überblick 5 / 19

18 Berufsfelder für Computerlinguisten Verarbeitung gesprochener Sprache für die Interaktion mit Computern Verarbeitung von Texten (suchen, bearbeiten und verwalten) Einsatz sprachtechnologischer Software und Ressourcen (in Verlagen, Übersetzungsbüros, Verwaltungen etc.): Maschinelle Übersetzung, elektronische Wörterbücher, Spracherkennung, Sprachgenerierung, lexikonbasierte Optimierung von Optical-Character-Recognition-Verfahren (OCR) akademischer Bereich Bedarf an Experten steigt tendentiell Schütze & Zangenfeind: Überblick 5 / 19

19 Typische Forschungsgegenstände Schütze & Zangenfeind: Überblick 6 / 19

20 Typische Forschungsgegenstände Entwicklung von Methoden (Theorie) Schütze & Zangenfeind: Überblick 6 / 19

21 Typische Forschungsgegenstände Entwicklung von Methoden (Theorie) Entwicklung realistischer Anwendungen (Praxis) Schütze & Zangenfeind: Überblick 6 / 19

22 Typische Forschungsgegenstände Entwicklung von Methoden (Theorie) Entwicklung realistischer Anwendungen (Praxis) Aufbau und Verwaltung großer wiederverwendbarer Korpora (Daten) Schütze & Zangenfeind: Überblick 6 / 19

23 Typische Forschungsgegenstände Entwicklung von Methoden (Theorie) Entwicklung realistischer Anwendungen (Praxis) Aufbau und Verwaltung großer wiederverwendbarer Korpora (Daten) Konzeption effektiver Evaluationsmechanismen (Experimente) Schütze & Zangenfeind: Überblick 6 / 19

24 Nachbardisziplinen (1) Schütze & Zangenfeind: Überblick 7 / 19

25 Nachbardisziplinen (1) Linguistik Schütze & Zangenfeind: Überblick 7 / 19

26 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Schütze & Zangenfeind: Überblick 7 / 19

27 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Grundinventar linguistischer Termini Schütze & Zangenfeind: Überblick 7 / 19

28 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Grundinventar linguistischer Termini Teilgebiete: Phonetik/Phonologie, Morphologie, Syntax, Semantik, Pragmatik; Korpuslinguistik Schütze & Zangenfeind: Überblick 7 / 19

29 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Grundinventar linguistischer Termini Teilgebiete: Phonetik/Phonologie, Morphologie, Syntax, Semantik, Pragmatik; Korpuslinguistik Informatik (Algorithmen, Datenstrukturen, Software Engineering) Schütze & Zangenfeind: Überblick 7 / 19

30 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Grundinventar linguistischer Termini Teilgebiete: Phonetik/Phonologie, Morphologie, Syntax, Semantik, Pragmatik; Korpuslinguistik Informatik (Algorithmen, Datenstrukturen, Software Engineering) Philosophie (Verbindung von Sprache, Denken und Handeln; Relation zu außersprachlichen Gegebenheiten) Schütze & Zangenfeind: Überblick 7 / 19

31 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Grundinventar linguistischer Termini Teilgebiete: Phonetik/Phonologie, Morphologie, Syntax, Semantik, Pragmatik; Korpuslinguistik Informatik (Algorithmen, Datenstrukturen, Software Engineering) Philosophie (Verbindung von Sprache, Denken und Handeln; Relation zu außersprachlichen Gegebenheiten) Künstliche Intelligenz (knowledge representation, reasoning, learning) Schütze & Zangenfeind: Überblick 7 / 19

32 Nachbardisziplinen (2) Schütze & Zangenfeind: Überblick 8 / 19

33 Nachbardisziplinen (2) Kognitionswissenschaft (Sprachbeherrschung ist spezieller Teilbereich der kognitiven Fähigkeiten des Menschen) Schütze & Zangenfeind: Überblick 8 / 19

34 Nachbardisziplinen (2) Kognitionswissenschaft (Sprachbeherrschung ist spezieller Teilbereich der kognitiven Fähigkeiten des Menschen) Mathematik Schütze & Zangenfeind: Überblick 8 / 19

35 Nachbardisziplinen (2) Kognitionswissenschaft (Sprachbeherrschung ist spezieller Teilbereich der kognitiven Fähigkeiten des Menschen) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Schütze & Zangenfeind: Überblick 8 / 19

36 Nachbardisziplinen (2) Kognitionswissenschaft (Sprachbeherrschung ist spezieller Teilbereich der kognitiven Fähigkeiten des Menschen) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: Schütze & Zangenfeind: Überblick 8 / 19

37 Nachbardisziplinen (2) Kognitionswissenschaft (Sprachbeherrschung ist spezieller Teilbereich der kognitiven Fähigkeiten des Menschen) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: Schütze & Zangenfeind: Überblick 8 / 19

38 Nachbardisziplinen (2) Kognitionswissenschaft (Sprachbeherrschung ist spezieller Teilbereich der kognitiven Fähigkeiten des Menschen) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: (1) Ein großer Berg vs. Eine große Ameise Schütze & Zangenfeind: Überblick 8 / 19

39 Nachbardisziplinen (2) Kognitionswissenschaft (Sprachbeherrschung ist spezieller Teilbereich der kognitiven Fähigkeiten des Menschen) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: (1) Ein großer Berg vs. Eine große Ameise Vagheit des Adjektivs (kein Problem für Menschen) Logik modifizieren in CL Schütze & Zangenfeind: Überblick 8 / 19

40 Nachbardisziplinen (2) Kognitionswissenschaft (Sprachbeherrschung ist spezieller Teilbereich der kognitiven Fähigkeiten des Menschen) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: (1) Ein großer Berg vs. Eine große Ameise Vagheit des Adjektivs (kein Problem für Menschen) Logik modifizieren in CL (2) Vögel fliegen. / Pinguine sind Vögel. / Pinguine fliegen. Schütze & Zangenfeind: Überblick 8 / 19

41 Nachbardisziplinen (2) Kognitionswissenschaft (Sprachbeherrschung ist spezieller Teilbereich der kognitiven Fähigkeiten des Menschen) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: (1) Ein großer Berg vs. Eine große Ameise Vagheit des Adjektivs (kein Problem für Menschen) Logik modifizieren in CL (2) Vögel fliegen. / Pinguine sind Vögel. / Pinguine fliegen. scheinbar widersprüchliche Aussagen (Mensch hat wenig Probleme damit) Schütze & Zangenfeind: Überblick 8 / 19

42 Teilgebiete der Linguistik Phonetik und Phonologie Morphologie Syntax Semantik Pragmatik Schütze & Zangenfeind: Überblick 9 / 19

43 Teilgebiete der Linguistik Phonetik und Phonologie Morphologie Syntax Semantik Pragmatik Jedes dieser Teilgebiete hat auch eine Entsprechung in der Computerlinguistik. Schütze & Zangenfeind: Überblick 9 / 19

44 Phonetik und Phonologie Schütze & Zangenfeind: Überblick 10 / 19

45 Phonetik und Phonologie artikulatorische Merkmale Schütze & Zangenfeind: Überblick 10 / 19

46 Phonetik und Phonologie artikulatorische Merkmale Lautstruktur natürlicher Sprachen Schütze & Zangenfeind: Überblick 10 / 19

47 Phonetik und Phonologie artikulatorische Merkmale Lautstruktur natürlicher Sprachen Spracherkennung: Erkennung und Produktion gesprochener Sprache Schütze & Zangenfeind: Überblick 10 / 19

48 Phonetik und Phonologie artikulatorische Merkmale Lautstruktur natürlicher Sprachen Spracherkennung: Erkennung und Produktion gesprochener Sprache modellieren, welche Segmente ein Wort enthält und wie sich deren Struktur auf die Aussprache auswirkt Schütze & Zangenfeind: Überblick 10 / 19

49 Phonetik und Phonologie artikulatorische Merkmale Lautstruktur natürlicher Sprachen Spracherkennung: Erkennung und Produktion gesprochener Sprache modellieren, welche Segmente ein Wort enthält und wie sich deren Struktur auf die Aussprache auswirkt z.b. wenn ein im Prinzip stimmhafter Konsonant am Wortende stimmlos wird ( Auslautverhärtung ): Schütze & Zangenfeind: Überblick 10 / 19

50 Phonetik und Phonologie artikulatorische Merkmale Lautstruktur natürlicher Sprachen Spracherkennung: Erkennung und Produktion gesprochener Sprache modellieren, welche Segmente ein Wort enthält und wie sich deren Struktur auf die Aussprache auswirkt z.b. wenn ein im Prinzip stimmhafter Konsonant am Wortende stimmlos wird ( Auslautverhärtung ): (3) Dieb /Diep/ vs. Diebe /Diebe/ Schütze & Zangenfeind: Überblick 10 / 19

51 Morphologie Schütze & Zangenfeind: Überblick 11 / 19

52 Morphologie Bildung und Struktur von Wörtern Schütze & Zangenfeind: Überblick 11 / 19

53 Morphologie Bildung und Struktur von Wörtern lexikalische Wurzel von einzelnen Wörtern Schütze & Zangenfeind: Überblick 11 / 19

54 Morphologie Bildung und Struktur von Wörtern lexikalische Wurzel von einzelnen Wörtern Prozesse, verantwortlich für unterschiedliche Erscheinungsformen an der Oberfläche Schütze & Zangenfeind: Überblick 11 / 19

55 Morphologie Bildung und Struktur von Wörtern lexikalische Wurzel von einzelnen Wörtern Prozesse, verantwortlich für unterschiedliche Erscheinungsformen an der Oberfläche Veränderung der Verwendung und Bedeutung des Wortes durch Oberflächenmodifikationen Schütze & Zangenfeind: Überblick 11 / 19

56 Morphologie Bildung und Struktur von Wörtern lexikalische Wurzel von einzelnen Wörtern Prozesse, verantwortlich für unterschiedliche Erscheinungsformen an der Oberfläche Veränderung der Verwendung und Bedeutung des Wortes durch Oberflächenmodifikationen z.b. Suffix -e als Pluralmarkierung: Schütze & Zangenfeind: Überblick 11 / 19

57 Morphologie Bildung und Struktur von Wörtern lexikalische Wurzel von einzelnen Wörtern Prozesse, verantwortlich für unterschiedliche Erscheinungsformen an der Oberfläche Veränderung der Verwendung und Bedeutung des Wortes durch Oberflächenmodifikationen z.b. Suffix -e als Pluralmarkierung: (4) Dieb-e Dieb-pl Mehr als ein Dieb Schütze & Zangenfeind: Überblick 11 / 19

58 Syntax Schütze & Zangenfeind: Überblick 12 / 19

59 Syntax Strukturbildung von Sätzen Schütze & Zangenfeind: Überblick 12 / 19

60 Syntax Strukturbildung von Sätzen traditionell am stärksten vertretene Teildisziplin der Computerlinguistik Schütze & Zangenfeind: Überblick 12 / 19

61 Syntax Strukturbildung von Sätzen traditionell am stärksten vertretene Teildisziplin der Computerlinguistik Erkennung von Grammatikalität und darauf folgende Bedeutungserschließung Schütze & Zangenfeind: Überblick 12 / 19

62 Syntax Strukturbildung von Sätzen traditionell am stärksten vertretene Teildisziplin der Computerlinguistik Erkennung von Grammatikalität und darauf folgende Bedeutungserschließung z.b. (5) Der gewitzte Dieb stahl das Geld. Schütze & Zangenfeind: Überblick 12 / 19

63 Syntax Strukturbildung von Sätzen traditionell am stärksten vertretene Teildisziplin der Computerlinguistik Erkennung von Grammatikalität und darauf folgende Bedeutungserschließung z.b. (5) Der gewitzte Dieb stahl das Geld. vs. Schütze & Zangenfeind: Überblick 12 / 19

64 Syntax Strukturbildung von Sätzen traditionell am stärksten vertretene Teildisziplin der Computerlinguistik Erkennung von Grammatikalität und darauf folgende Bedeutungserschließung z.b. (5) Der gewitzte Dieb stahl das Geld. vs. *Der Dieb gewitzte stahl das Geld. Schütze & Zangenfeind: Überblick 12 / 19

65 Semantik Schütze & Zangenfeind: Überblick 13 / 19

66 Semantik Bedeutung sprachlicher Einheiten (Wort, Satz etc.) Schütze & Zangenfeind: Überblick 13 / 19

67 Semantik Bedeutung sprachlicher Einheiten (Wort, Satz etc.) z.b. (6) Die Polizei beschlagnahmte das Diebesgut. Schütze & Zangenfeind: Überblick 13 / 19

68 Semantik Bedeutung sprachlicher Einheiten (Wort, Satz etc.) z.b. (6) Die Polizei beschlagnahmte das Diebesgut. vs. Schütze & Zangenfeind: Überblick 13 / 19

69 Semantik Bedeutung sprachlicher Einheiten (Wort, Satz etc.) z.b. (6) Die Polizei beschlagnahmte das Diebesgut. vs. Das Diebesgut beschlagnahmte die Polizei. Schütze & Zangenfeind: Überblick 13 / 19

70 Semantik Bedeutung sprachlicher Einheiten (Wort, Satz etc.) z.b. (6) Die Polizei beschlagnahmte das Diebesgut. vs. Das Diebesgut beschlagnahmte die Polizei. gleiche Bedeutung Schütze & Zangenfeind: Überblick 13 / 19

71 Pragmatik Schütze & Zangenfeind: Überblick 14 / 19

72 Pragmatik Zweck einer Äußerung in der Welt, z.b. Schütze & Zangenfeind: Überblick 14 / 19

73 Pragmatik Zweck einer Äußerung in der Welt, z.b. Wissen Sie, wie spät es ist? Schütze & Zangenfeind: Überblick 14 / 19

74 Pragmatik Zweck einer Äußerung in der Welt, z.b. Wissen Sie, wie spät es ist? Bestimmung des Bezugs von Wörtern: Antezedens eines Pronomens, z.b.: Schütze & Zangenfeind: Überblick 14 / 19

75 Pragmatik Zweck einer Äußerung in der Welt, z.b. Wissen Sie, wie spät es ist? Bestimmung des Bezugs von Wörtern: Antezedens eines Pronomens, z.b.: Die Katze schnurrt. Sie hat Hunger. Schütze & Zangenfeind: Überblick 14 / 19

76 Pragmatik Zweck einer Äußerung in der Welt, z.b. Wissen Sie, wie spät es ist? Bestimmung des Bezugs von Wörtern: Antezedens eines Pronomens, z.b.: Die Katze schnurrt. Sie hat Hunger. implizite Annahmen (Präsuppositionen), z.b.: Schütze & Zangenfeind: Überblick 14 / 19

77 Pragmatik Zweck einer Äußerung in der Welt, z.b. Wissen Sie, wie spät es ist? Bestimmung des Bezugs von Wörtern: Antezedens eines Pronomens, z.b.: Die Katze schnurrt. Sie hat Hunger. implizite Annahmen (Präsuppositionen), z.b.: der Präsident von Frankreich wurde nicht in Paris geboren Schütze & Zangenfeind: Überblick 14 / 19

78 Pragmatik Zweck einer Äußerung in der Welt, z.b. Wissen Sie, wie spät es ist? Bestimmung des Bezugs von Wörtern: Antezedens eines Pronomens, z.b.: Die Katze schnurrt. Sie hat Hunger. implizite Annahmen (Präsuppositionen), z.b.: der Präsident von Frankreich wurde nicht in Paris geboren der Präsident von Norwegen wurde nicht in Oslo geboren Schütze & Zangenfeind: Überblick 14 / 19

79 Korpuslinguistik Schütze & Zangenfeind: Überblick 15 / 19

80 Korpuslinguistik seit Anfang 1980er Schütze & Zangenfeind: Überblick 15 / 19

81 Korpuslinguistik seit Anfang 1980er Fortschritte bei Erkennung gesprochener Sprache Schütze & Zangenfeind: Überblick 15 / 19

82 Korpuslinguistik seit Anfang 1980er Fortschritte bei Erkennung gesprochener Sprache Wortartendisambiguierung (Tagging) Schütze & Zangenfeind: Überblick 15 / 19

83 Korpuslinguistik seit Anfang 1980er Fortschritte bei Erkennung gesprochener Sprache Wortartendisambiguierung (Tagging) syntaktische Analyse (Parsing) Schütze & Zangenfeind: Überblick 15 / 19

84 Korpuslinguistik seit Anfang 1980er Fortschritte bei Erkennung gesprochener Sprache Wortartendisambiguierung (Tagging) syntaktische Analyse (Parsing) semantische Lesartendisambiguierung (z.b. Bank 1 vs. Bank 2) Schütze & Zangenfeind: Überblick 15 / 19

85 Korpuslinguistik seit Anfang 1980er Fortschritte bei Erkennung gesprochener Sprache Wortartendisambiguierung (Tagging) syntaktische Analyse (Parsing) semantische Lesartendisambiguierung (z.b. Bank 1 vs. Bank 2) maschinelle Übersetzung Schütze & Zangenfeind: Überblick 15 / 19

86 Text corpus Schütze & Zangenfeind: Überblick 16 / 19

87 Text corpus Definition A corpus (plural corpora) or text corpus is a large and structured set of texts, nowadays usually electronically stored and processed. Schütze & Zangenfeind: Überblick 16 / 19

88 Text corpus Definition A corpus (plural corpora) or text corpus is a large and structured set of texts, nowadays usually electronically stored and processed. Corpora are used to do statistical analysis and hypothesis testing, checking occurrences or validating linguistic rules within a specific language territory. Schütze & Zangenfeind: Überblick 16 / 19

89 Text corpus Definition A corpus (plural corpora) or text corpus is a large and structured set of texts, nowadays usually electronically stored and processed. Corpora are used to do statistical analysis and hypothesis testing, checking occurrences or validating linguistic rules within a specific language territory. A corpus may contain texts in a single language (monolingual corpus) or text data in multiple languages (multilingual corpus). Schütze & Zangenfeind: Überblick 16 / 19

90 Text corpus Definition A corpus (plural corpora) or text corpus is a large and structured set of texts, nowadays usually electronically stored and processed. Corpora are used to do statistical analysis and hypothesis testing, checking occurrences or validating linguistic rules within a specific language territory. A corpus may contain texts in a single language (monolingual corpus) or text data in multiple languages (multilingual corpus). (from Wikipedia) Schütze & Zangenfeind: Überblick 16 / 19

91 Kleine Geschichte der Computerlinguistik (1) Schütze & Zangenfeind: Überblick 17 / 19

92 Kleine Geschichte der Computerlinguistik (1) frühe Entwicklung der Computertechnologie (1930er-, 40er-Jahre): numerische Problemstellungen ( Berechnungen, z.b. ballistische Kurven), auch symbolische Verarbeitungsaufgaben (Dechiffrierung verschlüsselter Nachrichtentexte maschinelle Übersetzung (MÜ) als Spezialfall einer Dekodierungsaufgabe) Schütze & Zangenfeind: Überblick 17 / 19

93 Kleine Geschichte der Computerlinguistik (1) frühe Entwicklung der Computertechnologie (1930er-, 40er-Jahre): numerische Problemstellungen ( Berechnungen, z.b. ballistische Kurven), auch symbolische Verarbeitungsaufgaben (Dechiffrierung verschlüsselter Nachrichtentexte maschinelle Übersetzung (MÜ) als Spezialfall einer Dekodierungsaufgabe) frühe Ansätze der MÜ haben gemeinsame Wurzel: stochastische Informationstheorie (Betrachtung des fremdsprachlichen Textes als Ergebnis der Übertragung einer Nachricht über gestörten Kanal Aufgabe: Rekonstruktion des ursprünglichen Nachrichtentextes) Schütze & Zangenfeind: Überblick 17 / 19

94 Kleine Geschichte der Computerlinguistik (1) frühe Entwicklung der Computertechnologie (1930er-, 40er-Jahre): numerische Problemstellungen ( Berechnungen, z.b. ballistische Kurven), auch symbolische Verarbeitungsaufgaben (Dechiffrierung verschlüsselter Nachrichtentexte maschinelle Übersetzung (MÜ) als Spezialfall einer Dekodierungsaufgabe) frühe Ansätze der MÜ haben gemeinsame Wurzel: stochastische Informationstheorie (Betrachtung des fremdsprachlichen Textes als Ergebnis der Übertragung einer Nachricht über gestörten Kanal Aufgabe: Rekonstruktion des ursprünglichen Nachrichtentextes) Statistische Verfahren wurden dann für Jahrzehnte aufgegeben. Schütze & Zangenfeind: Überblick 17 / 19

95 Kleine Geschichte der Computerlinguistik (2) Schütze & Zangenfeind: Überblick 18 / 19

96 Kleine Geschichte der Computerlinguistik (2) Aufgabe von statistischen Verfahren weil Schütze & Zangenfeind: Überblick 18 / 19

97 Kleine Geschichte der Computerlinguistik (2) Aufgabe von statistischen Verfahren weil Chomsky die Unzulänglichkeit der statistischen Verfahren der 50er und 60er für Sprachmodellierung nachweist. Schütze & Zangenfeind: Überblick 18 / 19

98 Kleine Geschichte der Computerlinguistik (2) Aufgabe von statistischen Verfahren weil Chomsky die Unzulänglichkeit der statistischen Verfahren der 50er und 60er für Sprachmodellierung nachweist. die Leistungsfähigkeit der damaligen Hardware nicht ausreichte (Beschränkungen bevorzugen symbolische Ansätze) Schütze & Zangenfeind: Überblick 18 / 19

99 Literatur und Links Schütze & Zangenfeind: Überblick 19 / 19

100 Literatur und Links Jurafsky & Martin: Speech and Language Processing. Pearson Prentice Hall Schütze & Zangenfeind: Überblick 19 / 19

101 Literatur und Links Jurafsky & Martin: Speech and Language Processing. Pearson Prentice Hall Manning & Schütze: Foundations of Statistical Natural Language Processing. MIT Press Schütze & Zangenfeind: Überblick 19 / 19

102 Literatur und Links Jurafsky & Martin: Speech and Language Processing. Pearson Prentice Hall Manning & Schütze: Foundations of Statistical Natural Language Processing. MIT Press Carstensen et al.: Computerlinguistik und Sprachtechnologie. Eine Einführung. Heidelberg 2010 (3. Auflage) Schütze & Zangenfeind: Überblick 19 / 19

103 Literatur und Links Jurafsky & Martin: Speech and Language Processing. Pearson Prentice Hall Manning & Schütze: Foundations of Statistical Natural Language Processing. MIT Press Carstensen et al.: Computerlinguistik und Sprachtechnologie. Eine Einführung. Heidelberg 2010 (3. Auflage) elektronische Version beim EasyProxy der Universitätsbibliothek: Schütze & Zangenfeind: Überblick 19 / 19