Einführung in die Computerlinguistik

Transkript

1 Einführung in die Computerlinguistik Hinrich Schütze Center for Information and Language Processing Schütze: Einführung in die Computerlinguistik 1 / 75

2 Die Grundfassung dieses Foliensatzes wurde von Dr. Benjamin Roth erstellt. Fehler und Mängel sind ausschließlich meine Verantwortung. Schütze: Einführung in die Computerlinguistik 2 / 75

3 Outline 1 Was ist Computerlinguistik? 2 Organisation 3 Linguistik 4 CL-Methoden 5 Sprachtechnologie 6 Allgemeines Schütze: Einführung in die Computerlinguistik 3 / 75

5 Was ist Computerlinguistik? Definition Computational linguistics is the scientific study of models and methods for automatic processing of natural language. Computational linguistics is an interdisciplinary field that shares a large part of its subject matter with computer science and linguistics. However, computational linguists also work on theories, models and methods that are not part of core linguistics or core computer science. Schütze: Einführung in die Computerlinguistik 5 / 75

9 Teilbereiche der Computerlinguistik Traditionell zwei Teilbereiche: Schütze: Einführung in die Computerlinguistik 6 / 75

10 Teilbereiche der Computerlinguistik Traditionell zwei Teilbereiche: 1 Theoretische Computerlinguistik: Sieht sich als Teildisziplin der Linguistik, die formale berechenbare Modelle natürlicher Sprache entwickelt, implementiert und untersucht. Schütze: Einführung in die Computerlinguistik 6 / 75

11 Teilbereiche der Computerlinguistik Traditionell zwei Teilbereiche: 1 Theoretische Computerlinguistik: Sieht sich als Teildisziplin der Linguistik, die formale berechenbare Modelle natürlicher Sprache entwickelt, implementiert und untersucht. 2 Angewandte Computerlinguistik: interdisziplinäres Forschungsgebiet (Linguistik, Informatik), das konkrete Algorithmen für die maschinelle Sprachverarbeitung entwickelt (maschinelle Übersetzung, Spracherkennung...) Schütze: Einführung in die Computerlinguistik 6 / 75

12 Disziplinen: Eine leicht andere Sicht Schütze: Einführung in die Computerlinguistik 7 / 75

13 Disziplinen: Eine leicht andere Sicht Schütze: Einführung in die Computerlinguistik 8 / 75

14 Flying systems in nature Was ist Computerlinguistik? Organisation Schu tze: Einfu hrung in die Computerlinguistik Linguistik CL-Methoden Sprachtechnologie Allgemeines 9 / 75

15 Noch eine andere Sicht Schütze: Einführung in die Computerlinguistik 10 / 75

16 Anwendungen der Computerlinguistik Schütze: Einführung in die Computerlinguistik 11 / 75

17 Anwendungen der Computerlinguistik Häufigkeitsanalysen von Vorkommen von Wörtern und linguistischen Phänomenen Schütze: Einführung in die Computerlinguistik 11 / 75

18 Anwendungen der Computerlinguistik Häufigkeitsanalysen von Vorkommen von Wörtern und linguistischen Phänomenen Lexikographie (Thesauri, Wörterbücher) Schütze: Einführung in die Computerlinguistik 11 / 75

19 Anwendungen der Computerlinguistik Häufigkeitsanalysen von Vorkommen von Wörtern und linguistischen Phänomenen Lexikographie (Thesauri, Wörterbücher) Suche: Google, Facebook etc. Sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Schütze: Einführung in die Computerlinguistik 11 / 75

20 Anwendungen der Computerlinguistik Häufigkeitsanalysen von Vorkommen von Wörtern und linguistischen Phänomenen Lexikographie (Thesauri, Wörterbücher) Suche: Google, Facebook etc. Sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Dialoganwendungen: Zugang zu komplexen Systemen, z.b. Bestellung eines Bahn- oder Flugtickets, Interaktion mit Bank, auch mit natürlichsprachlichen Anwendungen Schütze: Einführung in die Computerlinguistik 11 / 75

21 Anwendungen der Computerlinguistik Häufigkeitsanalysen von Vorkommen von Wörtern und linguistischen Phänomenen Lexikographie (Thesauri, Wörterbücher) Suche: Google, Facebook etc. Sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Dialoganwendungen: Zugang zu komplexen Systemen, z.b. Bestellung eines Bahn- oder Flugtickets, Interaktion mit Bank, auch mit natürlichsprachlichen Anwendungen Übersetzungssysteme: fremdsprachige Web-Seiten, Gebrauchsanweisungen, Social Media etc. Schütze: Einführung in die Computerlinguistik 11 / 75

22 Anwendungen der Computerlinguistik Häufigkeitsanalysen von Vorkommen von Wörtern und linguistischen Phänomenen Lexikographie (Thesauri, Wörterbücher) Suche: Google, Facebook etc. Sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Dialoganwendungen: Zugang zu komplexen Systemen, z.b. Bestellung eines Bahn- oder Flugtickets, Interaktion mit Bank, auch mit natürlichsprachlichen Anwendungen Übersetzungssysteme: fremdsprachige Web-Seiten, Gebrauchsanweisungen, Social Media etc. automatische Silbentrennung, Rechtschreibprüfung und -korrektur Schütze: Einführung in die Computerlinguistik 11 / 75

23 Anwendungen der Computerlinguistik Häufigkeitsanalysen von Vorkommen von Wörtern und linguistischen Phänomenen Lexikographie (Thesauri, Wörterbücher) Suche: Google, Facebook etc. Sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Dialoganwendungen: Zugang zu komplexen Systemen, z.b. Bestellung eines Bahn- oder Flugtickets, Interaktion mit Bank, auch mit natürlichsprachlichen Anwendungen Übersetzungssysteme: fremdsprachige Web-Seiten, Gebrauchsanweisungen, Social Media etc. automatische Silbentrennung, Rechtschreibprüfung und -korrektur automatische Spracherkennung Schütze: Einführung in die Computerlinguistik 11 / 75

24 Anwendungen der Computerlinguistik Häufigkeitsanalysen von Vorkommen von Wörtern und linguistischen Phänomenen Lexikographie (Thesauri, Wörterbücher) Suche: Google, Facebook etc. Sehr große Menge an Information, aber hochgradig unstrukturiert direkter Zugang zu relevanten Daten ist schwierig. Dialoganwendungen: Zugang zu komplexen Systemen, z.b. Bestellung eines Bahn- oder Flugtickets, Interaktion mit Bank, auch mit natürlichsprachlichen Anwendungen Übersetzungssysteme: fremdsprachige Web-Seiten, Gebrauchsanweisungen, Social Media etc. automatische Silbentrennung, Rechtschreibprüfung und -korrektur automatische Spracherkennung Informationsextraktion, z.b. relevante Qualifikationen aus Bewerbungsschreiben und Lebensläufen maschinell extrahieren Schütze: Einführung in die Computerlinguistik 11 / 75

25 Berufsfelder für Computerlinguistik Schütze: Einführung in die Computerlinguistik 12 / 75

26 Berufsfelder für Computerlinguistik Verarbeitung gesprochener Sprache für die Interaktion mit Computern Schütze: Einführung in die Computerlinguistik 12 / 75

27 Berufsfelder für Computerlinguistik Verarbeitung gesprochener Sprache für die Interaktion mit Computern Verarbeitung von Texten (suchen, bearbeiten und verwalten) Schütze: Einführung in die Computerlinguistik 12 / 75

28 Berufsfelder für Computerlinguistik Verarbeitung gesprochener Sprache für die Interaktion mit Computern Verarbeitung von Texten (suchen, bearbeiten und verwalten) Einsatz sprachtechnologischer Software und Ressourcen (in Verlagen, Übersetzungsbüros, Verwaltungen etc.): Maschinelle Übersetzung, elektronische Wörterbücher, Spracherkennung, Sprachgenerierung, Optical-Character-Recognition-Verfahren (OCR) Schütze: Einführung in die Computerlinguistik 12 / 75

29 Berufsfelder für Computerlinguistik Verarbeitung gesprochener Sprache für die Interaktion mit Computern Verarbeitung von Texten (suchen, bearbeiten und verwalten) Einsatz sprachtechnologischer Software und Ressourcen (in Verlagen, Übersetzungsbüros, Verwaltungen etc.): Maschinelle Übersetzung, elektronische Wörterbücher, Spracherkennung, Sprachgenerierung, Optical-Character-Recognition-Verfahren (OCR) akademischer Bereich Schütze: Einführung in die Computerlinguistik 12 / 75

30 Berufsfelder für Computerlinguistik Verarbeitung gesprochener Sprache für die Interaktion mit Computern Verarbeitung von Texten (suchen, bearbeiten und verwalten) Einsatz sprachtechnologischer Software und Ressourcen (in Verlagen, Übersetzungsbüros, Verwaltungen etc.): Maschinelle Übersetzung, elektronische Wörterbücher, Spracherkennung, Sprachgenerierung, Optical-Character-Recognition-Verfahren (OCR) akademischer Bereich Bedarf an Experten steigt tendenziell Schütze: Einführung in die Computerlinguistik 12 / 75

31 Typische Forschungsgegenstände Schütze: Einführung in die Computerlinguistik 13 / 75

32 Typische Forschungsgegenstände Entwicklung von Methoden (Theorie) Schütze: Einführung in die Computerlinguistik 13 / 75

33 Typische Forschungsgegenstände Entwicklung von Methoden (Theorie) Entwicklung realistischer Anwendungen (Praxis) Schütze: Einführung in die Computerlinguistik 13 / 75

34 Typische Forschungsgegenstände Entwicklung von Methoden (Theorie) Entwicklung realistischer Anwendungen (Praxis) Aufbau und Verwaltung großer wiederverwendbarer Korpora (Daten) Schütze: Einführung in die Computerlinguistik 13 / 75

35 Typische Forschungsgegenstände Entwicklung von Methoden (Theorie) Entwicklung realistischer Anwendungen (Praxis) Aufbau und Verwaltung großer wiederverwendbarer Korpora (Daten) Konzeption effektiver Evaluierungsmechanismen (Experimente) Schütze: Einführung in die Computerlinguistik 13 / 75

36 Nachbardisziplinen (1) Schütze: Einführung in die Computerlinguistik 14 / 75

37 Nachbardisziplinen (1) Linguistik Schütze: Einführung in die Computerlinguistik 14 / 75

38 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Schütze: Einführung in die Computerlinguistik 14 / 75

39 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Grundinventar linguistischer Termini Schütze: Einführung in die Computerlinguistik 14 / 75

40 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Grundinventar linguistischer Termini Teilgebiete: Phonetik/Phonologie, Morphologie, Syntax, Semantik, Pragmatik; Korpuslinguistik Schütze: Einführung in die Computerlinguistik 14 / 75

41 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Grundinventar linguistischer Termini Teilgebiete: Phonetik/Phonologie, Morphologie, Syntax, Semantik, Pragmatik; Korpuslinguistik Informatik (Algorithmen, Datenstrukturen, Software Engineering) Schütze: Einführung in die Computerlinguistik 14 / 75

42 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Grundinventar linguistischer Termini Teilgebiete: Phonetik/Phonologie, Morphologie, Syntax, Semantik, Pragmatik; Korpuslinguistik Informatik (Algorithmen, Datenstrukturen, Software Engineering) Kognitionswissenschaft (Sprachbeherrschung ist spezieller Teilbereich der kognitiven Fähigkeiten des Menschen) Schütze: Einführung in die Computerlinguistik 14 / 75

43 Nachbardisziplinen (1) Linguistik Die Wissenschaft, die sich mit menschlicher Sprache beschäftigt Grundinventar linguistischer Termini Teilgebiete: Phonetik/Phonologie, Morphologie, Syntax, Semantik, Pragmatik; Korpuslinguistik Informatik (Algorithmen, Datenstrukturen, Software Engineering) Kognitionswissenschaft (Sprachbeherrschung ist spezieller Teilbereich der kognitiven Fähigkeiten des Menschen) Künstliche Intelligenz (knowledge representation, reasoning, learning) Schütze: Einführung in die Computerlinguistik 14 / 75

44 Nachbardisziplinen (2) Schütze: Einführung in die Computerlinguistik 15 / 75

45 Nachbardisziplinen (2) Philosophie (Verbindung von Sprache, Denken und Handeln; Relation zu außersprachlichen Gegebenheiten) Schütze: Einführung in die Computerlinguistik 15 / 75

46 Nachbardisziplinen (2) Philosophie (Verbindung von Sprache, Denken und Handeln; Relation zu außersprachlichen Gegebenheiten) Mathematik Schütze: Einführung in die Computerlinguistik 15 / 75

47 Nachbardisziplinen (2) Philosophie (Verbindung von Sprache, Denken und Handeln; Relation zu außersprachlichen Gegebenheiten) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Schütze: Einführung in die Computerlinguistik 15 / 75

48 Nachbardisziplinen (2) Philosophie (Verbindung von Sprache, Denken und Handeln; Relation zu außersprachlichen Gegebenheiten) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: Schütze: Einführung in die Computerlinguistik 15 / 75

49 Nachbardisziplinen (2) Philosophie (Verbindung von Sprache, Denken und Handeln; Relation zu außersprachlichen Gegebenheiten) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: Schütze: Einführung in die Computerlinguistik 15 / 75

50 Nachbardisziplinen (2) Philosophie (Verbindung von Sprache, Denken und Handeln; Relation zu außersprachlichen Gegebenheiten) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: (1) Ein großer Berg vs. Eine große Ameise Schütze: Einführung in die Computerlinguistik 15 / 75

51 Nachbardisziplinen (2) Philosophie (Verbindung von Sprache, Denken und Handeln; Relation zu außersprachlichen Gegebenheiten) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: (1) Ein großer Berg vs. Eine große Ameise Vagheit des Adjektivs (kein Problem für Menschen) Logik ist nicht der geeignete Formalismus? Schütze: Einführung in die Computerlinguistik 15 / 75

52 Nachbardisziplinen (2) Philosophie (Verbindung von Sprache, Denken und Handeln; Relation zu außersprachlichen Gegebenheiten) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: (1) Ein großer Berg vs. Eine große Ameise Vagheit des Adjektivs (kein Problem für Menschen) Logik ist nicht der geeignete Formalismus? (2) Vögel fliegen. / Pinguine sind Vögel. / Pinguine fliegen. Schütze: Einführung in die Computerlinguistik 15 / 75

53 Nachbardisziplinen (2) Philosophie (Verbindung von Sprache, Denken und Handeln; Relation zu außersprachlichen Gegebenheiten) Mathematik Insbesondere: Logik, Wahrscheinlichkeitstheorie, Statistik, Graphentheorie Sprache ist oft nicht logisch: (1) Ein großer Berg vs. Eine große Ameise Vagheit des Adjektivs (kein Problem für Menschen) Logik ist nicht der geeignete Formalismus? (2) Vögel fliegen. / Pinguine sind Vögel. / Pinguine fliegen. scheinbar widersprüchliche Aussagen (Mensch hat wenig Probleme damit) Schütze: Einführung in die Computerlinguistik 15 / 75

55 Personal Schütze: Einführung in die Computerlinguistik 17 / 75

56 Personal Vorlesung / Übung Schütze: Einführung in die Computerlinguistik 17 / 75

57 Personal Vorlesung / Übung Prof. Dr. Hinrich Schütze Schütze: Einführung in die Computerlinguistik 17 / 75

58 Personal Vorlesung / Übung Prof. Dr. Hinrich Schütze MSc Alena Moiseeva Schütze: Einführung in die Computerlinguistik 17 / 75

59 Personal Vorlesung / Übung Prof. Dr. Hinrich Schütze MSc Alena Moiseeva Tutorien / Aufgaben Schütze: Einführung in die Computerlinguistik 17 / 75

60 Personal Vorlesung / Übung Prof. Dr. Hinrich Schütze MSc Alena Moiseeva Tutorien / Aufgaben Ivana Daskalovska (Tutorium ab ) Schütze: Einführung in die Computerlinguistik 17 / 75

61 Personal Vorlesung / Übung Prof. Dr. Hinrich Schütze MSc Alena Moiseeva Tutorien / Aufgaben Ivana Daskalovska (Tutorium ab ) Falk Spellerberg Schütze: Einführung in die Computerlinguistik 17 / 75

62 Personal Vorlesung / Übung Prof. Dr. Hinrich Schütze MSc Alena Moiseeva Tutorien / Aufgaben Ivana Daskalovska (Tutorium ab ) Falk Spellerberg Johanna Strebl Schütze: Einführung in die Computerlinguistik 17 / 75

63 Personal Vorlesung / Übung Prof. Dr. Hinrich Schütze MSc Alena Moiseeva Tutorien / Aufgaben Ivana Daskalovska (Tutorium ab ) Falk Spellerberg Johanna Strebl Jannis Vamvas Schütze: Einführung in die Computerlinguistik 17 / 75

64 Personal Vorlesung / Übung Prof. Dr. Hinrich Schütze MSc Alena Moiseeva Tutorien / Aufgaben Ivana Daskalovska (Tutorium ab ) Falk Spellerberg Johanna Strebl Jannis Vamvas Sie erreichen uns unter: eicl1819 (at) cis.lmu.de Schütze: Einführung in die Computerlinguistik 17 / 75

65 Vorstellung Schütze: Einführung in die Computerlinguistik 18 / 75

66 Übungstermine Schütze: Einführung in die Computerlinguistik 19 / 75

67 Übungstermine Zur Klärung von Fragen zu Übungsblättern und Vorlesung. Schütze: Einführung in die Computerlinguistik 19 / 75

68 Übungstermine Zur Klärung von Fragen zu Übungsblättern und Vorlesung. Vorlesung/Übung am Freitag: Schütze: Einführung in die Computerlinguistik 19 / 75

69 Übungstermine Zur Klärung von Fragen zu Übungsblättern und Vorlesung. Vorlesung/Übung am Freitag: Freitags 10:15-11:45 Schütze: Einführung in die Computerlinguistik 19 / 75

70 Übungstermine Zur Klärung von Fragen zu Übungsblättern und Vorlesung. Vorlesung/Übung am Freitag: Freitags 10:15-11:45 Extra-Tutorat (Ivana Daskalovska): Schütze: Einführung in die Computerlinguistik 19 / 75

71 Übungstermine Zur Klärung von Fragen zu Übungsblättern und Vorlesung. Vorlesung/Übung am Freitag: Freitags 10:15-11:45 Extra-Tutorat (Ivana Daskalovska): Dienstags 12:15-13:45, U127 Schütze: Einführung in die Computerlinguistik 19 / 75

72 Übungsaufgaben Schütze: Einführung in die Computerlinguistik 20 / 75

73 Übungsaufgaben Bearbeitung in Moodle Schütze: Einführung in die Computerlinguistik 20 / 75

74 Übungsaufgaben Bearbeitung in Moodle Freischaltung: Jeweils Freitags nach der Vorlesung. Schütze: Einführung in die Computerlinguistik 20 / 75

75 Übungsaufgaben Bearbeitung in Moodle Freischaltung: Jeweils Freitags nach der Vorlesung. Diese Woche: Ausnahme Schütze: Einführung in die Computerlinguistik 20 / 75

76 Übungsaufgaben Bearbeitung in Moodle Freischaltung: Jeweils Freitags nach der Vorlesung. Diese Woche: Ausnahme Bearbeitungsfrist: Freitags (eine Woche später) vor der Vorlesung. Schütze: Einführung in die Computerlinguistik 20 / 75

77 Übungsaufgaben Bearbeitung in Moodle Freischaltung: Jeweils Freitags nach der Vorlesung. Diese Woche: Ausnahme Bearbeitungsfrist: Freitags (eine Woche später) vor der Vorlesung. Übungsblätter müssen von den Teilnehmern eigenständig bearbeitet werden. Schütze: Einführung in die Computerlinguistik 20 / 75

78 Übungsaufgaben Bearbeitung in Moodle Freischaltung: Jeweils Freitags nach der Vorlesung. Diese Woche: Ausnahme Bearbeitungsfrist: Freitags (eine Woche später) vor der Vorlesung. Übungsblätter müssen von den Teilnehmern eigenständig bearbeitet werden. Klausurbonus: In Abhängigkeit der erreichten Übungspunkte wird ein Klausurbonus von bis zu 10% der maximal erreichbaren Klausurpunkte gewährt, wenn die Klausur auch ohne die Bonuspunkte als bestanden gewertet würde. Schütze: Einführung in die Computerlinguistik 20 / 75

79 Sonstiges Schütze: Einführung in die Computerlinguistik 21 / 75

80 Sonstiges Für die meisten Vorlesungen wird es einen zu lesenden kurzen (je ca. 10 Seiten) Abschnitt aus einem Lehrbuch geben. Schütze: Einführung in die Computerlinguistik 21 / 75

81 Vorlesungsgliederung Schütze: Einführung in die Computerlinguistik 22 / 75

82 Vorlesungsgliederung Teil 1: Sprachwissenschaft Klassische Aufteilung von sprachlicher Form zu kommunikativer Funktion Schütze: Einführung in die Computerlinguistik 22 / 75

83 Vorlesungsgliederung Teil 1: Sprachwissenschaft Klassische Aufteilung von sprachlicher Form zu kommunikativer Funktion Teil 2: Computerlinguistische Methoden Computerlinguistische Techniken, die in verschiedenen Kontexten genutzt werden Schütze: Einführung in die Computerlinguistik 22 / 75

84 Vorlesungsgliederung Teil 1: Sprachwissenschaft Klassische Aufteilung von sprachlicher Form zu kommunikativer Funktion Teil 2: Computerlinguistische Methoden Computerlinguistische Techniken, die in verschiedenen Kontexten genutzt werden Teil 3: Computerlinguistische Anwendungen Praktische Anwendungen, wie z.b. automatische Übersetzungssysteme. Schütze: Einführung in die Computerlinguistik 22 / 75

86 Vorlesungsgliederung Teil 1: Sprachwissenschaft Schütze: Einführung in die Computerlinguistik 23 / 75

87 Vorlesungsgliederung Teil 1: Sprachwissenschaft 1 Phonetik / Phonologie Merkmale sprachlicher Laute Lautsystem, Lautstrukturen Schütze: Einführung in die Computerlinguistik 23 / 75

88 Vorlesungsgliederung Teil 1: Sprachwissenschaft 1 Phonetik / Phonologie Merkmale sprachlicher Laute Lautsystem, Lautstrukturen 2 Morphologie Wortbildung, Flexion, Wortarten Wortstrukturen Schütze: Einführung in die Computerlinguistik 23 / 75

89 Vorlesungsgliederung Teil 1: Sprachwissenschaft 1 Phonetik / Phonologie Merkmale sprachlicher Laute Lautsystem, Lautstrukturen 2 Morphologie Wortbildung, Flexion, Wortarten Wortstrukturen 3 Syntax Größere sprachliche Einheiten und deren Zusammenhang Satzstrukturen Schütze: Einführung in die Computerlinguistik 23 / 75

90 Vorlesungsgliederung Teil 1: Sprachwissenschaft 1 Phonetik / Phonologie Merkmale sprachlicher Laute Lautsystem, Lautstrukturen 2 Morphologie Wortbildung, Flexion, Wortarten Wortstrukturen 3 Syntax Größere sprachliche Einheiten und deren Zusammenhang Satzstrukturen 4 Semantik Bedeutung sprachlicher Einheiten Bedeutungsstrukturen Schütze: Einführung in die Computerlinguistik 23 / 75

91 Vorlesungsgliederung Teil 1: Sprachwissenschaft 1 Phonetik / Phonologie Merkmale sprachlicher Laute Lautsystem, Lautstrukturen 2 Morphologie Wortbildung, Flexion, Wortarten Wortstrukturen 3 Syntax Größere sprachliche Einheiten und deren Zusammenhang Satzstrukturen 4 Semantik Bedeutung sprachlicher Einheiten Bedeutungsstrukturen 5 Pragmatik Sprache im kommunikativen Kontext Kommunikative Bedeutung Schütze: Einführung in die Computerlinguistik 23 / 75

93 Vorlesungsgliederung Teil 2: Computerlinguistische Methoden Schütze: Einführung in die Computerlinguistik 24 / 75

94 Vorlesungsgliederung Teil 2: Computerlinguistische Methoden 1 Reguläre Sprachen, Endliche Automaten Beschreibungsmittel für einfache Zeichenketten. Schütze: Einführung in die Computerlinguistik 24 / 75

95 Vorlesungsgliederung Teil 2: Computerlinguistische Methoden 1 Reguläre Sprachen, Endliche Automaten Beschreibungsmittel für einfache Zeichenketten. 2 Hidden Markov Models, Wortartenzuweisung Statistische Verfahren, Wortarten zu bestimmen. Schütze: Einführung in die Computerlinguistik 24 / 75

96 Vorlesungsgliederung Teil 2: Computerlinguistische Methoden 1 Reguläre Sprachen, Endliche Automaten Beschreibungsmittel für einfache Zeichenketten. 2 Hidden Markov Models, Wortartenzuweisung Statistische Verfahren, Wortarten zu bestimmen. 3 Kontextfreie Grammatiken, Parsing Automatische syntaktische Analyse. Schütze: Einführung in die Computerlinguistik 24 / 75

97 Vorlesungsgliederung Teil 2: Computerlinguistische Methoden 1 Reguläre Sprachen, Endliche Automaten Beschreibungsmittel für einfache Zeichenketten. 2 Hidden Markov Models, Wortartenzuweisung Statistische Verfahren, Wortarten zu bestimmen. 3 Kontextfreie Grammatiken, Parsing Automatische syntaktische Analyse. Teil 3: Computerlinguistische Anwendungen Schütze: Einführung in die Computerlinguistik 24 / 75

98 Vorlesungsgliederung Teil 2: Computerlinguistische Methoden 1 Reguläre Sprachen, Endliche Automaten Beschreibungsmittel für einfache Zeichenketten. 2 Hidden Markov Models, Wortartenzuweisung Statistische Verfahren, Wortarten zu bestimmen. 3 Kontextfreie Grammatiken, Parsing Automatische syntaktische Analyse. Teil 3: Computerlinguistische Anwendungen 1 Maschinelle Übersetzung. Schütze: Einführung in die Computerlinguistik 24 / 75

99 Vorlesungsgliederung Teil 2: Computerlinguistische Methoden 1 Reguläre Sprachen, Endliche Automaten Beschreibungsmittel für einfache Zeichenketten. 2 Hidden Markov Models, Wortartenzuweisung Statistische Verfahren, Wortarten zu bestimmen. 3 Kontextfreie Grammatiken, Parsing Automatische syntaktische Analyse. Teil 3: Computerlinguistische Anwendungen 1 Maschinelle Übersetzung. 2 Suchmaschinen. Schütze: Einführung in die Computerlinguistik 24 / 75

100 Moodle Schütze: Einführung in die Computerlinguistik 25 / 75

101 Startseite Schütze: Einführung in die Computerlinguistik 26 / 75

102 Vertiefung Schütze: Einführung in die Computerlinguistik 27 / 75

103 Fachschaftsführung? Schütze: Einführung in die Computerlinguistik 28 / 75

104 Fragen? Schütze: Einführung in die Computerlinguistik 29 / 75

106 Sprachliche Einheiten geschrieben Buchstabe Silbe Wort Phrase Satz Paragraph gesprochen Laut Silbe Wort Phrase Äußerung Discourse Schütze: Einführung in die Computerlinguistik 31 / 75

107 Sprachwissenschaft = Linguistik beschreibt Strukturen der Sprache(n) auf den Ebenen Schütze: Einführung in die Computerlinguistik 32 / 75

108 Sprachwissenschaft = Linguistik beschreibt Strukturen der Sprache(n) auf den Ebenen des Lautsystems Schütze: Einführung in die Computerlinguistik 32 / 75

109 Sprachwissenschaft = Linguistik beschreibt Strukturen der Sprache(n) auf den Ebenen des Lautsystems des Aufbaus von Wörtern Schütze: Einführung in die Computerlinguistik 32 / 75

110 Sprachwissenschaft = Linguistik beschreibt Strukturen der Sprache(n) auf den Ebenen des Lautsystems des Aufbaus von Wörtern der Kombination von Wörtern zu Phrasen und Äußerungen Schütze: Einführung in die Computerlinguistik 32 / 75

111 Sprachwissenschaft = Linguistik beschreibt Strukturen der Sprache(n) auf den Ebenen des Lautsystems des Aufbaus von Wörtern der Kombination von Wörtern zu Phrasen und Äußerungen der Bedeutung dieser Äußerungen, insbesondere im (außersprachlichen) Kontext ( Pragmatik) Schütze: Einführung in die Computerlinguistik 32 / 75

112 Sprachwissenschaft = Linguistik beschreibt Strukturen der Sprache(n) auf den Ebenen des Lautsystems des Aufbaus von Wörtern der Kombination von Wörtern zu Phrasen und Äußerungen der Bedeutung dieser Äußerungen, insbesondere im (außersprachlichen) Kontext ( Pragmatik) erklärt das Funktionieren dieser Strukturen als Kommunikationsmittel Schütze: Einführung in die Computerlinguistik 32 / 75

113 Sprachwissenschaft = Linguistik beschreibt Strukturen der Sprache(n) auf den Ebenen des Lautsystems des Aufbaus von Wörtern der Kombination von Wörtern zu Phrasen und Äußerungen der Bedeutung dieser Äußerungen, insbesondere im (außersprachlichen) Kontext ( Pragmatik) erklärt das Funktionieren dieser Strukturen als Kommunikationsmittel zunächst einzelsprachlich, aber durch Vergleich und Generalisierungen auch sprachübergreifend (universell) Schütze: Einführung in die Computerlinguistik 32 / 75

114 Sprachliche Einheiten Einheit Laut Silbe Wort Phrase Satz, Äußerung Discourse Teildisziplin Phonetik, Phonologie Phonetik, Phonologie Morphologie Syntax Syntax, Semantik Pragmatik Schütze: Einführung in die Computerlinguistik 33 / 75

115 Verstehen von Sprache (gesprochen) Schütze: Einführung in die Computerlinguistik 34 / 75

116 Erzeugen von Sprache (gesprochen) Schütze: Einführung in die Computerlinguistik 35 / 75

117 Teilgebiete der Linguistik Schütze: Einführung in die Computerlinguistik 36 / 75

118 Teilgebiete der Linguistik Phonetik und Phonologie Schütze: Einführung in die Computerlinguistik 36 / 75

119 Teilgebiete der Linguistik Phonetik und Phonologie Morphologie Schütze: Einführung in die Computerlinguistik 36 / 75

120 Teilgebiete der Linguistik Phonetik und Phonologie Morphologie Syntax Schütze: Einführung in die Computerlinguistik 36 / 75

121 Teilgebiete der Linguistik Phonetik und Phonologie Morphologie Syntax Semantik Schütze: Einführung in die Computerlinguistik 36 / 75

122 Teilgebiete der Linguistik Phonetik und Phonologie Morphologie Syntax Semantik Pragmatik Schütze: Einführung in die Computerlinguistik 36 / 75

123 Teilgebiete der Linguistik Phonetik und Phonologie Morphologie Syntax Semantik Pragmatik Schütze: Einführung in die Computerlinguistik 36 / 75

124 Teilgebiete der Linguistik Phonetik und Phonologie Morphologie Syntax Semantik Pragmatik Jedes dieser Teilgebiete hat auch eine Entsprechung in der Computerlinguistik. Schütze: Einführung in die Computerlinguistik 36 / 75

125 Phonetik und Phonologie Schütze: Einführung in die Computerlinguistik 37 / 75

126 Phonetik und Phonologie artikulatorische Merkmale Schütze: Einführung in die Computerlinguistik 37 / 75

127 Phonetik und Phonologie artikulatorische Merkmale Lautstruktur natürlicher Sprachen Schütze: Einführung in die Computerlinguistik 37 / 75

128 Phonetik und Phonologie artikulatorische Merkmale Lautstruktur natürlicher Sprachen Spracherkennung: Erkennung und Produktion gesprochener Sprache Schütze: Einführung in die Computerlinguistik 37 / 75

129 Phonetik und Phonologie artikulatorische Merkmale Lautstruktur natürlicher Sprachen Spracherkennung: Erkennung und Produktion gesprochener Sprache modellieren, welche Segmente ein Wort enthält und wie sich deren Struktur auf die Aussprache auswirkt Schütze: Einführung in die Computerlinguistik 37 / 75

130 Phonetik und Phonologie artikulatorische Merkmale Lautstruktur natürlicher Sprachen Spracherkennung: Erkennung und Produktion gesprochener Sprache modellieren, welche Segmente ein Wort enthält und wie sich deren Struktur auf die Aussprache auswirkt z.b. wenn ein im Prinzip stimmhafter Konsonant am Wortende stimmlos wird ( Auslautverhärtung ): Schütze: Einführung in die Computerlinguistik 37 / 75

131 Phonetik und Phonologie artikulatorische Merkmale Lautstruktur natürlicher Sprachen Spracherkennung: Erkennung und Produktion gesprochener Sprache modellieren, welche Segmente ein Wort enthält und wie sich deren Struktur auf die Aussprache auswirkt z.b. wenn ein im Prinzip stimmhafter Konsonant am Wortende stimmlos wird ( Auslautverhärtung ): (3) Dieb /Di:p/ vs. Diebe /Di:be/ Schütze: Einführung in die Computerlinguistik 37 / 75

132 Morphologie Schütze: Einführung in die Computerlinguistik 38 / 75

133 Morphologie Bildung und Struktur von Wörtern Schütze: Einführung in die Computerlinguistik 38 / 75

134 Morphologie Bildung und Struktur von Wörtern Was ist die lexikalische Wurzel einzelner Wörter? Schütze: Einführung in die Computerlinguistik 38 / 75

135 Morphologie Bildung und Struktur von Wörtern Was ist die lexikalische Wurzel einzelner Wörter? Welche Prozesse sind verantwortlich für unterschiedliche Erscheinungsformen an der Oberfläche? Schütze: Einführung in die Computerlinguistik 38 / 75

136 Morphologie Bildung und Struktur von Wörtern Was ist die lexikalische Wurzel einzelner Wörter? Welche Prozesse sind verantwortlich für unterschiedliche Erscheinungsformen an der Oberfläche? Veränderung der Verwendung und Bedeutung des Wortes durch Oberflächenmodifikationen Schütze: Einführung in die Computerlinguistik 38 / 75

137 Morphologie Bildung und Struktur von Wörtern Was ist die lexikalische Wurzel einzelner Wörter? Welche Prozesse sind verantwortlich für unterschiedliche Erscheinungsformen an der Oberfläche? Veränderung der Verwendung und Bedeutung des Wortes durch Oberflächenmodifikationen z.b. Suffix -e als Pluralmarkierung: Schütze: Einführung in die Computerlinguistik 38 / 75

138 Morphologie Bildung und Struktur von Wörtern Was ist die lexikalische Wurzel einzelner Wörter? Welche Prozesse sind verantwortlich für unterschiedliche Erscheinungsformen an der Oberfläche? Veränderung der Verwendung und Bedeutung des Wortes durch Oberflächenmodifikationen z.b. Suffix -e als Pluralmarkierung: (4) Dieb-e Dieb-pl Mehr als ein Dieb Schütze: Einführung in die Computerlinguistik 38 / 75

139 Syntax Schütze: Einführung in die Computerlinguistik 39 / 75

140 Syntax Strukturbildung von Sätzen Schütze: Einführung in die Computerlinguistik 39 / 75

141 Syntax Strukturbildung von Sätzen traditionell am stärksten vertretene Teildisziplin der Computerlinguistik Schütze: Einführung in die Computerlinguistik 39 / 75

142 Syntax Strukturbildung von Sätzen traditionell am stärksten vertretene Teildisziplin der Computerlinguistik Erkennung von Grammatikalität und darauf folgende Bedeutungserschließung Schütze: Einführung in die Computerlinguistik 39 / 75

143 Syntax Strukturbildung von Sätzen traditionell am stärksten vertretene Teildisziplin der Computerlinguistik Erkennung von Grammatikalität und darauf folgende Bedeutungserschließung z.b. (5) Der gewitzte Dieb stahl das Geld. Schütze: Einführung in die Computerlinguistik 39 / 75

144 Syntax Strukturbildung von Sätzen traditionell am stärksten vertretene Teildisziplin der Computerlinguistik Erkennung von Grammatikalität und darauf folgende Bedeutungserschließung z.b. (5) Der gewitzte Dieb stahl das Geld. vs. Schütze: Einführung in die Computerlinguistik 39 / 75

145 Syntax Strukturbildung von Sätzen traditionell am stärksten vertretene Teildisziplin der Computerlinguistik Erkennung von Grammatikalität und darauf folgende Bedeutungserschließung z.b. (5) Der gewitzte Dieb stahl das Geld. vs. *Der Dieb gewitzte stahl das Geld. Schütze: Einführung in die Computerlinguistik 39 / 75

146 Semantik Schütze: Einführung in die Computerlinguistik 40 / 75

147 Semantik Bedeutung sprachlicher Einheiten (Wort, Satz etc.) Schütze: Einführung in die Computerlinguistik 40 / 75

148 Semantik Bedeutung sprachlicher Einheiten (Wort, Satz etc.) z.b. (6) Die Polizei beschlagnahmte das Diebesgut. Schütze: Einführung in die Computerlinguistik 40 / 75

149 Semantik Bedeutung sprachlicher Einheiten (Wort, Satz etc.) z.b. (6) Die Polizei beschlagnahmte das Diebesgut. vs. Schütze: Einführung in die Computerlinguistik 40 / 75

150 Semantik Bedeutung sprachlicher Einheiten (Wort, Satz etc.) z.b. (6) Die Polizei beschlagnahmte das Diebesgut. vs. Das Diebesgut beschlagnahmte die Polizei. Schütze: Einführung in die Computerlinguistik 40 / 75

151 Semantik Bedeutung sprachlicher Einheiten (Wort, Satz etc.) z.b. (6) Die Polizei beschlagnahmte das Diebesgut. vs. Das Diebesgut beschlagnahmte die Polizei. gleiche Bedeutung Schütze: Einführung in die Computerlinguistik 40 / 75

152 Pragmatik Schütze: Einführung in die Computerlinguistik 41 / 75

153 Pragmatik Zweck einer Äußerung in der Welt, z.b. Schütze: Einführung in die Computerlinguistik 41 / 75

154 Pragmatik Zweck einer Äußerung in der Welt, z.b. Wissen Sie, wie spät es ist? Schütze: Einführung in die Computerlinguistik 41 / 75

155 Pragmatik Zweck einer Äußerung in der Welt, z.b. Wissen Sie, wie spät es ist? Bestimmung des Bezugs von Wörtern: Antezedens eines Pronomens, z.b.: Schütze: Einführung in die Computerlinguistik 41 / 75

156 Pragmatik Zweck einer Äußerung in der Welt, z.b. Wissen Sie, wie spät es ist? Bestimmung des Bezugs von Wörtern: Antezedens eines Pronomens, z.b.: Die Katze schnurrt. Sie hat Hunger. Schütze: Einführung in die Computerlinguistik 41 / 75

157 Pragmatik Zweck einer Äußerung in der Welt, z.b. Wissen Sie, wie spät es ist? Bestimmung des Bezugs von Wörtern: Antezedens eines Pronomens, z.b.: Die Katze schnurrt. Sie hat Hunger. implizite Annahmen (Präsuppositionen), z.b.: Schütze: Einführung in die Computerlinguistik 41 / 75

158 Pragmatik Zweck einer Äußerung in der Welt, z.b. Wissen Sie, wie spät es ist? Bestimmung des Bezugs von Wörtern: Antezedens eines Pronomens, z.b.: Die Katze schnurrt. Sie hat Hunger. implizite Annahmen (Präsuppositionen), z.b.: Welche Drogen hat Peter genommen? Präsupponiert: Peter hat Drogen genommen. Schütze: Einführung in die Computerlinguistik 41 / 75

159 Korpuslinguistik Schütze: Einführung in die Computerlinguistik 42 / 75

160 Korpuslinguistik Methode, die auf alle Beschreibungsebenen angewandt werden kann Schütze: Einführung in die Computerlinguistik 42 / 75

161 Korpuslinguistik Methode, die auf alle Beschreibungsebenen angewandt werden kann seit Anfang 1980er Schütze: Einführung in die Computerlinguistik 42 / 75

162 Text corpus Schütze: Einführung in die Computerlinguistik 43 / 75

163 Text corpus Definition A corpus (plural corpora) or text corpus is a large and structured set of texts, nowadays usually electronically stored and processed. Schütze: Einführung in die Computerlinguistik 43 / 75

164 Text corpus Definition A corpus (plural corpora) or text corpus is a large and structured set of texts, nowadays usually electronically stored and processed. Schütze: Einführung in die Computerlinguistik 43 / 75

165 Text corpus Definition A corpus (plural corpora) or text corpus is a large and structured set of texts, nowadays usually electronically stored and processed. Corpora are used to do statistical analysis and hypothesis testing, checking occurrences or validating linguistic rules within a specific language territory. Schütze: Einführung in die Computerlinguistik 43 / 75

166 Text corpus Definition A corpus (plural corpora) or text corpus is a large and structured set of texts, nowadays usually electronically stored and processed. Corpora are used to do statistical analysis and hypothesis testing, checking occurrences or validating linguistic rules within a specific language territory. A corpus may contain texts in a single language (monolingual corpus) or text data in multiple languages (multilingual corpus). Schütze: Einführung in die Computerlinguistik 43 / 75

167 Text corpus Definition A corpus (plural corpora) or text corpus is a large and structured set of texts, nowadays usually electronically stored and processed. Corpora are used to do statistical analysis and hypothesis testing, checking occurrences or validating linguistic rules within a specific language territory. A corpus may contain texts in a single language (monolingual corpus) or text data in multiple languages (multilingual corpus). (from Wikipedia) Schütze: Einführung in die Computerlinguistik 43 / 75

168 Verwendung von Korpora Schütze: Einführung in die Computerlinguistik 44 / 75

169 Verwendung von Korpora Erkennung gesprochener Sprache Schütze: Einführung in die Computerlinguistik 44 / 75

170 Verwendung von Korpora Erkennung gesprochener Sprache Wortartendisambiguierung (Tagging) Schütze: Einführung in die Computerlinguistik 44 / 75

171 Verwendung von Korpora Erkennung gesprochener Sprache Wortartendisambiguierung (Tagging) syntaktische Analyse (Parsing) Schütze: Einführung in die Computerlinguistik 44 / 75

172 Verwendung von Korpora Erkennung gesprochener Sprache Wortartendisambiguierung (Tagging) syntaktische Analyse (Parsing) semantische Lesartendisambiguierung (z.b. Bank 1 vs. Bank 2) Schütze: Einführung in die Computerlinguistik 44 / 75

173 Verwendung von Korpora Erkennung gesprochener Sprache Wortartendisambiguierung (Tagging) syntaktische Analyse (Parsing) semantische Lesartendisambiguierung (z.b. Bank 1 vs. Bank 2) maschinelle Übersetzung Schütze: Einführung in die Computerlinguistik 44 / 75

174 Slido Schütze: Einführung in die Computerlinguistik 45 / 75

176 Für jede Sprachliche Beschreibungsebene gibt es passende Computerlinguistische Methoden Schütze: Einführung in die Computerlinguistik 47 / 75

177 Für jede Sprachliche Beschreibungsebene gibt es passende Computerlinguistische Methoden Phonetik - Signalverarbeitung (Spracherkennung - Sprachsynthese) Schütze: Einführung in die Computerlinguistik 47 / 75

178 Für jede Sprachliche Beschreibungsebene gibt es passende Computerlinguistische Methoden Phonetik - Signalverarbeitung (Spracherkennung - Sprachsynthese) Morphologie - Wortzerlegung, Wortartenbestimmung Schütze: Einführung in die Computerlinguistik 47 / 75

179 Für jede Sprachliche Beschreibungsebene gibt es passende Computerlinguistische Methoden Phonetik - Signalverarbeitung (Spracherkennung - Sprachsynthese) Morphologie - Wortzerlegung, Wortartenbestimmung Syntax - computerlesbare Grammatiken, automatische Syntaktische Analyse Schütze: Einführung in die Computerlinguistik 47 / 75

180 Für jede Sprachliche Beschreibungsebene gibt es passende Computerlinguistische Methoden Phonetik - Signalverarbeitung (Spracherkennung - Sprachsynthese) Morphologie - Wortzerlegung, Wortartenbestimmung Syntax - computerlesbare Grammatiken, automatische Syntaktische Analyse Semantik - Wissensdatenbanken, automatische semantische Analyse Schütze: Einführung in die Computerlinguistik 47 / 75

181 Für jede Sprachliche Beschreibungsebene gibt es passende Computerlinguistische Methoden Phonetik - Signalverarbeitung (Spracherkennung - Sprachsynthese) Morphologie - Wortzerlegung, Wortartenbestimmung Syntax - computerlesbare Grammatiken, automatische Syntaktische Analyse Semantik - Wissensdatenbanken, automatische semantische Analyse Pragmatik - Koreferenzresolution, Kontextmodellierung (Dialogsysteme, Sprachliche Schnittstellen z.b. in der Robotik) Schütze: Einführung in die Computerlinguistik 47 / 75

182 Computerlinguistische Methoden zu den Beschreibungsebenen Schütze: Einführung in die Computerlinguistik 48 / 75

183 Computerlinguistische Methoden zu den Beschreibungsebenen Wortzerlegung - Endliche Automaten Schütze: Einführung in die Computerlinguistik 48 / 75

184 Computerlinguistische Methoden zu den Beschreibungsebenen Wortzerlegung - Endliche Automaten Wortartenbestimmung - HMMs Schütze: Einführung in die Computerlinguistik 48 / 75

185 Computerlinguistische Methoden zu den Beschreibungsebenen Wortzerlegung - Endliche Automaten Wortartenbestimmung - HMMs computerlesbare Grammatiken - CFGs Schütze: Einführung in die Computerlinguistik 48 / 75

186 Computerlinguistische Methoden zu den Beschreibungsebenen Wortzerlegung - Endliche Automaten Wortartenbestimmung - HMMs computerlesbare Grammatiken - CFGs automatische Syntaktische Analyse - Parsing Schütze: Einführung in die Computerlinguistik 48 / 75

187 Mehr Terminologie Verarbeitung Modalität Mensch Maschine Produktion Lautsprache Sprechen Synthese Schriftsprache Schreiben Generierung Rezeption Lautsprache Hören Erkennung Schiftsprache Lesen Analyse Schütze: Einführung in die Computerlinguistik 49 / 75

189 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Schütze: Einführung in die Computerlinguistik 51 / 75

190 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Spracherkennung (Diktiersysteme, Transkription z.b. Untertitel) Schütze: Einführung in die Computerlinguistik 51 / 75

191 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Spracherkennung (Diktiersysteme, Transkription z.b. Untertitel) Sprachsynthese Schütze: Einführung in die Computerlinguistik 51 / 75

192 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Spracherkennung (Diktiersysteme, Transkription z.b. Untertitel) Sprachsynthese Rechtschreibkorrektur Schütze: Einführung in die Computerlinguistik 51 / 75

193 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Spracherkennung (Diktiersysteme, Transkription z.b. Untertitel) Sprachsynthese Rechtschreibkorrektur Maschinelle Übersetzung DeepL: Google translate: Schütze: Einführung in die Computerlinguistik 51 / 75

194 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Spracherkennung (Diktiersysteme, Transkription z.b. Untertitel) Sprachsynthese Rechtschreibkorrektur Maschinelle Übersetzung DeepL: Google translate: Automatische Zusammenfassung (Summarisation) Schütze: Einführung in die Computerlinguistik 51 / 75

195 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Spracherkennung (Diktiersysteme, Transkription z.b. Untertitel) Sprachsynthese Rechtschreibkorrektur Maschinelle Übersetzung DeepL: Google translate: Automatische Zusammenfassung (Summarisation) Suchmaschinen / Information Retrieval Schütze: Einführung in die Computerlinguistik 51 / 75

196 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Schütze: Einführung in die Computerlinguistik 52 / 75

197 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Dokumentklassifikation Schütze: Einführung in die Computerlinguistik 52 / 75

198 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Dokumentklassifikation Strukturierte Gliederung von Information / Relations-Extraktion Schütze: Einführung in die Computerlinguistik 52 / 75

199 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Dokumentklassifikation Strukturierte Gliederung von Information / Relations-Extraktion Frage-Beantwortung (Question Answering) Start-System (MIT): Schütze: Einführung in die Computerlinguistik 52 / 75

200 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Dokumentklassifikation Strukturierte Gliederung von Information / Relations-Extraktion Frage-Beantwortung (Question Answering) Start-System (MIT): Sentiment-Analyse Bsp.: Ist dies eine gute oder eine schlechte Bewertung? Der Film hat mich ja nicht so richtig begeistert, auch wenn manche behaupten, er wäre ganz toll. Schütze: Einführung in die Computerlinguistik 52 / 75

201 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Dokumentklassifikation Strukturierte Gliederung von Information / Relations-Extraktion Frage-Beantwortung (Question Answering) Start-System (MIT): Sentiment-Analyse Bsp.: Ist dies eine gute oder eine schlechte Bewertung? Der Film hat mich ja nicht so richtig begeistert, auch wenn manche behaupten, er wäre ganz toll. Dialogsysteme Schütze: Einführung in die Computerlinguistik 52 / 75

202 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Dokumentklassifikation Strukturierte Gliederung von Information / Relations-Extraktion Frage-Beantwortung (Question Answering) Start-System (MIT): Sentiment-Analyse Bsp.: Ist dies eine gute oder eine schlechte Bewertung? Der Film hat mich ja nicht so richtig begeistert, auch wenn manche behaupten, er wäre ganz toll. Dialogsysteme Telefonie-Systeme: Telefonbanking, Fahrplanauskunft Schütze: Einführung in die Computerlinguistik 52 / 75

203 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Dokumentklassifikation Strukturierte Gliederung von Information / Relations-Extraktion Frage-Beantwortung (Question Answering) Start-System (MIT): Sentiment-Analyse Bsp.: Ist dies eine gute oder eine schlechte Bewertung? Der Film hat mich ja nicht so richtig begeistert, auch wenn manche behaupten, er wäre ganz toll. Dialogsysteme Telefonie-Systeme: Telefonbanking, Fahrplanauskunft Gerätebedienung Schütze: Einführung in die Computerlinguistik 52 / 75

204 Anwendungen kombinieren oft viele verschiedene Methoden, um eine bestimmte Aufgabe zu lösen Dokumentklassifikation Strukturierte Gliederung von Information / Relations-Extraktion Frage-Beantwortung (Question Answering) Start-System (MIT): Sentiment-Analyse Bsp.: Ist dies eine gute oder eine schlechte Bewertung? Der Film hat mich ja nicht so richtig begeistert, auch wenn manche behaupten, er wäre ganz toll. Dialogsysteme Telefonie-Systeme: Telefonbanking, Fahrplanauskunft Gerätebedienung Interaktion mit virtuellen Agenten und Robotern Schütze: Einführung in die Computerlinguistik 52 / 75

205 Anwendungen kombinieren oft viele verschiedene Methoden, um eine Bestimmte Aufgabe zu lösen Schütze: Einführung in die Computerlinguistik 53 / 75

206 Geschichte der Methoden der Maschinellen Übersetzung (Machine Translation, MT) Schütze: Einführung in die Computerlinguistik 54 / 75

207 Geschichte der Methoden der Maschinellen Übersetzung (Machine Translation, MT) Wörter nachschlagen, aneinanderreihen Schütze: Einführung in die Computerlinguistik 54 / 75

208 Geschichte der Methoden der Maschinellen Übersetzung (Machine Translation, MT) Wörter nachschlagen, aneinanderreihen Morphologische Anpassungen Schütze: Einführung in die Computerlinguistik 54 / 75

209 Geschichte der Methoden der Maschinellen Übersetzung (Machine Translation, MT) Wörter nachschlagen, aneinanderreihen Morphologische Anpassungen Syntaktische Umstellungsregeln Schütze: Einführung in die Computerlinguistik 54 / 75

210 Geschichte der Methoden der Maschinellen Übersetzung (Machine Translation, MT) Wörter nachschlagen, aneinanderreihen Morphologische Anpassungen Syntaktische Umstellungsregeln Volle syntaktische Analyse ( parsing ) Transfer Schütze: Einführung in die Computerlinguistik 54 / 75

211 Geschichte der Methoden der Maschinellen Übersetzung (Machine Translation, MT) Wörter nachschlagen, aneinanderreihen Morphologische Anpassungen Syntaktische Umstellungsregeln Volle syntaktische Analyse ( parsing ) Transfer Semantische Analyse (Disambiguierung) Interlingua Schütze: Einführung in die Computerlinguistik 54 / 75

212 Geschichte der Methoden der Maschinellen Übersetzung (Machine Translation, MT) Wörter nachschlagen, aneinanderreihen Morphologische Anpassungen Syntaktische Umstellungsregeln Volle syntaktische Analyse ( parsing ) Transfer Semantische Analyse (Disambiguierung) Interlingua Unterstützung durch Welt-Wissen Schütze: Einführung in die Computerlinguistik 54 / 75

213 Geschichte der Methoden der Maschinellen Übersetzung (Machine Translation, MT) Wörter nachschlagen, aneinanderreihen Morphologische Anpassungen Syntaktische Umstellungsregeln Volle syntaktische Analyse ( parsing ) Transfer Semantische Analyse (Disambiguierung) Interlingua Unterstützung durch Welt-Wissen Übersetzen mit Statistik/Wahrscheinlichkeiten Schütze: Einführung in die Computerlinguistik 54 / 75

214 MT Transfer Transfer: Direkte Übersetzung von sprachlichen Elementen, ohne Bedeutungsambiguitäten notwendigerweise aufzulösen. Schütze: Einführung in die Computerlinguistik 55 / 75

215 MT Syntaktischer Transfer Schütze: Einführung in die Computerlinguistik 56 / 75

216 MT Interlingua Interlingua: Sprachunabhängige Repräsentation von Bedeutung, in die Sprache überführt werden kann und umgekehrt. Schütze: Einführung in die Computerlinguistik 57 / 75

217 MT Interlingua (Beispiel) Schütze: Einführung in die Computerlinguistik 58 / 75

219 Kleine Geschichte der Computerlinguistik (1) Schütze: Einführung in die Computerlinguistik 60 / 75

220 Kleine Geschichte der Computerlinguistik (1) frühe Entwicklung der Computertechnologie (1930er-, 40er-Jahre): numerische Problemstellungen ( Berechnungen, z.b. ballistische Kurven), auch symbolische Verarbeitungsaufgaben (Dechiffrierung verschlüsselter Nachrichtentexte maschinelle Übersetzung (MÜ) als Spezialfall einer Dekodierungsaufgabe) Schütze: Einführung in die Computerlinguistik 60 / 75

221 Kleine Geschichte der Computerlinguistik (1) frühe Entwicklung der Computertechnologie (1930er-, 40er-Jahre): numerische Problemstellungen ( Berechnungen, z.b. ballistische Kurven), auch symbolische Verarbeitungsaufgaben (Dechiffrierung verschlüsselter Nachrichtentexte maschinelle Übersetzung (MÜ) als Spezialfall einer Dekodierungsaufgabe) frühe Ansätze der MÜ haben gemeinsame Wurzel: stochastische Informationstheorie (Betrachtung des fremdsprachlichen Textes als Ergebnis der Übertragung einer Nachricht über gestörten Kanal Aufgabe: Rekonstruktion des ursprünglichen Nachrichtentextes) Schütze: Einführung in die Computerlinguistik 60 / 75

222 Kleine Geschichte der Computerlinguistik (1) frühe Entwicklung der Computertechnologie (1930er-, 40er-Jahre): numerische Problemstellungen ( Berechnungen, z.b. ballistische Kurven), auch symbolische Verarbeitungsaufgaben (Dechiffrierung verschlüsselter Nachrichtentexte maschinelle Übersetzung (MÜ) als Spezialfall einer Dekodierungsaufgabe) frühe Ansätze der MÜ haben gemeinsame Wurzel: stochastische Informationstheorie (Betrachtung des fremdsprachlichen Textes als Ergebnis der Übertragung einer Nachricht über gestörten Kanal Aufgabe: Rekonstruktion des ursprünglichen Nachrichtentextes) Statistische Verfahren wurden dann für Jahrzehnte aufgegeben. Schütze: Einführung in die Computerlinguistik 60 / 75

223 Kleine Geschichte der Computerlinguistik (2) Schütze: Einführung in die Computerlinguistik 61 / 75

224 Kleine Geschichte der Computerlinguistik (2) Abkehr von statistischen Verfahren weil Schütze: Einführung in die Computerlinguistik 61 / 75

225 Kleine Geschichte der Computerlinguistik (2) Abkehr von statistischen Verfahren weil Chomsky die Unzulänglichkeit der statistischen Verfahren der 50er und 60er für Sprachmodellierung nachweist. Schütze: Einführung in die Computerlinguistik 61 / 75

226 Kleine Geschichte der Computerlinguistik (2) Abkehr von statistischen Verfahren weil Chomsky die Unzulänglichkeit der statistischen Verfahren der 50er und 60er für Sprachmodellierung nachweist. die Leistungsfähigkeit der damaligen Hardware nicht ausreichte (Beschränkungen bevorzugen symbolische Ansätze) Schütze: Einführung in die Computerlinguistik 61 / 75

227 Kleine Geschichte der Computerlinguistik (2) Abkehr von statistischen Verfahren weil Chomsky die Unzulänglichkeit der statistischen Verfahren der 50er und 60er für Sprachmodellierung nachweist. die Leistungsfähigkeit der damaligen Hardware nicht ausreichte (Beschränkungen bevorzugen symbolische Ansätze) nicht genügend digitalisierte mehrsprachige Textdaten zur Verfügung standen Schütze: Einführung in die Computerlinguistik 61 / 75

228 Herausforderungen der Computerlinguistik: Variabilität und Ambiguität (Mehrdeutigkeit) Schwierigkeiten für Sprachverarbeitungsysteme: Schütze: Einführung in die Computerlinguistik 62 / 75

229 Herausforderungen der Computerlinguistik: Variabilität und Ambiguität (Mehrdeutigkeit) Schwierigkeiten für Sprachverarbeitungsysteme: Variabilität: Die selbe Bedeutung kann durch viele sprachliche Formen ausgedrückt werden. Schütze: Einführung in die Computerlinguistik 62 / 75

230 Herausforderungen der Computerlinguistik: Variabilität und Ambiguität (Mehrdeutigkeit) Schwierigkeiten für Sprachverarbeitungsysteme: Variabilität: Die selbe Bedeutung kann durch viele sprachliche Formen ausgedrückt werden. Ambiguität: Dieselbe sprachliche Form kann verschiedene Informationen ausdrücken (erst duch den Kontext kann erschlossen werden, was gemeint ist). Schütze: Einführung in die Computerlinguistik 62 / 75

231 Typen von Ambiguität Schütze: Einführung in die Computerlinguistik 63 / 75

232 Typen von Ambiguität Phonetische Ambigität (Homophone): Miene - Mine, Meer - mehr, viel - fiel Unterschiedliche Wörter haben dieselbe lautliche Form. Schütze: Einführung in die Computerlinguistik 63 / 75

233 Typen von Ambiguität Phonetische Ambigität (Homophone): Miene - Mine, Meer - mehr, viel - fiel Unterschiedliche Wörter haben dieselbe lautliche Form. Orthographische Ambiguität (Homographen): übersetzen - über-setzen, umfahren - um-fahren Unterschiedliche Wörter werden gleich geschrieben. Schütze: Einführung in die Computerlinguistik 63 / 75

234 Typen von Ambiguität Phonetische Ambigität (Homophone): Miene - Mine, Meer - mehr, viel - fiel Unterschiedliche Wörter haben dieselbe lautliche Form. Orthographische Ambiguität (Homographen): übersetzen - über-setzen, umfahren - um-fahren Unterschiedliche Wörter werden gleich geschrieben. Lexikalische Ambiguität (Homonyme): Maria geht zum Ball. Ein Wort hat mehrere verschiedene Bedeutungen. Schütze: Einführung in die Computerlinguistik 63 / 75

235 Typen von Ambiguität Phonetische Ambigität (Homophone): Miene - Mine, Meer - mehr, viel - fiel Unterschiedliche Wörter haben dieselbe lautliche Form. Orthographische Ambiguität (Homographen): übersetzen - über-setzen, umfahren - um-fahren Unterschiedliche Wörter werden gleich geschrieben. Lexikalische Ambiguität (Homonyme): Maria geht zum Ball. Ein Wort hat mehrere verschiedene Bedeutungen. Morphologische Ambiguität: Staub-ecken - Stau-becken Eine Wortform kann auf unterschiedliche Arten analysiert werden. Schütze: Einführung in die Computerlinguistik 63 / 75

237 Typen von Ambiguität Strukturelle/syntaktische Ambiguität: Schütze: Einführung in die Computerlinguistik 64 / 75

238 Typen von Ambiguität Strukturelle/syntaktische Ambiguität: 1 Visiting relatives can be boring. Schütze: Einführung in die Computerlinguistik 64 / 75

239 Typen von Ambiguität Strukturelle/syntaktische Ambiguität: 1 Visiting relatives can be boring. 2 Peter fuhr seinen Freund sturzbetrunken nach Hause. Schütze: Einführung in die Computerlinguistik 64 / 75

240 Typen von Ambiguität Strukturelle/syntaktische Ambiguität: 1 Visiting relatives can be boring. 2 Peter fuhr seinen Freund sturzbetrunken nach Hause. 3 Ich traf den Sohn des Nachbarn mit dem Gewehr. Die Grammatikregeln lassen verschiedene Analysen zur Kombination der Satzelemente zu. Schütze: Einführung in die Computerlinguistik 64 / 75

241 Typen von Ambiguität Strukturelle/syntaktische Ambiguität: 1 Visiting relatives can be boring. 2 Peter fuhr seinen Freund sturzbetrunken nach Hause. 3 Ich traf den Sohn des Nachbarn mit dem Gewehr. Die Grammatikregeln lassen verschiedene Analysen zur Kombination der Satzelemente zu. Kompositionell-semantische Ambiguität bzw. Skopusambiguität: Schütze: Einführung in die Computerlinguistik 64 / 75

242 Typen von Ambiguität Strukturelle/syntaktische Ambiguität: 1 Visiting relatives can be boring. 2 Peter fuhr seinen Freund sturzbetrunken nach Hause. 3 Ich traf den Sohn des Nachbarn mit dem Gewehr. Die Grammatikregeln lassen verschiedene Analysen zur Kombination der Satzelemente zu. Kompositionell-semantische Ambiguität bzw. Skopusambiguität: 1 Die zwei Mitarbeiter müssen vier Sprachen beherrschen. Schütze: Einführung in die Computerlinguistik 64 / 75

243 Typen von Ambiguität Strukturelle/syntaktische Ambiguität: 1 Visiting relatives can be boring. 2 Peter fuhr seinen Freund sturzbetrunken nach Hause. 3 Ich traf den Sohn des Nachbarn mit dem Gewehr. Die Grammatikregeln lassen verschiedene Analysen zur Kombination der Satzelemente zu. Kompositionell-semantische Ambiguität bzw. Skopusambiguität: 1 Die zwei Mitarbeiter müssen vier Sprachen beherrschen. 2 Some student likes every course. Schütze: Einführung in die Computerlinguistik 64 / 75

244 Typen von Ambiguität Strukturelle/syntaktische Ambiguität: 1 Visiting relatives can be boring. 2 Peter fuhr seinen Freund sturzbetrunken nach Hause. 3 Ich traf den Sohn des Nachbarn mit dem Gewehr. Die Grammatikregeln lassen verschiedene Analysen zur Kombination der Satzelemente zu. Kompositionell-semantische Ambiguität bzw. Skopusambiguität: 1 Die zwei Mitarbeiter müssen vier Sprachen beherrschen. 2 Some student likes every course. 3 Alle Politiker sind nicht korrupt. Quantifikatoren (alle, jeder, zwei) und Negationen können sich auf verschieden große Satzteile beziehen. Schütze: Einführung in die Computerlinguistik 64 / 75

246 Typen von Ambiguität Pragmatische Ambiguität: Schütze: Einführung in die Computerlinguistik 65 / 75

247 Typen von Ambiguität Pragmatische Ambiguität: 1 Könnten Sie die Aufgabe lösen? Schütze: Einführung in die Computerlinguistik 65 / 75

248 Typen von Ambiguität Pragmatische Ambiguität: 1 Könnten Sie die Aufgabe lösen? 2 Haben Sie eine Uhr? Der Bezug einer Aussage zum außerlinguistischen Kontext kann auf mehrere Arten hergestellt werden. Schütze: Einführung in die Computerlinguistik 65 / 75

249 Wie mit Ambiguität umgehen? Schütze: Einführung in die Computerlinguistik 66 / 75

250 Wie mit Ambiguität umgehen? Alle Lesarten berechnen / aufzählen. Ist in der Regel nicht praktikabel, manchmal aber von theoretischem Interesse. Schütze: Einführung in die Computerlinguistik 66 / 75

251 Wie mit Ambiguität umgehen? Alle Lesarten berechnen / aufzählen. Ist in der Regel nicht praktikabel, manchmal aber von theoretischem Interesse. Unterspezifizierte Repräsentation verwenden, die alle möglichen Lesarten in einer kompakten Darstellung zusammenfasst. Schütze: Einführung in die Computerlinguistik 66 / 75

252 Wie mit Ambiguität umgehen? Alle Lesarten berechnen / aufzählen. Ist in der Regel nicht praktikabel, manchmal aber von theoretischem Interesse. Unterspezifizierte Repräsentation verwenden, die alle möglichen Lesarten in einer kompakten Darstellung zusammenfasst. Nur die aufgrund des Kontextes präferierte(n) Lesarten berechnen / aufzählen. Erfordert ein geeignetes gewichtetes / probabilistisches Modell, oder zusätzliche Information (Weltwissen). Schütze: Einführung in die Computerlinguistik 66 / 75

253 Wie mit Ambiguität umgehen? Alle Lesarten berechnen / aufzählen. Ist in der Regel nicht praktikabel, manchmal aber von theoretischem Interesse. Unterspezifizierte Repräsentation verwenden, die alle möglichen Lesarten in einer kompakten Darstellung zusammenfasst. Nur die aufgrund des Kontextes präferierte(n) Lesarten berechnen / aufzählen. Erfordert ein geeignetes gewichtetes / probabilistisches Modell, oder zusätzliche Information (Weltwissen). Probabilistisches Modell: Statistisches Modell, das verschiedenen Möglichkeiten Wahrscheinlichkeiten zuweist. Ein System kann sich dann für die wahrscheinlichste Variante entscheiden. Die Wahrscheinlichkeiten können z.b. durch Auswertung von durch Menschen annotierte Trainingsdaten gewonnen werden. Schütze: Einführung in die Computerlinguistik 66 / 75

254 Literatur Schütze: Einführung in die Computerlinguistik 67 / 75

255 Literatur Jurafsky & Martin: Speech and Language Processing. Pearson Prentice Hall (Lehrbuchsammlung) Schütze: Einführung in die Computerlinguistik 67 / 75

257 Literatur Carstensen et al.: Computerlinguistik und Sprachtechnologie. Eine Einführung. Heidelberg 2010 (3. Auflage) (Elektronische Version: Schütze: Einführung in die Computerlinguistik 68 / 75

259 Literatur Müller: Arbeitsbuch Linguistik. Schöningh / UTB (Elektronische Version: s.o.) Schütze: Einführung in die Computerlinguistik 69 / 75

261 Literatur Fromkin, Rodman, Hyams: An Introduction to Language Schütze: Einführung in die Computerlinguistik 70 / 75

263 Literatur Bender: Linguistic Fundamentals for Natural Language Processing. Morgan & Claypool Schütze: Einführung in die Computerlinguistik 71 / 75

265 Literatur Manning, Raghavan, Schütze: Foundations of Introduction to Information Retrieval. Cambridge University Press Schütze: Einführung in die Computerlinguistik 72 / 75

267 Literatur Keith Brown (ed.): Encyclopedia of Language & linguistics. Elsevier (Elektronische Version: s. Homepage) Schütze: Einführung in die Computerlinguistik 73 / 75