Computerlinguistik und Sprachtechnologie

Transkript

1 Computerlinguistik und Sprachtechnologie Eine Einführung 2., überarbeitete und erweiterte Auflage Herausgegeben von: Kai-Uwe Carstensen, Christian Ebert, Cornelia Endriss, Susanne Jekat, Ralf Klabunde und Hagen Langer ELSEVIER SPEKTRUM AKADEMISCHER VERLAG

2 Inhaltsverzeichnis 1 Computerlinguistik - Was ist das? Aspekte der Computerlinguistik Computerlinguistik: Die Wissenschaft Computerlinguistik und ihre Nachbardisziplinen Teilbereiche der Computerlinguistik Theoretische Computerlinguistik Wissensbereiche Industrielle Anwendungen Berufsfelder für Computerlinguisten Literaturhinweise Zur Geschichte der Computerlinguistik Symbolische Sprachverarbeitung Korpusstatistische Verfahren Anwendungen der Computerlinguistik 21 2 Formale Grundlagen Mengenlehre und Logik Mengenlehre Aussagenlogik Prädikatenlogik Typenlogik Der Lambda-Kalkül Literaturhinweise Automatentheorie und Formale Sprachen Grundlegende Definitionen Grammatiken Endliche Automaten, einseitig-lineare Grammatiken und reguläre Sprachen Kontextfreie Sprachen und Grammatiken Nicht-kontextfreie Sprachen und Grammatiken Komplexitäts- und Entscheidbarkeitseigenschaften Zusammenfassung Literaturhinweise Graphentheorie und Merkmalsstrukturen Graphen und Bäume Merkmalsstrukturen 94

3 x Inhaltsverzeichnis Unifikation Generalisierung Typisierte Merkmalsstrukturen Literaturhinweise Wahrscheinlichkeitstheorie und HMMs Wahrscheinlichkeitstheoretische Grundlagen Hidden-Markov-Modelle Literaturhinweise Texttechnologische Grundlagen HTML - Hypertext Markup Language XML - Extensible Markup Language Verarbeitung XML-annotierter Daten Texttechnologie und Computerlinguistik Literaturhinweise Methoden Phonologie Probleme und Terminologie Methoden Literaturhinweise Morphologie Überblick Grundbegriffe und -probleme Modelle aus der Generativen Linguistik Morphologie mit endlichen Automaten Default-Vererbungsnetze: DATR Erweiterte Finite-State-Ansätze Morphologie und generative Kapazität Zusammenfassung und Ausblick Literaturhinweise Flache Satzverarbeitung Tokenisierung Wortart-Tagging Chunk-Parsing Literaturhinweise Syntax und Parsing Syntax Parsing Literaturhinweise Semantik Grundlagen der natürlichsprachlichen Semantik Montague-Semantik Theorie der generalisierten Quantoren Diskursrepräsentationstheorie Ansätze zur Unterspezifikation Lexikalische Semantik 319

4 Inhaltsverzeichnis XI Literaturhinweise Pragmatik Text, Diskurs und Dialog Anaphernresolution Präsuppositionsverarbeitung Fokus Benutzermodellierung Textgenerierung Aufgaben der Planung und Umsetzung Funktionalität des Planungsprozesses Methoden zur Diskursplanung Satzplanungsverfahren Verfahren zur Oberflächenrealisierung Linguistische Theorien zur Generierung Literaturhinweise 403 Ressourcen Textkorpora Korpustypen und ihre Zusammensetzung Erstellung von Korpora Korpusrepräsentation Hinzufügen von linguistischer Information Abfragesysteme für Textkorpora Literaturhinweise Baumbanken Zentrale Eigenschaften von Baumbanken Die Penn Treebank Das TIGER-Korpus Literaturhinweise Lexikalisch-semantische Wortnetze GermaNet - ein deutsches Wortnetz EuroWordNet, ein polylinguales Wortnetz Anwendungsperspektiven semantischer Netze im NLP Literaturhinweise Lexika für multimodale Systeme Wörterbuch, Lexikon, oder Enzyklopädie? Die Lexikonbaumeister Eigenschaften eines Lexikons Schritte im Lexikonaufbau Literaturhinweise Sprachdatenbanken Definition Signaldaten Symbolische Daten Urherberrechte, Nutzung und Distribution Software 445

5 xii Inhaltsverzeichnis Beispiele: Verbmobil und SpeechDat-II Literaturhinweise Nicht-sprachliches Wissen Die Relevanz nicht-sprachlichen Wissens für die CL Wissen und Wissensrepräsentation Aspekte derwissensrepräsentation Wissensrepräsentation für die CL Literaturhinweise Das World Wide Web Technologische Grundlagen Das WWW als computerlinguistische Ressource Das Semantic Web Literaturhinweise Anwendungen Korrekturprogramme Korrektur von Nicht-Wörtern Kontextabhängige Korrektur Grammatikkorrektur Perspektiven Literaturhinweise Computergestützte Lexikographie und Terminologie Aufgaben und Aspekte der computergestützten Lexikographie Lexikographiesysteme Computational Terminology Stand und Perspektiven Literaturhinweise Volltextsuche und Text Mining Volltextsuche Text Mining Literaturhinweise Textklassifikation Generische System-Architektur Verschiedene technologische Lösungsansätze Evaluierung von Textklassifikations-Systemen Stand der Technik Perspektiven Literaturhinweise Informationsextraktion Ein Beispiel Evaluationskriterien für IE Ein generisches IE-System Maschinelle Lernverfahren für IE Literaturhinweise Textzusammenfassung 511

6 Inhaltsverzeichnis XIII Wissensverarbeitende Systeme Statistische Verfahren Literaturhinweise Sprachsynthesesysteme Struktur eines TTS-Systems Computerlinguistische TTS-Komponenten Ein einheitlicher Formalismus Perspektiven Literaturhinweise Spracherkennungssysteme Struktur eines automatischen Spracherkenners Paradigma der Spracherkennung: HMM Modellierung gesprochener Sprache Perspektiven und Herausforderungen Literaturhinweise Dialogsysteme Anwendungsgebiete Evolution von Dialogsystemen Komponenten eines Dialogsystems Multimodale Dialogsysteme Design von Dialogsystemen Literaturhinweise Sprachlehr- und -lernsysteme Herkömmliche Sprachlehrprogramme ICALL-Systeme Fazit Elektronische Kommunikationshilfen Typen von Kommunikationshilfen Kommunikationshilfen mit Sprach- oder Textausgabe Perspektiven Literaturhinweise Angewandte natürlichsprachliche Generierungs- und Auskunftsysteme Was ist angewandte NLG? Beispiele für angewandte NLG-Systeme Mechanismen und Methoden Perspektiven Literaturhinweise Maschinelle und computergestützte Übersetzung MÜ-Ansätze Computergestützte Übersetzung - CAT Aktueller Stand und Perspektiven Literaturhinweise 571

7 xiv Inhaltsverzeichnis 6 Evaluation sprachverarbeitender Systeme Einführung Warum wird evaluiert? Wie wird evaluiert? Was wird evaluiert? Akustische Evaluation Motivation Spracherkennung Methoden und Maße Diskussion Evaluation eines Dolmetschsystems Das VERBMOBIL System Spezifikation der Anforderungen Durchführung der Evaluation Ergebnisse Fazit Literaturhinweise 590 Literaturverzeichnis 591 Index 625 Die Autorinnen und Autoren 641