Grundlagen und Definitionen

Transkript

1 Grundlagen und Definitionen Wissensmanagement VO Bartholomäus Wloka

2 Maschinelle Sprachverarbeitung Breites Spektrum an Methoden der Computerverarbeitung von Sprache. Kann gegliedert werden in: Computerlinguistik theoretischer Ansatz Linguistische Datenverarbeitung Verarbeitung von Sprachdaten Natural Language Processing (NLP) kognitionsorientierter Ansatz Sprachtechnologie (Human Language Technology, HLT) praxisorientierter Ansatz Die Grenzen zwischen den Teilgebieten sind nicht immer klar definierbar. Seite 2

3 Beispiele Spracherkennung; schreiben ohne zu tippen Sprachdialogsysteme Automatische Korrektur Maschinelle Übersetzung Computer Assisted Translation (CAT) Seite 3

4 Sprachtechnologie Symbiose von Linguistik und Informatik wenn auch nicht immer reibungsfrei Whenever I fire a linguist our system performance improves Frederik Jelinek, IBM Forscher Fehlendes interdisziplinäres Wissen kann zu eklatanten Fehleinschätzungen führen Bis Ende der 80er Jahre Fokus auf statistische Methoden der Natural Language Systems (NLS) Seite 4

5 Ansätze der Computerlinguistik im Überblick Seite 5

6 Aktuelle Entwicklung Zurück zu statistischen Methoden Verbindung von verschiedenen Methoden (hybride Ansätze) Verwendung von Korpora Distributional Semantics Seite 6

7 Aufteilung der Anwendungen Geschriebene/gesprochene Sprache (text/speech) Komplexität Funktionalitätsbereich Seite 7

8 Speech Technology Erkennung und Produktion von Sprache Spoken Language Translation (SLT) Speech-to-Speech Translation (SST) Seite 8

9 Text Technology Rechtschreibprüfung Computergestützte Lexikographie und Terminologie Textbearbeitung Dokumentanalyse Textmining Maschinelle Übersetzung Seite 9

10 Rechtschreibprüfung Prüft und korrigiert evtl. Rechtschreibfehler Problem: das/dass, wenn/wen, etc. Kann teilweise Grammatik beachten, jedoch nicht den Kontext Nutzen variiert stark, je nach Anwendung Seite 10

11 Computergestützte Lexikographie und Terminologie Die Erstellung und Pflege von: Lexika Fachwortsammlungen (Termbanken) Ein- und mehrsprachige Datenbanken Verwendung dieser Daten für: Übersetzung Knowledge Discovery, Data Mining Sowohl menschliche als auch maschinelle Analyse von Texten Seite 11

12 Textbearbeitung Filterung, Extraktion, Indexierung, Kategorisierung Wissensmanagement Beispiele Automatisches Sortieren von nach Relevanz Ausfiltern von Spam Effiziente Archivierung von großen Datenmengen Erleichterung der Suche in großen Datensammlungen Seite 12

13 Dokumentanalyse Information Retrieval Textklassifikation automatische Erkennung einer Sprache Data Mining Entdeckung neuer Informationen (Muster) Seite 13

14 Maschinelle Übersetzung Übersetzung durch Computer (z.b. Google Translate) Unterstützung der menschlichen Übersetzung durch Computer (CAT) Seite 14

15 Maschinelle Übersetzung Übersetzung durch Computer (z.b. Google Translate) Unterstützung der menschlichen Übersetzung durch Computer (CAT) Atril Déjà Vu X3 Kilgray memoq translator pro MateCat (Cloud-Anwendung, gratis) MemSource (Cloud-Anwendung) OmegaT (open source, freeware) SDL Trados Studio Professional & Freelance Star Transit NXT Professional Swordfish Translation Editor Wordfast Anywhere XTM Cloud Seite 15

16 Gängige Software Textverarbeitung (MS Word, Editor, ) Tabellenkalkulation (MS Excel, Open Office calc, ) Datenbanken (MySQL, PostgresQL, ) Seite 16

17 Spezialisierte Software Computer Assisted Translation (CAT) Tools Machine Translation (MT) Tools Annotationssoftware Seite 17

18 CAT Tools Atril Déjà Vu X3 Kilgray memoq translator pro MateCat (Cloud-Anwendung, gratis) MemSource (Cloud-Anwendung) OmegaT (open source, freeware) SDL Trados Studio Professional & Freelance Star Transit NXT Professional Swordfish Translation Editor Wordfast Anywhere XTM Cloud Seite 18