TnT - Statistischer Part-of- Speech Tagger

Größe: px

Ab Seite anzeigen:

Download "TnT - Statistischer Part-of- Speech Tagger"

Lukas Kästner
vor 6 Jahren
Abrufe

1 TnT - Statistischer Part-of- Speech Tagger 2. Teil der Präsentation des TnT Taggers von Thorsten Brants Präsentation von Berenike Loos

2 Gliederung 1. Installation und Beschreibung des Programms 2. Erläuterungen zu Bestandteilen 3. praktisches Beispiel mit Hilfe meiner GUI

3 Download von TnT Download des TnT Taggers nach Registrierung möglich. Weitere Informationen:

4 Installationshinweise für Windows in dem mitgelieferten Manual gibt es noch keine Installationshinweise für Windows deshalb sind die ersten Schritte unter Windows auf der folgenden Seite beschrieben

5 Installation von TnT unter Windows Es handelt sich um ein Kommandozeilenprogramm, also müssen die einzelnen *.exe Dateien über die DOS Eingabeaufforderung aufgerufen werden damit TnT von jedem Verzeichnis aus gestartet werden kann: Start Ausführen... Öffnen: Sysedit in autoexec.bat eintragen: Set PATH=C:\tnt Set VAR=C:\TNT\MODELS

6 Bestandteile des TnT Taggers tnt-para.exe für die Erstellung neuer Modelle tnt.exe zum Taggen tnt-diff.exe zum Vergleichen zweier getaggter Dateien tnt-wc.exe zum Zählen von Wörtern und Tags Ordner mit Modellen trainiert am Negra- Korpus (deutsch), WSJ-Korpus und Susanne-Korpus (englisch) Manual

7 Erläuterungen: 1. Modell (tntpara.exe) Ein Modell bietet Kriterien, anhand derer der Tagger Entscheidungen trifft Vorbild für ein Modell ist eine getaggte Datei Jedes Modell wird in zwei Dateien gespeichert: Datei, die lexikalische Häufigkeiten repräsentiert, Endung *.lex Datei, die kontextuelle Häufigkeiten repräsentiert, Endung *.123 Präsentation von Berenike Loos

8 Erläuterungen: 2. ungetaggte Datei (tnt.exe) Dateiendung *.t Vor Kommentaren steht %% Nur ein Wort pro Zeile Jedes weitere Wort, das durch Leerzeichen abgetrennt ist, wird ignoriert

9 Erläuterungen: 3. getaggte Datei (tnt.exe und tnt-para.exe) Dateiendung *.tt Vor Kommentaren steht %% Jede Zeile enthält ein Wort und dazugehörigen Tag durch Leerzeichen getrennt Jedes weitere Wort, das durch Leerzeichen abgetrennt ist, wird ignoriert Präsentation von Berenike Loos

10 Erläuterungen: 4. Vergleich (tntdiff.exe) Zwei getaggte Dateien, die auf der selben ungetaggten Datei basieren, können verglichen werden Möglichkeit zum Vergleich: eine Datei mit bestehendem Modell getaggt und eine Datei mit neuem Modell oder eine Datei von Hand getaggt

11 Vorgang des Taggens mit dem Modell trainiert am Negra-Korpus negra.123 negra.tnt Trainingskorpus negra.lex + neu.t Testkorpus = neu.tt Modell

12 Vorgang des Taggens mit Modell an neuem Korpus trainiert neu.123 neu.tt (von Hand bearbeitet) Trainingskorpus neues Modell neu.lex + text.t Testkorpus = text.tt

13 Entwicklung einer GUI für den TnT Tagger Vereinfachung der Bedienung: zeilenweise Texteingabe möglich, da Zeilenumbrüche automatisch nach jedem Wort eingefügt werden automatische Erstellung neuer Dateinamen Überprüfung, ob Dateiname schon vorhanden

14 GUI entwickelt für den TnT Tagger Präsentation von Berenike Loos

15 GUI entwickelt für den TnT Tagger Präsentation von Berenike Loos

16 Literatur & Links T. Brants. TnT - A Statistical Part-of-Speech Tagger. Proceedings of the Sixth Applied Natural Language Processing Conference ANLP-2000, Seattle, WA, TnT Tagger: Tagset des Deutschen: Diffs.html

17 Folien unter: Infos und Vorschläge an: Präsentation von Berenike Loos

Ähnliche Dokumente

Der VITERBI-Algorithmus

Der VITERBI-Algorithmus Hauptseminar Parsing Sommersemester 2002 Lehrstuhl für Computerlinguistik Universität Heidelberg Thorsten Beinhorn http://janus.cl.uni-heidelberg.de/~beinhorn 2 Inhalt Ziel des