DARIAH-DKPro-Wrapper Nils Reimers

Transkript

1 DARIAH-DKPro-Wrapper Nils Reimers 1

2 Maschinelle Textverarbeitung In einer Pipeline werden unterschiedliche Komponenten zusammengeschaltet Word- / Satztrennung Stopp- Wörter Lemmatisierung Named- Entities Daten Einlesen Linguistische Vorverarbeitung Morphologische Analyse Syntaktische Analyse Semantische Analyse Daten Abspeichern POStagger Parser 2

3 UIMA Unstructured Information Management Architecture Komponenten-Architektur zur Analyse unstrukturierter Daten (z.b. Text) Jede Komponente übernimmt eine Aufgabe, z.b. Einlesen von Text, Segmentierung, Part-of-speech tagging Das Ergebnis jeder Komponente wir an die folgende weitergereicht UIMA definiert ein Framework zur Erstellung und zum Zusammenschalten dieser Komponenten Vorteil: Verschiedene Komponenten können einfach kombiniert und ausgetauscht werden 3

4 DKPro Core DKPro Core ( integriert viele NLP-Tools in die UIMA- Architektur (u.a. Stanford NLP, OpenNLP, MateTools, Treetagger) Verarbeitungsschritt # Komponenten Sprachen Sprachen-Identifizierung 2 de, en, es, fr, +65 Wort- und Satzgrenzbestimmung 5 de, en, es, fr, +25 Lemmatisierung 7 de, en Wortstamm-Bestimmung 1 de, en, es, fr, +11 Wortart-Bestimmung 9 de, en, es, fr, +14 Morphologische Analyse 2 de, en, fr, it, +14 Named Entity Recognition 2 de, en, es, nl Chunking 2 de, en Constituency Parsing 3 de, en, fr, zh, +1 Dependency Parsing 5 de, en, fr, it, +7 Koreferenz-Analyse 1 en Semantic Role Labeling 2 en,de,es,ch Rechtschreibüberprüfung 3 de, en, es, fr, +25 4

5 DARIAH-DKPro-Wrapper Open Source Projekt: Funktionalitäten: 1. Einlesen von Textdateien / Ordner mit Textdateien 2. Konfigurierbare Sprachverarbeitungsschritte 3. Abspeichern der Ergebnisse in leicht zugänglichem Format Der DARIAH-DKPro-Wrapper richtet sich an Personen mit geringen Programmierfähigkeiten und erlaubt die Analyse von Text mit einfachen mitteln. Programmierfähigkeiten in Java sind nicht erforderlich 5

6 1) Hands-on Tutorial Java installieren Tutorial zum Nachlesen: Zum Ausführen der Pipeline wird Java in Version 8 benötigt Google nach Java 8 liefert eine Oracle Website, von der Java 8 runtergeladen werden kann Nach der Installation startet eine Kommandozeile: Windows 7: Start -> Programme/Dateien durchsuchen -> cmd.exe Gebt in die Kommandozeile java version ein: 6

7 2) Download des DKPro-DARIAH-Wrapper Aufruf des Repositories: Alternativ: Google -> DARIAH-DKPro-Wrapper Klickt auf Releases Ladet dariah-dkpro-wrapper zip herunter und entpackt es 7

8 3) Aufruf der Pipeline Navigiert in der Kommandozeile in das entsprechende Verzeichnis: Laufwerk-Wechsel: d: Verzeichnis-Wechsel: cd ordner java Xmx4g jar de.tudarmstadt.ukp.dariah.pipeline standalone.jar -help 8

9 4) Ausführen der Pipeline Erstellt in dem Verzeichnis eine beispiel.txt-datei mit einem kurzen Text (Englisch oder Deutsch). Ruft die Pipeline wie folgt auf: java Xmx4g jar de.tudarmstadt.ukp.dariah.pipeline standalone.jar language de input beispiel.txt output. Per language kann die Sprache definiert werden: en: Englisch de: Deutsch es: Spanisch fr: Französisch Diese vier Sprachen werden von Haus aus unterstützt, weitere Sprachen einfach verwendbar (sofern Komponenten existent) 9

10 5) Ausgabeformat Die Ausgabe wird in ein Tab-separiertes Format geschrieben 1. Zeile: Spaltennamen Eine Zeile je Token mit den entsprechenden Informationen (POS, Lemma etc.) 10

11 6) Spalteninformationen SectionId: Zur Zeit ohne Verwendung, geplant sind Strukturdaten aus XML-Dateien. ParagraphId: Aufsteigende ID des Absatz SentenceId: Aufsteigende ID des Satzes TokenId: Aufsteigende ID des Tokens Begin: Start-Position des Tokens im Dokument End: End-Position des Tokens im Dokument Token: Der Token (Wort) an sich Lemma CPOS: Coarse-grained POS (12 verschiedene Arten) POS: Feinere Unterteilung, Werte abhängig vom POS-Tagger Chunk: Chunking-Information Morphology: Morphologische Informationen DependencyHead: TokenId des Heads der Dependency DependencyRelation: Relations-Typ der Dependency NamedEntity: Named Entity Information (PER, ORG, LOC, OTH) QuoteMarker: 1 falls der Text innerhalb von Anführungszeichen stand, 0 sonst SyntaxTree Predicate: Information ob Wort ein Prädikat ist (Semantic Role Labeling) SemanticArgumentIndex: Falls es ein Prädikat ist, gibt der Wert an in welcher Spalte die semantischen Argumente sich befinden SemanticArgument0, SemanticArgument1: Semantische Argumente für die Prädikate pro Satz 11

12 7) Konfigurationsdatei Mittels Konfigurationsdateien kann die Pipeline individuell angepasst werden An-/Ausschalten einzelner Komponenten (z.b. aus Gründen der Performance) Austausch von Komponenten (nicht jede Komponente ist in jeder Sprache verfügbar) Auswahl unterschiedlicher Modelle für gewisse Komponenten Konfigurationsdateien sind im Ordner configs abgespeichert Mittels dem Argument config neu.properties kann ich die Pipeline mit einer anderen Konfigurationsdatei starten Es wird stets die default.properties geladen, diese stellt eine Grundkonfiguration dar und sollte nicht geändert werden Config-Dateien die per config geladen werden überschreiben die Einstellungen der default.properties. 12

13 Ausgabeformat einlesen Das Ausgabeformat ist konzipiert um leicht weiterverarbeitet zu werden Mittels Excel kann dieses geöffnet werden und nach gewünschten Informationen gefiltert werden. Next Steps: Format mittels Python einlesen 13

14 Python Format einlesen Zum Einlesen der Daten unter Python empfehlen wird Pandas: Installation von Pandas: Windows: Idealerweise mittels Anaconda Unix/OSX: pip install pandas oder easy_install pandas Einlesen der Datei: import pandas as pd df = pd.read_csv("beispiel.txt.csv", sep="\t") sentences = df.groupby('sentenceid') sentence0 = sentences.get_group(0) print sentence0 print sentence0[sentence0['cpos'] == 'NN'] 14