Softwarepraktikum. Textanalyse mit Java/Python. Franz Matthies

Transkript

1 Textanalyse mit Java/Python Lehrstuhl für Computerlinguistik Institut für Germanistische Sprachwissenschaft Friedrich-Schiller-Universität Jena Sommersemester 2016 Sitzung 1

2 Überblick 1 Voraussetzungen Prüfungsaspekte 2 Pipelines Formate 3 4 Hinweise

3 Überblick Voraussetzungen Prüfungsaspekte 1 Voraussetzungen Prüfungsaspekte 2 Pipelines Formate 3 4 Hinweise

4 Voraussetzungen Voraussetzungen Prüfungsaspekte Programmierkenntnisse? Laptop?

5 Prüfungsaspekte Voraussetzungen Prüfungsaspekte blätter: Ausgabe in Praktikumssitzung je nach Umfang Abgabe ein oder zwei Wochen später umfangreichere Abschlussarbeit am Ende

6 Überblick Pipelines Formate 1 Voraussetzungen Prüfungsaspekte 2 Pipelines Formate 3 4 Hinweise

7 Pipelines Formate Komponenten bilden eine Pipeline Text Sentence Splitter Tokenizer POS-Tagger Output Texte werden schrittweise analysiert; es kommen nach und nach neue Annotationen hinzu nicht jedes System bietet Komponenten für alle Schritte einer Pipeline Komponenten aus verschiedenen Quellen können aber (i.d.r.) zusammen genutzt werden

8 Text vs. interne Formate Pipelines Formate Die gewonnen Informationen können auf 2 Arten von einer Komponente zur nächsten gelangen: Komponenten produzieren Textdateien mit in-line Annotationen, diese werden zum Input anderer Komponenten. Die Komponenten kommunizieren indirekt über einen zentralen Container. Jede Komponente meldet dort ihre Ergebnisse, bzw. holt sich dort den Text und die für sie nötigen Annotationen.

9 Stärken der Ansätze Pipelines Formate Textbasiert die Arbeit jeder Komponente kann einfach betrachtet, bzw. anderweitig verwendet werden weniger Overhead Interne Formate direkte Kommunikation zwischen einzelnen Komponenten durch das einheitliche Format sind beim Einbinden fremder Komponenten weniger Übersetzungsschritte notwendig

10 Beispiele Pipelines Formate Systeme mit Textinput/-output: Übergangsform Systeme mit internen Formaten GATE ( UIMA (

11 Überblick 1 Voraussetzungen Prüfungsaspekte 2 Pipelines Formate 3 4 Hinweise

12

13 : Prinzip (fast) alle Tools benötigen oder produzieren Modelle Modelle beinhalten gewichtete Entscheidungskriterien für die Zuordnung eines Phänomens zu einer Klasse fertige Modelle finden sich unter: (kombatibel mit 1.6)

14 : Verwendung Skripte für Windows und Linux um per Kommandozeile zu verwenden alternativ kann das Java Paket auch direkt in Java Programme eingebunden werden für UIMA gibt es fertige Wrapper-Klassen die meisten Tools können für das Training und einige auch zur Evaluation verwendet werden

15 : Fazit stellt für die meisten Tools zur Verfügung für das Deutsche gibt es nur Modelle für Sentence Detector, Tokenizer und POS-Tagger Manche sind über Kommandozeile nicht sinnvoll nutzbar (z.b. fehlende Dokumentation für Dokument Klassifizierer)

16

17 : Python hard facts einfache(re), leicht lesbare Sprache interaktive Benutzung möglich quelloffen & frei gut für Forschung & Lehre

18 : Python Ressourcen Anaconda ( ipython Notebook ( (see for a short introduction) Buch (

19 : Python Lernen Codecademy ThinkPython Buch

20 : Was ist das? quelloffene Python-Bibliothek für NLP entwickelt mit Lehre im Sinn viele vorgefertigte nützliche Methoden... wie auch einige Corpora ausführliche Dokumentation/Tutorial

21 : Beispiele

22 Überblick Hinweise 1 Voraussetzungen Prüfungsaspekte 2 Pipelines Formate 3 4 Hinweise

23 : Allgmeines Hinweise Abgabe bis spätestens im Laufe des Donnerstags, , als ipython Notebook (.html/.pdf) via an: 1 Anaconda (mit Python 3.5) installieren 2 Kapitel 1 des Buchs durcharbeiten 3 darauf aufbauend Übung 6 dieses Kapitels lösen

24 : Hinweise Hinweise Um die Dispersionsgrafik im Notebook anzuzeigen und nicht als pop-up zu öffnen, sollte folgender Befehl an den Anfang des Notebooks gestellt (und ausgeführt) werden: Magic Command %pylab inline pylab.rcparams[ figure.figsize ] = (14.0, 10.0) Die zweite Zeile bestimmt die Standardgröße der Grafiken.

25 Hinweise Um Notebooks im PDF-Format zu speichern, wird Pandoc und L A TEX benötigt.