Softwaretechnologie für die Ressourcenlinguistik

Transkript

1 Tools und Frameworks FSU Jena

2 Gliederung 1 Pipelines Formate 2 3 Übersicht Details Fazit

3 Pipelines Formate Komponenten bilden eine Pipeline Text Sentence Splitter Tokenizer POS-Tagger Output Texte werden schrittweise analysiert, ständig kommen neue Annotationen hinzu. Nicht jedes System bietet Komponenten für alle Schritte einer Pipeline. Aber Komponenten aus verschiedenen Quellen können (i.d.r.) zusammen genutzt werden.

4 Text vs. interne Formate Pipelines Formate Die gewonnen Informationen können auf 2 Arten von einer Komponente zur nächsten gelangen: Komponenten produzieren Textdateien mit in-line Annotationen, diese werden zum Input anderer Komponenten. Die Komponenten kommunizieren indirekt über einen zentralen Container. Jede Komponente meldet dort ihre Ergebnisse, bzw. holt sich dort den Text und die für sie nötigen Annotationen.

5 Stärken der Ansätze Pipelines Formate Textbasiert: die Arbeit jeder Komponente kann einfach betrachtet werden weniger Overhead Interne Formate: durch das einheitliche Format sind beim Einbinden fremder Komponenten weniger Übersetzungsschritte nötig: Direkt von Output zu Input! Output Input Output zu Container und Container zu Input! Output + Input

6 Beispiele Pipelines Formate Systeme mit Textinput/-output: Übergangsform: Systeme mit internen Formaten: GATE ()

7

8 Was beinhaltet? Sentence Detector Tokenizer Named Entity Recognition POS-Tagger Chunker Parser Coreference Resolution (nicht dokumentiert) Dokumenten Klassifizierer (nicht dokumentiert) Konverter für verschiedene Korpora

9 Prinzip (Fast) Alle Tools benötigen oder produzieren Modelle Modelle beinhalten gewichtete Entscheidungskriterien für die Zuordnung eines Phänomens zu einer Klasse Verwendete Modelle: Maximum Entropy und Perzeptron Fertige Modelle finden sich unter

10 Verwendung Kommandozeile oder API Im lib Ordner finden sich Skripte für Windows und Linux um über Kommandozeile zu verwenden Alternativ kann das.jar auch direkt in Java Programme eingebunden werden Für gibt es fertige Wrapper Klassen Die meisten Tools gibt es auch in einer Trainingvariante zum erstellen neuer Modelle. Einige Tools bieten auch eine Evaluationsfunktion (teilweise auch Kreuzvalidierung).

11 Beispiel: POSTagger per Kommandozeile Maximum Entrpoy Model Input: Bees are flying insects closely related to wasps and ants, and are known for their role in pollination and for producing honey and beeswax. Bees... Output: Bees_NNP are_vbp flying_vbg insects_nns closely_rb related_vbn to_to wasps_nns and_cc ants_nns,_, and_cc are_vbp known_vbn for_in their_prp$ role_nn in_in pollination_nn and_cc for_in producing_vbg honey_nn and_cc beeswax_nn._. Bees_NNPS... Bemerkung: NNP(S) = Eigenname (im Plural)

12 Fazit stellt für die meisten Aufgaben Tools zur Verfügung. Für Deutsch gibt es nur Modelle für Sentence Detector, Tokenizer und POS-Tagger. Manche sind über Kommandozeile nicht sinnvoll nutzbar (z.b. fehlende Dokumentation für Dokument Klassifizierer).

13

14 in Aktion Modul (Bibliothek) importieren. Objekt erstellen. Methode aufrufen.

15 in Aktion startbar durch Aufruf der Methode nltk.app.concordance()

16 Fazit Besonderheiten: Stärken: Python Speichert Texte/Annotationen intern, verwendet dazu in-line Formate. Zu didaktischen Zwecken entwickelt, vgl. Punkt 12 unter Liefert mehrere Korpora und Tools für verschiedenste Aufgaben über nltk.download() Zugehöriges Lehrbuch kostenlos erhältich unter

17

18 Startansicht

19 Benutzung Arbeit mit : Gewünschte Komponenten aus der Liste rechts auswählen und in den linken Bereich ziehen. Dabei auf Reihenfolge achten, jede Komponente braucht bestimmte Annotationen um arbeiten zu können. Auf den Play -Knopf drücken. Das Session Results Fenster zeigt welcher Teil der Pipeline wie lang gebraucht hat und kann den annotierten Text anzeigen.

20 Fazit Stärken: Grenzen: Einfaches Konfigurieren von Pipelines Session Results erlauben den Vergleich von Annotationen aus unterschiedlichen Quellen. Mitgelieferte Komponenten sind größtenteils für biomedizinische Texte. Viele Komponenten werden nur per online Abfrage angeboten.

21 Übersicht Details Fazit

22 Geschichte Übersicht Details Fazit Ursprünglich von IBM (2005) Inzwischen Apache Projekt (2006) Prominenteste Anwendung: IBMs Watson (2011)

23 Konzept Übersicht Details Fazit Typensystem: definiert mögliche Annotationen CAS (Common Analysis Structure): speichert analysierte Texte und die zugehörigen Annotationen Pipeline: Collection Reader (CR): Liest Daten ein uns speichert diese in der CAS Analysis Engine (AE): Komponente die Annotationen hinzufügt, z.b. Tokenizer CAS Consumer: Gibt die in der CAS gespeicherten Daten aus

24 Typen Übersicht Details Fazit Jede Annotation braucht einen Typ! Werden in XML Dateien definiert, Eclipse Plugin erzeugt daraus Java Klassen Typensystem erlaubt Vererbung (z.b. Philosoph als Untertyp zu Mensch ) Typen können Features haben, diese erlauben das Speichern von weiteren Informationen (z.b. Feature Geschlecht für Typ Mensch )

25 (J)Cas Übersicht Details Fazit In Java wird i.d.r. statt der eigentlichen CAS die JCas genutzt: cas.getjcas() Wichtigste Methoden: Foo foo = new Foo (jcas); foo.addtoindexes() um neue Annotationen hinzuzufügen jcas.getannotationindex(foo.type) um auf frühere Annotationen zuzugreifen Inhalt kann als XMI serialisiert werden (über spezielle Consumer/Reader)

26 Collection Reader Übersicht Details Fazit Liest Artefakte aus Verzeichnissen/Datenbanken/usw. ein Für unsere Anwendungen handelt es sich dabei um Textdateien, aber auch andere möglich

27 Analysis Engine Übersicht Details Fazit Übernehmen eigentliche Analyse oft Wrapper um andere Tools, z.b. zu Aggregate Analysis Engines kombinierbar

28 Consumer Übersicht Details Fazit Konzeptuell wichtig, Annotationen müssen aus CAS entnehmbar sein Aber technisch veraltet: AEs können genutzt werden um CAS Inhalt zu speichern

29 Fazit Übersicht Details Fazit Umfassendes Framework Internes Format (CAS) erleichtert Integration fremder Komponenten Gute Skalierbarkeit (Watson nutzt 720 Prozessorkerne und 1 TB analysierte Texte) Grundlage für die Arbeit in JULIE Lab (Semedico, JReX)