GATE General Architecture for Text Engineering. Alexander Hein & Erik Dießler (VL Text Analytics )

Transkript

1 GATE General Architecture for Text Engineering Alexander Hein & Erik Dießler (VL Text Analytics )

2 Überblick GATE Die Idee Die Architektur Was noch - JAPE / DIFF / GUK ANNIE Einige Beispiele Dokument mit GATE & ANNIE bearbeiten ANNIE Komponenten anpassen DIFF-Annotation Tool Die GATE - API

3 GATE Was ist das? General Architecture for Text Engineering NLP Gruppe der Universität Sheffield Erstmals veröffentlicht 1996, Redesign 2002 Aktuelle Version 4.0 (2007) Open Source Java Projekt (GNU Library Licence) In verschiedensten Projekten eingesetzt z.b. Medical Informatics - Analysing MEDLINE abstracts to extract causal functional relations, which are essential for the construction of genetic networks, as a step towards characterisation of diseases.

4 Idee Architektur für LP Software Komponentenbasierte SoftwareEntwicklung Language Processing Components Framework Implementierung der Architekur Entwicklungsumgebung

5 Architektur Language Resources Lexika, Corpora, Ontholgien Processing Resources Parser, Generatoren etc. Visual Resources Visualisierung und Editieren (GUI) CREOLE Collection of Reuseable Objects for Language Engineering

6 Entwicklungsumgebung & Framework Entwicklung und/oder Anpassung einzelner Komponenten z.b. client, der Personenamen in Mails mit der zugehörigen mail-adresse versieht Verwendung IE Komponenten die GATE mitliefert Anpassung/Training an konkretes Problem Verwendung in der eigenen Applikation Einbettung in eigene Applikation mit Hilfe des Frameworks

7 Was noch? JAPE Java Annotations Pattern Engine Stellt pattern/action Regeln über Annotationen basierend auf Regular Expressions zur Verfügung Einsatz z.b. in Tokeniser, Gazetteer Besteht aus LHS > RHS LHS: besteht aus Annotationspattern, die Operatoren der regulären Ausdrücke (*,?,+, ) beinhalten können RHS: besteht aus Manipulationen der Annotationen

8 Was Noch? Beispiel(Tokeniser): Allgemein: {LHS} > {Annotation type}; {attribute 1}={value 1}; ;{attribute n}={value n} Konkret: UPPERCASE_LETTER LOWERCASE_LETTER * > Token; orth=upperinitial;kind=word 8

9 Was noch? GUK GATE Unicode Kit Füllt Lücken der Unicode Unterstützung von Java auf (z.b. Eingabemethoden für Urdu bis Chinesisch) Annotation DIFF Tool In Entwicklungsumgebung implementiert Metriken wie Precision & Recall eingebunden Qualitätsprüfung

10 ANNIE A Nearly New Information Extraction System IE-System(Application), welches von GATE mitgeliefert wird Mengevon PR s, wiez.b. Tokeniser, Gazetteer, Sentence Splitter usw. Dokument wird durch Pipeline geschickt und entsprechend den Vorgaben bearbeitet

11 ANNIE

12 Dokumente mit GATE bearbeiten GATE kann folgende Formate lesen Plain Text, HTML, SGML, XML, RTF, PDF (some documents), Microsoft Word (some documents) Vorhandene Markups werden in das GATE Annotation format überführt AnnotationSets Bsp.: Markup: <atagname attrib1="value1" attrib2="value2" attrib3="value3"> A piece of text</atagname> Ergebnis: annotation.type = "atagname"; annotation.fm={attrib1=value1;atrtrib2=value2;attrib3=value3}; annotation.start=startnode; annotation.end = endnode;

13 GATE - GUI Demonstration mit Hilfe der GATE-GUI 13

14 API - Erzeugen von Gate Dokumenten Factory bietet weitere Möglichkeiten newdocument(string content) newdocument(url sourceurl) newdocument(url sourceurl, String encoding) newcorpus(string name)

15 API Gate Corpus Erzeugen

16 API - Document

17 API AnnotationSet Methoden

18 API Beispiel für Annotation Set Alle Annotationen vom Typ Person

19 API Processing Resources Z.B. Tokeniser, Gazetteer, Sentence Splitter Benutzen ebenfalls die GATE Factory, wie Language Resourcen Bekommen run-time Parameter bevor sie ausgeführt werden, z.b. Document oder Corpus

20 API Controller am Beispiel ANNIE 20

21 API Persistente Applikationen Persistent Manager stellt Methoden bereit public static void saveobjecttofile(object obj, File file) public static Object loadobjectfromfile(file file) 21