Das Informationsextraktions- System ANNIE. Anna Mazhayskaya Anna Vinenko

Transkript

1 Das Informationsextraktions- System ANNIE Anna Mazhayskaya Anna Vinenko

2 Informationsextraktion Informationsextraktion versucht, spezifische Informationen aus textuellen Dokumenten zu extrahieren und in datenbankartigen Schemata abzulegen. Die Information wird dabei gemäß fest vorgegebenen Spezifikationen ausgewählt. 1 1 vgl.

3 GATE- General Architecture for Text Engineering ist eine Entwicklung der Sheffield University (Dept. of Natural Language Processing) enthält eine Klassenbibliothek (alle Schnittstellen sind in Java realisiert) bietet eine Entwicklungsumgebung mit graphischer Oberfläche

4 GATE enthält drei Typen von Komponenten: LanguageResources (LRs) : Lexika, Korpora und Ontologien ProcessingResources (PRs): algorithmische Ressourcen wie Parser, Generatoren oder n-gram-modellierer VisualResources (VRs): zur Visualisierung und zum Editieren in GUIs

5 Aufbau der Processing Resources in GATE Komponenten der Processing Resources können sein: JAVA-Klassen (Sentence) Listen (Gazetter) JAPE-Regeln (Semantik Tagger)

6 JAPE - Java Annotation Patterns Engine ermöglicht Grammatiken für reguläre Sprachen in einer systemunabhängigen Spezifikation linke Seite (LHS): Muster rechte Seite (RHS): Aktion zur Ausführung der JAPE-Regeln erzeugt GATE einen Transduktor

7 Algorithmen für die JAPE-Regeln 1. Algorithmus: Bildung eines FSM a) Bau eines NFSM mit Hilfe von LHS und RHS Abbildung 1: A nondeterministic FSM nach GATE User guide, Appendix B, JAPE: Implementation,

8 Algorithmen für die JAPE-Regeln b) Abbildung 2: Umwandlung eines NFSM in ein FSM 1 2 n!

9 Algorithmen für die JAPE-Regeln 2. Algorithmus bearbeitete Daten als Input neue Annotationen als Output Abbildung 3: An annotation graph nach GATE User guide, Appendix B, JAPE: Implementation,

10 ANNIE: a Nearly-New Information Extraction System Eine Teilmenge der Komponenten von GATE bildet das Informationsextraktionssystem ANNIE Abbildung 4: ANNIE and LaSIE nach GATE User guide, Ch. 8, ANNIE: a Nearly-New Information Extraction System,

11 Tokeniser Gazetteer Sentence Splitter POS-Tagger Semantic Tagger Orthographic Coreference Pronominal Coreference

12 Tokeniser Zerlegt den Text in elementare Token wie Zahlen, Interpunktion und Wörter verschiedenen Typs z.b. Wörter mit Grossbuchstaben unterscheiden sich von den Wörtern mit Kleinbuchstaben Das Ziel ist, den Leistungsumfang für maximale Effizienz einzuschränken

13 Tokeniser folgende Tokenarten sind möglich: word number symbol punctuation SpaceToken

14 Regeln für den Tokeniser jede Regel hat eine linke und eine rechte Seite der reguläre Ausdruck auf der linken Seite wird mit der Eingabe abgeglichen die rechte Seite beschreibt die Annotationen, die zum AnnotationSet hinzugefügt werden sollen

15 Regeln für den Tokeniser Beispiel einer Regel für Wörter, die mit einem einzelnen Grossbuchstaben beginnen "UPPERCASE_LETTER" "LOWERCASE_LETTER"* > Token;orth=upperInitial;kind=word;

16 English Tokeniser passt die Ausgabe des generischen sprachunabhängigen Tokenisers den Erfordernissen des Part-of-Speech-Taggers für Englisch an Beispiel: don t aus drei Token: don,, t werden zwei: do und n t

17 Gazetteer die sog. Gazetteer-Listen sind Text-Dateien mit nur einem Eintrag pro Zeile für Firmen-, Personen-, Ortsnamen u.v.a.m. auf die Listen wird über eine Index-Datei (lists.def) zugegriffen aus diesen Listen werden endliche Automaten (zur Erkennung der Listenelemente) kompiliert

18 Gazetteer Die Einträge in der Index-Datei bestehen aus: dem Listentitel einem Haupttyp (major type) für die Listeneinträge einem Nebentyp (minor type)

19 Sentence Splitter ein Transduktor, der den Text in einzelne Sätze zerlegt verwendet eine Gazetterliste von Abkürzungen jeder Splitter ist anwendungs- und spracheunabhängig

20 Part-of-Speech-Tagger Erkennung von Wortarten (Verb, Substantiv, Präposition ) Verwendet ein Lexikon und ein Set von Regeln, trainiert auf dem Korpus aus dem Wall Street Journal

21 Semantic Tagger Beruht auf den Regeln in der JAPE-Sprache enthält Regeln, die auf den Annotationen aus den vorangegangenen Phasen arbeiten

22 Orthographic Coreference (OrthoMatcher) fügt Identitätsrelationen hinzu zwischen NEs (named entities), die vom semantischen Tagger bestimmt wurden benutzt eine Tabelle der Bezeichnungen der gleichen Entitäten in alternative Schreibweisen z. B.: IBM vs. Big Blue, Coca-Cola vs. Coke verwendet auch eine Liste mit leicht verwechselbaren Namen z. B.: BT Wireless vs. BT Cellnet

23 Pronominal Coreference wird in ANNIE nicht automatisch geladen, kann aber als sog. Processing Resource hinzugefügt werden besteht aus drei Submodulen: Modul für Textstücke in Anführungszeichen (quoted text module) Modul für sog. pleonastisches it (pleonastic it module) Modul für Pronomenauflösung (pronominal resolution module)

24 Pronominal Coreference Das Modul setzt die Annotationen der vorangegangenen Module voraus dazu gehören: Token (English Tokenizer) Sentence (Sentence Splitter) Split (Sentence Splitter) Location (NE Transducer, OrthoMatcher) Person (NE Transducer, OrthoMatcher) Organization (NE Transducer, OrthoMatcher)

25 Pronominal Coreference: Modul für Textstücke in Anführungszeichen Modul identifiziert im Text Fragmente, die in Anführungszeichen stehen für diese Fragmente gelten im 3. Modul besondere Regeln für die Auflösung solcher Pronomen wie I, me, my Das Modul bildet Quoted Text -Annotationen Das Modul ist ein JAPE-Transduktor auf der Basis einer JAPE-Grammatik

26 Pronominal Coreference Vorverarbeitung der Textdatei: Bestimme Sätze Bestimme Geschlecht der Personen Listen der Annotationen von Organisationen, Orten, Personen für jedes Pronomen suche nach den möglichen Antezedenten und wähle den besten aus bilde sog. Koreferenzketten (coreference chains)

27 Pronominal Coreference Alle Pronomina haben Annotationen vom Typ Token mit den Werten PRP oder PRP$ für das Merkmal category Kategorie PRP : Possesivpronomen my, your, his, her Kategorie PRP$ : Personalpronomen, Reflexivpronomen

28 Dokumentformate für GATE: Plain Text HTML SGML XML RTF PDF Microsoft Word

29 Documents: Content plus Annotations plus Features Annotationen sind in Graphen zusammengefasst, die als Java sets of Annotation modelliert sind. Annotationen haben Anfangsknoten und Endknoten, ID, Typ and FeatureMap. Nodes haben Pointer auf die Dokumentquelle. Result of annotation on a single sentence Tabelle 1: Result of annotation on a single sentence nach GATE User guide, Ch. 6,

30 DEMO

31 DEMO

32 DEMO

33 Quellenangaben H.Cunningham, D.Maynard, K.Bontcheva,V.Tablan, C. Ursu, M.Dimitrov, M.Dowman, N.Aswani, I.Roberts, Y. Li, A.Shafirinc ( ). Developing Language Processing Components with GATE Version 4 (a User Guide) For GATE version 4.0-beta1. The University of Sheffield (April 2007).