Titel. Hamdiye Arslan Éva Mújdricza-Maydt

Transkript

1 Titel Logo: Hamdiye Arslan Éva Mújdricza-Maydt Referat zum HS Endliche Automaten PD Dr. Karin Haenelt Seminar für Computerlinguistik Ruprecht-Karls-Universität Heidelberg

2 Übersicht Theorie & Praxis 1. Einführung 2. GATE Installation Ziele Architektur 3. ANNIE Komponenten 4. Demo: GATE GUI mit ANNIE 5. JAPE 6. Demo (Fortsetzung) Piktogramme:

3 Titel Zuerst die Theorie...

4 Sprachverarbeitungssystem GATE GATE(General Architecture for Text Engineering) Entwicklung der Sheffield University (Dept.of Natural Language Processing) enthält eine Klassenbibliothek (alle Schnittstellen sind in Java realisiert) bietet eine Entwicklungsumgebung mit graphischer Oberfläche enthält unter anderem auch noch 3 Typen von Komponenten: 1. LRs = Language Resources: Lexikon, Korpora, Ontologien 2. PRs = Processing Resources: algorithmische Resourcen wie Parser, Generatoren oder n-gramm- Modellierer 3. VRs = Visual Resources: zur Visualisierung & zum Editieren in GUIs Aufbau von PRs: z.b. Listen (Gazetter) Java-Klassen (Sentences) JAPE-Regeln (Semantik Tagger) 4

5 Installation & Ziele und System entsprechenden Installer herunterladen enthält unter anderem das IE-Tool ANNIE, welches in der Lage ist, Texte zu annotieren und Eigennamen entsprechend zu erkennen und zu klassifizieren Die Daten können in den verschiedensten Formaten vorliegen: (X)HTML,SHOE,RDF(a), OWL, RDFS, Ziele des IE-Tools: Informationsextraktion: um Informationsüberflutung zu vermeiden relevante Information wird gefunden, extrahiert und in kompakter Form repräsentiert vordefinierte domänenspezifische Lexikoneinträge oder Regeln werden dem System vorher fest vorgegeben 5

6 Installation & Ziele Eingabe: Spezifikation des Typs der relevanten Information in Form von Templates (= Mengen von Attributen) und eine Menge von freien Textdokumenten (=Pressemitteilungen, Internet-Dokumenten, ) Ausgabe: Menge von instanziierten Templates (Werte für Attribute), die mit den als relevant identifizierten und normalisierten Textfragmenten gefüllt sind. Verwendung: Die Daten können zur Textfilterung, Textklassifizierung, als Eingabe für Datenbanken etc. eingesetzt werden. 6

7 Modularer Aufbau von GATE 7

8 Modularer Aufbau von GATE 8

9 IE-System ANNIE ANNIE (A Nearly-New IE System) ein GATE Komponente Komponenten von ANNIE: 1. Gazetter 2. Tokenizer (word, number, punctuation, symbol, space token) 3. Sentence Splitter 4. POSTagger 5. Semantic Tagger 6. Pronominal Coreference 7. Orthographic Coreference 9

10 ANNIE in GATE 10

11 Titel DEMO (Teil 1)

12 GATE 5.2 GUI mit ANNIE Unser minimales Korpus: eine html-datei mit Adressen (i.d.r. besteht ein Korpus aus vielen Dateien) Ablauf der Demo: Teil 1: GUI vorstellen die ursprüngliche html-auszeichnung der html-datei anzeigen lassen Teil 2: neue Annotierungen hinzufügen Tokenisierung Satzgrenzenerkennung POS-Tagging Semantische Annotierung das Ergebnis speichern 12

13 GATE 5.2 GUI mit ANNIE Unser minimales Korpus: eine html-datei mit Adressen 13 ursprüngliche Datei:

14 GATE 5.2 GUI mit ANNIE Unser minimales Korpus: eine html-datei mit Adressen 14

15 GATE 5.2 GUI mit ANNIE 15

16 Ressourcen Applications: Textverarbeitungsprozesse, anwendbar auf ein Dokument oder auf ein Korpus (Dokumentsammlung) Language Resources: Dokumente und Korpora Processing Resources: Annotierungswerkzeuge, Eingabe: unannotierter oder nicht fertig annotierter Text (txt, html, sgml, xml, rtf, , (pdf), (Word)) Datastores: Speicherung von Dokumenten/Korpora und Prozessen für spätere Nutzung 16

17 Dokumente laden Dokumente werden in ein xml-basiertes Format zwischengespeichert und GATE-Dokument genannt. Language Resources / New / GATE Document (oder: GATE Corpus) Parameter für die GATE-Dokumente können eingestellt werden Name (ohne Leerzeichen!) Speicherort des Dokumentes (url) MarkupAware: true: die ursprünglichen Annotationen im Text (z.b: html) werden erkannt und angezeigt false: das ganze Dokument wird als reiner Text interpretiert 17

18 Annotationen anzeigen lassen Text: der Text wird ohne die erkannten Annotierungen angezeigt Annotation Sets: ermöglicht farbige Hervorhebung der Annotierungen Annotation List: Position und Wert der Annotierungen wird aufgelistet Annotations Stack: graphische Anzeige aller Annotierungen Co-Reference Editor Suche: auch mit RE 18

19 Annotationen anzeigen lassen Text: der Text wird ohne die erkannten Annotierungen angezeigt Annotation Sets: ermöglicht farbige Hervorhebung der Annotierungen Annotation List: Position und Wert der Annotierungen wird aufgelistet Annotations Stack: graphische Anzeige aller Annotierungen Co-Reference Editor Suche: auch mit RE 19

20 Annotationen anzeigen lassen 20

21 Annotationen anzeigen lassen 21

22 Annotationen anzeigen lassen 22

23 Annotationen anzeigen lassen 23

24 Titel Weiter mit der Theorie...

25 JAPE JAPE Java Annotation Patterns Engine ermöglicht Grammatiken für reguläre Sprachen in einer systemunabhängigen Spezifikation LHS = linke Seite: Muster RHS = rechte Seite: Aktion, Annotation zur Ausführung der JAPE-Regeln erzeugt GATE einen Transducer nicht-deterministischer endlicher Automat Algorithmus: 1. Input = Daten 2. Output = neue Annotation der Daten Regeln für den Tokenizer: z.b. für Wörter, die mit einzelnen Großbuchstaben beginnen: "UPPERCASE_LETTER" (LOWERCASE_LETTER)* > Token;orth=upperInitial;kind=word; <pathtogate>\gate-5.2\plugins\annie\resources\tokeniser\alternatetokeniser.rules 25

26 JAPE Die JAPE-Grammatik wird in einen nicht-deterministischen endlichen Automaten überführt. Rule: PersonPrefix ( ({Token})+ {Person} ):pers --> {...} Rule: OrganisationPrefix ( ({Token})+ {Organisation} ):org --> {...}

27 JAPE: Erkennung von Satzgrenzen Beispiel für eine Regel zur Ermittlung von Satzgrenzen: IP-Adressen oder andere Nummern mit Punkt zwischen den Ziffern werden nicht getrennt. Die sogenannten Macros definieren wiederkehrende feste Einheiten. übersichtliche Regeln 27 <pathtogate>\gate-5.2\plugins\annie\resources\sentencesplitter\grammar\find.jape

28 JAPE: Erkennung von Verbphrasen Die Schritte in der ANNIE-Pipeline bauen aufeinander auf. Beispiel: Für die Erkennung von komplexen Verben benötigt die folgende JAPE-Regel den tokenisierten und nach Wortarten disambiguierten Text. 28 <pathtogate>\gate-5.2\plugins\annie\resources\vp\verbgroups.jape

29 JAPE: Erkennung von Namen (NE) Mit einer optional angegebenen Priorität kann eine beliebige Reihenfolge für die Abarbeitung der Regeln angegeben werden. Die JAPE-Regeln können auch Java-Code enthalten. 29 <pathtogate>\gate-5.2\plugins\annie\resources\ne\name.jape

30 Tokenisierer Der Tokenisierer in ANNIE benutzt eine JAPE-ähnliche reguläre Grammatik. Ein Teil der vordefinierten Elemente für den Tokenisierer: 30 <pathtogate>\gate-5.2\plugins\annie\resources\tokeniser\defaulttokeniser.rules

31 Tokenisierer Beispiele für Token-Regeln: 31 <pathtogate>\gate-5.2\plugins\annie\resources\tokeniser\defaulttokeniser.rules

32 Titel DEMO (Teil 2)

33 GATE 5.2 GUI mit ANNIE 33

34 GATE 5.2 GUI mit ANNIE 34

35 ANNIE laden Annie-Taste drücken klick mit/ohne Defaultparameter Applications / Annie erscheint voreingestellte Processing Resources von ANNIE werden geladen Auch selbstdefinierte Module können definiert werden: Processing Resources / New /... oder geladen werden: File / Restore Application from File 35

36 Textverarbeitung Applications: Textverarbeitung in Pipeline oder Corpus Pipeline: mehrere Schritte hintereinander geschaltet Processing Resources: einzelne Module, Textverarbeitungsschritte. Parameter: z.b. zugrunde liegende Regeln und Lexika Annotation Schema vordefinierte XML-Schemata oder selbst erzeugtes Schema Pfad: <root>\plugins\annie\resources\schema Language Resources / New / Annotation schema Annotation editieren: unrestricted: benutzerdefinierte Annotationen erlaubt (File / Manage CREOLE Plugins / Schema_Annotation_Editor muss angehakt sein) restricted: nur vorher definierte und geladene Annotation erlaubt stellt die Konsistenz der Annotierungen sicher 36

37 Annotieren manuell: Annotation Sets öffnen, auf den zu annotierenden Textteil doppelklicken Annotation Editor Dialog erscheint mit Hilfe von Textverarbeitungsprozessen: Applications ANNIE Document Reset PR: entfernt alle bisherigen Annotierungen ANNIE English Tokenizer ANNIE Sentence Splitter: verwendet JAPE-Regeln ANNIE POS Tagger ANNIE Gazetteer: erkennt sprachliche Einheiten anhand vordefinierter Listen (~ Gazetteers) ANNIE NE Transducer:semantischer Tagger; erkennt Named Entities (oder andere definierte Einheiten) mithilfe von JAPE-Regeln ANNIE OrthoMatcher (Name Matcher): erkennt Koreferenz zwischen schon ermittelten NEs selbstdefinierte Pipeline 37

38 Annotieren: manuell 38

39 Annotieren: manuell Grenzen ändern Löschen Typ und Untertyp auswählen 39

40 Annotieren: mit ANNIE-Komponenten Ausgewählte Komponenten 40

41 Annotieren: mit ANNIE-Komponenten 41

42 Annotieren: mit (Corpus) Pipeline Der ANNIE NE-Transducer erkennt nur englische Postleitzahlen. Definieren wir einen neuen NE-Transducer, der auch vier- und fünfstellige PLZ-en aus Ziffern, sowie polnische PLZ-en erkennt (In Polen sieht die PLZ wie diese für Warschau aus: ). Ergänzung der JAPE-Grammatik: 42 ursprüngliche Datei: <pathtogate>\gate-5.2\plugins\annie\resources\ne\address.jape

43 Annotieren: mit (Corpus) Pipeline Applications / New / Corpus Pipeline neue Prozesskette erstellen beliebige (geladene) Komponenten auswählen benannte Annotierung als Ausgabe neue Komponente erzeugen: Processing Resources / New /... Komponente benennen zugrunde liegende Lexika oder Grammatik auswählen 43

44 Annotieren: mit (Corpus) Pipeline Komponente in die Pipeline einfügen Eingabe und Ausgabe benennen 44

45 Annotieren: mit (Corpus) Pipeline 45

46 Datastores zum Speichern von Dokumenten, Korpora, Anwendungen Speicherplatz-Managing geeignet für große Datenmengen Typen: Serial Data Stores: basiert auf Java Serialisierungssystem und lädt die Dokumente direkt in ein (leeres!) Verzeichnis Lucene Data Stores: basiert auf Lucene Indexierung, erlaubt verteilte Daten Datastore anlegen: Datastores / Create datastore / SerialDataStore / ein leeres Verzeichnis auswählen Datastore füllen: Datei oder Korpus anklicken / Save to datastore 46

47 Annotierte Dokumente speichern Language Resources / Datei (oder Korpus) auswählen / Save as XML GATE XML-Format Save preserving document format Erhaltung des Originalformats Save to datastore 47

48 Preserving document format Ursprüngliche Annotation Neue Annotation: inline 48

49 GATE-XML-Format GateDocumentFeatures: Metadaten über das Dokument TextWithNodes: Text mit Node -Etiketten indiziert AnnotationSet: Annotierungen: für jeden Annotationstyp getrennt gruppiert 49

50 GATE-XML-Format deutsche PLZ 50

51 GATE-XML-Format Adressenerkennung 51

52 GATE-XML-Format Tokenisierung 52

53 GATE-XML-Format Wortartendisambiguierung 53

54 Textverarbeitungsprozesse speichern Applications: Applications / Auswahl eines Prozesses / Save application state / Benennen mit Erweiterung.xgapp Applikation für andere Anwendungen exportieren: Applications / Auswahl eines Prozesses / Export for Teamware / Benennen mit Erweiterung.zip enthält alle nötigen Komponente 54

55 Quellen Hauptseite von GATE: Cunningham, Hamish et al. (2010): Developing Language Processing Components with GATE. Version 5 (a User Guide). Link: Thakker, Dhaval, Taha Osman & Phil Lakin (2009): GATE JAPE Grammar Tutorial. Link: Online Demo-Videos: Informationsextraktion: Link: 55

56 Quellen Maynard, Diana (2004): Introduction to ANNIE. Link: Maynard, Diana & Andrey Shafirin (2006): ANNIE and JAPE. Link: Logo und Piktogramme: GATE-Logo: GATE-Piktogramm: ANNIE-Piktogramm: 56

57 Quellen Graphiken: ANNIE, LaSIE IE modules: GATE APIs: Beispielautomat: Demodatei (verkürzt): Address (geography). Link: (Stand: ) Zur Demo wurden Bildschirmfotos von GATE Developer Version 5.2 verwendet. 57