Java für Computerlinguisten

Transkript

1 Java für Computerlinguisten 4. Computerlinguistische Anwendungen Christian Scheible Institut für Maschinelle Sprachverarbeitung 30. Juli 2009 Christian Scheible Java für Computerlinguisten 30. Juli / 40

2 Übersicht 1 Besprechung der Übungen vom Mittwoch 2 UIMA 3 OpenNLP 4 Lucene Christian Scheible Java für Computerlinguisten 30. Juli / 40

3 UIMA Unstructured Information Management Architecture [1] Unstrukturierte Information: Text Strukturierte Information: Annotierter Text Unstrukturierte Information Strukturierte Information UIMA-Homepage Christian Scheible Java für Computerlinguisten 30. Juli / 40

4 UIMA Unstrukturierte Information Strukturierte Information Beispiel: Satzgrenzen Es war spät abends, als K. ankam. Das Dorf lag in tiefem Schnee. Vom Schloßberg war nichts zu sehen. <sentence>es war spät abends, als K. ankam.</sentence> </sentence>das Dorf lag in tiefem Schnee.</sentence> <sentence>vom Schloßberg war nichts zu sehen.</sentence> Annotation von Beginn und Ende Annotation mit einem bestimmten Typ Mehrere Typen möglich Christian Scheible Java für Computerlinguisten 30. Juli / 40

5 UIMA Übersicht Pipeline-Architektur Verkettung von Annotatoren Design patterns Standardisierung Verschiedene Datenrepräsentationen Hauptspeicher Festplatte (XML) Abhängigkeit der Werkzeuge vom Kenntnisstand der Entwickler Text Tokenizer Tagger Parser... Christian Scheible Java für Computerlinguisten 30. Juli / 40

6 UIMA Demo UIMA Christian Scheible Java für Computerlinguisten 30. Juli / 40

7 UIMA + eclipse = Übersicht Am einfachsten: Programmieren mit eclipse-plugins Einstellungen Eclipse-Plugins installieren (an IMS-Rechnern schon erledigt) Classpath in Eclipse hinzufügen (einmal pro Workspace) jar-dateien zum Build Path im Projekt hinzufügen (einmal pro Projekt) Christian Scheible Java für Computerlinguisten 30. Juli / 40

8 UIMA + eclipse = 2 1 Window Preferences Java Build Path Classpath Variables New Christian Scheible Java für Computerlinguisten 30. Juli / 40

9 UIMA + eclipse = Name: Path: UIMA_HOME /usr/local/uima-home/lib Christian Scheible Java für Computerlinguisten 30. Juli / 40

10 UIMA + eclipse = Project Properties Java Build Path Libraries Add External JARs... alle aus /usr/local/uima-home/lib Christian Scheible Java für Computerlinguisten 30. Juli / 40

11 UIMA Ablauf 1 Typen definieren 2 Java-Klassen der Typen generieren 3 Java-Code für den Annotator schreiben 4 Analysis Engine Descriptor generieren 5 Testen Christian Scheible Java für Computerlinguisten 30. Juli / 40

12 UIMA Types Klasse, die definiert, womit annotiert werden soll Beispiel: Token Beschreibung in xml-format Generierung in Eclipse Mehrere Typen möglich im Type System Descriptor Christian Scheible Java für Computerlinguisten 30. Juli / 40

13 UIMA Demo Type System Descriptor Christian Scheible Java für Computerlinguisten 30. Juli / 40

14 UIMA Annotator Klasse, die definiert, wie annotiert werden soll Muss von JCasAnnotator_ImplBase erben! Wichtige Methoden: initialize: Was muss am Anfang gemacht werden? process: Wie wird annotiert? Eingabe: Dokument/Annotation Annotation Daten sind in einem Objekt des Typs JCas (Common Analysis Structure) verfügbar Input CAS Annotator Output CAS Christian Scheible Java für Computerlinguisten 30. Juli / 40

15 UIMA Tokens Annotieren public class TokenAnnotator extends JCasAnnotator_ImplBase public void process(jcas cas) throws AnalysisEngineProcessException { System.out.println(cas.getDocumentText()); String document = cas.getdocumenttext(); String[] tokens = document.split(" "); int start = 0; int end = 0; for (int i = 0; i < tokens.length; i++) { Token t = new Token(cas); // neues Token t.setbegin(start); // Anfang setzen end = start + tokens[i].length(); t.setend(end); // Ende setzen start = end + 1; t.addtoindexes(); // Annotation speichern } } } Christian Scheible Java für Computerlinguisten 30. Juli / 40

16 UIMA Dokument Text Tokens Tags Tokenizer Tagger... Annotatoren müssen nicht unbedingt Text verarbeiten. Hier: Token verarbeiten. Christian Scheible Java für Computerlinguisten 30. Juli / 40

17 UIMA Über Tokens iterieren public class Tagger extends JCasAnnotator_ImplBase public void process(jcas cas) throws AnalysisEngineProcessException { } } AnnotationIndex tokens = cas.getannotationindex(token.type); FSIterator iter = tokens.iterator(); while (iter.hasnext()) { Token token = (Token) iter.next(); String tokentext = token.getcoveredtext(); // Mach was mit dem Token } Christian Scheible Java für Computerlinguisten 30. Juli / 40

18 UIMA Demo Annotatoren Christian Scheible Java für Computerlinguisten 30. Juli / 40

19 UIMA Analysis Engine Konstrukt, das die Annotatoren verwendet Primitive (ein Annotator) Aggregate (mehrere Analysis Engines) Primitive Analysis Engine Aggregate Analysis Engine Annotator 1 AE 1 AE 2 AE 3 Christian Scheible Java für Computerlinguisten 30. Juli / 40

20 UIMA Demo Analysis Engines Christian Scheible Java für Computerlinguisten 30. Juli / 40

21 UIMA Testen Document Analyzer Eingabe-Dokumente (Verzeichnis) Ausgabeverzeichnis Analysis Engine Lässt sich in Eclipse auf Run legen Eclipse fragt, Document Annotator aus der Liste auswählen Christian Scheible Java für Computerlinguisten 30. Juli / 40

22 UIMA Demo Document Analyzer Christian Scheible Java für Computerlinguisten 30. Juli / 40

23 Zusammenfassung: Ablauf in Eclipse 1 Projekt erstellen 2 Dem Projekt UIMA Nature hinzufügen 3 Im Projekt die jar-dateien in den Eigenschaften setzen 4 Typsystem schreiben 5 Annotator implementieren 6 Christian Scheible Java für Computerlinguisten 30. Juli / 40

24 OpenNLP Überblick Verschiedene Werkzeuge zur Sprachverarbeitung Oft statistisch, modellbasiert Mitgelieferte Modelle Modelle selbst trainieren Open Source [3] In UIMA integrierbar (Handarbeit!) Christian Scheible Java für Computerlinguisten 30. Juli / 40

25 OpenNLP Werkzeuge Wörterbücher n-gramm-verarbeitung PoS-Tagger Satzgrenzenerkenner Chunker Parser Klassifikator Koreferenz-Erkenner Named-Entity-Erkenner opennlp.tools Christian Scheible Java für Computerlinguisten 30. Juli / 40

26 OpenNLP Sprachen Englisch Deutsch Spanisch Thai opennlp.tools.lang Christian Scheible Java für Computerlinguisten 30. Juli / 40

27 OpenNLP Maximum-Entropy-Modelle opennlp.maxent Statistische Modelle für viele Anwendungen Trainierte Modelle verfügbar Vorsicht: Modellversion muss zur OpenNLP-Version passen Modelle: /mount/studenten/java-kurs/models/ Christian Scheible Java für Computerlinguisten 30. Juli / 40

28 OpenNLP Tokenizer WhitespaceTokenizer SimpleTokenizer: Benutzt Zeichenklassen TokenizerME: Maximum-Entropy-Modell opennlp.tools.lang.german.tokenizer Tokenizer t = new Tokenizer("models/tokenModel.bin.gz"); String s = "Am hat K. ein Schloss gekauft. Er freut sich."; String [] tokens = t.tokenize(s); for (String token: tokens) System.out.println(token); Christian Scheible Java für Computerlinguisten 30. Juli / 40

29 OpenNLP Satzgrenzenerkenner opennlp.tools.lang.german.sentencedetector SentenceDetector st = new SentenceDetector("models/sentenceModel.bin.gz"); String s = "Am hat K. ein Schloss gekauft. Er freut sich."; String [] sentences = st.sentdetect(s); for (String sentence: sentences) System.out.println(sentence + "\n"); Christian Scheible Java für Computerlinguisten 30. Juli / 40

30 OpenNLP PoS-Tagger POSTaggerME String s = "Am hat K. ein Schloss gekauft. Er freut sich."; Tokenizer t = new Tokenizer("models/tokenModel.bin.gz"); String [] tokens = t.tokenize(s); PosTagger p = new PosTagger("models/posModel.bin.gz", new Dictionary() ); String[] tags = p.tag(tokens); for (String tag: tags) System.out.println(tag); Christian Scheible Java für Computerlinguisten 30. Juli / 40

31 OpenNLP Parser TreebankParser: Bottom-up-Parser Trainiert auf Baumbank Christian Scheible Java für Computerlinguisten 30. Juli / 40

32 Lucene Überblick Information-Retrieval-Bibliothek Suchmaschine Verschiedene IR-Modelle Invertierter Index, Boolesche Suche Vektorraum-Modell Open Source von Apache [2] Integration in UIMA Lucas: Verarbeitet CAS Christian Scheible Java für Computerlinguisten 30. Juli / 40

33 Lucene Suche und Index In welchen Dokumenten steht ein bestimmtes Wort Wiederholtes durchsuchen von Dokumenten teuer Idee: Alle Dokumente vorher durchlaufen Für jedes Wort merken, in welchem Dokument sie vorkamen Invertierter Index Index verarbeitet Queries Christian Scheible Java für Computerlinguisten 30. Juli / 40

34 Lucene Dokument Dokument besteht aus verschiedenen Feldern Titel Inhalt... Query Suchanfrage Komplexe Anfragen mit AND, OR, NOT Christian Scheible Java für Computerlinguisten 30. Juli / 40

35 Doc 1 Suchanfragen Doc 2 Index Doc 3 Christian Scheible Java für Computerlinguisten 30. Juli / 40

36 Lucene Klassen Directory: Suchindex Document: Ein Textdokument IndexWriter: Schreibt in einen Index IndexSearcher: Durchsucht einen Index Query: Suchanfrage QueryParser: Erstellt Query aus String TopDocs: Gefundene Dokumente sortiert nach Score ScoreDoc: Gefundenes Dokument mit Score Jar-Ressourcen /mount/studenten/java-kurs/lib/lucene/ Christian Scheible Java für Computerlinguisten 30. Juli / 40

37 Lucene StandardAnalyzer analyzer = new StandardAnalyzer(); // Tokenizer Directory index = new RAMDirectory(); // Der Index IndexWriter w = new IndexWriter(index, analyzer, true, IndexWriter.MaxFieldLength.UNLIMITED); Document doc1 = new Document(); // Erstes Dokument String value1 = "Es war spaet abends, als K. ankam."; // Feldname, Inhalt, soll gespeichert werden, soll tokenisiert werden doc1.add(new Field("title", value1, Field.Store.YES, Field.Index. ANALYZED)); w.adddocument(doc1); Document doc2 = new Document(); // Zweites Dokument String value2 = "Das Dorf lag abends in tiefem Schnee."; doc2.add(new Field("title", value2, Field.Store.YES, Field.Index. ANALYZED)); w.adddocument(doc2); w.close(); Christian Scheible Java für Computerlinguisten 30. Juli / 40

38 Lucene IndexSearcher searcher = new IndexSearcher(index); TopDocCollector collector = new TopDocCollector(10); // 10 Ergebnisse pro Seite String querystr = "spt AND ankam"; Query q = new QueryParser("title", analyzer).parse(querystr); searcher.search(q, collector); ScoreDoc[] hits = collector.topdocs().scoredocs; for(int i=0;i<hits.length;++i) { int docid = hits[i].doc; Document d = searcher.doc(docid); System.out.println((i + 1) + ". " + d.get("title")); } Christian Scheible Java für Computerlinguisten 30. Juli / 40

39 Mehr? ClearTK Sehr umfangreiche Bibliothek für statistische NLP in UIMA Feature-Extraktion (z.b. Fenster, n-gramme,...) Machine Learning (Maxent, Mallet, SVMlight,...) Christian Scheible Java für Computerlinguisten 30. Juli / 40

40 Literatur Apache UIMA. Lucene. OpenNLP. Sun: JDK 6 Documentation. Sun: The Java Tutorials. C. Ullenboom. Java ist auch eine Insel. Galileo Press, Christian Scheible Java für Computerlinguisten 30. Juli / 40