Text Mining mit LingPipe

Transkript

1 Text Mining mit LingPipe Marian Keil & Nima Ahrary Humboldt-Universität zu Berlin

2 Inhalt 1. Allgemeines 2. Funktionalitäten 3. Vorteile 4. Lizenzmodell 5. Beispielcode 6. Demonstration 7. Fazit 2

3 Allgemeines zu LingPipe - Reine Java API zur linguistischen Analyse menschlicher Sprache - Quelloffen - Renommierte Kunden und Referenzen offenbar verlässlich - US-Vewaltung, Verteidigungsministerium - US National Library of Medicine - Internationale Universitäten (North Texas, Washington, Cambridge, Amsterdam, Hildesheim) - Trainierbar - Erweiterbar 3

4 Funktionalitäten - Klassifikation (setzt Training voraus) - Spracherkennung - Zeichenkodierung - Genre, Thematik - Stimmung (sentiment analysis) - Trennung von subjektiven Meinungen und objektiven Fakten - Clustering - Nach Thematik - Satzstrukturerkennung - Token - Kollokationen - Entitäten - Satzgrenzen - Relationen - Part-of-Speech-Tagging (POS) - Signifikanzerkennung - Rechtschreibkorrektur, Silbentrennung 4

5 Vorteile - Geschwindigkeit - Verlässlichkeit - Ausführliche Dokumentation - Learning by Doing von Text Analytics anhand der LingPipe Tutorials - Anlernbarkeit (Training) - Erweiterbarkeit - Solide implementierte Modelle (Code und Trainingskorpora) 5

6 Lizenzmodell Royalty Free: kostenlos zum Testen bzw. für Forschungszwecke (jegliche Daten/Dateien müssen verfügbar gemacht werden) Developer: 450 USD pro Server (nicht für produktive/kommerzielle Zwecke) Startup: ca USD pro Jahr und Seite (für kleine Betriebe) Enterprise Server: USD pro Server 6

7 Beispielcode (1) public static void classification() { String categories[] = { "Category 1", "Category 2" }; int ngram = 8; DynamicLMClassifier<NGramProcessLM> classifier = DynamicLMClassifier.createNGramProcess(categories, ngram); int i = 1; // Training Classification classification = new Classification(categories[i]); Classified<CharSequence> classified = new Classified<CharSequence>( "Training Text", classification); classifier.handle(classified); // Evaluate Classification classifi = classifier.classify("evaluation Text"); String category = classifi.bestcategory(); } // output System.out.println(category); 7

8 Beispielcode (2) public static void tokenize() { TokenizerFactory tokenizing = IndoEuropeanTokenizerFactory.INSTANCE; String texttoparse = "Parse this complicated anglo-european text."; List<String> tokenlist = new ArrayList<String>(); List<String> whitelist = new ArrayList<String>(); Tokenizer tokenizer = tokenizing.tokenizer(texttoparse.tochararray(), 0, texttoparse.length()); tokenizer.tokenize(tokenlist, whitelist); } // output System.out.println(tokenList); 8

9 Beispielcode (3) public static void sentences() { final TokenizerFactory TOKENIZER_FACTORY = IndoEuropeanTokenizerFactory.INSTANCE; final SentenceModel SENTENCE_MODEL = new MedlineSentenceModel(); // String text= // "Everything is fine in the U.Y.S. where Reagan feels not well?"; String text = "Johnson said 'This is the end and yesterday everything was better!' while eating his sandwich. While that was the first, this is the second."; List<String> tokenlist = new ArrayList<String>(); List<String> whitelist = new ArrayList<String>(); Tokenizer tokenizer = TOKENIZER_FACTORY.tokenizer(text.toCharArray(), 0, text.length()); tokenizer.tokenize(tokenlist, whitelist); String[] tokens = new String[tokenList.size()]; String[] whites = new String[whiteList.size()]; tokenlist.toarray(tokens); whitelist.toarray(whites); int[] sentenceboundaries = SENTENCE_MODEL.boundaryIndices(tokens, whites); } // output int sentstarttok = 0; int sentendtok = 0; for (int i = 0; i < sentenceboundaries.length; ++i) { sentendtok = sentenceboundaries[i]; System.out.println("SENTENCE " + (i + 1) + ": "); for (int j = sentstarttok; j <= sentendtok; j++) { System.out.print(tokens[j] + whites[j + 1]); } System.out.println(); sentstarttok = sentendtok + 1; } 9

10 Beispielcode (4) public static void clustering() { final Distance<CharSequence> EDIT_DISTANCE = new EditDistance(false); final int maxdistance = Integer.MAX_VALUE; Set<String> inputset = new HashSet<String>(Arrays.asList("aaaa", "aaa", "bbb", "b", "aas", "test", "bb")); HierarchicalClusterer<String> clusterer = new SingleLinkClusterer<String>( maxdistance, EDIT_DISTANCE); Dendrogram<String> dendrogram = clusterer.hierarchicalcluster(inputset); Set<Set<String>> clustering = dendrogram.partitiondistance(1); } // output System.out.println(clustering); 10

11 Demonstration (POS) 11

12 Fazit - Überzeugende Funktionalitäten und einfache Umsetzung - Wiederverwendbarkeit (Training) - Durch überschaubare Komplexität speziell für Text Mining-Einsteiger motivierend - Kommerzielle Nutzung sinnvoll? (Lizenzmodell) 12