Praktikum Textmining

Transkript

1 Praktikum Textmining Uwe Quasthoff Christoph Teichmann Abteilung Automatische Sprachverarbeitung November 16, 2010 Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

2 1 Rahmenbedingungen 2 Themen für das Praktikum Projekte zur Datengewinnung Projekte zur Datenverarbeitung Projekte zur Datenaufbereitung Ausprobieren von Tools Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

3 Betreuung: Christoph Teichmann Adressaten: Studenten im Hauptstudium und Bachelor, welche die Textmining-Vorlesung besuchen Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

4 Auswahl eines Themas und Bildung von Gruppen bis Abgabe einer Anmeldung und eines Projektplanes (per ) nach Zustimmung Beginn von Programmierarbeit monatlicher Bericht zum Fortschritt (per ) bezüglich des Projektplanes (spätestens bis zum 31./30.) Kurzvorstellung der Projekte am oder (first come first serve) Abgabe der fertigen Programmierarbeit am Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

5 Anforderungen an die Programmstruktur: so weit wie möglich best practices saubere Programmarchitektur ausführliche Dokumentation (Javadoc, Doxygen etc.) Endbericht (5 10 Seiten): Projektbeschreibung, Architektur, UML-Diagramm, Ausbaumöglichkeiten, Bugs, Gründe warum das Projekt nicht so lief wie erhofft und Bedienungsanleitung Verwendung des CVS der ASV verpflichtend: : extssh : U SER@aspra16.inf ormatik.uni leipzig.de : /var/prak home/cvsroot Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

6 Die Software: muss auf Rechnern der ASV (ASV Pool / Linux) lauffähig sein ist präferiert in Java geschrieben, gut begründete Abweichungen sind möglich kann und soll vorhandene Tools verwenden wird freie Software Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

7 Sonstige Rahmenbedingungen: es kann mehr als eine Gruppe an einem Thema arbeiten jedes Thema wird von mindestens 3 Leuten bearbeitet eigene Themenvorschläge sind möglich Sprechzeiten können jederzeit per vereinbart werden (mindestens eine Woche im Vorraus) Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

8 1 Rahmenbedingungen 2 Themen für das Praktikum Projekte zur Datengewinnung Projekte zur Datenverarbeitung Projekte zur Datenaufbereitung Ausprobieren von Tools Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

9 Crawling von opensubtitles.org Alignierung der Daten zumindest nach Film so viele Metadaten wie möglich gewinnen Einteilung nach Sprachen Crawling von watchtower.org Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

10 Sammeln von Geographischen Namen von earth-info oder geonames.usgs.gov Metadaten um welche Art von Namen es sich handelt / Koordinaten wenn möglich Texte vom Projekt Gutenberg sammeln Annotierung mit Genre, Sachgebiet etc. automatische Update Funktion Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

11 Heuristik zum Finden von Fehlern in der Grundformliste / den Derivationsregeln der ASV Wir haben eine Liste mit Regeln für Derivation von Wortformen und eine für die Reduktion Suche nach Inkonsistenzen und statistischen Auffälligkeiten Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

12 Profilierung der Häufigkeiten der verschiedenen Formen eines Wortes Auswahl korrekter Formen und Regeln aus der Datenbank der ASV Regressionsfunktion lernen: wenn Grundform mit Häufigkeit x auftaucht, die Wortklasse y ist etc., wie häufig sind dann die abgeleiteten Formen? Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

13 Nachimplementierung von LingPipe Tools werden mit Erklärung auf Lingpipe Seite vorgestellt Namenserkennung, Tagging, Rechtschreibkorrektur, Sprachidentifikation etc. Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

14 Endnutzer Tool für Frequenzanalyse von Korpora Benutzer gibt beliebige Korpora vor Programm errechnet Frequenzen für alle Wörter Grundformreduktion und Unterscheidung von Homonymen mit Hilfe der Tools der ASV möglich Zielanwender: Geisteswissenschaftler Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

15 GUI frontend für ASV Tools oder ASV Webservices Auswertungstool für Frequenzanalyse von Korpora Daten wie Ausgabe des letzten Projektes Vergleich der Korpora: Rangkorrelationskoeffizient, Abdeckung der ersten n Wörter, Wörter in der Differenz, Wörter die signifikant häufiger in einem Korpus vorkommen als im anderen bestenfalls mit GUI Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

16 Word Challenge auf Basis der Wortschatzdaten Spiel mit GUI Vorgabe von Buchstaben, mit denen eine bestimmte Anzahl von Worten der Länge 3 6 zu bilden ist Pflege des Pressebarometers im Wortschatzportal Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

17 Evaluierung der Beziehung zwischen Grapheigenschaften und Clustereigenschaften von Chinese Whispers wie beeinflussen durchschnittliche Kantenzahl, Umfang, Clusterkoeffizient etc. die Eigenschaften des Ergebnisclusterings (Clusteranzahl, Verbindungszahl innerhalb der Cluster vs. Verbindungszahl nach außen etc.)? Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

18 Test von Gephi Graphenvisualisierungstool Implementierung einiger Graph-Darstellungen, die auch vom Wortschatzportal verwendet werden, mit Hilfe von Gephi soll direkt auf Wortschatzdaten zugreifen können Test von pdf-to-text-konvertern Einbindung eines pdf-to-text Konverters, so dass Listen von Webadressen, hinter denen sich pdfs verbergen, angegeben und die Inhalte der pdfs automatisch in Textdateien geschrieben werden Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19

19 Evaluation von Named Entity Recognition Tools Uwe Quasthoff, Christoph Teichmann (ASV) Praktikum Textmining November 16, / 19