Text Mining Praktikum. Durchführung: Andreas Niekler Zimmer: Paulinum (P) 818

Größe: px

Ab Seite anzeigen:

Download "Text Mining Praktikum. Durchführung: Andreas Niekler Email: aniekler@informatik.uni-leipzig.de Zimmer: Paulinum (P) 818"

Clemens Ursler
vor 8 Jahren
Abrufe

1 Text Mining Praktikum Durchführung: Andreas Niekler Zimmer: Paulinum (P) 818

2 Rahmenbedingungen Gruppen von 2- (max)4 Personen Jede Gruppe erhält eine Aufgabe Die Aufgabe ist zu implementieren bzw. auszuarbeiten Der Arbeitsstand wird bei ca. der Hälfte evaluiert Vorstellung der Ergebnisse per und/oder Termin Abschluss bildet eine Präsentation und die Abgabe eines A4 Dokuments (4 Seiten, 11pt) In der Präsentation/Dokument sollen Probleme angesprochen werden und Diskussionen eröffnet werden. Es sollte kommentiert werden, welche Methodik oder Anpassungen evtl. Verbesserungen darstellen. Worin liegen spezielle Probleme des Verfahrens? Stichwort Feature Selection, Stopwortreduktion, Feature Scaling usw.

der Hälfte evaluiert Vorstellung der Ergebnisse per Email und/oder Termin Abschluss bildet eine Präsentation und die Abgabe eines A4 Dokuments (4 Seiten,

3 Praktikumsaufgaben Rapid Miner Prozesse zu Machine Learning Verfahren implementieren Einlesen von Text Vorverarbeitung von Texten Verfahren anwenden Darstellung der Resultmengen Konzeptentwürfe für Text Mining Anwendungen Welche Verfahren können das Problem lösen Nutzen versch. Verfahren Workflow, Tools EIGENE IDEEN KÖNNEN DISKUTIERT WERDEN, SOLLTEN ALLERDINGS DEN ANFORDERUNGEN ENTSPRECHEN!

für Text Mining Anwendungen Welche Verfahren können das Problem lösen Nutzen versch.

4 Praktikumsaufgaben 2 Rapid Miner Prozesse Dokumentklassifikation 1 SVM, Kernels, 2 Class, Multiclass Dokumentklassifikation 2 Clustering Sentiments Regression, Naive Bayes, 2 Class, Multiclass Agglomerativ, Top-Down, k-means (complete, single, average) Klassifikation Sentiments, Polarität über Regression und Ratings über Klassifikation usw. Language Models Language Modelling - Add 1 Smoothing, Kneser Ney und mehr Latent Semantic Indexing über Singular Value Decomposition Latent Dirichlet Allocation mit Rapid Miner und R

Klassifikation Sentiments, Polarität über Regression und Ratings über Klassifikation usw.

5 Praktikumsaufgaben 3 Konzeptentwürfe für Text Mining Anwendungen Konzept: Pressefreiheit Monitoring, Medienstiftung Informationstheoretischer Vergleich der Nachrichten in verschiedenen Ländern Konzept für ein Monitoring erstellen Formeln, Informationstheoretische Betrachtung von Nachrichten, Machine Learning Algorithmen Konzeptuelle Implementierungen der Ideen mit wenigen Daten, um die Eignung der Verfahren zu demonstrieren. Daten können synthetisch sein Konzept: Pressefreiheit Monitoring, Medienstiftung Crawling und Nachichtenbeobachtung mit einem Werkzeug der CID Gmbh Topic Miner und Crawler testen und bewerten für oben genannte Anwendung Wie könnte man das Problem mit diesem Tool lösen? Wie identifiziert man neue Quellen oder findet automatische neue Quellen?

die Eignung der Verfahren zu demonstrieren.

6 Praktikumsaufgaben 3.1 Anforderungen Die wesentlichen Anforderungen an das Monitoring-System lassen sich wie folgt zusammenfassen: Unterstützung des EZP bei der Identifizierung und Beobachtung problematischer Länder Identifizieren von Problembereichen im Bereich der Presse- und Meinungsfreiheit Identifizieren von Akteuren, Institutionen und Ereignissen in den identifizierten Problembereichen. Für das Monitoring-System sollen frei verfügbare Online-Quellen sowie eine auf die Anforderungen des EZP angepasste Standardsoftware verwendet werden. Generell muss das System über eine Funktionalität zur Trend Detection und zum Topic Tracking verfügen, insbesondere auch im Hinblick auf ausgewählte Entitäten wie politische Akteure, Institutionen und Ereignisse. Als Quellen können verwendet werden: Online-Nachrichten in Deutsch, Englisch und den jeweiligen Landessprachen (z. B. Rumänisch, Ungarisch, Russisch) Blogs und Foren Twitter s Die Identifizierung und Bereitstellung geeigneter, tagesaktueller Textströme ist aufwändig. Hier sind zunächst mögliche Internetquellen manuell bzw. mit Hilfe eines Crawlers automatisch zu identifizieren sowie tagesaktuell abzurufen und auszuwerten. Sind bereits relevante Internetquellen identifiziert, kann das Monitoring-System erheblich zu einer Verbesserung der Arbeitseffizienz und Aktualität der Beobachtung beitragen.

Identifizieren von Problembereichen im Bereich der Presse- und Meinungsfreiheit Identifizieren von Akteuren, Institutionen und Ereignissen in den identifizierten Problembereichen.

7 Praktikumsaufgaben 3.2 Beispielhaftes Anwendungsscenario Identifizieren problematischer Länder Die ausgewählten Textquellen werden mit Hilfe eines überwachten Lernverfahrens (unter Verwendung von Merkmalen wie Wörtern, Wortkookkurrenzen und deren Veränderung sowie Termdifferenzen zwischen den offiziellen Nachrichtentexten und Blog, Foren und Twitter) klassifiziert, hieraus werden Empfehlungen für die Beobachtung auffälliger Länder abgeleitet. Identifizieren von Problembereichen Für die ausgewählten Länder wird ein semi-automatisches Verfahren zur Erkennung von Named Entities angepasst sowie eine entsprechende Datenbank (unter Verwendung von Metadaten wie Zeit und Ort) angelegt. Mit Hilfe der Kookkurrenzanalyse werden erste Problembereiche identifiziert. Identifizieren von Akteuren, Institutionen und Ereignissen Weiterhin wird für ausgewählte Entitäten wie politische Akteure, Institutionen und Ereignisse mit Hilfe von Verfahren der Anomalie-Erkennung und der Relationenextraktion ein semantisches Profil erstellt, aus dem insbesondere für die Anwendung typische Relationen ersichtlich werden, wie z.b. welche politischen Akteure zu welcher Institution gehören, für welche Themen sich welche Akteure einsetzen, in welchen Ereignissen welche Akteure involviert sind usw. Diese Relationen können iterativ zur Verbesserung der Identifizierung problematischer Länder verwendet werden.

Wortkookkurrenzen und deren Veränderung sowie Termdifferenzen zwischen den offiziellen Nachrichtentexten und Blog, Foren und Twitter) klassifiziert, hieraus werden Empfehlungen für die Beobachtung

8 Praktikumsaufgaben 4 UIMA Komponente in Java performante Kookkurrenz-Berechnung aus beliebigen Dokumentmengen dynamische Frequenzlisten aus Dokumentmengen

9 Praktikumsaufgaben Links Rapid Miner Installation und Dokumentation Text Mining Tutorial UIMA Manual und Tutorial

com/content/view/26/84/ Text Mining Tutorial UIMA

Ähnliche Dokumente

Benutzerhandbuch. Leitfaden zur Benutzung der Anwendung für sicheren Dateitransfer.

Benutzerhandbuch. Leitfaden zur Benutzung der Anwendung für sicheren Dateitransfer. Benutzerhandbuch Leitfaden zur Benutzung der Anwendung für sicheren Dateitransfer. 1 Startseite Wenn Sie die Anwendung starten, können Sie zwischen zwei Möglichkeiten wählen 1) Sie können eine Datei für