Forschunsprojekte und Independent Coursework. Prof. Dr. Christian Herta 29. Januar 2013

Transkript

1 Forschunsprojekte und Independent Coursework Prof. Dr. Christian Herta 29. Januar 2013

2 Forschungsgebiete Suchtechnologie, Text- und Webmining Verarbeitung unstrukturierter Daten, insbesondere Text Large scale Data-Analysis Hadoop-Ökosystem, Spark Maschinelles Lernen, Neuronale Netze, Deep Learning

3 Ziel: Aufbau eines Informationssystem Lehre/Lernen Datenbasis Webseiten, insbesondere Crawling der deutschen Hochschulwebseiten Skripte im pdf-format, etc. Anleitungen weitere Wissenbasen Soziale Interaktion Empfehlungen, Einstufen des Niveaus der Scripte

4 Module - Forschungsthemen Im Rahmen des Forschungsprojektes: Module entwickeln Klassifikation Erzeugung von Metadaten zur Verbesserung der Suche

5 Ziel: Entwicklung von wiederverwendbaren Modulen Verwendung von vorgegebenen Technologien/Frameworks Programmiersprache Java, Buildsystem maven Solr, UIMA, Gate, OpenNLP, libsvm

6 Forschungsprojekte

7 Autoverschlagwortung Kandidatenerzeugung Nomen (POS-Tagging) Nominalphrasen (regex auf POS-Tags) Ranking mittels maschinelles Lernen (libsvm etc.) Klassifikationsentscheidung Zweiklassenproblem: yes/no

8 Hierarchische Dokumenten-Klassifikation mit Hilfe von Ontologien Aufbau eine Taxonony im RDF(S)/OWL Format (z.b. mit Protege) für eine oder mehrere Fachdomänen der Lehre, wie Informatik, BWL... Automatische Einordnung von (gespiderten) Dokumenten (Hochschulcrawl) in die Taxonomie

9 Web Wrapping Beschränkung auf: Extraktion von relevanten Text aus HTML-Webseiten am Beispiel eines Hochschulcrawls Technologie: UIMA, Bibliotheken des maschinellen Lernens, wie libsvm, opennlp oder Entwicklung eines Informationsextraktionsystems mittels XPath, etc für feste Hosts Entwicklungslastig wichtig saubere, generische Umsetzung

10 Autoencoder basierend auf Neuronalen Netzen zur Ähnlichkeitsberechnung Beispieldatensatz: Xing Crawl Ich biete C++, Java, Programmieren,.. Berechung Buchhaltung, Controlling Input: Tag-Cloud Ähnlichste Begriffe zur Tag-Cloud Bestehender Code-Basis Assoziert mit Deep Learning

11 Automatischer Aufbau von Domänen-Vokabular (am Beispiel: Fachdomäne der Lehre, wie Informatik, BWL...) Phrasenerkennung (Nominalphrasen) mit computerlinguistischen und statistischen Methoden (POS-Tagging etc.) Erzeugung von Domänenvokabular unter Verwendung von statistischen oder informationstheoretischen Maßen (Term- Häufigkeitsverteilungen, Vergleichskorpora) oder mittels maschinellen Lernens (wie opennlp)

12 Entwicklung einer webbasierten Nutzerschnittstelle für das Lehr-/Lerninformationssystem auch als Kleingruppenarbeit inkl. Bewertungen und soziale Interaktion Technologie: Backend: JavaEE 6 oder Spring DI/MVC/Security/Data Persistenz und Suche: JPA, Solr und NoSql Datenbanken Viewtechnologie und Client: Vaadin, Freemarker, JSF, JSP, JQuery

13 Big Data und Online-Abfragen auf großen textuellen Datenquellen Datenhaltung in Dokumentendatenbanken, Columnstores, spezielle Datenstrukturen zur schnellen Abfrage Abfragen mittels Hearstpattern Spark zur Analyse von textuellen Daten Pig Latin Korpus z.b. Wikipedia und Crawls.. neben Text auch Linkgraph, Kategoriensystem etc. Vorverarbeitung: UIMA-Pipeline

14 Untersuchung und Vergleich verschiedener Verteilungsplattformen in Bezug auf die Anwendbarkeit im Data-Mining -speziell auf Deep Learning von Neuronalen Netzen. Hadoop Apache Hama Spark Nephele/PACT (TU Berlin) SciDB (Stonebraker)

15 Randbedingungen für Forschungsprojekt Programmiersprache: Java, Scala, (Groovy, Clojure) Verwenden von vorgegebenen Infrastrukturkomponenten und Bibliotheken, wie UIMA, Solr, Softwarequalität TDD Projektorganisation Regelmäßige Treffen (2-Wochen Rhythmus) Zielsetzung und Vorstellung der Ergebnisse

16 Independent Cousework Idealerweise assoziert zu den Forschungsprojekten als Independent Study Independent Production (z.b. Prototyp für Scriptbewertungen) auch in Verbindung mit Lehrbuch und korrespondierendem Beispielcode, wie Bücher Algorithms of the intelligent web, collective intelligence in action, groovy for domain specific languages Medienanalyse Monitoring of the social Web Trenderkennung, Opinion Mining Evaluation und Beipielprojekt mit Apache Stanbol