Prof. Dr. Udo Hahn. Seminar im Modul M-GSW-09 WiSe 2015/2016

Transkript

1 Seminar im Modul M-GSW-09 WiSe 2015/2016 Prof. Dr. Udo Hahn Lehrstuhl für Angewandte Germanistische Sprachwissenschaft / Computerlinguistik Institut für Germanistische Sprachwissenschaft Friedrich-Schiller-Universität Jena

2 Allgemeine Hinweise Termin: Fr, 10-12h (AB 4, SR 023) Materialien im Netz F Students Sprechstunde: Do, 12-13h (FG 30, R 203) udo.hahn@uni-jena.de Fachliteratur: durchgängig in Englisch

3 Warum Lernen? Ende des symbolischen Paradigmas der CL (1990) Granularität des linguistischen Wissens: einzelne Regeln (Syntax), einzelne logische Formeln (Semantik) Manuell-intellektuell konzipierte Regelsysteme Probleme: unvollständig, unübersichtlich: Interaktionseffekte, schwer erweiterbar: Änderungseffekte oft unkontrollierbar Alternative: Maschinelles Lernen Programmieren von Computern, um ein Performanzkriterium zu optimieren auf der Basis von Beispieldaten oder früherer Erfahrung A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E (Tom Mitchell, 1997)

4 Der Paradigmenwechsel Traditionelles Programmieren Daten Programm Computer Output

5 Der Paradigmenwechsel Traditionelles Programmieren Daten Programm Computer Output Maschinelles Lernen Daten Output Computer Programm

6 Warum maschinelles Lernen? Bezüge und Korrelationen sind oft in großen Mengen von Daten verborgen Menge von Daten, die für eine Aufgabe verfügbar ist, ist so groß, dass sie von Menschen nicht übersehen und berücksichtigt werden kann Einige Aufgaben können nicht allgemein und umfassend definiert werden, außer durch Angabe von Beispielen Umgebungen ändern sich permanent und verlangen Nachjustierung von Modellen Personalisierung (Individualisierung), Adaption von Modellen an spezielle Bedürfnisse permanente Modelländerung

7 Anforderungen an Maschinelles Lernen Lernen allgemeiner Modelle aus speziellen Datensammlungen Korpuslinguistik Linguistische Annotationssprachen Modell als gute und nützliche Approximation der Daten Rolle der Informatik: Effiziente Algorithmen zur Lösung von Optimierungsproblemen Repräsentationsmethoden und Evaluation des Inferenzmodells

8 Drei Komponenten des maschinellen Lernens Repräsentation des Lernmodells Evaluation des Inferenzmodells (Lernerfolg) Optimierung (Optimalität des Lernens)

9 Lernverfahren: Repräsentation Clustering Naive Bayes Graphische Modelle: Bayes sche Netzwerke Hidden Markov-Modelle Conditional Random Fields Support-Vektor-Maschinen Künstliche neuronale Netze a deep learning

10 Accuracy Precision/recall a F-score Squared error Likelihood Posterior probability Cost/Utility Margin Entropy K-L distance Lernen: Evaluationsverfahren

11 Kombinatorische Optimierung Greedy search Konvexe Optimierung Gradient descent Constraint-Optimierung Lineare Programmierung Optimierungsansatz

12 Lernparadigmen Unüberwachtes (induktives) Lernen Lernen aus Daten ohne menschliche Intervention Trainingsdaten enthalten nicht den gewünschten Output Semi-überwachtes Lernen Geringe menschliche Intervention mit kleineren Seed Sets Trainingsdaten enthalten wenige Instanzen des gewünschten Outputs Überwachtes Lernen Menschen liefern eine größere Menge von Golddaten, an denen ein ML-System trainiert wird Trainingsdaten enthalten den gewünschten Output

13 Was kann man vom menschlichen Lernen lernen? Menschliches Lernen Auswändig lernen Einüben Logisch Schließen (deduktiv vs. induktiv): Alle Menschen sind sterblich. Sokrates ist ein Mensch. Sokrates ist sterblich. Sokrates, Uta, Udo, Veronika, Volker, sind Menschen und sterblich. Alle Menschen sind sterblich. Begriffe bilden Theorien entwickeln, Gesetzmäßigkeiten formulieren

14 Begriffe bilden Eins von diesen Dingen gehört nicht zu den anderen! Dies sind Tassen: Dies sind keine Tassen:

15 Begriffe bilden: 1. Kategorisierung Alles zusammenfassen zu einer Klasse, was gemeinsame Merkmale hat. Bedarf für Kategorisierung: Es gibt schon ein Wort dafür Vorhersage ist nötig Begriff erleichtert die Definition anderer Begriffe

16 Begriffe bilden: 2. Charakterisierung Kategorien abgrenzend beschreiben für Gegensätze dieselben Merkmale verwenden so wenig Merkmale wie möglich Vererbbarkeit der Merkmale Operationalität der Merkmale Merkmale: Farbe: blau, weiß, schraffiert Form: rund, kreuz Anzahl: 1, 2, 3 Teilobjekte a) blau, b) besteht aus 2 Teilobjekten, c) blau und besteht aus 2 Teilobjekten - + -

17 Begriffe anwenden: 3. Klassifikation a) ist blau: + b) besteht aus 2 Teilobjekten: - c) ist blau und besteht aus 2 Teilobjekten: - a) ist blau: - b) besteht aus 2 Teilobjekten: + c) ist blau und besteht aus 2 Teilobjekten: -

18 Maschinelles Lernen - überall Maschinelles Lernen generische Methodik Robotik Computersehen (vision) Bioinformatik Automatische Sprachverarbeitung Gesprochen Geschrieben Maschinelles Lernen faktisch kein Bezug (mehr) zu Mechanismen des menschlichen Lernens

19 Lernen auf allen linguistischen Ebenen Satzsegmentierung Wortsegmentierung Wortartenzuweisung (POS-Tagging) Wortgruppierung (Chunking) Syntaktisches Parsing Entitätenerkennung (named entities) Relationenerkennung (Prädikat-Argument- Strukturen) Disambiguierung von Wortbedeutungen (WSD) Referenzauflösung.

20 Lernen in allen computerlinguistischen Applikationen Informationsextraktion Text Mining Dokumentenklassifikation Maschinelle Übersetzung Textzusammenfassung Fragebeantwortung (open domain)

21 Vortrag (mündlich) 1-stündig Seminarleistungen Elektronische Version (PDF, PPT) verfügbar machen Referat (schriftlich) Seiten Kerntext (mit Standardformaten) Elektronische Version (PDF, DOC) verfügbar machen Eidesstattliche Erklärung zur Eigenautorenschaft Wir prüfen mit Plagiatserkennungs-Software Abgabe: Anfang März 2016

22 Bemerkungen zu Referaten Aufbaumuster: Deck- bzw. Titelblatt mit vollständigen Angaben Inhaltsverzeichnis Einführung ins Thema, Motivation Themenabhandlung: grundlegende Formalisierungen, Verfahrensbeschreibungen (Algorithmen), Systemfunktionalitäten, Ressourcenmerkmale, Experimente/Evaluationen usw. Fazit mit kritischer Würdigung, offene Probleme ansprechen Bibliographie Zitationen: Alle verwendeten Quellen zitieren Mit einem bibliographisch korrektem Zitat die jeweilige Quelle eindeutig beschreiben Fachartikel nicht mit zitieren Online-Quellen mit URLs und Datum des letztem Zugriffs Wikipedia ist keine zitierfähige wissenschaftliche Quelle! Eigenleistungen (Literatur, Beschäftigung mit konkreten Ressourcen/Systemen usw.) sind sehr erwünschtgunabdingbar!

23 Wege zum Vortrag und Referat Anmeldung von drei nach fallender Priorität geordneten Themenwünschen First-come, first-served Themenvergabe durch Dozenten Erste Literaturhinweise als Saat nach Bestätigung der Themenauswahl Themenbearbeitung durch Referenten Mündlicher Vortrag zum vereinbarten Termin Schriftliches Referat (unter Einhaltung der organisatorischen Verabredungen) zum vereinbarten Termin

24 MALLET WEKA MAHOUT SPARK (sehr effizient!) JAVA Machine Learning library Lerner-Portale

25 Wichtige Zeitschriften Journal of Machine Learning Research Machine Learning IEEE Transactions on Neural Networks IEEE Transactions on Pattern Analysis and Machine Intelligence Annals of Statistics Journal of the American Statistical Association

26 Wichtige Konferenzen International Conference on Machine Learning (ICML) European Conference on Machine Learning (ECML) Neural Information Processing Systems (NIPS) Computational Learning International Joint Conference on Artificial Intelligence (IJCAI) ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD) IEEE Int. Conf. on Data Mining (ICDM)

27 Ablaufplan Hahn Hahn Hahn - Themenvergabe Björn Barz: Question Answering Sönke Ziemer: Maschinelles Übersetzen Robert Frank: Informationsextraktion Clara Lachenmaier: Syntaktisches Parsing Philipp Sieg: Neuronale Netze: Anwendung