Einführung in die Computerlinguistik
|
|
- Adolf Schmid
- vor 6 Jahren
- Abrufe
Transkript
1 Einführung in die Computerlinguistik HMM POS-Tagging Laura Kallmeyer Heinrich-Heine-Universität Düsseldorf Summer / 20
2 POS Tags (1) Jurafsky and Martin (2009) POS = part-of-speech Tags sind morphosyntaktische Kategorien von Wortformen. Bsp. (Brown Corpus): (The AT) (Fulton NP-TL) (County NN-TL) (Grand JJ-TL) (Jury NN-TL) (said VBD) (Friday NR) (an AT) (investigation NN) (of IN) (Atlanta s NP) (recent JJ) (primary NN) (election NN) (produced VBD) ( ) (no AT) (evidence NN) ( ) (that CS) (any DTI) (irregularities NNS) (took VBD) (place NN) (..) 2 / 20
3 POS Tags (2) Bsp. (Penn Treebank): (Pierre NNP) (Vinken NNP) (,,) (61 CD) (years NNS) (old JJ) (,,) (will MD) (join, VB) (the DT) (board NN) (as IN) (a DT) (nonexecutive JJ) (director NN) (Nov. NNP) (29 CD) (..) 3 / 20
4 POS Tags (3) Es gibt kein fest vorgegebenes Inventar von möglichen POS Tags. Die Wahl der POS Tags hängt von der jeweiligen Sprache und von der Anwendung ab, die mit dem getaggten Text vorgenommen werden soll. Morphologisch reichere Sprachen haben in der Regel größere Tagsets. Penn Treebank Tagset (PTB, American English): 45 POS-Tags Brown Corpus (American English): 87 POS-Tags British National Corpus (BNC, British English) basic tagset: 61 POS-Tags Stuttgart-Tübingen Tagset (STTS) für das Deutsche: 54 POS- Tags. Prague Dependency Treebank (PDT, Tschechisch): 4288 POS- Tags. 4 / 20
5 HMM POS Tagging (1) Problem: Gegeben eine Folge w1 n von n Wörtern, wollen wir die wahrscheinlichste Folge ˆt 1 n aller möglichen Folgen tn 1 von n POS Tags für diese Wortfolge ermitteln. arg max x ˆt n 1 = arg max t n 1 P(t n 1 w n 1 ) f (x) bedeutet das x, für das f (x) maximal groß wird. Mit Bayes gilt ˆt n 1 = arg max t n 1 P(w n 1 tn 1 )P(tn 1 ) P(w n 1 ) Daraus folgt ˆt n 1 = arg max t n 1 P(w n 1 tn 1 )P(tn 1 ) 5 / 20
6 HMM POS Tagging (2) ˆt n 1 = arg max t1 n berechnen. Annäherungen: P(w1 n tn 1 )P(tn 1 ) ist immer noch zu aufwendig zu P(w n 1 t n 1 ) P(t n 1 ) n P(w i t i ) i=1 n P(t i t i 1 ) i=1 Wenn wir Trainingsdaten in Form eines getaggten Korpus zur Verfügung haben, können wir die benötigten Wahrscheinlichkeiten durch Abzählen ermitteln. C(x) sei die Anzahl von Auftreten von x im Korpus. 6 / 20
7 HMM POS Tagging (3) Maximum Likelihood Estimates (MLE) Tagübergangswahrscheinlichkeit: P(t i t i 1 ) = C(t i 1, t i ) C(t i 1 ) Bsp. Brown Corpus:P(NN DT) = C(DT,NN) C(DT) = = 0.49 Wortwahrscheinlichkeit: P(w i t i ) = C(t i, w i ) C(t i ) Bsp. Brown Corpus: P(is VBZ) = C(VBZ,is) C(VBZ) = = / 20
8 POS Tag Sequences (1) Bsp.: race, Ambiguität zwischen VB und NN. (1) Secretariat/NNP is/vbz expected/vbn to/to race/?? tomorrow/nr (Brown tagset) Entscheidung, ob VB oder NN: NNP VBZ VBN TO?? NR Secretariat is expected to race tomorrow 8 / 20
9 POS Tag Sequences (2) Übergangs- und Wortwahrscheinlichkeiten, die unterschiedlich sind: P(NN TO) = P(VB TO) = 0.83 P(race NN) = P(race VB) = P(NR NN) = P(NR VB) = Je nach POS Tag für race unterscheiden sich die Wahrscheinlichkeiten der beiden Folgen in dem Faktor NN: P(NN TO)P(race NN)P(NR NN) = VB: P(VB TO)P(race VB)P(NR VB) = / 20
10 Bigram-HMMs (1) Formalisierung als gewichteter endlicher Automat. Der Automat erlaubt uns, über beobachtete Ereignisse (die zu taggenden Wörter) zu sprechen und über versteckte Ereignisse (Folgen von POS Tags). Daher die Bezeichnung Hidden Markov model (HMM). Ein HMM besteht aus Zuständen (= POS Tags), Übergangswahrscheinlichkeiten a i 1,i (= P(t i t i 1 )) und Emissionswahrscheinlichkeiten b i (w i ) (P(w i t i )). 10 / 20
11 Bigram-HMMs (2) Ein HMM ist ein Tupel Q, A, O, B, q 0, q F, wobei Q eine endliche Menge von Zuständen ist; A eine Q Q Matrix ist, deren Elemente aus R sind, die Übergangswahrscheinlichkeiten, O eine endliche Menge von Beobachtungen ist; : O R, Emission- B eine Folge von Q Funktionen b i swahrscheinlichkeiten; q 0, q F / Q der Startzustand und der Endzustand sind. Diese beiden Zustände haben keine Emissionen, und es sind zusätzlich Übergangswahrscheinlichkeiten a 0i und a if für alle 1 i Q gegeben. 11 / 20
12 Bigram-HMMs (3) Bsp.: HMM-POS Tagger mit Q = {Det, N, Adj, V }, O = {the, chief, rules,... }, folgende Wahrscheinlichkeiten: Emissionswahrscheinlichkeiten (b i (w) = P(w q i )): P(the Det) = 1 P(chief N) = P(rules N) = P(chief Adj) = P(rules V) = Alle anderen Emissionswahrscheinlichkeiten für chief, the und rules seien 0. Teil der Übergangswahrscheinlichkeiten (A i,j = P(q j q i )): P(N Det) = P(N N) = P(N Adj) = P(Adj Det) = P(V N) = P(V Adj) = Die Wahrscheinlichkeit, dass ein Det am Satzanfang steht, ist 1, die, dass auf ein N oder V ein Satzende folgt, ist jeweils 0.1 = / 20
13 Bigram-HMMs (4) Ziel: Gegeben ein HMM und eine Folge von Beobachtungen o 1... o n soll ermittelt werden, welche Folge von Zuständen (POS Tags) die Beobachtung am wahrscheinlichsten macht. Viterbi Algorithmus: Wir durchlaufen die Beobachtungen von links nach rechts und füllen dabei eine Matrix viterbi von Pfadwahrscheinlichkeiten. viterbi ist eine ( Q + 1) n)-matrix. Das Feld viterbi[q, i] soll angeben, wie wahrscheinlich es ist, dass wir nach Abarbeiten der ersten i Beobachtungen in Zustand q sind. Außerdem führen wir Backpointer mit, die uns für viterbi[q, i] sagen, welcher Zustand q voranging. 13 / 20
14 Bigram-HMMs (5) Bsp.: q F N , Det , Adj V , N Adj , Det Det 1, q 0 1: the 2: chief 3: rules , V chief, Adj: chief, N: rules, N: max{ Vorgänger Adj, Vorgänger N} rules, V: max{ Vorgänger Adj, Vorgänger N} Die beste POS-TAG Folge ist demnach Det N V. 14 / 20
15 Bigram-HMMs (6) Algorithmus: for q in range( Q ): viterbi(q, 1) = a 0,q b q (o 1 ) backpointer(q, 1) = 0 for i from 2 to n: for all q Q: viterbi(q, i) = arg max (viterbi(q, i 1) a q,q b q (o i )) q Q backpointer(q, i) = arg max (viterbi(q, i 1) a q,q) q Q viterbi(q F, n) = arg max q Q backpointer(q F, n) = arg max q Q (viterbi(q, n) a q,q F ) (viterbi(q, n) a q,q F ) 15 / 20
16 Bigram-HMMs (7) Anschließend erhält man die beste Tagsequenz (in umgekehrter Reihenfolge), wenn man, von backpointer(q f, n) ausgehend den Backpointern folgt. Die Wahrscheinlichkeit dieser Tagsequenz steht in viterbi(q f, n). 16 / 20
17 Trigram-HMMs (1) Annahme bisher: Die Übergangswahrscheinlichkeit dafür, dass ein bestimmtes Tag als nächstes folgt, ist nur von dem vorhergehenden Tag abhängig. Erweiterung: es werden die beiden vorhergehenden Tags berücksichtigt: n P(t1 n ) P(t i t i 1, t i 2 ) i=1 Zusätzlich wird noch das Satzende berücksichtig, genauer die Wahrscheinlichkeit, dass das letzte Tag am Satzende steht (t n+1 ist ein neu eingeführtes Satzendetag): ˆt 1 n = arg max t1 n = arg max t1 n P(w n 1 tn 1 )P(tn 1 ) [ n i=1 P(w i t i )P(t i t i 1, t i 2 )] P(t n+1 t n ) 17 / 20
18 Trigram-HMMs (2) Problem: Man hat oft nicht genug Daten, um alle Wahrscheinlichkeiten abschätzen zu können: P(t i t i 1, t i 2 ) = C(t i 2, t i 1, t i ) C(t i 2, t i 1 ) Viele dieser Anzahlen werden 0 sein, da man nicht alle Folgen im Trainingskorpus findet. Lösung: Kombination von Tri-, Bi- und Unigrams: P(t i t i 1, t i 2 ) = λ 3ˆP(t i t i 1, t i 2 ) + λ 2ˆP(t i t i 1 ) + λ 1ˆP(t i ) 18 / 20
19 Trigram-HMMs (3) Berechnung der λ 1, λ 2, λ 3 z.b. durch deleted interpolation λ 1 = λ 2 = λ 3 = 0 for each trigram t 1, t 2, t 3 with f (t 1, t 2, t 3 ) > 0: depending on the maximum of the values x 1 = C(t1,t2,t3) 1 C(t, x 1,t 2) 1 2 = C(t2,t3) 1 C(t 2) 1 and x 3 = C(t3) 1 N 1 : case max = x 1 : increment λ 3 by C(t 1, t 2, t 3 ) case max = x 2 : increment λ 2 by C(t 1, t 2, t 3 ) case max = x 3 : increment λ 1 by C(t 1, t 2, t 3 ) normalize λ 1, λ 2, λ 3 (N ist die Gesamtanzahl Tokens im Korpus) Accuracy = (Anzahl korrekter Tags) / (Anzahl Tags) liegt beim POS Tagging deutlich über 95 %. 19 / 20
20 Jurafsky, D. and Martin, J. H., editors (2009). Speech and Language Processing. An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. Prentice Hall Series in Articial Intelligence. Pearson Education International. Second Edition. 20 / 20
Einführung in die Computerlinguistik POS-Tagging
Einführung in die Computerlinguistik POS-Tagging Laura Heinrich-Heine-Universität Düsseldorf Sommersemester 2013 POS Tags (1) POS = part-of-speech Tags sind morphosyntaktische Kategorien von Wortformen.
MehrFriedrich-Alexander-Universität Professur für Computerlinguistik. Nguyen Ai Huong
Part-of-Speech Tagging Friedrich-Alexander-Universität Professur für Computerlinguistik Nguyen Ai Huong 15.12.2011 Part-of-speech tagging Bestimmung von Wortform (part of speech) für jedes Wort in einem
MehrHidden Markov Models. Vorlesung Computerlinguistische Techniken Alexander Koller. 8. Dezember 2014
idden Markov Models Vorlesung omputerlinguistische Techniken Alexander Koller 8. Dezember 04 n-gramm-modelle Ein n-gramm ist ein n-tupel von Wörtern. -Gramme heißen auch Unigramme; -Gramme Bigramme; -Gramme
MehrMaschinelle Sprachverarbeitung: Part-of-Speech-Tagging
HUMBOLDT-UNIVERSITÄT ZU BERLIN Institut für Informatik Lehrstuhl Wissensmanagement Maschinelle Sprachverarbeitung: Part-of-Speech-Tagging Tobias Scheffer Ulf Brefeld POS-Tagging Zuordnung der Wortart von
MehrWortdekodierung. Vorlesungsunterlagen Speech Communication 2, SS Franz Pernkopf/Erhard Rank
Wortdekodierung Vorlesungsunterlagen Speech Communication 2, SS 2004 Franz Pernkopf/Erhard Rank Institute of Signal Processing and Speech Communication University of Technology Graz Inffeldgasse 16c, 8010
MehrViterbi. Hidden Markov Models und POS Tagging mit dem Viterbi-Algorithmus. von Arndt Faulhaber und Benjamin Schlebes
Viterbi Hidden Markov Models und POS Tagging mit dem Viterbi-Algorithmus von Arndt Faulhaber und Benjamin Schlebes Seminar: Endliche Automaten für die Sprachverarbeitung SS 2005 PD Dr. K. Haenelt 1/28
MehrHidden Markov Models
Hidden Markov Models Kursfolien Karin Haenelt 09.05002 1 Letzte Änderung 18.07002 Hidden Markov Models Besondere Form eines probabilistischen endlichen Automaten Weit verbreitet in der statistischen Sprachverarbeitung
MehrHidden Markov Models in Anwendungen
Hidden Markov Models in Anwendungen Dr. Vera Demberg Universität des Saarlandes 31. Mai 2012 Vera Demberg (UdS) HMM Anwendungen 31. Mai 2012 1 / 26 Hidden Markov Modelle in der Computerlinguistik Table
MehrTagging mit Hidden Markov Models und Viterbi-Algorithmus
Tagging mit Hidden Markov Models und Viterbi-Algorithmus Annelen Brunner, Stephanie Schuldes, Nicola Kaiser, Olga Mordvinova HS Parsing SoSe 2003 PD Dr. Karin Haenelt Inhalt Ziel des Seminarprojekts Theorie:
MehrDer Viterbi Algorithmus
M. 23.Juli.2007 Gliederung 1 2 3 Erfinder Andrew J. Viterbi 1967 zur Dekodierung von Faltungscodes entwickelt Auf Basis von entwickelt Erfinder Andrew J. Viterbi 1967 zur Dekodierung von Faltungscodes
MehrHidden-Markov-Modelle
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Hidden-Markov-Modelle Tobias Scheffer Thomas Vanck Hidden-Markov-Modelle: Wozu? Spracherkennung: Akustisches Modell. Geschriebene
Mehr1 Part-of-Speech Tagging
2. Übung zur Vorlesung NLP Analyse des Wissensrohstoes Text im Sommersemester 2008 Dr. Andreas Hotho, Dipl.-Inform. Dominik Benz, Wi.-Inf. Beate Krause 28. Mai 2008 1 Part-of-Speech Tagging 1.1 Grundlagen
MehrHidden Markov Models (HMM)
Hidden Markov Models (HMM) Kursfolien Karin Haenelt 1 Themen Definitionen Stochastischer Prozess Markow Kette (Visible) Markov Model Hidden Markov Model Aufgaben, die mit HMMs bearbeitet werden Algorithmen
MehrPart-Of-Speech-Tagging mit Viterbi Algorithmus
Part-Of-Speech-Tagging mit Viterbi Algorithmus HS Endliche Automaten Inna Nickel, Julia Konstantinova 19.07.2010 1 / 21 Gliederung 1 Motivation 2 Theoretische Grundlagen Hidden Markov Model Viterbi Algorithmus
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. NLP-Pipeline. Tobias Scheffer Peter Haider Uwe Dick Paul Prasse
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen NLP-Pipeline Tobias Scheffer Peter Haider Uwe Dick Paul Prasse NLP-Pipeline Folge von Verarbeitungsschritten für Informationsextraktion,
MehrPart-of-Speech Tagging. Machine Language Processing Heike Zinsmeister WS 2008/09
Part-of-Speech Tagging Machine Language Processing Heike Zinsmeister WS 2008/09 Motivation Part of Speech = Wortart Tokenisierung Zerlegung einer Sprache in Wörter Lexikon Wortinventar einer Sprache Anzahl
MehrPart-of-Speech Tagging. Stephanie Schuldes
Part-of-Speech Tagging Stephanie Schuldes 05.06.2003 PS Erschließen von großen Textmengen Geißler/Holler SoSe 2003 Motivation Ziel: vollständiges Parsing und Verstehen natürlicher Sprache Herantasten durch
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. NLP-Pipeline. Tobias Scheffer Paul Prasse Michael Großhans
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen NLP-Pipeline Tobias Scheffer Paul Prasse Michael Großhans NLP- (Natural Language Processing-) Pipeline Folge von Verarbeitungsschritten
MehrSignalverarbeitung 2. Volker Stahl - 1 -
- 1 - Hidden Markov Modelle - 2 - Idee Zu klassifizierende Merkmalvektorfolge wurde von einem (unbekannten) System erzeugt. Nutze Referenzmerkmalvektorfolgen um ein Modell Des erzeugenden Systems zu bauen
MehrEinführung in die Computerlinguistik
Einführung in die Computerlinguistik Spracherkennung und Hidden Markov Modelle Dozentin: Wiebke Petersen WS 2004/2005 Wiebke Petersen Einführung in die Computerlinguistik WS 04/05 Spracherkennung Merkmalsextraktion
MehrMachine Translation with Inferred Stochastic Finite-State Transducers
Machine Translation with Inferred Stochastic Finite-State Transducers von Klaus Suttner HS: Endliche Automaten Dozentin: Karin Haenelt Seminar für Computerlinguistik Universität Heidelberg 29.06.09 Finite-state
MehrGliederung. Natürlichsprachliche Systeme I. Tagging mit NLTK. Tagging mit NLTK. POS Tagging mit NLTK (II)
Gliederung Natürlichsprachliche Systeme I POS (II) D. Rösner Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität Magdeburg 1 Default Regular Expression Lookup
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. NLP-Pipeline. Tobias Scheffer Thomas Vanck
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen NLP-Pipeline Tobias Scheffer Thomas Vanck NLP-Pipeline Folge von Verarbeitungsschritten für Informationsextraktion, Übersetzung,
MehrRAW TEXT TOKENIZATION + PRE - TAGGING LEXICAL RESSOURCES REFERENCE CORPUS AMBIGUOUSLY ANNOTATED TEXT TRANSITION TABLES + WORD TAG PROBAB.
Ansätze des Tagging Ein Seminarreferat, vorgestellt von Alexander Valet, Christian Pretzsch und Vanessa Micelli im Rahmen des Hauptseminars Parsing bei Dr. Karin Haenelt im SS 2003 an der Ruprecht-Karls
MehrPart of Speech Tagging. Linguistische Sicht. Carolin Deck
Part of Speech Tagging Linguistische Sicht Carolin Deck Gliederung 1. Begriffsklärung 2. Vorstellung zwei wichtiger Tagsets (STTS & PTTS) 3. Bedeutung des POS-Tagging für die Sprachwissenschaft 4. Tagzuweisung
MehrHidden Markov Model (HMM)
Hidden Markov Model (HMM) Kapitel 1 Spezialvorlesung Modul 10-202-2206 (Fortgeschrittene Methoden in der Bioinformatik) Jana Hertel Professur für Bioinformatik Institut für Informatik Universität Leipzig
MehrPart-of-Speech-Tagging mit Transduktoren
Ruprecht-Karls Universität Heidelberg Hauptseminar Computerlinguistik Endliche Automaten für die Sprachverarbeitung PD Dr Karin Haenelt Sommersemester 2005 Part-of-Speech-Tagging mit Transduktoren Maria
MehrProgrammierkurs Python II
Programmierkurs Python II Michaela Regneri & tefan Thater FR 4.7 Allgemeine Linguistik (Computerlinguistik) Universität des aarlandes ommersemester 2010 (Charniak, 1997) the dog biscuits N V N V the dog
MehrKognitive Systeme. Übung 4
Kognitive Systeme Übung 4 Matthias Sperber Thai Son Nguyen 1 29.06.16 Wir bitten um Entschuldigung: Trotz anders lautender Ankündigung änderte sich die korrekte Lösung für Aufgabe 3e, sodass keine der
MehrProbabilistische kontextfreie Grammatiken
Mathematische Grundlagen III Probabilistische kontextfreie Grammatiken 14 Juni 2011 1/26 Ambiguität beim Parsing Wörter können verschiedene Bedeutungen haben und mehr als einer Wortkategorien angehören
MehrEmpirie II: Wortarten im Kontext (Tagging)
G. Schneider: Morphologieanalyse und Lexikonaufbau, SS 2000 Page 1 Empirie II: Wortarten im Kontext (Tagging) Morphologieanalyse und Lexikonaufbau (12. Vorlesung) Dozent: Gerold Schneider Übersicht Was
MehrHidden Markov Models
Hidden Markov Models Nikolas Dörfler 21.11.2003 1 Einleitung Hauptseminar Machine Learning Nicht alle Vorgänge laufen stehts in einer festen deterministischen Reihenfolge ab und sind somit relativ einfach
MehrEinführung Beispiele Fazit Links. OpenNLP. Nico Beierle, Irina Glushanok
OpenNLP Nico Beierle, Irina Glushanok 15.11.2012 1 / 21 Inhaltsverzeichnis 1 Einführung Allgemeines Möglichkeiten Installation 2 Beispiele Tools auf Kommandozeile Tokenizer Name Finder Training My Model
MehrTagger for German. Online BRILL-Tagger für das Deutsche
Tagger for German Online BRILL-Tagger für das Deutsche Morphologie V/Ü, Anke Holler Uni Heidelberg, SS2007 Nataliya Mytyay Éva Mújdricza 19.07.2007 Designed by: Dóra Dobos Tagger for German Eric Brill
MehrElementare Begriffe der Wahrscheinlichkeitstheorie für die Sprachverarbeitung
Elementare Begriffe der Wahrscheinlichkeitstheorie für die Sprachverarbeitung Kursfolien Karin Haenelt 1 Übersicht Wahrscheinlichkeitsfunktion P Wahrscheinlichkeit und bedingte Wahrscheinlichkeit Bayes-Formeln
MehrA Topical/Local Classifier for Word Sense Idendification (TLC) Anne Schwartz
A Topical/Local Classifier for Word Sense Idendification (TLC) Anne Schwartz anne@coli.uni-sb.de A Topical/Local Classifier for Word Sense Idendification (TLC) entwickelt von: - Martin Chodorow (Dep. of
MehrHidden Markov Models Erläuterung der Bestimmung der Wahrscheinlichkeit einer Beobachtung
Hidden Markov Models Erläuterung der estimmung der Wahrscheinlichkeit einer eobachtung Kursfolien Karin Haenelt Karin Haenelt Hidden Markov-Modelle 9.66 2.64 Hidden Markov Model HMM: eschreibung Ein Hidden
Mehr3. Übung zur Vorlesung NLP Analyse des Wissensrohstoffes Text im Sommersemester 2008 mit Musterlösungen
3. Übung zur Vorlesung NLP Analyse des Wissensrohstoffes Text im Sommersemester 2008 mit Musterlösungen Dr. Andreas Hotho, Dipl.-Inform. Dominik Benz, Wi.-Inf. Beate Krause 14. Mai 2008 1 Kollokationen
MehrMaschinelle Sprachverarbeitung: N-Gramm-Modelle
HUMBOLD-UNIVERSIÄ ZU BERLIN Institut für Informatik Lehrstuhl Wissensmanagement Maschinelle Sprachverarbeitung: N-Gramm-Modelle obias Scheffer, Ulf Brefeld Statistische Sprachmodelle Welche Sätze sind
MehrPart-of-Speech-Tagging mit Transduktoren
Ruprecht-Karls Universität Heidelberg Hauptseminar Computerlinguistik Endliche Automaten für die Sprachverarbeitung PD Dr. Karin Haenelt Sommersemester 2005 Part-of-Speech-Tagging mit Transduktoren Maria
MehrKontextfreie Grammatiken
Kontextfreie Grammatiken Vorlesung Computerlinguistische Techniken Alexander Koller 16. Oktober 2015 Übersicht Worum geht es in dieser Vorlesung? Übungen und Abschlussprojekt Kontextfreie Grammatiken Computerlinguistische
MehrHidden Markov Models (HMM) Karin Haenelt
Hidden Markov Models (HMM) Karin Haenelt 16.5.2009 1 Inhalt Einführung Theoretische Basis Elementares Zufallsereignis Stochastischer Prozess (Folge von elementaren Zufallsereignissen) Markow-Kette (Stochastischer
MehrReranking. Parse Reranking. Helmut Schmid. Institut für maschinelle Sprachverarbeitung Universität Stuttgart
Institut für maschinelle Sprachverarbeitung Universität Stuttgart schmid@ims.uni-stuttgart.de Die Folien basieren teilweise auf Folien von Mark Johnson. Koordinationen Problem: PCFGs können nicht alle
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Tobias Scheffer, Tom Vanck, Paul Prasse
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Sprachtechnologie Tobias Scheffer, Tom Vanck, Paul Prasse Organisation Vorlesung/Übung, praktische Informatik. 4 SWS. Termin: Montags,
MehrMaschinelle Sprachverarbeitung: Modelle zu Wortsequenzen Teil 1
Maschinelle Sprachverarbeitung: Modelle zu Wortsequenzen Teil 1 Basierend auf Kapitel 4 P.M. Nugues (2006) Gertrud Faaβ Universität StuVgart, InsXtut für maschinelle Sprachverarbeitung Azenbergstr. 12,
MehrParsing mit NLTK. Parsing mit NLTK. Parsing mit NLTK. Parsing mit NLTK. Beispiel: eine kleine kontextfreie Grammatik (cf. [BKL09], Ch. 8.
Gliederung Natürlichsprachliche Systeme I D. Rösner Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität Magdeburg 1 WS 2011/12, 26. Oktober 2011, c 2010-2012
MehrElementare statistische Methoden
Elementare statistische Methoden Vorlesung Computerlinguistische Techniken Alexander Koller 28. November 2014 CL-Techniken: Ziele Ziel 1: Wie kann man die Struktur sprachlicher Ausdrücke berechnen? Ziel
Mehrherangezogenwerden,wiez.b.online-thesauri.diefurcorpusanfragenzurverfugung
EinexiblesundmodularesAnfragesystemfurTextcorpora Niemeyer:LexicographicaSeriesMaior,Tubingen,Fruhjahr1995 Erscheintin:TagungsberichtedesArbeitstreensLexikon+Text 17./18.Februar1994,SchloHohentubingen
MehrDer Viterbi-Algorithmus.
Der Viterbi-Algorithmus. Eine Erläuterung der formalen Spezifikation am Beispiel des Part-of-Speech Tagging. Kursskript Karin Haenelt, 9..7 (.5.) Einleitung In diesem Skript wird der Viterbi-Algorithmus
MehrSoftwareprojektpraktikum Maschinelle Übersetzung
Softwareprojektpraktikum Maschinelle Übersetzung Jan-Thorsten Peter, Andreas Guta, Jan Rosendahl max.bleu@i6.informatik.rwth-aachen.de 5. Mai 2017 Human Language Technology and Pattern Recognition Lehrstuhl
MehrEinführung in die Computerlinguistik Statistische Grundlagen
Statistik 1 Sommer 2015 Einführung in die Computerlinguistik Statistische Grundlagen Laura Heinrich-Heine-Universität Düsseldorf Sommersemester 2015 Statistik 2 Sommer 2015 Überblick 1. Diskrete Wahrscheinlichkeitsräume
MehrBayes sche Klassifikatoren. Uwe Reichel IPS, LMU München 16. Juli 2008
Bayes sche Klassifikatoren Uwe Reichel IPS, LMU München reichelu@phonetik.uni-muenchen.de 16. Juli 2008 Inhalt Einleitung Grundlagen der Wahrscheinlichkeitsrechnung Noisy-Channel-Modell Bayes sche Klassifikation
MehrKI-Kolloquium am 23.10.2006. Part-of-Speech-Tagging für Deutsch. Referent: Stefan Bienk
Friedrich-Alexander-Universität Erlangen-Nürnberg Lehrstuhl für Informatik 8 (KI) Prof. Dr. H. Stoyan KI-Kolloquium am 23.10.2006 Part-of-Speech-Tagging für Deutsch Referent: Stefan Bienk Übersicht Aufgabenstellung
MehrWahrscheinlichkeitstheorie und Naive Bayes
Wahrscheinlichkeitstheorie und Naive Bayes Caroline Sporleder Computational Linguistics Universität des Saarlandes Sommersemester 2011 12.05.2011 Caroline Sporleder Naive Bayes (1) Elementare Wahrscheinlichkeitstheorie
MehrModerne IR / Language Models / Page Ranking
Moderne IR / Language Models / Page Ranking Paul Raab 10.11.2011 Paul Raab () Moderne IR / Language Models / Page Ranking 10.11.2011 1 / 14 Überblick Statistische Methoden auf Sprachmodelle angewandt sind
Mehr"What's in the news? - or: why Angela Merkel is not significant
"What's in the news? - or: why Angela Merkel is not significant Andrej Rosenheinrich, Dr. Bernd Eickmann Forschung und Entwicklung, Unister GmbH, Leipzig UNISTER Seite 1 Unister Holding UNISTER Seite 2
MehrPhonetische Lexika Part-of-Speech Tagging. Uwe D. Reichel IPSK, LMU München
Phonetische Lexika Part-of-Speech Tagging Uwe D. Reichel IPSK, LMU München reichelu@phonetik.uni-muenchen.de Inhalt Parts of Speech POS-Tagging-Probleme: OOV, Ambiguitäten Regelbasierte Tagger Markov-Tagger
MehrKorpus. Was ist ein Korpus?
Was ist ein Korpus? Korpus Endliche Menge von konkreten sprachlichen Äußerungen, die als empirische Grundlage für sprachwiss. Untersuchungen dienen. Stellenwert und Beschaffenheit des Korpus hängen weitgehend
MehrEinführung in die Computerlinguistik
Einführung in die Computerlinguistik Reguläre Ausdrücke und reguläre Grammatiken Laura Kallmeyer Heinrich-Heine-Universität Düsseldorf Summer 2016 1 / 20 Regular expressions (1) Let Σ be an alphabet. The
MehrToken, Types, Häufigkeiten und automatische Wortartenerkennung (Statistik-basiertes Tagging)
Token, Types, Häufigkeiten und automatische Wortartenerkennung (Statistikbasiertes Tagging) Morphologieanalyse und Lexikonaufbau (6. Vorlesung) Dozent: Gerold Schneider Übersicht Was ist ein Token? Was
MehrLinguistische Grundlagen. Warum Tagging? Klassische Wortartenlehre Tagsets Annotation höherer Ebenen Design von Tagsets
Linguistische Grundlagen Warum Tagging? Klassische Wortartenlehre Tagsets Annotation höherer Ebenen Design von Tagsets Warum Tagging? Abfragbarkeit linguistischer Information Generalisierbarkeit von Abfragen
MehrStochastic Processes SS 2010 Prof. Anton Wakolbinger. Klausur am 16. Juli 2010
Stochastic Processes SS 2010 Prof. Anton Wakolbinger Klausur am 16. Juli 2010 Vor- und Nachname: Matrikelnummer: Studiengang: Tutor(in): In der Klausur können 100 Punkte erreicht werden. Die Gesamtpunktezahl
MehrTnT - Statistischer Part-of- Speech Tagger
TnT - Statistischer Part-of- Speech Tagger 2. Teil der Präsentation des TnT Taggers von Thorsten Brants Präsentation von Berenike Loos Gliederung 1. Installation und Beschreibung des Programms 2. Erläuterungen
MehrHidden Markov Modelle
Hidden Markov Modelle in der Sprachverarbeitung Paul Gabriel paul@pogo.franken.de Seminar Sprachdialogsysteme: Hidden Markov Modelle p.1/3 Überblick Merkmalsvektoren Stochastischer Prozess Markov-Ketten
MehrHidden-Markov-Modelle
Proseminar: Machine-Learning Hidden-Markov-Modelle Benjamin Martin Zusammenfassung 1953 stellten Watson und Crick ihr DNA-Modell vor. Damit öffnete sich für Genforscher ein riesiges Gebiet, das bisher
MehrThemen. GK C: Einführung in die Korpuslinguistik. Vorverarbeitung. Tokenisierung. Tokenisierung. Aber. Vorverarbeitung
GK C: Einführung in die Korpuslinguistik Anke Lüdeling anke.luedeling@rz.hu-berlin.de Sommersemester 2003 Themen Vorverarbeitung Tokenisieren Taggen Lemmatisieren Vorverarbeitung auf allen Vorverarbeitungsebenen
MehrTagging von Online-Blogs
Tagging von Online-Blogs Gertrud Faaß (vertreten durch Josef Ruppenhofer) STTS tagset and tagging: special corpora 24. September 2012 Faaß MODEBLOGS 1 Korpuslinguistische studentische Projekte am IwiSt
MehrNLP Eigenschaften von Text
NLP Eigenschaften von Text Dr. Andreas Hotho Dominik Benz Beate Krause Sommersemester 2008 Folie: 1 Übersicht Einführung Eigenschaften von Text Words I: Satzgrenzenerkennung, Tokenization, Kollokationen
MehrInformationsextraktion
Informationsextraktion Bestimmte Anwendungen bei der semantischen Verarbeitung erfordern keine tiefe linguistische Analyse mit exakter Disambiguierung (= eine einzige und korrekte Lesart). Hierzu gehört
MehrTextmining Information Extraction (probabilistisch)
Textmining Information Extraction (probabilistisch) Department Informatik / Künstliche Intelligenz Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU Dept. CS KI) Information Extraction (probabilistisch)
MehrKapitel 16. Aufgaben. Verständnisfragen. Rechenaufgaben
Kapitel 16 Aufgaben Verständnisfragen Aufgabe 16.1 Ist das Produkt quadratischer oberer bzw. unterer Dreiecksmatrizen wieder eine obere bzw. untere Dreiecksmatrix? Aufgabe 16.2 Bekanntlich gilt im Allgemeinen
MehrAufgaben zu Kapitel 16
Aufgaben zu Kapitel 16 1 Aufgaben zu Kapitel 16 Verständnisfragen Aufgabe 16.1 Ist das Produkt quadratischer oberer bzw. unterer Dreiecksmatrizen wieder eine obere bzw. untere Dreiecksmatrix? Aufgabe 16.2
MehrAufgabe 1 Probabilistische Inferenz
Seite 1 von 8 Aufgabe 1 Probabilistische Inferenz (28 Punkte) Die BVG will besser auf Ausfälle im S-Bahn-Verkehr eingestellt sein. Sie geht dabei von folgenden Annahmen aus: An 20% der Tage ist es besonders
MehrAlgorithmen für Geographische Informationssysteme
Algorithmen für Geographische Informationssysteme 3. Vorlesung: 23. April 2014 Thomas van Dijk basiert auf Folien von Jan-Henrik Haunert Map Matching Problemformulierung Gegeben: Das Straßennetz als planar
MehrPart-of-Speech- Tagging
Part-of-Speech- Tagging In: Einführung in die Computerlinguistik Institut für Computerlinguistik Heinrich-Heine-Universität Düsseldorf WS 2004/05 Dozentin: Wiebke Petersen Tagging Was ist das? Tag (engl.):
MehrGrundbegriffe der Wahrscheinlichkeitstheorie. Karin Haenelt
Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 1 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette 2 Wahrscheinlichkeitsraum
MehrStefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov. 2008 [Folie 1] DWDS-Kernkorpus / DWDS corpus analysis
Content 1. Empirical linguistics 2. Text corpora and corpus linguistics 3. Concordances 4. Application I: The German progressive 5. Part-of-speech tagging 6. Fequency analysis 7. Application II: Compounds
MehrAutomatentheorie und formale Sprachen rechtslineare Grammatiken
Automatentheorie und formale Sprachen rechtslineare Grammatiken Dozentin: Wiebke Petersen 17.6.2009 Wiebke Petersen Automatentheorie und formale Sprachen - SoSe09 1 Pumping lemma for regular languages
MehrReguläre Ausdrücke. Karin Haenelt
Reguläre Ausdrücke Karin Haenelt 25.04.2010 1 Inhalt Einführung Definitionen Kleene-Theorem Schreibweisen regulärer Ausdrücke Eigenschaften regulärer Sprachen 2 Was sind reguläre Ausdrücke? Reguläre Ausdrücke
MehrAutomatisches Lernen von Regeln zur quellseitigen Umordnung
Automatisches Lernen von Regeln zur quellseitigen Umordnung E I N A N S AT Z V O N D M I T R I Y G E N Z E L Duwaraka Murugadas Fortgeschrittene Methoden der statistischen maschinellen Übersetzung (Miriam
MehrZusammenfassung Tutorien der Woche ALDABI
Zusammenfassung Tutorien der Woche 27.-31. 01. 2014 ALDABI Markov-Ketten: Viele Ereignisse schon in unserem Alltag beeinflussen sich gegenseitig, können also als Ablauf oder Kette von Ereignissen gesehen
MehrAlgorithmische Bioinformatik
Algorithmische Bioinformatik Hidden-Markov-Modelle Viterbi - Algorithmus Ulf Leser Wissensmanagement in der Bioinformatik Inhalt der Vorlesung Hidden Markov Modelle Baum, L. E. and Petrie, T. (1966). "Statistical
MehrOperationen auf endlichen Automaten und Transduktoren
Operationen auf endlichen Automaten und Transduktoren Kursfolien Karin Haenelt 1 Notationskonventionen L reguläre Sprache A endlicher Automat DEA deterministischer endlicher Automat NEA nichtdeterministischer
MehrSprachsynthese: Part-of-Speech-Tagging
Sprachsynthese: Part-of-Speech-Tagging Institut für Phonetik und Sprachverarbeitung Ludwig-Maximilians-Universität München reichelu@phonetik.uni-muenchen.de 29. Oktober 2014 Inhalt POS- Markov- Transformationsbasiertes
MehrSpracherkennung und Sprachsynthese
Spracherkennung und Sprachsynthese Einführung in die Computerlinguistik Sommersemester 2012 Peter Kolb Spracherkennung / -synthese Spracherkennung (automatic speech recognition, ASR) Sprachsynthese (text-to-speech,
MehrPOS Tagging. Stefanie Dipper. CL-Einführung, 2. Mai 2007
POS Tagging Stefanie Dipper CL-Einführung, 2. Mai 2007 Überblick 1. Was ist POS-Tagging? 2. Geschichtlicher Überblick 3. ( Moderne Tagger) 1. Was ist POS-Tagging? POS (PoS) = part of speech: Wortart Tag:
MehrVortrag 20: Kurze Vektoren in Gittern
Seminar: Wie genau ist ungefähr Vortrag 20: Kurze Vektoren in Gittern Kerstin Bauer Sommerakademie Görlitz, 2007 Definition und Problembeschreibung Definition: Gitter Seien b 1,,b k Q n. Dann heißt die
MehrAlgorithmen für Geographische Informationssysteme
Algorithmen für Geographische Informationssysteme 3. Vorlesung: 29. April 205 Thomas van Dijk basiert auf Folien von Jan-Henrik Haunert Map Matching Problemformulierung Gegeben: Das Straßennetz als planar
MehrD-ITET, D-MATL Numerische Methoden FS 2018 Dr. R. Käppeli P. Bansal. Lösung 3. j j + 1 P j 1(x), j 1. 2(1 x 2 k ) 2. ((j + 1)P j (x k ))
D-ITET, D-MATL umerische Methoden FS 2018 Dr. R. Käppeli P. Bansal Lösung 3 1. 3-Punkte Gauss Quadraturregel a) Um das Polynom P 3 (x) zu berechnen, benutzen wir die Formel P j+1 (x) 2j + 1 j + 1 xp j(x)
MehrZeitstetige Markov-Prozesse: Einführung und Beispiele
Zeitstetige Markov-Prozesse: Einführung und Beispiele Simone Wielart 08.12.10 Inhalt Q-Matrizen und ihre Exponentiale Inhalt Q-Matrizen und ihre Exponentiale Zeitstetige stochastische Prozesse Inhalt Q-Matrizen
MehrEinleitung Kappa F-Score Fazit. Softwarepraktikum. Evaluation. Franz Matthies
Evaluation Lehrstuhl für Computerlinguistik Institut für Germanistische Sprachwissenschaft Friedrich-Schiller-Universität Jena www.julielab.de Sommersemester 2016 Sitzung 2 Überblick 1 Motivation Definition
MehrMathematische Grundlagen III
Mathematische Grundlagen III Maschinelles Lernen II: Klassifikation mit Entscheidungsbäumen Vera Demberg Universität des Saarlandes 12. Juli 2012 Vera Demberg (UdS) Mathe III 12. Juli 2012 1 / 38 Einleitung
MehrWirtschafts- und Finanzmathematik
Prof Dr Stefan Etschberger HSA Wirtschafts- und Finanzmathematik für Betriebswirtschaft und International Management Wintersemester 2016/17 Determinanten: Vorüberlegung Permutationen und Inversionen
MehrBiometrie und Medizinische Informatik Greifswalder Seminarberichte
Die Reihe Biometrie und Medizinische Informatik Greifswalder Seminarberichte wird herausgegeben von Universitätsprofessor Dr.rer.nat.habil.Karl-Ernst Biebler und Dr.rer.nat. Bernd Jäger, Institut für Biometrie
MehrNatürlichsprachliche Systeme I Materialien zur Vorlesung
Natürlichsprachliche Systeme I Materialien zur Vorlesung D. Rösner Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität Magdeburg WS 2010/11, 19. Oktober 2010,
MehrSemantische Technologien (M-TANI)
Aktuelle Themen der Angewandten Informatik Semantische Technologien (M-TANI) Christian Chiarcos Angewandte Computerlinguistik chiarcos@informatik.uni-frankfurt.de 16. Mai 2013 Wortsemantik grammatische
MehrAufabe 7: Baum-Welch Algorithmus
Effiziente Algorithmen VU Ausarbeitung Aufabe 7: Baum-Welch Algorithmus Florian Fest, Matr. Nr.0125496 baskit@generationfun.at Claudia Hermann, Matr. Nr.0125532 e0125532@stud4.tuwien.ac.at Matteo Savio,
MehrTutoriums-Paper zu Hidden Markov Models
Tutoriums-Paper zu Hidden Markov Models Mario Mohr February 1, 2015 Contents 1 Das Modell 1 2 Der Forward-Algorithmus 2 2.1 Wahrscheinlichkeiten von Beobachtungsketten........................ 4 2.2 Filtering.............................................
MehrSprachtechnologie als Grundlage für die maschinelle Auswertung von Texten
Sprachtechnologie als Grundlage für die maschinelle Auswertung von Texten Dr-Ing Michael Piotrowski Leibniz-Institut für Europäische Geschichte @true_mxp Bamberg, 20 November 2015
Mehr