Machine Translation with Inferred Stochastic Finite-State Transducers
|
|
|
- Sarah Günther
- vor 7 Jahren
- Abrufe
Transkript
1 Machine Translation with Inferred Stochastic Finite-State Transducers von Klaus Suttner HS: Endliche Automaten Dozentin: Karin Haenelt Seminar für Computerlinguistik Universität Heidelberg
2 Finite-state Transducer Definition Ein Finite-state Transducer ist ein Tupel T : Σ,, Q, q 0, F, δ Σ = Eingabealphabet = Ausgabealphabet Q = Menge von Zuständen q 0 = Startzustand F Q = Menge von Endzuständen δ Q Σ Q φ heißt eine Übersetzung von s, falls: φ = (φ 0, s 1, t 1, φ 1 )(φ 1, s 2, t 2, φ 2 )... (φ l 1, s l, t l, φ l ) mit s = l d(s, t) bezeichne alle Übersetzungen des Paars (s, t).
3 Stochastic Finite-state Transducer Definition Ein Stochastic Finite-state Transducer ist ein Tupel T : Σ,, Q, q 0, F, p, f mit der Erweiterung: p : Q Σ Q [0, 1] f : Q [0, 1] und den Eigenschaften: q Q : f (q) + p(q, a, ω, q ) = 1 (a,ω,q ) Σ Q P Tp (s, t) = 1 (s,t) Σ
4 Stochastic Finite-state Transducer Wahrscheinlichkeit einer Übersetzung (s, t): P Tp (s, t) = P Tp (φ) φ d(s,t) l P Tp (φ) = f (q l ) p(q i 1, s i, t i, q i ) i=0 Übersetzung einer Zeichenkette s: ˆt = arg max t P T p (s, t)
5 Viterbi-Approximation Approximation: P Tp V Tp (s, t) = max P Tp (φ) φ d(s,t) t = arg max V T t p (s, t) = arg max max t φ d(s,t) P Tp (φ) Berechnung: max V T t p (s, t) = max(v ( s, q)f (q)) q Q V (i, q) = max q Q,ω (V (i 1, q )p(q, s i, ω, q)), i 0, q q 0 V (0, q 0 ) = 1
6 Verfahren jeder Paar (s, t) Zeichenkette z Induktion einer regulären Grammatik Erzeugung des Transducers
7 Übersetzung IBM-Modell 1-5 e(i) = i-te Wort des Originalsatzes (hier: englisch) f(j) = j-te Wort des Zielsatzes (hier: französisch) a(i) = Alignierung für Wort i des Originalsatzes Fertility φ spurious words p 1 Position NULL = e 0 Distortion d(a(i) e i, s, t ) d(5 2, 4, 6) Translation t e i f a(i)
8 IBM-Modell 3 1 For each English word e i indexed by i = 1...l, choose fertility φ(i) with probability n(φ(e i ) e i ). 2 Choose the number φ(0) of "spurious" French words to be generated from e 0 = NULL using probability p 1 and n i=1 φ(i) from step 1. 3 Let m m = n i=0 φ(i) be the sum of fertilities for all words, including NULL. 4 For each i = 0...l, and each k = 1...φ(i), choose a French word τ ik with probability t(τ ik e i ). 5 For each i = 1...l, and each k = 1...φ(i), choose target French position π ik with probability d(π ik i, l, m). 6 For each k = 1...φ 0, choose a position π 0k from the φ(0) k + 1 remaining vacant positions in 1...m, for a total probability of 1 φ(0)!. 7 Output the French sentence with words τ ik in positions π ik (0 i l, 1 k φ(i)).
9 IBM-Modell 3 Beispiel input : Mary did not slap the green witch choose fertilities: Mary not slap slap slap the green witch choose number of spurious words: Mary not slap slap slap NULL the green witch choose translations: Mary no daba una bofetada a la verde bruja choose target positions: Mary no daba una bofetada a la bruja verde
10 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: Align. 2: X b y t(x b) = 1 2 t(y b) = 1 2 t(x c) = 1 2 t(y c) = 1 2
11 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: t(x b) = 1 2 t(y b) = 1 2 t(x c) = 1 2 t(y c) = 1 2 Align. 2: X b y P(a, f e) = = 1 8 P(a, f e) = = 1 8 P(a, f e) = 1 2
12 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: t(x b) = 1 2 t(y b) = 1 2 t(x c) = 1 2 t(y c) = 1 2 Align. 2: X b y P(a, f e) = 1 8 P(a, f e) = 1 8 P(a, f e) = 1 2
13 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: Align. 2: X b y P(a, f e) = 1 8 P(a f, e) = P(a, f e) = 1 8 P(a f, e) = P(a, f e) = 1 2 P(a f, e) = = 1 2 = 1 2 = 1 t(x b) = 1 2 t(y b) = 1 2 t(x c) = 1 2 t(y c) = 1 2
14 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: Align. 2: X b y P(a, f e) = 1 8 P(a f, e) = P(a, f e) = 1 8 P(a f, e) = P(a, f e) = 1 2 P(a f, e) = Zähle Treffer (counts): tc(x b) = 1 2 tc(y b) = = tc(x c) = 1 2 = 1 2 = 1 2 = 1 t(x b) = 1 2 tc(y c) = 1 2 t(y b) = 1 2 t(x c) = 1 2 t(y c) = 1 2
15 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: Align. 2: X b y P(a, f e) = 1 8 P(a f, e) = P(a, f e) = 1 8 P(a f, e) = P(a, f e) = 1 2 P(a f, e) = Zähle Treffer (counts): tc(x b) = 1 2 tc(y b) = 3 2 tc(x c) = 1 2 = 1 2 = 1 2 = 1 t(x b) = 1 2 tc(y c) = 1 2 t(y b) = 1 2 t(x c) = 1 2 t(y c) = 1 2
16 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: t(x b) = 1 2 t(y b) = 1 2 t(x c) = 1 2 t(y c) = 1 2 Align. 2: X b y P(a, f e) = 1 8 P(a f, e) = P(a, f e) = 1 8 P(a f, e) = P(a, f e) = 1 2 P(a f, e) = tc(x b) = 1 2 Normalisiere: = 1 2 = 1 2 = 1 t(x b) = t(x b) t( b) = tc(y b) = 3 2 t(y b) = = 3 4 tc(x c) = 1 2 t(x c) = = 1 2 tc(y c) = 1 2 t(y c) = = 1 2
17 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: t(x b) = 1 4 t(y b) = 3 4 t(x c) = 1 2 t(y c) = 1 2 Align. 2: X b y P(a, f e) = 1 8 P(a f, e) = = 1 2 P(a, f e) = 1 8 P(a f, e) = = 1 2 P(a, f e) = 1 2 P(a f, e) = = 1 Normalisiere: tc(x b) = 1 2 t(x b) = = 1 4 tc(y b) = 3 2 t(y b) = = 3 4 tc(x c) = 1 2 t(x c) = = 1 2 tc(y c) = 1 2 t(y c) = = 1 2
18 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: t(x b) = 1 4 t(y b) = 3 4 t(x c) = 1 2 t(y c) = 1 2 Align. 2: X b y P(a, f e) = = 1 16 P(a, f e) = = 3 16 P(a, f e) = 3 4
19 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: t(x b) = 1 4 t(y b) = 3 4 t(x c) = 1 2 t(y c) = 1 2 Align. 2: X b y P(a, f e) = 1 16 P(a, f e) = 3 16 P(a, f e) = 3 4
20 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: t(x b) = 1 4 t(y b) = 3 4 t(x c) = 1 2 t(y c) = 1 2 Align. 2: X b y P(a, f e) = 1 16 P(a f, e) = P(a, f e) = 3 16 P(a f, e) = P(a, f e) = 3 4 P(a f, e) = = 1 4 = 3 4 = 1
21 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: t(x b) = 1 4 t(y b) = 3 4 t(x c) = 1 2 t(y c) = 1 2 Align. 2: X b y P(a, f e) = 1 16 P(a f, e) = 1 4 P(a, f e) = 3 16 P(a f, e) = 3 4 P(a, f e) = 3 4 P(a f, e) = 1 Zähle Treffer (counts): tc(x b) = 1 4 tc(y b) = = 7 4 tc(x c) = 3 4 tc(y c) = 1 4
22 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: t(x b) = 1 4 t(y b) = 3 4 t(x c) = 1 2 t(y c) = 1 2 Align. 2: X b y P(a, f e) = 1 16 P(a f, e) = 1 4 P(a, f e) = 3 16 P(a f, e) = 3 4 P(a, f e) = 3 4 P(a f, e) = 1 Zähle Treffer (counts): tc(x b) = 1 4 tc(y b) = 7 4 tc(x c) = 3 4 tc(y c) = 1 4
23 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: t(x b) = 1 4 t(y b) = 3 4 t(x c) = 1 2 t(y c) = 1 2 Align. 2: X b y P(a, f e) = 1 16 P(a f, e) = 1 4 P(a, f e) = 3 16 P(a f, e) = 3 4 P(a, f e) = 3 4 P(a f, e) = 1 Normalisiere: tc(x b) = 1 4 t(x b) = = 1 8 tc(y b) = 7 4 t(y b) = = 7 8 tc(x c) = 3 4 t(x c) = = 3 4 tc(y c) = 1 4 t(y c) = = 1 4
24 EM-Algorithmus Beispiel Satz 1: Align. 1: Satz 2: t(x b) = 1 8 t(y b) = 7 8 t(x c) = 3 4 t(y c) = 1 4 Align. 2: X b y P(a, f e) = 1 16 P(a f, e) = 1 4 P(a, f e) = 3 16 P(a f, e) = 3 4 P(a, f e) = 3 4 P(a f, e) = 1 Normalisiere: tc(x b) = 1 4 t(x b) = = 1 8 tc(y b) = 7 4 t(y b) = = 7 8 tc(x c) = 3 4 t(x c) = = 3 4 tc(y c) = 1 4 t(y c) = = 1 4
25 Beispiel
26 Segmentierung Beispiel Cuánto cuesta una habitación individual por semana? how(2) much(2) does(3) a(4) single(6) room(5) cost(3) per(7) week(8)?(9)
27 Segmentierung z = s, 1 i z : (s i, t j t j+1...t j+l ) falls j : a(j) = i und j < j : a(j ) > a(j) z i = und für j : j j j + l, a(j ) a(j) (s i, λ) sonst
28 Segmentierung z = s, 1 i z : (s i, t j t j+1...t j+l ) falls j : a(j) = i und j < j : a(j ) > a(j) z i = und für j : j j j + l, a(j ) a(j) (s i, λ) sonst Cuánto cuesta una habitación individual por semana? How much does a single room cost per week? (, λ), (Cuánto, how much) (cuesta, does) (una, a) (habitación, λ) (individual, single room cost) (por, per) (semana, week) (?,?)
29 Segmentierung z = s, 1 i z : (s i, t j t j+1...t j+l ) falls j : a(j) = i und j < j : a(j ) > a(j) z i = und für j : j j j + l, a(j ) a(j) (s i, λ) sonst una camera doppia a(1) double(3) room(2) una camera a(1) room(2) la camera singola the(1) single(3) room(2) la camera the(1) room(2) (una, a) (camera, λ) (doppia, double room) (una, a) (camera, room) (la, the) (camera, λ) (singola, single room) (la, the) (camera, room)
30 Segmentierung una camera doppia a(1) double(3) room(2) una camera a(1) room(2) la camera singola the(1) single(3) room(2) la camera the(1) room(2) (una, a) (camera, λ) (doppia, double room) (una, a) (camera, room) (la, the) (camera, λ) (singola, single room) (la, the) (camera, room)
31 Transducer n-gramme Der Übergang (q, a, b 1 b 2...b k, q ) ist im Transducer T enthalten, wenn die beiden Zustände q = (z i n+1...z i 1 ) und q = (z i n+2...z i ) in T existieren und z i = (a, b 1 b 2...b k ). Die Wahrscheinlichkeit ist p(z i z i n+1...z i 1 ). p(z i z i n+1...z i 1 ) = c(z i n+1...z i 1 z i ) c(z i n+1...z i 1 ) Anzahl der Zustände = Anzahl der k-gramme (k < n) Anzahl der Übergänge = Anzahl der k-gramme (k n) + Back-off Anzahl der k-gramme hängt von Segmentierung ab. Monotonie
32 Smoothing I drove a new car.
33 Evaluation Gesprächssituation: Hotel WER = Word Error Rate, SER = Sentence Error Rate, BLEU = Anzahl der korrekten n-gramme in % EU-Trans-0: Sätze: Wortschatz: insgesamt spanisch 686 unterschiedliche englisch 513
34 Evaluation Gesprächssituation: Hotel WER = Word Error Rate, SER = Sentence Error Rate, BLEU = Anzahl der korrekten n-gramme in % EU-Trans-1a: Sätze: Wortschatz: insgesamt spanisch unterschiedliche deutsch 4.890
35 Evaluation Übersetzungsbeispiele
36 Literatur Casacuberta, Francisco, Vidal, Enrique Machine translation with inferred stochastic finite-state transducers. Computational Linguistics 30(2): Brown, Peter F., Stephen A. Della Pietra, Vincent J. Della Pietra, and Robert L. Mercer The mathematics of statistical machine translation. Computational Linguistics, 19(2):
Formale Sprachen. Reguläre Sprachen. Rudolf FREUND, Marian KOGLER
Formale Sprachen Reguläre Sprachen Rudolf FREUND, Marian KOGLER Endliche Automaten - Kleene STEPHEN KLEENE (99-994) 956: Representation of events in nerve nets and finite automata. In: C.E. Shannon und
Einführung in die Computerlinguistik
Einführung in die Computerlinguistik Statistische Grundlagen Laura Kallmeyer Heinrich-Heine-Universität Düsseldorf Summer 2016 1 / 21 Diskrete Wahrscheinlichkeitsräume (1) Carstensen et al. (2010), Abschnitt
Der Viterbi-Algorithmus im Part-of-Speech Tagging
Der Viterbi-Algorithmus im Part-of-Speech Tagging Kursfolien Karin Haenelt 1 Themen Zweck des Viterbi-Algorithmus Hidden Markov Model Formale Spezifikation Beispiel Arc Emission Model State Emission Model
Grundlagen der Theoretischen Informatik
Grundlagen der Theoretischen Informatik Wintersemester 2007 / 2008 Prof. Dr. Heribert Vollmer Institut für Theoretische Informatik 29.10.2007 Reguläre Sprachen Ein (deterministischer) endlicher Automat
Maschinelle Übersetzung
Endliche Automaten SS 08 Seminar für Computerlinguistik Universität Heidelberg 19. Juli 2008 1 Einführung 2 Subsequentieller Transduktor 3 OSTIA 4 Übersetzungsmodelle 5 Ergebnisse 6 Unser Experiment 7
Hidden Markov Models
Hidden Markov Models Kursfolien Karin Haenelt 09.05002 1 Letzte Änderung 18.07002 Hidden Markov Models Besondere Form eines probabilistischen endlichen Automaten Weit verbreitet in der statistischen Sprachverarbeitung
Operationen auf endlichen Akzeptoren und Transduktoren
Operationen auf endlichen Akzeptoren und Transduktoren Kursfolien Karin Haenelt Karin Haenelt 2006, Operationen auf Akzeptoren und Transduktoren, 08.07.2006 ( 1 05.04.2004) 1 Notationskonventionen L reguläre
Endliche Automaten. Endliche Automaten J. Blömer 1/24
Endliche Automaten Endliche Automaten J. Blömer /24 Endliche Automaten Endliche Automaten sind ein Kalkül zur Spezifikation von realen oder abstrakten Maschinen regieren auf äußere Ereignisse (=Eingaben)
Operationen auf endlichen Automaten und Transduktoren
Operationen auf endlichen Automaten und Transduktoren Kursfolien Karin Haenelt 1 Notationskonventionen L reguläre Sprache A endlicher Automat DEA deterministischer endlicher Automat NEA nichtdeterministischer
Endliche Automaten. Endliche Automaten J. Blömer 1/23
Endliche Automaten Endliche Automaten sind ein Kalkül zur Spezifikation von realen oder abstrakten Maschinen regieren auf äußere Ereignisse (=Eingaben) ändern ihren inneren Zustand produzieren gegebenenfalls
Formale Methoden 1. Gerhard Jäger 9. Januar Uni Bielefeld, WS 2007/2008 1/23
1/23 Formale Methoden 1 Gerhard Jäger Gerhard.Jaeger@uni-bielefeld.de Uni Bielefeld, WS 2007/2008 9. Januar 2008 2/23 Automaten (informell) gedachte Maschine/abstraktes Modell einer Maschine verhält sich
Operationen auf endlichen Akzeptoren und Transduktoren
Operationen auf endlichen Akzeptoren und Transduktoren Definitionen, Algorithmen, Erläuterungen und Beispiele - eine Übersicht Karin Haenelt, 28.5.2010 ( 1 25.04.2004) Operationen auf endlichen Akzeptoren
5.2 Endliche Automaten
114 5.2 Endliche Automaten Endliche Automaten sind Turingmaschinen, die nur endlichen Speicher besitzen. Wie wir bereits im Zusammenhang mit Turingmaschinen gesehen haben, kann endlicher Speicher durch
Wortdekodierung. Vorlesungsunterlagen Speech Communication 2, SS Franz Pernkopf/Erhard Rank
Wortdekodierung Vorlesungsunterlagen Speech Communication 2, SS 2004 Franz Pernkopf/Erhard Rank Institute of Signal Processing and Speech Communication University of Technology Graz Inffeldgasse 16c, 8010
Induktive Definition
Rechenregeln A B = B A A (B C) = (A B) C A (B C) = (A B) C A (B C) = A B A C (B C) A = B A C A {ε} A = A A {ε} = A (A {ε}) = A (A ) = A A A = A + A A = A + A + {ε} = A Beispiel. Real-Zahlen = {0,..., 9}
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten Dozentin: Wiebke Petersen 03.11.2009 Wiebke Petersen Einführung CL (WiSe 09/10) 1 Formal language Denition Eine formale Sprache
Sprachsynthese: Textnormalisierung
Sprachsynthese: (Änderungen von F. Schiel 2016) Institut für Phonetik und Sprachverarbeitung Ludwig-Maximilians-Universität München reichelu schiel@phonetik.uni-muenchen.de 24. Oktober 2016 Inhalt = Vorverarbeitung
Automaten und Formale Sprachen SoSe 2007 in Trier. Henning Fernau Universität Trier
Automaten und Formale Sprachen SoSe 2007 in Trier Henning Fernau Universität Trier fernau@uni-trier.de 1 Automaten und Formale Sprachen Gesamtübersicht Organisatorisches Einführung Endliche Automaten und
4. Bayes Spiele. S i = Strategiemenge für Spieler i, S = S 1... S n. T i = Typmenge für Spieler i, T = T 1... T n
4. Bayes Spiele Definition eines Bayes Spiels G B (n, S 1,..., S n, T 1,..., T n, p, u 1,..., u n ) n Spieler 1,..., n S i Strategiemenge für Spieler i, S S 1... S n T i Typmenge für Spieler i, T T 1...
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten Dozentin: Wiebke Petersen Foliensatz 3 Wiebke Petersen Einführung CL 1 Describing formal languages by enumerating all words
Softwareprojektpraktikum Maschinelle Übersetzung
Softwareprojektpraktikum Maschinelle Übersetzung Jan-Thorsten Peter, Andreas Guta, Jan Rosendahl max.bleu@i6.informatik.rwth-aachen.de 5. Mai 2017 Human Language Technology and Pattern Recognition Lehrstuhl
Tagging mit Hidden Markov Models und Viterbi-Algorithmus
Tagging mit Hidden Markov Models und Viterbi-Algorithmus Annelen Brunner, Stephanie Schuldes, Nicola Kaiser, Olga Mordvinova HS Parsing SoSe 2003 PD Dr. Karin Haenelt Inhalt Ziel des Seminarprojekts Theorie:
2 2 Reguläre Sprachen. 2.2 Endliche Automaten. Übersicht
Formale Systeme, Automaten, Prozesse Übersicht 2 2. Reguläre Ausdrücke 2.3 Nichtdeterministische endliche Automaten 2.4 Die Potenzmengenkonstruktion 2.5 NFAs mit ɛ-übergängen 2.6 Minimale DFAs und der
Endliche Automaten. Minimierung. Karin Haenelt. Karin Haenelt, 2004, FSA-Minimierung, ( )
Endliche Automaten Minimierung Karin Haenelt 1 Inhalt Vorteile eines Minimalautomaten Fälle für die Minimierung Minimierungsalgorithmus für deterministische endliche Automaten (mit totaler Übergangsfunktion)
2 Halbgruppen von Übergangswahrscheinlichkeiten. Markov-Prozesse
2 Halbgruppen von Übergangswahrscheinlichkeiten Markov-Prozesse Im Folgenden sei (X, B) ein (polnischer) Messraum und T = [0, ) oder T = N 0 Definition 21 Eine Familie (P t ) t T von (X, B) mit Übergangswahrscheinlichkeiten
Evaluation und Training von HMMs
Evaluation und Training von MMs Vorlesung omputerlinguistische Techniken Alexander Koller. Dezember 04 MMs: Beispiel initial p. a 0 0.8 0.7 0. Eisner 0. transition p. 0. 0.6 a 0.5 0. emission p. b () States
2.6 Verdeutlichung verwendeter Begriffe
2.6 Verdeutlichung verwendeter Begriffe endlich/finit: die Mengen der Zustände und der Ein- bzw. Ausgabezeichen sind endlich synchron: die Ausgabezeichen erscheinen synchron mit dem Einlauf der Eingabezeichen
Informatik III. Christian Schindelhauer Wintersemester 2006/07 8. Vorlesung
Informatik III Christian Schindelhauer Wintersemester 2006/07 8. Vorlesung 17.11.2006 schindel@informatik.uni-freiburg.de 1 Prinzip des Kellerautomats Push-Down-Automaton (PDA) Ein Kellerautomat vereinigt
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten Dozentin: Wiebke Petersen May 3, 2010 Wiebke Petersen Einführung CL (SoSe2010) 1 Operationen auf Sprachen Seien L Σ und K Σ
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten
Einführung in die Computerlinguistik reguläre Sprachen und endliche Automaten Dozentin: Wiebke Petersen May 3, 2010 Wiebke Petersen Einführung CL (SoSe2010) 1 Operationen auf Sprachen Seien L Σ und K Σ
Zufällige stabile Prozesse und stabile stochastische Integrale. Stochastikseminar, Dezember 2011
Zufällige stabile Prozesse und stabile stochastische Integrale Stochastikseminar, Dezember 2011 2 Stabile Prozesse Dezember 2011 Stabile stochastische Prozesse - Definition Stabile Integrale α-stabile
Informatik III. Christian Schindelhauer Wintersemester 2006/07 3. Vorlesung
Informatik III Christian Schindelhauer Wintersemester 2006/07 3. Vorlesung 02.11.2006 schindel@informatik.uni-freiburg.de 1 Kapitel III Reguläre Sprachen Reguläre Sprachen und Ausdrücke Informatik III
Learning regular sets from queries and counterexamples
Learning regular sets from queries and countereamples Seminar: Spezialthemen der Verifikation H.-Christian Estler estler@upb.de 7..28 Universität Paderborn Motivation Wie können wir Unbekanntes erlernen?
Endliche Automaten. Im Hauptseminar Neuronale Netze LMU München, WS 2016/17
Endliche Automaten Im Hauptseminar Neuronale Netze LMU München, WS 2016/17 RS- Flipflop RS-Flipflop Ausgangszustand 0 1 0 1 0 1 Set Reset neuer Zustand 0 0 0 0 0 1 1 0 1 1 0 1 0 1 0 0 1 0 Was ist ein endlicher
Probeklausur Lösungen
Probeklausur Lösungen 1. Aufgabe Der obere Teil in dem creenshot zeigt den Zustandsgraph. Es fehlen jedoch die Eingaben bzw. die Ausgaben. Im unteren Teil des creenshots ist die Übergangstabelle aufgeführt.
1 Σ endliches Terminalalphabet, 2 V endliche Menge von Variablen (mit V Σ = ), 3 P (V (Σ ΣV )) {(S, ε)} endliche Menge von Regeln,
Theorie der Informatik 9. März 24 7. Reguläre Sprachen I Theorie der Informatik 7. Reguläre Sprachen I Malte Helmert Gabriele Röger Universität Basel 9. März 24 7. Reguläre Grammatiken 7.2 DFAs 7.3 NFAs
Sprachsynthese: Textnormalisierung
Sprachsynthese: Institut für Phonetik und Sprachverarbeitung Ludwig-Maximilians-Universität München reichelu@phonetik.uni-muenchen.de 15. Oktober 2014 Inhalt, Finite-State-Methoden Disambiguierung des
Einführung in die Computerlinguistik Satz von Kleene
Einführung in die Computerlinguistik Satz von Kleene Dozentin: Wiebke Petersen 10.5.2010 Wiebke Petersen Einführung CL (SoSe2010) 1 Satz von Kleene (Stephen C. Kleene, 1909-1994) Jede Sprache, die von
Informatik III. Christian Schindelhauer Wintersemester 2006/07 7. Vorlesung
Informatik III Christian Schindelhauer Wintersemester 2006/07 7. Vorlesung 16.11.2006 schindel@informatik.uni-freiburg.de 1 Informatik III 7. Vorlesung - 2 Informatik III 7. Vorlesung - 3 Informatik III
Maschinelles Übersetzen natürlicher Sprachen 2. Praktikum. SS 2012 Torsten Stüber
Maschinelles Übersetzen natürlicher Sprachen 2 Praktikum SS 2012 Torsten Stüber Zielstellung Entwicklung eines einfachen Übersetzungssystems I saw her duck. Übersetzer Ich sah ihre Ente. SMT-System Statistical
κ Κα π Κ α α Κ Α
κ Κα π Κ α α Κ Α Ζ Μ Κ κ Ε Φ π Α Γ Κ Μ Ν Ξ λ Γ Ξ Ν Μ Ν Ξ Ξ Τ κ ζ Ν Ν ψ Υ α α α Κ α π α ψ Κ α α α α α Α Κ Ε α α α α α α α Α α α α α η Ε α α α Ξ α α Γ Α Κ Κ Κ Ε λ Ε Ν Ε θ Ξ κ Ε Ν Κ Μ Ν Τ μ Υ Γ φ Ε Κ Τ θ
Dienstleistungsmanagement Übung 5
Dienstleistungsmanagement Übung 5 Univ.-Prof. Dr.-Ing. Wolfgang Maass Chair in Economics Information and Service Systems (ISS) Saarland University, Saarbrücken, Germany Besprechung Übungsblatt 4 Slide
WS06/07 Referentin: Katharina Blinova. Formale Sprachen. Hauptseminar Intelligente Systeme Dozent: Prof. Dr. J. Rolshoven
WS06/07 Referentin: Katharina Blinova Formale Sprachen Hauptseminar Intelligente Systeme Dozent: Prof. Dr. J. Rolshoven 1. Allgemeines 2. Formale Sprachen 3. Formale Grammatiken 4. Chomsky-Hierarchie 5.
Der Earley-Algorithmus
Der Earley-Algorithmus Kursfolien Karin Haenelt 25.03.02 1 25.03.02 2 Inhalt Funktion des Earley-Algorithmus Begriffe Erkenner/Parser Kontextfreie Grammatik Ein Beispiel Funktionen des Algorithmus Funktionsweise
1 Σ endliches Terminalalphabet, 2 V endliche Menge von Variablen (mit V Σ = ), 3 P (V (Σ ΣV )) {(S, ε)} endliche Menge von Regeln,
Theorie der Informatik 8. März 25 8. Reguläre Sprachen I Theorie der Informatik 8. Reguläre Sprachen I 8. Reguläre Grammatiken Malte Helmert Gabriele Röger 8.2 DFAs Universität Basel 8. März 25 8.3 NFAs
Informationsextraktion mit endlichen Automaten
Informationsextraktion mit endlichen Automaten HS: Information Retrieval Dozentin: Dr. Karin Haenelt Ruprecht-Karls-Universität Heidelberg Seminar für Computerlinguistik Referentinnen: Galina Sigwarth,
Der Earley-Algorithmus
Der Earley-Algorithmus Kursfolien Karin Haenelt 25.03.02 1 25.03.02 2 Inhalt Funktion des Earley-Algorithmus Begriffe Erkenner/Parser Kontextfreie Grammatik Ein Beispiel Funktionen des Algorithmus Funktionsweise
Nachklausur zur Vorlesung Theoretische Grundlagen der Informatik Wintersemester 2013/14
Institut für Theoretische Informatik Prof. Dr. Jörn Müller-Quade Nachklausur zur Vorlesung Theoretische Grundlagen der Informatik Wintersemester 2013/14 Vorname Nachname Matrikelnummer Hinweise Für die
Stochastic Processes SS 2010 Prof. Anton Wakolbinger. Klausur am 16. Juli 2010
Stochastic Processes SS 2010 Prof. Anton Wakolbinger Klausur am 16. Juli 2010 Vor- und Nachname: Matrikelnummer: Studiengang: Tutor(in): In der Klausur können 100 Punkte erreicht werden. Die Gesamtpunktezahl
1 Einführung. 2 Typ-0- und Typ-1-Sprachen. 3 Berechnungsmodelle. 4 Unentscheidbarkeit. 5 Unentscheidbare Probleme. 6 Komplexitätstheorie
1 Einführung 2 Typ-0- und Typ-1-Sprachen 3 Berechnungsmodelle 4 Unentscheidbarkeit 5 Unentscheidbare Probleme 6 Komplexitätstheorie 15 Ziele vgl. AFS: Berechnungsmodelle für Typ-0- und Typ-1-Sprachen (Nicht-)Abschlußeigenschaften
Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I
Vorlesung Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I Bernhard Beckert Institut für Informatik Sommersemester 2007 B. Beckert Grundlagen d. Theoretischen Informatik:
Automatentheorie und formale Sprachen endliche Automaten
Automatentheorie und formale Sprachen endliche Automaten Dozentin: Wiebke Petersen 13.5.2009 Wiebke Petersen Automatentheorie und formale Sprachen - SoSe09 1 What we know so far about formal languages
Hidden-Markov-Modelle als Gewichtete Endliche Automaten
Hidden-Markov-Modelle als Gewichtete Endliche Automaten Alexander Becker Georg Jähnig 19. Mai 2008 Hauptseminar Theorie semiringgewichteter Automaten Thomas Hanneforth, Kay Würzner Institut für Linguistik
Kapitel 4. Stochastische Grundlagen. 4.1 Filtrationen und Stoppzeiten
Kapitel 4 Stochastische Grundlagen An dieser Stelle möchte ich auf einige stochastische Grundlagen eingehen, die bisher im Kapitel 3 Anwendung gefunden haben und im Folgenden Anwendung finden werden. Grundproblem
Automatentheorie und formale Sprachen reguläre Ausdrücke
Automatentheorie und formale Sprachen reguläre Ausdrücke Dozentin: Wiebke Petersen 6.5.2009 Wiebke Petersen Automatentheorie und formale Sprachen - SoSe09 1 Formal language Denition A formal language L
ALP I Turing-Maschine
ALP I Turing-Maschine Teil I SS 2011 Äquivalenz vieler Berechnungsmodelle Alonzo Church λ-kalkül Kombinatorische Logik Alan Turing Turing-Maschine Mathematische Präzisierung Effektiv Berechenbare Funktionen
Der Viterbi Algorithmus
M. 23.Juli.2007 Gliederung 1 2 3 Erfinder Andrew J. Viterbi 1967 zur Dekodierung von Faltungscodes entwickelt Auf Basis von entwickelt Erfinder Andrew J. Viterbi 1967 zur Dekodierung von Faltungscodes
c) {abcde, abcfg, bcade, bcafg} d) {ade, afg, bcde, bcfg} c) {abcabc} d) {abcbc, abc, a} c) {aa, ab, ba, bb} d) {{aa}, {ab}, {ba}, {bb}}
2 Endliche Automaten Fragen 1. Was ergibt sich bei {a, bc} {de, fg}? a) {abc, defg} b) {abcde, abcfg} c) {abcde, abcfg, bcade, bcafg} d) {ade, afg, bcde, bcfg} 2. Was ergibt sich bei {abc, a} {bc, λ}?
Automaten und Formale Sprachen SoSe 2013 in Trier
Automaten und Formale Sprachen SoSe 2013 in Trier Henning Fernau Universität Trier fernau@uni-trier.de 2. Juni 2013 1 Automaten und Formale Sprachen Gesamtübersicht Organisatorisches Einführung Endliche
Extraktion von Preordering-Regeln für Maschinelle Übersetzung
Extraktion von Preordering-Regeln für Maschinelle Übersetzung Gruppe4 -Otedama- Julian Hitschler, Benjamin Körner, Mayumi Ohta Computerlinguistik Universität Heidelberg Softwareprojekt SS13 Übersicht 1.
Fakultät für Informatik Universität Magdeburg Jürgen Dassow. Literatur
Literatur J.Berstel/D.Perrin, Theorie of Codes. Academic Press, 1985. J. Duske/H.Jürgensen, Kodierungstheorie. BI-Taschenb., Mannheim, 1977. T. Grams, Codierungsverfahren. BI-Taschenbuch, Mannheim, 1986.
2. Gegeben sei folgender nichtdeterministischer endlicher Automat mit ɛ-übergängen:
Probeklausur Automatentheorie & Formale Sprachen WiSe 2012/13, Wiebke Petersen Name: Matrikelnummer: Aufgabe A: Typ3-Sprachen 1. Konstruieren Sie einen endlichen Automaten, der die Sprache aller Wörter
Grundlagen der Informatik II
Grundlagen der Informatik II Tutorium 2 Professor Dr. Hartmut Schmeck Miniaufgabe * bevor es losgeht * Finden Sie die drei Fehler in der Automaten- Definition. δ: A = E, S, δ, γ, s 0, F, E = 0,1, S = s
Einführung in die Computerlinguistik
Einführung in die Computerlinguistik Spracherkennung und Hidden Markov Modelle Dozentin: Wiebke Petersen WS 2004/2005 Wiebke Petersen Einführung in die Computerlinguistik WS 04/05 Spracherkennung Merkmalsextraktion
Seminarvortrag zum Thema ω-automaten. Simon Kostede & Markku Lammerz
Seminarvortrag zum Thema Aufbau des Vortrags: Einleitung Büchi-Automaten Nichtäquivalenz zwischen NBA und DBA Muller-Automaten Rabing-&Streett-Automaten Transformationsverfahren Komplexität von Transformationsverfahren
1 Einführung. 2 Typ-0- und Typ-1-Sprachen. 3 Berechnungsmodelle. 4 Unentscheidbarkeit. 5 Unentscheidbare Probleme. 6 Komplexitätstheorie
1 Einführung 2 Typ-0- und Typ-1-Sprachen 3 Berechnungsmodelle 4 Unentscheidbarkeit 5 Unentscheidbare Probleme 6 Komplexitätstheorie WS 11/12 155 Überblick Zunächst einmal definieren wir formal den Begriff
Formale Grundlagen der Wirtschaftsinformatik
Formale Grundlagen der Wirtschaftsinformatik Nikolaj Popov Research Institute for Symbolic Computation popov@risc.uni-linz.ac.at Sprachen und Grammatiken Teil II Sprache Definition: Ein Alphabet Σ ist
Automaten und formale Sprachen Klausurvorbereitung
Automaten und formale Sprachen Klausurvorbereitung Rami Swailem Mathematik Naturwissenschaften und Informatik FH-Gießen-Friedberg Inhaltsverzeichnis 1 Definitionen 2 2 Altklausur Jäger 2006 8 1 1 Definitionen
Automatentheorie und formale Sprachen rechtslineare Grammatiken
Automatentheorie und formale Sprachen rechtslineare Grammatiken Dozentin: Wiebke Petersen 17.6.2009 Wiebke Petersen Automatentheorie und formale Sprachen - SoSe09 1 Pumping lemma for regular languages
Informatik II, SS 2018
Informatik II - SS 2018 (Algorithmen & Datenstrukturen) Vorlesung 4 (30.4.2018) Sortieren IV Algorithmen und Komplexität Analyse Merge Sort Laufzeit T(n) setzt sich zusammen aus: Divide und Merge: O n
1 Einführung. 2 Typ-0- und Typ-1-Sprachen. 3 Berechnungsmodelle. 4 Unentscheidbarkeit. 5 Unentscheidbare Probleme. 6 Komplexitätstheorie
1 Einführung 2 Typ-0- und Typ-1-Sprachen 3 Berechnungsmodelle 4 Unentscheidbarkeit 5 Unentscheidbare Probleme 6 Komplexitätstheorie 139 Unentscheidbarkeit Überblick Zunächst einmal definieren wir formal
Algorithmen mit konstantem Platzbedarf: Die Klasse REG
Algorithmen mit konstantem Platzbedarf: Die Klasse REG Sommerakademie Rot an der Rot AG 1 Wieviel Platz brauchen Algorithmen wirklich? Daniel Alm Institut für Numerische Simulation Universität Bonn August
2.2 Reguläre Sprachen Endliche Automaten
2.2.1 Endliche Automaten E I N G A B E Lesekopf endliche Kontrolle Signal für Endzustand Ein endlicher Automat liest ein Wort zeichenweise und akzeptiert oder verwirft. endlicher Automat Sprache der akzeptierten
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Übersetzung. Tobias Scheffer Michael Großhans Paul Prasse Uwe Dick
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Übersetzung Tobias Scheffer Michael Großhans Paul Prasse Uwe Dick Maschinelle Übersetzung 2 Maschinelle Übersetzung Gegeben Text
Einführung in die Computerlinguistik
Einführung in die Computerlinguistik Finite State Transducers und Morphologie Laura Kallmeyer Heinrich-Heine-Universität Düsseldorf Summer 2016 1 / 18 Morphologische Grundbegriffe (1) Wort / Lexem: abstrakte
Übersicht. 3 3 Kontextfreie Sprachen
Formale Systeme, Automaten, Prozesse Übersicht 3 3.1 Kontextfreie Sprachen und Grammatiken 3.2 Ableitungsbäume 3.3 Die pre -Operation 3.4 Entscheidungsprobleme für CFGs 3.5 Normalformen für CFGs 3.6 Chomsky-Normalform
Temporal Difference Learning
Temporal Difference Learning Das Temporal Difference (TD) Lernen ist eine bedeutende Entwicklung im Reinforcement Lernen. Im TD Lernen werden Ideen der Monte Carlo (MC) und dynamische Programmierung (DP)
Einführung in die Computerlinguistik
Einführung in die Computerlinguistik Reguläre Ausdrücke und reguläre Grammatiken Laura Kallmeyer Heinrich-Heine-Universität Düsseldorf Summer 2016 1 / 20 Regular expressions (1) Let Σ be an alphabet. The
FORMALE SYSTEME. Wiederholung. Beispiel: NFA. Wiederholung: NFA. 4. Vorlesung: Nichtdeterministische Endliche Automaten. TU Dresden, 19.
Wiederholung FORMALE SYSTEME 4. Vorlesung: Nichtdeterministische Endliche Automaten Markus Krötzsch Professur für Wissensbasierte Systeme Grammatiken können Sprachen beschreiben und sie grob in Typen unterteilen
Pat Trees und Pat Arrays Datenstrukturen zur effizienten Suche in Texten
Pat Trees und Pat Arrays Datenstrukturen zur effizienten Suche in Texten Ruprecht-Karls-Universität Heidelberg HS Information Retrieval Dozentin: Dr. Karin Haenelt Referenten: Doina Gliga und Katja Niemann
Determinisierung von endlichen Automaten
Thomas Hanneforth Institut für Linguistik Universität Potsdam May 14, 2014 Thomas Hanneforth (Universität Potsdam) May 14, 2014 1 / 21 Outline 1 Einführung 2 Beispiel 3 Ein verbesserter Determinisierungsalgorithmus
Einführung in die Computerlinguistik
Einführung in die Computerlinguistik Kontextfreie Sprachen und Pushdown-Automaten Dozentin: Wiebke Petersen WS 2004/2005 Wiebke Petersen Formale Komplexität natürlicher Sprachen WS 03/04 Wiederholung c
Operationen auf endlichen Automaten und Transduktoren
Operationen auf endlichen utomaten und Transduktoren en, lgorithmen, Erläuterungen und e - eine Übersicht Karin Haenelt, 5.4.4 Vorbemerkung... Notationskonventionen... 3 Übersicht der Operationen...3 4
Lexikalische Programmanalyse der Scanner
Der Scanner führt die lexikalische Analyse des Programms durch Er sammelt (scanned) Zeichen für Zeichen und baut logisch zusammengehörige Zeichenketten (Tokens) aus diesen Zeichen Zur formalen Beschreibung
Einführung in die Informatik
Universität Innsbruck - Institut für Informatik Datenbanken und Informationssysteme Prof. Günther Specht, Eva Zangerle 24. November 28 Einführung in die Informatik Übung 7 Allgemeines Für die Abgabe der
Hidden Markov Models (HMM)
Hidden Markov Models (HMM) Kursfolien Karin Haenelt 1 Themen Definitionen Stochastischer Prozess Markow Kette (Visible) Markov Model Hidden Markov Model Aufgaben, die mit HMMs bearbeitet werden Algorithmen
Informatik IV Theoretische Informatik: Formale Sprachen und Automaten, Berechenbarkeit und NP-Vollständigkeit. Zugangsnummer: 9201
Informatik IV Theoretische Informatik: Formale Sprachen und Automaten, Berechenbarkeit und NP-Vollständigkeit Wiederholung Kapitel 3 und 4 http://pingo.upb.de Zugangsnummer: 9201 Dozent: Jun.-Prof. Dr.
Automaten und Formale Sprachen SoSe 2013 in Trier
Automaten und Formale Sprachen SoSe 2013 in Trier Henning Fernau Universität Trier fernau@uni-trier.de 2. Juni 2013 1 Automaten und Formale Sprachen Gesamtübersicht Organisatorisches Einführung Endliche
FORMALE SYSTEME. Wiederholung. Beispiel: NFA. Wiederholung: NFA. 4. Vorlesung: Nichtdeterministische Endliche Automaten. TU Dresden, 20.
Wiederholung FORMALE SYSTEME 4. Vorlesung: Nichtdeterministische Endliche Automaten Markus Krötzsch Lehrstuhl Wissensbasierte Systeme Grammatiken können Sprachen beschreiben und sie grob in Typen unterteilen
Die mathematische Seite
Kellerautomaten In der ersten Vorlesung haben wir den endlichen Automaten kennengelernt. Mit diesem werden wir uns in der zweiten Vorlesung noch etwas eingängiger beschäftigen und bspw. Ansätze zur Konstruktion
ALP I Turing-Maschine
ALP I Turing-Maschine Teil I WS 2012/2013 Äquivalenz vieler Berechnungsmodelle Alonzo Church λ-kalkül Kombinatorische Logik Alan Turing Turing-Maschine Mathematische Präzisierung Effektiv Berechenbare
Hawkes Prozesse Grundlagen
Hawkes Prozesse Grundlagen Im Folgenden sei (Ω, F, F, P) eine stochastische Basis. Das heißt F = (F t ) t ist eine rechtsstetige Filtration mit F t F für alle t und P ein Wahrscheinlichkeitsmaß auf dem
Einführung in die Computerlinguistik
Einführung in die Computerlinguistik HMM POS-Tagging Laura Kallmeyer Heinrich-Heine-Universität Düsseldorf Summer 2016 1 / 20 POS Tags (1) Jurafsky and Martin (2009) POS = part-of-speech Tags sind morphosyntaktische
Teil 2.2: Lernen formaler Sprachen: Hypothesenräume
Theorie des Algorithmischen Lernens Sommersemester 2006 Teil 2.2: Lernen formaler Sprachen: Hypothesenräume Version 1.1 Gliederung der LV Teil 1: Motivation 1. Was ist Lernen 2. Das Szenario der Induktiven
Der VITERBI-Algorithmus
Der VITERBI-Algorithmus Hauptseminar Parsing Sommersemester 2002 Lehrstuhl für Computerlinguistik Universität Heidelberg Thorsten Beinhorn http://janus.cl.uni-heidelberg.de/~beinhorn 2 Inhalt Ziel des
Kapitel 3: Reguläre Grammatiken und Endliche. Automaten
Kapitel 3: Reguläre Grammatiken und Endliche Automaten Prof.-Dr. Peter Brezany Institut für Softwarewissenschaft Universität Wien, Liechtensteinstraße 22 090 Wien Tel. : 0/4277 38825 E-mail : brezany@par.univie.ac.at
Akzeptierende Turing-Maschine
Akzeptierende Turing-Maschine Definition: Eine akzeptierende Turing-Maschine M ist ein Sechstupel M = (X, Z, z 0, Q, δ, F ), wobei (X, Z, z 0, Q, δ) eine Turing-Maschine ist und F Q gilt. Die von M akzeptierte
Diskrete Mathematik. Anna-Lena Rädler Christina Kohl Georg Moser Christian Sternagel Vincent van Oostrom
Diskrete Mathematik Anna-Lena Rädler Christina Kohl Georg Moser Christian Sternagel Vincent van Oostrom Zusammenfassung der letzten LVA Definition Ein ɛ-nea N = (Q, Σ, δ, S, F) ist gegeben durch eine endliche