Hidden Markov Models. Vorlesung Computerlinguistische Techniken Alexander Koller. 8. Dezember 2014
|
|
- Heini Kurzmann
- vor 6 Jahren
- Abrufe
Transkript
1 idden Markov Models Vorlesung omputerlinguistische Techniken Alexander Koller 8. Dezember 04
2 n-gramm-modelle Ein n-gramm ist ein n-tupel von Wörtern. -Gramme heißen auch Unigramme; -Gramme Bigramme; -Gramme Trigramme n-gramm-modell: Unabhängigkeitsannahme P(w i w... w i- ) = P(w i w i-n+... w i- ) Für Bigramme: P (w,...,w n )=P (w ) ny P (w i w i ) i=
3 Stochastische Prozesse Zufallsprozess oder stochastischer Prozess: Sequenz von Zufallsvariablen X,..., X t. Wert von X i z.b. das i-te Wort im String X i könnte von X,..., X i- abhängig sein Kann dann P(a,..., a t ) ausrechnen: P (a,...,a t )=P (a )... P (a t a,...,a t ) X X X X 4 Kupfer ist ein Metall
4 Markov-Ketten Eine Markov-Kette ist ein stochastischer Prozess mit der Markov-Eigenschaft. Markov-Eigenschaft (von Grad ): P (X i X,...,X i )=P (X i X i ) für alle i > Bigramm-Modelle sind also Markov-Ketten von Grad.
5 Penn Treebank POS-Tags
6 idden Markov Models Generative Geschichte der letzten Woche: Wörter zufällig aus n-gramm-modell P(w n w,,w n- ). Ersetzen wir heute mit neuer generativer Geschichte: Sprache wird durch zweistufigen Prozess erzeugt. Erzeuge zuerst Sequenz von verborgenen Wortarten (partof-speech tags) t,, t T von links nach rechts aus Bigramm- Modell P(t i t i- ). Erzeuge unabhängig davon ein Wort w i aus jedem t i, aus einem Modell P(w i t i ). t t t w w w
7 Frage : Sprachmodellierung Gegeben ein MM und einen String w,, w T, was ist P(w w T )? Berechnen P(w w T ) effizient mit dem Forward-Algorithmus. DT NN VBD NNS IN DT NN The representative put chairs on the table. DT JJ NN VBZ IN DT NN The representative put chairs on the table. p p P(Satz) = p + p
8 Frage : Tagging (aka Decoding) Gegeben ein MM und beobachteten String w,, w T, was ist die wahrscheinlichste Tag- Sequenz t,, t T? Wir berechnen arg max t,...,t T P (t,w,...,t T,w T ) effizient mit dem Viterbi-Algorithmus. DT NN VBD NNS IN DT NN The representative put chairs on the table. DT JJ NN VBZ IN DT NN The representative put chairs on the table. p p
9 Frage : Tagging (aka Decoding) Gegeben ein MM und beobachteten String w,, w T, was ist die wahrscheinlichste Tag- Sequenz t,, t T? Wir berechnen arg max t,...,t T P (t,w,...,t T,w T ) effizient mit dem Viterbi-Algorithmus. DT NN VBD NNS IN DT NN The representative put chairs on the table. DT JJ NN VBZ IN DT NN The representative put chairs on the table. p p
10 Zur Erinnerung NN VVFIN PPER PAV ADV Gefallen findet er daran bestimmt. Gefallen ist er nicht. VVPP VAFIN PPER PTKNEG POS-Tagging ist nicht trivial.
11 Frage a: Lernen Gegeben Menge von POS-Tags und annotierte Trainingsdaten (w,t ),, (w T,t T ), berechne Parameter für MM, die die Likelihood maximieren. Geht effizient mit Maximum-Likelihood-Training plus Smoothing. DT NN VBD NNS IN DT NN The representative put chairs on the table. NNP VBZ VBN TO VB NR Secretariat is expected to race tomorrow. nächstes Mal
12 Frage b: Lernen Gegeben Menge von POS-Tags und unannotierte Trainingsdaten w,, w T, berechne Parameter für MM, die die Likelihood maximieren. Geht mit dem Forward-Backward-Algorithmus (Spezialfall von Expectation Maximization). The representative put chairs on the table. Secretariat is expected to race today. nächstes Mal
13 idden Markov Models Ein idden Markov Model (MM) ist 5-Tupel aus: endliche Menge Q = {q,..., q N } von Zuständen (= POS-Tags) endliche Menge O von möglichen Beobachtungen (= Wörtern) Übergangsw. a ij = P(X t+ = q j X t = q i ) Anfangsw. a 0i = P(X = q i ) Ausgabew. b i (o) = P(Y t = o X t = q i ) Zwei gekoppelte Zufallsprozesse: X t = q i : MM ist zum Zeitpunkt t im Zustand q i Y t = o: MM gibt zum Zeitpunkt t Zeichen o aus NX a ij = j= NX a 0i = i= X b i (o) = oo
14 Ein Beispiel JJ tall AT NN the man 0. boy AT NN AT JJ NN AT JJ NN the man the tall man the tall boy P = * * P = * * * * P = * * * * 0.
15 Varianten MMs in Jurafsky & Martin: statt Anfangsw.: Anfangszustand q 0 + Übergangsw. (äquivalent) zusätzlich Endzustand q F (nicht nötig) MMs in Manning & Schütze: Symbole werden an Kanten ausgegeben statt an Knoten (äquivalent)
16 Beispiel: Eisners Eiscreme Eisner 0. Zustände: Wetter an bestimmtem Tag (ot, old) Beobachtungen: Wie viel Eis hat Jason an diesem Tag gegessen?
17 Beispiel: Eisners Eiscreme Anfangsw. a 0 Eisner Zustände: Wetter an bestimmtem Tag (ot, old) Beobachtungen: Wie viel Eis hat Jason an diesem Tag gegessen?
18 Beispiel: Eisners Eiscreme Anfangsw. a 0 Eisner Übergangsw. a Zustände: Wetter an bestimmtem Tag (ot, old) Beobachtungen: Wie viel Eis hat Jason an diesem Tag gegessen?
19 Beispiel: Eisners Eiscreme Anfangsw. a Eisner Übergangsw. a 0. Zustände: Wetter an bestimmtem Tag (ot, old) Beobachtungen: Wie viel Eis hat Jason an diesem Tag gegessen?
20 Beispiel: Eisners Eiscreme Anfangsw. a Eisner 0. Übergangsw. 0. a 0. Ausgabew. b () Zustände: Wetter an bestimmtem Tag (ot, old) Beobachtungen: Wie viel Eis hat Jason an diesem Tag gegessen?
21 Gemeinsame W. von x, y Gekoppelte Zufallsprozesse im MM definieren unmittelbar Modell für gemeinsame W. P(x, y) von y = y y T Sequenz von Beobachtungen x = x x T Sequenz von verborgenen Zuständen Definiert wie folgt: P (x, y) = P (x) P (y x) = TY P (X t = x t X t = x t ) TY P (Y t = y t X t = y t ) t= t= = TY a xt x t TY b xt (y t ) t= t=
22 Frage : Likelihood P(y) Wie w. ist es, dass Jason Eisner am ersten Tag Eis gegessen hat, am zweiten Tag Eis, am dritten Eis? Wollen berechnen: P(Y =, Y =, Y = ). Leicht zu berechnen: P(,,,,, ). Aber Ausgabe,, kann von vielen Zustands-Sequenzen erzeugt werden. Müssen Summe über alle diese Sequenzen bilden.
23 Naiver Ansatz Berechne P(,,), indem wir über alle Sequenzen von Zuständen summieren. P(,,) = P(,,,,,) + P(,,,,,) + P(,,,,,) P(,,,,,) = Aufsummieren heißt technisch Marginalisierung. P (,, ) = X x,x,x Q P (x,,x,,x, )
24 Das ist zu teuer Naiver Ansatz summiert über exponentiell viele Terme. Das ist zu langsam für die Praxis. Idee: MM über die Zeit auffalten in einem Gitter (engl. trellis): eine Spalte für jeden Zeitpunkt t, repräsentiert X t jede Spalte enthält Kopie jedes Zustandes im MM Kanten von t nach t+ = Übergänge des MM Pfade im Gitter entsprechen Zustands-Sequenzen. d.h. Berechnung von P(w) = Summe über alle Pfade
25 Eiscreme-Gitter t = t = t =
26 Eiscreme-Gitter t = t = t =
27 Eiscreme-Gitter t = t = t =
28 Eiscreme-Gitter t = t = t =
29 Eiscreme-Gitter P = t = t = t =
30 Eiscreme-Gitter P = P = t = t = t =
31 Eiscreme-Gitter P = P = P = t = t = t =
32 Eiscreme-Gitter P = P = P = P 4 = t = t = t =
33 Eiscreme-Gitter P = P = P = P 4 = t = t = t = P(,,) = P + P + P +... =.06
34 Der Forward-Algorithmus Naiver Algorithmus berechnet Zwischenergebnisse mehrfach. Das können wir vermeiden. Forward-W. α t (j): Wie w. ist es, dass MM y,, y t ausgibt und in Zustand X t = q j herauskommt? t (j) = P (y,...,y t,x t = q j ) X = P (y,...,y t,x = x,...,x t = x t,x t = q j ) x,...,x t Damit können wir leicht berechnen: P (y,...,y T )= X qq T (q)
35 Der Forward-Algorithmus t (j) =P (y,...,y t,x t = q j ) Basisfall, t = : (j) =P (y,x = q j )=b j (y ) a 0j Danach für alle t =,, T: t (j) =P (y,...,y t,x t = q j ) NX = P (y,...,y t,x t = q i ) P (X t = q j X t = q i ) P (y t X t = q j ) = i= NX t (i) a ij b j (y t ) i= t () q a j t () t () q q a j q j a j b j (y t ) y t
36 P(,,) mit Forward t (j) =P (y,...,y t,x t = q j ) (j) =b j (y ) a 0j t (j) = NX t (i) a ij b j (y t ) i=
37 P(,,) mit Forward α () = t (j) =P (y,...,y t,x t = q j ) (j) =b j (y ) a 0j t (j) = NX t (i) a ij b j (y t ) i=
38 P(,,) mit Forward α () = α () = t (j) =P (y,...,y t,x t = q j ) (j) =b j (y ) a 0j t (j) = NX t (i) a ij b j (y t ) i=
39 P(,,) mit Forward α () =. 0.8 α () = α () = t (j) =P (y,...,y t,x t = q j ) (j) =b j (y ) a 0j t (j) = NX t (i) a ij b j (y t ) i=
40 P(,,) mit Forward α () =. 0.8 α () = α () =.0 α () = t (j) =P (y,...,y t,x t = q j ) (j) =b j (y ) a 0j t (j) = NX t (i) a ij b j (y t ) i=
41 P(,,) mit Forward α () =. 0.8 α () =.04 α () = α () =.0 α () = t (j) =P (y,...,y t,x t = q j ) (j) =b j (y ) a 0j t (j) = NX t (i) a ij b j (y t ) i=
42 P(,,) mit Forward α () =. 0.8 α () =.04 α () = α () =.0 α () =.05 α () = t (j) =P (y,...,y t,x t = q j ) (j) =b j (y ) a 0j t (j) = NX t (i) a ij b j (y t ) i=
43 P(,,) mit Forward α () =. 0.8 α () =.04 α () =.0 0. α () = P(,,) = α () + α () =.06 α () =.05 α () = t (j) =P (y,...,y t,x t = q j ) (j) =b j (y ) a 0j t (j) = NX t (i) a ij b j (y t ) i=
44 Frage : Tagging Gegeben Beobachtungen y,, y T, was ist wahrscheinlichste Zustandssequenz x,, x T? Maximale W.: max P (x,...,x T y,...,y T ) x,...,x T Wir interessieren uns v.a. für argmax: arg max x,...,x T P (x,...,x T y,...,y T ) P (x,...,x T,y,...,y T ) = arg max x,...,x T P (y,...,y T ) = arg max x,...,x T P (x,...,x T,y,...,y T )
45 Naive Lösung P = P = P = P 4 = t = t = t = max P (x,,x,,x, ) x,x,x =0.0 arg max x,x,x P (x,,x,,x, ) =,,
46 Machen wir genau wie eben Likelihood: P(y) Forward-Algorithmus Tagging: argmax P(x,y) Viterbi-Algorithmus X x,...,x T P (x,...,x T,y,...,y T ) arg max x,...,x T P (x,...,x T,y,...,y T ) t(j) = X x,...,x t P (y,...,y t,x,...,x t,x t = q j ) V t (j) = max x,...,x t P (y,...,y t,x,...,x t,x t = q j ) P (y) = X qq T (q) max x P (x, y) = max V T (q) qq
47 Der Viterbi-Algorithmus V t (j) = max P (y,...,y t,x,...,x t,x t = q j ) x,...,x t Basisfall, t = : V (j) =b j (y ) a 0j Danach für alle t =,, T: V t (j) = N max i= V t (i) a ij b j (y t ) t () q a j t () q a j q j t () q a j y t b j (y t )
48 Viterbi: Beispiel V () =. 0. V () = V () =.0 0. V () =.0 V () =.048 V () =.00 max P (x,,x,,x, ) x,x,x = V t (j) = max P (y,...,y t,x,...,x t,x t = q j ) x,...,x t V t (j) = N max i= V t (i) a ij b j (y t )
49 Backpointer Sobald wir alle V t (j) ausgerechnet haben, wollen wir eine Zustandssequenz x mit max. W. P(y x) ausrechnen. Merken uns während Berechnung von V t (j) für jedes (t,j), für welches i das Maximum erreicht wurde Backpointer bp t (j). Mit bp beste Sequenz x von rechts nach links ausrechnen: x T = arg max q V T (q) x t = bp t+ (x t+ ) für t = T-,,
50 Viterbi: Beispiel V () =. 0. V () = V () =.0 0. V () =.0 V () =.048 V () =.00 max P (x,,x,,x, ) x,x,x =0.0 arg max P (x,,x,,x, ) x,x,x =,, V t (j) = max P (y,...,y t,x,...,x t,x t = q j ) x,...,x t V t (j) = N max i= V t (i) a ij b j (y t )
51 Laufzeit Forward und Viterbi haben gleiche Laufzeit, wird vom Induktionsschritt dominiert: V t (j) = N max i= V t (i) a ij b j (y t ) Berechne N T Werte für V t (j). Brauche für jedes (t,j) Iteration über N Vorgänger-Zustände. Gesamt-Laufzeit ist O(N T), d.h. linear in Satzlänge quadratisch in Größe des Tagset
52 Zusammenfassung Markov-Ketten: Automatenbasierte Darstellung von Bigrammen. idden Markov Model: Automatenbasierte Erzeugung von Beobachtungen aus verborgenen Zuständen. eute gesehen: Forward-Algorithmus für Sprachmodellierung Viterbi-Algorithmus für Tagging
Friedrich-Alexander-Universität Professur für Computerlinguistik. Nguyen Ai Huong
Part-of-Speech Tagging Friedrich-Alexander-Universität Professur für Computerlinguistik Nguyen Ai Huong 15.12.2011 Part-of-speech tagging Bestimmung von Wortform (part of speech) für jedes Wort in einem
MehrElementare statistische Methoden
Elementare statistische Methoden Vorlesung Computerlinguistische Techniken Alexander Koller 28. November 2014 CL-Techniken: Ziele Ziel 1: Wie kann man die Struktur sprachlicher Ausdrücke berechnen? Ziel
MehrAufabe 7: Baum-Welch Algorithmus
Effiziente Algorithmen VU Ausarbeitung Aufabe 7: Baum-Welch Algorithmus Florian Fest, Matr. Nr.0125496 baskit@generationfun.at Claudia Hermann, Matr. Nr.0125532 e0125532@stud4.tuwien.ac.at Matteo Savio,
MehrDer Viterbi-Algorithmus.
Der Viterbi-Algorithmus. Eine Erläuterung der formalen Spezifikation am Beispiel des Part-of-Speech Tagging. Kursskript Karin Haenelt, 9..7 (.5.) Einleitung In diesem Skript wird der Viterbi-Algorithmus
MehrPart-Of-Speech-Tagging mit Viterbi Algorithmus
Part-Of-Speech-Tagging mit Viterbi Algorithmus HS Endliche Automaten Inna Nickel, Julia Konstantinova 19.07.2010 1 / 21 Gliederung 1 Motivation 2 Theoretische Grundlagen Hidden Markov Model Viterbi Algorithmus
MehrSignalverarbeitung 2. Volker Stahl - 1 -
- 1 - Hidden Markov Modelle - 2 - Idee Zu klassifizierende Merkmalvektorfolge wurde von einem (unbekannten) System erzeugt. Nutze Referenzmerkmalvektorfolgen um ein Modell Des erzeugenden Systems zu bauen
Mehrn-gramm-modelle Vorlesung Computerlinguistische Techniken Alexander Koller 1. Dezember 2014
n-gramm-modelle Vorlesung Computerlinguistische Techniken Alexander Koller 1. Dezember 2014 Wahrscheinlichkeit und Sprache Ausgangsfrage: Nächstes Wort vorhersagen. Sprache als Zufallsprozess: Für jede
Mehrn-gramm-modelle Vorlesung Computerlinguistische Techniken Alexander Koller 17. November 2015
n-gramm-modelle Vorlesung Computerlinguistische Techniken Alexander Koller 17. November 2015 Statistische Modelle Wir möchten W.theorie verwenden, um ein Modell eines generativen Prozesses aus Beobachtungen
MehrAlgorithmische Bioinformatik
Algorithmische Bioinformatik Hidden-Markov-Modelle Viterbi - Algorithmus Ulf Leser Wissensmanagement in der Bioinformatik Inhalt der Vorlesung Hidden Markov Modelle Baum, L. E. and Petrie, T. (1966). "Statistical
MehrBayes sche Klassifikatoren. Uwe Reichel IPS, LMU München 16. Juli 2008
Bayes sche Klassifikatoren Uwe Reichel IPS, LMU München reichelu@phonetik.uni-muenchen.de 16. Juli 2008 Inhalt Einleitung Grundlagen der Wahrscheinlichkeitsrechnung Noisy-Channel-Modell Bayes sche Klassifikation
MehrSprachsynthese: Part-of-Speech-Tagging
Sprachsynthese: Part-of-Speech-Tagging Institut für Phonetik und Sprachverarbeitung Ludwig-Maximilians-Universität München reichelu@phonetik.uni-muenchen.de 29. Oktober 2014 Inhalt POS- Markov- Transformationsbasiertes
MehrVorlesung 4 BETWEENNESS CENTRALITY
Vorlesung 4 BETWEENNESS CENTRALITY 101 Aufgabe! Szenario: Sie arbeiten bei einem sozialen Online-Netzwerk. Aus der Netzwerk-Struktur Ihrer Benutzer sollen Sie wichtige Eigenschaften extrahieren. [http://www.fahrschule-vatterodt.de/
MehrProgrammierkurs Python II
Programmierkurs Python II Michaela Regneri & tefan Thater FR 4.7 Allgemeine Linguistik (Computerlinguistik) Universität des aarlandes ommersemester 2010 (Charniak, 1997) the dog biscuits N V N V the dog
Mehr1 Part-of-Speech Tagging
2. Übung zur Vorlesung NLP Analyse des Wissensrohstoes Text im Sommersemester 2008 Dr. Andreas Hotho, Dipl.-Inform. Dominik Benz, Wi.-Inf. Beate Krause 28. Mai 2008 1 Part-of-Speech Tagging 1.1 Grundlagen
MehrPart of Speech Tagging. Linguistische Sicht. Carolin Deck
Part of Speech Tagging Linguistische Sicht Carolin Deck Gliederung 1. Begriffsklärung 2. Vorstellung zwei wichtiger Tagsets (STTS & PTTS) 3. Bedeutung des POS-Tagging für die Sprachwissenschaft 4. Tagzuweisung
MehrHidden Markov Models und DNA-Sequenzen
Hidden Markov Models und DNA-Sequenzen Joana Grah Seminar: Mathematische Biologie Sommersemester 2012 Betreuung: Prof. Dr. Matthias Löwe, Dr. Felipe Torres Institut für Mathematische Statistik 28. Juni
Mehr8. Turingmaschinen und kontextsensitive Sprachen
8. Turingmaschinen und kontextsensitive Sprachen Turingmaschinen (TM) von A. Turing vorgeschlagen, um den Begriff der Berechenbarkeit formal zu präzisieren. Intuitiv: statt des Stacks bei Kellerautomaten
MehrBayes Klassifikatoren M E T H O D E N D E S D A T A M I N I N G F A B I A N G R E U E L
Bayes Klassifikatoren M E T H O D E N D E S D A T A M I N I N G F A B I A N G R E U E L Inhalt Grundlagen aus der Wahrscheinlichkeitsrechnung Hypothesenwahl Optimale Bayes Klassifikator Naiver Bayes Klassifikator
MehrSuche in Spielbäumen Spielbäume Minimax Algorithmus Alpha-Beta Suche. Suche in Spielbäumen. KI SS2011: Suche in Spielbäumen 1/20
Suche in Spielbäumen Suche in Spielbäumen KI SS2011: Suche in Spielbäumen 1/20 Spiele in der KI Suche in Spielbäumen Spielbäume Minimax Algorithmus Alpha-Beta Suche Einschränkung von Spielen auf: 2 Spieler:
MehrWahrscheinlichkeitstheorie und Naive Bayes
Wahrscheinlichkeitstheorie und Naive Bayes Caroline Sporleder Computational Linguistics Universität des Saarlandes Sommersemester 2011 12.05.2011 Caroline Sporleder Naive Bayes (1) Elementare Wahrscheinlichkeitstheorie
MehrAlignment-Verfahren zum Vergleich biologischer Sequenzen
zum Vergleich biologischer Sequenzen Hans-Joachim Böckenhauer Dennis Komm Volkshochschule Zürich. April Ein biologisches Problem Fragestellung Finde eine Methode zum Vergleich von DNA-Molekülen oder Proteinen
MehrKlausur zur Vorlesung,,Algorithmische Mathematik II
Institut für angewandte Mathematik, Institut für numerische Simulation Sommersemester 2015 Prof. Dr. Anton Bovier, Prof. Dr. Martin Rumpf Klausur zur Vorlesung,,Algorithmische Mathematik II Bitte diese
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. NLP-Pipeline. Tobias Scheffer Thomas Vanck
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen NLP-Pipeline Tobias Scheffer Thomas Vanck NLP-Pipeline Folge von Verarbeitungsschritten für Informationsextraktion, Übersetzung,
MehrVorlesung Maschinelles Lernen
Vorlesung Maschinelles Lernen Strukturelle Modelle SVMstruct Katharina Morik LS 8 Künstliche Intelligenz Fakultät für Informatik 16.12.2008 1 von 35 Gliederung LS 8 Künstliche Intelligenz Fakultät für
MehrBayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 5: Naive Bayes + IBL (V.
MehrWortproblem für kontextfreie Grammatiken
Wortproblem für kontextfreie Grammatiken G kontextfreie Grammatik. w Σ w L(G)? Wortproblem ist primitiv rekursiv entscheidbar. (schlechte obere Schranke!) Kellerautomat der L(G) akzeptiert Ist dieser effizient?
Mehr5 Zwei spieltheoretische Aspekte
5 Zwei spieltheoretische Aspekte In diesem Kapitel wollen wir uns mit dem algorithmischen Problem beschäftigen, sogenannte Und-Oder-Bäume (kurz UOB) auszuwerten. Sie sind ein Spezialfall von Spielbäumen,
MehrLehrstuhl für Computerlinguistik
Ruprecht-Karls -Universität Heidelberg Lehrstuhl für Computerlinguistik Hauptseminar: Parsing Leitung: PD Dr. Karin Haenelt Referent: A. S. M. Abdullah Eusufzai Referat zum Thema: Probabilistisches Parsing
MehrNürnberg. Augsburg. München
IT T OIT-- @ ß 77 T -13- Fx-111 : F 121 : 121 -: 221 : 221 32 73 T -3- Tx: - I ö - L L T ä F ö F : x : - y - OIT (ß -F O- -- O: 3 : 1 ( y Jö J 2 OIT 3 L! T F: ß: : : : : I 1 x 22 ( x ö 1 - : F * F : @
MehrPart-of-Speech- Tagging
Part-of-Speech- Tagging In: Einführung in die Computerlinguistik Institut für Computerlinguistik Heinrich-Heine-Universität Düsseldorf WS 2004/05 Dozentin: Wiebke Petersen Tagging Was ist das? Tag (engl.):
MehrMethoden der KI in der Biomedizin Unsicheres Schließen
Methoden der KI in der Biomedizin Unsicheres Schließen Karl D. Fritscher Motivation Insofern sich die Gesetze der Mathematik auf die Wirklichkeit beziehen, sind sie nicht sicher. Und insofern sie sich
MehrProgrammierung 2. Dynamische Programmierung. Sebastian Hack. Klaas Boesche. Sommersemester 2012. hack@cs.uni-saarland.de. boesche@cs.uni-saarland.
1 Programmierung 2 Dynamische Programmierung Sebastian Hack hack@cs.uni-saarland.de Klaas Boesche boesche@cs.uni-saarland.de Sommersemester 2012 2 Übersicht Stammt aus den Zeiten als mit Programmierung
MehrZusammenfassung Mathematik 2012 Claudia Fabricius
Zusammenfassung Mathematik Claudia Fabricius Funktion: Eine Funktion f ordnet jedem Element x einer Definitionsmenge D genau ein Element y eines Wertebereiches W zu. Polynom: f(x = a n x n + a n- x n-
Mehrfsq Ein Abfragesystem für syntaktisch annotierte Baumbanken
fsq Ein Abfragesystem für syntaktisch annotierte Baumbanken SFB 441, Universität Tübingen Syntaktisch annotierte Baumbanken Ursprünglich: Morphosyntaktische Tags (POS) Anreicherung mit syntaktischen Informationen
MehrDie Varianz (Streuung) Definition
Die (Streuung) Definition Diskrete Stetige Ang., die betrachteten e existieren. var(x) = E(X EX) 2 heißt der Zufallsvariable X. σ = Var(X) heißt Standardabweichung der X. Bez.: var(x), Var(X), varx, σ
MehrPart-of-Speech Tagging. Stephanie Schuldes
Part-of-Speech Tagging Stephanie Schuldes 05.06.2003 PS Erschließen von großen Textmengen Geißler/Holler SoSe 2003 Motivation Ziel: vollständiges Parsing und Verstehen natürlicher Sprache Herantasten durch
MehrVorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke
Vorlesungsplan 17.10. Einleitung 24.10. Ein- und Ausgabe 31.10. Reformationstag, Einfache Regeln 7.11. Naïve Bayes, Entscheidungsbäume 14.11. Entscheidungsregeln, Assoziationsregeln 21.11. Lineare Modelle,
MehrSLAM. Simultaneous Localization and Mapping. KogSys-Sem-M2: Reading Club - SLAM - Andreas Habermann
SLAM Simultaneous Localization and Mapping KogSys-Sem-M2: Reading Club - SLAM - Andreas Habermann Simultaneous Localization And Mapping SLAM Problematik SLAM Arten SLAM Methoden: (E)KF SLAM GraphSLAM Fast
MehrInformatik I WS 07/08 Tutorium 24
Info I Tutorium 24 Informatik I WS 07/08 Tutorium 24 20.12.07 Bastian Molkenthin E-Mail: infotut@sunshine2k.de Web: http://infotut.sunshine2k.de Rückblick Semi-Thue-Systeme Ein Semi-Thue-System besteht
MehrKünstliche Intelligenz Maschinelles Lernen
Künstliche Intelligenz Maschinelles Lernen Stephan Schwiebert Sommersemester 2009 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln Maschinelles Lernen Überwachtes Lernen
MehrDiskrete Verteilungen
KAPITEL 6 Disrete Verteilungen Nun werden wir verschiedene Beispiele von disreten Zufallsvariablen betrachten. 1. Gleichverteilung Definition 6.1. Eine Zufallsvariable X : Ω R heißt gleichverteilt (oder
Mehr11 Stochastisches Integral und Itô-Formel
11 Stochastisches Integral und Itô-Formel Im diskreten Finanzmodell bei selbstfinanzierender Strategie ϑ = {ϑ n n=,...,n mit Anfangswert V gilt : Ṽ n ϑ = V + n ϑ T j S j. j=1 Dieser diskontierte Wertprozess
MehrLineare Programmierung
Lineare Programmierung WS 2003/04 Rolle der Linearen Programmierung für das TSP 1954: Dantzig, Fulkerson & Johnson lösen das TSP für 49 US-Städte (ca. 6.2 10 60 mögliche Touren) 1998: 13.509 Städte in
MehrMatrizen, Determinanten, lineare Gleichungssysteme
Matrizen, Determinanten, lineare Gleichungssysteme 1 Matrizen Definition 1. Eine Matrix A vom Typ m n (oder eine m n Matrix, A R m n oder A C m n ) ist ein rechteckiges Zahlenschema mit m Zeilen und n
MehrWissensbasierte Systeme
WBS4 Slide 1 Wissensbasierte Systeme Vorlesung 4 vom 03.11.2004 Sebastian Iwanowski FH Wedel WBS4 Slide 2 Wissensbasierte Systeme 1. Motivation 2. Prinzipien und Anwendungen 3. Logische Grundlagen 4. Suchstrategien
MehrTextmining Klassifikation von Texten Teil 1: Naive Bayes
Textmining Klassifikation von Texten Teil 1: Naive Bayes Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Klassifikation von Texten 1: Naive
Mehr1 Einführung. 2 Typ-0- und Typ-1-Sprachen. 3 Berechnungsmodelle. 4 Unentscheidbarkeit. 5 Unentscheidbare Probleme. 6 Komplexitätstheorie
1 Einführung 2 Typ-0- und Typ-1-Sprachen 3 Berechnungsmodelle 4 Unentscheidbarkeit 5 Unentscheidbare Probleme 6 Komplexitätstheorie 15 Ziele vgl. AFS: Berechnungsmodelle für Typ-0- und Typ-1-Sprachen (Nicht-)Abschlußeigenschaften
MehrEntscheidungsbäume. Definition Entscheidungsbaum. Frage: Gibt es einen Sortieralgorithmus mit o(n log n) Vergleichen?
Entscheidungsbäume Frage: Gibt es einen Sortieralgorithmus mit o(n log n) Vergleichen? Definition Entscheidungsbaum Sei T ein Binärbaum und A = {a 1,..., a n } eine zu sortierenden Menge. T ist ein Entscheidungsbaum
MehrStatistische Verfahren:
Statistische Verfahren: Hidden-Markov-Modelle für Multiples Alignment Stochastic Context-Free Grammars (SCFGs) für RNA-Multiples Alignment Übersicht 1 1. Hidden-Markov-Models (HMM) für Multiples Alignment
MehrAutomatisches Lernen von Regeln zur quellseitigen Umordnung
Automatisches Lernen von Regeln zur quellseitigen Umordnung E I N A N S AT Z V O N D M I T R I Y G E N Z E L Duwaraka Murugadas Fortgeschrittene Methoden der statistischen maschinellen Übersetzung (Miriam
MehrSimulation von Zufallsvariablen und Punktprozessen
Simulation von Zufallsvariablen und Punktprozessen 09.11.2009 Inhaltsverzeichnis 1 Einleitung 2 Pseudozufallszahlen 3 Punktprozesse Zufallszahlen Definition (Duden): Eine Zufallszahl ist eine Zahl, die
MehrGeometrische Brownsche Bewegung und Brownsche Brücke
Seminar: Grundlagen der Simulation und Statistik von dynamischen Systemen SoSe 2012 Geometrische Brownsche Bewegung und Brownsche Brücke Korinna Griesing 10. April 2012 Dozentin: Prof. Dr. Christine Müller
MehrSpezialfall: Die Gleichung ax = b mit einer Unbekannten x kann mit Hilfe des Kehrwerts 1 a = a 1 gelöst werden:
Inverse Matritzen Spezialfall: Die Gleichung ax b mit einer Unbekannten x kann mit Hilfe des Kehrwerts 1 a a 1 gelöst werden: ax b x b a a 1 b. Verallgemeinerung auf Ax b mit einer n nmatrix A: Wenn es
MehrIn der Praxis werden wir häufig mit relativ komplexen Funktionen konfrontiert. y
Approximationen In der Praxis werden wir häufig mit relativ komplexen Funktionen konfrontiert. y y = f (x) x Um das Arbeiten mit einer komplizierten Funktion zu vermeiden, können wir versuchen, diese Funktion
MehrTheoretische Informatik 1
Theoretische Informatik 1 Registermaschine David Kappel Institut für Grundlagen der Informationsverarbeitung TU Graz SS 2012 Übersicht Registermaschinen Algorithmusbegriff konkretisiert formale Beschreibung
MehrMonte Carlo Methoden in Kreditrisiko-Management
Monte Carlo Methoden in Kreditrisiko-Management P Kreditportfolio bestehend aus m Krediten; Verlustfunktion L = n i=1 L i; Die Verluste L i sind unabhängig bedingt durch einen Vektor Z von ökonomischen
MehrBrückenkurs Elementarmathematik
Brückenkurs Elementarmathematik IV. Ungleichungen November 13, 2013 Inhalt 1 Ungleichungen 2 Umformungen von Ungleichungen 2.1 Äquivalenzumformungen 2.2 Addition und Multiplikation von Ungleichungen 3
Mehr23.1 Constraint-Netze
Grundlagen der Künstlichen Intelligenz 1. April 2015 2. Constraint-Satisfaction-Probleme: Constraint-Netze Grundlagen der Künstlichen Intelligenz 2. Constraint-Satisfaction-Probleme: Constraint-Netze Malte
MehrSimulationsmethoden in der Bayes-Statistik
Simulationsmethoden in der Bayes-Statistik Hansruedi Künsch Seminar für Statistik, ETH Zürich 6. Juni 2012 Inhalt Warum Simulation? Modellspezifikation Markovketten Monte Carlo Simulation im Raum der Sprungfunktionen
MehrQUALITY-APPs Applikationen für das Qualitätsmanagement. Probieren und Studieren
QUALITY-APPs Applikationen für das Qualitätsmanagement Probieren und Studieren Der Netzplan (Activity Network Diagram AND) Planung und Steuerung erfolgreicher Projekte Autor: Jürgen P. Bläsing (nach einer
MehrCustomization (Zuschneiden)
Customization (Zuschneiden) Anpassen der (Graph)Datenstruktur an die Anwendung. I Ziel: schnell, kompakt. I benutze Entwurfsprinzip: make the common case fast I Listen vermeiden Mögliches Problem: Software-Engineering-Alptraum
MehrProbe-Klausur zur Vorlesung Multilinguale Mensch-Maschine Kommunikation 2013
Probe-Klausur zur Vorlesung Multilinguale Mensch-Maschine Kommunikation 2013 Klausurnummer Name: Vorname: Matr.Nummer: Bachelor: Master: Aufgabe 1 2 3 4 5 6 7 8 max. Punkte 10 5 6 7 5 10 9 8 tats. Punkte
MehrLineare Gleichungssysteme
Christian Serpé Universität Münster 14. September 2011 Christian Serpé (Universität Münster) 14. September 2011 1 / 56 Gliederung 1 Motivation Beispiele Allgemeines Vorgehen 2 Der Vektorraum R n 3 Lineare
MehrOptimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum
MehrSortieralgorithmen. Inhalt: InsertionSort BubbleSort QuickSort. Marco Block
Inhalt: InsertionSort BubbleSort QuickSort Block M.: "Java-Intensivkurs - In 14 Tagen lernen Projekte erfolgreich zu realisieren", Springer-Verlag 2007 InsertionSort I Das Problem unsortierte Daten in
MehrAlgorithmen mit konstantem Platzbedarf: Die Klasse REG
Algorithmen mit konstantem Platzbedarf: Die Klasse REG Sommerakademie Rot an der Rot AG 1 Wieviel Platz brauchen Algorithmen wirklich? Daniel Alm Institut für Numerische Simulation Universität Bonn August
Mehrabgeschlossen unter,,,, R,
Was bisher geschah Turing-Maschinen können Sprachen L X akzeptieren entscheiden Funktionen berechnen f : X X (partiell) Menge aller Turing-akzeptierbaren Sprachen genau die Menge aller Chomsky-Typ-0-Sprachen
Mehr16. All Pairs Shortest Path (ASPS)
. All Pairs Shortest Path (ASPS) All Pairs Shortest Path (APSP): Eingabe: Gewichteter Graph G=(V,E) Ausgabe: Für jedes Paar von Knoten u,v V die Distanz von u nach v sowie einen kürzesten Weg a b c d e
MehrVERSICHERUNGEN AUF MEHRERE LEBEN. Marta Ja lowiecka. 23 Januar 2009
VERSICHERUNGEN AUF MEHRERE LEBEN Marta Ja lowiecka 23 Januar 2009 1 1 Einführung Im Folgenden werden betrachtet- basierend auf Modellen und Formeln für einfache Versicherungen auf ein Leben- verschiedene
MehrGewöhnliche Dierentialgleichungen
Gewöhnliche Dierentialgleichungen sind Gleichungen, die eine Funktion mit ihren Ableitungen verknüpfen. Denition Eine explizite Dierentialgleichung (DGL) nter Ordnung für die reelle Funktion t x(t) hat
MehrDifferenzialrechnung
Mathe Differenzialrechnung Differenzialrechnung 1. Grenzwerte von Funktionen Idee: Gegeben eine Funktion: Gesucht: y = f(x) lim f(x) = g s = Wert gegen den die Funktion streben soll (meist 0 oder ) g =
MehrMatrizen. Aufgabe 1. Sei f R 2 R 3 definiert durch. x y x Berechnen Sie die Matrix Darstellung von f. Lösung von Aufgabe 1.
Matrizen Aufgabe Sei f R R 3 definiert durch ( x 3y x f x + y y x Berechnen Sie die Matrix Darstellung von f Lösung von Aufgabe ( f ( f 3 Die Matrix Darstellung von f ist somit A 3 Aufgabe Eine lineare
MehrSchritte plus Alpha 1: Transkriptionen der Hörtexte. Lektion: Guten Tag. Track 2 Lektion 1 A/a, Ananas, Apfel, Ampel
Schritte plus Alpha : Transkriptionen der Hörtexte Lektion: Guten Tag Track Lektion A/a, Ananas, Apfel, Ampel Track Lektion N/n, Nase, Nudeln, Nuss Track Lektion E/e, Ente, Erdbeere, Essen Track 5 Lektion
Mehrx 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen
5.1 Lernen mit Entscheidungsbäumen Falls zum Beispiel A = {gelb, rot, blau} R 2 und B = {0, 1}, so definiert der folgende Entscheidungsbaum eine Hypothese H : A B (wobei der Attributvektor aus A mit x
MehrSumme von Zufallsvariablen
Summe von Zufallsvariablen Gegeben sind die unabhängigen, gleichverteilten Zufallsvariablen X und Y mit den Wahrscheinlichkeitsdichten f() und g(). { für f() = g() = sonst Wir interessieren uns für die
MehrRekursionen. Georg Anegg 25. November 2009. Methoden und Techniken an Beispielen erklärt
Methoden und Techniken an Beispielen erklärt Georg Anegg 5. November 009 Beispiel. Die Folge {a n } sei wie folgt definiert (a, d, q R, q ): a 0 a, a n+ a n q + d (n 0) Man bestimme eine explizite Darstellung
MehrMathematik II Frühlingsemester 2015 Kap. 9: Funktionen von mehreren Variablen 9.2 Partielle Differentiation
Mathematik II Frühlingsemester 2015 Kap. 9: Funktionen von mehreren Variablen 9.2 Partielle Differentiation www.math.ethz.ch/education/bachelor/lectures/fs2015/other/mathematik2 biol Prof. Dr. Erich Walter
MehrWas bisher geschah. Aufgaben: Diagnose, Entscheidungsunterstützung Aufbau Komponenten und Funktion
Was bisher geschah Daten, Information, Wissen explizites und implizites Wissen Wissensrepräsentation und -verarbeitung: Wissensbasis Kontextwissen Problemdarstellung fallspezifisches Wissen repräsentiert
MehrKapitel 9. Hidden Markov Modelle (HMMs)
Kapitel 9 Hidden Markov Modelle (HMMs) p. 1/24 Kapitel 9 Hidden Markov Modelle (HMMs) Markov-Ketten Von der Markov-Kette zum HMM HMM Topologien Drei klassische Algorithmen für HMMs HMMs in der Praxis und
MehrA.12 Nullstellen / Gleichungen lösen
A12 Nullstellen 1 A.12 Nullstellen / Gleichungen lösen Es gibt nur eine Hand voll Standardverfahren, nach denen man vorgehen kann, um Gleichungen zu lösen. Man sollte in der Gleichung keine Brüche haben.
MehrSchriftlicher Test Teilklausur 2
Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Wintersemester 2009 / 2010 Albayrak, Fricke (AOT) Opper, Ruttor (KI) Schriftlicher
Mehr6.2 Scan-Konvertierung (Scan Conversion)
6.2 Scan-Konvertierung (Scan Conversion) Scan-Konvertierung ist die Rasterung von einfachen Objekten (Geraden, Kreisen, Kurven). Als Ausgabemedium dient meist der Bildschirm, der aus einem Pixelraster
MehrKI-Kolloquium am 23.10.2006. Part-of-Speech-Tagging für Deutsch. Referent: Stefan Bienk
Friedrich-Alexander-Universität Erlangen-Nürnberg Lehrstuhl für Informatik 8 (KI) Prof. Dr. H. Stoyan KI-Kolloquium am 23.10.2006 Part-of-Speech-Tagging für Deutsch Referent: Stefan Bienk Übersicht Aufgabenstellung
MehrClasspad 300 / Classpad 330 (Casio) Der Taschenrechner CAS:
Der Taschenrechner CAS: Classpad 300 / Classpad 330 (Casio) Übersicht: 1. Katalog (wichtige Funktionen und wie man sie aufruft) 2. Funktionen definieren (einspeichern mit und ohne Parameter) 3. Nullstellen
MehrNetzwerkmodelle. Seminar Netzwerkanalyse. Sommersemester 2005 Jasmine Metzler
Netzwerkmodelle Seminar Netzwerkanalyse Sommersemester 2005 Jasmine Metzler 1 Grundlegende Modelle Das Graph Modell (G n,p ) Definition Verschiedene Modelle Small World Modell Lokale Suche Power Law Modelle
MehrBerufliches Gymnasium Gelnhausen
Berufliches Gymnasium Gelnhausen Fachbereich Mathematik Die inhaltlichen Anforderungen für das Fach Mathematik für Schülerinnen und Schüler, die in die Einführungsphase (E) des Beruflichen Gymnasiums eintreten
MehrITWM Workshopserie 2012: Mehrfaktor-Zinsmodelle und ihre Implementation
ITWM Workshopserie 2012: Mehrfaktor-Zinsmodelle und ihre Implementation Aspekte des 2-Faktor-Hull-White-Modells 8. November 2012 Inhalt Weshalb ein Mehrfaktor Modell? 2-Faktor-Modelle Das ursprüngliche
Mehr5.1 Determinanten der Ordnung 2 und 3. a 11 a 12 a 21 a 22. det(a) =a 11 a 22 a 12 a 21. a 11 a 21
5. Determinanten 5.1 Determinanten der Ordnung 2 und 3 Als Determinante der zweireihigen Matrix A = a 11 a 12 bezeichnet man die Zahl =a 11 a 22 a 12 a 21. Man verwendet auch die Bezeichnung = A = a 11
Mehr14. Rot-Schwarz-Bäume
Bislang: Wörterbuchoperationen bei binären Suchbäume effizient durchführbar, falls Höhe des Baums klein. Rot-Schwarz-Bäume spezielle Suchbäume. Rot-Schwarz-Baum mit n Knoten hat Höhe höchstens 2 log(n+1).
MehrThema 10 Gewöhnliche Differentialgleichungen
Thema 10 Gewöhnliche Differentialgleichungen Viele Naturgesetze stellen eine Beziehung zwischen einer physikalischen Größe und ihren Ableitungen (etwa als Funktion der Zeit dar: 1. ẍ = g (freier Fall;
MehrDierentialgleichungen 2. Ordnung
Dierentialgleichungen 2. Ordnung haben die allgemeine Form x = F (x, x, t. Wir beschränken uns hier auf zwei Spezialfälle, in denen sich eine Lösung analytisch bestimmen lässt: 1. reduzible Dierentialgleichungen:
Mehr9.2 Invertierbare Matrizen
34 9.2 Invertierbare Matrizen Die Division ist als Umkehroperation der Multiplikation definiert. Das heisst, für reelle Zahlen a 0 und b gilt b = a genau dann, wenn a b =. Übertragen wir dies von den reellen
MehrEffiziente Algorithmen und Datenstrukturen I. Kapitel 10: Lineare Algebra
Effiziente Algorithmen und Datenstrukturen I Kapitel 10: Lineare Algebra Christian Scheideler WS 2008 19.02.2009 Kapitel 10 1 Überblick Notation Arithmetik auf großen Zahlen (Addition und Multiplikation)
MehrSeminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung
Huffman-Codierung, arithmetische Codierung Theoretische Informatik RWTH-Aachen 4. April 2012 Übersicht 1 Einführung 2 3 4 5 6 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft
MehrDatenbankanwendung. Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern. Wintersemester 2014/15. smichel@cs.uni-kl.de
Datenbankanwendung Wintersemester 2014/15 Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern smichel@cs.uni-kl.de Wiederholung: Anfragegraph Anfragen dieses Typs können als Graph dargestellt werden: Der
MehrMaschinelles Lernen in der Bioinformatik
Maschinelles Lernen in der Bioinformatik Spezialvorlesung Modul 10-202-2206 (Fortgeschrittene Methoden in der Bioinformatik) VL 2 HMM und (S)CFG Jana Hertel Professur für Bioinformatik Institut für Informatik
Mehrliefern eine nicht maschinenbasierte Charakterisierung der regulären
Reguläre Ausdrücke 1 Ziel: L=L M für NFA M L=L(r) für einen regulären Ausdruck r Reguläre Ausdrücke über einem Alphabet Σ Slide 1 liefern eine nicht maschinenbasierte Charakterisierung der regulären Sprachen
MehrEntwicklung eines Distanzmaßes zwischen Bildern über dem Modell der Fields of Visual Words
Entwicklung eines Distanzmaßes zwischen Bildern über dem Modell der Fields of Visual Words André Viergutz 1 Inhalt Einführung. Einordnung der Arbeit in die zugrunde liegenden Konzepte Das Modell der Fields
MehrDie Komplexitätsklassen P und NP
Die Komplexitätsklassen P und NP Prof. Dr. Berthold Vöcking Lehrstuhl Informatik 1 Algorithmen und Komplexität RWTH Aachen 3. Dezember 2009 Berthold Vöcking, Informatik 1 () Vorlesung Berechenbarkeit und
Mehr10. Vorlesung. Grundlagen in Statistik. Seite 291. Martin-Luther-Universität Halle/Wittenberg
. Vorlesung Grundlagen in Statistik Seite 29 Beispiel Gegeben: Termhäufigkeiten von Dokumenten Problemstellung der Sprachmodellierung Was sagen die Termhäufigkeiten über die Wahrscheinlichkeit eines Dokuments
Mehr