Maschinelles Lernen in der Bioinformatik

Transkript

1 Maschinelles Lernen in der Bioinformatik Spezialvorlesung Modul (Fortgeschrittene Methoden in der Bioinformatik) VL 2 HMM und (S)CFG Jana Hertel Professur für Bioinformatik Institut für Informatik Universität Leipzig Maschinelles Lernen in der Bioinformatik 1/16

2 Inhaltsverzeichnis 1 Definition(en) 2 Anwendungsbeispiele 3 Profile HMM 4 Learning Co-Varianz Maschinelles Lernen in der Bioinformatik 2/16

3 Definition(en) 1 HMM - Hidden Markov Model.. stochastisches Modell zur Modellierung eines Systems durch eine Markov-Kette mit unbeobachteten Zuständen Zustände der Markov-Kette sind verborgen jedem Zustand sind beobachtbare Ausgangssymbole (Emissionen) zugeordnet Emissionen treten abhängig vom Zustand mit best. Wahrscheinlichkeit auf Sequenz von Zuständen ist nicht eindeutig durch Beobachtung bestimmt! muss probabilistisch abgeleitet werden. anhand der beobachteten Sequenz von Emissionen wahrscheinlichkeitstheoretische Aussagen über verborgene Zustände Einsatzgebiete: Sprach- und Schrifterkennung, Spamfilter, Phsychologie, etc. Maschinelles Lernen in der Bioinformatik 3/16

4 Definition(en) Was ist ein HMM? Markov-Kette: Serie von Zuständen, die mit Hilfe von Übergangswahrscheinlichkeiten auftreten (stochast. Prozess) Ziel: Angabe von Wahrscheinlichkeiten zukünftiger Ereignisse anhand bengrenzter Vorgeschichte Prognose bei Kenntnis der gesamten Vorgeschichte Hidden Markov Model:.. endliches Modell, beschreibt Serie von Beobachtungen durch einen versteckten stochastischen Prozess P(s i s i 1) i+1 i P(s s ) s i 1 s i s i+1 P(e i 1 s i 1 ) P(e i 1 s) i P(e i s i) P(e i s i) e i 1 e i e i+1 Ein HMM ist ein Modell, welches Sequenzen generieren kann Maschinelles Lernen in der Bioinformatik 4/16

5 Definition(en) Und nun formal: Ein HMM µ = (X, A, Y, B, π) ist gegeben durch: X Menge aller Zustände (Alphabet) A Übergangsmatrix der Zustände aus X Y Menge aller Emissionen (Beobachtungen) B Beobachtungsmatrix, mit b ij = P(y j Y x i X ) π Anfangswahrscheinlichkeitsverteilung, mit π(i) ist Wk, das x i Startzustand ist Ein HMM ist zeitinvariant wenn die Wk aus A und B sich mit der Zeit nicht ändern. Unterliegende Markov-Ketten sind meist 1. Ordnung. Maschinelles Lernen in der Bioinformatik 5/16

6 Anwendungsbeispiele Spracherkennung 2 Anwendung - Spracherkennung Zustände: Phoneme Emissionen: Ketten von Lauten lets go tu the part te potty party patty p ar te Jede Soundsequenz kann mit best. Wk von einem Modell generiert werden. Ein Sprachmodell besteht aus Wk für die Lauterzeugung und für Lautübergänge Maschinelles Lernen in der Bioinformatik 6/16

7 Anwendungsbeispiele Bioinformatik Anwendung - Bioinformatik Sequenz-Alignment Proteinmodellierung Zustände: Spalten des Alignments Aminosäuren Emissionen: Ancestrale Sequenz Primärstruktur Maschinelles Lernen in der Bioinformatik 7/16

8 Anwendungsbeispiele Bioinformatik Anwendung - Bioinformatik Zustände: Emissionen: Sequenz-Alignment Spalten des Alignments Ancestrale Sequenz Consensus Sequenz einer Menge von Sequenzen lässt sich auch mit regulären Ausdrücken beschreiben: A C A A T G T C A A C T A T C A C A C - - A G C A G A A T C A C C G - - A T C RegExpr: [AT][CG][AC][ACTG]*A[TG][GC] keine Aussage über Qualität jeder Ableitbaren Sequenz möglich: z.bsp. TGCCC-AGG (sehr unwahrscheinlich) und ACAC ATC (Consensus) sind beide ableitbar Maschinelles Lernen in der Bioinformatik 8/16

9 Anwendungsbeispiele Bioinformatik Ableitung eines HMM vom Sequenzalignment profile HMM Maschinelles Lernen in der Bioinformatik 9/16

10 Anwendungsbeispiele Bioinformatik Wahrscheinlichkeiten vs. log-odds Scores P(ACACATC) = Sequenz Wk 100 Log odds Consensus ACAC--ATC Öriginal ACA---ATG andere TCAACTATC ACAC--AGC AGA---ATC exceptional TGCT--AGG L(S) = log P(S) = log P(S) L log L with L... Length(S) log-odds Scores können addiert werden numerisch einfacher zu lösen, als mit Wk.en. Die Wk.en können durch potenzieren einfach zurückgewonnen werden. Maschinelles Lernen in der Bioinformatik 10/16

11 Profile HMM 3 Profile HMM Multiples Sequenz Alignment (MSA) position-specific scoring system match modelliert Verteilung aller möglichen Residuen einer Spalte (jede Spalte ein match Zustand) insert erlaubt Einfügen eines o. mehrerer Residuen zw. aktueller und nächster Spalte delete erlaubt Löschen des Consensus Residues Parameter match Additive log-odds Scores: L(x) = log P(x) f x insert Affine gap Kosten: a + b(l 1) a... Score des 1. Residues b... Score für jedes weitere Residue der Insertion der Länge l Zustandswechsel: log t MI, log t II, log t IM a = log t MI + log t IM, b = log t II Maschinelles Lernen in der Bioinformatik 11/16

12 Profile HMM Profile HMM in HMMER Software Abbildung: Eddy 1998, Profile Hidden Markov models Suche in Datenbanken Geg. 1 Sequenz, gehört diese zu einer bestimmten Familie? Sequenz Alignments Gibt es bestimmte Regionen in einer Sequenz? Maschinelles Lernen in der Bioinformatik 12/16

13 Profile HMM Profile HMM Libraries Bisher: Finde best. homologe Sequenz in DB, benutze ein HMM Nun: Geg. eine Sequenz, enthält sie 1 o. mehr bekannte Domains? aligniere geg. Sequenz mit einer Menge (Library) von profile HMMs. Generierung von profile HMM Libraries: große Anzahl an MSA versch. Domains benötigt DB annotierter MSA und vorgefertigter profile HMM (z.bsp. Pfam und PROSITE DB für Proteindomains) HMM zur Erkennung von Strukturen: Scores aus Strukurdaten (2D/3D) trainiere Modelle (Libraries) an bekannten Strukturdomains erkenne strukturierte Elemente in neuen Sequenzen Maschinelles Lernen in der Bioinformatik 13/16

14 Learning Co-Varianz Co-Varianz 4 Learning Co-Varianz Detection of ncrnas.. ncrnas Funktionalität hauptsächl. abhängig von Sekundärstruktur: Veränderungen der Sequenz können fatale Folgen in der Sek.str. haben Bestimmte Motife in Sek.str. benötigen bestimmte Anordnung der Basen in Prim.str. starke Co-Varianz von Primärstr. und Sekundärstr. Maschinelles Lernen in der Bioinformatik 14/16

15 Learning Co-Varianz (S)CFG (S)CFG - (stochastic) context free grammar G = (N, T, P, S) S N... Startsymbol N, T... diskunkte Alphabete von Nichtterminal- und Terminalsymbolen P = N (N T )... Produktionsregeln Erweiterung auf SCFG durch Zuordnung einer Auftrittswahrscheinlichkeit zu jeder Regel aus P: p : P R Wahrscheinlichkeitsverteilung auf der Menge der von der Grammatik erzeugten Wörter. Maschinelles Lernen in der Bioinformatik 15/16

16 Learning Co-Varianz (S)CFG CM - covariance model.. spezielle Erweiterung einer SCFG designed für die Modellierung einer RNA consensus Sequenz und Struktur Kombination von Struktur und Sequenz: Positions-spezif. Scores (log-odds scores) der 4 mögl. Residuen an ungepaarten Positionen der 16 mögl. Basenpaaren an gepaarten Positonen, Insertionen u. Deletionen CMs können verwendet werden um homologe RNA gene in DBen zu finden neue Sequenz-Struktur basierte MSA zu erstellen implementiert in dem Softwarepacket Infernal Maschinelles Lernen in der Bioinformatik 16/16