Algorithmische Bioinformatik

Transkript

1 Algorthmche Bonformatk HMM Algorthmen: Forward-Backward Baum-Welch Anwendung m equenzalgnment Ulf Leer Wenmanagement n der Bonformatk

2 Formale Defnton von HMM Defnton Gegeben Σ. En Hdden Markov Modell t en equenteller tochatcher Proze über k Zutänden 1,, k mt Zutand emttert Zechen x Σ mt Wahrchenlchket px ) De Folge der Zutände t ene Markov-Kette, d.h.: pz t t z t-1 t-1, z t-2 t-2,, z 0 0 ) pz t t z t-1 t-1 )a t-1,t De a 0,1 heßen tartwahrchenlchketen De a t-1,t heßen Übergangwahrchenlchketen De e x)px ) heßen Emonwahrchenlchketen Bemerkung Unterchedung zwchen Zutand und Zechen De exterenden Zutände n M nd 1,, k Ene konkrete Zutandfolge t z 0, z 1, z n Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/2010 2

3 Emonwahrchenlchketen Intergenc tart End ngle exon pa)0.01 pc)0.01 pg)0.97 pt)0.01 Frt exon G T Intron Lat exon AG pa) pc) pg) pt) pa)0.01 pc)0.01 pg)0.01 pt)0.97 Internal exon Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/2010 3

4 equenzen und Zutandfolgen A+ C+ G+ T+ M+ A C G T A C G T A- C- G- T- A C T G A C A+C+T-G-A-C- A C T G A C A+C+T+G+A+C+ A C T G A C A-C+T+G+A-C+ M- A C G T A C G T Alle möglch Aber ncht alle glech wahrchenlch tart-wk alle 1, pm+ M-): 0.01 A+C+T-G-A-C-: A+C+T+G+A+C+: A-C+T+G+A-C+: Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/2010 4

5 Problemfelder De dre klachen HMM Probleme Dekoderung/Pare: Gegeben ene equenz und en HMM M; durch welche Zutandfolge wurde wahrchenlch erzeugt? Löung: Vterb Algorthmu Evaluaton: Gegeben ene equenz und HMM M; mt welcher Wahrchenlchket wurde durch M erzeugt? Mu alle Zutandequenzen berückchtgen, de erzeugen Löung: Forward/Backward Algorthmu Lernen/Traneren: Gegeben ene equenz ; welche HMM M mt gegebener Zutandmenge) erzeugt mt der größten Wk? Lernen der Übergang- und Emonwahrchenlchketen au Löung: Baum-Welch Algorthmu Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/2010 5

6 Dekoderproblem Defnton Gegeben en HMM M und ene equenz. Da Dekoderproblem ucht nach der Zutandfolge, de mt der höchten Wk unter allen Zutandfolgen von M) erzeugt hat p * M ) max p, p) p path Ene konkrete Zutandfolge bezechnen wr meten al Pfad Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/2010 6

7 Vterb: Dynamche Programmerung Dynamche Programmerung Wr berechnen optmale Pfade für länger werdende Präfxe von, de n enem der Zutände von M enden Annahme: e v ) de Wahrchenlchket de optmalen Pfad für [..], der n Zutand endet Wr brauchen ene Rekuronformel für v +1) für alle M) und de Randbedngungen Berechnung weder bottom-up, per Tabelle C C C C C N N N N N equenz: A T C T. G Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/2010 7

8 Tabellarche Dartellung A C A+ 0 0,2 0 T G C ,05 A- 0 0,25 0 T G C ,05 tart: 0 hat Wk 1, alle anderen Zutände haben Wk 0 Wr berechnen de Tabelle paltenwee Jede Feld kann von jedem Feld der Vorgängerpalte errecht werden Alo au jedem Endzutand für da um 1 Zechen kürzere Präfx In jeder palte t de Wk aller Zutände, de ncht [] emtteren, 0 wel e[])0) Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/2010 8

9 Inhalt der Vorleung Evaluaton: Forward-Backward Algorthmu Parameterchätzung: Baum-Welch HMM für equenzalgnment Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/2010 9

10 Evaluaton Vterb berechnet de wahrchenlchte Zutandfolge für en gegebene HMM Aber we cher kann man en, da man da rchtge HMM hat? Defnton Gegeben en HMM M und ene equenz von Zechen. Da Evaluatonproblem ucht nach der Geamtwahrchenlchket dafür, da von ener Folge von Zutänden von) M erzeugt wurde. Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

11 Forward-Algorthmu Gegeben en HMM, we wahrchenlch generert e ene gegebene equenz? Man könnte mt Vterb de wahrchenlchte Zutandfolge berechnen und deren Wk augeben Aber: kann durch verchedene Zutandfolgen erzeugt werden Zur Evaluaton müen wr über dee alle aggregeren Achtung: Vterb berechnet p* M) P M) kann durch ene klene Varaton de Vterb- Algorthmu berechnet werden - Welche? p M ) p, p) p path Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

12 Änderung Vterb e v ) de Wk de optmalen Pfad für [..], der n Zutand endet Geucht: v t +1) für alle t Von mt a t nach t Dann Emon von [+1] mt e t [+1]) Pfad mt der höchten Wk Forward-Algorthmu e f ) de Geamtwk, da nach chrtten der Zutand errecht t Egal, über welchen Pfad Geucht: f t +1) für alle t Von mt a t nach t Dann Emon von [+1] mt e t [+1]) Geamtwahrchenlchket v + 1) e t t [ max v M + 1])* )* a t ) M Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/ f t + 1) e t [ + 1])* f )* a t )

13 Komplextät Ändert ch ncht m Verglech zu Vterb) e n, HMM habe k Zutände Tabelle hat n*k Zellen Für jede Zelle grefen wr auf k Vorgängerzellen zu Zuammen: On*k 2 ) Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

14 Poteror Betrachtungen Betrachten wr ene enzelne Emon [] Welcher Zut. hat am wahrchenlchten [] emttert? Egal, auf welchem Geamtpfad Da t ncht enfach da höchte v ) Da würde den Tel der equenz nach gnoreren und nur enen Pfad beachten mu ncht auf dem wahrchenlchten Enzelpfad legen Nehmen wr an, der optmale Pfad laufe durch en z j Vele andere Pfade laufen durch Deren Geamtwk kann höher en al de de beten Enzelpfad Optmaler Zutand A+ A T T z j T+ A- T- Optmaler Pfad Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

15 Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/ Berechnung Wr benötgen Deen Term nennt man Poteror-Wk, da man hn ert nach Betrachtung der geamten equenz berechnen kann Egentlch mu überall en M dazu paren wr un De Berechnung erfolgt ndrekt E glt für alle ) p) kann, we gehabt, mt Vorwärtalgorthmu berechnet werden Für den Zähler glt Letztere folgt wel wr nur Markov-Ketten erter Ordnung betrachten ) ) max ) ] [ * z p M p M ) 1..] [ ])* [1.., ) ], [ ] [ ])* [1.., ), z p z p z p z p z p + + ) ), ) p z p z p

16 Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/ Backward Algorthmu f ) kennen wr: Forward-Algorthmu b ) heßt de Backward-Wk Wk für de Retequenz [+1..n], gegeben den tartzutand ) * ) ) ] 1.. [ ])* [1.., ), b f z n p z p z p +

17 Backward Algorthmu b) berechnet man durch Rekuron von hnten Erklärung b ) a * e [ ])* b + 1) t M t In chrtt +1 kennen wr b +1), de Wk der Retequenz [+1..n] für alle tartzutände z +1 ) Berechnung b t []: Über alle mgl. Nachfolgerzutände ; gehe von t nach, emttere da Zechen [+1] und fahre fort mt b +1) Zur Intalerung defnert man enen vrtuellen Endzutand und gbt hm Wk 1 d.h. a,n+1 1 für alle ) Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

18 Veranchaulchung b ) a * e [ ])* b + 1) t M t A+ T+ A- T- A C T T Zutände t Nachfolgerzutände und deren Backward-Wk b +1) Emon von [+1] m Nachfolgezutand Achtung: e ) t jetzt n der Klammer ander al be Forward-Algorthmu), da da Zechen nach dem Übergang emttert wrd Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

19 Bepel FAIR LOADED P1 F) 1/6 P2 F) 1/6 P3 F) 1/6 P4 F) 1/6 P5 F) 1/6 P6 F) 1/ P1 L) 1/10 P2 L) 1/10 P3 L) 1/10 P4 L) 1/10 P5 L) 1/10 P6 L) 1/2 Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

20 Bepel gechätzt, ncht gerechnet) Der wahrchenlchte Enzelpfad mag nur au F betehen Aber e gbt vele Pfade, de dem blauen Berech den Zutand L mt höherer Wahrchenlchket zuordnen al der optmale Pfad hm den Zutand F zuordnet Bp. wrd de Enzelwk jeder enzelnen 6 für L vel höher al für F en Paert oft, wenn ehr klenen Übergang-Wken: Jeder Übergang wrd o tark betraft, da ch Wechel ert be ehr langen L-Phaen lohnt De Unterchede zwchen den Pfad-WK ehr klen nd Dann betet Vterb kene ehr gute Entchedunghlfe Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

21 Poteror-Pfade Kann man au den Zutänden ener Poteror-Dekoderung enen kompletten Pfad bauen? We wahrchenlch t der? Natürlch kann enen Pfad bauen Der kann aber Geamtwahrchenlchket 0 haben Wenn er z.b. enen Übergang mt Wk 0 enthält Poteror-Dekoderung t ene ren lokale Betrachtung Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

22 Inhalt der Vorleung Decoderung: Vterb Evaluaton: Forward-Backward Algorthmu Parameterchätzung: Baum-Welch HMM für equenzalgnment Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

23 Lernen ene HMM Wr können nun Berechnen, we wahrchenlch ene equenz t Forward oder Backward Algorthmu Berechnen, wa der wahrchenlchte Pfad für ene equenz t Vterb Algorthmu Berechnen, welche der wahrchenlchte Zutand für jede enzelne Zechen ener equenz war Poteror Forward/Backward Algorthmu gegeben en fete Hdden Markov Model Jetzt: Lernen der Parameter ene HMM au Bepeldaten Komponente 1: Lernen der truktur: Wrd ncht behandelt Komponente 2: Lernen der Emon-/ Übergang-Wk, gegeben ene fete truktur Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

24 Enfacher Fall: Zutandequenz bekannt Defnton Gegeben en HMM M mt feter truktur und ene equenz. Da Lernproblem fndet de Übergang-Wk a t und Emon-Wk e x) von M o, da p M) maxmal t. Bemerkung ollte möglcht lang en oder e gbt vele ), um en möglcht generche Modell zu lernen Erter Fall Wr kennen zuätzlch zu jedem Zechen von den Zutand, der da Zechen emttert hat Dann recht en enfacher Maxmum Lkelhood Etmator Kann beween werden machen wr ncht) Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

25 Maxmum Lkelhood chätzer für HMM Man zählt enfach De relatve Häufgket a t aller Zutandübergänge für alle Paare von Zutänden und t e A t de Zahl der Übergänge t a t p t ) t' M At A De relatve Häufgket aller Emon e x) für alle Zutände und Zechen x e E x) de Häufgket, mt der Zutand Zechen x emttert e x) x' Σ E x) E x') t' Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

26 Overfttng Vorcht vor Nullen eltene Übergänge/Emonen fehlen n klenen Tranngmengen Nuller etzen de Wk von Pfaden ofort auf 0, egal, we wahrchenlch der Retpfad t Overfttng: Wr nd zu) nahe an den Tranngdaten Tranngdaten nd mmer nur en Auchntt der Realtät Mgl. Löung: Klene Peudo-Count zu allen Häufgketen adderen Dahnter verbrgt ch ene ganze Wenchaft Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

27 Lernen be unbekannter Zutandequenz Defnton Gegeben en HMM M mt feter truktur und ene equenz. Da Lernproblem fndet de Übergang-Wk a t und Emon-Wk e x) von M o, da p M) maxmal t. Zweter Fall: Wr kennen de Zutandequenz ncht Kene gechloene Löung bekannt außer alle auproberen) Prnzpell kann man vele uchheurtken anwenden Wähle ene tartkonfguraton Brnge vele klene/große Veränderungen an und betrachte de Veränderung von p M) Übernmm de Veränderungen, de ch potv auwrken Wederhole olange, b Fndet mmer nur lokale Optma Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

28 Baum-Welch Algorthmu Baum, L. E. and Petre, T. 1966). "tattcal Inference for Probabltc Functon of Fnte tate Markov Chan." Annal of Mathematcal tattc 37: Leonard E. Baum and Lloyd R. Welch Iteratve lokale uchheurtk e { 1, m } de Menge aller Tranngequenzen Rate tartkonfguraton a t und e x) Berechne kp M) Evaluaton: Wk aller Tranngdaten gegeben da Modell Whle true) Berechne neue erwartete Übergang-Wk a t Berechne neue erwartete Emon-Wk e x) Berechne k P M) mt dem neuen Modell) Wenn k -k < t): top ont: k:k end whle Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

29 Egenchaften Der Baum-Welch Algorthmu verbeert k garantert n jeder Iteraton Bewe führen wr ncht BW läuft n lokale Optma Löungmöglchketen: Mt verchedenen tartkonfguratonen tarten, mulated Annealng, Wenn mt Real-Zahlen gerechnet wrd, termnert BW ohne chwellwert k -k0).a. ncht Ewge, nfntemal klene Verbeerungen Daher Abbruch be Unterchretung ene chwellwert BW t en pezalfall de Expectaton Maxmzaton Algorthmu EM) Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

30 Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/ Neue erwartete Übergang-Wk Berechnung der neuen a t Wk de Übergang an Poton n ener enzelnen equenz k Alle Pfade b, Übergang zu t, t emttert k [+1], alle Pfade b zum Ende Aggregaton über alle Potonen und alle equenzen ) 1) 1])* [ * )* ), 1 k t k t t k P b e a f t z z p k j t k t t k k t k b e a f P A ) 1])* [ * )* ) 1

31 Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/ Neue erwartete Emon-Wk Berechnung der neuen erwarteten e x) + k b j t k k k b f P x E } ] [ { 1) )* ) 1 )

32 Wa wr ncht machen We kommt man zu ener guten truktur? Trade-Off: Komplexere trukturen mehr Zutände) paen ch beer an, aber man mu auch mehr Parameter raten Löung t more of an art [than a cence] We kommt man zu ener guten tartkonfguraton? Prnzpell t BW determntch gleche tartkonfguraton, glecher Verlauf aber Rundungprobleme) tartkonfguraton ollte externe Wen enbezehen welche Übergänge nd häufg, welche elten? Dvere Vorchläge n der Lteratur Immer ene gute Idee: Vele verchedene auproberen Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

33 Inhalt der Vorleung Evaluaton: Forward-Backward Algorthmu Parameterchätzung: Baum-Welch HMM für equenzalgnment ketched) Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

34 HMM m equenzalgnment Wr algneren equenzen und T Wr bauen enen Paar-HMM De Zutände nd M, I, D Zutand M emttert en Baenpaar X,Y) an Poton de Algnment mt Wahrchenlchket e M X,Y)) X,Y T Zutand I, D emttert ene InDel an Poton mt Wk px) X oder X T Übergang-Wk: M I:d, M D: d, I I: e, D D: e; Ret ergbt ch 1-2d d D 0,+1 M +1,+1 1-e d e 1-e I +1,0 e Emonwahrchenlchketen ncht gezegt Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

35 Verdeutlchung 1-2d d D 0,+1 M +1,+1 1-e d I +1,0 1-e e -AGGCTATCACCTGACCTCCAGGCCGA--TGCCC--- TAG-CTATCAC--GACCGC-GGTCGATTTGCCCGACC IMMDMMMMMMMDDMMMMMMDMMMMMMMIIMMMMMIII Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

36 Tranng Wo kommen de Parameter her? Müen au Tranngdaten algnerte equenzen) gelernt werden Emonwahrchenlchketen können z.t. auch au ubttutonmatrzen PAM / BLOUM) abgeletet werden Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

37 Paar-HMM und Edtabtand Da optmale Algnment entprcht der optmalen Zutandfolge durch da Paar-HMM Wr können über den Forward-Algorthmu aber auch de Geamtwk berechnen, da de equenzen und T ähnlch unter M nd Damt berechnen wr mplzt enen core über alle möglchen Algnment Gerade wenn zwe equenzen ncht allzu gut algneren, gbt e meten vele ähnlch gute chlechte) Algnment Dann können wr ene Auage darüber machen, mt welcher Wk de beden equenzen ähnlch nd gegeben M) ehr erfolgrech be der Berechnung von Multple equence Algnment Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/

38 Lteratur Gufeld behandelt da Thema ncht Lteratur Rabner, L. R. 1988). "A Tutoral on Hdden Markov Model and elected Applcaton n peech Recognton." Proceedng of the IEEE 772): Durbn, R., Eddy,., Krogh, A. and Mtchon, G. 1998). "Bologcal equence Analy: Probabltc Model of Proten and Nuclec Acd". Cambrdge, UK, Cambrdge Unverty Pre. Ander Krogh 1998). An Introducton to Hdden Markov Model for Bologcal equence. Ulf Leer: Algorthmche Bonformatk, Wnteremeter 2009/