KURSTAG 25 QUALITÄT VON VORHERSAGEN

Transkript

1 KURSTAG 25 QUALITÄT VON VORHERSAGEN In der Vorlesung haben Sie etwas über Qualität von Vorhersagemethoden gelernt. Aufgabe ist es, die dort genannten Formeln in ein Programm umzusetzen. Dies soll für den Fall einer (!) Aussage mit Wertebereich die Prozentangaben, die Hamming-Distanz, den quadratischen Abstand, den L p -Abstand, den Korrelationskoeffizient, den gegenseitigen Informationsgehalt, den normalisierten gegenseitigen Informationsgehalt, die Sensitivität, die Spezifität und den Korrelationskoeffizient berechnen und nett ausgeben. Für eine 3 3-Matrix geben Sie ebenfalls an. Sensitivität Q D i, Spezifität Q M i, Q total und den gegenseitigen Informationsgehalt IC(D,M) Schöne Zahlenbeispiele haben Sie bei Programmen zur Vorhersage von Transmembranhelices kennengelernt; die Zahlen sind in Tab zusammengestellt. Benutzten Sie diese Zahlen für Ihre binären Aussagen. Die Tabelle hat allerdings eine große Macke, wie Sie wahrscheinlich feststellen werden... Ein schönes Zahlenbeispiel haben Sie am Ende der Vorlesung über Protein-Sekundärstruktur-Vorhersage gesehen (siehe Tab. 25.3). Benutzen Sie dieses auf jeden Fall als einen Datensatz für Ihr Programm; d. h., lassen Sie alle (!?) oben aufgeführten Werte für diesen Datensatz berechnen. Kreieren Sie einen Datensatz, der folgendes Zitat belegt: Die Strukturelement-Verteilung in globulären Proteinen liegt nahe bei 35 % Helix, 15 % β-strang,

2 114 Qualität von Vorhersagen Tabelle 25.1: Leistung verschiedener Metagenom-Analyse-Werkzeuge. Method TP FP TN FN SEN a SPEC b PPV c NPV d MCC e CLARK EBI Genometa GOTTCHA Kraken LMAT MEGAN MetaPhlan MetaPhyler MG-RAST motu OneCodex QIIME Taxator-tk a Sensitivität b Spezifität c Positive predictive value d Negative predictive value e Matthews Korrelationskoeffizient 25 % reverse Turns und 25 % Coil. Wenn ein Vorhersage-Algorithmus nur Helix vorhersagt, täuscht er also schon ein Korrektheit von Q total = 35 % vor! Wie hängt der gegenseitige Informationsgehalt von der Gesamtzahl N an Aussagen ab? Die Tabellen 25.4 bis 25.6 sind aus der Publikation Matthews (1975) kopiert (ohne Tippfehler!). Füllen Sie die fehlenden Spalten aus. Dem Autor Matthews ist damals wohl mindestens ein Fehler unterlaufen; versuchen Sie diese zu korrigieren. Für die Berechnung des MCC (Matthews Korrelationskoeffizient) benutzen Sie bitte beide Formeln, die in der Vorlesung angegeben wurden; ergeben die wirklich gleiche Werte? Welches ist das (damals) beste Programm zur Vorhersage von Proteinstruktur gewesen? Wie steht s mit der Qualität dieser Programme im Vergleich zu GOR IV?

3 115 Tabelle 25.2: Qualität von Programmen zur Vorhersage von Transmembranregionen für alle biochemisch charakterisierten Transmembran-Proteine. MSR: Membran-überspannende Region; T P: Zahl korrekt vorhergesagter MSRs; FN: Zahl nicht vorhergesagte MSRs; FP: Zahl falsch vorhergesagter MSRs. Die Methoden sind sortiert nach der Summe FN + FP. Die Summe T P + FN sollte die Gesamtzahl an MSRs ergeben; dies ist nicht der Fall, wenn eine vorhergesagte Region mehr als eine tatsächliche Region überspannt oder umgekehrt. Verändert nach Möller et al. (2001). Sensi- Rele- Methode Zitat T P FN FP tivität vanz TMHMM 2.0 Sonnhammer et al. (1998) ,93 0,96 HMMTOP Tusnády & Simon (1998) ,95 0,90 MEMSAT 1.5 Jones et al. (1994) ,88 0,91 Eisenberg et al. (1982) ,92 0,83 ALOM 2 Nakai & Kanehisa (1992) ,44 0,96 PHD Rost et al. (1996a,b) ,64 0,73 TopPred Claros & von Heijne (1994) ,53 0,79 Gesamtzahl an MSRs: 883 Tabelle 25.3: Vorhersagequalität von GOR IV. Vorhergesagt Beobachtet H E C Total H E C Total Q a prd 64,7 60,7 65,1 Q b obs 67,0 36,5 75,8 Q c 3 = 64,4 % a b c Zahl korrekt vorhergesagter Einheiten Zahl vorhergesagter Einheiten. Zahl korrekt vorhergesagter Einheiten Zahl beobachteter Einheiten. Gesamtzahl korrekt vorhergesagter Einheiten Gesamtzahl an Einheiten.

4 116 Qualität von Vorhersagen Tabelle 25.4: Vorhersage von α-helikalen Positionen im Lysozym des Phagen T4. Kopiert aus Matthews (1975). Zitat N T P T N FP FN PCP α PCN α Q 3,α Sens. Spec. MCC Nagano & Hasegawa (1973) ,198 Prothero (1966) Chou & Fasman (1974) Lim (1974) Ptitsyn & Finkelstein (1970) Finkelstein et al. (1974) Guzzo (1965) Leberman (1971) Barry & Friedman (1974) Burgess et al. (1974) Schellman (1975) Tabelle 25.5: Vorhersage von β-strang-positionen im Lysozym des Phagen T4. Kopiert aus Matthews (1975). Zitat N T P T N FP FN PCP β PCN β Q 3,β Sens. Spec. MCC Nagano & Hasegawa (1973) Chou & Fasman (1974) Lim (1974) Ptitsyn & Finkelstein (1970) Finkelstein et al. (1974) Barry & Friedman (1974) Burgess et al. (1974) Schellman (1975) Tabelle 25.6: Vorhersage von Turn-Positionen im Lysozym des Phagen T4. Kopiert aus Matthews (1975). Zitat N T P T N FP FN PCP turn PCN turn Q 3,turn Sens. Spec. MCC Nagano & Hasegawa (1973) Chou & Fasman (1974) Finkelstein et al. (1974) Burgess et al. (1974)

5 1. Literatur 117 Literatur Claros, M.G. & von Heijne, G. (1994). TopPred II: an improved software for membrane protein structure predictions. Comp. Appl. Biosci., 10, Eisenberg, D., Weiss, R.M. & Terwilliger, T.C. (1982). The helical hydrophobic moment: a measure of the amphiphilicity of a helix. Nature, 299, Jones, D.T., Taylor, W.R. & Thornton, J.M. (1994). A model recognition approach to the prediction of all-helical membrane protein structure and topology. Biochemistry, 33, Matthews, B.W. (1975). Comparison of the predicted and observed secondary structure of T4 phage lysozyme. Biochim. Biophys. Acta, 405, , 116 Möller, S., Croning, M.D.R. & Apweiler, R. (2001). Evaluation of methods for the prediction of membrane spanning regions. Bioinformatics, 17, , Erratum in Bioinformatics, 18, Nakai, K. & Kanehisa, M. (1992). A knowledge base for predicting protein localization sites in eukaryotic cells. Genomics, 14, Rost, B., Casadio, R. & Fariselli, P. (1996). Refining neural network predictions for helical transmembrane proteins by dynamic programming. Proc. Int. Conf. Intell. Syst. Mol. Biol., 4, Rost, B., Fariselli, P. & Casadio, R. (1996). Topology prediction for helical transmembrane proteins at 86 % accuracy. Protein Sci., 5, Sonnhammer, E.L.L., von Heijne, G. & Krogh, A. (1998). A hidden Markov model for predicting transmembrane helices in protein sequences. In Proc. Sixth Int. Conf. on Intelligent Systems for Molecular Biology (ISMB) (Glasgow, J., Littlejohn, T., Major, F., Lathrop, R., Sankoff, D. & Sensen, C., Hrsg.). AAAI Press, Menlo Park, CA, S Tusnády, G.E. & Simon, I. (1998). Principles governing amino acid composition of integral membrane proteins: application to topology prediction. J. Mol. Biol., 283,