Affymetrix Evaluierung

Transkript

1 technische universität Affymetrix Evaluierung Evaluation mit Benchmark Datensätzen Datensätze Spike-in Datensatz von Affymetrix (59 x HGU95A) 16 Gene wurden in 14 Konzentration kontrolliert einer Probe hinzugefügt Dilution (Verdünnungs-)Datensatz von GeneLogic (60 x HGU95v2) Leber und ZNS-Gewebe in verschiedenen Mengen und relativen Anteilen Benchmark (Rafael Irizarry: 15 Qualitätsmaße in Bezug auf Reproduzierbarkeit Sensitivität Spezifität Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

2 technische universität Affymetrix Evaluierung Kriterien/Qualitätsmaße für den Methodenvergleich (Übungsaufgabe) Median SD - median SD across replicates null log-fc IQR - Inter-quartile range of the log-fold-changes from genes that should not change null log-fc 99.9% % percentile of the log-fold-changes if from the genes that should not change Signal detect R 2 - R-squared obtained from regressing expression values on nominal concentrations in the spike-in data Signal detect slope - slope obtained from regressing expression values on nominal concentrations in the spike-in data low.slope - Slope from regression of observed log concentration versus nominal log concentraion for genes with low intensities med.slope - As above but for genes with medium intensities high.slope - As above but for genes with high intensities Obs-intended-fc slope - slope obtained from regressing observed log-fold-changes against nominal log-fold-changes Obs-(low)int-fc slope - slope obtained from regressing observed log-fold-changes against nominal logfold-changes for genes with nominal concentrations less than or equal to 2 low AUC - Area under the ROC curve (up to 100 false positives) for genes with low intensity standardized so that optimum is 1 med AUC - As above but for genes with medium intensities high AUC - As above but for genes with high intensities weighted avg AUC - A weighted average of the previous 3 ROC curves with weights related to amount of data in each class (low,medium,high) Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

3 Affymetrix Evaluierung technische universität Resultate für Methodenvergleich Vergleich von sehr vielen verschiedenen Qualitätsmaßen ergibt differenziertes Bild Dunklere Farbe steht für bessere Ergebnisse Für Regressionsmaße schneidet GC/RMA besonders gut ab MAS 5.0 schneidet besonders schlecht ab für Klassifikationsmaße Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

4 10. Expressionsdaten: Klassifikation Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

5 ROC Kurven technische universität ROC-Kurve (Receiver Operating Characteristic) Auftragung von Sensitivität gegen (1 Spezifität) jeweils im Intervall [0,1] Verschiedenste Alternativen für die Bedeutung der Achsen sind üblich in verschiedenen Wissenschafts-Disziplinen, selbst innerhalb der Bioinformatik Erläuterung des Prinzips anhand einer Klassifikation von Gesunden (D-, Negative) und Kranken (D+, Positive) Hypothetische Annahme: Normalverteilung der Messwerte jeweils für Gesunde und Kranke Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

6 technische universität ROC Kurven Kenngrößen für Vierfeldertafeln zur Beurteilung der Güte von Klassifikationsverfahren (hier am Beispiel aus der Medizin: Diagnoseverfahren) Sensitivität Bedingte Wahrscheinlichkeit, dass das Diagnoseverfahren die Erkrankung erkennt (T+), unter der Bedingung, dass sie tatsächlich vorliegt (D+): P(T+ D+) Schätzer: Anteil richtig Positiver Spezifität Bedingte Wahrscheinlichkeit, dass das Diagnoseverfahren auf Nichterkrankung entscheidet (T-), unter der Bedingung, dass tatsächlich keine Erkrankung vorliegt (D-): P(T- D-) Schätzer: Anteil richtig Negativer Gesucht ist Kompromiss zwischen Sensitivität und Spezifität Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

7 ROC Kurven technische universität ROC-Kurve (Receiver Operating Characteristic) Auftragung von Sensitivität gegen (1 Spezifität) jeweils im Intervall [0,1] Theoretische ROC- Kurve im Normalverteilungs- Beispiel Cutpoint µ + Cutpoint ½ (µ + +µ - ) Cutpoint µ - Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

8 ROC Kurven technische universität Schätzung der ROC-Kurve aus den Daten Normalverteilungsmodell (parametrisch) Definition: a = ( µ µ ) σ und b = σ σ Φ Verteilungsfunktion der Standardnormalverteilung ROC-Kurve: 1 sens x = Φ ( a + bφ ( x)), 0 x 1 Schätzung der Parameter a und b aus den Daten mit Maximum-Likelihood Direkte Schätzung (nichtparametrisch) Zunächst Schätzung von Sensitivität und Spezifität aus den Daten für alle möglichen Cutpoints Dann Auftragung der Schätzwerte gegeneinander und lineare Interpolation (Analoges Vorgehen für andere Kenngrößen als Sensitivität und Spezifität) Zur Schätzung der Variabilität der ROC-Kurve existieren verschiedene Verfahren (sowohl punktweise als auch simultane Konfidenzbänder) Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

9 technische universität ROC Kurven AUC (Area under the Curve) AUC ist definiert als Fläche unter der ROC-Kurve AUC kann zur Bewertung eines Diagnoseverfahrens mit einer univariaten Maßzahl verwendet werden AUC nahe bei 1.0: Zuverlässiges Diagnoseverfahren AUC nahe bei 0.5: Wertloses, zufälliges Diagnoseverfahren pauc (Partial Area under the Curve) Berechnung der Fläche nur bis zu einer vorgegebenen Spezifität Äquivalenz von AUC und Mann-Whitney-Statistik AUC entspricht der Wahrscheinlichkeit, ein zufälliges Paar aus (D+, D-) korrekt zu diagnostizieren Schätzer für diese Wahrscheinlichkeit liefert Mann-Whitney-Statistik, die zur Wilcoxon-Rangsummen-Statistik äquivalent ist Dieser Zusammenhang kann zur Schätzung der Variabilität der geschätzten AUC verwendet werden Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

10 ROC Kurven technische universität Wichtiges Beispiel für ROC-Analyse bei Microarray- Experimenten Fragestellung: Welches der Gene ist (univariat) für die Diagnose einer Krankheit geeignet Lösung: Ranking der Gene mit Hilfe von AUC bzw. pauc Szenarien für die Trennung von Kranken und Gesunden Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

11 ROC Kurven technische universität Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

12 ROC Kurven technische universität Visualisierung von AUC und pauc pauc(t 0 ) ist die Fläche unter der ROC-Kurve bis zu einem cutoff von t 0 für die FDR (false positive rate) Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

13 technische universität ROC Kurven Krebs-Beispiel Subklassifikation bei Leukämie Ziel: Diagnose soll B-cell ALL (Leukämie-Variante) mit und ohne BCR/ABL-Translokation unterscheiden Mit Translokation steht für die kranke Gruppe Datensatz erhältlich im Bioconductor-Paket ALL Das probe set 1636_g_at (repräsentiert gerade das betroffene ABL1-Gen) hat höchsten AUC-Wert und höchsten pauc(0.1)-wert Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

14 technische universität Expressionsdaten: Klassifikation Wichtigste Unterscheidung Sind Gruppenzugehörigkeiten im Vorhinein gegeben oder sollen erste Gruppen gefunden werden? Statistische Unerteilung: Clusteranalyse Diskriminanzanalyse Oft wissen Anwender nicht, welches dieser Ziele sie verfolgen Übersicht der Themen für die Vorlesung Unüberwachtes Lernen Ähnlichkeitsmaße und Clusteralgorithmen Bewertung der Qualität von Ergebnissen von Clusterverfahren Überwachtes Lernen Klassen-Vorhersage mit PAM (Prediction Analysis for Microarrays) Klassifikation mit Support Vector Maschinen Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund

15 technische universität Expressionsdaten: Klassifikation Wichtige Unterscheidung Klassifikation von Proben (Arrays, Samples) Ziel: Finde Genexpressionsprofile, die zwischen bekannten Zelltypen- oder Bedingungen unterscheiden (klassisch: Tumorgewebe gegen gesundes Gewebe) verschiedene zuvor unbekannte Zelltypen- oder Bedingungen unterscheiden, zum Beispiel neue Unterklassen einer bekannten Klasse von Tumoren Klassifikation von Genen Ordne eine unbekannte cdna-sequenz einer bekannten Genklasse zu Unterteile eine Gengruppe in neue (unbekannte) funktionelle Klassen aufgrund der Genexpressionsprofile in verschiedenen Proben Krebsklassifikation Machine learning Statistik Class discovery Unüberwachtes Lernen Clusteranalyse Class prediction Überwachtes Lernen Diskriminanzanalyse Jörg Rahnenführer, Statistik in der Bioinformatik, SS09, TU Dortmund