Random Forests. Angewandte Biostatistik mit R. Fabian Knorre Ein Seminar bei Prof. Dr. Jörg Rahnenführer

Transkript

1 Angewandte Biostatistik mit R Fabian Knorre Ein Seminar bei Prof. Dr. Jörg Rahnenführer 1 / 53

2 Inhaltsverzeichnis 1 Motivation und Einleitung: Was ist ein... und wozu? 2 CART - Einleitung Konstruktion Beispiel in R / 53

3 Situation Datensatz bspw. aus einer genetischen Studie enthält hochdimensionale Daten: Vielzahl an Einflussvariablen (kann die Anzahl der Individuen auch deutlich übersteigen) kategoriale oder stetige Zielvariable Ziel: Erkennung von Zusammenhängen und Strukturen zwischen den Einfluss- und der Zielvariable ohne vorher Einflussvariablen selektieren zu müssen (Erweiterung des CART-Ansatzes) 3 / 53

4 Woraus besteht ein...? Classification and Regression Tree Ein Wurzelknoten mehrere weitere Knoten und Endknoten jeder Knoten (bis auf Endknoten) teilt sich in zwei weitere Knoten auf Trennung durch Entscheidungsregel bezüglich einer Einflussvariable Jeder Endknoten repräsentiert einen Wert Jedem Individuum wird derjenige Wert des Endknotens zugewiesen, dem es zugeordnet wird 4 / 53

5 Woraus besteht ein...? Classification and Regression Tree Ein Wurzelknoten mehrere weitere Knoten und Endknoten jeder Knoten (bis auf Endknoten) teilt sich in zwei weitere Knoten auf Trennung durch Entscheidungsregel bezüglich einer Einflussvariable Jeder Endknoten repräsentiert einen Wert Random Forest Jedem Individuum wird derjenige Wert des Endknotens zugewiesen, dem es zugeordnet wird besteht aus vielen zufällig generierten Bäumen Zuweisungen eines Wertes für jedes Individuum anhand der Entscheidung der einzelnen Bäume 4 / 53

6 CART - Einleitung Konstruktion Beispiel in R 5 / 53

7 CART - Einleitung Konstruktion Beispiel in R Erstmals beschrieben von Breiman et al. (1993) und erreicht in letzter Zeit immer mehr Popularität als Methode zur Identifizierung von Struktur in hochdimensionalen Datensätzen. Unterscheidung zwischen Klassifikations- und Regressionsbäumen: Classification Trees Klassifikationsbäume für kategoriale Zielgrößen weist jedem Individuum eine Klasse zu (bspw. Wahr oder Falsch ) Regression Trees Regressionsbäume für stetige Zielgrößen weist jedem Individuum einen Wert zu 6 / 53

8 Situation CART - Einleitung Konstruktion Beispiel in R Datensatz n Objekte Zielvariable y = (y 1,..., y n) p potentielle (binäre) Einflussvariablen Beobachtungen X = (x 1,..., x n) T mit x j = (x j1,..., x jp ) Das generelle Interesse liegt darin, den Zusammenhang zwischen X und y herauszufinden 7 / 53

9 CART - Einleitung Konstruktion Beispiel in R Konstruktion eines Baumes Idee An jedem Knoten, die dem Knoten zugewiesenen Daten nach der Einflussvariable unterteilen, sodass die beiden entstehenden Gruppen in der Zielvariable jeweils möglichst der selben Klasse angehören Bei jedem Knoten: Suche diejenige Einflussvariable, die die größte Aussagekraft für die Zielvariable liefert, bspw. die j-te unterteile jedes Objekt i nun in zwei Gruppen, anhand x ij x ij = Wert 1 x ij zu linkem Knoten x ij = Wert 2 x ij zu rechtem Knoten Wähle j so, dass Heterogenität innerhalb einer Gruppe minimiert wird 8 / 53

10 CART - Einleitung Konstruktion Beispiel in R 9 / 53

11 Trennung CART - Einleitung Konstruktion Beispiel in R Frage: Wie misst man die Heterogenität? Node Impurity Bezeichne Node Impurity (Knotenunreinheit) I (Ω) als Maß der Heterogenität innerhalb der Menge Ω eines Knotens wähle die Variable, die folgenden Ausdruck maximiert minimiere Φ = I (Ω) I (Ω L ) I (Ω R ) I (Ω L ) + I (Ω R ) 10 / 53

12 Maße für Node Impurity CART - Einleitung Konstruktion Beispiel in R Classification Trees (mit zwei Klassen) Sei p Ω = P(y = 1 Ω): Misclassification error: i(ω) = min(p Ω, 1 p Ω ) Gini index: i(ω) = 2p Ω (1 p Ω ) Deviance: i(ω) = p Ω log(p Ω ) (1 p Ω ) log(1 p Ω ) Regression Trees Üblichste Maßzahl für die Knotenunreinheit ist der Mean Square Error : i(ω) = 1 n Ω i Ω (y i ȳ) 2 11 / 53

13 CART - Einleitung Konstruktion Beispiel in R IsolateName IDV.Fold NFV.Fold P1 P10 P20 P46 P82 1 CA I - I - 2 CA I - I T 3 CA I M - A 4 Hertogs-Pt I Hertogs-Pt I A 6 Hertogs-Pt I R - A 7 Hertogs-Pt A 8 Hertogs-Pt I - - A 50 LBJ10D I d X L Virco-Datensatz (Auszug) 1066 Virus-Isolate, 99 Aminosäure-Positionen Nelfinavir und Indinavir HIV-Proteaseinhibitoren zur Therapie von HIV-1-infizierten Patienten NFV.Fold und IDV.Fold geben die Resistenz gegenüber dem Medikament und dem entsprechenden Isolat (im Vergleich zum Wildtype) an 12 / 53

14 CART - Einleitung Konstruktion Beispiel in R Konstruktion eines Klassifikationsbaumes > vircourl <- " asg/data/virco_data.csv" > virco <- read.csv(file=vircourl, header=t, sep=",") > attach(virco) > VircoGeno <- data.frame (virco[,substr(names(virco),1,1)=="p"]!="-") > Trait <- as.factor(idv.fold > NFV.Fold) 13 / 53

15 CART - Einleitung Konstruktion Beispiel in R Konstruktion eines Klassifikationsbaumes > library(rpart) > ClassTree <- rpart(trait~., method="class", data=vircogeno) > ClassTree n=976 (90 observations deleted due to missingness) node), split, n, loss, yval, (yprob) * denotes terminal node 14 / 53

16 CART - Einleitung Konstruktion Beispiel in R Konstruktion eines Klassifikationsbaumes 1) root FALSE ( ) 2) P54< FALSE ( ) 4) P76< FALSE ( ) * 5) P76>= TRUE ( ) * 3) P54>= TRUE ( ) 6) P46< FALSE ( ) 12) P1< FALSE ( ) * 13) P1>= TRUE ( ) * 7) P46>= TRUE ( ) 14) P10< FALSE ( ) * 15) P10>= TRUE ( ) 30) P48< TRUE ( ) 60) P20< TRUE ( ) 120) P76< FALSE ( ) * 121) P76>= TRUE ( ) * 61) P20>= TRUE ( ) * 31) P48>= TRUE ( ) * 15 / 53

17 CART - Einleitung Konstruktion Beispiel in R > plot(classtree) > text(classtree) P54< 0.5 P76< 0.5 P46< 0.5 FALSE TRUE P1< 0.5 P10< 0.5 FALSE TRUE FALSE P20< 0.5 P76< 0.5 P48< 0.5 TRUE TRUE FALSE TRUE 16 / 53

18 CART - Einleitung Konstruktion Beispiel in R Konstruktion eines Regressionssbaumes > Trait <- NFV.Fold - IDV.Fold > Tree <- rpart(trait~., method="anova", data=vircogeno) > Tree n=976 (90 observations deleted due to missingness) node), split, n, deviance, yval * denotes terminal node 1) root ) P54>= ) P46>= * 5) P46< ) P58< * 11) P58>= * 3) P54< ) P73< * 7) P73>= ) P35< * 15) P35>= * 17 / 53

19 18 / 53

20 Random Forest 19 / 53

21 Random Forest Verfahren zu Klassifikation und Regression von Daten Erstmals vorgestellt von Breiman in Idee Ein Random Forest besteht aus vielen Trees, daher Forest Random da die Bäume zufällig generiert werden Es wird nicht der ganze Datensatz, sondern Bootstrap Lernstichproben genutzt An jedem Knoten nur zufällige Auswahl an Einflussvariablen natürlicher Ansatz Kollinearität zu handhaben 20 / 53

22 Konstruktion Schritt 1 Beginne mit b = 1, dem ersten Baum Wähle zufällig mit zurücklegen n aus n Individuen aus (Bootstrap) und bezeichne diese als Lernstichsprobe Sei n 1 die Anzahl verschiedener Individuen der Lernstichprobe (n n ) Die übrigen n 2 = n n 1 Individuen sind die Out of Bag Daten Im Gegensatz zur Kreuzvalidierung, die verzerrt ist mit unbekantem Bias, ist die Out-of-Bag-Schätzung unverzerrt 21 / 53

23 Algorithmus Schritt 2 Benutze die Lernstichprobe um einen Baum zu generieren Nutze dabei an jedem Knoten nur eine zufällige Auswahl der p Einflussvariablen als mögliche Splitting-Variablen Klassifikation: p Regression: p 3 22 / 53

24 Algorithmus Schritt 3 Nur mit den Out-of-Bag-Daten: a Zeichne die Tree Impurity des gesamten Baumes auf und benenne sie als π b (Tree Impurity ist die Summe der Node Impurities aller Endknoten) b Permutiere x j und zeichne die Tree Impurity auf, benutze dabei die permutierten Daten für jedes j = 1,..., p. Bezeichne diese π bj und definiere die für die j-te Einflussvariable als δ bj = π bj π b 23 / 53

25 Algorithmus Schritt 4 Wiederhole die Schritte (1) bis (3) für b = 2,..., B und berechne δ 1j,..., δ Bj für jedes j 24 / 53

26 Algorithmus Schritt 4 Wiederhole die Schritte (1) bis (3) für b = 2,..., B und berechne δ 1j,..., δ Bj für jedes j Schritt 5 Berechne die Overall-Variable-Importance-Scores für die j-te Einflussvariable als ˆθ j = 1 B B b=1 δ bj 24 / 53

27 Eigenschaften eines Random Forest Random Forest Geeignet bei hochdimensionalen Daten, bei denen die Anzahl der Attribute/Einflussvariablen die Anzahl der beobachteten Objekte übersteigt dennoch robust gegen Überanpassung Quantifiziert die Wichtigkeit einzelner Variablen Gute Performance im Vergleich mit Klassifizierungsmethoden wie z.b. der Diskriminanzanalyse, Support Vector Machines und neuronalen Netzwerken Unverzerrte Schätzung der Fehlerrate Konsistente Schätzung der Zielwerte Vorteil gegenüber einem einzelnen Baum: Einzelner Baum hat hohe Varianz Fehlentscheidung in hohem Knoten zieht sich durch Folgeknoten viele Bäume reduzieren diesen Effekt 25 / 53

28 Entscheidung Klassifikation und Regression findet für jedes Objekt statt: Vorhersage Klassifikationsfall Entscheidung für diejenige Klasse, für die sich die meisten Bäume entscheiden (Bei Gleichstand zufällige Zuweisung) Vorhersage Regressionsfall Entscheidung für den Durchschnitt aller Bäume. In R können neue Daten mit dem Befehl predict(randomforest.object, newdata) klassifiziert werden 26 / 53

29 Berechnung des Outputs Regressionsfall Mean of squared Residuals Wird berechnet aus den OOB-Daten: MSE OOB = 1 n n (y i ȳi OOB ) 2 i=1 Wobei ȳi OOB ist. der Durchschnitt der OOB-Vorhersage für die i-te Beobachtung 27 / 53

30 Berechnung des Outputs Regressionsfall Mean of squared Residuals Wird berechnet aus den OOB-Daten: MSE OOB = 1 n n (y i ȳi OOB ) 2 i=1 Wobei ȳi OOB ist. der Durchschnitt der OOB-Vorhersage für die i-te Beobachtung Percent variance explained Wird berechnet aus: 1 MSE OOB ˆσ 2 y 27 / 53

31 Anwendung in R - Initalisierung der Daten > library(randomforest) > attach(virco) > Trait <- NFV.Fold - IDV.Fold > VircoGeno <- data.frame(virco[,substr(names(virco),1,1) =="P"]!="-") werden in randomforest() nicht zugelassen, daher müssen sie entfernt werden: > Trait.c <- Trait[!is.na(Trait)] > VircoGeno.c <- VircoGeno[!is.na(Trait),] Generierung des : > RegRF <- randomforest(vircogeno.c, Trait.c, importance=true) 28 / 53

32 Anwendung in R - Parametereinstellungen Innerhalb randomforest() soll berechnet werden: importance = TRUE Anzahl zu generierender Bäume: ntree = 500 Anzahl zufällig ausgewählter Variablen an jedem Knoten: mtry =.. Anzahl der Permutationen der OOB-Daten an jedem Baum für : nperm =.. Ausgabe der OOB-Fehlerrate für jeden Baum: do.trace = TRUE 29 / 53

33 Anwendung in R - Regression Random Forest Output > RegRF Call: randomforest(x = VircoGeno.c, y = Trait.c, importance = TRUE) Type of random forest: regression Number of trees: 500 No. of variables tried at each split: 33 Mean of squared residuals: % Var explained: / 53

34 31 / 53

35 Maßzahl (%IncMSE) in R Berechnet durch Permutation der OOB-Daten (Random Forest - Algorithmus Schritt (3) bis (5)): Berechnung der Tree Impurity für jeden Baum (π b ) Fehlerrate für Klassifikation MSE für Regression Tree Impurity nach einzelner Permutation jeder Einflussvariable (π bj ) Berechnung der Differenzen (δ bj = π bj π b ) B Durchschnitt der Differenzen über alle Bäume (ˆθ j = 1 δ B bj ) b=1 als %IncMSE : ˆθ j Standardabweichung der δ bj Falls Standardabweichung gleich Null setze auf Null Alternativ mit importance(regrf) tabellarische Ausgabe für alle Aminosäure-Positionen 32 / 53

36 > varimpplot(regrf,type=1, n.var=20) P35 P54 P73 P36 P84 P94 P63 P20 P72 P48 P1 P2 P15 P88 P30 P95 P14 P82 P58 P %IncMSE 33 / 53

37 Vergleich Zielfunktionswerte Position 35 und Mutation an Position 35 n= keine Mutation an Position 35 n= / 53

38 Vergleich Zielfunktionswerte Position 35 und Mutation an Position 35 n= keine Mutation an Position 35 n= Mutation an Position 57 n= keine Mutation an Position 57 n= / 53

39 35 / 53

40 Umgang mit fehlenden Daten Situation Hochdimensionaler Datensatz einer Genetik-Studie Ausprägung der Zielvariable für jedes Objekt beobachtet Unregelmäßig fehlende Einträge in den Einflussvariablen (z.b. fehlende SNP-Werte) Beispiel: Es fehlt in einem Datensatz mit 1000 Einflussvariablen bei jedem Objekt genau ein Wert Wir wollen dennoch eine Schätzung abgeben können (999 Werte sind bei jedem Objekt vorhanden) 36 / 53

41 Erster Ansatz: Objekte entfernen, die einen oder mehr fehlende Einträge bei den SNPs haben Der verwendbare Datensatz wird wohlmöglich ziemlich klein (oder gar nicht mehr existent) 37 / 53

42 Erster Ansatz: Objekte entfernen, die einen oder mehr fehlende Einträge bei den SNPs haben Der verwendbare Datensatz wird wohlmöglich ziemlich klein (oder gar nicht mehr existent) Zwei Verfahren: a Single Imputation b Multiple Imputation 37 / 53

43 Single Imputation Einschritt-Verfahren Sei x ij fehlender Genotype-Eintrag, für das i-te Individuum und den j-ten SNP Seien g jk die beobachteten Allele bei SNP j mit den relativen Häufigkeiten ˆπ jk Definiere: x ij = 3 g jk 1 { k=1 max (ˆπ jl ) l {1,2,3} } (ˆπ jk ) In R mit na.roughfix(data) Anwendung sollte innerhalb von ethnischen Gruppen oder der Rasse geschehen. 38 / 53

44 Multiple Imputation Intelligenterer Ansatz: Multiple Imputation Zielgröße wird zur Rekonstruktion der fehlenden Werte mitberücksichtigt Mehrschritt-Verfahren Algorithmus: Schritt 1 - entspricht Single Imputation Ersetze jede fehlende Variable mit der häufigsten Ausprägung ihres Genotypes 39 / 53

45 Multiple Imputation Schritt 2 Generiere einen Random Forest und berechne den Proximity Score für jedes Individuenpaar P = 1 p 1,2 p 1,3 p 1,(n 1) p 1,n p 2,1 1 p 2,3 p 2,(n 1) p 2,n p 3,1 p 3,2 1 p 3,(n 1) p 3,n p (n 1),1 p (n 1),2 p (n 1),3 1 p (n 1),n p 4n, 1 p n,2 p 2,3 p 2,(n 1) 1 n n Proximity Score zweier Individuen a und b ist der Anteil der Bäume, bei denen a und b in den selben Endknoten fallen 40 / 53

46 Multiple Imputation Schritt 3 Ersetze jeden fehlenden Wert x ij durch die Genotypausprägung mit dem höchsten durchschnittlichen Proximity Score p k = 1 n k n p il 1 {gjk} (x lj) l=1, (l i) 41 / 53

47 Multiple Imputation Schritt 3 Ersetze jeden fehlenden Wert x ij durch die Genotypausprägung mit dem höchsten durchschnittlichen Proximity Score p k = 1 n k n p il 1 {gjk} (x lj) l=1, (l i) Schritt 4 Wiederhole die Schritte (2) und (3) mehrfach (in R, standardmäßig 5 Iterationen) 41 / 53

48 Multiple Imputation Schritt 3 Ersetze jeden fehlenden Wert x ij durch die Genotypausprägung mit dem höchsten durchschnittlichen Proximity Score p k = 1 n k n p il 1 {gjk} (x lj) l=1, (l i) Schritt 4 Wiederhole die Schritte (2) und (3) mehrfach (in R, standardmäßig 5 Iterationen) Schritt 5 Generiere einen Random Forest mit dem überarbeiteten Datensatz in R mit dem Befehl rfimpute(data, trait) 41 / 53

49 42 / 53

50 Wo werden noch eingesetzt? 43 / 53

51 Wo werden noch eingesetzt? Beispielsweise beim Kreditscoring Kreditscoring Klassifiziert jedem potentiellen Kreditnehmer eine Kreditwürdigkeit, also ob und in welchem Maße diese Person einen Kredit aufnehmen kann. Dies geschieht anhand von Merkmalen dieser Person wie z.b. Alter, Familienstand, etc.. 43 / 53

52 kredit laufkont laufzeit moral verw hoehe sparkont beszeit rate famges Auszug Datensatz Kreditscoring Lernstichprobe einer Süddeutschen Großbank 1000 ehemalige Kreditnehmer, von denen 300 nicht in der Lage waren, ihren Kredit zurückzuzahlen insgesamt 21 Einflussvariablen Zielvariable: 1 = Kredit wurde zurückgezahlt, 0 = Kredit wurde nicht zurückgezahlt 44 / 53

53 Klassifikation Kreditscoring > scoringurl<- " kredit/kredit.asc" > scoring <- read.table(file=scoringurl, header=t) > attach(scoring)> ClassRF > Trait <- as.factor(kredit) > Attrib <- scoring[,2:21] > ClassRFscoring <- randomforest(attrib, Trait, importance=true) 45 / 53

54 Klassifikation Kreditscoring > ClassRFscoring Call: randomforest(x = Attrib, y = Trait, importance = TRUE) Type of random forest: classification Number of trees: 500 No. of variables tried at each split: 4 OOB estimate of error rate: 23.9% Confusion matrix: 0 1 class.error hohe Fehlklassifikation für Kunden, die ihren Kredit nicht zurückzahlen konnten niedrige Fehlklassifikation für Kunden, die ihren Kredit zurückzahlen konnten eventuell sollten Einflussvariablen ergänzt werden 46 / 53

55 > varimpplot(regrf,type=1, n.var=15) laufkont laufzeit moral hoehe sparkont buerge alter rate beszeit verm bishkred verw wohn beruf gastarb MeanDecreaseAccuracy 47 / 53

56 48 / 53

57 Geeignet für einen Überblick über hochdimensionale Daten, ohne Variablen vorher zu selektieren Bestimmung einer (nützlich für Modellreduktion) Multiple Imputation als nützliches Werkzeug fehlende Werte zu ergänzen Schnell und einfach zu implementieren 49 / 53

58 Geeignet für einen Überblick über hochdimensionale Daten, ohne Variablen vorher zu selektieren Bestimmung einer (nützlich für Modellreduktion) Multiple Imputation als nützliches Werkzeug fehlende Werte zu ergänzen Schnell und einfach zu implementieren Zitat In fact, they are considered to be one of the most accurate general-purpose learning techniques available. Gérard Biau 49 / 53

59 & Literatur 50 / 53

60 & Literatur Biau, G. (2012). Analysis of a Model. Journal of Machine Learning Research 13, Breiman, L. breiman/randomforests/. ( ) Datensatz Kreditscoring kredit/kredit.html. ( ) Foulkes, A.S. (2009). Applied Statistical Genetics with R: For Population-based Association Studies. Springer, New York. 51 / 53

61 & Literatur Hastie, T., Tibshirani, R. und Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2. Auflage, Springer, New York. Liaw, A. und Wiener, M. (2002). Classification and Regression by randomforest. R News Vol 2/3, Liaw, A. und Wiener, M. (2012). Package randomforest. Breiman and Cutler s random forests for classification and regression. randomforest.pdf Core Team (2012)1. R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. ISBN , URL 52 / 53

62 Nevertheless, the statistical mechanism of true random forests is not yet fully understood and is still under active investigation. Gérard Biau 53 / 53