Fortgeschrittene Computerintensive Methoden

Transkript

1 Fortgeschrittene Computerintensive Methoden Einheit 8: Gradient Boosting (basierend auf einer VL-Einheit von B. Bischl in Dortmund) Bernd Bischl Matthias Schmid, Manuel Eugster, Bettina Grün, Friedrich Leisch Institut für Statistik LMU München SoSe 2014

2 Forward Stagewise Additive Modeling Gradientenabstieg: Wir erinnern uns zunächst an das Verfahren des Gradientenabstiegs in der numerischen Optimierung, da wir es später brauchen werden. Sei f (x) eine beliebige, stetig differenzierbare, unrestringierte Zielfunktion, die wir minimieren wollen. Daher können wir den Gradienten f (x) berechnen. Dieser zeigt immer in die Richtung des steilsten Anstiegs bzw. f (x) zeigt in die Richtung des steilsten Abstiegs. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 1 / 63

3 Forward Stagewise Additive Modeling / 2 Stehen wir an einem Punkt x k während der Minimierung, so können wir diesen durch folgenden Schritt verbessern f (x k+1 ) = f (x k ) α f (x k ) Wir laufen also ein Stück den Berg hinunter. Wie weit wir laufen, wird durch die sogenannte Schrittweite α festgelegt. Um diese zu finden, können wir nun g(α) = f (x k ) α f (x k ) = min! betrachten. Diese Minimierungsaufgabe hat nur einen reellen Parameter und ist daher " leicht" zu lösen. Verfahren hierfür heißen im Englischen Line-Search Methoden. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 2 / 63

4 Forward Stagewise Additive Modeling Wir betrachten wieder einmal das allgemeine Problem des statistischen Lernens mit N Trainingsdaten {(x i, y i )} N i=1. Zu Beginn wird es einfacher sein, Gradient Boosting für Regression zu verstehen, daher stellen wir uns zunächst einmal y i R vor. Zur Klassifikation kommen wir später. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 3 / 63

5 Forward Stagewise Additive Modeling / 2 Angenommen, wir haben wie bei AdaBoost eine Hypothesenmenge H aus schwachen Lernern zur Verfügung. Wieder möchten wir ein additives Modell lernen: M f (x) = β m h(x, θ m ) m=1 Wie üblich minimieren wir dazu das empirische Risiko: R = N L(y i, f (x i )) = i=1 N M L(y i, β m h(x i, θ m )) i=1 m=1 Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 4 / 63

6 Forward Stagewise Additive Modeling / 3 Ein üblicher Verlust für die Regression ist z.b. der quadratische mit L(y, ŷ) = (y ŷ) 2. Offensichtlich hängt R von den Basis-Lernern h(x, θ m ) (bzw. deren Parametern θ m ) und den Gewichten β m ab. Diese müssen wir also so finden, so dass unser summierter Verlust R minimal wird. Je nach Verlustfunktion L und Hypothesenmenge H wird es äußerst schwierig sein, R direkt über alle Parameter (β 1, θ 1,..., β M, θ M ) zu minimieren. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 5 / 63

7 Forward Stagewise Additive Modeling / 4 Einfacher ist es oft, in gieriger Weise (Engl.: greedy) R bzgl. nur eines Basis-Lerners zu minimieren: R = N L(y i, βh(x i, θ)) i=1 Wenn wir dies nun in einem iterativen Verfahren machen, kommen wir zum Prinzip des Forward Stagewise Additive Modeling Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 6 / 63

8 Forward Stagewise Additive Modeling / 5 Algorithm 1 Forward Stagewise Additive Modeling. 1: Initialize f 0 (x) = 0 2: for m = 1 M do N 3: (β m, θ m) = argmin β,θ L(y i, f m 1 (x i ) + βh(x i, θ)) i=1 4: Update f m(x) f m 1 (x) + β mh(x, θ m) 5: end for Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 7 / 63

9 Forward Stagewise Additive Modeling / 6 Hierbei halten wir also das bisherige additive Modell m 1 f m 1 (x) = β j h(x, θ j ) j=1 fest und addieren nur zu dessen Vorhersagen in gieriger Weise eine weitere additive Komponente, so dass der Verlust bzgl. der Trainingsdaten minimal wird. Vorher schon hinzugefügte Komponenten werden nicht mehr verändert. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 8 / 63

10 Gradient Boosting Der eben vorgestellte Algorithmus ist noch keiner, sondern nur ein abstraktes Prinzip. Einige wesentliche Details müssen noch konkretisiert und mit Leben gefüllt werden. Insbesondere ist unklar, wie wir in jeder Iteration m die neue, additive Komponente h(x, θ m ) und ihren Gewichtungsfaktor β m finden. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 9 / 63

11 Gradient Boosting / 2 Hierzu wenden wir das zu Anfang vorgestellte Prinzip des Gradientenabstiegs an, allerdings im Funktionenraum. Wir stellen uns zunächst einmal vor (als reines Gedankenexperiment), wir hätten ein vollständig nicht-parametrisches Modell f, dessen Vorhersagen wir beliebig an jeder Stelle der Trainingsdaten x i festlegen könnten. Wir hätten also N Parameter f (x i ) (und keine Möglichkeit zum Generalisieren, aber erstmal abwarten). Weiterhin setzen wir voraus, dass unser L differenzierbar ist. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 10 / 63

12 Gradient Boosting / 3 Jetzt wollen wir das Risiko eines solchen Modells per Gradientenabstieg minimieren. An einem Punkt im Parameterraum berechnen wir also den Gradienten, d.h. die Ableitung bzgl. jeder Parameterkomponente R f (x j ) = i L(y i, f (x i )) = L(y j, f (x j )) f (x j ) f (x j ) Wäre also (f (x 1 ),..., f (x N )) ein noch nicht optimales Modell während dieser Minimierung, würden wir updaten durch: f (x j ) f (x j ) β L(y j, f (x j )) f (x j ) Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 11 / 63

13 Gradient Boosting / 4 Verbinden wir dies mit dem iterativen, additiven Vorgehen beim Forward Stagewise Modelling, so befinden wir uns während der Minimierung an der Stelle f m. An dieser Stelle berechnen wir jetzt die Richtung des negativen Gradienten: [ ] L(yi, f (x i )) r im = f (x i ) f =f m 1 Diese r im werden wir im folgenden Pseudo-Residuen nennen. Ein Grund ist, dass sie für den quadratischen Verlust (bis auf Faktor 2) den bekannten Residuen entsprechen, denn L(y j, f (x j )) f (x j ) = (y j f (x j )) 2 f (x j ) = 2(y j f (x j )) Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 12 / 63

14 Gradient Boosting / 5 Unser β m finden wir durch Minimierung per Line-Search: β m = argmin β N i=1 L(y i, f m 1 (x) + βh(x, θ m )), wobei h(x, θ m ) = r m. ABER: Was soll das Ganze jetzt bringen? Ein so parametrisiertes Modell ist doch sinnlos, da es nur genau an den Punkten in den Trainingsdaten funktioniert? Hierzu schränken wir unsere additive Komponente natürlich noch durch h(x, θ m ) H ein. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 13 / 63

15 Gradient Boosting / 6 Die Pseudo-Residuen / der negative Gradient werden genau wie angegeben berechnet. Dann passen das wir das Regressionsmodell h(x, θ m ) so an, dass es den negativen Gradienten so gut wie möglich approximiert: θ m = argmin θ (r im h(x i, θ)) 2 Unser h(x, θ m ) entspricht also an den Datenpunkten so gut wie möglich dem negativen Funktionen-Gradienten und generalisiert auf den ganzen Raum! D.h. der neu hinzukommende additive Teil bewegt das Modell in Richtung der stärksten Verringerung des Verlusts. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 14 / 63

16 Gradient Boosting / 7 Wir brauchen also nur eine Möglichkeit, unsere Basis-Lerner per quadratischen Verlust an vorgegebene Daten (x i, r im ) anzupassen (= die bedingte Erwartung zu schätzen). Das ist so gut wie immer möglich und der quadratische Verlust ist meist numerisch effizient zu handhaben. β m finden wir in der Tat wie bereits angegeben durch Line-Search. Zusammenfassend: Ein Boosting-Schritt ist also genau ein (approximativer) Gradienten-Schritt im Funktionenraum, der das empirische Risiko maximal minimiert! Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 15 / 63

17 Gradient Boosting / 8 Algorithm 2 Gradient Boosting Algorithm. N 1: Initialize f 0 (x) = argmin θ0 L(y i, θ 0 ) i=1 2: for m = 1 M do [ ] L(yi,f (x 3: For all i: r im = i )) f (x i ) f =f m 1 4: Fit a regression base learner to the pseudo-residuals r im : N 5: θ m = argmin θ (r im h(x i, θ)) 2 i=1 N 6: Line-Search: β m = argmin β L(y i, f m 1 (x) + βh(x, θ m)) i=1 7: Update f m(x) = f m 1 (x) + β mh(x, θ m) 8: end for 9: Output ˆf (x) = fm (x) Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 16 / 63

18 Gradient Boosting / 9 Für die Regression verwenden wir meist diese Verluste: Quadratisch: L(y, f ) = (y f ) 2, L f = 2(y f ) Korrespondiert zu normalverteilten Fehlern, differenzierbar, nicht robust. Unser iteratives Verfahren entspricht iterativem Fitten von Residuen (= bekannte Technik). Absolut: L(y, f ) = y f, L f = sign(y f ) Korrespondiert zu laplaceverteilten Fehlern, nicht-differenzierbar in der 0 bei y = f, robust. Huber: In einem Interval um die 0 bei y = f quadratisch, dann linear fortgesetzt. Verbindet beide Vorteile, differenzierbar + robust. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 17 / 63

19 Gradient Boosting / 10 Regression Loss L squared abs huber Residual y f Abbildung : Verlustfunktionen bei Regression. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 18 / 63

20 Gradient Boosting / 11 Auf der folgenden Folie sehen wir uns zwei Regressionen an. Wir ziehen dazu einige Punkte von einem Abschnitt der Sinusfunktion, einmal mit Rauschen, einmal ohne. Als Verlustfunktion verwenden wir den quadratischen Verlust. Als Basis-Lerner werden sogenannte Baum-Stümpfe verwendet, dies sind Bäume mit nur einem (oder extrem wenigen) Splitpunkten. Geplottet werden die Vorhersagen für verschiedene Anzahlen an Boosting-Iterationen M. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 19 / 63

21 Gradient Boosting / 12 Aufruf in R: library(gbm)... model = gbm(y ~., data = data, distribution = "gaussian", n.trees = 1000, interaction.depth = 1, # Baumtiefe = 1 shrinkage = 1, # Lernrate bag.fraction = 1, # kein subsampling n.minobsinnode = 5 # Minimum Anzahl in Terminal Nodes ) Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 20 / 63

22 Gradient Boosting / 13 y = sin(x) + N(0, 0.00) y = sin(x) + N(0, 0.10) y M = 1 M = 10 M = 20 M = 1000 y M = 1 M = 10 M = 20 M = x x Abbildung : Regression mit GBM. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 21 / 63

23 Gradient Boosting / 14 Man erkennt, wie wir ausgehend von sehr rauhen, einfachen Basisfunktionen zu einem schönen, glatten Modell am Ende gelangen. Allerdings ist für den Fall mit Rauschen auch ein Problem sichtbar. Wir fitten die Daten zu gut (Overfitting). Dies Problem diskutieren und lösen wir später. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 22 / 63

24 Gradient Boosting und Bäume Sowohl bei AdaBoost als auch bei Gradient Boosting ist es sehr beliebt, Bäume bzw. Stümpfe als Basis-Lerner zu verwenden. Ein großer Teil der Forschung hat sich bisher auf diese Kombination konzentriert und hier konnten auch oft die besten Ergebnisse erreicht werden. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 23 / 63

25 Gradient Boosting und Bäume / 2 Zur Erinnerung, einige wesentliche Vorteile von Bäumen: Bäume haben kein Problem mit kategoriellen Features. Bäume haben kein Problem mit Ausreißern in den Features. Bäume haben kein Problem mit fehlenden Werten. Bäume haben kein Problem mit monotonen Transformationen einzelner Features. Bäume können auch für große N noch recht schnell gefitted werden. Bäume haben eine einfache Art der Variablenselektion eingebaut. Bäume können recht gut interpretiert werden. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 24 / 63

26 Gradient Boosting und Bäume / 3 Einer der wesentlichen Nachteile ist die oft suboptimale Vorhersageleistung. Genau dies wird stark verbessert durch die Kombination mit Boosting. Man erhält weiterhin die anderen genannten Vorteile im Boosting-Modell, verliert allerdings die Interpretierbarkeit, siehe aber dazu noch später. Weiterhin ist es möglich, Gradient Boosting noch speziell für Baum-Lerner anzupassen. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 25 / 63

27 Gradient Boosting und Bäume / 4 Regressionsbäume werden ähnlich wie Klassifikationsbäume angepasst. Unterschied 1: In jedem Terminal-Knoten sagen wir konstant den Mittelwert der enthaltenen y i der Daten vorher. Unterschied 2: Als Kriterium für Splits benutzen wir für die Unreinheit die Varianz der y i im Knoten t. Ein Baum lässt sich kurz so schreiben: h(x) = J j=1 γ ji(x R j ), wobei R j die Terminal-Regionen und γ j die zugeordneten Mittelwerte sind. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 26 / 63

28 Gradient Boosting und Bäume / 5 Im Boosting können wir diese spezielle, additive Struktur ausnutzen: f m (x) = f m 1 (x) + β m h m (x) = f m 1 (x) + β m J m j=1 Das β m wurde durch Line-Search gefunden: γ jm I(x R jm ) β m = argmin β N i=1 L(y i, f m 1 (x) + βh(x, θ m )) Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 27 / 63

29 Gradient Boosting und Bäume / 6 Tatsächlich muss man nicht erst γ jm finden (was ja durch den quadratischen Verlust eher approximativ geschieht,) und dann β m, um die beiden zu multiplizieren. Stattdessen kann man direkt so vorgehen: f m (x) = f m 1 (x) + γ jm = argmin γ J m j=1 γ jm I(x R jm ) x i R jm L(y i, f m 1 (x i ) + γ) D.h. wir verwenden die Struktur des Baums immer noch bzgl. des quadratischen Verlusts, bestimmen dann aber alle γ jm einzeln und direkt L-optimal. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 28 / 63

30 Gradient Boosting und Bäume / 7 Algorithm 3 Gradient Tree Boosting Algorithm. N 1: Initialize f 0 (x) = argmin γ L(y i, γ) i=1 2: for m = 1 M do [ ] L(yi,f (x 3: For all i: r im = i )) f (x i ) f =f m 1 4: Fit a regression tree to the targets r im giving terminal 5: regions R jm, j = 1,..., J m 6: for j = 1 J m do 7: γ jm = argmin γ L(y i, f m 1 (x i ) + γ) x i R jm 8: end for 9: Update f m(x) = f m 1 (x) + Jm j=1 γ jm I(x R jm ) 10: end for 11: Output ˆf (x) = fm (x) Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 29 / 63

31 Gradient Boosting bei Klassifikation Wir konzentrieren uns zunächst auf das 2-Klassen Problem mit y i {0, 1}. Unser Modell f (x) soll nach R abbilden. Positive Werte betrachten wir als Indiz für Klasse 1, negative für Klasse 0. Eine diskrete Vorhersage erhalten wir durch I(f (x) > 0). ACHTUNG: In der Literatur wird das Folgende öfter mit y i { 1, +1} und auf leicht (!) andere Art hergeleitet. Wir weichen minimal ab, um möglichst direkt Verbindungen zur logistischen Regression zu sehen. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 30 / 63

32 Gradient Boosting bei Klassifikation / 2 Wir müssen nun im Wesentlichen ein Detail des bisherigen Vorgehens abändern: Wir brauchen eine sinnvolle Verlustfunktion L! Wie gewohnt ist der 0/1-Verlust nicht einsetzbar, da er nicht glatt ist und in der Optimierung des Modells daher schwierig zu handhaben. Gerne verwendet werden stattdessen obere, glatte, konvexe Schranken dieses Verlusts. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 31 / 63

33 Gradient Boosting bei Klassifikation / 3 Wir wollen dazu einige Erkenntnisse von der logistischen Regression übertragen. Wir werden daher zunächst zeigen, dass man dieses Modell auch als Minimierungsaufgabe eines empirischen Risikos schreiben kann: R = N L(y i, ŷ i ) Wir erinnern uns: Die Likelihood der logistischen Regression war N i=1 i=1 π yi i1 (1 π i1) 1 yi Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 32 / 63

34 Gradient Boosting bei Klassifikation / 4 und die Log-Likelihood N (y i ln π i1 + (1 y i ) ln(1 π i1 )) i=1 ließ sich schreiben als: N (y i f i ln(1 + exp(f i ))) i=1 wenn wir f (x) = x T β bzw. f i = f (x i ) setzen. Jetzt definieren wir einfach die negative Log-Likelihood als unseren neuen Verlust (binomieller Verlust, manchmal auch Kreuz-Entropie): L(y, f ) = yf + ln(1 + exp(f ))) Damit ist die logistische Regression die Lösung von Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 33 / 63

35 Gradient Boosting bei Klassifikation / 5 argmin β N i=1 L(y i, f (x i )) = argmin β N i=1 L(y i, x T i β) Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 34 / 63

36 Gradient Boosting bei Klassifikation / 6 Einige weitere Bemerkungen zu diesem Vorgehen: Ein ähnliches Vorgehen geht bzw. ähnliche Korrespondenzen existieren prinzipiell immer bei Maximum-Likelihood-Modellen. Wir können die negative Log-Likelihood-Funkion immer als eine besondere Art Verlust interpretieren bzw. oft auch andersherum. In der Literatur heißt 2-mal die negative Log-Likelihood oft auch Devianz. Wie gut so ein Verlust in der Klassifikation jeweils funktioniert, hängt davon ab, wie gut er den 0/1-Verlust approximiert und wie seine numerischen / komputationellen Eigenschaften sind. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 35 / 63

37 Gradient Boosting bei Klassifikation / 7 Falls einem dies neu vorkommt: Genau das gleiche haben wir bereits die ganze Zeit bei unserer Betrachtung der Regression getan. Der quadratische Verlust ergibt sich (bis auf Konstanten) genau dann, wenn wir in einem Maximum-Likelihood-Ansatz als Fehlerverteilung eine Normalverteilung unterstellen. Also die negative Loglikelihood bzgl. der Dichte der Normalverteilung berechnen. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 36 / 63

38 Gradient Boosting bei Klassifikation / 8 Was hilft uns das jetzt beim Gradient Boosting? Ganz einfach, wir haben ja auch ein (anders aussehendes) Modell f (x) R. Nutzen wir doch einfach den gleichen, differenzierbaren Verlust wie bei der logistischen Regression: L(y, f ) = yf + ln(1 + exp(f ))) Damit haben wir gleich auch eine Möglichkeit gefunden, a-posteriori-wahrscheinlichkeiten zu schätzen, indem wir wieder π 1 (x) = ˆP(y = 1 x) = Logist(ˆf (x)) nutzen. Für die Ableitung gilt: L f = y π 1 (x) Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 37 / 63

39 Gradient Boosting bei Klassifikation / 9 Vergleich zu AdaBoost: Es kann gezeigt werden (was wir hier nicht im Detail tun), dass der AdaBoost-Algorithmus prinzipiell Forward Stagewise Additive Modeling durchführt, allerdings mit der Verlust-Funktion bzw. L(y, f ) = exp( yf ) für y { 1, +1} L(y, f ) = exp( (2y 1)f ) für y {0, 1} Man erinnere sich daran, dass die Update-Regel für die Gewichte irgendwie ähnlich aussah... Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 38 / 63

40 Gradient Boosting bei Klassifikation / 10 Historisch gesehen wurde dies vor der Erfindung von Gradient Boosting gezeigt. Dieser Zusammenhang war eine wesentliche Motivation, die schließlich (über einige Zwischenschritte) zum Vorschlag des Gradient-Boosting-Algorithmus führte. Was bedeutet diese Verlust-Funktion denn nun? Es ist auch eine obere, differenzierbare Schranke für den 0/1-Verlust. Daher hätten wir dieses L prinzipiell auch wählen können, um eine Klassifikationsvariante für Gradient Boosting zu konstruieren. Im R-Paket gbm kann man auch zwischen dem binomiellen Verlust und diesem exponentiellen Verlust wählen. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 39 / 63

41 Gradient Boosting bei Klassifikation / 11 Classification Loss L zero one exponential binomial svm Margin yf Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 40 / 63

42 Gradient Boosting bei Klassifikation / 12 Der binomielle Verlust ist wegen seiner Korrespondenz zum Maximum-Likelihood-Ansatz und dem (für 2-Klassen-Probleme naheliegenden) binomiellen Modell vorgeschlagen worden. Der exponentielle Verlust hat keine korrespondierende, echte Likelihood-Funktion. Aus der Grafik können wie noch eine weitere Eigenschaft erkennen: Während der binomielle Verlust bei stark negativer Margin nur linear wächst, wächst der exponentielle Adaboost-Verlust exponentiell. Dies bedeutet, letzterer konzentriert sich mehr auf stark falsch klassifizierte Beobachtungen. Er ist daher weniger robust. Bei hohem Bayes-Fehler ist beobachtet worden, das AdaBoost oft nicht besonders gut funktioniert, was auch mit dieser Eigenschaft zu tun hat. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 41 / 63

43 Gradient Boosting bei Klassifikation / 13 Multi-Klassen-Probleme: Hier unterstellen wir statt eines Binomial-Modells einfach ein Multinomial-Modell. Aus dem Maximum-Likelihood-Ansatz ergibt sich genau wie vorher die Verlustfunktion L als negative Log-Likelihood durch: L(y k, f k (x)) = G y k ln π k (x) Dabei soll y k {0, 1} sein und y k = 1 gdw. wenn y = k die Klasse k hat. k=1 Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 42 / 63

44 Gradient Boosting bei Klassifikation / 14 Die f k sind nun G einzelne Regressionsmodelle für die 0/1-Outputs y k. Die π k (x) sind durch die bekannte Softmax-Funktion definiert: Und für die Ableitung gilt: ˆP(y = k x) = π k (x) = exp(f k (x))/ L f k = y k π k (x) G exp(f j (x)) j=1 Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 43 / 63

45 Gradient Boosting bei Klassifikation / 15 Im Algorithmus werden also in jeder Iteration G Regressionmodelle / -Bäume für alle f k geschätzt. Das Auffinden der Baumstruktur durch den quadratischen Verlust geht genauso wie bei 2 Klassen vorher. In der Schätzung der γ hängen die Modelle aber durch die Definition von L alle zusammen. Dies zu optimieren ist schwieriger, wir sparen uns die Details hier und zeigen nur das Ergebnis. Die geschätzte Klasse für ein x ist natürlich das k mit maximalem π k (x). Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 44 / 63

46 Gradient Boosting bei Klassifikation / 16 Algorithm 4 Gradient Boosting for K -class Classification. 1: Initialize f k0 (x) = 0, k = 1,..., K 2: for m = 1 M do 3: Set π k (x) = exp(f k (x)) j exp(f j (x)), k = 1,..., K 4: for k = 1 K do 5: Compute r ikm = y ik π k (x i ), i = 1,..., N 6: Fit regression tree to targets r ikm, i = 1,..., N, 7: giving terminal regions R jkm, j = 1,..., J m 8: Compute 9: γ jkm = K 1 K x i R r ikm jkm x i R r ikm (1 r ikm ) jkm, j = 1,..., Jm 10: Update f km (x) = f k,m 1 (x) + Jm j=1 γ jkm I(x R jkm ) 11: end for 12: Output ˆfk (x) = f km (x), k = 1,..., K 13: end for Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 45 / 63

47 Regularisierung und Shrinkage Lässt man Gradient Boosting für eine längere Anzahl an Iterationen laufen, stellt man fest, dass dies Verfahren recht aggressiv den Trainingsfehler minimiert, was zu Overfitting führen kann. Diesem Verhalten versucht man generell durch Regularisierung entgegen zu wirken, d.h. durch eine Beschränkung der Komplexität des Modells. Beim Boosting ist eine natürliche Art der Regularisierung eine Beschränkung der Iterationen M, also der additiven Komponenten des Modells. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 46 / 63

48 Regularisierung und Shrinkage / 2 Eine weitere Art, ein ähnliches Verhalten zu erzielen, ist, nicht eine optimale Schrittweite β m in jeder Iteration zu gehen, sondern ein kürzeres Stück. Dies wird durch die Multiplikation mit einem sogenannten Shrinkage-Parameter ν (0, 1] erzielt. Also: f m (x) = f m 1 (x) + νβ m h(x, θ m ) Algorithmisch betrachtet wird ν manchmal auch die Lernrate genannt. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 47 / 63

49 Regularisierung und Shrinkage / 3 Die optimalen Einstellungen von M und ν hängen offensichtlich stark voneinander ab: Vergrößert man M, kann man ein kleineres ν wählen und umgekehrt. In der Praxis wird meist empfohlen, ν besonders klein zu wählen, so dass die Rechenzeit gerade ausreicht, um genug Iterationen M zu schaffen. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 48 / 63

50 Regularisierung und Shrinkage / 4 Wenn man Bäume verwendet, kann auch über die zugelassene Tiefe der Bäume regularisiert werden. Diese kann auch als zulässige Ordnung der Wechselwirkungen interpretiert werden. Die beste Möglichkeit ist vermutlich, alle drei Werte datenabhängig und gemeinsam über eine Kreuzvalidierung oder eine verwandte Technik zur Modellwahl einzustellen. Ein ähnliches Problem kennen wir ja schon von der SVM mit RBF-Kern. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 49 / 63

51 Stochastic Gradient Boosting Stochastic Gradient Boosting ist eine einfache Erweiterung, um die Vorteile des Bagging in das Verfahren zu integrieren. Diese Idee wurde schon recht früh von Breimann formuliert. Statt auf allen Daten zu fitten, wird in jeder Iteration eine Untermenge zufällig per Subsampling gezogen. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 50 / 63

52 Stochastic Gradient Boosting / 2 Empirisch konnten durch diese einfache Modifikation teils signifikante Verbesserungen beobachtet werden, insbesondere bei kleineren Trainingsmengen. Wie stark diese ausfallen ist allerdings abhängig von Datensituation, Datenmenge, Basis-Lerner und Größe der Subsamples. Bisher ist noch nicht vollständig (bis auf die naheliegende Analogie zu Bagging) klar, warum das Verfahren durch diese Technik verbessert wird. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 51 / 63

53 Wichtigkeit von Variablen Ähnlich wie beim Random Forest können wir ein Wichtigkeitsmaß für Features festlegen, um so etwas mehr Interpretationsmöglichkeiten für das Modell zu schaffen. Für einen Regressionsbaum h kann so ein Mass I 2 s (h) definiert werden als summierte Reduktion der Unreinheit (= Reduktion der Varianz) bei allen inneren Knoten, wo bzgl. Feature s gesplittet wird. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 52 / 63

54 Wichtigkeit von Variablen / 2 Für ein additives Boosting Modell nimmt man nun einfach I 2 s = 1 M M I 2 s (h m ) m=1 Aus diesen Wichtigkeitswerten wird nun noch die Wurzel I s gezogen, und sie werden oft so skaliert, dass das wichtigste Feature den Wert 100 erhält. Bei G-Klassen-Problemen hat man M f k (x) = h km (x), m=1 I 2 sk = 1 M G M I 2 s (h km ) m=1 I 2 s = 1 G k=1 I 2 sk Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 53 / 63

55 Fallbeispiel: Spam-Erkennung Der Datensatz, den wir uns im Folgenden kurz ansehen werden, wurde an den Hewlett-Packard-Laboritories erhoben, um einen personalisierten Spam-Erkenner für s zu trainieren. Er enthält Daten von s, 2788 davon gewünschte s und 1813 Spam-Mails. Es stehen 57 numerische Prädiktoren zur Verfügung, die u.a. die Frequenzen der häufigsten Wörter und Sonderzeichen, sowie Längen von Wörten in Großbuchstaben anzeigen. Kurze Kontrollfrage: Was für ein Klassifikationsproblem ist das eigentlich? Man denke an den (unterschiedlichen) Verlust bei den beiden Ergebnissen, bzw. an das gewünschte Verhalten eines Prognosemodells. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 54 / 63

56 Fallbeispiel: Spam-Erkennung / 2 library(elemstatlearn) library(gbm) set.seed(1) data = spam data$spam = as.numeric(data$spam) - 1 n = nrow(data) train.inds = sample(1:n, (2/3 * n)) train = data[train.inds, ] test = data[-train.inds, ] n.trees = shrinks = c(0.1, 0.01, 0.001) inters = seq(1, 16, 3) Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 55 / 63

57 Fallbeispiel: Spam-Erkennung / 3 pred.n.trees = seq(1, n.trees, length.out = 30) getmodel = function(train, n.trees, inter, shrinkage) { gbm(spam ~., data = train, distribution = "bernoulli", train.fraction = 1, n.trees = n.trees, interaction.depth = inter, shrinkage = shrinkage ) } getpred = function(model, test, n.trees) { pred = predict(model, newdata = test, n.trees = n.trees, type = "response") pred = as.numeric(pred > 0.5) } Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 56 / 63

58 Fallbeispiel: Spam-Erkennung / 4 geterr = function(model, test, n.trees) { pred = getpred(model, test, n.trees) mean(pred!= test$spam) } # now do experiments to measure effect of # interaction x shrinkage x M # in terms of test set error # interesting functions to analyze a single model?gbm.perf?summary.gbm?plot.gbm Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 57 / 63

59 Fallbeispiel: Spam-Erkennung / 5 ν = ν = 0.01 ν = 0.1 err M Interaction err M err M Abbildung : Effekte der Einstellungen bei GBM. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 58 / 63

60 Fallbeispiel: Spam-Erkennung / 6 # select best observed model model = getmodel(data, n.trees = 1380, inter = 4, shrinkage = 0.1) # test set error: # NB: error estimator will be slightly biased! summary(model, cbars = 10) gbm.perf(model, method = "OOB") plot.gbm(model, 52) plot.gbm(model, 25) Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 59 / 63

61 Fallbeispiel: Spam-Erkennung / 7 char_freq_$ char_freq_! word_freq_remove word_freq_hp word_freq_free word_freq_your capital_run_length_average capital_run_length_longest capital_run_length_total word_freq_george word_freq_edu word_freq_our Relative influence Abbildung : Variable Importance. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 60 / 63

62 Fallbeispiel: Spam-Erkennung / 8 f( char_freq_! ) f(word_freq_hp) char_freq_! word_freq_hp Abbildung : Partial Dependency Plot für 2 wichtige Features. Abgebildet ist f in Abhängigkeit von einem feature, wenn über die restlichen ausintegriert wird. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 61 / 63

63 Weiterführendes Durch eine geeignete Wahl der Verlustfunktion können auch z.b. Zähldaten, Quantilsregression und Überlebenszeiten modelliert werden. Man kann auch in jeder Iteration nur Basis-Lerner betrachten, die auf einem oder wenigen Features definiert sind. Fügt man in jeder Iteration das beste dieser Modelle hinzu, hat man eine Art Variablenselektion / Regularisierung gegen hohe Dimensionalität. Man nennt dies auch Componentwise Boosting. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 62 / 63

64 Merksätze Gradient Boosting ist eine statistische Neuinterpretation des älteren AdaBoost-Verfahrens. Additiv werden Basis-Lerner greedy zum Modell hinzugefügt, und zwar so, dass diese in Richtung des negativen Gradienten des empirischen Risikos zeigen. Auch in der Klassifikationsvariante werden Regressions-Basis-Lerner verwendet. Das Verfahren wird meistens mit (kurzen) Bäumen als Basis-Lernern kombiniert, aber beliebige Basis-Funktionen sind möglich. Die Methode kann flexibel durch das Ändern der Verlust-Funktion angepasst werden. Allerdings sollte die Verlustfunktion differenzierbar sein. Die Verwendung anderer Basis-Lerner ermöglicht weitere Flexibilität. Methoden zur Bewertung von Variablenwichtigkeit und zum integrierten Durchführen von Variablenselektion existieren. Bernd Bischl c SoSe 2014 Fortgeschrittene Computerintensive Methoden 8 63 / 63