Lasso in LMs und GLMs

Transkript

1 Lasso in LMs und GLMs Seminar Regularisierungstechniken und strukturierte Regression, Prof. Dr. Gerhard Tutz, Institut für Statistik, Ludwig-Maximilians-Universität München Referent: Patrick Schenk Betreuer: Wolfgang Pössnecker 18. Dezember / 33

2 1. Einführung Regression große Rolle in statistischer Ausbildung und Praxis Fokus auf erwartungstreue (zumindest konsistente) Schätzer Programm: Übersicht Kleinste-Quadrate (KQ) Schätzer im Linearen Modell (LM) Vorteile Schwachstellen/Wünsche? Shrinkage-Schätzer : Lasso- (und Ridge-)Regression Herkunft Eigenschaften Performance in realen und simulierten Daten Erweiterungen und Diskussion 2 / 33

3 Lineares Modell (LM) I: Setup LM postuliert Zusammenhang Response - Kovariablen p y i = β 0 + x ij β i + ɛ i j =1 für i = 1,..., n quadratischer Verlust: Residuenquadratsumme (RSS) RSS(β) = n (y i β 0 i=1 keine Verteilungsannahme nötig führt zum KQ-Schätzer p j =1 ˆβ (ls) = (X X) 1 X y x ij β j ) 2 min β 3 / 33

4 Lineares Modell II: Vorteile des KQ-Schätzers einige Vorteile (+) erwartungstreu und linear in y (+) optimal in Klasse erwartungstreuer linearer Schätzer: Mean Squared Error (MSE) und Varianz minimal (Gauß-Markov Theorem) (+) marginale Interpretation der Koeffizienten β j 4 / 33

5 Lineares Modell III: KQ-Schätzer Nachteile (-) keine automatische Variablenselektion falls p n: ˆβ (ls) nicht (eindeutig) definiert. falls p sehr groß: volles Modell schlechter interpretierbar Beibehalten von irrelevanten Kovariablen (β j = 0) erhöht Ungenauigkeit von Schätzung und Prognose (-) keine Aussage über relative Einflussstärke der Kovariablen (-) muss nicht optimal sein (Gauß-Markov gilt nur in Klasse) Suche nach Verfahren, das sparsamere Modelle schätzt Intuition: Bias-Varianz-Tradeoff 5 / 33

6 2.1 Lasso, Ridge und Best Subset: Motivation gesucht: Verfahren, das sparsameres Modell ergibt sparsameres Modell: manche Koeffizienten β j = 0 Ansatz: Größe des Koeffizientenvektors β beschränken Norm nach oben beschränken durch Wert t q-norm (für q 1) p β q := β j q j =1 1/q t β q t äquivalent zu β q q t q (Umparametrisierung) 6 / 33

7 Allgemeiner Ansatz Minimierung von RSS(β) unter Restriktion der Größe von β: min β RSS(β) = n (y i β 0 i=1 p x ij β j ) 2 j =1 bzw. in Lagrangeform u. d. NB. p β j q t j =1 min β RSS(β) + λ p β j q j =1 neues Kriterium : penalisierte RSS RSS(β) + λ L q -Penalty 7 / 33

8 Alternative Betrachtung: Optimum im zulässigen Bereich Nebenbedingung p β j q t j =1 impliziert zulässigen Bereich für β: {β : p β j q t} j =1 also: Minimierung des KQ-Kriteriums im zulässigen Bereich min β {β: RSS(β) p j =1 β j q t} und nicht mehr über alle möglichen β R p grafisch für Lasso bei 2 Kovariablen: nächste Folie 8 / 33

9 Zulässiger Bereich für Lasso-Regression bei 2 Kovariablen Fall 1: KQ Schätzer erfüllt Restriktion (Lasso) Fall 2: KQ Schätzer erfüllt Restriktion nicht (Lasso) β^(ls) β^(ls) Lasso Abb.1 Minimierung im zulässigen Bereich. Leicht abgewandelte Reproduktion von Tibshirani (1996, Fig. 2) 9 / 33

10 Bemerkungen min β n (y i β 0 i=1 p x ij β j ) 2 + λ j =1 p β j q j =1 Intercept β 0 nicht Teil der Penalty Schätzung nicht skaleninvariant gewählte Skala beeinflusst Erklärungsgüte (RSS) nicht, sehr wohl jedoch die Norm von β! Bsp. monetäre Kovariable Lösung: vorab Standardisierung jeder Kovariablen: Mittelwert: x j = 0 und empirische Varianz Var(x j ) = 1 nach Schätzung von β: Rücktransformation jedes Koeffizienten auf Originalskala oder: angepasste Interpretation beachten 10 / 33

11 Ridge Regression (Hoerl und Kennard, 1970): q = 2 min β RSS(β) + λ Restriktion an die euklidische Norm p j =1 explizite Lösung: ˆβ (ridge) = (X X + λi) 1 X y existiert auch bei Multikollinearität, also wenn (X X) 1 nicht/schwer zu berechnen war Motivation von Hoerl und Kennard (1970) schrumpft i.a. Koeffizienten (relativ zu KQ-Koeffizienten) i.a. keine Variablenselektion β 2 j 11 / 33

12 Best Subset Regression: q = 0 min β RSS(β) + λ p βj 0 = RSS(β) + λ j =1 p I(β j 0) j =1 Nebenbedingung zählt von 0 verschiedene Koeffizienten ergibt best-erklärendes Modell mit t Koeffizienten ( t p) keine Lösung in geschlossener Form bis t 40: alle möglichen Modelle betrachtbar Leaps and Bounds Algorithmus (Furnival und Wilson, 1994) für t > 40: Approx., z.b. Forward-/Backward-Stepwise (step) 12 / 33

13 Lasso Regression (Tibshirani, 1996): q = 1 min β beschränkt 1-Norm RSS(β) + λ p β j j =1 i.a. Selektion von Kovariablen und Schrumpfung von Koeffizienten nicht differenzierbar bei 0 ( ) keine explizite Lösung Algorithmen für Pfad ˆβ (lasso) (t) (+) ausschlaggebend dafür, dass Lasso Kovariablen selektiert 13 / 33

14 Lasso (links) und Ridge (rechts): Optimierung im zulässigen 2 BAYESIANISCHES Bereich LASSO IN LINEAREN MODELLEN ^ ^ Abbildung 2.7: Linkes Bild: Grafische Darstellung des Lasso-Schätzproblems. Rechtes Bild: Grafische Darstellung Quelle: Konrath (2007, Abb. 3.7) des Ridge-Schätzproblems. Die blauen Bereiche stellen die Nebenbedingung zu verschiedenen Werten von t dar und die pinkfarbenen Ellipsen sind die Konturlinien der Residuenquadratsumme bei beliebiger Produktsummenmatrix X X I. 14 / 33

15 Datensatz: Prostatakrebs (Stamey et al., 1989) 97 Männer vor Prostataentfernung Response: log Prostataspezifsches Antigen (lpsa) 8 Kovariablen Alter, log Krebsvolumen, log Prostatagewicht,... Korrelationen positiv bis auf 2 minimale Ausnahmen 10 der 28 p.w. Korrelationen mittelstark ( ) 15 / 33

16 KQ-, Lasso-, Ridge- und Best Subset Regression (Prostatakrebs) Tab Regressionskoeffizienten (Prostatakrebs) Koeffizient KQ Lasso Ridge Best Subset (Intercept) lcavol lweight age lbph svi lcp gleason pgg Response ist lpsa, der logarithmierte Level des Prostataspezifischen Antigens. 16 / 33

17 Lasso und Ridge: Koeffizientenpfade (Prostatakrebs) Coefficients Lasso min CV MSE Coefficients Ridge min CV MSE L1 Norm L1 Norm Abb.2 Lasso- und Ridge-Koeffizientenpfade in den Prostakrebs Daten. Leicht abgewandelte Reproduktion von Hastie et al. (2009, Fig. 3.11) 17 / 33

18 Wahl des Tuningparameters: Kreuzvalidierung Grid von Werten für t: für jeden Wert Koeffizienten berechnen MSE per Kreuzvalidierung (CV) schätzen Entscheidung für optimales t min-regel: t mit kleinstem CV-MSE 1-SE-Regel: kleinstes Modell, dessen CV-MSE von obigem Minimum um höchstens 1-SE abweicht grafisch im Prostatakrebs Datensatz: nächste Folie Tuning über λ äquivalent (bijektive Beziehung von λ und t) in Implementationen meistens der Fall (z.b. glmnet) potentielle Probleme MSE(t) flach (links) Vorgehen anfällig min- und 1-SE-Regeln können deutlich differieren (links) MSE(t) hat Randoptimum (rechts) 18 / 33

19 Lasso und Ridge: Kreuzvalidierungs-MSE (Prostatakrebs) Mean Squared Error Lasso min Regel 1 SE Regel Mean Squared Error Ridge min Regel 1 SE Regel log(lambda) log(lambda) Abb.3 MSE in Abhängigkeit vom Tuningparameter log(λ) in den Prostakrebs Daten. Leicht angepasste Kombination von Hastie et al. (2009, Fig. 3.8 und 3.10) 19 / 33

20 3.1 Spezialfall orthonormale Kovariablen: Eigenschaften I Lasso (lasso) β^j Ridge (ridge) β^j Best Subset (subset) β^j λ λ λ λ (ls) β^j 1 (1 + λ) 1 (ls) β^j (ls) β^(m) (ls) β^j Abb.4 Lasso-, Ridge- und Best-Subset-Koeffizienten bei unterschiedlichen KQ-Koeffzienten unter Orthonormalität. Leicht abgewandelte Reproduktion von Hastie et. al (2009, Fig. 3.11) 20 / 33

21 Spezialfall orthonormale Kovariablen: Eigenschaften II ˆβ(lasso) j = { ˆβ (ls) j ˆβ (ls) ( λ) sign( j ) falls 0 sonst (ls) ˆβ j > λ stetige Selektion (soft-thresholding): schrumpft umso stärker, je kleiner KQ-Koeffizient nur kleine Koeffizienten ganz aus Modell heraus große Effekte deutlicher herausgehoben (ls) ˆβ(ridge) ˆβ j j = 1+λ schrumpft jeden KQ-Koeffizienten um gleichen Faktor (λ > 0) keine Selektion { ˆβ(ls) ˆβ(subset) j = j wobei (ls) (ls) falls ˆβ j ˆβ (M ) 0 sonst (ls) ˆβ (M ) betragsmäßig der t -größte KQ-Koeffizient ist selektiert diskret (hard-thresholding): voll im Modell oder gar nicht 21 / 33

22 3.2 Nichtorthonormale Kovariablen: Eigenschaften Korrelationen zwischen Kovariablen Lasso: p = 2: kein Einfluss p > 2: greift eine (wenige) Kovariable(n) aus stark-korr. Gruppe heraus, entfernt andere (Intuition: wenig zusätzliche Erklärung, aber volle Erhöhung der Penalty) Ridge: positiv korr. Koeffizienten ähnlicher (Grund: L 2 -Penalty) Best Subset: ähnlich zu Lasso (Fall p > 2) relativ zum KQ-Schätzer und zum wahren Koeffizienten anderes Vorzeichen möglich Overshooting (betragsmäßiges Überschätzen) möglich 22 / 33

23 Vorzeichen und Overshooting (Prostatakrebs) Tab Regressionskoeffizienten (Prostatakrebs) Koeffizient KQ Lasso Ridge Best Subset (Intercept) lcavol lweight age lbph svi lcp gleason pgg Response ist lpsa, der logarithmierte Level des Prostataspezifischen Antigens. 23 / 33

24 Simulation I: Vorzeichen, Selektion, Modellgrößen wahre Koeffizenten β fest 10 kleine: βj = mittlere: βj = große: β j = 5 je 5 mit positivem und 5 mit negativem Vorzeichen 30 irrelevante Variablen : βj = 0 n = 80 n p = Designmatrix X fest (iid N(0,1)-verteilt) R = 2000 Replikationen in Replikation r: Addiere Fehler ɛ i i.i.d. N (0, 1) simulierter Response y i = x i β + ɛ i (i = 1,..., n) wie häufig: Vorzeichen korrekt, Variable im Modell? Modellgrößen 24 / 33

25 Tab Häufigkeiten: Selektion und Vorzeichen (Simulation I) Effektgröße MSE* klein mittel groß kein (SE MSE ) KQ Vz korrekt Vz falsch (0.0748) nicht in Modell.... Ridge Vz korrekt Vz falsch (0.0939) nicht in Modell.... Lasso Vz korrekt Vz falsch (0.1709) nicht in Modell Stepwise 1 Vz korrekt Vz falsch (0.1140) nicht in Modell Response ist lpsa, der logarithmierte Level des Prostataspezifischen Antigens. MSE* ist Durchschnitt der mittleren quadratischen Abweichungen über R = 2000 Replikationen. 1 Approximation für Best Subset, da mehr als 40 Kovariablen: Backward- und Forward-Stepwise via step. 25 / 33

26 Modellgrößen (Simulation I) Effektgröße klein mittel groß kein gesamt KQ Ridge Lasso Stepwise Response ist lpsa, der logarithmierte Level des Prostataspezifischen Antigens. 1 Approximation für Best Subset, da mehr als 40 Kovariablen: Backward- und Forward-Stepwise via step. 26 / 33

27 Entdecken eines sparsamen Modells bei p > n Simulation II exakt wie zuvor: R = 2000 Replikationen p = 60 Variablen in Designmatrix nur 30 Kovariaten mit Einfluss aber: nur die ersten n = 40 Beobachtungen p > n kein KQ-Schätzer wahres Modell ist sparsam: weniger Kovariablen als Beobachtungen Performance von Lasso: Einfluss der Effektstärken? Modellgröße? 27 / 33

28 Tab Häufigkeiten von Effekt-Selektion und falschen Vorzeichen klein mittel groß kein Effekt Lasso Vorzeichen korrekt Vorzeichen falsch nicht im Modell # im Modell Mittlere Gesamtmodellgröße: Kovariablen. Response ist lpsa, der logarithmierte Level des Prostataspezifischen Antigens. 28 / 33

29 Vorteile, Nachteile und Anwendbarkeit I KQ-Schätzer muss nicht überall beste Wahl darstellen: Situation p > n : Selektion zwingend erforderlich Situation Prognose ist Hauptziel : Schätzung kleiner Effekte sehr fehleranfällig und variabel Lasso verzichtet teils darauf (kann Prognosegüte erhöhen) KQ vs Lasso: Versuch, Prognosefehler abzuschätzen Situation perfekt unabhängige Kovariablen selten in Praxis- Ausnahme: kontrollierte Experimente Lasso sehr intuitiv, gut verständlich Computationale Betrachtungen: Lasso (im LM): Größenordnung wie für Berechnung von k-fache Kreuzvalidierung erhöht nur um Faktor k gilt für LARS-Alg.; noch schneller: Friedman et al. (2010) Lasso im GLM: deutlich mehr Aufwand ˆβ (ls) 29 / 33

30 Vorteile, Nachteile und Anwendbarkeit II Lasso (und Ridge): weniger automatisierbar was ist Ziel der Analyse? welche Situation liegt vor und wie verhält sich Lasso dort i.a.? gewähltes R-Paket: Standardisierung von xj automatisch oder manuell? werden bereits rücktransformierte Koeffizienten ausgegeben? Ausreisser, einflussreiche Datenpunkte, fehlerhafte Daten KQ-Schätzer: es existieren Kennzahlen Lasso, Ridge: Auswirkungen unklar; Abschätzversuch z.b. über Bootstrap Fazit: Lasso/Ridge benötigen relativ zum KQ-Schätzer mehr Arbeitsaufwand Wissen und Erfahrungen mit ihrem Umgang 30 / 33

31 Erweiterungen I: Generalisierte Lineare Modelle GLMs Strukturannahme: E(y i x i ) = h(x i β) (h Responsefunktion) Verteilungsann.: y i x i F (F aus einfacher Expo.familie) Schätzung von β über ML: l(β) min β i.a. keine explizite Lösung (Fisher-Scoring, Newton-Raphson) Lasso in GLMs wieder: Minimierung der Summe von Zielfunktion und Penalty min l(β) + λ p j =1 β j β Schätzung über zyklischen Koordinatenabstieg (Friedman et al., 2010) enthält LM als Spezialfall (Normalverteilung) R: glmnet 31 / 33

32 Erweiterungen II in jeder Kovariable unterschiedliche Strafen p j =1 λ j β j manche Kovariablen nicht bestrafen (im Modell halten): λj = 0 Adapative Lasso: Strafe relativ zu KQ-Koeffizient SCAD: größere Koeffizienten weniger stark bestrafen ˆβ (ls) j Grouped Lasso: Gruppe von Variablen gemeinsam in/aus dem Modell (Bsp: k-kategoriale Variable in Form von k 1 Dummies) Elastic Net: gewichtetes Mittel von Lasso- und Ridge-Penalty erbt Eigenschaften von Lasso (z.b. Selektion) und Ridge zweistufige Verfahren: Lasso in 1. Stufe (zur Variablenselektion) 32 / 33

33 Vielen Dank für Ihre Aufmerksamkeit. Literatur (Vortrag) J. Friedman, T. Hastie und R. Tibshirani (2010). Regularization paths for generalized linear models via coordinate descent. Journal of Statistical Software, 33(1): A. E. Hoerl und R. Kennard (1970). Ridge regression: biased estimation for nonorthogonal problems. Technometrics, 12: T. Hastie, R. Tibshirani und J. Friedman (2009). The Elements of Statistical Learning. Zweite Auflage. Springer: New York. R. Tibshirani (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society, Series B, 58: S. Konrath (2007). Bayesianische Regularisierung mit Anwendungen. Master Thesis. LMU, München. S. 39, Abb / 33