Lineare Regression. Volker Tresp

Größe: px

Ab Seite anzeigen:

Download "Lineare Regression. Volker Tresp"

Dominik Auttenberg
vor 8 Jahren
Abrufe

1 Lineare Regression Volker Tresp 1

2 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M 1 j=0 w i,j x i,j (beachte: x i,0 = 1 ist ein konstanter Eingang, so dass w 0 dem Bias entspricht) Es wird nun jedoch keine Binarisierung mehr vorgenommen, sondern ŷ i = f(x i ) = h i 2

3 Diskussion: Empirische Risiko Minimierung Wie beim Perzeptron stellen wir eine geeignete Kostenfunktion auf und Ziel im Training ist es, die Kostenfunktion zu minimieren Wir verwenden als Kostenfunktion den empirischer quadratischer Fehler: cost(w) = N (y i f(x i, w)) 2 i=1 Der Parametervektor, der diesen Fehler minimiert heißt Least-Squares (LS-) Schätzer, w ls = arg min w cost(w) Bei einer binären Klassifikation kann man als Zielwerte y i { 1, 1} wählen und als Prognose das Vorzeichen von f(.) wählen Das lineare System eignet sich ebenso zur Modellierung stetiger Abhängigkeiten: lineare Regression 3

4 Warnung: Wie beim Perzeptron wird auch das lineare Modell typischerweise angewandt, wenn die Eingangsdimension groß ist, also M >> 1 Zur Visualisierung wählt man jedoch M = 2

5 Kleinste-Quadrate Schätzer für lineare Regression (eindimensional) Eindimensionales Modell: f(x, w) = w 0 + w 1 x w = (w 0, w 1 ) T Empirischer quadratischer Fehler: Finde: cost(w) = N (y i f(x i, w)) 2 i=1 w ls = arg min w cost(w) w 0 = 1, w 1 = 2, var(ɛ) = 1 4

6 Kleinste-Quadrate Schätzer für Regression (mehrdimensional) Mehrdimensionales Modell: f(x i, w) = w 0 + M 1 j=1 w j x i,j = x T i w w = (w 0, w 1,... w M 1 ) T x i = (1, x i,1,..., x i,m 1 ) T 5

7 Mehrdimensionale Lineare Regression 6

8 Gradientenabstieg Wie beim Perzeptron können wir den optimalen Parameter durch Gradientenabstieg finden Man initialisiert die Parameter (typischerweise durch kleine Zufallszahlen) In jedem Lernschritt verändert man die Parameter, so dass die Kostenfunktion verringert wird Gradientenabstieg: Man verändert den Parametervektor in Richtung des negativen Gradienten Mit cost(w) = N yi M 1 2 w j x i,j i=1 j=0 7

9 Die Ableitung der Kostenfunktion nach den Gewichten ist (Beispiel w j ) cost w j N = 2 (y i f(x i ))x i,j i=1 Eine sinnvolle Lernregel ist somit w j w j + η N (y i f(x i ))x i,j i=1

10 Die ADALINE-Lernregel Im tatsächlichen Algorithmus werden in zufälliger Reihenfolge dem Perzeptron falsch klassifizierte Muster angeboten (stochastischer Gradientenabstieg). Einmal ist dies biologisch plausibler, und zweitens ist die Konvergenz schneller. Seien x t und y t die angebotenen Muster im t-ten Iterationsschritt. Dann wird adaptiert t = 1, 2,... w j w j + η(y t ŷ t )x t,j j = 1, 2,..., M η > 0 ist die Lernrate, typischerweise 0 < η < 0.1 Die least-squares Lösung lässt sich auch nicht-iterativ in einem Schritt herleiten 8

11 Geschlossene LS-Lösung Empirischer quadratischer Fehler: cost(w) = N (y i f(x i, w)) 2 i=1 = (y Xw) T (y Xw) y = (y 1,..., y N ) T X = x 1,0... x 1,M x N,0... x N,M 1 9

12 LS-Lösung (2) Matrix Kalkül: Daher cost(w) w = (y Xw) w 2(y Xw) = 2X T (y Xw) 10

13 LS-Lösung (3) Berechnung der LS-Lösung: cost(w) w = 2X T (y Xw) = 0 ŵ ls = (X T X) 1 X T y Komplexität (linear in N): O(M 3 + NM 2 ) ŵ 0 = 0.75, ŵ 1 =

14 Stabilität der Lösung Wenn N >> M, ist die least squares Lösung brauchbar Wenn N < M ist X T X nicht eindeutig invertiertbar: es gibt viele Lösungen for den Gewichtsvektor, die alle einen Trainingsfehler Null produzieren minimiert (regulari- Von all diesen Lösungen bevorzugt man diejenige, die M i=0 wi 2 sierte Lösung) Der j te Eingang trägt mit w j x i,j zur Lösung bei; auch hier erreicht man eine Robustheit gegen Fehler im Eingang, wenn man die regularisierte Lösung wählt Wenn es Rauschen auf den Zielwerten gibt, ist es Vorteilhaft, auch dann eine regularisierte Lösung zu wählen, selbst wenn N > M Regularisierungstheorie: Theorie der schlecht-konditionierten Probleme (kleine Änderungen in den Daten bewirken große Änderungen in der Lösung) 12

15 Lineare Regression und Regularisierung Regularisierte Kostenfunktion (penalized least squares (PLS), Ridge Regression, Weight Decay): der Einfluss einer Eingangsgröße sollte klein sein cost pen (w) = N (y i f(x i, w)) 2 + λ i=1 M 1 i=0 w 2 i ŵ pen = ( X T X + λi) 1 X T y Herleitung: J pen N (w) w = 2X T (y Xw) + 2λw = 2[ X T y + (X T X + λi)w] 13

16 Beispiel Drei Datenpunkte werden generiert nach (wahres Modell) Hier ist ɛ i unabhängiges Rauschen (korrektes) Modell 1 Trainingsdaten für Modell 1: x 1 y y i = x i,1 + ɛ i y i = w 0 + w 1 x i,1 Die LS- Lösung liefert w ls = (0.58, 0.77) Im Vergleich: die wahren Gewichte sind: w = (0.50, 1.00) 14

17 Modell 2 Hier generieren wir einen korrelierten weiteren Eingang x i,2 = x i,1 + δ i Wieder ist δ i unkorreliertes Rauschen. Modell 2 y i = w 0 + w 1 x i,1 + w 2 x i,2 Daten, die Modell 2 sieht: x 1 x 2 y Die least squares Lösung liefert w ls = (0.67, 136, 137)!!! 15

18 Modell 2 mit Regularisierung Alles wie zuvor, nur dass wir große Gewichte bestrafen Die penalized least squares Lösung liefert w pen = (0.58, 0.38, 0.39)!!! Vergleiche die LS- Lösung zu Modell-1 lieferte w ls = (0.58, 0.77) Die Kollinearität (hohe Korreliertheit der beiden Eingänge) ) schadet bei der LS-Lösung sehr, bei der PLS-Lösung hingegen nicht. Es entsteht sogar eine höhere Robustheit in Bezug auf Fehler in x! 16

19 Trainingsdaten Training: y M1 : ŷ ML M2 : ŷ ML M2 : ŷ pen Für Modell 1 und Model 2 mit Regularisierung bleibt ein Restfehler auf den Trainingsdaten Für Modell 2 ohne Regularisierung ist der Trainingsfehler Null Nur aufgrund des Trainingsfehlers würde man das unregularisierte Modell 2 auswählen 17

20 Testdaten Testdaten: y M1 : ŷ ML M2 : ŷ ML M2 : ŷ pen Bei den Testdaten sieht man, dass Modell 1 und Model 2 mit Regularisierung bessere Ergebnisse liefern Noch dramatischer wäre der Unterschied in der Extrapolation! 18

21 Experiment mir realen Daten: Prostata-Krebs Daten 8 Eingänge, 97 Datenpunkte; y: Prostata-spezifisches Antigen; M eff = facher Kreuzvalidierungsfehler LS Best Subset (3) Ridge (Weight Decay)

Ähnliche Dokumente

Neuronale Netze mit mehreren Schichten

Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren