Intuition: Wie lässt sich das abhängige Merkmal durch die unabhängigen Merkmale erklären?

Transkript

1 2. Regression

2 Motivation Regressionsanalysen modellieren den Zusammenhang zwischen einem oder mehreren unabhängigen Merkmalen (z.b. Gewicht und PS) und einem abhängigen Merkmal (z.b. Verbrauch) Intuition: Wie lässt sich das abhängige Merkmal durch die unabhängigen Merkmale erklären? Hierzu wird ein Modell angenommen, wie die Merkmale zusammenhängen und dessen Parameter anhand von verfügbaren Daten bestimmt 2

3 Motivation Beispiel: Vorhersage des Verbrauchs (mpg) eines Autos basierend auf seiner Leistung (hp) (und später weiteren Merkmalen) Daten: Auto MPG Datensatz aus UCI ML Repository Autos (392 mit vollständigen Merkmalen) 8 Merkmale (Verbrauch, Zylinder, Gewicht, etc.) 3

4 Motivation 4

5 Inhalt 2.1 Einfache lineare Regression 2.2 Multiple lineare Regression 2.3 Nominale und ordinale Merkmale 2.4 Gradientenabstiegsverfahren 2.5 Polynomiale Regression 2.6 Merkmalstransformation 2.7 Evaluation 2.8 Regularisierung 5

6 2.1 Einfache lineare Regression Einfache lineare Regression betrachtet Datenpunkte (x 1,y 1 ),...,(x n,y n ) und nimmt an, dass das das metrische Merkmal y linear vom metrischen Merkmal x abhängt Das angenommene Modell hat somit die Form Unabhängiges Merkmal Abhängiges Merkmal ŷ = w 0 + w 1 x Modell Parameter 6

7 Einfache lineare Regression Verschiedene Werte der Parameter w 0 und w 1 entsprechen verschiedenen Geraden w 0 = 0 w 1 = 0.2 w 0 = 35 w 1 = -0.1 Wir benötigen ein Gütekriterium, um zu bestimmen, welche Gerade die beste ist 7

8 Mittelwert, Varianz und Standardabweichung Wir definieren den Mittelwert unserer Merkmale als x = 1 nÿ x i ȳ = 1 nÿ y i n n i=1 i=1 Die Varianz unserer Merkmale ist definiert als x 2 = 1 nÿ (x i x) 2 y 2 = 1 nÿ (y i ȳ) 2 n n i=1 i=1 Die Werte σ x und σ y heißen Standardabweichung der Merkmale x und y 8

9 Kovarianz Kovarianz cov x,y misst inwiefern die beiden Merkmale x und y zusammenhängen, d.h. sich in die gleiche Richtung bzw. entgegengesetzte Richtungen ändern cov x,y = 1 nÿ (x i x)(y i ȳ) n i=1 Große Kovarianz deutet auf einen Zusammenhang hin ein positiver Wert zeigt an, dass sich die beiden Merkmale in die gleiche Richtung ändern ein negativer Wert zeigt an, dass sich die beiden Merkmale in entgegengesetzte Richtungen ändern 9

10 Korrelationskoeffizient nach Pearson Pearsons Korrelationskoeffizient misst inwiefern ein linearer Zusammenhang zwischen zwei Merkmalen x und y besteht cor x,y = Û nq (x i x)(y i ȳ) i=1 Û nq nq (x i x) (y i ȳ) i=1 Pearsons Korrelationskoeffizient nimmt Werte in [-1,+1] an i=1 Wert -1 zeigt negative lineare Korrelation an Wert 0 zeigt keine lineare Korrelation an Wert 1 zeigt positive lineare Korrelation an = cov x,y x y 10

11 Korrelationskoeffizient nach Pearson cor hp,mpg

12 Anscombes Quartett Alle vier Datensätze haben den gleichen Mittelwert, die gleiche Varianz, den gleichen Korrelationskoeffizienten sowie die gleiche optimale Regressionsgerade 12

13 Korrelation und Kausalität Korrelation zwischen zwei Merkmalen bedeutet nicht, dass eine Kausalität, d.h. Wirkzusammenhang, zwischen den beiden besteht Beispiele: Zahl der Fernseher und Einkommen eines Haushalts Leistung eines PKWs und Schuhgröße des Halters Verkauf von Weihnachtsschmuck und Selbstmordrate Korrelation des Tages: Spurious Correlations: 13

14 Straffunktion und Residuen Straffunktion (loss function) misst wie gut unser Modell, für eine bestimmte Wahl von Parameterwerten, unsere Daten beschreibt (d.h. wie viel wir verlieren, wenn wir unser Modell statt der Daten verwenden) Residuum (residual) des Datenpunkts (x i, y i ) misst wie weit der beobachte Wert y i von der Vorhersage abweicht (y i ŷ i )=(y i (w 0 + w 1 x i )) = (y i w 0 w 1 x i ) 14

15 Residuen 15

16 Quadratischer Fehler Einfache lineare Regression (ordinary least squares) verwendet die Summe der quadrierten Residuen (sum of squared errors SSE) als Straffunktion nÿ L(w 0,w 1 )= (y i w 0 w 1 x i ) 2 i=1 Zum Bestimmen der optimalen Parameter w 0* und w 1 * müssen wir folgendes Optimierungsproblem lösen nÿ arg min (y i w 0 w 1 x i ) 2 w 0,w 1 i=1 16

17 Plotten der Straffunktion Straffunktion für unsere Beispieldaten sieht wie folgt aus 17

18 Analytische Bestimmung optimaler Parameter Optimale Parameterwerte lassen sich im Fall der einfachen linearen Regression analytisch bestimmen 1) Bestimme partielle Ableitungen der Straffunktion nach den Parametern w 0 und w 1 ˆL ˆ w 0 = 2 ˆL ˆ w 1 = 2 2) Bestimme gemeinsame Nullstelle durch Lösen des linearen Gleichungssystems nÿ (y i w 0 w 1 x i ) i=1 nÿ (y i w 0 w 1 x i ) x i i=1 ˆL ˆ w 0 =0 ˆL ˆ w 1 =0 18

19 Analytische Bestimmung optimaler Parameter Geschlossene Lösungen für optimale Parameterwerte w ú 1 = w ú 0 = 1 n n n q i=1 nÿ y i w1 ú i=1 x i y i n n q i=1 3 n q i=1 1 n x 2 i 3 n q nÿ i=1 x i x i 43 n q i=1 i=1 x i 4 2 y i 4 19

20 Analytische Bestimmung optimaler Parameter Optimale Parameter für unsere Beispieldaten w ú 0 = w ú 1 =

21 Bestimmtheitsmaß Bestimmtheitsmaß (R 2 coefficient of determination) misst wie gut die bestimmte Regressionsgerade die Daten annähert, d.h. wie gut sie die in den Daten beobachtete Variation erklärt nq (y i ŷ i ) 2 R 2 =1 i=1 nq i=1 (y i ȳ) 2 21

22 Einfache lineare Regression in Python import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from sklearn import linear_model, metrics # Autodaten einlesen cars = pd.read_csv('../data/auto-mpg/auto-mpg.data', header=none, sep='\s+') # Verbrauchswerte extrahieren y = cars.iloc[:,0].values # Leistungswerte extrahieren X = cars.iloc[:,[3]].values # Plot erstellen g = sns.regplot(x=x, y=y, fit_reg=false) # Einfache lineare Regression reg = linear_model.linearregression() reg.fit(x,y) plt.plot(x, reg.predict(x), color='red') # Plot beschriften plt.xlabel('leistung [hp]') plt.ylabel('verbrauch [mpg]') # Plot anzeigen plt.show() 22

23 Einfache lineare Regression in Python # Koeffizienten und Bestimmtheitsmaß ausgeben print('parameter:') print('w0: %f'%reg.intercept_) print('w1: %f'%reg.coef_[0]) print('bestimmtheitsmaß') print('r2: %f'%metrics.r2_score(y,reg.predict(x))) Vollständiges Jupyter-Notebook unter:

24 Zusammenfassung Lineare Regression sagt ein abhängiges metrisches Merkmal anhand eines unabhängigen metrischen Merkmals voraus Straffunktion betrachtet die Summe der quadrierten Residuen, d.h. Abweichungen zwischen dem eigentlichen Wert und der Vorhersage Optimale Parameter der Regressionsgerade lassen sich analytisch bestimmen 24

25 Literatur [1] L. Fahrmeir, R. Künstler, I. Pigeot und G. Tutz: Statistik Der Weg zur Datenanalyse, Springer, 2017 (Kapitel 12) [2] S. Raschka: Machine Learning in Python, mitp, 2017 (Kapitel 10) 25

26 2.2 Multiple lineare Regression Multiple lineare Regression betrachtet Datenpunkte (x (i,1),x (i,2),...,x (i,m),y i ) und nimmt an, dass sich das abhängige Merkmal y i als Linearkombination der m unabhängigen Merkmale x (i,1),, x (m,1) erklären lässt ŷ i = w 0 + w 1 x (i,1) + w 2 x (i,2) w m x (i,m) Das Modell hat somit (m + 1) Parameter und entspricht einer Hyperebene im (m + 1)-dimensionalen Raum 26

27 Multiple lineare Regression in Matrixschreibweise Oft ist es einfacher, bei vielen unabhängigen Merkmalen, das Modell in Matrixschreibweise zu formulieren Datenmatrix X (n (m + 1)) S T 1 x (1,1)... x (1,m) W X X = U. V 1 x (n,1)... x (n,m) mit einer zusätzlichen führenden Spalte gefüllt mit Einsen 27

28 Multiple lineare Regression in Matrixschreibweise Parametervektor w ((m + 1) 1) S T w = W U w 0. w m X V Beobachtungsvektor y (n 1) S y = W U y 1. y n T X V 28

29 Multiple lineare Regression in Matrixschreibweise Vorhersagevektor ŷ (n 1) lässt sich berechnen als S T S T 1 x (1,1)... x (1,m) w 0 W X W X ŷ = Xw= U. V U. V 1 x (n,1)... x (n,m) w m 29

30 Multiple lineare Regression in Matrixschreibweise Auch bei der multiplen linearen Regression kommt der quadratische Fehler zum Einsatz Die Straffunktion (loss function) lässt sich schreiben als nÿ! " 2 L(w) = yi w 0 x (i,0) w 1 x (i,1)... w m x (i,m) i=1 =(y Xw) T (y Xw) 30

31 Analytische Bestimmung optimaler Parameter Zum Bestimmen der optimalen Parameter müssen wir folgendes Optimierungsproblem lösen arg min w L(w) =(y Xw) T (y Xw) Vorgehensweise ist analog zum einfachen Fall, bedient sich jedoch der Vektoranalysis 31

32 Analytische Bestimmung optimaler Parameter Schritt 1: Vereinfachen der Straffunktion L(w) =(y Xw) T (y Xw) (1) =(y T w T X T )(y Xw) (2) = y T y y T Xw w T X T y + w T X T Xw (3) = y T y 2 w T X T y + w T X T Xw (4) (1) nach (2) nutzt aus, dass (Xw) T = w T X T (3) nach (4) nutzt aus, dass y T Xw = (w T X T y) T = (w T X T y) 32

33 Analytische Bestimmung optimaler Parameter Schritt 2: Bestimmen der Ableitung nach w ˆL(w) ˆw = 2XT y +2X T Xw Hierbei wird ausgenutzt, dass gilt: ˆw T X T y ˆw = X T y ˆw T X T Xw ˆw =2X T Xw 33

34 Analytische Bestimmung optimaler Parameter Schritt 3: Bestimmen einer Nullstelle der Ableitung nach w 2X T y +2X T Xw! = 0 (1) 2 X T Xw = 2X T y (2) X T Xw = X T y (3) w = (X T X) 1 X T y (4) (3) nach (4) multipliziert beide Seiten von links mit der inversen Matrix (X T X) -1 Die inverse Matrix (X T X) -1 existiert dann, wenn die ursprüngliche Datenmatrix X vollen Spaltenrang hat, d.h. alle Spaltenvektoren sind linear unabhängig 34

35 Analytische Bestimmung optimaler Parameter Die inverse Matrix (X T X) -1 existiert nicht z.b. für folgende Datenmatrizen S 1 2 T 4 X = U1 3 6V X = S T 5 U V Allgemein existiert die inverse Matrix nicht, wenn es mehr Merkmale als Datenpunkte gibt (d.h. m > n) unabhängige Merkmale (d.h. Spaltenvektoren) existieren, die linear abhängig voneinander sind 35

36 Multiple lineare Regression in Python import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from sklearn import linear_model, metrics # Autodaten einlesen cars = pd.read_csv('../data/auto-mpg/auto-mpg.data', header=none, sep='\s+') # Verbrauchswerte extrahieren y = cars.iloc[:,0].values # Leistungs- und Gewichtswerte extrahieren X = cars.iloc[:,[3,4]].values # Plot erstellen #g = sns.regplot(x=x, y=y, fit_reg=false) # Einfache lineare Regression reg = linear_model.linearregression() reg.fit(x,y) # Plot erstellen fig = plt.figure() ax = fig.add_subplot(111, projection='3d') # Datenpunkte plotten for i in range(0,len(y)): ax.scatter(x[i,0], X[i,1], y[i], color='blue', marker='x') 36

37 Multiple lineare Regression in Python # Vorhersagewerte berechnen X0 = np.arange(min(x[:,0]), max(x[:,0]), 25) X1 = np.arange(min(x[:,1]), max(x[:,1]), 25) X0, X1 = np.meshgrid(x0, X1) Z = X0.copy() n = X0.shape[0] m = X0.shape[1] for i in range(0, n): for j in range(0, m): Z[i,j] = reg.predict([[x0[i,j], X1[i,j]]]) # Hyperebene Plotten ax.plot_surface(x0, X1, Z, color='red', linewidth=0, antialiased=false) # Plot beschriften ax.set_xlabel('leistung [hp]') ax.set_ylabel('gewicht [lbs]') ax.set_zlabel('verbrauch [mpg]') # Plot anzeigen plt.show() # Koeffizienten und Bestimmtheitsmaß ausgeben print('parameter:') print('w0: %f'%reg.intercept_) print('w1: %f'%reg.coef_[0]) print('w2: %f'%reg.coef_[1]) print('bestimmtheitsmaß') print('r2: %f'%metrics.r2_score(y,reg.predict(x))) 37

38 Multiple lineare Regression in Python Vollständiges Jupyter-Notebook unter:

39 2.3 Nominale und ordinale Merkmale Wie lassen sich nominale und ordinale Merkmale so kodieren, dass sie für lineare Regression und andere Verfahren verwendbar sind? Nominale Merkmale (z.b. Herkunft) werden in ein binäres Merkmal je in den Daten vorhandenem Wert kodiert (one-hot encoding) Herkunft Herkunft 1 Herkunft 2 Herkunft

40 Nominale und ordinale Merkmale Ordinale Merkmale (z.b. Energieeffizienzklasse) werden auf ganze Zahlen abgebildet, so dass die Ordnung der ursprünglichen Werte erhalten bleibt Energiee zienzklasse Energiee zienzklasse A C B Hierbei wird implizit angenommen, dass die Abstände zwischen benachbarten Werten gleich groß, d.h. diese äquidistant sind 40

41 Nominale und ordinale Merkmale in Python import pandas as pd # Autodaten einlesen cars = pd.read_csv('../data/auto-mpg/auto-mpg.data', header=none, sep='\s+') # Daten der ersten zehn Autos ausgeben print(cars.head(n=10), "\n") # Nominales Merkmal Herkunft kodieren origin_one_hot = pd.get_dummies(cars[7], prefix='origin') # Neue Merkmale mit ursprünglichen Daten konkatenieren cars = pd.concat([cars, origin_one_hot], axis=1) # Daten der ersten zehn Autos ausgeben print(cars.head(n=10), "\n") 41

42 Nominale und ordinale Merkmale in Python import numpy as np import pandas as pd # Daten mit einem metrischen und einem ordinalen Merkmal erzeugen data = pd.dataframe(np.matrix([[1.2,'a'], [2.1, 'B'], [1.7, 'C'], [3.2, 'A'], [4.2,'B']])) # Daten ausgeben print(data,"\n") # Ordnung der Werte angeben order = ['A', 'B', 'C'] # Ordinales Merkmal kodieren encoded_feature = data[1].astype("category", ordered=true, categories=order).cat.codes # Neues Merkmal mit urprünglichen Daten konkatenieren data = pd.concat([data, encoded_feature], axis=1) # Daten ausgeben print(data) Vollständiges Jupyter-Notebook unter:

43 Zusammenfassung Multiple lineare Regression sagt ein abhängiges metrisches Merkmal anhand mehrerer unabhängiger metrischer Merkmale voraus Optimale Parameter der Regressionshyperebene lassen sich analytisch bestimmen Nominale und ordinale Merkmale können so kodiert werden, dass sie für lineare Regression verwendbar sind 43

44 Literatur [1] L. Fahrmeir, R. Künstler, I. Pigeot und G. Tutz: Statistik Der Weg zur Datenanalyse, Springer, 2017 (Kapitel 12) [2] S. Raschka: Machine Learning in Python, mitp, 2017 (Kapitel 10) 44