Vorlesung 8a. Kovarianz und Korrelation

Transkript

1 Vorlesung 8a Kovarianz und Korrelation 1

2 Wir erinnern an die Definition der Kovarianz Für reellwertige Zufallsvariable X, Y mit E[X 2 ] < und E[Y 2 ] < ist Cov[X, Y ] := E [ (X EX)(Y EY ) ] Insbesondere ist also Cov[X, X] = Var[X] 2

3 Die Kovarianz ist - positiv semidefinit: Cov[X, X] 0, Cov[0,0] = 0 - symmetrisch: Cov[X, Y ] = Cov[Y, X] - bilinear: Cov[c 1 X 1 + c 2 X 2, Y ] = c 1 Cov[X 1, Y ] + c 2 Cov[X 2, Y ] 3

4 Die Kovarianz-Varianz-Ungleichung Cov[X, Y ] VarX VarY folgt sofort aus der Cauchy-Schwarz Ungleichung: Für reellwertige Zufallsvariable G, H mit E[G 2 ],E[H 2 ] < ist (E[GH]) 2 E[G 2 ]E[H 2 ]. 4

5 Beweis: Fall 1: E[G 2 ],E[H 2 ] > 0. U := G/ E[G 2 ], V := H/ E[H 2 ] erfüllen E[U 2 ] = E[V 2 ] = 1. Aus ±2UV U 2 + V 2 folgt ±E[UV ] 1. Multiplikation mit E[G 2 ] E[H 2 ] ergibt die Behauptung. Fall 2: E[G 2 ] = 0. Dann folgt aus der Positivität des E wertes P(G 2 = 0) = 1, also P(GH = 0) = 1 und E[GH] = 0. 5

6 Hier sind 5 Zahlen zur (teilweisen) Beschreibung der Verteilung einer R R-wertigen Zufallsvariablen oder anders gesagt: eines zufälligen Paares (X, Y ): µ X und µ Y : die Erwartungswerte von X und Y σ X und σ Y : die Standardabweichungen von X und Y κ XY : der Korrelationskoeffizient von X und Y. 6

7 Definition. Für zwei Zufallsvariable X, Y mit positiven, endlichen Varianzen sei κ = κ XY := Cov[X, Y ] VarX VarY der Korrelationskoeffizient von X und Y. Aus der Kovarianz-Varianz-Ungleichung folgt sofort 1 κ XY 1. 7

8 Wir werden sehen: κ 2 ist ein Maß dafür, um wieviel besser man Y durch eine affin lineare Funktion von X vorhersagen kann: Y = β 1 X + β 0 + Fehler, als durch eine Konstante: Y = c + Fehler. Die Güte der Vorhersage bezieht sich auf einen kleinen erwarteten quadratischen Fehler (mean sqare error). 8

9 Um dies einzusehen, fragen wir erst einmal: Durch welche Konstante wird die Zufallsvariable Y (im Sinn des erwarteten quadratischen Fehlers) am besten vorhergesagt? Durch ihren Erwartungswert E[Y ]! Denn: 9

10 E(Y c) 2 = E[(Y EY + EY c) 2 ] = E[(Y EY ) 2 ]+2E[(Y E[Y ])(EY c)]+(e[y ] c) 2 = Var Y (E[Y ] c) 2. Das wird minimiert von c = EY und hat den Minimalwert Var Y. 10

11 Durch welche affin lineare Funktion von X, β 1 X + β 0, wird die Zufallsvariable Y (wieder im Sinn des erwarteten quadratischen Fehlers) am besten vorhergesagt? Genauer: Für welche Zahlen β 1, β 0 wird E[(Y β 1 X β 0 ) 2 ] minimal? 11

12 Wie wir gleich sehen werden, ist die Lösung: β 1 := σ Y σ X κ XY und β 0 so, dass µ Y = β 1 µ X + β 0. M. a. W.: β 0 so, dass der Punkt (µ X, µ Y ) auf der Geraden y = β 1 x + β 0 liegt. Wir nennen diese Gerade die Regressionsgerade für Y auf der Basis von X. 12

13 Wir begründen jetzt die Behauptung über β 0 und β 1 : E[(Y β 1 X β 0 ) 2 ] = Var[Y β 1 X β 0 ] + (E[Y ] β 1 E[X] β 0 ) 2 = Var[Y β 1 X] + (E[Y ] β 1 E[X] β 0 ) 2 Der zweite Summand ist Null für β 0 = EY β 1 EX. Damit haben wir schon mal die eine Bedingung gefunden. Für welches β 1 wird der erste Summand minimal? 13

14 Var[Y β 1 X] = VarY 2β 1 Cov[X, Y ] + β 2 1 VarX = σ 2 Y 2β 1κ σ X σ Y + β 2 1 σ2 X = σ 2 Y σ2 Y κ2 + (σ Y κ β 1 σ X ) 2 Der rechte Summand wird Null für β 1 = σ Y σ X κ. Und der Minimalwert von Var[Y β 1 X] ist σ 2 Y (1 κ2 ). 14

15 Damit ist auch der Minimalwert von Var[Y β 1 X β 0 ] gleich σ 2 Y (1 κ2 ). Der Minimalwert von Var[Y c] war σ 2 Y. Also ist der Anteil von Var Y, der von den Vielfachen von X zusätzlich zu den Vielfachen von 1 erklärt wird, gleich κ 2 σ 2 Y. 15

16 Wir halten fest: Die Minimierungsaufgabe E[(Y β 1 X β 0 ) 2 ]! = min für die beste affin lineare Vorhersage von Y auf der Basis von X (im Sinn des quadratischen Mittels) hat die Lösung β 1 = σ Y σ X κ, µ Y = β 1 µ X + β 0 und den Minimalwert (1 κ XY 2 )VarY 16

17 Beispiel 1: Z 1, Z 2 seien unabhängig und standard-normalverteilt, ρ [ 1,1]. X := Z 1, Y := ρz ρ 2 Z 2. Dann gilt: σ 2 X = σ2 Y = 1, κ XY = ρ. 17

18 Die folgenden Bilder (ρ = 0.9, 0.8,...,0.8,0.9) zeigen jeweils die Realisierungen von 1000 unabhängige Kopien (X i, Y i ) von (X, Y ), zusammen mit der Regressionsgerade für Y auf der Basis von X (in schwarz) und der Regressionsgerade für X auf der Basis von Y (in grau).

19 Korrelation = 0.9

20 Korrelation = 0.8

21 Korrelation = 0.7

22 Korrelation = 0.6

23 Korrelation = 0.5

24 Korrelation = 0.4

25 Korrelation = 0.3

26 Korrelation = 0.2

27 Korrelation = 0.1

28 Korrelation = 0

29 Korrelation = 0.2

30 Korrelation = 0.3

31 Korrelation = 0.4

32 Korrelation = 0.5

33 Korrelation = 0.6

34 Korrelation = 0.7

35 Korrelation = 0.8

36 Korrelation = 0.9

37 Beispiel 2: (x 1, y 1 ),...,(x n, y n ) seien n Punkte im R 2. Das zufällige Paar (X, Y ) habe die Verteilung ν := 1 n n i=1 δ (xi,y i ). (Dabei ist δ z (B) := 1 für z B, und := 0 für z B.) 1 n δ (x i,y i ) gibt also dem Punkt (x i, y i ) das Gewicht 1 n. 36

38 (X, Y ) hat Verteilung ν = 1 n n i=1 δ (xi,y i ). Dann ist EX = 1 n xi =: x σ 2 X = 1 n (xi x) 2 κ = (xi x)(y i ȳ) (xi x) 2 (yi ȳ) 2. 37

39 E[(Y β 1 X β 0 ) 2 ] = 1 n n i=1 (y i β 1 x i β 0 ) 2 wird, wie wir gezeigt haben, minimiert durch β 1 := σ Y σ X κ = (xi x)(y i ȳ) (xi x) 2 und β 0 so, dass ȳ = β 1 x + β 0. Diese Gerade y = β 1 x + β 0 heißt die Regressionsgerade zu den Punkten (x i, y i ), i = 1,..., n.. 38