Biostatistik 101 Korrelation - Regressionsanalysen

Transkript

1 Good Data don't need statistics Biostatistik 101 Korrelation - Regressionsanalysen Carl Herrmann IPMB Uni Heidelberg & DKFZ B080 carl.herrmann@uni-heidelberg.de

2 Korrelation

3 Sind Alter und Blutdruck miteinander verbunden? Streudiagramme = Scatter Plot Keine Annahme, was Ursache und Konsequenz ist!!

4 Verhältnis von 2 Variabeln Varianz : positiv negativ Kovarianz : positiv negativ die Kovarianz ist nicht skaleninvariant!

5 Kovarianz / Korrelation einer Stichprobe Kovarianz Korrelation (Pearson's Korrelation ρ ) Eigenschaften Skaleninvarianz Borniertheit

6 Beispiele

7 Beispiele

8 Korrelation und Steigung die Korrelation alleine sagt nichts über die Steigung!

9 Korrelationen interpretieren Korrelation ~ 0 bedeutet nicht, daß es keinen Zusammenhang zwischen den Variabeln gibt! Ungekehrt kann eine starke Korrelation durch wenige Ausreißer beeinflußt werden Korrelation bedeutet nicht Kausalität

10 Anscombe Quartet r = in allen 4 Fällen...

11 Hypothesen Tests H0 : die Korrelation zwischen den Zufallsvariablen X,Y ist null... Standardfehler des Korrelationskoeffizientes Test-Statistik : t-verteilung mit n-2 Freiheitsgraden t-verteilung

12 Beispiel > cor.test(diab[1:30,7],diab[1:30,12]) Pearson's product-moment correlation data: diab[1:30, 7] and diab[1:30, 12] t = 2.386, df = 28, p-value = alternative hypothesis: true correlation is not equal to 0 95 percent confidence interval: sample estimates: cor t=2.386 pupper=0.012 p2tail=0.024

13 Konfidenzinterval Konfidenzinterval kann nicht direkt für r berechnet werden, da die Stichprobenverteilung nicht Normal ist r z' : z' ist (einigermaßen ) Normalverteilt Berechnung des CI auf z' und inverse Transformation z' r Beispielberechnung : r = 0.41, n = 30

14 Konfidenzinterval 2 Zufallsvariablen X, Y mit Korrelation : ρ = 0.6 Stichproben x, y von verschiedenen Größen n Verteilung der Korrelationswerte r KEINE Normalverteilung Fisher's Transformation ~ Normalverteilung mit Standardabweichung

15 Spearman Korrelation Pearson Korrelation kann von einigen Ausreißern stark beeinflußt werden Um diesen Effekt zu beheben wird die Korrelation nach Spearman berechnet Ränge Werte Ränge Korrelation der Ränge Werte Ränge Ausreißer cor = 0.67 cor =0.67 cor = -0.11

16 Regressionsmodelle

17 Lineare Regression Man geht von einer linearen Beziehung zwischen 2 Variabeln (X,Y) aus Ŷ Y für jeden Wert Xi kann man den Wert Yi abschätzen b1 = Steigung b0 = Schnittpunkt

18 Prinzip der kleinsten Quadrate die Parameter der Regressionslinie werden mittels der kleinsten Quadrate ( least square ) bestimmt

19 Residuen der geschätzte Wert ist nicht gleich dem reellen Wert es gilt ei sind die Residuen

20 Residuen der ganze Einfluß von X ist durch aufgesaugt worden X hat keinen Einfluß auf die Residuen ei

21 Residuen die Residuen sollten nicht mit X korrelieren Mittelwert = 0 haben normalverteilt sein mit Mittelwert 0 Trifft das nicht zu ist die Beziehung von X,Y nicht linear wichtiger Test!

22 Wie gut ist das Regressionsmodel? Ist das Regressionsmodel besser als das einfache Model Y=Y? Vermutlich genauer, aber dafür komplizierter lohnt sich der Aufwand?

23 Varianzzerlegung die Varianz von Y kann zerlegt werden in einzelne Komponenten Varianz von Ŷ Varianz der Residuen e da corr(ŷ,e) = 0 gilt : Total Sum of Squares (SST) Model Sum of Sq. (SSM) Residual Sum of Sq. (SSR)

24 Wie gut ist der Fit? Total Sum of Squares (SST) Model Sum of Sq. (SSM) Residual Sum of Sq. (SSR) bei einem guten Fit sollte SSR klein sein und SSM einen großen Anteil von SST ausmachen R² ist der Anteil der Varianz, die durch das Model erklärt wird es gilt corr(x,y) = 0.6 ein lineares Regressionsmodel kann 36% der Varianz erklären

25 Wie gut ist der Fit? Total Sum of Squares (SST) erklärte Varianz : nicht erklärte Varianz : Model Sum of Sq. (SSM) Residual Sum of Sq. (SSR)

26 Wie gut ist der Fit? Total Sum of Squares (SST) Model Sum of Sq. (SSM) Residual Sum of Sq. (SSR) F-ratio = Verhältnis der Varianzen df = 1 df = n-2 F-Ratio kann mit einem F-Test auf Signifikanz untersucht werden H0: das lineare Model ist nicht signifikant besser als Y = Y Anzahl der beta Koeffizienten = Anzahl Variablen + 1 Anzahl der Datenpunkte

27 Hypothesentest für Koeffizienten wenn b1 = 0 kann Y nicht durch X vorhergesagt werden andersrum gilt : wenn b1 signifikant von 0 abweicht, dann besteht eine lineare Beziehung Achtung! ein kleiner b1 Wert kann signifikant von 0 abweichen ein großer b1 Wert kann mit b1 = 0 kompatibel sein Abweichung von 0 kann mit einem t-test bestimmt werden. H0 : b1=0 Standardabweichung der Residuen

28 Hypothesentest für Koeffizienten Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-13 *** x e-07 *** Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** x <2e-16 *** größerer Einfluß des Störfaktors führt zu größerer Unsicherheit bei Bestimmung der Regressionskoeffizienten

29 Hypothesentest für Koeffizienten Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** x <2e-16 *** Ungenauere Bestimmung von b1 wenn die X-Werte näher bei einander liegen

30 Beispiel einer linearen Regression n = 397 > l <- lm(weight ~ height,data=diab) > summary(l) Call: lm(formula = weight ~ height, data = diab) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) height e-07 *** --Residual standard error: on 395 degrees of freedom (6 observations deleted due to missingness) Multiple R-squared: , Adjusted Rsquared: F-statistic: on 1 and 395 DF, p-value: 3.938e-07 nur 6% der Varianz kann durch das Model erklärt werden

31 Diagnostic plots Residuenverteilung ist unabhängig von der Variablen Residuen sind (ungefähr..) Normalverteilt

32 Ein Gegenbeispiel... > summary(l) Call: lm(formula = y ~ x, data = data.frame(x = x, y = y)) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** x <2e-16 *** --Residual standard error: on 499 degrees of freedom Multiple R-squared: , Adjusted R-squared: F-statistic: 5533 on 1 and 499 DF, p-value: < 2.2e-16

33 Ein Gegenbeispiel... Residuenverteilung ist keine unabhängige Funktion von x... Residuen sind NICHT normalverteilt!

34 Lineare Regression mit Kategorien A B C D Summe Mittelwert unterschiedliche Weizensorten (A,B,C,D) werden getestet, jeweils auf 4 Parzellen Gibt es einen signifikanten Unterschied im Ertrag?

35 Varianzanalyse (one-way ANOVA) Ist die Varianz zwischen den Gruppen signifikant größer als die Varianzen innerhalb der einzelnen Gruppen? Varianzanalyse (ANOVA) Xij = Einzelwert X = Gesamtmittelwert αi = Faktoreneffekt eij = Restfehler Gesamtmittelwert X

36 Varianzanalyse (one-way ANOVA) Varianz innerhalb der Gruppe Zerlegung der Varianz Varianz zwischen den Gruppen (i=gruppe A,B,C,D; j=replikat 1,2,3,4) X = Gesamtmittelwert Xi = Mittelwert der Gruppe Total Sum of Squares (SST) Model Sum of Sq. (SSM) Gesamtmittelwert X Residual Sum of Sq. (SSR) Freiheits grade SS SS F Faktor Restfehler Gesamt Freiheitsgrade: 3 : 4 Gruppen 1 Gesamtmittelwert 12 : 16 Datenpunkte 4 Gruppenmittelwerte 15 : 16 Datenpunkte 1 Gesamtmittelwert

37 Lineare Regression mit binären Daten Eine lineare Regression kann auch mit einer binären Variablen durchgeführt werden: z.b. Xi = {Frau/Mann}, {Jung/Alt}... Xi wird dann mit den Werten {0/1} kodiert ( dummy variable ) Beispiel : Gewicht in Abhängigkeit des Geschlechts Mann 0 ; Frauen 1 In diesem Fall ist der F-Test äquivalent zum t-test