Methoden der Statistik Kapitel 2: Deskriptive Statistik

Transkript

1 Methoden der Statistik Kapitel 2: Deskriptive Statistik Thorsten Dickhaus Humboldt-Universität zu Berlin Wintersemester 2011/2012

2 Übersicht Univariate Merkmale 1 Abschnitt 2.1: Univariate Merkmale 2 Abschnitt 2.2:

3 Übersicht Univariate Merkmale 1 Abschnitt 2.1: Univariate Merkmale 2 Abschnitt 2.2:

4 Univariate Daten: Michelson s Lichtgeschwindigkeits-Daten

5 Interpretation der Daten Erste Spalte : Fortlaufende Nummer der Messungen (1-100) Zweite Spalte : (Gemessene Geschwindigkeit ) in km/s Dritte Spalte : Fortlaufende Nummer in der Messreihe (1-20) Vierte Spalte : Nummer der Messreihe (1-5)....

6 Einlesen der Daten > l< read. table ( " l i g h t s p e e d. dat " ) > s t r ( l ) data. frame : 100 obs. of 4 v a r i a b l e s : $ V1 : i n t $ V2 : i n t $ V3 : i n t $ V4 : i n t > a t t r i b u t e s ( l ) > dim ( l ) [ 1 ] > is. matrix ( l ) [ 1 ] FALSE > is. l i s t ( l ) [ 1 ] TRUE > mode( l ) [ 1 ] " l i s t " > speed< l $V2

7 Variablen Univariate Merkmale > names( l ) [ 1 ] "V1" "V2" "V3" "V4" > names( l )< c ( "No", " Speed ", "ExNo", " Ex " ) > attach ( l ) The f o l l o w i n g o b j e c t ( s ) are masked from l ( p o s i t i o n 3 ) : Ex ExNo No Speed > ex1< subset ( l, Ex==1) > s< ex1$speed

8 Statistische Kenngrößen (Arithmetischer) Mittelwert x = n 1 n i=1 x i: > mean( s ) [ 1 ] 909 Standardabweichung (1/(n 1)) i (x i x) 2 : > sd ( s ) [ 1 ] Median med = x [(n+1)/2] : > median ( s ) [ 1 ] 940 Median absoluter Abweichungen MAD = n 1 i x i med(x) : > mad( s ) [ 1 ]

9 Statistische Kenngrößen Schiefe (skewness): v(x) = E [ (X EX) 3] Var(X) 3 /2. Die Schiefe einer empirischen Verteilung: v e (x) = n 1 i (x i x) 3 ( n 1 i (x i x) 2) 3/2 > skew< function ( x ) { + skewness < ( ( sqrt ( length ( x ) ) + sum( ( x mean( x ) ) ^ 3 ) ) / (sum( ( x mean( x ) ) ^ 2 ) ) ^ ( 3 / 2 ) ) + return ( skewness ) } > skew ( s ) [ 1 ]

10 Die summary Funktion > summary( ex1 ) No Speed ExNo Ex Min. : 1.00 Min. : 650 Min. : 1.00 Min. : 1 1 s t Qu. : s t Qu. : s t Qu. : s t Qu. : 1 Median : Median : 940 Median : Median : 1 Mean : Mean : 909 Mean : Mean : 1 3 rd Qu. : rd Qu. : rd Qu. : rd Qu. : 1 Max. :20.00 Max. :1070 Max. :20.00 Max. :1

11 Der Box Whisker Plot >boxplot(s)

12 R Code: Herausnehmen von Ausreißern > s t r i m< s [ which ( s >700) ] > summary( s t r i m ) Min. 1st Qu. Median Mean 3rd Qu. Max

13 Vergleich der Messreihen > boxplot ( l $Speed~ l $Ex )

14 Empirische Verteilungsfunktion Seien X 1,..., X n reellwertige iid. Zufallsvariablen mit X 1 F und X = (X 1,..., X n ) t. ˆF n (t) := #{x i x i t, i {1,..., n}} n = n i=1 1 n 1 (,t](x i ). Satz von Glivenko Cantelli liefert fast sichere gleichmäßige Konvergenz: lim ˆF n (t) F(t) = 0 P F f.s. sup n t R > ecdf ( er ) E m p i r i c a l CDF Call : ecdf ( er ) # er : e r u p t i o n s of a g e y s i r

15

16 Diskrete Merkmale, Stabdiagramme Die empirische Verteilungsfunktion ist eine rechtsseitig stetige, monoton wachsende Treppenfunktion, die an den Beobachtungspunkten springt. Ist X 1 diskret verteilt, so ist L(X 1 ) festgelegt durch seine Wahrscheinlichkeitsfunktion, also durch die Angabe der Werte P F (X 1 = k), k supp(x 1 ). Auf der beschreibenden Ebene (empirisches Maß) führt das zu Stabdiagrammen der relativen Häufigkeiten der beobachteten Werte.

17 # Stabdiagramm und empirische V e r t e i l u n g s f u n k t i o n simanz = 5000; werte < rbinom ( n=simanz, size =10, prob =0. 15) plot ( ecdf ( werte ), col= blue, main= Computersimulation : B i n o m i a l v e r t e i l u n g ) lines ( sort ( unique ( werte ) ), table ( werte ) / simanz, type= h, col= red, lwd =2)

18 Stetiges Merkmal Modellannahme: X 1,..., X n reellwertige iid. Zufallsvariablen, deren Verteilung die Dichte f bezüglich des Lebesgue Maßes besitzt. Datenbeispiel: 272 beobachtete Ausbrüche des Old Faithful Geysirs im Yellowstone National Park mit Eruptionsdauer sowie der Wartezeit bis zum nächsten Ausbruch > data ( f a i t h f u l ) > er< f a i t h f u l $ e r u p t i o n s

19 Histogramm Schätzer Das Histogramm ist ein stückweise konstanter Dichteschätzer. Vorgehen: Wähle Intervalle ( Klassen, englisch: bins) I k I k = (a k 1, a k ], k {1,..., K } n k := #{x i I k, i {1,..., n}} ˆfhist (x) = n k n Im Falle gleicher Intervalllängen mit a k a k 1 h k {1,..., K }: 1 a k a k 1 1 {Ik }(x) ˆfhist (x) = n k nh 1 {I k }(x)

20 > hist(er, freq=false,col="grey")

21 Nachteil des Histogramm Schätzers: Schätzer hängt von der Wahl der Klassen Längen und des Startwertes a 0 ab!

22 Gleitendes Histogramm Durch den gleitenden Histogramm Schätzer ˆfGH (x) := ˆF n (x + h) ˆF n (x h) = #{x i x i (x h, x + h]} 2h 2hn = 1 n ( ) x xi K R mit K R (t) = (1/2)1 nh h [ 1,1] (t), i=1 bei dem jede Beobachtung Mittelpunkt eines bins ist, lässt sich das Startwertproblem lösen.

23

24 Kernfunktionen Univariate Merkmale Definition Eine Funktion K : R R heißt Kern, falls gilt: 1 K(x)dx = 1, K(x) 0 x R, K(x) = K( x) Regularitätsbedingungen: 2 sup x R K(x) = M < 3 x K(x) 0 für x 0, x 2 K(x)dx =: k 2 <

25 Kernfunktionen: Beispiele Beispiele für Kernfunktionen: Rechteckskern Dreieckskern K(x) = [ 1,1](x), K(x) = (1 x )1 [ 1,1] (x), Gaußkern K(x) = 1 2π exp( x 2 /2), Bisquarekern K(x) = (1 x 2 ) 2 1 [ 1,1] (x), Epanechnikovkern K(x) = 3 4 (1 x 2 )1 [ 1,1] (x).

26 Grafische Darstellung verschiedener Kernfunktionen

27 Univariater Kerndichteschätzer Definition Sei K : R R ein Kern. ˆfn (t) = 1 nh n ( ) t xi K = h i=1 1 h K ( ) t x ˆF n (dx) h heißt (univariater) Kerndichteschätzer mit Bandweite h und Kern K. Mit K(t) := t K(x)dx lässt sich auch F(t) schätzen durch ( ) t x K ˆF n (dx) = 1 h n n i=1 ( ) t xi K. h

28 Gauß Kernschätzer (n = 5)

29 Gauß Kernschätzer (n = 9)

30 Gauß Kernschätzer (n = 50)

31

32 Kernschätzung: Feinkalibrierung Entscheidende Schwierigkeit: Wahl der Bandweite! h zu groß oversmoothing lokale Extrema werden nicht erkannt, zu glatt h zu klein undersmoothing lokale Moden, Schätzer ist hairy

33 Bias Univariate Merkmale Satz Wenn K : R R ein Kern ist, der die oben genannten Regularitätsbedingungen erfüllt, und f C 2 (R), so gilt: E f [ˆf n (x)] f (x) = h2 2 f (x) x 2 K(x)dx + O(h 2 ).

34 Bias Univariate Merkmale Beweis über Taylor Entwicklung von f : f (x ht) = f (x) htf (x) + h2 t 2 2 f (x) + O(h 2 t 2 ) ( ) 1 x y E f [ˆf n (x)] f (x) = h K f (y)dy f (x) h = hf (x) yk(y)dy + }{{} h 2 f (x) 2 =0 = h2 f (x) k 2 + O(h 2 t 2 ). 2 y 2 K(y)dy +O(h 2 t 2 ) } {{ } =k 2

35 Varianz Univariate Merkmale Satz Wenn K : R R ein Kern ist, der die oben genannten Regularitätsbedingungen erfüllt, und f C(R), so gilt: ) Var f (ˆfn (x) = 1 nh f (x) ( K 2 (y)dy + O n 1 h 1).

36 Varianz Univariate Merkmale Beweis: ) Var (ˆfn (x) = 1 n 2 h 2 = 1 nh 2 = 1 nh n i=1 = 1 nh f (x) ( ( x xi Var K K 2 ( x y h )) h ) f (y)dy 1 n ( ) 2 E[ˆf n (x)] ( K 2 (y)f (x yh)dy n 1 E[ˆf n (x)] ( K 2 (y)dy + O n 1 h 1). ) 2

37 Mean Squared Error: Bias Varianz Zerlegung [ ) ] 2 E f (ˆfn (x) f (x) = Bias(ˆf n (x h)) 2 + Var(ˆf n (x h)) ( f = h 4 ) (x) 2 2 k nh f (x) K 2 (y)dy + O (h 4 + n 1 h 1) Trade Off zwischen Bias und Varianz möglich! Anmerkung: Bias hängt nicht explizit vom Stichprobenumfang n ab. Für Konsistenz muss indes h h(n) 0 und nh für n gelten!

38 Optimaler Kern Univariate Merkmale Minimierung des MISE bezüglich h ergibt optimale Bandweite: ( K 2 (y)dy )1 /5 h opt = ( n 1 /5 k 1 /5 2 (f (y)) dy) 2 1/5. (1) Setzt man h opt in den MISE ein, erhält man ( MISE 5 ( 4/5 ) ( k 2 /5 (f 4 2 K (y)dy) 2 (y) ) ) 1/5 2 dy. Minimal für Epanechnikov Kern: K e (x) = (1 x 2 5 ) 1 [ 5,5] (x).

39 Optimaler Kern Univariate Merkmale Setzt man h opt in den MISE ein, erhält man ( MISE 5 ( 4/5 ) ( k 2 /5 (f 4 2 K (y)dy) 2 (y) ) ) 1/5 2 dy. Minimal für Epanechnikov Kern: K e (x) = (1 x 2 5 ) 1 [ 5,5] (x). Effizienz eff (K) für K K e und n gegeben: Zahl eff (K) löst Gleichung MISE(n, K) = MISE(n eff (K), K e ). Gauß Kern: Effizienz von ca. 0.95, Rechteck Kern: Effizienz von ca

40 Übersicht Univariate Merkmale 1 Abschnitt 2.1: Univariate Merkmale 2 Abschnitt 2.2:

41 Multivariate Daten: Mietspiegel Daten > miete< read. table ( f i l e = " miete03. asc ", header=true) > s t r ( miete ) data. frame : 2053 obs. of 16 v a r i a b l e s : $ GKM : num $ QMKM : num $ QM : i n t $ Zi : i n t $ BJ : num $ B : i n t $ L : i n t $ best : i n t $ WW : i n t $ ZH : i n t $ BK : i n t $ BA : i n t $ KUE : i n t

42 Abgeleitete Variablen Hier: Klassierung von Baujahr und Quadratmeterzahl > miete$bjkl< 1 ( BJ<=1918)+2 ( BJ<=1948) ( BJ>1919)+3 ( BJ<=1965) ( BJ>1948)+4 ( BJ<=1977) ( BJ>1965)+5 ( BJ<=1983) ( BJ>1977)+6 ( BJ>1983) > miete$qmkl< 1 (QM<=50)+2 (QM>50) (QM<=80)+3 (QM>80)

43 Zwei diskrete Merkmale: Kontingenztafeln Mögliche Werte für Merkmal 1: a 1, a 2,..., a k Mögliche Werte für Merkmal 2: b 1, b 2,..., b l Beobachtung x: Matrix der absoluten Häufigkeiten aller Kombinationen (a i, b j ), 1 i k, 1 j l in der Stichprobe vom Umfang n Darstellung als Kontingenztafel (auch: (k l)-feldertafel): b 1 b 2... b l a 1 x 11 x x 1l n 1. a 2 x 21 x x 2l n a k x k1 x k2... x kl n k. n.1 n.2... n.l n

44 Randhäufigkeiten, marginale Verteilungen Der Vektor n = (n 1., n 2.,..., n k., n.1, n.2,..., n.l ) N k+l heißt Vektor der (empirischen) Randhäufigkeiten. Die (emprirische) diskrete Verteilung, die durch die Randhäufigkeiten eines Merkmals gegeben ist, bezeichnet man als Randverteilung oder auch marginale Verteilung dieses Merkmals. > h< numeric ( 6 ) > for ( i i n 1 : 6 ) { + h [ i ]< length ( which ( BJKL== i ) ) } > names( h )< c ( " vor 1918 ", " ", " ", " ", + " ", " Neubau " ) > pie ( h, col=rainbow ( 6 ) ) > barplot ( h, col=heat. colors ( 6 ), density =100)

45 Grafische Darstellung von Randverteilungen

46 Grafische Darstellung bivariater diskreter Verteilungen R Code: assocplot und mosaicplot > par ( mfrow=c ( 1, 2 ) ) > mosaicplot ( table ( BJKL,QMKL), col=true) > assocplot ( table ( BJKL,QMKL) ) > miete$qmkmkl< 1 (QMKM<=8)+2 (QMKM>8) (QMKM<=10) +3 (QMKM>10) (QMKM<=12)+4 (QMKM>12) > mosaicplot ( table (QMKMKL, L ), col=true) > assocplot ( table (QMKMKL, L ) )

47 Baujahr Wohnungsgröße

48 Miete Wohnlage

49 Multivariate stetige Verteilungen Modell: X 1,..., X n R p i. i. d. f. Definition (p-dimensionaler Kern) Eine Funktion K : R p R mit Regularitätsbedingungen: R p K(y)dy = 1 und K ist radialsymmetrische Wahrscheinlichkeitsdichte Beschränkter Träger oder zumindest x K(x) 0 für x 0

50 p-dim. Kernfunktionen, Kerndichteschätzer Beispiele: uniformer Kern K(x) = 1 v p für x T x 1, Gaußkern K(x) = 1 (2π) p /2 exp ( 1 2 xt x ), Epanechnikovkern Definition Sei K : R p R ein Kern. ˆfn (x) = 1 nh p K(x) = 1+p/2 v p (1 x T x), x T x 1. n ( x Xi K h i=1 ), x R p heißt multivariater Kerndichteschätzer mit Bandweite h und Kern K.

51 Bandweitenwahl Bias und Varianz: ) Bias h (ˆfn (x) = h2 f (x) 2 ) Var h (ˆfn (x) = 1 nh p y 2 1 K(y)dy + O(h2 ), ( K 2 (y)dy + O n 1 h p). Minimierung des MISE: (h opt ) p+4 = p K 2 ( (y)dy ( n y 2 1 K(y)dy ) 2 ) ( f (y)) 2 dy.

52 Darstellung zweidimensionaler Kernfunktionen Gaußkern und Epanechnikovkern mit p = 2

53 Verschiedene Bandweiten in unterschiedliche Richtungen Allgemeiner als in obiger Definition kann man den multivariaten Kerndichteschätzer mit einer Bandweitenmatrix H definieren: ˆfn (x) = 1 ( ) n H K H 1/2 (x X 1 /2 i ), x R p. Zuvor: H = h1 p, wobei 1 p die p dimensionale Einheitsmatrix bezeichnet In R: Diagonalmatrix H angebbar.

54 R Code: Zweidimensionale Kerndichteschätzung > l i b r a r y (MASS) > l i b r a r y ( KernSmooth ) > data ( f a i t h f u l ) > x< f a i t h f u l $ e r u p t i o n s > y< f a i t h f u l $ w a i t i n g > par ( mfrow=c ( 2, 2 ), pty="m" ) > plot ( y, x, ylab=" e r u p t i o n ", xlab=" w a i t i n g " ) # S c a t t e r p l o t, S t r e u b i l d > z< kde2d ( x, y, lims=c (0,6,35,100)) > zz< bkde2d ( f a i t h f u l, range. x= l i s t ( c ( 0, 6 ), c ( 3 5, ) ), + bandwidth=c (bw. SJ ( x ),bw. SJ ( y ) ) ) > image ( z, xlab=" e r u p t i o n ", ylab=" w a i t i n g " ) > image ( zz$ fhat, xlab=" e r u p t i o n ", ylab=" w a i t i n g " ) #Heat Maps > persp ( z, col= " s l a t e g r e y ", t h e t a =35, xlim=c ( 0, 6 ), y lim=c (35,100), + t i c k t y p e = " d e t a i l e d ", xlab=" e r u p t i o n ", ylab=" w a i t i n g ", zlab=" " )

55 Zweidimensionale Kerndichteschätzung

56 Kontur-Plots, 3D-Plots > contour ( zz$x1, zz$x2, zz$ f h a t ) > persp ( zz$x1, zz$x2, zz$fhat, col= " slategrey ", + t h e t a =35, xlim=c ( 0, 6 ), y lim=c (35,100), + t i c k t y p e = " d e t a i l e d ", xlab=" e r u p t i o n ", + ylab=" w a i t i n g ", zlab=" " )

57 Zusammenhänge zwischen stetigen Variablen > plot (QM,GKM) > abline ( 0,mean(QMKM), col= " blue " ) > abline ( 0,mean(QMKM)+sd (QMKM), col= " red ", l t y =4) > abline ( 0,mean(QMKM) sd (QMKM), col= " red ", l t y =4) > z< tapply (QMKM,QMKL, mean) > segments (0,0,50, z [ 1 ] 50, col= " green ", lwd =2, l t y =2) > segments(50,50 z [ 2 ], 8 0, z [ 2 ] 80, col= " l i g h t g r e e n ", lwd =3, l t y =2) > segments(80,80 z [ 3 ], 2 0 0, z [ 3 ] 200, col= " darkgreen ", lwd =2, l t y =2) > lines (QM, f i t t e d ( lm (GKM~QM) ), col= " yellow " ) Funktion lm in R: Lineares Modell (Regressionsrechnung)!

58