2 Induktive Statistik

Transkript

1 Kapitel 2 Iduktive Statistik Seite 19 2 Iduktive Statistik 2.1 Grudprizipie der iduktive Statistik 2.2 Puktschätzug Schätzfuktioe Defiitio 2.1 Sei X 1,...,X i.i.d. Stichprobe. Eie Fuktio heißt Schätzer oder Schätzfuktio. T = g(x 1,...,X ) Adere Notatio i der Literatur: ˆϑ Schätzer für ϑ Gütekriterie Erwartugstreue, Bias: Gegebe sei eie Stichprobe X 1,...,X ud eie Schätzfuktio T = g(x 1,...,X ) (mit existieredem Erwartugswert). T heißt erwartugstreu für de Parameter ϑ, falls gilt für alle ϑ. Die Größe E ϑ (T) = ϑ Bias ϑ (T) = E ϑ (T) ϑ heißt Bias (oder Verzerrug) der Schätzfuktio. Erwartugstreue Schätzfuktioe habe per Defiitio eie Bias vo 0. Die korrigierte Stichprobevariaz S 2 = 1 1 ist erwartugstreu für σ 2. i=1 (X i X) 2 = 1 1 i=1 X 2 i 1 ( X) 2

2 Kapitel 2 Iduktive Statistik Seite Effiziez Effiziez Gegebe seie zwei erwartugstreue Schätzfuktioe T 1 ud T 2 für eie Parameter ϑ. Gilt Var ϑ (T 1 ) Var ϑ (T 2 ) für alle ϑ ud so heißt T 1 effizieter als T 2. Var ϑ (T 1 ) < Var ϑ (T 2 ) für midestes ei ϑ Eie für ϑ erwartugstreue Schätzfuktio T heißt UMVU-Schätzfuktio für ϑ(uiformly miimum v ariace ubiased), falls Var ϑ (T) Var ϑ (T ) für alle ϑ ud für alle erwartugstreue Schätzfuktioe T. MSE MSE ϑ (T) := E ϑ (T ϑ) 2 = Var ϑ (T)+(Bias ϑ (T)) Asymptotische Gütekriterie Asymptotische Erwartugstreue Eie Schätzfuktio heißt asymptotisch erwartugstreu, falls bzw. gelte. lim E(ˆϑ) = ϑ lim Bias(ˆϑ) = 0 Ei Schätzer heißt (MSE-)kosistet oder kosistet im quadratische Mittel, we gilt lim (MSE(T)) = Kostruktiosprizipie guter Schätzer Die Methode der kleiste Quadrate Das Maximum-Likelihood-Prizip Defiitio 2.2 Gegebe sei die Realisatio x 1,...,x eier i.i.d. Stichprobe. Die Fuktio i ϑ P ϑ (X i = x i ) falls X i diskret L(ϑ x 1,...,x ) = i=1 f ϑ (x i ) falls X i stetig. i=1

3 Kapitel 2 Iduktive Statistik Seite 21 heißt Likelihood des Parameters ϑ bei der Beobachtug x 1,...,x. Derjeige Wert ˆϑ = ˆϑ(x 1,...,x ), der L(ϑ) maximiert, heißt Maximum-Likelihood-Schätzwert; die zugehörige Schätzfuktio T(X 1,...,X ) Maximum-Likelihood-Schätzer. Praktische Berechug Für die praktische Berechug maximiert ma statt der Likelihood typischerweise die Log- Likelihood l(ϑ x 1,...,x ) = l(l(ϑ)) = l P ϑ (X i = x i ) = i=1 bzw. l(ϑ x 1,...,x ) = l f ϑ (x i ) = lf ϑ (x i ). i=1 i=1 lp ϑ (X i = x i ) i=1 2.3 Itervallschätzug Motivatio ud Hiführug Kofidezitervalle: Defiitio Defiitio 2.3 Gegebe sei eie i.i.d. Stichprobe X 1,...,X zur Schätzug eies Parameters ϑ ud eie Zahl γ (0;1). Ei zufälliges Itervall C(X 1,...,X ) heißt Kofidezitervall zum Sicherheitsgrad γ (Kofideziveau γ), falls für jedes ϑ gilt: Kofidezitervalle: Kostruktio P ϑ (ϑ C(X 1,...,X ) ) γ. }{{} zufälliges Itervall Praktische Vorgehesweise: Suche Zufallsvariable Z ϑ, die de gesuchte Parameter ϑ ethält ud dere Verteilug aber icht mehr vo dem Parameter abhägt, ( Pivotgröße, dt. Agelpukt). Da wähle de Bereich C Z so, dass P ϑ (Z ϑ C Z ) = γ ud löse ach ϑ auf. Kofidezitervall für de Mittelwert eies ormalverteilte Merkmals bei bekater Variaz: [ X z1+γ 2 σ, X +z1+γ 2 ] [ σ = X ±z1+γ 2 ] σ

4 Kapitel 2 Iduktive Statistik Seite 22 bei ubekater Variaz: [ X ±t1+γ( 1) S ] 2 Defiitio 2.4 (t-verteilug) Gegebeseieiei.i.d.StichprobeX 1,...,X mitx i N(µ,σ 2 ). Da heißt die Verteilug vo Z = X µ S t-verteilug (oder Studet-Verteilug) mit ν = 1 Freiheitsgrade. I Zeiche: Z t(ν) Approximatives Kofidezitervall für de Ateil π eies biomialverteilte Merkmals { 1 Seie X 1,...,X i.i.d. mit X i = ud P(X i = 1) = π. 0 Da gilt approximativ für großes X π π (1 π) a N(0,1) ud damit für das Kofidezitervall: [ X ±z1+γ 2 ] X(1 X) Bestimmug des Stichprobeumfags für die Ateilsschätzug γ: Kofideziveau b max : Schrake für die Geauigkeit Auflöse ach : 2.4 Hypothesetests z1+γ 2 X(1 X) b max 1 b 2 z 2 1+γ max 2 X(1 X) Grudprizipie statistischer Hypothesetests Kostruktio eies parametrische statistische Tests Typische Tests I: Tests auf Lageparameter Gauß Test Situatio: X 1,...,X i.i.d. Stichprobe, wobei X i jeweils ormalverteilt sei mit ubekatem Mittelwert µ ud bekater Variaz σ 2.

5 Kapitel 2 Iduktive Statistik Seite 23 t Test Statistische Hypothese: Testgröße: Falls µ = µ 0 gilt: Kritische Regio: Fall 1: H 0 ablehe, falls: Fall 2: H 0 ablehe, falls: Fall 3: H 0 ablehe, falls: Fall 1: H 0 : µ µ 0 gege H 1 : µ > µ 0 Fall 2: H 0 : µ µ 0 gege H 1 : µ < µ 0 Fall 3: H 0 : µ = µ 0 gege H 1 : µ µ 0 T := X µ 0 σ T = X µ 0 σ N(0,1). T z 1 α bzw. X [µ 0 +z 1 α ) σ ; T z 1 α bzw. X ( ;µ 0 z 1 α σ ] T z 1 α 2 oder T z 1 α 2, also T z 1 α 2. Situatio: X 1,...,X i.i.d. Stichprobe, wobei X i jeweils ormalverteilt sei mit ubekatem Mittelwert µ ud ubekater Variaz σ 2 Statistische Hypothese: Testgröße: Falls µ = µ 0 gilt: Kritische Regio: Fall 1: H 0 : µ µ 0 gege H 1 : µ > µ 0 Fall 2: H 0 : µ µ 0 gege H 1 : µ < µ 0 Fall 3: H 0 : µ = µ 0 gege H 1 : µ µ 0 T = X µ 0 S T = X µ 0 S Fall 1: H 0 ablehe, falls T t 1 α ( 1) Fall 2: H 0 ablehe, falls T t 1 α ( 1) t( 1) Fall 3: H 0 ablehe, falls T t 1 α 2 ( 1) oder T t 1 α 2 ( 1)

6 Kapitel 2 Iduktive Statistik Seite 24 Approximative Tests für Hypothese über Ateilswerte Situatio: X 1,...,X i.i.d. Stichprobe, wobei X i = ubekat sei. Statistische Hypothese: { 1 0 gelte ud P(X i = 1) = π Fall 1: H 0 : π π 0 gege H 1 : π > π 0 Fall 2: H 0 : π π 0 gege H 1 : π < π 0 Fall 3: H 0 : π = π 0 gege H 1 : π π 0 Testgröße: Falls π = π 0 gilt: X π 0 π 0 (1 π 0 ) X π 0 π 0 (1 π 0 ) a N(0,1), Kritische Regio: Fall 1: H 0 ablehe, falls T z 1 α Fall 2: H 0 ablehe, falls T z 1 α Fall 3: H 0 ablehe, falls T z 1 α 2 oder T z 1 α 2

7 Kapitel 2 Iduktive Statistik Seite Typische Tests II: Lagevergleiche aus uabhägige Stichprobe X 1,...,X i.i.d. Stichprobe aus Gruppe A, Y 1,...,Y m i.i.d. Stichprobe aus Gruppe B X i N(µ X ;σ 2 X) Y i N(µ Y ;σ 2 Y). Statistische Hypothese: Fall 1: H 0 : µ X µ Y Fall 2: H 0 : µ X µ Y Fall 3: H 0 : µ X = µ Y gege H 1 : µ X > µ Y gege H 1 : µ X < µ Y gege H 1 : µ X µ Y Zwei-Stichprobe-Gauß Test Die Variaze σ 2 X ud σ2 Y Testgröße: werde als bekat ageomme. T = X Ȳ σ 2 X + σ2 Y m Falls µ X = µ Y ist, gilt T N(0,1) Kritische Regio: Fall 1: H 0 ablehe, falls T z 1 α Fall 2: H 0 ablehe, falls T z 1 α Fall 3: H 0 ablehe, falls T z 1 α 2 oder T z 1 α 2 Zwei-Stichprobe-t-Test Die Variaze σ 2 X ud σ2 Y seie ubekat. Variate I Ist bekat, dass die Variaze gleich sid, so schätzt ma sie mittels S 2 X ud S2 Y. Testgröße: T = (1 + 1 m X Ȳ ) ( 1)S 2 X +(m 1)S 2 Y +m 2 Falls µ X = µ Y gehorcht T eier t-verteilug mit (+m 2) Freiheitsgrade. Kritische Regio: Fall 1: H 0 ablehe, falls T t 1 α (+m 2) Fall 2: H 0 ablehe, falls T t 1 α (+m 2) Fall 3: H 0 ablehe, falls T t 1 α 2 (+m 2) oder T t 1 α 2 (+m 2)

8 Kapitel 2 Iduktive Statistik Seite 26 Variate II Köe die Variaze icht als gleich ageomme werde, so ka für großes ud großes m mit folgeder Testgröße gerechet werde: Testgröße: X Ȳ T = SX 2 + S2 Y m T ist für µ X = µ Y approximativ stadardormalverteilt ud ka auch agewedet werde, we keie Normalverteilug vorliegt. Kritische Regio: Fall 1: H 0 ablehe, falls T z 1 α Fall 2: H 0 ablehe, falls T z 1 α Fall 3: H 0 ablehe, falls T z 1 α 2 oder T z 1 α Gauß Test ud t-test für verbudee Stichprobe Verbudee Stichprobe: Vergleich zweier Merkmale X ud Y, die jetzt a deselbe Eiheite erhobe werde. Zum Teste vo Hypothese der Form X 1,...,X i.i.d. N(µ X,σ 2 X) Y 1,...,Y i.i.d. N(µ Y,σ 2 Y) Fall 1 H 0 : µ X µ Y Fall 2 H 0 : µ X µ Y Fall 3 H 0 : µ X = µ Y gege H 1 : µ X > µ Y gege H 1 : µ X < µ Y gege H 1 : µ X µ Y betrachtet ma die Differez D i = X i Y i. Für de Erwartugswert µ D gilt µ D = E(D i ) = µ X µ Y ud für die Variaz σ 2 D σ 2 D = σ 2 X +σ 2 Y 2σ XY mit σ XY = Cov(X,Y) Wege D i N(µ D,σ 2 D ) mit µ D = µ X µ Y ud σ 2 D = σ2 X +σ2 Y 2σ XY sid obige Hypothese äquivalet zu de Hypothese Fall 1 H 0 : µ D 0 gege H 1 : µ D > 0 Fall 2 H 0 : µ D 0 gege H 1 : µ D < 0 Fall 3 H 0 : µ D = 0 gege H 1 : µ D 0, ud ma ka umittelbar die Tests aus awede. Sid die Variaze ubekat, so ka ma σ D aus de Differeze D i, i = 1,..., schätze. Zur Prüfug ist da die t-verteilug herazuziehe.

9 Kapitel 2 Iduktive Statistik Seite χ2-tests am Beispiel des χ2-uabhägigkeitstests χ2-uabhägigkeitstest (X 1,Y 1 ),...,(X,Y ) i.i.d. Stichprobe des zwei-dimesioale Merkmals (X,Y). Statistische Hypothese: H 0 : Es herrscht Uabhägigkeit. H 1 : Es herrscht keie Uabhägigkeit. d.h. H 0 : P(X = x i,y = y j ) = P(X = x i ) P(Y = y j ) für alle Paare i,j gege H 1 : P(X = x i,y = y j ) P(X = x i ) P(Y = y j ) für midestes ei Paar i,j Teststatistik: T = = k i=1 j=1 k ( m h ij h i h j m i=1 j=1 h i h j ) 2 = (f ij f i f j ) 2 f i f j k m i=1 j=1 ( hj h i h j 2 ) 2 h i h j 2 Uter H 0 gehorcht T approximativ eier sogeate χ 2 Verteilug mit (k 1) (m 1) Freiheitsgrade. Kritische Regio: H 0 ablehe, falls T > χ 2 1 α((k 1) (m 1)), wobei χ 2 1 α ((k 1) (m 1)) das (1 α)-quatil der χ2 -Verteilug mit (k 1)(m 1) Freiheitsgrade bezeichet.

10 Kapitel 2 Iduktive Statistik Seite Zur praktische Awedug statistischer Tests Testetscheiduge ud Statistik-Software, p-wert Dualität vo Test ud Kofidezitervall Sigifikaz versus Relevaz Multiple Testprobleme Nichtparametrische Tests 2.5 Lieare Regressiosmodelle Wiederholug aus Statistik I Lieare Eifachregressio Statistische Sichtweise Wahres Modell: y i = β 0 +β 1 x i Gestört durch zufällige Fehler ǫ i : Beobachtug vo Datepaare (X i,y i ), i = 1,..., mit Y i = β 0 +β 1 X i +ǫ i, wobei ǫ i N(0,σ 2 ) σ 2 für alle i gleich ǫ i1,ǫ i2 stochastisch uabhägig für i 1 i 2 Maximum Likelihood Schätzer ˆβ 1 = (Xi X)(Y i Ȳ) i=1 (X i X) 2, ˆβ 0 = Ȳ ˆβ 1 X, ˆσ 2 = 1 2 ˆε 2 i mit de geschätzte Residue ˆε i = Y i ˆβ 0 ˆβ 1 X i i=1

11 Kapitel 2 Iduktive Statistik Seite 29 Kostruktio vo Kofidezitervalle ud Tests Mit ˆσˆβ0 := ˆσ i=1 X2 i i=1 (X i X) 2 gilt ˆβ 0 β 0 ˆσ ˆβ0 t( 2) ud aalog mit ˆσˆβ1 := ˆσ i=1 (X i X) gilt 2 ˆβ 1 β 1 ˆσ ˆβ1 t( 2). Kofidezitervalle zum Sicherheitsgrad γ: für β 0 : für β 1 : [ˆβ0 ± t ˆσˆβ0 1+ γ ( 2)] 2 [ˆβ1 ± t1+γ( 2) ] ˆσˆβ1 2 Hypothese ud kritische Regio: Hypothese kritische Regio Fall 1: H 0 : β 1 β1 gege β 1 > β1 T β 1 t 1 α ( 2) Fall 2: H 0 : β 1 β1 gege β 1 < β1 T β 1 t 1 α ( 2) Fall 3: H 0 : β 1 = β1 gege β 1 β1 T β 1 t 1 α 2 mit der Teststatistik T β 1 = ˆβ 1 β 1 ˆσ ˆβ1 (aalog für ˆβ 0 ).

12 Kapitel 2 Iduktive Statistik Seite 30 Typischer SPSS-Output Koeffiziete a Stadardisierte Koeffiziete β Stadardfehler Beta T Sigifikaz Kostate ˆβ0 ˆσˆβ0 5) 1) 3) Uabhägige Variable ˆβ1 ˆσˆβ1 6) 2) 4) a abhägige Variable 1) Wert der Teststatistik T β 0 = ˆβ 0 ˆσˆβ0. zum Teste vo H 0 : β 0 = 0 gege H 1 : β ) Aalog: Wert vo T β 1 = ˆβ 1 ˆσˆβ1 zum Teste vo H 0 : β 1 = 0 gege H 1 : β ) p-wert zu 1) 4) p-wert zu 2) 5), 6) hier icht vo Iteresse Multiple lieare Regressio Modellierugsasatz: Y i = β 0 +β 1 X i1 +β 2 X i β p X ip +ǫ i Es gilt für jedes j = 0,...,p ˆβ j β j ˆσˆβj t( p 1) ud ma erhält wieder Kofidezitervalle für β j : sowie etsprechede Tests. [ˆβ j ± ˆσˆβj t 1+ γ 2 ( p 1)]

13 Kapitel 2 Iduktive Statistik Seite Variazaalyse (Aalysis of Variace, ANOVA) Beobachtuge: Y ij j = 1,...,J Faktorstufe i = 1,..., j Persoeidex i der j-te Faktorstufe Zwei äquivalete Modellformulieruge: Modell i Mittelwertdarstellug: mit Testproblem: Y ij = µ j +ǫ ij j = 1,...,J, i = 1,..., j, µ j faktorspezifischer Mittelwert ǫ ij zufällige Störgröße N(0,σ 2 ), ǫ 11,ǫ 12,...,ǫ JJ uabhägig. ǫ ij H 0 : µ 1 = µ 2 =...µ J gege H 1 : µ l µ q für midestes ei Paar (l,q) Modell i Effektdarstellug: wobei α j so, dass Y ij = µ+α j +ǫ ij J j α j = 0. j=1 µ globaler Erwartugswert α j Effekt i der j-te Faktorstufe, faktorspezifische systematische Abweichug vom gemeisame Mittelwert µ Testproblem: H 0 : α 1 = α 2 =...α J = 0 gege H 1 : α j 0 für midestes ei j Die beide Modelle sid äquivalet: setze µ j := µ+α j.

14 Kapitel 2 Iduktive Statistik Seite 32 Streuugszerlegug Mittelwerte: Ȳ Ȳ j Gesamtmittelwert i der Stichprobe Mittelwert i der j-te Faktorstufe Es gilt (vgl. Statistik I) die Streuugszerlegug: Hypothese: J j (Y ij Ȳ ) 2 = j=1 i=1 beziehugsweise J j=1 j (Ȳ j Ȳ ) 2 } {{ } SQE + J j j=1 i=1 (Y ij Ȳ j) 2 } {{ } SQR H 0 : µ 1 = µ 2 =...µ J gege H 1 : µ l µ q für midestes ei Paar (l,q) H 0 : α 1 = α 2 =...α J = 0 gege H 1 : α j 0 für midestes ei j Testgröße: F = SQE/(J 1) SQR/( J) Falls H 0 wahr ist, ist T F-verteilt mit (J 1) ud ( J) Freiheitsgrade. Kritische Regio: H 0 ablehe, falls T > F 1 α (J 1, J), mit dem etsprechede (1 α)-quatil der F-Verteilug mit (J 1) ud ( J) Freiheitsgrade.

15 Verteilugstabelle Seite 33 Stadardormalverteilug Tabelliert sid die Werte der Verteilugsfuktio Φ(z) = P(Z z) für z 0. Ablesebeispiel: Φ(1.75) = Fuktioswerte für egative Argumete: Φ( z) = 1 Φ(z) Die z-quatile ergebe sich über die Umkehrfuktio. Beispielsweise ist z = 1.75 ud z =

16 Verteilugstabelle Seite 34 Studets t-verteilug Tabelliert sid die Quatile für Freiheitsgrade. Für das Quatil t 1 α (ν) gilt F(t 1 α (ν)) = 1 α. Liks vom Quatil t 1 α (ν) liegt die Wahrscheilichkeitsmasse 1 α. Ablesebeispiel: t 0.99 (20) = Die Quatile für 0 < 1 α < 0.5 erhält ma aus t α (ν) = t 1 α (ν) Approximatio für ν > 30: t α (ν) z α (z α ist das (α)-quatil der Stadardormalverteilug) ν

17 Verteilugstabelle Seite 35 χ2-verteilug Tabelliert sid die Quatile für Freiheitsgrade. Für das Quatil χ 2 1 α, gilt F(χ2 1 α, ) = 1 α. Liks vom Quatil χ 2 1 α, liegt die Wahrscheilichkeitsmasse 1 α. Ablesebeispiel: χ ,10 = Approximatio für > 30: χ 2 α() 1 2 (z α + 2 1) 2 (z α ist das 1 α-quatil der Stadardormalverteilug)