Bootstrap: Konfidenzintervalle

Transkript

1 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) Bootstrap: Konfidenintervalle Konfidenintervall Sei T ein Schäter für θ, und nehmen wir an, dass die Verteilung von T θ bekannt ist. Notwendige Bedingung dau: die Verteilung hängt von nichts Unbekanntem ab, weder von θ, noch vom nuisance Parameter. (T θ ist Pivot in einer Klasse von Vtlgen). Seien q α und q α die Quantile der Verteilung von T θ. Dann gilt P(T θ q α ) = P(T θ q α ) = α und daher ergibt sich ein KI ( θ ˆ, θ ˆ 2) für θ um Niveau (-2α) als θ ˆ = t q α und θ ˆ 2 = t q α wobei t der beobachtete Wert von T ist.

2 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 2 Beispiel: Normalverteilte Variable mit bekannter Varian, θ der Mittelwert, T der Stichprobenmittelwert. Manchmal geht es nicht direkt mit T θ, aber man kann ein Pivot h(t,θ) mit einer bekannten Verteilung finden. Dann gilt P(h(T,θ) q α ) = P(h(T,θ) q α ) = α und wenn man diese Ungleichungen nach θ auflöst, erhält man ein Konfidenintervall für θ. Beispiele: Normalverteilte Variable mit unbekannter Varian, θ = der Mittelwert, T = der Stichprobenmittelwert, h(t,θ) = n /2 (T θ )/s. Normalverteilte Variable, θ = die Varian, T = die Stichprobenvarian, h(t,θ) = (n )T/θ.

3 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 3 Wenn man kein Pivot finden kann, kann man eine Prüfgröße finden die mindestens asymptotisch pivotisch ist (hat eine bekannte Grenverteilung, falls n ). Dann wird alles nur approximativ gültig sein (je größer die Stichprobe ist ). Beispiel: Gauß-Test mit nicht normalverteilten Daten In diesem Fall kann das Verhalten des Konfidenintervalls bei einem bestimmten Stichprobenumfang und bei einer bestimmten Verteilung nur mit Simulationen untersucht werden. In einer solchen Simulation kann man das Verfahren mit einer Vielfalt von typischen Daten und typischen Stichprobenumfänge testen. Für die Praxis kann dies viel wichtiger sein als die Untersuchung des asymptotischen Verhaltens der Methode.

4 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 4 Bootstrap Konfidenintervall ( basic bootstrap ) Jett nehmen wir an, dass T θ ein Pivot ist, aber seine Verteilung unbekannt ist. Falls die empirische Vtlg auch in der Klasse ist, in der T θ pivotisch ist, kann man die Verteilung von T θ mit der bootstrap Verteilung erseten. Das Konfidenintervall ( θ ˆ, θ ˆ 2) für θ um Niveau (-2α) ist ˆ θ = t q* α und θ ˆ 2 = t q* α wobei q* α und q* α Quantile der bootstrap Vtlg (T* t) sind oder ˆ θ = 2t t* α und θ ˆ 2 = 2t t* α wobei t* α und t* α Quantile der bootstrap Vtlg von t* sind.

5 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 5 Wenn man die bootstrap Verteilung mit Simulationen approximiert, generiert man b bootstrap Stichproben, berechnet t für alle, ordnet die t* Werte nach Größe, dann nimmt man den (bα)-ten t* Wert als t* α und den b( α)-ten t* Wert als t* α. (N=200, α=0.: den 20-ten Wert als t* α und den 80-ten als t* α )

6 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 6 Das bootstrap-t Intervall Oft ist schon: mit Statt der Tabelle der Normalverteilung oder t-verteilung benuten wir die Tabelle der bootstrap Verteilung! θˆ n θ selbst kein Pivot, aber nach Studentisierung ist es T θˆ n θ = σˆ θˆ n: ein Schäter für den Parameter θ, und 2 σ ˆ n : ein Schäter für die Varian von θˆ n. Wenn man weiß, dass θˆ n normalverteilt ist, kann man das klassische Konfidenintervall benuten. (Wenn nur asymptotisch normalverteilt ) n

7 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 7 Das klassische KI um Niveau ( 2α): (t S (α ) σˆ n, t S ( α ) σˆ n) mit S (.) = die Verteilungsfunktion der Student t-verteilung mit FG n. Bei der bootstrap Version ersett man S durch die bootstrap Verteilungsfunktion von t (S (α) wird mit q* α ersett). Wenn man simuliert, generiert man also b bootstrap Stichproben, berechnet t für alle, ordnet die t* Werte nach Größe, und nimmt den (bα)-ten t* Wert als S (α). (N=200, α=0.: den 20-ten Wert) Vorteil: einfach, plausibel (wichtige Anwendung: ML Schäter) Nachteil: benötigt eine Varianschätung σˆ n (kann auch bootstrap sein, aber für jede bootstrap Stichprobe muß man das ausrechnen!)

8 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 8 Das bootstrap Percentil Intervall Das bootstrap Percentil Intervall um Niveau ( 2α) ist einfach (t* α, t* α ) wobei t* α und t* α Quantile der bootstrap Vtlg von t* sind. Wenn man simuliert, nimmt man b bootstrap Stichproben, berechnet die t* Werte, ordnet sie nach Größe, nimmt den (bα)-ten und b( α)-ten Wert und fertig. Wunderbar! Kein Pivot, keine Varianschätung! (Unglaublich! Unter welchen Bedingungen funktioniert das?)

9 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 9 Sei h(.) eine monoton wachsende Funktion, damit man sowohl den Parameterwert als auch die Schätung transformieren kann. Beeichnung: U = h(t), φ = h(θ), u = h(t). Nehmen wir an, dass es eine solche h(.) gibt, damit U φ ein Pivot mit einer symmetrischen Verteilung ist. Dann wird ein bootstrap KI ( φ ˆ, φ ˆ 2) für φ gegeben und transformiert u einem KI für θ durch ( h ( φ ˆ ), h ( φ ˆ 2 ) ). Das KI für φ (basic bootstrap) lautet φ ˆ = u q* α und φ ˆ 2 = u q* α wobei q* α und q* α jett Quantile der bootstrap Vtlg von (U* u) beeichnen. Aus der Annahme von Symmetrie folgt q* α = q* α

10 und damit ergibt sich Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 0 φ ˆ = u q* α und φ ˆ 2 = u q* α Mit den Quantilen der bootstrap Vtlg von U* lässt es sich schreiben φ ˆ = u (u* α u) = u* α und φ ˆ 2 = u (u* α u) = u* α Rücktransformiert durch h (.) ergibt das eben das KI (t* α, t* α )

11 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) Percentil Intervall mit Vererrungskorrektur (BC) ( bias corrected percentile interval ) Wie kann man die Methode so verallgemeinern, dass sie auch für Schäter mit Vererrung funktioniert? Bei diesem KI nehmen wir an, dass mit irgendeiner h(.) gilt U ~ N(φ 0 (φ), ) oder U φ 0 (φ) ~ N(0,) Durch eine Transformation wird der Schäter fast ein Pivot Vererrung erlaubt (Vererrung kann vom Parameter abhängen) Statt Symmetrie Normalität von U Varian von U ist konstant

12 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 2 P{U φ 0 α } = α P{ U 0 α φ } = α P{h (U 0 α ) θ } = α Daher ein exaktes Konfidenintervall um Niveau ( 2α) für θ : ( h (u 0 α ), h (u 0 α ) ) Beeichne durch H(.) die bootstrap Verteilung von T* und durch Φ die Verteilungsfunktion der Normalverteilung. Dann gilt H(t)=P(T* t)=p(t* t 0)=P(U* u 0)=P(U* u 0 0 )=Φ( 0 ) und das ergibt die Schätung für 0 0 = Φ {(H(t)}

13 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 3 Wenn man simuliert, ist 0 = Φ bootstrap Replikationen. b T * t mit b = die Anahl der Durch eine längere Berechnung (siehe Shao and Tu S ) kann man auch die unbekannte Funktion h(.) eliminieren und endlich erhält man, dass ( H {Φ( α 2Φ (H(t))}, H {Φ( α 2Φ (H(t))} ) ein exaktes Konfidenintervall um Niveau ( 2α) für θ ist. Beachte die Struktur: Statistik Wkeit -Skale Wkeit Statistik t H(t) ( α 2 0 ) Φ(.) H (.)

14 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 4 Ein numerisches Beispiel dau: Statistik: t = 5.39 Bootstrap (t*) Werte (b = 000) nach Größe geordnet () (2) (20) (480) (969) (999) (000) Um 0 u bestimmen, berechnet man b = 480/000 = t* Damit ist 0 =Φ (0.48) = Für ein 95%-Konfidenintervall erhält man die folgenden verschobenen kritischen Werte = 2.06 und =.86 Daher Φ( 2.06) = und Φ(.86) = und damit ist das KI ( 4.93, 5.8 )

15 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 5 Das BCa Percentil Intervall ( bias corrected accelerated percentile interval ) Beim BC Intervall wurde angenommen, dass die Varian von U nicht von θ abhängt. Jett verallgemeinern wir die Methode in diese Richtung. Die neue Annahme ist U ~ N(φ 0 σ, σ 2 ) wo 0 = 0 (θ ) und σ = σ (θ ) = aφ oder U φ U φ 0 ~ N(0,) oder 0 ~ N(0,) σ aφ Durch eine Transformation Normalität der Prüfgröße Vererrung erlaubt Varian nicht konstant, aber σ ist eine lineare Funktion von φ

16 Resampling Methoden Dortmund, 2005 (Jenő Reicigel) 6 Wieder durch lange Berechnungen erhält man, dass ( H ( Φ ) ( a α α ), H ( Φ ) ( a α α ) ) ein exaktes Konfidenintervall um Niveau ( 2α) für θ ist. Wenn man simuliert, nimmt man b bootstrap Stichproben, berechnet die t* Werte, ordnet sie nach Größe, und nimmt man für ˆ θ den (bα ~ )-ten Wert mit Φ = ) ( ~ a α α α Falls α ~ < (>b), nimmt man den ersten (den letten) t* Wert Schätung für 0 ist dieselbe wie beim BC Intervall Schätung für a ist schwer. Am einfachsten geht mit jackknife