BAYES SCHE STATISTIK

Transkript

1 BAES SCHE STATISTIK FELIX RUBIN EINFÜHRUNG IN DIE STATISTIK, A.D. BARBOUR, HS Einführung Die Bayes sche Statistik gibt eine weitere Methode, um einen unbekannten Parameter θ zu schätzen. Bisher sind wir davon ausgegangen, dass der wahre Wert θ der zu schätzenden Grösse fix ist. Nun ist es aber möglich, dass θ eine Zufallsgrösse ist, deren Verteilung zum Beispiel unsere Unsicherheit über den wahren Wert θ des Parameters ausdrückt. Es ist auch denkbar, dass wir uns in einer Situation befinden, in der wir ein Experiment nicht unter denselben Umständen wiederholen können. In einem solchen Falle verlieren Charakterisierungen des Parameters wie Erwartungstreue oder Mean Square Error ihren Sinn. Hier ist die Bayes sche Statistik ebenfalls hilfreich. Das folgende Beispiel zeigt eine solche Situation. Beispiel 1.1. Man hat eine Münze und ist sich nicht sicher, ob die Münze fair ist, also auf der einen Seite Kopf und auf der anderen Zahl hat, oder ob sie auf beiden Seiten Zahl hat. Wir können jetzt aufgrund gewisser Einschätzungen a priori annehmen, dass π fair π unfair 1/2 gilt. Nun wird die Münze einmal geworfen, und man fragt sich, a posteriori, wie dieser Wurf die Wahrscheinlichkeit beeinflusst, dass die Münze gefälscht ist. Nun gilt: P [unfair Zahl] P [Zahl unfair]π unfair 0.5 P [Zahl unfair]π unfair + P [Zahl fair]π fair Wir ändern also unsere Einschätung aufgrund der Realisierung des Münzenwurfes. 2. A priori und a posteriori Verteilungen Wie schon einführend erwähnt, wollen wir einen Parameter θ schätzen mit Hilfe von y 1,..., y n unabhängig beobachteten Realisationen einer Zufallsvariable : Ω, F, P, E. Nun ist aber der Parameter θ nicht mehr fix, sondern besitzt eine Verteilung mit der Dichte πθ. Da dies bestimmt wird, bevor die Beobachtungen y i gemacht werden, nennt man diese a priori Verteilung. Die Zufallsvariable folgt wie schon früher für gegebenes θ der Modellverteilung F θ y auf, E. Diese Verteilung kann jetzt als eine bedingte Verteilung gegeben die Variable θ aufgefasst werden. Aus der a priori Verteilung und der Information aus den Realisationen y i, i 1,..., n, kann nun eine a posteriori Verteilung π θ für den Parameter konstruiert werden: π θ πθ p θ y, wobei f θ die Dichte von F θ ist und p θ y n i1 f θy i die Likelihood von θ ist. Dieser Ausdruck wird noch normalisiert und wir erhalten: 2.1 π θ πθp θ y πθ p θ ydθ. Date: December 17,

2 2 FELIX RUBIN EINFÜHRUNG IN DIE STATISTIK, A.D. BARBOUR, HS 2007 Bemerkung 2.1. π θ ist eine Funktion des Likelihoodquotienten p θy p θ y. Beispiel 2.2. folge einer N µ, 1-Verteilung, wobei der Parameter µ einer Normalverteilung N ν, τ 2 folgt. Dies entspricht einem Modell, in dem µ + ɛ ist, wobei hier sowohl der Fehler ɛ unbekannt normalverteilt ist, wie auch der Parameter µ, von dem wir nur die a priori Verteilung kennen. Je grösser τ ist, desto unsicherer sind wir uns, was der wahre Wert von µ ist. Die Likelihood für die Beobachtungen y 1,..., y n ist hier gegeben durch: n p µ y const exp y i µ 2 /2 const exp i1 nµ 2 2 n y i µ/2 i1 const exp n 2 µ2 + nyµ. Bemerke, dass die Konstante nicht in jeder Zeile gleich sein muss und auch zum Beispiel die y i s oder in der nächste Rechnung τ und ν enthalten kann. Nach der Formel 2.1 gilt nun: π µ const exp n 2 µ2 + nyµ const exp exp µ ν2 2τ µ2 n + 1/τ 2 + µny + ν/τ 2 const exp 12 n + 1/τ 2 µ 2 2 ny + ν/τ 2µ n + 1/τ 2. Die a posteriori Verteilung von µ ist also eine Normalverteilung mit Erwartungswert ny+ν/τ 2 1 n+1/τ und Varianz 2 n+1/τ. Man sieht hier sofort, dass falls τ klein ist, die Masse 2 der a posteriori Verteilung um ν konzentriert ist und die y i s fast keine Rolle spielen, während für grosse τ die a priori Verteilung fast keine Rolle mehr spielt und die a posteriori Verteilung ungefähr einer N y, 1/n-Verteilung entspricht. 3. Die Bayes sche Methode für die Punktschätzung Um den wahren Wert des Parameters θ zu schätzen, müssen wir aus der a posteriori Verteilung einen einzigen Wert ˆθ wählen. Dies geschieht wie üblich mit einer messbaren Entscheidungsfunktion d :, d D, welche wir in diesem Falle so wählen, dass das a priori Risiko minimiert wird: Definition 3.1. Die Verlustfunktion ist eine Funktion L : A R +, wobei in unserem Falle der Aktionsraum A ist. Typischerweise ist Lθ, ˆθ Lθ ˆθ. Die Risikofunktion is eine Funktion R : D R + definiert durch Rθ, d E θ [Lθ, d ] Lθ, dy 1,..., y n f θ y 1,..., y n dy 1...dy n, wobei f θ y 1,..., y n die gemeinsame bedingte Dichte der Beobachtungen ist. Für eine gegebene Verlustfunktion definieren wir also: Definition 3.2. Das Bayes sche Risiko einer Entscheidungsfunktion d D ist definiert als: r π d E π [Rθ, d] Rθ, dπθdθ. Der Bayes sche Schätzer ist diejenige Entscheidungsfunktion d, welche das Risiko r minimiert. Ω

3 BAES SCHE STATISTIK 3 Bemerkung 3.3. Wegen Bemerkung 2.1 respektiert dieser Schätzer das Likelihoodprinzip. Wir können diese Definition auch folgendermassen umschreiben: Nehmen wir an, ein Statistiker möchte die Güte eines Schätzers Entscheidungsfunktion bestimmen, bevor er die Daten y 1,..., y n seines Experimentes kennt. Er kann sein mittleres a priori Risiko wie folgt ausrechnen: Rθ, dπθdθ n Lθ, dy 1,..., y n f θ y i dy 1...dy n πθdθ i1 Lθ, dy 1,..., y n πθ m f θ y i dθ dy 1...dy n. Die letzte Gleichung zeigt, dass der Bayes sche Schätzer, der das a priori Risiko minimiert genau derselbe ist, wie der Schätzer, welcher den a posteriori Verlust minimiert. Wir können also die folgende Proposition schreiben: Proposition 3.4. Der Bayes sche Schätzer ist diejenige Entscheidungsfunktion d, welche den erwarteten a posteriori Verlust Lθ, dπ θdθ minimiert. Theorem 3.5. Im Falle, dass Lθ, ˆθ θ ˆθ 2, ist der Bayes sche Schätzer der Erwartungswert der a posteriori Verteilung. Im Falle, dass Lθ, ˆθ θ ˆθ, ist der Bayes sche Schätzer der Median der a posteriori Verteilung. Beweis: Uebung Beispiel 3.6. Unter den Voraussetzungen von Beispiel 2.2 folgen y 1,..., y n einer Normalverteilung N µ, 1 und µ N ν, τ 2. Die a posteriori Verteilung von µ ist ebenfalls eine Normalverteilung N i1 ny + ν/τ 2 n + 1/τ 2, 1 n + 1/τ 2. Der Bayes sche Schätzer ist in diesem Falle dy 1,..., y n ny + ν/τ 2 /n + 1/τ 2 für die beiden Verlustfunktionen θ ˆθ 2 und θ ˆθ, wobei ˆθ dy 1,..., y n ist. Beispiel 3.7. Seien y 1,..., y n unabhängige Beobachtungen einer Bernoulliθ verteilten Zufallsvariablen. Wir möchten den Parameter θ schätzen. Sei y n i1 y i. Die bedingte Verteilung von y 1,..., y n ist dann f θ y 1,..., y n θ y 1 θ n y. Die a priori Verteilung von θ sei gegeben als πθ Γα+β ΓαΓβ θα 1 1 θ β 1, für 0 < θ < 1 und 0 sonst Betaα, β-verteilung. Die Randverteilung von y 1,..., y n ist dann: my 1,..., y n 1 0 πθf θ y 1,..., y n dθ 1 Γα + β θ y+α 1 1 θ n y+β 1 dθ ΓαΓβ 0 Γα + βγα + yγn + β y. ΓαΓβΓn + α + β

4 4 FELIX RUBIN EINFÜHRUNG IN DIE STATISTIK, A.D. BARBOUR, HS 2007 Schlussendlich gilt für die a posteriori Verteilung von θ auf den Punkten y 0, 1, 2,..., n mit positiven Gewichten: π θ πθf θy 1,..., y n my 1,..., y n Γn + α + β Γα + yγn + β y θα+y 1 1 θ β+n y 1, 0 < θ < 1. Wir wählen nun die Verlustfunktion Lθ, ˆθ θ ˆθ 2. Der Bayes sche Schätzer dy 1,..., y n ist dann die Erwartung der a posteriori Verteilung: dy 1,..., y n 1 0 θπ θdθ 1 Γn + α + β θ α+y 1 θ β+n y 1 dθ Γα + yγn + β y 0 α + y, y 0, 1,..., n. α + β + n 4. Intervallschätzung Sei wie üblich : Ω, F, P, E eine Zufallsvariable, deren Verteilung auf von einem zufälligen Parameter θ abhängt. Wir betrachten wieder y 1,..., y n n unabhängige Realisationen der Zuvallsvariable und möchten anhand der a priori Verteilung πθ, der bedingten Verteilung f θ y 1,..., y n von y 1,..., y n und den beobachteten Realisationen ein Intervall in abschätzen, in dem sich der Parameter θ mit Wahrscheinlichkeit 1 α typischerweise ist α 0.05 oder 0.01 befindet. Die a posteriori Verteilung von θ ist gegeben durch: πθ n i1 π θ f θy i πθ n i1 f θy i dθ. Damit lassen sich zwei Funktionen uy 1,..., y n sowie vy 1,..., y n finden, so dass P [uy 1,..., y n < θ < vy 1,..., y n y 1,..., y n ] vy1,...,y n uy 1,...,y n ist. Bemerke, dass die Funktionen u und v nicht eindeutig sind. 5. Bayes sche Tests π θdθ 1 α Im Falle eines Tests möchten wir zwei Hypothesen bezüglich des uns unbekannten Parameters θ gegeneinander testen. Wir nehmen an, dass θ nur die zwei Werte θ 0 oder θ 1 annehmen kann, also {θ 0, θ 1 }. Die sogenannte 0-Hypothese H 0 ist dann: θ θ 0 und die Alternative dazu ist H 1 : θ θ 1. Wir brauchen eine Entscheidungsfunktion d D der beobachteten Werte y 1,..., y n, welche uns angibt, welche der zwei Hypothesen anzunehmen ist. Wir bezeichnen mit a 0 die Aktion H 0 ist anzunehmen und mit a 1 die Aktion H 1 ist anzunehmen, so dass A {a 0, a 1 } ist. Dann schreiben wir d a 0 falls H 0 anzunehmen ist und d a 1 sonst. Die Verlustfunktion sei definiert durch Lθ 0, a 0 0, Lθ 1, a 1 0 und Lθ 0, a 1 c 0, Lθ 1, a 0 c 1, wobei c 0, c 1 zwei positive Konstanten sind. Wir schreiben p θ y für die Likelihood der Daten y 1,..., y n. Die gemeinsame Verteilung der Daten y 1,..., y n und θ ist dann gebeben durch πθp θ y, wobei θ eine diskrete Zufallsvariable ist und deshalb πθ 0 + πθ 1 1. Die Randverteilung von y 1,..., y n ist πθ 0 p θ0 y + πθ 1 p θ1 y und damit gilt für die a posteriori Verteilung von θ: π θ πθp θ y πθ 0 p θ0 y + πθ 1 p θ1 y.

5 BAES SCHE STATISTIK 5 Die Bayes sche Lösung für die Entscheidungsfunktion dy 1,..., y n war gegeben als diejenige Funktion, die den erwarteten a posteriori Verlust minimiert siehe Proposition 3.4. Hier ist der erwartete a posteriori Verlust im Falle von d a 0 gegeben durch: 1 Lθ 1, a 0 πθ 1 p θ1 y Lθ i, a 0 π θ i πθ 0 p θ0 y + πθ 1 p θ1 y, i0 da Lθ 0, a 0 0 ist und entsprechend im Falle von d a 1, da dann Lθ 1, a 1 0 ist, 1 Lθ 0, a 1 πθ 0 p θ0 y Lθ i, a 1 π θ i πθ 0 p θ0 y + πθ 1 p θ1 y. i0 Daraus folgt, dass wir die Entscheidung d a 1 also die H 1 -Hypothese annehmen wählen, falls Lθ 0, a 1 πθ 0 p θ0 y πθ 0 p θ0 y + πθ 1 p θ1 y < Lθ 1, a 0 πθ 1 p θ1 y πθ 0 p θ0 y + πθ 1 p θ1 y, oder äquivalent dazu, falls für den Likelihoodquotienten gilt: p θ1 y p θ0 y > Lθ 0, a 1 πθ 0 Lθ 1, a 0 πθ 1. Falls die Ungleichung in die andere Richtung geht, wird die Entscheidung d a 0 gewählt. Bei Gleichheit kann eine zufällige Wahl getroffen werden. References [1] A. Craig, R. Hogg. Introduction to mathematical statistics. Collier Macmillan International Editions. Macmillan Publishing Co., New ork and Collier Macmillan Publishers, London, third edition, [2] A. Bérod, St. Morgenthaler. Introduction à la statistique mathématique. Polycopié. Ecole Polytechnique Fédérale de Lausanne, Chaire de statistique appliquée, 2004.