Kapitel 1 Punktschätzer Optimalitätskonzepte Sei ein statistisches Modell gegeben: M, A, P ϑ Sei eine Funktion des Parameters ϑ gegeben, γ : Θ G, mit irgendeiner Menge G, und sei noch eine Sigma-Algebra G in G gegeben. Wir nennen die Funktion γϑ, ϑ Θ, ebenfalls einen Parameter. In der Regel: G, G = R k, B k. Unter einem Schätzer für γϑ verstehen wir eine messbare Funktion δ : M, A G, G. Ein Schätzer δ gibt also für jede mögliche Beobachtung x M die Schätzung δx für den Parameter γϑ. ϑ Θ. 1.1 Entscheidungstheoretisches Konzept Das entscheidungstheoretische Konzept zur Beurteilung bzw. zum Vergleich von Schätzern für γϑ geht von einer gegebenen Verlustfunktion L aus L steht für engl. Loss: L : G Θ R, L 0 ; für jedes ϑ Θ ist G z Lz, ϑ messbar bezgl. G und B 1. Interpretation: : Wenn ϑ Θ der wahre Parameterwert ist und als Schätzung für γϑ der Wert z G gewählt wird, dann entsteht der Verlust Lz, ϑ. Beispiele: Im Fall G, G = R, B 1 : Lz, ϑ = z γϑ 2 quadratische Abweichung / squared error, Lz, ϑ = z γϑ absolute Abweichung / absolute error, Definition 1.1 Risikofunktion eines Schätzers Für einen Schätzer δ : M, A G, G heißt Rδ, ϑ := L δx, ϑ [ dp ϑ x = E ϑ L δ, ϑ ] [ 0, ] M die Risikofunktion als Funktion von ϑ Θ des Schätzers δ. 1
Kapitel 1: Punktschätzer Optimalitätskonzepte 2 Beispiele im Fall G, G = R, B 1 : Für die quadratische Verlustfunktion Lz, ϑ = z γϑ 2 Rδ, ϑ = MSEδ, ϑ = E ϑ δ γϑ 2 ist Mean Squared Error ; für die absolute Abweichung als Verlust, Lz, ϑ = z γϑ, ist Rδ, ϑ = MAEδ, ϑ = E ϑ δ γϑ Mean Absolute Error. Durch die Risikofunktionen der Schätzer für γϑ ist eine Halbordnung auf der Menge dieser Schätzer gegeben. Daraus abgeleitete allgemeine Begriffe sind: Definition 1.2 Gleichmäßig besser, zulässig, gleichmäßig optimal a Seien δ 1 und δ 2 zwei Schätzer für den Parameter γϑ. Der Schätzer δ 1 heißt gleichmäßig besser als der Schätzer δ 2, wenn gilt: Rδ 1, ϑ Rδ 2, ϑ ϑ Θ und Rδ 1, ϑ 0 < Rδ 2, ϑ 0 für mind. ein ϑ 0 Θ. b Ein Schätzer δ für γϑ heißt zulässig engl. admissible, wenn es keinen anderen Schätzer für γϑ gibt, der gleichmäßig besser als δ ist. c Sei eine gegebene nicht-leere Menge von Schätzern für γϑ. Ein δ heißt gleichmäßig optimaler Schätzer in, wenn für jeden Schätzer δ gilt: Rδ, ϑ Rδ, ϑ ϑ Θ. Bemerkung: Erwartungstreuer Schätzer mit gleichmäßig minimaler Varianz, engl. Uniformly Minimum Variance Unbiased Estimator, UMVUE. Dies ist ein gleichmäßig optimaler Schätzer δ im Sinne von Definition 1.2 c im Fall G, G = R, B 1, = Menge aller erwartungstreuen Schätzer für γϑ und quadratische Verlustfunktion. Dann ist ja insbesondere für jeden Schätzer δ : MSEδ, ϑ = Var ϑ δ ϑ Θ. Verwendet man eine skalare reelle Bewertung der Größe der Risikofunktionen der Schätzer, dann erhält man eine vollständige Ordnung in der Menge der Schätzer. Populäre skalare Bewertungen sind das Worst-Case Risiko maximales Risiko und das Bayes-Risiko durchschnittliches Risiko. Definition 1.3 Worst-Case-Risiko und Minimax-Schätzer Für einen Schätzer δ für den Parameter γϑ bezeichne R max δ := sup Rδ, ϑ ϑ Θ [ 0, ], das Worst-Case-Risiko von δ. Sei eine nicht-leere Menge von Schätzern für den Parameter γϑ. Ein δ heißt Minimax- Schätzer in, wenn R max δ = min { R max δ : δ }.
Kapitel 1: Punktschätzer Optimalitätskonzepte 3 Definition 1.4 Bayes-Risiko und Bayes-Schätzer Seien noch eine Sigma-Algebra T in Θ und eine W-Verteilung τ a-priori-verteilung auf T gegeben. Sei eine nicht-leere Menge von Schätzern für den Parameter γϑ, deren Risikofunktionen messbar bezgl. T und B 1 sind. Für einen Schätzer δ heißt der Wert R τ δ := Θ Rδ, ϑ dτϑ das Bayes-Risiko von δ bezgl. der a-priori-verteilung τ. Ein δ heißt Bayes-Schätzer bezgl. τ in, wenn [ 0, ] R τ δ = min { R τ δ : δ }. 1.2 Bayes-Schätzer Wir setzen hier für das statistische Modell M, A, P ϑ voraus, dass ein sigma-endliches Maß ϑ Θ µ auf A und µ-dichten f ϑ von P ϑ für alle ϑ Θ gegeben sind. Außerdem sei T eine Sigma-Algebra in Θ, und die Dichten seien produkt-messbar, d.h. die Funktion M Θ x, ϑ f ϑ x ist messbar bezgl. der Produkt-Sigma-Algebra A T und der Borel schen Sigma-Algebra B 1. Definition 1.5 A-posteriori-Verteilung zu einer a-priori-verteilung Sei τ eine W-Verteilung a-priori-verteilung auf T. Bezeichne: f τ x := f ϑ x dτϑ x M, Θ M τ := { x M : 0 < f τ x < }. Für jedes x M τ ist die a-posteriori-verteilung τ x die W-Verteilung auf T mit der τ-dichte Θ ϑ f ϑ x / f τ x. Weitere Voraussetzungen: Sei γϑ der zu schätzende Parameter, wobei γ messbar sei, γ : Θ, T G, G ; sei eine produkt-messbare Verlustfunktion gegeben, L : G Θ, G T R, B 1, L 0.
Kapitel 1: Punktschätzer Optimalitätskonzepte 4 Theorem 1.6 Konstruktion eines Bayes-Schätzers Sei eine a-priori-verteilung τ auf T gegeben. Betrachte [ ] E τx Lz, = Lz, ϑ dτ x ϑ z G, x M τ. Θ Für jeden Schätzer δ : M, A G, G können wir sein Bayes-Risiko schreiben als [ ] R τ δ = E τx L δx, fτ x dµx. M τ Daher gilt: Wenn δ : M, A G, G ein Schätzer ist mit der Eigenschaft, dass [ E τx L δ x, ] = min E [ ] τ x Lz, x M τ, z G dann ist δ Bayes-Schätzer bezgl. τ in der Menge aller Schätzer δ : M, A G, G. Korollar 1.7 R k -wertiger Parameter und quadratische Verlustfunktion Seien G, G = R k, B k, also γϑ ein R k -wertiger Parameter und L die quadratische Verlustfunktion: Lz, ϑ = z γϑ 2 z R k, ϑ Θ, wobei die euklidische Norm bezeichnet. Ein Schätzer δ : M, A R k, B k ist Bayes-Schätzer bezgl. τ in der Menge aller Schätzer für γϑ, wenn gilt: δ x = E τx γ für jedes x M τ mit E τx γ 2 <. Korollar 1.8 Reeller Parameter und absolute Abweichung als Verlustfunktion Seien G, G = R, B 1, also γϑ ein reeller Parameter und L die absolute Abweichung: Lz, ϑ = z γϑ z R, ϑ Θ. Ein Schätzer δ : M, A R, B 1 ist Bayes-Schätzer bezgl. τ in der Menge aller Schätzer für γϑ, wenn gilt: δ x ist ein Median von τ γ x für jedes x M τ mit E τx γ <, d.h. τ x γ δ x 1 2 und τ x γ δ x 1 2 für jedes x M τ mit E τx γ <. Beispiel: Binomialmodell mit a-priori Beta-Verteilung. Statistisches Modell: M = {0, 1,..., n}, P p = Bin, p, p 0, 1 der Parameter; n N gegeben. A-priori-Verteilung τ : Die Beta-a, b-verteilung auf B 1 0, 1, wobei a, b > 0 gegebene positive reelle Zahlen sind; d.h.: τ = g a,b λ 1 0, 1 mit g a,b p = 1 Ba, b pa 1 1 p b 1 p 0, 1, wobei B die Beta-Funktion ist.
Kapitel 1: Punktschätzer Optimalitätskonzepte 5 Man erhält als a-posteriori-verteilungen: τ x = Betax + a, n x + b - Verteilung x {0, 1,..., n}, und mit Korollar 1.7: Bayes-Schätzer für p bezüglich τ bei quadratischem Verlust ist δ x = x + a n + a + b, x { 0, 1,..., n }. Beispiel: Vereinfachtes lineares Normalverteilungsmodell mit normaler a-priori-verteilung. Statistisches Modell: R n, B n, NBβ, V 0, mit einer gegebenen n k Matrix B vom Rang β R k k und einer gegebenen positiv definiten n n Matrix V 0. A-priori-Verteilung: τ = Nβ 0, W 0, mit gegebenen β 0 R k und W 0 k k positiv definit. Man erhält für die a-posteriori-verteilungen: τ x = N A 1 bx, A 1, wobei A = B t V 1 0 B + W 1 0, bx = B t V 1 0 x + W 1 0 β 0, für jedes x R n. Mit Korollar 1.7: Bayes-Schätzer für β bezüglich τ bei quadratischem Verlust ist δ x = A 1 bx = B t V 1 0 B + W 1 1 0 B t V 1 0 x + W 1 0 β 0, x R n. Dieser Schätzer δ ist auch unter anderen Verlustfunktionen L Bayes-Schätzer bezüglich τ : Lz, β = Λz β, z, β R k, wobei Λ : R k [ 0, konvex und Λ t = Λt t R k. Das ergibt sich mit Theorem 1.6 und dem nachfolgenden Lemma. Lemma 1.9 Sei P eine W-Verteilung auf B k, die zu einem gegebenen Punkt t 0 R k Spiegelungs-symmetrisch ist, d.h. : P S t 0 = P, wobei S t0 : R k R k, S t0 t = 2t 0 t Spiegelung am Punkt t 0. Sei Λ : R k [ 0, eine konvexe Funktion mit Λ t = Λt t R k. Λ t 0 t dp t = min Λ z t dp t. R k z R k R k Dann gilt: 1.3 Minimax-Schätzer Die nachfolgenden zwei Resultate die hilfreich zur Konstruktion von Minimax-Schätzern sein können zeigen einen Zusammenhang zwischen Minimax- und Bayes-Schätzern; dabei setzen wir voraus: Sei γϑ der zu schätzende Parameter, und γ sei messbar, γ : Θ, T G, G ; sei eine gegebene nicht-leere Menge von Schätzern für γϑ; sei L eine gegebene Verlustfunktion, und für jedes δ sei die Risikofunktion Θ ϑ Rδ, ϑ messbar bezgl. T und B 1.
Kapitel 1: Punktschätzer Optimalitätskonzepte 6 Theorem 1.10 Minimax-Schätzer als Bayes-Schätzer Sei δ. Es existiere eine a-priori-verteilung τ auf T, so dass gilt: i δ ist Bayes-Schätzer in bezgl. τ, und ii Rδ, ϑ = R max δ für τ-fast alle ϑ Θ. Dann ist δ Minimax-Schätzer in. Eine gewisse Abschwächung der Voraussetzungen von Theorem 1.10 kann vorgenommen werden: Theorem 1.11 Minimax-Schätzer als uneigentliche Bayes-Schätzer Sei δ. Es existiere eine Folge τ m m N von a-priori-verteilungen auf T und eine zugehörige Folge von Bayes-Schätzern δm = δτ m in, so dass Dann ist δ Minimax-Schätzer in. lim R τ m m δm = R max δ. Beispiel: Binomialmodell. Statistisches Modell: M = {0, 1,..., n}, P p = Bin, p, p 0, 1 der Parameter; n N gegeben. Der Schätzer für p δ x := x + 1 2 n n + n x M, i ist Bayes-Schätzer in der Menge aller Schätzer für p bezgl. τ = Beta- 1 2 n,, 1 2 n -Verteilung, ii und seine MSE-Funktion ist konstant. Nach Theorem 1.10 daher unter quadratischer Verlustfunktion : δ ist Minimax-Schätzer in der Menge aller Schätzer für p. Beispiel: Vereinfachtes Normalverteilungsmodell Betrachte das Modell mit n reellen u.i.v. normalverteilten ZV en, wobei nur der Erwartungswert unbekannt ist hingegen die Varianz bekannt, d.h. R n, B n, n Nβ, σ0 2, σ i=1 β R 0 > 0 gegeben. Zu schätzen ist β, die Verlustfunktion sei Lz, β = Λz β z, β R, mit einer konvexen und Nullpunkt-symmetrischen Funktion Λ : R [ 0,. Der Schätzer δ x = x, x = x 1,..., x n R n, erweist sich als Minimax-Schätzer in der Menge aller Schätzer für β. Denn entsprechend Theorem 1.11: Betrachte Folge von a-priori-verteilungen auf B 1 τ m = Nβ 0, κ 2 m, m N, mit einem festen β 0 R und einer isotonen Folge κ 2 m für m. Bayes-Schätzer bezgl. τ m ist δ mx = λ m x + 1 λ m β 0 mit λ m = Abschnitt 1.2. nσ 2 0 nσ 2 0 +κ 2 m, s. Beispiel in
Kapitel 1: Punktschätzer Optimalitätskonzepte 7 Zeige: lim m R τ m δ m = R max δ, wobei die Risikofunktion von δ konstant ist. Bemerkung: Zwei-parametriges Normalverteilungsmodell. Wichtiger ist sicherlich das Modell mit unbekanntem Erwartungswert und unbekannter Varianz: R n, B n, n Nβ, σ 2. i=1 β,σ R 0, Zu schätzen sei wiederum β; die Verlustfunktion sei z β Lz, β, σ = Λ σ z, β R, σ > 0, mit einer konvexen und Nullpunkt-symmetrischen Funktion Λ : R [ 0,. Wiederum erweist sich der Schätzer δ x = x, x = x 1,..., x n R n, als Minimax-Schätzer in der Menge aller Schätzer für β.