2 Invarianz. 2.1 Definitionen

Transkript

1 2 Invarianz 2.1 Definitionen Sei im folgenden immer eine W familie (P θ ) θ Θ (abgekürzte schreibweise (P θ )) auf einem Datenraum Y zugrunde gelegt. Definition [Transformationsgruppe]. Eine Menge G Abb(Y, Y) heisst Transformationsgruppe, wenn G bezüglich der üblichen Komposition eine Gruppe ist. Insbesondere sind die Abbildungen g bijektiv. Ist die Gruppe G eindeutig indiziert, d.h. ist G = {g i i I} so, dass g i g j für alle i j, so muss auch I eine Gruppenstruktur besitzen, denn mit g i, g j G ist auch g i g j G und somit gibt es ein k I so dass g k = g i g j. Es gibt also eine Gruppenstruktur auf I mit k = i j. Insbesondere wird durch die Zuweisung i g i ein Gruppenisomorphismus gegeben. Definition A [Invarianz einer W familie]. Sei (P θ ) eine W familie und G eine Transformationsgruppe. Die Familie (P θ ) heisst G-invariant, wenn die W familie eindeutig indiziert ist und es für jedes θ Θ und für jedes g G ein θ = θ (θ, g) gibt, so dass mit Y P θ folgt, dass g(y ) P θ. Lemma. Jedes g G definiert eine eindeutige bijektive Abbildung ϕ g : Θ Θ, ϕ g (θ) = θ, wobei θ wie in der Definition gewählt sei. Beweis. Aus der Eindeutigkeit der Indizierung von (P θ ) folgt, dass es zu gegebenen g und θ nur ein θ mit der geforderten Eigenschaft gibt. Die Abbildung ϕ g ist also eindeutig definiert. Die Bijektivität folgt aus die Gruppenstruktur von G. Beispiel. Sei Y = R n. Wir definieren g b,c (y) := (cy 1 +b,..., cy n +b) = cy+b1 n R n und G := {g b,c b R, c > 0}. Sei P µ,σ 2 die W familie erzeugt durch eine Stichprobe Y 1,..., Y n aus N (µ, σ 2 ), µ R, σ 2 > 0. Da cy i + b N (cµ + b, c 2 σ 2 ), gilt für jedes g b,c G Y P µ,σ 2 g b,c (Y ) P cµ+b,c 2 σ 2. Die Familie (P µ,σ 2) ist somit G-invariant. Für ein festes g b,c wird eine Transformation ϕ gb,c : R (0, ) R (0, ) definiert, wobei ϕ gb,c (µ, σ 2 ) = (cµ + b, c 2 σ 2 ). Die Menge R (0, ) trägt somit eine Gruppenstruktur, für die mit b 1, b 2 R und c 1, c 2 > 0 gilt g b1,c 1 g b2,c 2 = g c1 b 2 +b 1,c 1 c 2. Repetition. Sei Θ ein Parameterraum und A eine Aktionsraum. Eine Abbildung L : Θ A R + heisst Verlustfunktion. Wir interpretieren L dabei so, dass L(θ, a) der Verlust ist, wenn θ der wahre Wert ist und wir uns für a entscheiden. Bei Schätzproblemen ist A = Θ und wir wählen in der Regel L(θ, a) = θ a 2. Bei Testproblemen ist A = {0, 1} und wir wählen L in der Regel so, dass L(θ, a) = a = 0 a = 1 θ Θ 0 0 l 0 θ Θ 1 l

2 Sei D die Menge aller Entscheidungsfunktionen d : Y A. Unter der Risikofunktion von L verstehen wir die Abbildung R L : Θ D R + mit d.h. der erwartete Verlust von d unter θ. R L (θ, d) := E θ L(θ, d(y )), Definition B [Invarianz einer Verlustfunktion]. Sei (P θ ) θ Θ eine G-invariante W familie. Eine Verlustfunktion L heisst G-invariant, wenn für alle g G eine Abbildung ψ g : A A existiert so, dass L(θ, a) = L(ϕ g (θ), ψ g (a)) für alle θ Θ und a A. Wir verlangen von der Verlustfunktion L also, dass wir für ein gegebenes g den Aktionsraum so transformieren können (mit ψ g ), dass wir den gleichen Verlust haben, wenn wir uns unter θ für a entscheiden, wie wenn wir uns unter ϕ g (θ) für ψ g (a) entscheiden. Beispiel (Fortsetzung). Wir wollen (µ, σ 2 ) schätzen. Es ist also A = R (0, ) und wir wählen dazu die Verlustfunktion L((µ, σ 2 ), (a 1, a 2 )) = (µ a 1 ) 2 +(σ 2 a 2 ) 2. Für ein festes g b,c, b R, c > 0 haben wir ϕ gb,c bereits berechnet. Wir wählen nun ψ gb,c (µ, σ 2 ) := (cµ + b, c 2 σ 2 ) (dass dies so sein muss, werden wir später sehen). Es gilt L(ϕ gb,c (µ, σ 2 ), ψ gb,c (a 1, a 2 )) = L((cµ + b, c 2 σ 2 ), (ca 1 + b, c 2 a 2 )) = (cµ + b ca 1 b) 2 + (c 2 σ 2 c 2 a 2 ) 2 = c 2 (µ ˆµ) 2 + c 4 (σ 2 a 2 ) 2. Die Verlustfunktion ist also nicht G-invariant. Definieren wir G 1 = {g b,1 G b R} als eine Untergruppe von G so ist unsere Verlustfunktion aber G 1 -invariant! Wir wollen nun Invarianz für Entscheidungsfunktionen definieren. Dazu überlegen wir uns, was eine solche Funktion d : Y A erfüllen muss, damit der erwartete Verlust unter θ derselbe ist unter jeder Transformation g, d.h. wir verlangen R L (θ, d) = R L (ϕ g (θ), d) für alle θ Θ und g G. Es gilt unter der Annahme, dass L G-invariant ist, R L (ϕ g (θ), d) = E ϕg(θ)l ( ϕ g (θ), d(y ) ) = E θ L ( ϕ g (θ), d(g(y )) ) = E θ L ( ϕ g (θ), ψ g (ψg 1 (d(g(y )))) ) = E θ L ( θ, ψg 1 (d(g(y ))) ), d.h., wir wollen, dass E θ L(θ, d(y )) = E θ L(θ, ψ 1 g jeden Fall erfüllt, wenn d(y) = ψ 1 g (d(g(y )))) gilt. Dies ist jedoch auf (d(g(y))). Also kommen wir zu folgender Definition C [Invarianz einer Entscheidungsfunktion]. Sei L eine G-invariante Verlustfunktion. Eine Entscheidungsfunktion d : Y A heisst G-invariant, wenn d g = ψ g d für alle g G. Es soll also nicht darauf ankommen, ob wir zuerst die Daten mit g transformieren und uns dann entscheiden, oder ob wir uns erst entscheiden und dann denn Entscheid mit ψ g transformieren! 2

3 2.2 Konsequenzen Wir wollen nun diskutieren, was obige Definitionen im Falle der Schätz- und Testprobleme für Konsequenzen haben. Sei im folgenden gegeben eine Transformationsgruppe G und seien die W familie (P θ ), die Verlustfunktion L und die Entscheidungsfunktion d jeweils G-invariant Testprobleme Wir wollen H 0 : θ Θ 0 vs. H 1 : θ Θ 1 testen. Es ist A = {0, 1}. Die Verlustfunktion L sieht bei Testproblemen aus wie auf Seite 1 für c 0, c 1 > 0. Wir nehmen zusätzlich an, dass l 0 l 1. Es gilt wegen der Invarianz von L, dass l 0 = L(θ, 1) = L(ϕ g (θ), ψ g (1)) für alle θ Θ 0 und g G. Es muss also gelten ψ g (1) = 1 und ϕ g (θ) Θ 0. Analoges gilt natürlich für l 1. Wir kommen also zu den Folgerungen der Invarianz bei Testproblemen. Sind alle Invarianzen erfüllt, so gilt bei Testproblemen (mit Verlustfunktion l 0 l 1 ): (T1) ϕ g (Θ i ) Θ i für alle g G und i = 1, 2 (T2) ψ g (a) = a für alle g G und a {0, 1} (T3) d g = d für alle g G (dies folgt aus (T2) und der Invarianz von d). Die Folgerung (T3) sagt insbesondere, dass wir uns unter jeder Transformation der Daten gleich entscheiden! Schätzprobleme Wir wollen den Parameter θ schätzen. Es ist somit A = Θ. Wir verlangen nun zusätzlich, dass die Verlustfunktion L vernünftig sein soll, in dem Sinne, dass L(θ, a) = 0 genau dann, wenn θ = a. D.h. der Verlust unseres Entscheides ist 0 genau dann, wenn wir uns richtig entscheiden. Also gilt wegen der Invarianz von L, dass 0 = L(θ, θ) = L(ϕ g (θ), ψ g (θ) und somit ϕ g (θ) = ψ g (θ). Folgerungen der Invarianz bei Schätzproblemen. Sind alle Invarianzen erfüllt, so gilt bei Schätzproblemenproblemen mit vernünftiger Verlustfunktion: (S1) ϕ g = ψ g für alle g G (S2) d g = ϕ g d für alle g G (dies folgt aus (S1) und der Invarianz von d). Die Folgerung (S2) sagt insbesondere, dass, wenn wir die Daten transformieren, wir den Schätzer genau gleich transformieren müssen. Wir verstehen jetzt auch, warum wir im Beispiel unsere Funktion ψ gb,c so gewählt haben! 3

4 2.3 Anwendung Wir wollen nun betrachten, wie wir obiges Prinzip anwenden können, um zu guten Schätz- oder Testfunktionen zu gelangen. Die Strategie wird wie folgt sein: Gegeben die G-Invarianz von (P θ ) und L suchen wir eine G-invariante Testfunktion d. Allgemein Schätzer Tests 1 Wähle Transformationsgruppe G auf Y 2 3 Kontrolliere G-Invarianz von (P θ ); wenn nicht erfüllt, G verkleinern und 2 Kontrolliere G-Invarianz von L. Wenn nicht erfüllt, G verkleinern und 3 L(θ, a) = θ a 2 L wie auf Seite 1 und ϕ g(θ i) Θ i 4 Gleichung der Definition C aufstellen, d.h. d(g(y)) = ψ g(d(y)) d(g(y)) = ϕ g(d(y)) d(g(y)) = d(y) 5 Gleichung lösen mit Suffizienz; falls keine Lösung, G verkleinern und 5; falls nicht eindeutig, G vergrössern und 2 Beispiel (Fortsetzung). Wir wollen immernoch (µ, σ 2 ) schätzen. Die Schritte 1, 2 und 3 haben wir bereits gemacht und herausgefunden, dass wir G verkleinern mussten auf G 1. Zu dieser Untergruppe ist L nun invariant. Wir können also weitermachen mit Schritt 4. Die Gleichung bei Schätzproblemen lautet d(g b,1 (y)) = ϕ gb,1 (d(y)). Da wir ausser dem Suffizienz verlangen, soll unser Schätzer nur von der suffizienten Statistik ( n ) n (T 1 (y), T 2 (y)) = y i, abhängen, d.h. d(y) = d(t 1 (y), T 2 (y)) für eine Funktion d = ( d 1, d 2 ). Wir erhalten somit die Gleichung i=1 i=1 y 2 i d(t 1 (y + b1 n ), T 2 (y + b1 n ) = ( d 1 (T 1 (y), T 2 (y)) + b, d 2 (T 1 (y), T 2 (y))). (I) Die linke Seite der Gleichung können wir nun berechnen. Es ist T 1 (y+b1 n ) = T 1 (y)+ nb und T 2 (y + b1 n ) = T 2 (y) 2 + 2bT 1 (y) + nb 2. Schreiben wir t i = T i (y) für i = 1, 2 so erhalten wir aus (I) die neue Gleichung d(t 1 + nb, t bt 1 + nb 2 ) = ( d 1 (t 1, t 2 ) + b, d 2 (t 1, t 2 )), (II) oder ausgeschrieben d 1 (t 1 + nb, t bt 1 + nb 2 ) = d 1 (t 1, t 2 ) + b, (II 1 ) d 2 (t 1 + nb, t bt 1 + nb 2 ) = d 2 (t 1, t 2 ). (II 2 ) Da obige Gleichungen für alle t 1, t 2 und b gelten, gelten sie insbesondere auch für b = t 1 /n. d 1 (0, t 2 2 t 2 1/n) = d 1 (t 1, t 2 ) t 1 /n, (III 1 ) d 2 (0, t 2 2 t 2 1/n) = d 2 (t 1, t 2 ). (III 2 ) 4

5 Schreiben wir s 2 := t 2 2 t2 1 /n = (y i ȳ) 2 und ˆd i (s 2 ) := d i (0, s 2 ), so können wir vereinfachen d 1 (t 1, t 2 ) = t 1 /n + ˆd 1 (s 2 ), (III 1 ) d 2 (t 1, t 2 ) = ˆd 2 (s 2 ). (III 2 ) Offensichtlich reicht die Struktur der Gruppe G 1 nicht aus, um unsere Schätzer eindeutig festzulegen. Wir vergrössern also unsere Gruppe und gehen dann zurück zu Schritt 2. Mit der grösseren Gruppe G 1 = {g b,c b R, c = ±1} sind die Bedingungen (wie man leicht nachrechnet) in den Schritten 2 und 3 erfüllt. Wir erhalten analog zur Gleichung (II) d 1 (ct 1 + nb, c 2 t bct 1 + nb 2 ) = c d 1 (t 1, t 2 ) + b, (IV 1 ) d 2 (ct 1 + nb, c 2 t bct 1 + nb 2 ) = c 2 d2 (t 1, t 2 ). (IV 2 ) Mit der Wahl c = 1 und b = t 1 /n erhalten wir analog zu (III) und somit d 1 (0, t 2 2 t 2 1/n) = d 1 (t 1, t 2 ) + t 1 /n, (V 1 ) d 2 (0, t 2 2 t 2 1/n) = d 2 (t 1, t 2 ). (V 2 ) d 1 (t 1, t 2 ) = t 1 /n ˆd 1 (s 2 ), (V 1 ) d 2 (t 1, t 2 ) = ˆd 2 (s 2 ). (V 2 ) Aus (III 1 ) und (V 1 ) folgt direkt ˆd 1 (s 2 ) = 0 und somit haben wir einen (Invarianz- )Schätzer für µ erhalten ˆµ(y) := ˆd 1 (T 1 (y), T 2 (y)) = 1 n n y i, was unserer intuitiven Vorstellung entspricht. Was uns immer noch fehlt ist ein Schätzer für σ 2. Offensichtlich reicht die Struktur von G 1 immer noch nicht, um einen eindeutigen Schätzer zu definieren. Wir haben jedoch zumindest herausgefunden, dass ein solcher Schätzer eine Funktion von s 2 sein muss. Das Problem liegt bei der Verlustfunktion, die die dazu notwendigen Transformationen (Streckungen) nicht durchlässt. Wenn wir also eine vernünftige Verlustfunktion finden, welche alle Transformationen der Form g b,c, b, c R, c 0, durchlässt, sollten wir den Schätzer eindeutig festlegen können. Wir definieren also unsere Transformationsgruppe G := {g b,c b R, c R } und die Verlustfunktion L ( (µ, σ 2 ), (a 1, a 2 ) ) = (µ a 1) 2 ( ) σ 2 2 σ a 2 a 2 Es lässt sich leicht nachprüfen, dass (P µ,σ 2) und L G -Invariant sind. Die Funktionen ϕ gb,c bleiben dieselben, und wir können somit direkt mit den Gleichungen (IV) weiterrechnen. Setzen wir b = ct 1 /n so erhalten wir aus den Gleichungen (IV 2 ) d 2 (0, c 2 s 2 ) = c 2 d2 (t 1, t 2 ) i=1 5

6 und mit c 2 = 1/s 2 d2 (t 1, t 2 ) = d 2 (0, 1)s 2. Wir wissen jetzt also, dass der Invarianz-Schätzer für σ 2 von der Form ˆσ 2 (y) := d 2 (0, 1)s 2 ist, wobei wir die Konstante d 2 (0, 1) mit dem Invarianzprinzip nicht mehr weiter spezifizieren können und wir müssen somit andere Prinzipien anwenden. Wollen wir z.b. Erwartungstreue, so muss gelten E µ,σ 2 ˆσ 2 (Y ) = σ 2. Wir wissen, dass s 2 die χ 2 n 1 Verteilung hat mit Erwartungswert n 1. Setzen wir d 2 (0, 1) := 1/(n 1), so kriegen wir in der Tat einen erwartungstreuen Schätzer. 6