Kapitel 7. Exponentialfamilien. 7.1 Wahrscheinlichkeitsverteilungen

Transkript

1 Kapiel 7 Exponenialfamilien Exponenialfamilien sind dominiere saisische Räume, deren Likelihoodfunkion eine besonders einfache Srukur besiz, ihr Logarihmus is von affiner Gesal. Neben der daraus resulierenden sehr guen analyischen Handhabbarkei zeichnen sie sich durch zahlreiche saisische Eigenschafen aus. Hinzu komm, daß viele der gängigen klassischen saisischen Räume Exponenialfamilien bilden. In diesem Kapiel unersuchen wir Exponenialfamilien von Vereilungen und von Lévy- Prozessen. Ausführliche und iefer gehende Ergebnisse finde man in Küchler, Sørensen, Wahrscheinlichkeisvereilungen Es sei µ ein σ-finies Maß auf k, B k. Wir definieren I := { u k : exp < u, x > µ dx < k und sezen voraus, daß I einen nichleeren offenen Kern enhäl: I. Für jedes u I definieren wir ein Wahrscheinlichkeismaß IP u auf B k durch IP u A = exp { < u, x > ψu µ dx, A B k A mi ψu := ln exp { < u, x > µ dx, u I. k 71

2 72 KAPITEL 7. EXPONENTIALFAMILIEN Definiion 7.1. Für jede Teilmenge J von I mi mehr als einem Elemen nenn man IP u, u J eine Exponenialfamilie von Wahrscheinlichkeismaßen auf k, erzeug von µ. Der Parameer u heiß kanonischer Parameer der Exponenialfamilie. Exponenialfamilien bilden saisische Räume und jedes IP u 0 aus P = IP u, u I mi u 0 I is ein dominierendes privilegieres Wahrscheinlichkeismaß für P. Beispiel 7.1. µ = N 0, 1, d IP u = 1 exp { x2 2π 2 u2 + ux dx = exp 2 {ux u2 dµ, 2 ψu = u2 2, u I =. IPu is eine Normalvereilung mi dem Erwarungswer u. Beispiel 7.2. µ{k = λk 0 k! e λ 0, IP u {k = exp {uk ψu µ {k, u I =, mi ψu = λ 0 e u 1. IP u is eine Poissonvereilung mi dem Parameer λ 0 e u. Beispiel 7.3. µ = Γα 0, λ 0, α 0, λ 0 > 0, d.h. µ dx = 1 Γα 0 xα 0 1 λ α 0 0 e λ0x 1 0, x dx, x. IP u dx = 1 Γα 0 xα 0 1 λ α 0 0 e λ0 ux e ψu 1 0, x dx λ0 mi ψu = α 0 ln und u I =, λ 0. λ 0 u IP u is eine Γα 0, λ 0 u-vereilung. Is γ eine Abbildung von Θ m in I, so nenn man auch Exponenialfamilie sofern γθ mehrelemenig is. IP ϑ := IP γϑ, ϑ Θ eine Die folgende Aussage is eine mehrdimensionale Verallgemeinerung der Aussagen, die wir in der ersen Übung kennengelern haben. Aussage 7.1. Die Menge I is konvex. Wenn u I gil, so is ψ in u unendlich of differenzierbar, und es gil für alle i j 0, j = 1, 2,..., k: x i 1 1 x i 2 2 x i k k e <u,x> µ dx < i i k u i u i exp {ψu = x i 1 k 1 x i 2 2 x i k k e <u,x> µ dx. k

3 7.1. WAHRSCHEINLICHKEITSVERTEILUNGEN 73 Für einen Beweis siehe Dacunha-Caselle, Duflo, Band I. Es seien H = H 1, H 2,..., H k eine k -werige Zufallsgröße über Ω, A und ν ein σ- finies Maß auf Ω, A. Dann is durch IP u A = exp {< u, Hω > ψu ν dω A mi ψu = ln exp {< u, Hω > ν dω, Ω u I und I := { v k : Ω exp { < u, Hω > ν dω < auf Ω, A eine Familie P H von Wahrscheinlichkeismaßen IP u, u I gegeben, die wir die von H und ν erzeuge Exponenialfamilie nennen. Die Zufallsgröße H heiß kanonische Zufallsgröße für P H. Die Anwendung der vorangegangenen Aussage auf ν H := ν H 1 liefer: Aussage I is konvex und ψ is im Inneren von I unendlich of differenzierbar, 2. Wenn u I, so sind alle Momene endlich, und es gil grad ψu exp {ψu = Ω H i 1 1 H i H i k k exp { < u, H > ψu µ dω H exp {< u, H > dµ, also IE u H = grad ψu, 3. Für u I haben wir KovH i, H j = 2 ψ u i u j u. Aussage 7.3. Die Sichprobenfunkion H is eine minimal suffiziene Saisik für P H bezüglich A. Beweis: Wir erinnern zunächs an die Bezeichnung M 0 := σ Lϑ ; ϑ Θ. Es gil M 0 σh, da e <u,h> bezüglich σh meßbar für alle u k is.

4 74 KAPITEL 7. EXPONENTIALFAMILIEN Andererseis, is u I und v irgend ein Elemen von k, so gil < v, H >= lim h 0 h exp {< u + vh, H > exp {< u, H >. h exp {< u, H > Also is für jedes v k die Zufallsgröße < v, H > bezüglich M 0 meßbar, und somi auch H selbs, d.h., es gil σh M 0. Ω, A, P bilde eine Exponenialfamilie mi der kanonischen Zufallsgröße H. Das zufällige Experimen werde n-mal mi demselben wahren Parameer ϑ Θ unabhängig voneinander durchgeführ. Ω k, A k, IP ϑ sei der Wahrscheinlichkeisraum für das k-e Experimen, ω k sei das Ergebnis des k-en Experimens, A k Ereignisse, die mi dem k-en Experimen zusammenhängen. Dann wird das Gesamexperimen, das aus den n Einzelexperimenen beseh, beschrieben durch: n n Ω := Ω j, A := A j, P n := IP n ϑ : ϑ Θ mi j=1 j=1 IP n ϑ := IP ϑ IP ϑ, ω = ω 1,..., ω n Ω. Für die diesem Gesamexperimen ensprechende Wahrscheinlichkeisvereilung gil IP ϑ IP ϑ A 1... A n = n n { = IP ϑ A j = exp < γϑ, Hω j > ψϑ dµω j A j j=1 IP n A = A exp j=1 { = < γϑ, A 1... A n exp { < γϑ, n Hω j > nψϑ dµ n ω. j=1 n Hω j > nψϑ dµ n ω, A A. j=1 Folgerung 7.2. Is X = X = X 1,..., X n eine mahemaische Sichprobe und bilde IP X 1 ϑ eine Exponenialfamilie mi der kanonischen Variablen Hx, so is HX HX n eine minimal suffiziene Saisik für P X. Beweis: Es gil L X ϑ; x = n exp { < γϑ, Hx k > ψϑ = d IPX ϑ dµ n x, Lϑ; ω = LX ϑ; Xω

5 7.2. LÉVY-PROZESSE 75 d.h., n j=1 HX j is die kanonische Zufallsgröße der Produk-Exponenialfamilie IP X ϑ, ϑ Θ. 7.2 Lévy-Prozesse Es seien Ω, A, IP ein Wahrscheinlichkeisraum und X 0 ein Lévy-Prozess über Ω, A, IP. Daruner versehen wir einen sochasisch seigen reellwerigen zufälligen Prozess mi unabhängigen saionären Zuwächsen, der IP-fas sicher bei Null sare und dessen Trajekorien die càdlàg-eigenschaf haben. Beispiele sind der Wienersche, der Poissonsche, der Gamma-, und jeder zusammengeseze Poissonsche Prozess. Für jedes > 0 sei F die Vereilungsfunkion von X bezüglich IP: F x = IPX x, x, > 0. Lemma 7.3. Is IE IP exp {ux < für ein u und ein > 0, so gil IE IP exp {uxs < für alle s > 0. Beweis: Es sei zunächs s 0,. Dami is X nach Voraussezung die Summe der zwei unabhängigen Zufallsgrößen Xs und X Xs, die die Vereilungsfunkionen F s bzw. F s besizen. Folglich gil F = F s F s. a Diese Gleichung schreiben wir in der Form F z = F s z yf s dy = 1,z y] xf s dx F s dy = 2 1,z] x + yf s dx F s dy, z. Wir haben die Folgerung von Tonelli-Hobson zum Saz von Fubini benuz. Daraus ergib sich mi der üblichen Approximaionsmehode für alle nichnegaiven meßbaren Funkionen f auf die Gleichung fzf dz = fx + yf s dx F s dy, 2 b

6 76 KAPITEL 7. EXPONENTIALFAMILIEN wobei beide Seien gleichzeiig endlich oder beide unendlich sind. Sez man fz = exp{uz, so is nach Voraussezung exp{uzf dz < und aus b und dem Saz von Fubini folg exp{uxf s dx <. Is dagegen s >, so wähl man m 1 derar, daß m > s gil. Nun ergib sich mi analogen Mieln und aus der genannen Folgerung des Sazes von Fubini m m e ux F dx = e ux x m F dx j = e uz F m dz <. j=1 Daraus folg, wie bereis gezeig, e sx F s dx <. Das Lemma erlaub folgende Definiion 7.4. Das Inervall I werde definier durch { I = u : exp{ux d IP = exp{uxf dx <. Dabei is > 0 beliebig gewähl, I is unabhängig von. Es sei u I. Dann is die Funkion ψ u, definier durch ψ u = ln exp{uxf dx, > 0 endlich. Außerdem gil ψ s+ u = ln ln exp{uzf s+ dz = ln exp{uxf s dx exp {ux + y F s dx F dy = exp{uyf dy = ψ s u + ψ u, s, > 0. Wegen der sochasischen Seigkei von X is auch ψ u seig, und es folg ψ u = ψ 1 u, wir sezen ψu := ψ 1 u.

7 7.2. LÉVY-PROZESSE 77 Lemma 7.5. Für jedes u I is der Prozess M u, 0, definier durch M n := exp { ux ψu, 0 ein Maringal bezüglich der Filraion A X, 0 mi A X := σ Xs, s, 0. Beweis: Es gil IE M u +s As X = IE exp { ux +s X s + ux s A X s e +sψu = exp { ux s sψu IE exp { ux +s X s ψu A X = M u s IE M u = M u s. s Wir definieren durch IP u A := M u d IP, A A X A ein Wahrscheinlichkeismaß IP u Sinne, daß gil: auf A X. Die Familie IP u, > 0 is verräglich in dem Is A A X s und s <, so is A A X mi IP u s A = IP u A. Das ergib sich aus der Maringaleigenschaf von M u : IP u s A = M s u d IP = A A M u d IP = IP u A. Somi is eine Mengenfunkion IP u auf >0 A X definier: IP u A = IP u A, falls A A X. Sie is σ-addiiv und somi eindeuig erweierbar zu einer Wahrscheinlichkeisvereilung IP u auf A X := >0 A X = σ X, 0. Die eindeuige Forsezung von IP u auf A X werde ebenfalls mi IP u bezeichne.

8 78 KAPITEL 7. EXPONENTIALFAMILIEN Aussage 7.4. Die Wahrscheinlichkeismaße IP u, u I, sind lokal absoluseig, d.h. IP u IP := IP A X, > 0, und es gil nach Definiion d IP u d IP = exp { ux ψu, > 0, u I. Die Familie IP u, u I heiß die zu IP und X, 0 gehörende Exponenialfamilie von Wahrscheinlichkeismaßen auf A X. Aussage 7.5. Für jedes u I is X, 0 bezüglich IP u ein Lévy-Prozess. Gil u I, so haben wir Beweis: IE u X = ψ u, Var u X = ψ u. Sind X und Y zwei n-dimensionale zufällige Vekoren über Ω, A, IP und is A eine n n- Marix mi X = A Y, so gil offenbar IE fx = IE fa Y, also fx IP X dx = fay IP Y dy. n n Is nun X = X 1, X 2,..., X n und Y = X 1, X 2 X 1,..., X n X n 1, so haben wir mi A = für jede beschränke meßbare Funkion f also IE u fx = IE u fa Y, Ω und somi wegen { { exp ux n n ψu fx d IP = exp ux n n ψu fa Y d IP Ω X n = X 1 + X 2 X X n X n 1 e uxn nψu fx 1, x 2,..., x n IP X dx 1,..., dx n n = fy 1, y 1 + y 2,..., y 1 + y y n e uy 1+y 2 + +y n ψu n n n = fy 1, y 1 + y 2,..., y 1 + y y n F u k k 1 dy k n n F k k 1 dy k

9 7.3. VOLLSTÄNDIGE STATISTIKEN 79 mi F u dx = exp { ux ψu F dx. Da f beliebig is, folg daraus, daß für jedes u I der Prozess X, 0 bezüglich IP u unabhängige und saionäre Zuwächse besiz. Das bedeue, die eindimensionalen Vereilungen F u u I bilden selbs wieder Exponenialfamilien. Folgerung 7.6. X is eine minimal suffiziene Saisik für P = IP u, u I hinsichlich A X. Außerdem bilde X gil Var X = ψ u. 7.3 Vollsändige Saisiken eine erwarungsreue Schäzung für ψ u. Für ihre Sreuung Es seien Ω, A, P ein saisisches Modell mi P = IP ϑ, ϑ Θ und T eine Saisik über Ω, A mi Weren in einem meßbaren Raum E, E. Definiion 7.7. Die Saisik T heiß vollsändig b-vollsändig, falls jede reellwerige Borelmeßbare Funkion Φ auf E, E, die IP T ϑ -inegrierbar is bzw. die beschränk is, und für die gil IE ϑ ΦT = 0, für alle ϑ Θ, nowendig Null is IP T ϑ -f.s., für alle ϑ Θ. Aussage 7.6. Es sei U ein erwarungsreuer Schäzer für γϑ mi IE ϑ U 2 <, ϑ Θ. Weierhin sei T eine vollsändige und suffiziene Saisik für ϑ bezüglich A. Dann is IE U T ein erwarungsreuer Schäzer für γϑ mi kleinerer Varianz: Var IE U T VarU. 7.1 IE U T is eine Funkion von T und zwar die einzige Funkion ht, die einen erwarungsreuen Schäzer für γϑ darsell. Folglich is IE U T der Schäzer mi minimaler Varianz uner allen erwarungsreuen Schäzern für γϑ: ein MVUE, minimum variance unbiased esimaor.

10 80 KAPITEL 7. EXPONENTIALFAMILIEN Beweis: Die Ungleichung 7.1 is eine Eigenschaf bedinger Erwarungen. Is S ein erwarungsreuer Schäzer für γϑ und is S eine Funkion von T, d.h. gil S = ht, so haben wir IE ϑ ht = IEϑ IEU T für alle ϑ Θ. Aus der Vollsändigkei von T folg ht = IEU T. Beispiel 7.4. Is P eine Exponenialfamilie mi der kanonischen Zufallsgröße H, so is H minimal suffizien und vollsändig. Beweis: Es gil 0 = IE ϑ fh = fx exp { < x, u > ϕu µ H dx = exp { ψu fx exp { < x, u > µ H dx. Das bedeue, die Laplace-Transformieren von f + und f sind gleich auf Θ. Daraus ergib sich f + = f = 0 µ H -fas überall und somi fh = 0 IP ϑ -fas sicher für alle ϑ Θ. Wir haben hier benuz, daß γθ in I ein nichleeres Inneres besiz. Beispiel 7.5. Es seien Ω, A, P ein dominieres saisisches Modell, T eine Saisik über Ω, A. Is T suffizien und b-vollsändig, so is T minimal suffizien. Beweis: Die σ-algebra σt, vervollsändig bezüglich IP IP is ein privilegieres dominierendes Maß, enhäl die minimal suffiziene σ-algebra M 0. Umgekehr: Is C σt, so is IE ϑ I C IE 1 C M 0 = 0 für alle ϑ Θ. Dami gil 1 C = IE 1 C M 0 IP ϑ -fas sicher für alle ϑ Θ wegen der Vollsändigkei von T. Somi ha 1 C eine IP-Version, die M 0 -meßbar is, d.h. C M IP 0. Aus der Minimalsuffizienz folg nich die b-vollsändigkei siehe 6. Übung.

11 7.4. DIE CRAMER-RAO-UNGLEICHUNG UND EXPONENTIALFAMILIEN Die Cramer-Rao-Ungleichung und Exponenialfamilien Es sei Ω, A, P ein saisisches Modell mi P = IP ϑ, ϑ Θ, Θ k und einem dominierenden σ-finien Maß µ. Wir können o.b.d.a. annehmen, daß µ ein Wahrscheinlichkeismaß is und bezeichnen es deshalb der Gewohnhei gemäß mi IP: Die Likelihoodfunkion Lϑ ; ω ϑ Θ, ω Ω is definier durch Lϑ ; ω := d IP ϑ IP. Wegen IP ϑ Lϑ ; > 0 = 1 is für jedes ϑ Θ lϑ ; := ln Lϑ ; eine IP ϑ -fas sicher definiere Zufallsgröße über Ω, A. µ = IP. Voraussezung: Die Funkion ϑ Lϑ ; ω sei differenzierbar für IP-fas alle ω Ω und es gele IE ϑ gradϑ lϑ ; 2 <, für alle ϑ Θ. is die Euklidische Norm in k Definiion 7.8. Die Marix Iϑ, definier durch Iϑ := IE ϑ grad ϑ lϑ ; grad T ϑ lϑ ; heiß Fisher-Informaionsmarix des saisischen Modells Ω, A, P. Aussage 7.7 Cramer-Rao-Ungleichung. Es gele a Für IP ϑ -fas alle ω sei ϑ Lϑ ; ω seig differenzierbar bezüglich ϑ, b IE ϑ grad ϑ lϑ ; 2 <, ϑ Θ c Für jede Zufallsgröße Y mi IE ϑ Y 2 < gele grad ϑ IE ϑ Lϑ ; Y = IEϑ gradϑ Lϑ ; Y, ϑ Θ d Iϑ sei regulär, ϑ Θ. Dann gil für jedes ϑ Θ und für jede Zufallsgröße Y mi IE ϑ Y < die Ungleichung IE ϑ Y IEϑ Y 2 grad ϑ IE ϑ Y T I 1 ϑ grad ϑ IE ϑ Y.

12 82 KAPITEL 7. EXPONENTIALFAMILIEN Spezialisierungen: Wenn Y eine erwarungsreue Schäzung für γϑ is, so gil: DϑY 2 grad ϑ γ ϑ T I 1 ϑ grad ϑ γ ϑ, und is Θ eindimensional, Θ, so haben wir 2 γϑ DϑY 2. Iϑ Beweis der Cramer-Rao-Ungleichung: 1. Schri: Aus c folg IE grad ϑ Lϑ; = 0, d.h. IE ϑ gradϑ ln Lϑ; = 0 Wegen IE Lϑ ; = 1 Es gil folglich: grad ϑ IE ϑ Y = grad ϑ IE Lϑ ; Y = IE grad ϑ Lϑ ; Y = IE ϑ grad ϑ ln Lϑ ; Y = IE ϑ grad ϑ ln Lϑ ; Y IE ϑ Y Schri: Für alle u k gil mi < u, v >= k l=1 u kv k = u T v < u, grad ϑ IE ϑ Y > 7.2 = IE ϑ < u, grad ϑ ln Lϑ ; > Y IE ϑ Y, und somi wegen der Cauchy-Schwarzschen Ungleichung Das heiß, < u, grad ϑ IE ϑ Y > 2 IE ϑ < u, gradϑ ln Lϑ ; > 2 IE ϑ Y IEϑ Y 2. IE ϑ Y IEϑ Y 2 Wir fixieren ϑ Θ und wählen u k so, daß < u, grad ϑ IE ϑ Y > 2 IE ϑ < u, gradϑ ln Lϑ ; > 2, u k, ϑ Θ. 7.3 < u, grad ϑ IE ϑ Y >= erfüll is. Die reche Seie von 7.3 laue dann 1 u T Iϑu

13 7.4. DIE CRAMER-RAO-UNGLEICHUNG UND EXPONENTIALFAMILIEN Schri: Besimmung des Maximums der rechen Seie von 7.3 uner der Nebenbedingung 7.4. u T Iϑu λ < u, grad ϑ IE ϑ Y > 1 Wir erhalen als nowendige Bedingung grad ϑ : u T Iϑ λ grad ϑ IE ϑ Y T = 0 und soll minimier werden. d dλ : < u, grad ϑ IE ϑ Y >= 1. Auflösung nach u und λ: Erse Gleichung nach u T auflösen und in die zweie einsezen liefer: 1 = u T grad ϑ IE ϑ Y = λ grad ϑ IE ϑ Y T I 1 ϑ grad ϑ IE ϑ Y. Also: λ = 1 gradϑ IE ϑ Y T I 1 ϑ grad ϑ IE ϑ Y, Dami folg u T = λ grad ϑ IE ϑ Y I 1 ϑ. 1 u T Iϑu = 1 λ 2 grad ϑ IE ϑ Y T I 1 ϑ grad ϑ IE ϑ Y. Bemerkung 7.9. Die Fishersche Informaionsmarix is definier durch Iϑ := IE ϑ grad ϑ ln Lϑ ; grad T ϑ ln Lϑ ;. Uner der Bedingung, daß ϑ Lϑ ; zweimal differenzierbar is und die Verauschungsgleichung 2 IE Lϑ ; = 2 IE Lϑ ; = 0 ϑ i ϑ j ϑ i ϑ j gil IE is der Erwarungswer bezüglich des dominierenden privilegieren Maßes, Lϑ; = d IP ϑ, haben wir wegen d IP ln Lϑ ; = Lϑ ; ϑ i ϑ j ϑ i ϑ j Lϑ ; 1 Lϑ ; Lϑ ; ϑ i ϑ 2 j Lϑ ;

14 84 KAPITEL 7. EXPONENTIALFAMILIEN und 1 2 IE ϑ Lϑ ; Lϑ ; ϑ i ϑ j die Beziehung 2 Iϑ = IE ϑ ln Lϑ ;. ϑ i ϑ j 2 = IE Lϑ ; = 0 ϑ i ϑ j Beispiel 7.6. P bilde eine Exponenialfamilie. Dann is d IP { ϑ d IP = exp < ϑ, H > ψϑ, ϑ Θ, Θ sei offen, Iϑ = grad ϑ gradϑ ψϑ 2 = ψϑ sei regulär. ϑ i ϑ j Weierhin sei lϑ : = ln Lϑ ; =< ϑ, H > ψϑ grad ϑ lϑ = H grad ϑ ψϑ. und es gil Es folg IE ϑ H = grad ϑ ψϑ, da IE ϑ gradϑ lϑ = 0 is. Als Zufallsgröße Y nehmen wir < u, H > für ein u k. Es ergib sich IE ϑ Y =< u, grad ϑ ψu > grad ϑ IE ϑ Y =< u, Iϑ >. und Folglich gil: D 2 ϑy = IE ϑ < H grad ϑ ψϑ, u > 2 = IE ϑ u T H grad ϑ ψϑ H grad ϑ ψϑ T u = u T Iϑu. Somi is: DϑY 2 = u T Iϑu = u T IϑI 1 ϑiϑu T = grad ϑ IE ϑ Y I 1 ϑ grad ϑ IE ϑ Y. Also wird im Fall der Exponenialfamilie die unere Schranke in der Cramer-Rao-Ungleichung erreich.

15 7.4. DIE CRAMER-RAO-UNGLEICHUNG UND EXPONENTIALFAMILIEN 85 In der Ungleichung von Cramer-Rao muß es keine erwarungsreue Schäzung für γϑ geben, deren Sreuung die unere Schranke erreich. Beispiel 7.7. Es sei X eine zum Parameer λ > 0 Poissonvereile Zufallsgröße. X is eine suffiziene und vollsändige Saisik für λ, da Lλ ; x = λe λx. Es sei T X := 1 {0 X, dann gil IE λ T = e λ. D.h., T is eine erwarungsreue Schäzung mi minimaler Varianz für gλ = e λ. Es gil Andererseis is D 2 T = IE λ 1 {0 X e λ 2 = e λ 2e 2λ + e 2λ = e λ 1 e λ. Iλ = IE λ λ ln Lλ ; 2 = 1 λ, außerdem, mi 2 g λ = e λ gil g λ 2 = λ 2 e 2λ < e λ 1 e λ, wegen 1 + λ 2 < e λ. Iλ Beispiel 7.8. Es seien X = X 1,..., X n eine klassische mahemaische Sichprobe uner IP ϑ, ϑ Θ, Q ϑ := IP X 1 ϑ, und dq ϑ x =: f d IP ϑx. Es gil: n dq ϑ n Lϑ ; ω = d IP X k = f ϑ X k, lϑ ; ω = grad ϑ lϑ ; ω = n ln f ϑ X k, n grad ϑ ln f ϑ X k = n grad ϑ f ϑ X k, f ϑ X k Iϑ = IE ϑ gradϑ lϑ ; ω grad ϑ lϑ ; ω T n n gradϑ = IE ϑ ln f ϑ X k grad ϑ ln f ϑ X l T l=1 [ für k l sind X k und X l unabhängig, also gil IE ϑ gradϑ ln f ϑ X k gradϑ f ϑ X k dq ϑ = IE ϑ = IE IP grad f ϑ X k ϑ d IP X k dqϑ ] = grad ϑ IE d IP X 1 = grad ϑ 1 = 0. n gradϑ = IE ϑ ln f ϑ X k grad ϑ ln f ϑ X k T {{ =: I 1 ϑ = n I 1 ϑ.