Ds fundmentle Resultt dieses Kpitels ist der Funktionle Zentrle Grenzwertstz, welcher zuerst von Donsker 1951 bewiesen wurde. Er sgt, dss die Verteilung einer resklierten Irrfhrt mit zentrierten iid-zuwächsen von Vrinz 1 in der Sklierung 7.1 schwch gegen ds Wienermß konvergiert. Gelegentlich bezeichnet mn den Stz uch ls Invrinzprinzip von Donsker, weil ds behuptete symptotische Verhlten der Irrfhrt weitgehend invrint ist gegenüber der Verteilung der Zuwächse. Die Aussge ist eine viel stärkere ls die des klssischen Zentrlen Grenzwertstzes, der nur die Verteilung der Irrfhrt in einem festen Zeitpunkt zum Gegenstnd ht. Im Zusmmenhng mit der Kolmogorov-Smirnov-Teststtistik beweisen wir mithilfe des Invrinzprinzips die schwche Konvergenz des uniformen empirischen Prozesses gegen eine Brownsche Brücke. Der letzte Abschnitt widmet sich einem funktionlen Grenzwertstz für den empirischen Spektrlprozess. Stochstische Gleichstetigkeit uf [0, 1] Um Stz 8.15 zu benutzen, bruchen wir ein exktes Verständnis des Begriffes Strffheit. Für eine Funktion x C[0,1] ist der Stetigkeitsmodul definiert durch w x δ := xt xs. t s δ Jedes x C[0,1] ist gleichmäßig stetig und erfüllt lim δ 0 w x δ = 0. Wegen w x δ w y δ 2 x y ist w. δ für festes δ stetig uf C[0,1] und dmit messbr. Stz 9.1. Eine Folge P n von W-Mßen über BC[0,1] ist strff genu dnn, wenn gilt: 9.1 η > 0,n 0, so dss P n x : x0 η n n0 und 9.2 ε,η > 0 δ,n 0 mit 0 < δ < 1 so dss P n x : wx δ ε η n n 0. Dmit ist eine Folge von Zufllsvriblen X n mit Werten in C[0,1] strff, flls die Folge X0 n strff ist und 9.3 ε,η > 0 δ,n 0 mit P Xn s X n t ε η n n 0. t s δ 75
Flls die letzte Bedingung erfüllt ist, heißt X n uch gleichgrdig stetig in Whrscheinlichkeit. Zur Erinnerung sei der für den Beweis benötigte Stz von Arzelà und Ascoli zitiert. Er stmmt us der klssischen reellen Anlysis und identifiziert die reltiv kompkten Mengen im Rum CK, den stetigen reellen Funktionen uf einem kompkten metrischen Rum K. Stz 9.2. Stz von Arzelà-Ascoli Sei K, d ein kompkter, metrischer Rum und CK der Rum der stetigen reellen Funktionen uf K, versehen mit der Topologie der gleichmäßigen Konvergenz. Eine Teilmenge B CK ist reltiv kompkt genu dnn, wenn gilt: i Es existiert x K mit fx c < für lle f B und ein c > 0; ii B ist gleichmäßig gleichgrdig stetig, d.h. lim δց0 { w δ f;f B } = 0. Wegen ii knn mn i durch die Aussge ersetzen: i B ist beschränkt, d.h. f c < für lle f B und ein c > 0. BEWEIS Stz 9.1. Angenommen, P n sei strff. Zu gegebenem η > 0 wähle mn eine kompkte Menge K, so dss P n K > 1 η für lle n N. Nch dem Stz von Arzelà- Ascoli ht mn K {x : x0 } für hinreichend großes und K {x : w x δ ε} für hinreichend kleines δ, und somit folgen 9.1 und 9.2 mit n 0 = 1. Die Bedingungen sind lso notwendig. Nch Stz 6.18 ist ein einziges W-Mß P uf BC[0,1] strff. Wegen der Notwendigkeit der Bedingungen 9.1 und 9.2 existiert zu gegebenem η ein mit P{x : x0 } η, und zu festem ε und η gibt es ein δ, so dss P{x : w x δ > ε} η. Flls P n die beiden Bedingungen des Stzes erfüllt, können wir durch Vergrößern von und δ flls nötig sicherstellen, dss n 0 = 1 gewählt werden knn. Erfülle P n lso 9.1 und 9.2 mit n 0 = 1. Zu gegebenem η wähle mn, so dss P n B 1 η für lle n N mit B := {x : x0 }. Dnn wähle mn δ k so, dss für B k := {x : w x δ k < 1/k} gilt P n B k η/2 k für lle n N. Flls K der Abschluss von A := B { k=1 B k} ist, folgt P n K c P n A c η + k η/2k 2η für lle n N. D A die beiden Bedingungen des Stzes von Arzelà-Ascoli erfüllt, ist K kompkt und P n dmit strff. Die nächsten beiden Lemmt ergeben Abschätzungen, die den Nchweis der stochstischen Gleichstetigkeit in vielen Fällen erleichtern. Lemm 9.3. Sei X eine D[0, 1]-Zufllsvrible. Für beliebige 0 < δ 1 und η > 0 ist P w X δ/2 > 2η 2 δ P Xu Xt > η. t [0,1 u [t,t+δ] [0,1] BEWEIS. Für 0 j jδ sei I j := [jδ/2,j + 1δ/2] [0,1], wobei jδ die größte gnze Zhl in [0,2/δ ist. Zu u,v [0,1] mit u v < δ existiert stets ein j < jδ mit 76
u,v I j I j+1. Folglich ist P w X δ/2 > 2η jδ 1 j=0 jδ 1 j=0 P P 2 δ P t [0,1 Xu Xv > 2η u,v I j I j+1 Xu Xjδ/2 > η u I j I j+1 u [t,t+δ] [0,1] Xu Xv > η. Die Frge ist nun, wie mn die rechte Seite der Ungleichung in Lemm 9.3 bschätzen knn. Lemm 9.4. Lévy Sei X ein stochstischer Prozess uf [, b] mit rechtsseitig stetigen Pfden und unbhängigen Zuwächsen; d.h. für t < u b sind Xs s [,t] und Xu Xt stochstisch unbhängig. Für beliebige η > 0 ist P t [,b] Xt > η P Xb > η/2 + P t [,b] Xb Xt > η/2. Flls zusätzlich die Verteilung von Xb Xt symmetrisch um Null ist für lle t [,b], dnn ist sogr P Xt > η 2P Xb > η. t [,b] BEWEIS. Wegen der rechtsseitigen Stetigkeit der Pfde von X genügt es, die Behuptung mit t T Xt nstelle von t b Xt zu beweisen, wobei T eine beliebige endliche Teilmenge von [,b] ist, die {} und {b} enthält. Die Behuptung folgt dnn mithilfe des Stzes von der monotonen Konvergenz. Sei { } τ := min t T : Xt > η Dnn ist { }. { Xt > η } = { τ T } { } { } τ T, Xb η/2 Xb > η/2, t T } { und τ T, Xb η/2 t T ist gleich { } τ = t, Xb η/2 t T{τ { } = t} Xb Xt > η/2, denn Xt > η uf {τ = t}. Folglich ist P Xt > η P Xb > η/2 + P τ T, Xb η/2 t T P Xb > η/2 + Pτ = tp Xb Xt > η/2 t T P Xb > η/2 + P Xb Xt > η/2. t [,b] 77
Im Flle symmetrisch verteilter Zuwächse Xb Xt ist P Xb Xt 0 1/2 und P Xb Xt 0 1/2, weshlb Pτ = t = P τ = t,xt > η + P τ = t,xt < η 2P τ = t,xt > η,xb Xt 0 + 2P τ = t,xt < η,xb Xt 0 2P τ = t,xb > η + 2P τ = t,xb < η = 2P τ = t, Xb > η, und die gewünschte Ungleichung folgt durch Aufsummieren über lle t T. Lemm 9.4 nutzt entscheidend die Unbhängigkeit der Zuwächse us. Ohne Beweis d wir es nicht benutzen zitieren wir n dieser Stelle ein einfches Kriterium für die stochstische Gleichstetigkeit, ws diese Vorussetzung nicht benötigt: Stz 9.5. Sei X n n eine Folge von Zufllsvriblen mit Werten in C[0,1],. Flls es γ,κ > 0, K R und n 0 N gibt, so dss für lle 0 s,t 1 und lle n n 0 gilt 9.4 P X n s X n t > ε s t 1+γ K ε κ, so ist die Folge X n n gleichgrdig stetig in Whrscheinlichkeit, d.h. es gilt 9.3. Bedingung 9.4 rechnet mn zum Beispiel mit der Mrkov-Ungleichung nch. Ds Invrinzprinzip von Donsker Wir kommen nun zum Huptstz dieses Kpitels. Seien Y 1,n,...,Y n,n reellwertige Zufllsvrible. Dzu betrchten wir den Prtilsummenprozess t S n t := 1 [nt] Y i,n, t [0,1]. n Sei weiter X n. die stetig liner interpolierte Version von S n., d.h. i=1 X n t := S n t + nt [nt]n 1/2 Y [nt]+1,n. Stz 9.6. Donsker Angenommen, für jedes n sind Y 1,n,Y 2,n,...,Y n,n unbhängig und identisch verteilt mit EY n1 = 0 und VrY 1,n = 1. Ferner sei lim n E1 {Y 2 1,n εn}y 2 1,n = 0 für beliebige ε > 0. Dnn konvergiert X n n schwch gegen eine Brownsche Bewegung uf [0,1], d.h. X n. D B. in BC[0,1]. 78
BEWEIS. Nch Stz 8.15 müssen wir die Konvergenz der fidis und die Strffheit zeigen: i fidis: Aus dem Lindebergschen Zentrlen Grenzwertstz knn mn wegen der Kompktheit von [0,1] 2 folgern, dss für beliebige f C b R gilt: 9.5 lim Ef S n u S n t Ef u ty = 0, n 0 t u 1 wobei Y N0,1. Seien 0 = t 0 < t 1 <... < t m 1, m N, fest ber beliebig. Wir möchten die symptotische gemeinsme Verteilung der Zuwächse X n t i X n t i 1 bestimmen. Wegen der Chebychef-Ungleichung können wir die Interpoltionsterme vernchlässigen und ohne Einschränkung die Zuwächse von S n betrchten. Diese sind ber unbhängig, weshlb X n t i X n t i 1 D N 0, dig t i t i 1 1 i m. 1 i m Zusmmen mit X n 0 = 0 folgt hierus die schwche Konvergenz der endlichdimensionlen Verteilungen von X n. ii Strffheit: Nch Stz 9.1 ist die stochstische Gleichstetigkeit zu zeigen. Wegen w Xn δ w Sn δ genügt nch den beiden vorngehenden Lemmt hierzu der Nchweis, dss lim δ 0 lim n 0<u t δ 1 Sn δ P u S n t > ε = 0 für lle ε > 0 ist. Doch us 9.5 folgt, dss für 0 < δ 1 gilt: lim 1 Sn δ P u S n t > ε n 0<u t δ 1 u = 0<u t δ δ P t Y > ε = 1 Y δ P > ε/ δ 1 2δ exp ε2 2δ 0 für δ ց 0. Der klssische empirische Prozess Seien X 1,...,X n iid P, mit einer unbeknnten Whrscheinlichkeitsverteilung P uf BR. Beknntermßen wird P durch die Verteilungsfunktion F, punktweise gegeben durch Fx := P,x] eindeutig bestimmt die hlboffenen Intervlle, x], x R, bilden ein -stbiles Erzeugendensystem. Ein nheliegender Schätzer für F ist die empirische Verteilungsfunktion F n mit F n x := P n,x] = 1 n 1{X i x}. n 79 i=1
Angenommen, die whre Verteilungsfunktion F ist unbeknnt, und mn möchte testen, ob F gleich einer hypothetischen Verteilungsfunktion F 0 ist. Eine mögliche Testgröße hierfür ist die Kolmogorov-Smirnov-Teststtistik Fn F 0. Ws die Abhängigkeit der Verteilung obiger Sttistik von F betrifft, knn mn den Prozess F n und dvon bgeleitete Objekte sehr elegnt stndrdisieren. Ds Hilfsmittel hierfür ist die Quntiltrnsformtion oder Quntilfunktion F 1 u := min{x R : Fx u}, u 0,1, von P bzw. F. Mn knn leicht zeigen, dss F 1 monoton wchsend und linksseitig stetig ist. Ferner gilt für u 0,1 und x R: 9.6 FF 1 u u FF 1 u = u flls PF 1 u = 0, F 1 u x genu dnn, wenn u Fx. Eigenschft 9.6 knn folgendermßen genutzt werden: Seien U 1,U 2,...,U n iid U[0,1]. Dnn impliziert 9.6, dss X i := F 1 U i F, denn PF 1 U i x = PU i Fx = Fx. Mithilfe dieser speziellen Konstruktion der Vriblen X i und der empirischen Verteilungsfunktion Ĝ n t := 1 n n 1{U i t} der Vriblen U 1,...,U n ist dnn F n x = ĜnFx. Insbesondere ist Fn F = Ĝn x x Ĝn id, 9.7 x FR i=1 Fn F = Ĝn id flls F stetig ist. Aufgrund dieser Drstellung der empirischen Verteilungsfunktion genügt es im wesentlichen, den uniformen empirischen Prozess Ĝnt t t [0,1] zu untersuchen. Stz 9.7. Donsker Seien U 1,...,U n iid U[0,1] und t Y n t, t [0,1], die linere Interpoltion des zugehörigen uniformen empirischen Prozesses Ĝnt t t [0,1] n den Punkten U 1,...,U k mit Y n 0 = Y n 1 = 0. Dnn konvergiert n Y n schwch gegen eine Brownsche Brücke, d.h. n Yn. D B 0. in BC[0,1]. 80
BEWEIS. Der Beweis ist in vier Schritte unterteilt. 1. Schritt: Nch Stz 5.3 e ist der Prozess t n 1{U i t} = n Ĝnt i=1 genuso verteilt wie ein Poissonprozess N n in [0,1] zum Intensitätsmß λ n gegeben N n 1 = n, d.h. L n Ĝn. = L N n. N n 1 = n. Für eine Zufllsvrible X bezeichne LX ihre Verteilung Bildmß L steht für lw, engl.. Entsprechend gilt L 1 nĝnt t t [0,1] = L n Nn t n t t [0,1] N n 1 = n 1 = L n Nt n n t Nn = n, t [0,1] wobei N ein Poissonprozess zum Intensitätsmß λ ist. Die Gleichheit dieser Verteilungsgesetze bleibt offenbr bestehen, wenn mn zu den liner interpolierten Prozessen von Ĝnt t t [0,1] und N n t n t t [0,1] übergeht. Sei N ein Poissonprozess der Intensität 1, d.h. der zentrierte Zuwchs Nt + 1 Nt in einem Zeitschritt eine zentrierte Poissonvrible zum Prmeter 1 ist: 9.8 PX i = m 1 = e 1 m! Für den Prtilsummenprozess für m N 0. S n k/n := 1 k 1 Ni Ni 1 1 = n Nk k, 0 k n, n i=1 S. ffin dzwischen, ht mn ds Invrinzprinzip von Donsker, ws uch für die zwischen den Sprungstellen stetig liner interpolierte Version X n von n 1/2 Nn t n t wegen S n X n = On 1/2 bestehen bleibt. Allerdings gilt es nur für die unbedingte Verteilung. Wir müssen jetzt ber den Grenzwert der bedingten Verteilungen unter der Bedingung Nn = n oder, äquivlent, X n 1 = 0 usrechnen. Für jedes R seien µ n = L X n t t [0,1] X n 1 = und µ = L B 0 t + t t [0,1] mit einer Brownschen Brücke B 0. 81
Für je zwei reelle Zhlen < b ht mn nch dem Invrinzprinzip von Donsker und Proposition 7.9 9.9 ν n,b Z P X n 1 = ν b µ n ν. 1 exp ν 2 /2µ ν.dν. 2π Für eine offene Menge O impliziert P n P die Konvergenz P. O P. O, denn für jede offene Menge G B gilt lim inf n P n G O PG O nch dem Portemnteu- Theorem wieder nch dem Portemnteu-Theorem, welches übrigens uch für llgemeine endliche Mße gilt, folgt dnn P n. O P. O. 2. Schritt: Die Mße µ hängen in der schwchen Topologie stetig von b: Dies folgt us Proposition 7.9 und wurde bereits erwähnt in der druffolgenden Bemerkung; mn erhält einen Prozess, der nch µ b verteilt ist, indem mn zu einem Prozess mit Verteilung µ den lineren Prozess t t b ddiert. Folglich hben wir fxdµ b x = f x + b id dµ x, womit für jede beschränkte Lipschitz-Funktion f : C[0, 1] R mit Lipschitzkonstnte C gilt fxdµ b x fxdµ x C b für lle n und b. D die dule BL-Metrik die schwche Topologie metrisiert, folgt die Behuptung. 3. Schritt: Die Mße µ n hängen in der schwchen Topologie gleichmäßig stetig von b: Wegen der Aussge e des Stzes 5.3 erhält mn einen Poissonprozess N unter der Bedingung Nn = n + k us einem Poissonprozess N unter der Bedingung Nn = n + j j < k, indem mn unbhängig k j Punkte iid nch U[0, n] hinzufügt. Nt wird dbei größer, ber nicht mehr ls k j. Folglich knn mn zwei Prozesse Y n und demselben W-Rum definieren, die nch µ n P Y n bzw. µ n b t Y n b t Y n t + b für lle t [0,1] und Y n b verteilt sind, so dss gilt = 1. uf ein Wie in Schritt 2 folgt fxdµ n b x fxdµ n x C b für lle n und b. für jede beschränkte Lipschitzfunktion f : C[0, 1] R mit Lipschitzkonstnte C. 4. Schritt: Wendet mn die schwche Konvergenzussge 9.9 uf eine beschränkte Lipschitzfunktion f mit Lipschitzkonstnte C n, erhält mn 9.10 lim n ν n,b Z PX n 1 = ν fxdµ n ν b x = 82 1 2π exp ν 2 /2fxdµ ν xdν.
D die Abbildungen ν fxdµ n ν gleichmäßig in n beschränkt und Lipschitz-stetig sind ebenso ν fxdµ ν x, ist nch dem Grenzwertstz für X n 1 die linke Seite von 9.10 gleich b 1 lim exp ν 2 /2 n 2π { = lim n fxdµ n ν xdν } b fxdµ n x 1 exp ν 2 /2dν + R,b n 2π mit lim n R,b n Φb Φ C b nch Schritt 3, wobei Φ die Verteilungsfunktion der Stndrdnormlverteilung bezeichnet; entsprechend ht mn nch Schritt 2 für die rechte Seite von 9.10 { } b fxdµ x 1 2π exp ν 2 /2dν + R,b mit R,b Φb Φ C b. Teilt mn nun links und rechts in 9.10 durch Φb Φ, erhält mn im Limes b 0 lim fxdµ n n x = fxdµ x für lle R, f beschränkt und Lipschitz-stetig. Bemerkung 9.8. Alterntiv knn mn Stz 9.7 uch mithilfe des entwickelten Konvergenzkonzeptes Konvergenz der endlichdimensionlen Verteilungen + Strffheit zeigen; etws ufwendiger wird hierbei der Nchweis der stochstischen Gleichstetigkeit, d die Zuwächse des empirischen Prozesses nicht mehr unbhängig sind mn verwendet zum Beispiel ein Kriterium wie in Stz 9.5. Übrigens bleibt obige Argumenttion uch gültig, wenn mn ohne die linere Interpoltion des empirischen Prozesses die Konvergenzussge von Stz 9.7 in der schwchen Topologie der Mße über BD[0,1] nchweisen möchte. Als Anwendung von Stz 9.7 erhlten wir die symptotische Verteilung der Kolmogorov- Smirnov-Sttistik unter der Nullhypothese: Korollr 9.9. Seien X 1,...,X n iid nch einer Lebesgue-stetigen Verteilung. Dnn gilt n Fn. F. D mx 0 t 1 B0 t. BEWEIS. Wegen der Stetigkeit von F reicht es nch 9.7 den uniformen empirischen Prozess zu betrchten. Ferner gilt Ĝ n id Gn id 4 n, wobei Gn. die stetig linere Interpoltion der empirischen Verteilungsfunktion ist. Die Aussge folgt dnn us Stz 9.7 mithilfe des continuous-mpping-theorems, d Supremum und Betrg stetig sind. 83
Der empirische Spektrlprozess Sei X n ein sttionärer Gußprozess mit EX 1 = 0 und Spektrlmß F.. Ausgehend von Beobchtungen X 1,...,X n htten wir in Kpitel 3 ds empirische Spektrlmß ls Spektrlmß zur Folge ĉ n k der empirischen Kovrinzen definiert, welche positiv definit ist. Es ist Aussge von Stz 3.8, dss f.s. für n ds empirische Spektrlmß schwch gegen ds whre Spektrlmß konvergiert. Für sttistische Zwecke ist ein solches Resultt von limitiertem Nutzen wichtiger im Zusmmenhng mit Goodness-of-Fit-Tests ist die symptotische Verteilung von Schätzern. Wegen der Symmetrie um 0 ist ds Spektrlmß uf Π bereits eindeutig festgelegt durch die Funktion F, gegeben durch F λ := λ 0 dfα, λ [0,π]. Es erweist sich ls technisch günstiger, die schwche Approximtionstheorie für F n F nstelle von F n F zu entwickeln, wobei F nλ := λ 0 I n αdα. In Anlogie zum klssischen empirischen Prozess definiert mn den sogennnten empirischen Spektrlprozess Ên λ λ [0,π] := F n λ F λ λ [0,π]. Stz 9.10. Dhlhus Sei X n ein sttionärer, zentrierter Gußprozess mit Lipschitzstetiger Spektrldichte f. Dnn gilt n Ê n. D E. in BC[0, π], wobei E ein stetiger, zentrierter Gußprozess uf [0, π] ist mit Kovrinzstruktur cov Eλ,Eµ = 2π minλ,µ 0 fα 2 dα. Bemerkung 9.11. Im Gegenstz zum klssischen empirischen Prozess ist der schwche Grenzwert eine zeittrnsformierte Brownsche Bewegung, die der stochstischen Differentilgleichung deλ = 2πfλ dbλ genügt siehe nchfolgendes Kpitel. Für einen Beweis verweisen wir uf Dhlhus, R. 1988. Empiricl spectrl processes nd their pplictions to time series nlysis, Stochstic Processes nd their Applictions, 30, pp 69-83. 84