Empirische Verteilungsfunktion

Transkript

1 KAPITEL 3 Empirische Verteilugsfuktio 3.1. Empirische Verteilugsfuktio Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit theoretischer Verteilugsfuktio F (t) = P[X i t]. Es sei (x 1,..., x ) eie Realisierug dieser Zufallsvariable. Wie köe wir die theoretische Verteilugsfuktio F ahad der Stichprobe (x 1,..., x ) schätze? Dafür beötige wir die empirische Verteilugsfuktio. Defiitio Die empirische Verteilugsfuktio eier Stichprobe (x 1,..., x ) R ist defiiert durch F (t) := 1 1 xi t = 1 # {i {1,..., } : x i t}, t R. Bemerkug Die obe defiierte empirische Verteilugsfuktio ka wie folgt durch die Ordugsstatistike x (1),..., x () ausgedrückt werde 0, falls t < x (1), 1, falls x (1) t < x (2), 2 F (t) =, falls x (2) t < x (3), , falls x ( 1) t < x (), 1, falls x () t. Bemerkug Die empirische Verteilugsfuktio F hat alle Eigeschafte eier Verteilugsfuktio, de es gilt (1) lim t F (t) = 0 ud lim t + F (t) = 1. (2) F ist mooto ichtfalled. (3) F ist rechtsstetig. Parallel werde wir auch die folgede Defiitio beutze. Defiitio Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable. Da ist die empirische Verteilugsfuktio gegebe durch F (t) = 1 1 Xi t, t R. 1

2 Es sei bemerkt, dass F (t) für jedes t R eie Zufallsvariable ist. Somit ist F eie zufällige Fuktio. Auf die Eigeschafte vo F (t) gehe wir im folgede Satz ei. Satz Seie X 1,..., X uabhägige ud idetisch verteilte Zufallsvariable mit Verteilugsfuktio F. Da gilt (1) Die Zufallsvariable F (t) ist biomialverteilt: Das heißt: [ P F (t) = k ] = F (t) Bi(, F (t)). ( ) F (t) k (1 F (t)) k, k = 0, 1,...,. k (2) Für de Erwartugswert ud die Variaz vo F (t) gilt: E[ F (t)] = F (t), Var[ F (t)] = Somit ist F (t) ei erwartugstreuer Schätzer für F (t). (3) Für alle t R gilt F (t) F (t).. I diesem Zusammehag sagt ma, dass F (t) ei stark kosisteter Schätzer für F (t) ist. (4) Für alle t R mit F (t) 0, 1 gilt: F (t) F (t) d N(0, 1). I diesem Zusammehag sagt ma, dass F (t) ei asymptotisch ormalverteilter Schätzer für F (t) ist. Bemerkug Die Aussage vo Teil 4 ka ma folgedermaße verstehe: Die Verteilug des Schätzfehlers F (t) F (t) ist für große Werte vo approximativ ( ) N 0,. Beweis vo (1). Wir betrachte Experimete. Beim i-te Experimet überprüfe wir, ob X i t. Falls X i t, sage wir, dass das i-te Experimet ei Erfolg ist. Die Experimete sid uabhägig voeiader, de die Zufallsvariable X 1,..., X sid uabhägig. Die Erfolgswahrscheilichkeit i jedem Experimet ist P[X i t] = F (t). Die Azahl der Erfolge i de Experimete, also die Zufallsvariable F (t) = 2 1 Xi t

3 muss somit biomialverteilt mit Parameter (Azahl der Experimete) ud F (t) (Erfolgswahrscheilichkeit) sei. Beweis vo (2). Wir habe i (1) gezeigt, dass F (t) Bi(, F (t)). Der Erwartugswert eier biomialverteilte Zufallsvariable ist die Azahl der Experimete multipliziert mit der Erfolgswahrscheilichkeit. Also gilt E[ F (t)] = F (t). Teile wir beide Seite durch, so erhalte wir E[ F (t)] = F (t). Die Variaz eier Bi(, p)-verteilte Zufallsvariable ist p(1 p), also Var[ F (t)] =. Wir köe u das aus der Variaz herausziehe, allerdigs wird daraus (ach de Eigeschafte der Variaz) 2. Idem wir u beide Seite durch 2 teile, erhalte wir Var[ F (t)] =. Beweis vo (3). Wir führe die Zufallsvariable Y i = 1 Xi t ei. Diese sid uabhägig ud idetisch verteilt (da X 1, X 2,..., uabhägig ud idetisch verteilt sid) mit P[Y i = 1] = P[X i t] = F (t), P[Y i = 0] = 1 P[X i t] = 1 F (t). Es gilt also EY i = F (t). Wir köe u das starke Gesetz der große Zahle auf die Folge Y 1, Y 2,... awede: F (t) = 1 1 Xi t = 1 Y i EY 1 = F (t). Beweis vo (4). Mit der Notatio vo Teil (3) gilt EY i = F (t) Var Y i =. Wir wede de zetrale Grezwertsatz auf die Folge Y 1, Y 2,... a: F (t) F (t) = 1 Y i EY 1 Y i EY 1 d = N(0, 1). Var Y1 Var Y Empirische Verteilug Mit Hilfe der empirische Verteilugsfuktio köe wir also die theoretische Verteilugsfuktio schätze. Nu führe wir auch die empirische Verteilug ei, mit der wir die theoretische Verteilug schätze köe. Zuerst defiiere wir, was die theoretische Verteilug ist. Defiitio Sei X eie Zufallsvariable. Die theoretische Verteilug vo X ist ei Wahrscheilichkeitsmaß µ auf (R, B) mit µ(a) = P[X A] für jede Borel-Mege A R. 3

4 Der Zusammehag zwische der theoretische Verteilug µ ud der theoretische Verteilugsfuktio F eier Zufallsvariable ist dieses: F (t) = µ((, t]), t R. Wie köe wir die theoretische Verteilug ahad eier Stichprobe (x 1,..., x ) schätze? Defiitio Die empirische Verteilug eier Stichprobe (x 1,..., x ) R ist ei Wahrscheilichkeitsmaß µ auf (R, B) mit µ (A) = 1 1 xi A = 1 # {i {1,..., } : x i A}. Die theoretische Verteilug µ ordet jeder Mege A die Wahrscheilichkeit, dass X eie Wert i A aimmt, zu. Die empirische Verteilug ordet jeder Mege A de Ateil der Stichprobe, der i A liegt, zu. Die empirische Verteilug µ ka ma sich folgedermaße vorstelle: Sie ordet jedem der Pukte x i aus der Stichprobe das gleiche Gewicht 1/ zu. Falls ei Wert mehrmals i der Stichprobe vorkommt, wird sei Gewicht etspreched erhöht. Dem Rest der reelle Gerade, also der Mege R\{x 1,..., x }, ordet µ Gewicht 0 zu. Am Beste ka ma das mit dem Begriff des Dirac-δ-Maßes beschreibe. Defiitio Sei x R eie Zahl. Das Dirac-δ-Maß δ x ist ei Wahrscheilichkeitsmaß auf (R, B) mit { 1, falls x A, δ x (A) = für alle Borel-Mege A R. 0, falls x / A Das Dirac-δ-Maß δ x ordet dem Pukt x das Gewicht 1 zu. Der Mege R\{x} ordet es das Gewicht 0 zu. Die empirische Verteilug µ lässt sich u wie folgt darstelle: µ = 1 δ xi. Zwische der empirische Verteilug µ ud der empirische Verteilugsfuktio F besteht der folgede Zusammehag: F (t) = µ ((, t]) Satz vo Gliweko Catelli Wir habe i Teil 3 vo Satz gezeigt, dass für jedes t R die Zufallsvariable F (t) gege die Kostate F (t) fast sicher kovergiert. Ma ka auch sage, dass die empirische Verteilugsfuktio F puktweise fast sicher gege die theoretische Verteilugsfuktio F (t) kovergiert. Im ächste Satz beweise wir eie viel stärkere Aussage. Wir zeige ämlich, dass die Kovergez mit Wahrscheilichkeit 1 sogar gleichmäßig ist. Defiitio Der Kolmogorov-Abstad zwische der empirische Verteilugsfuktio F ud der theoretische Verteilugsfuktio F wird folgedermaße defiiert: D := sup F (t) F (t). t R 4

5 Satz (vo Gliweko Catelli). Für de Kolmogorov-Abstad D gilt Mit adere Worte, es gilt D 0. [ ] P lim D = 0 = 1. Beispiel Da aus der fast sichere Kovergez die Kovergez i Wahrscheilichkeit folgt, gilt auch P D 0. Somit gilt für alle ε > 0: [ ] lim P sup F (t) F (t) > ε = 0. t R Also geht die Wahrscheilichkeit, dass bei der Schätzug vo F durch F ei Fehler vo mehr als ε etsteht, für gege 0. Bemerkug Für jedes t R gilt offebar 0 F (t) F (t) D. Aus dem Satz vo Gliweko Catelli ud dem Sadwich Lemma folgt u, dass für alle t R F (t) F (t) 0, was exakt der Aussage vo Satz 3.1.5, Teil 3 etspricht. Somit ist der Satz vo Gliweko Catelli stärker als Satz 3.1.5, Teil 3. Beweis vo Satz Wir werde de Beweis ur uter der vereifachede Aahme führe, dass die Verteilugsfuktio F stetig ist. Sei also F stetig. Sei m N beliebig. Schritt 1. Da F stetig ist ud vo 0 bis 1 mooto asteigt, köe wir Zahle mit der Eigeschaft z 1 < z 2 <... < z m 1 F (z 1 ) = 1 m,..., F (z k) = k m,..., F (z m 1) = m 1 m fide. Um die Notatio zu vereiheitliche, defiier wir och z 0 = ud z m = +, so dass F (z 0 ) = 0 ud F (z m ) = 1. Schritt 2. Wir werde u die Differez zwische F (z) ud F (z) a eier beliebige Stelle z durch die Differeze a de Stelle z k abschätze. Für jedes z R köe wir ei k mit z [z k, z k+1 ) fide. Da gilt wege der Mootoie vo F ud F : F (z) F (z) F (z k+1 ) F (z k ) = F (z k+1 ) F (z k+1 ) + 1 m. Auf der adere Seite gilt auch F (z) F (z) F (z k ) F (z k+1 ) = F (z k ) F (z k ) 1 m. 5

6 Schritt 3. Defiiere für m N ud k = 0, 1,..., m das Ereigis { } A m,k := ω Ω : lim F (z k ; ω) = F (z k ). Dabei sei bemerkt, dass F (z k ) eie Zufallsvariable ist, weshalb sie auch als Fuktio des Ausgags ω Ω betrachtet werde ka. Aus Satz 3.1.5, Teil 3 folgt, dass P[A m,k ] = 1 für alle m N, k = 0,..., m. Schritt 4. Defiiere das Ereigis A m := m k=0 A m,k. Da ei Schitt vo edlich viele fast sichere Ereigis wiederum fast sicher ist, folgt, dass P[A m ] = 1 für alle m N. Da u auch ei Schitt vo abzählbar viele fast sichere Ereigisse wiederum fast sicher ist, gilt auch für das Ereigis A := m=1a m, dass P[A] = 1. Schritt 5. Betrachte u eie beliebige Ausgag ω A m. Da gibt es wege der Defiitio vo A m,k ei (ω, m) N mit der Eigeschaft Aus Schritt 2 folgt, dass F (z k ; ω) F (z k ) < 1 m für alle > (ω, m) ud k = 0,..., m. D (ω) = sup F (z; ω) F (z) 2 z R m für alle ω A m ud > (ω, m). Betrachte u eie beliebige Ausgag ω A. Somit liegt ω im Ereigis A m, ud das für alle m N. Wir köe u das, was obe gezeigt wurde, auch so schreibe: Für alle m N existiert ei (ω, m) N so dass für alle > (ω, m) die Ugleichug 0 D (ω) < 2 gilt. m Das bedeutet aber, dass lim D (ω) = 0 für alle ω A. Da u die Wahrscheilichkeit des Ereigisses A laut Schritt 4 gleich 1 ist, erhalte wir [{ }] P ω Ω : lim D (ω) = 0 P[A] = 1. Somit gilt D 0. 6