Kapitel 1: Elemente der Statistik

Transkript

1 1 Kapitel 1: Elemente der Statistik 1.1 Beispiel Ein Elektromarkt erhält eine Lieferung von N = Glühbirnen. Darunter ist eine unbekannte Anzahl h defekt, wobei h 0 1 = {0, 1,..., N}. Um Kenntnisse über h zu gewinnen, wird der Lieferung eine zufällige Stichprobe vom Umfang n = 50 entnommen (Ziehen ohne Zurücklegen) und die (zufällige) Anzahl Z der defekten Glühbirnen in der Stichprobe festgestellt. Z ist eine ZV mit Werten in Q := {0, 1,..., n} und mit der Verteilung P Z = Hyp(n, h, N) mit unbekanntem h 0 1, also P Z 0 W Z = {w h : h 0 1}, wobei w h = Hyp(n, h, N), h 0 1. Wir betrachten drei statistische Methoden: a) Punkt- oder Parameterschätzung: Angabe eines Schätzwerts für h. Ist Z = z, so wird vermutlich z : n. h : N, also h. NAz/n sein. Man wählt daher (z.b.) als "Schätzfunktion" W: Q 6 1 gemäß W(z) = NAz/n (bzw. diejenige ganze Zahl, die dieser Zahl am nächsten liegt). Die ZV W(Z) heißt "Schätzer". Siehe Kapitel 2. b) Bereichsschätzung (mit Fehlerangabe): Für Z = z wird ein Bereich (meist ein Intervall) C(z) angegeben derart, daß C(Z) das "wahre" h mit möglichst großer Wahrscheinlichkeit enthält, also w h(c(z) h h) $ 1 - " für alle h 0 1, wobei " klein (z.b. = 0.01). Die Funktion z 6 C(z); z 0 Q heißt dann Konfidenzbereich (Konfidenzintervall) zum Irrtumsniveau ". Siehe Kapitel 3. c) Test: Angabe einer Entscheidungsregel zur Wahl zwischen zwei Alternativen Der Marktleiter will die Lieferung nur dann akzeptieren, wenn der Anteil defekter Glühbirnen höchstens 5 % beträgt, also wenn h # 500 ist. Nullhypothese H 0 : h := {0, 1,..., 500}, Gegenhypothese H 1 : h := {501,..., 10000}. Bestimme dazu ein geeignetes c 0 Q und entscheide für H 0, falls Z # c, bzw. für H 1, falls Z > c. Dabei soll w h (Z > c) klein (bzw. groß) sein für h (bzw. h ). Siehe Kapitel Grundmodell: der statistische Raum Ein statistischer Raum (oder statistisches Modell) ist ein Tripel (Q, G, W). Dabei ist (Q, G) ein Ereignisraum, der sogenannte Stichprobenraum, und W eine Menge von Verteilungen (W- Maßen) auf (Q, G). Als Vorstellung liegt dem die Beobachtung einer Q-wertigen Zufallsvariablen Z zugrunde mit unbekannter Verteilung P Z 0 W Z = W, der Menge aller möglichen Verteilungen von Z. Z heißt auch Beobachtung, oder Messung, oder Stichprobe. Eine Realisierung z 0 Q von Z heißt Beobachtungswert, oder Meßwert, oder Meßergebnis. W liegt häufig in parametrisierter Form vor: W = {w h : h 0 1} mit der Parametermenge (dem Parameterbereich) 1. (Dies ist zunächst keine Einschränkung; man kann ja 1 = W wählen.) Wir setzen dann stets voraus: h h' Y w h w h'. Bemerkung: Die mit dem statistischen Raum (Q, G, W Z ) verbundene ZV Z ist auf einem "Grundraum" (S, A) definiert: Z: S 6 Q. In der Statistik spielt die Struktur dieses Grundraums (sowie die Abbildungsvorschrift von Z) keine Rolle, weshalb man auf diese Angaben in der Regel verzichtet. Gegebenenfalls könnte man z.b.(s, A) = (Q, G) und Z = id setzen. 1.3 Spezielle statistische Räume Sei (Q, G, W Z ) ein statistischer Raum, wobei W Z = {w h : h 0 1}. Der statistische Raum (Q, G, W Z ) heißt parametrisch (ein parametrisches statistisches Modell), falls ein d 0 ù mit 1 d ú d

2 2 existiert (für d = 1 einparametrisch) diskret, falls Q höchstens abzählbar und G = -(Q) ist stetig, falls ein n 0 ù existiert derart, daß Q eine Borelsche Teilmenge des ú n und G die F-Algebra der Borelschen Teilmengen von Q ist, und falls für jedes h 0 1 w h stetig ist Standardraum, falls (Q, G, W Z ) diskret oder stetig ist. Bemerkung: Sei (Q, G, W Z ) ein Standardraum. Im diskreten Fall bezeichne < das Zählmaß auf Q und für jedes h01 f h die Zähldichte (= W- Funktion, Massefunktion) von w h ; im stetigen Fall bezeichne < das Lebesguemaß (auf einem geeigneten ú n ) und für jedes h01 f h eine Lebesguedichte von w h. In jedem der beiden Fälle gilt für alle B0G und alle h01: w h (B) = I B f h d<. Wir nennen (sowohl im diskreten wie im stetigen Fall) f h Likelihood(funktion). 1.4 Produkträume Sei (E, E, W X ) ein statistischer Raum und sei n0ù. Dabei sei W X = {p h : h 0 1}. Setze Q = E n, G = E, W Z = W X :={p h h 0 1}. (Q, G, W Z ) heißt dann der n-fache Produktraum von (E, E, W X ). Interpretation: W X ist die Menge der möglichen Verteilungen einer E-wertigen Zufallsvariablen X. Man betrachtet nun eine "einfache X-Stichprobe Z = (X 1,..., X n ) vom Umfang n", d.h. n unabhängige und identisch wie X verteilten Zufallsvariabeln X 1,..., X n. Der n-fache Produktraum ist dann "der zur X-Stichprobe vom Umfang n gehörige statistische Raum". Bemerkungen 1. Ist (E, E, W X ) parametrisch, so auch (E n, E, W X ). 2. Ist (E, E, W X ) ein Standardraum, so auch (E n, E, W X ). Genauer gilt für h01: hat p h 0 W X die Likelihood D h, so hat w h = p h 0 W X die Likelihood f h (x 1,..., x n ) = D h (x 1 ) A...A D h (x n ) für alle (x 1,..., x n ) 0 E n. Sprechweise: Sind X 1,..., X n unabhängige und identisch verteilte Zufallsvariablen, so heißt Z = (X 1,..., X n ) eine einfache Stichprobe vom Umfang n. Beispiele 1. E = {0,1}, E = -(E), 1 = [0,1], W X = {B(1,h) h01}. Die W-Funktion von B(1, h) ist D h (x) = h x A(1-h) 1-x ; x 0 E, h01. Für n 0 ù ist dann (Q, G, W Z ) = (E n, -(E n ), W X ) der zu einer Bernoullistichprobe Z = (X 1,..., X n ) mit unbekannter Erfolgswahrscheinlichkeit h gehörige statistische Raum. Für h 0 1 ist die W-Funktion von w h = B(1, h) : f h (x 1,..., x n ) = h s (1-h) n-s ; (x 1,..., x n ) 0 Q = {0, 1} n, wobei s = x x n. Da die Stichprobensumme hier binomialverteilt ist (mit den Parametern n und h) spricht man auch vom Binomialmodell. 2. E = ú, E = B, 1 = ú +0,4,, W X = {N(m,v) (m,v) 0 1}. Die Dichte von N(m,v) ist D m,v (x) = v -1/2 n((x-m)v -1/2 ); x0ú, (m,v) 0 1. Für n0ù ist dann (Q, G, W Z ) = (ú n, B n, W X ) der zu einer normalverteilten Stichprobe Z = (X 1,..., X n ) mit unbekanntem Erwartungswert m und unbekannter Varianz v gehörige statistische Raum. Für (m,v)01 ist die Dichte von N(m,v) : f m,v (x 1,...,x n ) = (2Bv) -n/2 exp{-(1/2v)[(x 1 -m)²+...+(x n -m)²]}; (x 1,..., x n )0ú n.

3 3 Man spricht hier auch von einer "Stichprobe aus einer normalverteilten Grundgesamtheit (mit den unbekannten Parametern m und v)". 1.5 Stichprobenfunktionen Seien X 1,..., X n unabhängige und identisch verteilte reelle Zufallsvariablen, also (X 1,...,X n ) eine einfache reellwertige Stichprobe vom Umfang n. Eine Zufallsvariable vom Typ f(x 1,...,X n ), wobei f eine meßbare Funktion von n Veränderlichen ist, heißt Stichprobenfunktion. Wichtige Spezialfälle sind: a) M(n) := (1/n)(X X n ) das Stichprobenmittel, b) S²(n) := (1/(n-1))((X 1 - M(n))² (X n - M(n))²) die Stichprobenvarianz, c) S(n) := (S²(n)) 1/2 die Stichprobenstandardabweichung (der Stichprobe X 1,...,X n ). Das Entscheidende bei Stichprobenfunktionen ist, daß ihr Wert berechenbar ist, sobald eine Realisierung der Stichprobe vorliegt, also nicht von unbekannten Parametern der zugrundeliegenden Wahrscheinlichkeitsverteilung abhängt. 1.6 Eigenschaften des Stichprobenmittels und der Stichprobenvarianz a) Sei (X 1,...,X n ) eine einfache reellwertige Stichprobe vom Umfang n. Seien X:= X 1, :: = E(X), F 2 := var(x) und m 4 := E[(X-:) 4 ] das vierte zentrierte Moment von X. (Die Existenz dieser Momente sei jeweils - soweit benötigt - vorausgesetzt.) Dann gilt: (i) E(M(n)) = :; (ii) var(m(n)) = F 2 /n; (iii) E(S²(n)) = F 2 ; (iv) var(s²(n)) = (m 4 /n) - F 4 (n-3)/(n(n-1)). b) Sei X:= X 1, X 2,... eine Folge von unabhängigen, identisch verteilten, quadratisch integrierbaren reellen Zufallsvariablen auf einem W-Raum (S, A, P), seien : und F² wie in a), und für jedes n0ù seien M(n) resp. S²(n) das Stichprobenmittel resp. die Stichprobenvarianz der einfachen Stichprobe (X 1,...,X n ). Dann gilt P-f.s. für n64:m(n) 6 : und S²(n) 6 F². 1.7 Die empirische Verteilungsfunktion Sei (X 1,...,X n ) eine einfache reellwertige Stichprobe vom Umfang n. Für alle x0ú sei F n (x) := (1/n)A(Anzahl der k0{1,...,n} mit X k #x). Man beachte, daß F n (x) für jedes x0ú eine ZV (genauer: eine Stichprobenfunktion) ist. F n heißt empirische Verteilungsfunktion zur Stichprobe (X 1,...,X n ). 1.8 Satz von Glivenko-Cantelli (auch "Zentralsatz der Statistik" genannt) Sei X:=X 1, X 2,... eine Folge von unabhängigen und identisch verteilten reellen Zufallsvariablen auf dem W-Raum (S, A, P), F sei die Verteilungsfunktion von X und für jedes n0ù sei F n die empirische Verteilungsfunktion der Stichprobe (X 1,..., X n ). Dann gilt: sup{ F n (x) - F(x) x0ú} 6 0 für n64 P-fast sicher, d.h. die empirische Verteilungsfunktion konvergiert außerhalb einer P-Nullmenge gleichmäßig gegen die "wahre" Verteilungsfunktion. 1.9 Ordnungspermutation und Ordnungsstatistik Sei Z = (X 1,..., X n ) eine einfache reellwertige Stichprobe vom Umfang n; S n sei die Menge aller Permutationen von {1,...,n}. Es existiert eine S n -wertige Zufallsgröße o (auf dem zugrundeliegenden W-Raum) derart, daß X o(1) #... # X o(n) stets. o heißt Ordnungspermutation. Setze für i=1,...,n X i:n := X o(i) (i-te Ordnungsgröße) und O (n) (Z) := (X 1:n,..., X n:n ). Der

4 Zufallsvektor O (n) (Z) heißt (aufsteigende) Ordnungsstatistik zur Stichprobe Z = (X 1,..., X n ) Eigenschaften der Ordnungsstatistik Sei Z = (X 1,..., X n ) eine einfache reellwertige und stetig verteilte Stichprobe vom Umfang n; sei f die Dichte von X 1 und sei j die Indikatorfunktion der Menge J:= {(x 1,...,x n )0ú n x 1 <x 2 <...<x n }. Dann gilt: 1. Die X i sind f.s. paarweise verschieden, die Ordnungspermutation o ist f.s. eindeutig bestimmt und es ist X 1:n <... < X n:n f.s.. 2. o ist gleichverteilt auf S n, d.h. P(o=B) = 1/n! für alle B0S n. 3. Die Ordnungsstatistik O (n) (Z) ist stetig verteilt mit der Dichte ú n h (x 1,...,x n ) 6 n!f(x 1 )A...Af(x n )Aj(x 1,...,x n ). Beispiel: Seien X 1,...,X n unabhängig und identisch +0,1,-gleichverteilt. Dann ist (X 1:n,..., X n:n ) stetig gleichverteilt auf F n := {(x 1,...,x n )0ú n 0<x 1 <...<x n <1} Die Verteilung der i-ten Ordnungsgröße Sei Z = (X 1,..., X n ) eine einfache reellwertige Stichprobe vom Umfang n, (X 1:n,..., X n:n ) sei die zugehörige Ordnungsstatistik, F sei die Verteilungsfunktion von X 1 und für i=1,...,n sei G i die Verteilungsfunktion von X i:n. Dann gilt für alle i=1,...,n n n j n j Gi = F ( 1 F). j j= i Beweis: Seien i0{1,...,n} und x0ú fest. Sei N(x) die Anzahl der k0{1,...,n} mit X k #x. Dann ist N(x) ~ B(n,F(x)) und es gilt X i:n # x ] N(x) $ i. Hieraus folgt die Behauptung. Beispiel: Sei in 1.11 X 1 gleichverteilt auf [0,1]. Dann ist für i=1,...,n X i:n ~ Beta(i,n+1-i) und für 0#p#1: B(n,p){i,...,n} = P(X i:n #p) = Beta(i,n+1-i)([0,p]) Ordnungspermutation und Rangpermutation Sei Z = (X 1,..., X n ) eine einfache reellwertige und stetig verteilte Stichprobe vom Umfang n; sei o die (f.s.) eindeutig bestimmte Ordnungspermutation. Für i=1,...,n sei R(i) := {<=1,...,n X < # X i } : (aufsteigender) Rang von X i. R := (R(1),...,R(n)) ist (f.s.) eine S n -wertige Zufallsgröße und heißt Rangpermutation. Es gilt: R = o -1 (f.s.); R ist gleichverteilt auf S n, d.h. für alle B0S n ist P(R=B) = 1/n!. Wegen und nennt man R und o (rein) zufällige Permutationen Stichprobenquantile Sei (X 1,..., X n) eine einfache reellwertige Stichprobe vom Umfang n, sei F n die zugehörige empirische Verteilungsfunktion und sei " 0 +0,1,. Eine Stichprobenfunktion : ",n heißt ein "- Quantil der Stichprobe (X 1,..., X n ), falls F n (: ",n -) # " # F n (: ",n ) P-fast sicher. Im folgenden sei " 0 +0,1, fest vorgegeben X [n"]+1:n ist ein "-Quantil der Stichprobe (X 1,..., X n ). (Für x0ú ist [x] = max{k0z: k # x}, also die größte ganze Zahl kleiner oder gleich x.) Für jedes "-Stichprobenquantil : ",n gilt: X [n"]:n # : ",n # X [n"]+1:n f.s.

5 Ist n"óz, so ist X [n"]+1:n das f.s. eindeutig bestimmte "-Stichprobenquantil Ist n"0z, so ist jede Stichprobenfunktion : ",n mit X [n"]:n # : ",n # X [n"]+1:n f.s. ein "- Stichprobenquantil. Speziell für "=0.5 gilt: Ist n ungerade, so ist : 0.5,n = X (n+1)/2:n der f.s. eindeutig bestimmte Stichprobenmedian, nämlich das mittlere Element der geordneten Stichprobe X 1:n,..., X n:n. Ist n gerade, so ist jede zwischen X n/2:n und X n/2+1:n gelegene Stichprobenfunktion ein Stichprobenmedian. Häufig wird dann das arithmetische Mittel dieser Größen, also : 0.5,n ' = (X n/2:n + X n/2+1:n )/2 als Stichprobenmedian verwendet Grenzwertsatz für "-Quantile Sei X 1, X 2,... eine Folge von unabhängigen und identisch verteilten Zufallsvariablen auf dem W-Raum (S, A, P), F sei die Verteilungsfunktion von X:=X 1 und " 0 +0,1, derart, daß genau ein x " 0ú existiert mit F(x " ) = " (insbesondere ist dann x " das eindeutig bestimmte "-Quantil von F). Für jedes n0ù sei : ",n ein "-Quantil der Stichprobe (X 1,..., X n ). Dann konvergiert für n64 die Folge (: ",n : n0ù) P-fast sicher gegen x " Satz von Student (W.S. [William Sealey] Gosset, , Chemiker und Statistiker an der Guinness Brauerei, Dublin) Sei (X 1,..., X n ) eine einfache Stichprobe vom Umfang n, wobei X 1 ~ N(:,F 2 ). Dann gilt: 1) M(n) ist ebenfalls normalverteilt mit Erwartungswert : und Varianz F 2 /n; 2) (n-1)s²(n)/f² ist P 2 -verteilt mit n-1 Freiheitsgraden; 3) M(n) und S²(n) sind unabhängig; 4) T := (M(n) - :)n 1/2 /S(n) ist t-verteilt mit n-1 Freiheitsgraden.