Zusammenfassung Stochastik I + II

Transkript

1 Zusammenfassung Stochastik I + II Stephan Kuschel Vorlesung von Dr. Nagel Stochastik I: WS 007/08 Stochastik II: SS 008 zuletzt aktualisiert: 7. Juli 009 Da diese Zusammenfassung den Menschen, die sie lesen helfen soll bitte ich darum, Fehler und andere Verbesserungsideen an mich weiterzuleiten: Vorname.Nachname@uni-jena.de (entsprechend Deckblatt ersetzen) Inhaltsverzeichnis I Stochastik I 1 1 Wahrscheinlichkeitsraum 1 Zufällige Variablen, Zufallsgrößen, zufällige Vektoren 3 3 Verteilungsgesetze von transformierten Zufallsgrößen 4 4 Erwartungswert, Varianz, Kovarianz 4 5 Ungleichungen & Grenzwertsätze 5 II Stochastik II: mathematische Statistik 7 1 Stichproben und der statistische Raum 8 Punktschätzungen 9 3 Verteilungen 10 4 Konfidenzintervalle 11 5 Tests 11 6 Stat. Methoden für -dim Stichproben (Multivariatstatistik) 14

2 Stochastik I Wahrscheinlichkeitsraum 1 Teil I Stochastik I Inhaltsverzeichnis 1 Wahrscheinlichkeitsraum Wahrscheinlichkeitsraum Beschreibungsmöglichkeiten für Wahrscheinlichkeitsmaße Spezielle Wahrscheinlichkeitsräume Bedingte Wahrscheinlichkeiten stochastische Unabhängigkeit Zufällige Variablen, Zufallsgrößen, zufällige Vektoren 3.1 Zufällige Variablen Zufallsgrößen Unabhängigkeit von Zufallsgrößen diskrete Zufallsgrößen stetige Zufallsgrößen Verteilungsgesetze von transformierten Zufallsgrößen Transformationen von 1dim. Zufallsgrößen Summe zweier Zufallsgrößen Produkt & Quotient zweier Zufallsgrößen Injektive diffbare Transformationen von zufälligen Vektoren Erwartungswert, Varianz, Kovarianz Erwartungswert Varianz Kovarianz Die Kovarianzmatrix Ungleichungen & Grenzwertsätze Markov-Ungleichung Tschebyscheff Ungleichung Gesetz der großen Zahlen Der zentrale Grenzwertsatz Wahrscheinlichkeitsraum 1.1 Wahrscheinlichkeitsraum Wahrscheinlichkeitsraum [Ω, A, P ], Ereignis A A, dann gilt: Ω A A A A A A Ω A p(ω) ist σ-algebra. A i A A i A Axiomensystem von Kolmogorov: P : A [0, 1]

3 Stochastik I Wahrscheinlichkeitsraum P (Ω) = 1 ( A i A j ) P A i Folgerungen: = = P (A i ) P ( ) = 0 P (Ω) = 1 P (A ) = 1 P (A) P (A B) = P (A) + P (B) P (A B) A B P (A) P (B) P (B \ A) = P (B) P (A) A 1 A... P ( i A i) = lim i P (A i ) A 1 A... P ( i A i) = lim i P (A i ) (σ-additivität von P ) 1. Beschreibungsmöglichkeiten für Wahrscheinlichkeitsmaße P (A) = ω A P ({ω}) 1.3 Spezielle Wahrscheinlichkeitsräume siehe Verteilungen 1.4 Bedingte Wahrscheinlichkeiten P (A B) = P (A B) P (B) A 1, A disjunkt P (A 1 A B) = P (A 1 B) + P (A B) P (A B) = P (A B) P (B) = P (B A) P (A) P (B A) = P (A B) P (B) P (A) Entnahme ohne Zurücklegen: P (A 1... A n ) = P (A 1 ) P (A A 1 ) P (A 3 A A 1 ) stochastische Unabhängigkeit A, B stochastisch unabhängig P (A B) = P (A) P (B) A i stochastisch vollständig unabhängig P ( i A i) = i P (A i) paarweise stochastische Unabhängigkeit ist etwas anderes! (A, B) unabhängig (A, B ), (A, B), (A, B ) unabhängig

4 Stochastik I Zufällige Variablen, Zufallsgrößen, zufällige Vektoren 3 Zufällige Variablen, Zufallsgrößen, zufällige Vektoren.1 Zufällige Variablen g : Ω Ω g 1 : p(ω ) p(ω) g 1 (A ) : {ω Ω : g(ω) A } mit A Ω. Zufallsgrößen X : Ω R P X (B) = P (X 1 (B)) B R Verteilungsfunktion: F X (x) = P (X x) P (a < X < b) = F X (b) F X (a) P (X = a) = F X (a) F X (a 0) F X ( ) = 0 F X ( ) = 1 x R.3 Unabhängigkeit von Zufallsgrößen X, Y sollen unabh. heißen, wenn all Paare von Ereignissen, die Mithilfe von X, Y formuliert werden können unabhängig sind. P (X B 1, Y B ) = P (X B 1 ) P (Y B ) X, Y unabh. P (X 1 B 1, X B,... X n B n ) = P (X 1 B 1 )... P (X n B n ) = X 1,..., X n vollständig unabhängig = X 1,..., X n i.i.d., falls X 1,..., X n Zufallsgrößen über demselben W.-Raum.3.1 diskrete Zufallsgrößen X, Y unabhängig P (X = x, Y = y) = P (X = x) P (Y = y) X geometrisch verteilt: ( Gedächtnislosigkeit ) P (X = k + l X k) = P (X = l).3. stetige Zufallsgrößen X = (X 1,..., X n ) Randverteilungsfunktion: F Xi (x) = P (X 1 R,..., x i x,..., X n R) gemeinsame Verteilungsfunktion: F X (x 1,..., x n ) = P (X 1 x 1,..., X n x n ) X 1,..., X n unabhängig F X (x 1,..., x n ) = F X1 (x 1 )... F Xn (x n ) xn x1 Dichtefunktion F X (x 1,..., x n ) =... f X (t 1,..., t n )dt 1... dt n mit f X (t)dt = 1 f heißt Dichtefunktion R n Randdichte f xi = f X (t) R\span(x i )

5 Stochastik I Erwartungswert, Varianz, Kovarianz 4 3 Verteilungsgesetze von transformierten Zufallsgrößen 3.1 Transformationen von 1dim. Zufallsgrößen F g(x) (x) = P (g(x) x) = P (X g 1 ((, x])) oder Darstellung F g(x) (x) = x k(t)dt g(x) hat VD k 3. Summe zweier Zufallsgrößen Seien X 1, X unabhängig P (X 1 + X = s) = x 1 P (X 1 = x 1, X = s x ) = x 1 P (X 1 = x 1 ) P (X = s x 1 ) X 1 Π λ1, X Π λ, X 1 + X Π λ1 +λ f X1 +X = f X1 (t)f X (s t)dt X 1 N µ1,σ 1, X N µ,σ, X 1 + X N µ1 +µ,σ 1 +σ f X1 X = f X1 (t)f X (t s)dt 3.3 Produkt & Quotient zweier Zufallsgrößen f X1 X (s) = f X 1 X (s) = ( ) 1 s t f X 1 f X (t)dt t t f X1 (st) f X (t)dt 3.4 Injektive diffbare Transformationen von zufälligen Vektoren f Y (u) = f X(T 1 (u)) det T (T 1 (u)) 4 Erwartungswert, Varianz, Kovarianz Erwartungswert ˆ= Mittelwert Varianz ˆ= mittlere quadratische Abweichung 4.1 Erwartungswert EX = Existenz: xf X (x)dx, Eg(X) = x f X (x)dx < g(x)f X (x)dx E(aX 1 + b) = aex + b E(X 1 + X ) = EX 1 + EX (gilt immer) E(X 1 X ) = EX 1 EX (Zgr. unabhängig!)

6 Stochastik I Ungleichungen & Grenzwertsätze 5 4. Varianz varx = E(X EX) = EX (EX) var(ax + b) = a varx var(x 1 ± X ) = varx 1 + varx, X 1, X unabhängig 4.3 Kovarianz cov(x 1, X ) = E(X 1 X ) (EX 1 ) (EX ) var(x 1 + X ) = varx 1 + varx + cov(x 1 X ) cov(x 1, X ) = 0 X 1, X unkorreliert cov(x, ax + b) = avarx cov(x, X) = varx X i N µi σ i : cov(x 1, X ) = ρσ 1 σ ρ X1,X = cov(x 1, X ) varx1 varx 4.4 Die Kovarianzmatrix X = (X 1,..., X n ) zufälliger Vektor Σ X = E(X EX) T (X EX) = (cov(x i, X j )) ij n-dim Normalverteilung: ( ) σ N µ,σ, n = : Σ = 1 ρσ 1 σ ρσ 1 σ σ 5 Ungleichungen & Grenzwertsätze 5.1 Markov-Ungleichung P ( X c) E(g( X )) g(c) g monoton, nicht fallend 5. Tschebyscheff Ungleichung P ( X EX c) varx c X N µ,σ : P ( X µ kσ) σ k σ = 1 k 5.3 Gesetz der großen Zahlen (X i ) i i.i.d. ( ) 1 n lim P X i EX 1 > ɛ = 0 n n

7 Stochastik I Ungleichungen & Grenzwertsätze Der zentrale Grenzwertsatz (X i ) i i.i.d. mit EX i <, varx i = σ > 0, EX i = m mit Φ(x) VF von N 0,1 ( n ) lim P X i nµ x = Φ(x) n nσ Summen von i.i.d.zgr. sind asymptotisch normalverteilt. P (X i = 1) = p = 1 P (X i = 0) ( ) n lim P X i np x = Φ(x) n np(1 p) mit Korrekturformel: P ( i X i k) = P ( i X i < k) = Φ Approx der Binomialverteilung: Poissonverteilung: λ = np, n groß, p klein Normalverteilung: µ = np, σ = np(1 p) ( ) k+ 1 np np(1 p)

8 Stochastik II: mathematische Statistik Ungleichungen & Grenzwertsätze 7 Teil II Stochastik II: mathematische Statistik Inhaltsverzeichnis 1 Stichproben und der statistische Raum Liste wichtiger Statistiken Punktschätzungen 9.1 Punktschätzungen für Erwartungswert Punktschätzung für die Varianz Gütekriterien Die Maximum-Likelihood-Methode Verteilungen χ -Verteilung t-verteilung F-Verteilung Konfidenzintervalle Konfidenzintervall für Erwartungswert bei bekannter Varianz Konfidenzintervall für Erwartungswert bei unbekannter Varianz Konfidenzintervall für Varianz bei unbekanntem Erwartungswert Tests Grundbegriffe Tests für Normalverteilte Grundgesamtheit Gausstest: Prüfung des Erwartungswertes bei bekannter Varianz t-test: Prüfung des Erwartungswertes bei unbekannter Varianz χ -Test: Prüfung der Varianz bei unbekanntem Erwartungswert Zwei Testprobleme für disjunkte Verteilungen Likelihood-Quotienten Methode Testen von Hypothesen über Parameter der hypergeometrischen Verteilung Anpassungstests (Kolmogorov-Smirnov) Zwei-Stichproben Test Stat. Methoden für -dim Stichproben (Multivariatstatistik) Test auf Unabhängigkeit von Beobachtungsparametern Randverteilungen Korrelationskoeffizient χ Unabhängigkeitstest Regressionsanalyse

9 Stochastik II: mathematische Statistik Stichproben und der statistische Raum 8 1 Stichproben und der statistische Raum Stichproben math. Stichprobe: X 1,..., X n konkrete Stichprobe: x 1,..., x n Der statistische Raum: [R n, R n, {Pθ n, θ Θ}] Θ R l, l 1, P θ ist Wahrscheinlichkeitsmaß auf [R, R] θ 1.1 Liste wichtiger Statistiken 1. Stichprobenmittel / empirischer Erwartungswert T (x 1,..., x n ) = 1 n x i = x n. r-tes Stichprobenmoment / empirisches r-tes Moment 3. Stichprobenstreuung / empirische Varianz T (x 1,..., x n ) = 1 n x r i n T (x 1,..., x n ) = 1 n (x i x) = σ n 4. korrigierte Stichprobenstreuung / korrigierte empirische Varianz T (x 1,..., x n ) = 1 n 1 5. konkrete geordnete Stichprobe / Variationsreihe n (x i x) = ˆσ = n n 1 σ T (x 1,..., x n ) = (x 1,..., x n) (sortieren) mit x 1... x n 6. i-te geordnete Statistik / i-te Rangstatistik T (x 1,..., x n ) = x i (nach Sortieren, i-tes Element) 7. Spannweite einer Stichprobe T (x 1,..., x n ) = x n x 1 8. Stichprobenmedian / empirischer Zentralwert T (x 1,..., x n ) = x 1 = x n+1 ( 1 x n + x n +1 ) falls n ungerade falls n gerade

10 Stochastik II: mathematische Statistik Punktschätzungen 9 9. Stichproben-α-Quantil / empirisches α-quantil, α (0, 1) x nα +1 falls nα nicht ganzzahlig T (x 1,..., x n ) = x α = ( 1 x nα + x nα+1) falls nα ganzzahlig 10. empirische Verteilungsfunktion T (x 1,..., x n ) = ˆF (s) = 1 n n 1 [xi,α)(s) = 1 n {i 1,..., n : x i s} 11. Histogramm oder rel. Häufigkeiten zu einer Vorgegebenen Klasseneinteilung 1,..., k ( 1 n T (x 1,..., x n ) = 1 1 (x i ),..., 1 ) n 1 k (x i ) n n 1. Box-Plot 1,... k paarweise Disjunkt, äquidistant Faustregel von STURGES: k = log 10 n T (x 1,..., x n ) = ( x 0.1, x 0.5, x 0.5, x 0.75, x 0.9 ) Punktschätzungen.1 Punktschätzungen für Erwartungswert ˆµ(x 1,..., x n ) = x var θ ˆµ(X 1,..., X n ) = 1 n var θx 1 falls X 1,..., X n i.i.d.. Punktschätzung für die Varianz ˆσ (x 1,..., x n ) = 1 n 1 n (x i x).3 Gütekriterien T erwartungstreue Punktschätzung für γ E θ T (X 1,..., X n ) = γ(θ) θ Θ T 1 effizienter als T var θ T 1 (X 1,..., X n ) < var θ T (X 1,..., X n ) < T bester erwartungstreuer Schätzer (BUE - best unbiased estimator) var θ T (X 1,..., X n ) var θ T i (X 1,..., X n ) θ Θ und T i erwartungstreu i Mögliche andere Kriterien E θ (T (X 1,..., X n ) θ) Asymptot. Verhalten für n Anmerkung: ˆµ = x ist bester erwartungstreuer Schätzer, falls Grundgesamtheit normalverteilt, poissonverteilt, binomialverteilt, aber nicht bei Gleichverteilung auf (a, b), a, b unbekannt.

11 Stochastik II: mathematische Statistik Verteilungen 10.4 Die Maximum-Likelihood-Methode θ Θ suchen für das diese Stichprobe den Maximalwert der Wahrscheinlichkeitsdichte liefert. Likelihood-Funktion: L : θ R n [0, ) n L(θ, x 1,..., x n ) = f θ (x i ) n = P θ (X i = x i ) Maximum-Likelihood Schätzwert ˆθ L(ˆθ, x 1,..., x n ) L(θ, x 1,..., x n ) Zur Berechnung häufig ln L betrachten. θ Θ (stetig) (diskret) 3 Verteilungen X i N 0,1 Z i N µ,σ 3.1 χ -Verteilung r Xi χ r 1 σ n(z i µ) χ n 1 σ n(z i Z) χ n 1 Y 1 χ r 1 Y χ r Y 1 + Y χ r 1 +r χ = ε 1 0 x < 0 f Y (x) = 1 r Γ( r ) x r 1 e x x 0 3. t-verteilung f Y ( x) = f Y (x) r = 1: Cauchy-Verteilung { f Y (x) = Γ( r+1 ) Γ( r ) πr r : Normalverteilung mit µ = 0, σ = 1 ) r+1 (1 + x r x R X 0 1 r r Xi t r n 1 n 1 Z µ n (X i X) t n 1

12 Stochastik II: mathematische Statistik Tests F-Verteilung 0 x < 0 f Y (x) = ( s ) s r x s 1 ( 1 + s r x) s+r x 0 1 s r+s i=r+1 X i 1 r r X i F s,r 4 Konfidenzintervalle (1 α)-konfidenzintervall P n θ (C(X 1,..., X n ) γ(θ)) 1 α θ Θ Häufig (1 α) {0.9; 0.95; 0.99} 4.1 Konfidenzintervall für Erwartungswert bei bekannter Varianz C(x 1,..., x n ) = [ x σ Φ 1 (1 α n ), x + σ Φ 1 (1 α ] n ) ist (1 α)-ki 4. Konfidenzintervall für Erwartungswert bei unbekannter Varianz ist (1 α)-ki C(x 1,..., x n ) = [ x ] ˆσ ˆσ t n n 1,1 α, x + t n n 1,1 α 4.3 Konfidenzintervall für Varianz bei unbekanntem Erwartungswert (n 1)ˆσ C(x 1,..., x n ) =, χ n 1,1 α (n 1)ˆσ χ n 1, α weil (n 1)ˆσ σ χ n 1 5 Tests 5.1 Grundbegriffe Θ partitionieren in Θ 0, Θ 1 H 0 : θ Θ 0 Nullhypothese H 1 : θ Θ 1 Alternativhypothese H 0 wahr H 1 wahr H 0 wählen Fehler. Art H 0 ablehnen Fehler 1. Art.Art: irrtümliche Annahme von H 1 1.Art: irrtümliche Ablehnung von H 0 Test: D : R n {H 0, H 1 } Testgröße: T : R n R

13 Stochastik II: mathematische Statistik Tests 1 Kritischer Bereich K R sodass T (x 1,..., x n ) K H 1 wählen T (x 1,..., x n ) K H 0 wählen Gütefunktion des Tests D β D : θ [0, 1] mit β(θ) = Pθ n (D(X 1,..., X n ) = H 1 ) Signifikanzniveau zum Niveau α β D (θ) α θ Θ β D (θ) sup β D (θ ) θ Θ 1 (Unverfälschtheit) θ Θ 0 5. Tests für Normalverteilte Grundgesamtheit 5..1 Gausstest: Prüfung des Erwartungswertes bei bekannter Varianz (a) H 0 : µ = µ 0 H 1 : µ µ 0 T (X 1,..., X n ) = n X µ 0 σ 0 K = ( ( )) α, Φ 1 N 0,1 falls µ=µ 0 (!) ) (Φ 1 ( 1 α ), (b) H 0 : µ µ 0 H 1 : µ < µ 0 Testgröße wie bei Punkt a K = ( ), Φ 1 (1 α) 5.. t-test: Prüfung des Erwartungswertes bei unbekannter Varianz (a) H 0 : µ = µ 0 H 1 : µ µ 0 T (X 1,..., X n ) = n ˆσ ( X µ 0 ) t n 1 falls µ=µ 0 (!) K = (, t n 1,1 α ) (t n 1,1 α, ) K ist ein wenig kleiner als beim entsprechenden Gauss-Test α kann auch als Überschreitungswahrscheinlichkeit gelesen werden, sodass PÜ(X 1,..., X n ) < α (b) H 0 : µ µ 0 H 1 : µ < µ 0 Testgröße wie bei Punkt a K = (, t n 1,1 α )

14 Stochastik II: mathematische Statistik Tests χ -Test: Prüfung der Varianz bei unbekanntem Erwartungswert und normalverteilter Grundgesamtheit (a) H 0 : σ = σ 0 H 1 : σ σ 0 T (X 1,..., X n ) = ˆσ (n 1) = 1 σ 0 σ0 n (X i X) falls σ =σ 0 (!) χ n 1 K = [0, χ n 1, α ) (χ n 1,1 α, ) (b) H 0 : σ σ 0 H 1 : σ < σ 0 Testgröße wie bei Punkt a T (X 1,..., X n ) K α p ü 1 α K = (0, χ n 1,α) 5.3 Zwei Testprobleme für disjunkte Verteilungen Likelihood-Quotienten Methode Allgemeines Prinzip zur Konstruktion von Tests bzw von Testgrößen. Betrachten [R n, R n {P θ0, P θ1 }] d.h. θ = {P θ0, P θ1 } H 0 : θ = θ 0 H 1 : θ = θ 1 L(θ1, x1,..., xn) L(θ 0, x 1,..., x n ) > c dann H 0 ablehnen c so wählen, dass Wahrscheinlichkeit für Fehler 1.Art β(θ 0 ) α 0 Man kann zeigen, dass dieser Test, falls β(θ 0 ) = α bester α-signifikanztest ist, in dem Sinne, dass β(θ 1 ) β D (θ 1 ) α-signifikanztests D Testen von Hypothesen über Parameter der hypergeometrischen Verteilung N - Gesamtzahl der Produkte in einer Lieferung θ - Anzahl der fehlerhaften Produkte (unbekannt), θ {0, 1,,..., N} = Θ m - Anzahl geprüfter Produkte Zufallsgröße: κ - Anzahl der fehlerhaften Produkte unter den geprüften Produkten. κ besitzt eine hypergeometrische Verteilung mit Parametern N, θ, m = H N,θ,m ( θ N θ ) P θ (κ = k) = k)( m k ( N m) H 0 : θ θ 0 H 1 : θ θ 1 Kritischen Bereich aus Quantilen wählen. N >> m H N,θ,m B m, θ N Diese Binomialverteilung gegebenenfalls mithilfe des zentralen Grenzwertsatzes durch Normalverteilung oder durch Poissonverteilung mit λ = m θ N nähern.

15 Stochastik II: mathematische Statistik Stat. Methoden für -dim Stichproben (Multivariatstatistik) Anpassungstests (Kolmogorov-Smirnov) H 0 : F = F 0 H 1 : F F 0 T (x 1,..., x n ) = n sup t R ˆF (t) F 0 (t) 5.5 Zwei-Stichproben Test H 0 : µ 1 µ H 1 : µ 1 > µ T (X 1,..., X n, Y 1,..., Y n ) = Vergleich der Varianzen: F-Test σ1 σ : Welch Test n m n + m X Ȳ ˆσ ˆσ 1 = n + m K = (t m+n,1 α, ) falls µ 1 =µ und varx 1 =varx =σ ( (n 1)ˆσ X + (m 1)ˆσ Y ) t n+m 6 Stat. Methoden für -dim Stichproben (Multivariatstatistik) 6.1 Test auf Unabhängigkeit von Beobachtungsparametern Randverteilungen F (X,Y ) (x, y) = F X (x) F Y (y) Unabhängigkeit von X und Y mit F (X,Y ) (x, y) = P (X x, Y y) 6.1. Korrelationskoeffizient ρ X,Y = cov(x, Y ) varx vary nur falls X, Y normalverteilt gilt immer X, Y unabhängig χ Unabhängigkeitstest Es seien a 1,..., a r R und b 1,..., b s R p ij = P (X 1 = a i, Y 1 = b j ) mit i,j p ij = 1 Bezeichnung: s p i = p ij = P (X 1 = a i ) r p j = p ij = P (Y 1 = b j ) j=1 H 0 : p ij = p i p j i,j H 1 : p ij p i p j für wenigstens ein Paar (i, j)

16 Stochastik II: mathematische Statistik Stat. Methoden für -dim Stichproben (Multivariatstatistik) 15 Zufallsgröße: H ij - Anzahl {l : X l = a i, Y l = b j } ˆ= Absolute Häufigkeit des Auftretens ddes Paares (a i, b j ) in der Stichprobe. s H i = H ij r H j = H ij j=1 Testgröße: Kritischer Bereich: T = n s j=1 ( r H ij H i H j n H i H j ) ) K = [χ (r 1)(s 1),1 α, χ (r 1)(s 1) asymptot. n H 0 wahr Falls X 1 und Y 1 nicht diskret mithilfe von Klasseneinteilung diskretisieren ACHTUNG: Falls H 0 abgelehnt wird, dann Annahme dass notwendige Bedingung für die Unabhängigkeit verletzt ist! Falls H 0 angenommen wird, dann also keine Aussage über die Unabhängigkeitshypothese möglich 6. Regressionsanalyse MKQ is BLUE Gauss Markov Theorem Zufällige Prozesse!