Statistik II für Studierende der Soziologie

Transkript

1 Name: Matrikelnummer: Formelsammlung zur Vorlesung Statistik II für Studierende der Soziologie Dr. Carolin Strobl SoSe Wahrscheinlichkeitsrechnung 1.1 Mengen und elementare Mengenoperationen Definition: Eine Menge ist eine Zusammenfassung verschiedener Objekte zu einem Ganzen. Die einzelnen Objekte einer Menge werden Elemente genannt. Standardmengen: N = {1, 2, 3,...} : Menge der natürlichen Zahlen, N 0 = {0, 1, 2, 3,...} : Menge der natürlichen Zahlen inklusive 0, Z = {0, ±1, ±2,...} : Menge der ganzen Zahlen, R = (, ) : Menge der reellen Zahlen, Elementeigenschaft: : leere Menge. x ist Element der Menge A: x ist nicht Element der Menge A: x A x / A Teilmengen: A ist Teilmenge von B, in Zeichen A B, wenn jedes Element von A auch in B ist. Schnittmenge: Die Schnittmenge A B ist die Menge aller Elemente, die sowohl 1

2 1. Wahrscheinlichkeitsrechnung 2 in A als auch in B enthalten sind: A B = {x x A und x B} Zwei Mengen A und B mit A B =, d.h. zwei Mengen, die kein gemeinsames Element haben, heißen disjunkt. Vereinigungsmenge: Die Vereinigungsmenge A B ist die Menge aller Elemente, die in A oder B enthalten sind: A B = {x x A oder x B} Differenzmenge: Die Differenzmenge A \ B ist die Menge aller Elemente, die in A, aber nicht in B enthalten sind: A \ B = {x x A aber x / B} Komplementärmenge: Die Komplementärmenge Ā bezüglich einer Grundmenge Ω ist die Menge aller Elemente von Ω, die nicht in A sind: Ā = {x Ω x / A} = {x : x / A} Potenzmenge: Die Potenzmenge P(A) ist die Menge aller Teilmengen von A: P(A) = {M M A}. Mächtigkeit: Die Mächtigkeit A einer Menge A ist die Anzahl der Elemente von A Rechenregeln für Mengen 1. Kommutativgesetze (Vertauschung): 2. Assoziativgesetze (Zusammenfassen): A B = B A, A B = B A. (A B) C = A (B C). (A B) C = A (B C). 3. Distributivgesetze (Ausklammern/Ausmultiplizieren): 4. De Morgansche Regeln: (A B) C = (A C) (B C). (A B) C = (A C) (B C). (A B) = Ā B (A B) = Ā B

3 1. Wahrscheinlichkeitsrechnung 3 5. Für die Potenzmenge gilt P(A) = 2 A. Das kartesische Produkt Das kartesische Produkt zweier Mengen A = {a 1, a 2, a 3,..., a k } B = {b 1, b 2, b 3,..., b m } ist die Menge A B := { (a i, b j ) } i = 1,..., k, j = 1,..., m besteht also aus allen möglichen Kombinationen, so dass A B = { (a 1, b 1 ), (a 1, b 2 ), (a 1, b 3 ),..., (a 1, b m ), (a 2, b 1 ), (a 2, b 2 ), (a 2, b 3 ),..., (a 2, b m ),. (a k, b 1 ), (a k, b 2 ), (a k, b 3 ),..., (a k, b m ) } 1.2 Wahrscheinlichkeitsbegriffe Zufallsvorgänge Ein Zufallsvorgang führt zu einem von mehreren, sich gegenseitig ausschließenden Ergebnissen. Zur Beschreibung eines Zufallsvorganges benötigt man a) Einen Ergebnisraum (Grundraum, Stichprobenraum) Ω, der die möglichen Ergebnisse ω enthält. Teilmengen A von Ω bezeichnet man als Ereignisse, Ereignisse sind also bestimmte Mengen von Ergebnissen. Die einelementigen Teilmengen (also die Ergebnisse ω) werden als Elementarereignisse bezeichnet. b) Eine Wahrscheinlichkeitsbewertung, die jedem Ereignis seine Wahrscheinlichkeit zuordnet Laplace-Wahrscheinlichkeiten Laplace-Wahrscheinlichkeit: In einem Laplace-Experiment gilt für P (A) mit A = M und Ω = N: P (A) = A Ω = M N. Abzählregel: P (A) = Anzahl der für A günstigen Ergebnisse Anzahl aller möglichen Ergebnisse

4 1. Wahrscheinlichkeitsrechnung 4 Urnenmodell: Ziehen mit Zurücklegen Grundgesamtheit mit N Zahlen G = {1,..., N}. Ziehe Stichprobe vom Umfang n mit Zurücklegen. Ω = {(ω 1,..., ω n ) : ω j {1,..., N}} Ω = N } N {{... N} = N n, d.h. N n mögliche Stichproben vom Umfang n. n-mal Urnenmodell: Ziehen ohne Zurücklegen Grundgesamtheit mit N Zahlen G = {1,..., N}. Ziehe Stichprobe vom Umfang n ohne Zurücklegen. Ω = {(ω 1,..., ω n ) : ω j {1,..., N}, ω j ω i für i j} Anzahl der Stichproben: Fakultät Ω = N (N 1)... N n + 1 = Die Fakultät einer natürlichen Zahl k ist definiert als k! = k (k 1) (k 2) N! (N n)! wobei 1! = 1, 0! = 1. Urnenmodell: Ziehen ohne Zurücklegen ohne Berücksichtigung der Reihenfolge Ziehe n Kugeln aus einer Urne mit N nummerierten Kugeln. Die Reihenfolge der Ziehungen spielt keine Rolle. Ω = {{ω 1,..., ω n } : ω j {1,..., N}, ω j ω i für j i} Anzahl der Stichproben: Binomialkoeffizient Ω = N! (N n)!n! = Der Binomialkoeffizient ( N n) ist definiert als ( ) N N! = n (N n)! n!. ( ) N n Es gilt: ( ) N = 1, 0 ( ) N = N, 1 ( ) N = 1, N ( ) N = 0, falls N < n. n

5 1. Wahrscheinlichkeitsrechnung Das Axiomensystem von Kolmogoroff Definition (Axiome von Kolmogorov, 1933) Eine Funktion P (P steht für Probability), die Ereignissen aus Ω (reelle) Zahlen zuordnet, heißt Wahrscheinlichkeit, wenn gilt (K1) P (A) 0 für alle Ereignisse A Ω. (K2) P (Ω) = 1. (K3) Falls A B =, dann gilt P (A B) = P (A) + P (B) Rechenregeln für Wahrscheinlichkeiten P (Ā) = 1 P (A) Für nicht notwendigerweise disjunkte Mengen A, B gilt P (A B) = P (A) + P (B) P (A B) Falls A 1, A 2,..., A n paarweise disjunkt sind, also A i A j = für i j, dann gilt: ( n ) P A i = P (A 1 A 2... A n ) = P (A 1 ) + P (A 2 ) P (A n ) Vollständige Zerlegung: Ist A 1, A 2,..., A n eine vollständige Zerlegung von Ω, d.h. gilt n A i = Ω und A i A j = für i j, so gilt für jedes Ereignis B: P (B) = n P (B A i ) Weitere Wahrscheinlichkeitsbegriffe Häufigkeitsinterpretation. Natürliche Häufigkeiten. Subjektivistisch. 1.3 Stochastische Unabhängigkeit und bedingte Wahrscheinlichkeiten Stochastische Unabhängigkeit: Zwei Ereignisse A und B heißen (stochastisch) unabhängig wenn gilt P (A B) = P (A) P (B)

6 1. Wahrscheinlichkeitsrechnung 6 andernfalls heißen sie stochastisch abhängig. Die (stochastische) Unabhängigkeit ist eine symmetrische Beziehung in dem Sinne, dass A und B genau dann unabhängig sind, wenn B und A unabhängig sind. Genauer gilt die Äquivalenz folgender Aussagen: A und B sind stochastisch unabhängig A und B Ā und B Ā und B Stochastische Unabhängigkeit mehrerer Ereignisse: Ereignisse A 1, A 2,..., A n heißen (vollständig) stochastisch unabhängig, wenn gilt Aus der paarweisen Unabhängigkeit P (A 1 A 2... A n ) = P (A 1 ) P (A 2 )... P (A n ). P (A i A j ) = P (A i )P (A j ) für alle i, j folgt nicht die vollständige Unabhängigkeit. Bedingte Wahrscheinlichkeiten: Gegeben seien zwei Ereignisse A und B mit P (B) > 0. Dann heißt: P (A B) P (A B) := P (B) bedingte Wahrscheinlichkeit von A gegeben B oder bedingte Wahrscheinlichkeit von A unter der Bedingung B. Es ergibt sich auch eine analoge Charakterisierung der stochastischen Unabhängigkeit über bedingte Wahrscheinlichkeiten: Sind P (A) und P (B) > 0, so sind äquivalent: i) A und B sind stochastisch unabhängig ii) P (A B) = P (A) iii) P (B A) = P (B) iv) P (A B) = P (A) v) P (A B) = P (A B) usw. Unabhängige Koppelung: Gegeben sei eine Menge von Zufallsexperimenten, beschrieben durch die Ergebnisräume Ω i, i = 1,..., n und die Wahrscheinlichkeitsbewertungen P i, i = 1,..., n. Fasst man die Experimente zusammen, so ergibt sich der Ergebnisraum und die Elemente Ω := Ω 1 Ω 2... Ω n, ω := (ω 1, ω 2,..., ω n ). Sind die Experimente unabhängig, so setzt man für beliebige A i Ω i, i = 1,..., n P (A 1 A 2... A n ) = P 1 (A 1 ) P 2 (A 2 )... P n (A n ).

7 1. Wahrscheinlichkeitsrechnung 7 Dies beschreibt ein Wahrscheinlichkeitsmaß auf Ω, bei dem per Konstruktion beliebige Ereignisse aus den einzelnen Ω i voneinander unabhängig sind. Satz von der totalen Wahrscheinlichkeit: Gegeben sei eine vollständige Zerlegung A 1, A 2,..., A k. Dann gilt für jedes Ereignis B P (B) = k P (B A j ) P (A j ) = j=1 k P (B A j ). j=1 Koppelung abhängiger Experimente: Gegeben seien n Experimente, beschrieben durch die Grundräume Ω i = {a i1,..., a iki } und die Wahrscheinlichkeitsbewertungen P i, i = 1,..., n. Bezeichnet man für beliebiges i = 1,..., n und j = 1,..., k i, mit A ij jeweils das zu a ij gehörige Elementarereignis (also das Ereignis a ij tritt ein ), so gilt: P (A 1j1 A 2j2... A njn ) = P 1 (A 1j1 ) P 2 (A 2j2 A 1j1 ) P 3 (A 3j3 A 1j1 A 2j2 )... P n ( Anjn A 1j1 A 2j2... A n 1jn 1 ) Häufig werden die Indizes bei P weggelassen. Markovmodelle: Gilt in der Kopplung abhängiger Experiment Ω 1 = Ω 2 =... = Ω n = {a 1,..., a k } und sind alle bedingten Wahrscheinlichkeiten nur vom jeweils unmittelbar vorhergehenden Zeitpunkt abhängig, d.h. gilt P (A i+1,ji+1 A 1j1 A 2j2... A iji ) = P (A i+1,ji+1 A iji ), (1) so spricht man von einem Markovmodell mit den Zuständen a 1,..., a k. Sind die sogenannten Übergangswahrscheinlichkeiten in (1) unabhängig von der Zeit, gilt also P (A i+1,j A il ) p jl für alle i, j, l, so heißt das Markovmodell homogen. Theorem von Bayes: Sei A 1,... A k eine vollständige Zerlegung von Ω (wobei P (A i ) > 0, P (B A i ) > 0, i = 1,... k und P (B) > 0 erfüllt seien.) Dann gilt P (A j B) = P (B A j) P (A j ). k P (B A i ) P (A i ) 1.4 Zufallsvariablen und ihre Verteilung Diskrete Zufallsvariablen Definition: Gegeben seien ein diskreter, d.h. höchstens abzählbarer, Ergebnisraum Ω und die Wahrscheinlichkeit P auf Ω. Jede Abbildung X : Ω Ω X ω X(ω) heißt Zufallselement. Setzt man für jede Realisation x Ω X P X ({x}) := P ({X = x}) := P ({ω X(ω) = x})

8 1. Wahrscheinlichkeitsrechnung 8 so erhält man eine Wahrscheinlichkeit auf Ω X. (Oft wird auch P (X = x) statt P ({X = x}) geschrieben.) Ist Ω X = R, so bezeichnet man das Zufallselement X als Zufallsvariable. Definition: Gegeben sei eine diskrete Zufallsvariable X mit der Wahrscheinlichkeitsverteilung P. Die Menge X := {x R P ({x}) > 0} heißt Träger von X. Definition: Die Wahrscheinlichkeitsfunktion f(x) einer diskreten Zufallsvariable X ist für x R definiert durch { P (X = xi ) = p f(x) = i, x = x i {x 1, x 2,..., x k,...} 0, sonst Verteilungsfunktion Satz: Die Wahrscheinlichkeitsverteilung einer (diskreten) Zufallsvariablen X kann man durch die Verteilungsfunktion F (x) := P (X x) eineindeutig erklären. Die Wahrscheinlichkeit anderer Ereignisse ergibt sich aus dem dritten Kolmogorovschen Axiom. Es gilt zum Beispiel P (a < X b) = F (b) F (a) Stetige Zufallsvariablen Die Wahrscheinlichkeitsverteilung einer stetigen Zufallsvariablen ist durch die Verteilungsfunktion F (x) = P (X x) eindeutig festgelegt. Allgemeiner als zuvor gilt hier da P (X = A) = P (X = b) = 0. P (a < X b) = P (a X b) = P (a < X < b) = F (b) F (a) Definition: Gegeben sei eine stetige Zufallsvariable X mit differenzierbarer Verteilungsfunktion F X (x). Dann heißt die Ableitung von F (x) nach x, also Dichte der Zufallsvariablen X. f(x) = df (x) dx

9 1. Wahrscheinlichkeitsrechnung 9 Satz: F (x) = x f(u) du und damit für beliebige reelle Zahlen a und b mit a < b P (a X b) = P (a < X b) = P (a < X < b) = P (a X < b) b = f(x) dx. a Lebensdauern; Hazardrate und Survivorfunktion Satz: Die Verteilung einer nicht negativen, stetigen Zufallsvariable X wird eineindeutig durch die Überlebensfunktion (Survivorfunktion) und durch die Hazardrate beschrieben. Es gelten folgende Zusammenhänge S(x) := P (X x) = 1 F (x) λ(x) := lim h 0 P (x X x + h X x) h x S(x) = exp( F (x) = 1 exp( f(x) = λ(x) S(x) 0 λ(u)du) x 0 λ(u)du) Unabhängigkeit von Zufallsvariablen Definition: Zwei Zufallsvariablen X und Y mit den Verteilungsfunktionen F X heißen stochastisch unabhängig, falls für alle x und y gilt und F Y P ({X x} {Y y}) = P ({X x}) P ({Y y}) = F X (x) F Y (y), andernfalls heißen sie stochastisch abhängig. Für diskrete Zufallsvariablen kann man alternativ fordern, dass P (X = x, Y = y) = P (X = x) P (Y = y) für alle x und y gilt.

10 1. Wahrscheinlichkeitsrechnung Erwartungswert und Varianz Diskrete Zufallsvariablen Definition: Gegeben sei eine diskrete Zufallsvariable X mit Träger X. Dann heißt E X := E(X) := x P (X = x) x X Erwartungswert von X, Var X := Var(X) := V(X) := E((X E(X)) 2 ) = x X(x E(X)) 2 P (X = x) Varianz von X und σ X := Var(X) Standardabweichung von X. Zur Berechnung der Varianz ist der sogenannte Verschiebungssatz sehr praktisch: Var(X) = E(X 2 ) (E X) Stetige Zufallsvariablen Definition: Sei X eine stetige Zufallsvariable mit Dichte f(x). Dann heißt E X := E(X) := Erwartungswert von X, x f(x) dx Var X := Var(X) := V(X) := E((X E(X)) 2 = Varianz von X und σ X := Var(X) Standardabweichung von X. (x E(X)) 2 f(x) dx Allgemeine Rechenregeln für Erwartungswert und Varianz Satz: Seien X und Y diskrete oder stetige Zufallsvariablen (mit existierenden Erwartungswerten und Varianzen). Dann gilt: a) E(aX + by ) = a E(X) + b E(Y ) und insbesondere auch E(a) = a, E(aX) = a E(X) E(X + Y ) = E(X) + E(Y )

11 1. Wahrscheinlichkeitsrechnung 11 b) Var(aX + b) = a 2 Var(X). Sind X und Y zusätzlich unabhängig, so gilt E(X Y ) = E(X) E(Y ) Var(X + Y ) = Var(X) + Var(Y ) Definition: Die Zufallsvariable Z := X E(X) Var(X) heißt standardisierte Zufallsvariable. Es gilt E(Z) = 0 und Var(Z) = Wichtige Verteilungsmodelle Binomialverteilung Konstruktionsprinzip: Ein Zufallsexperiment wird n mal unabhängig durchgeführt. Wir interessieren uns jeweils nur, ob ein bestimmtes Ereignis A eintritt oder nicht. X = Häufigkeit, mit der Ereignis A bei n unabhängigen Versuchen eintritt. Träger von X: X = {0, 1, 2,..., n}. Definition: Eine Zufallsvariable heißt binomialverteilt mit den Parametern n und π, kurz X B(n, π), wenn sie die Wahrscheinlichkeitsfunktion {( n f(x) = x) π x (1 π) n x, x = 0, 1,..., n 0, sonst besitzt. Die B(1, π)-verteilung heißt auch Bernoulliverteilung. Erwartungswert und Varianz: Zur Berechnung von Erwartungswert und Varianz der Binomialverteilung ist folgende Darstellung hilfreich: X = X X n mit den binären Variablen { 1 falls A beim i-ten Versuch eintritt, X i = 0 sonst. Erwartungswert der Binomialverteilung: E(X) = E(X X n ) = E(X 1 ) E(X n ) = nπ

12 1. Wahrscheinlichkeitsrechnung 12 Varianz der Binomialverteilung: Var(X) = Var(X X n ) = Var(X 1 ) Var(X n ) = nπ(1 π) Normalverteilung Definition: Eine stetige Zufallsvariable X heißt normalverteilt mit den Parametern µ und σ 2, in Zeichen X N (µ, σ 2 ), wenn für ihre Dichte gilt: ( 1 f(x) = exp 1 ) (x µ)2, x R (2) 2π σ 2σ2 und standardnormalverteilt, in Zeichen X N (0; 1), falls µ = 0 und σ 2 = 1 gilt. Grundlegende Eigenschaften: a) Die Dichte der Standardnormalverteilung wird oft mit ϕ(x) bezeichnet, also ϕ(x) = 1 exp ( 12 ) 2π x2 und die zugehörige Verteilungsfunktion mit Φ(x) = x ϕ(u)du b) µ und σ 2 sind genau der Erwartungswert und die Varianz, also, wenn X N µ, σ 2 ), dann c) Die Dichte ist symmetrisch um µ, d.h. E(X) = µ und Var(X) = σ 2. f(µ x) = f(µ + x). Grundlegendes zum Rechnen mit Normalverteilungen: Es gilt: Φ( x) = 1 Φ(x). Gilt X N (µ, σ 2 ), so ist die zugehörige standardisierte Zufallsvariable standardnormalverteilt. Z = X µ σ Tabelliert sind die Werte der Verteilungsfunktion Φ(z) = P (Z z) für z 0. Ablesebeispiel: Φ(1.75) = Funktionswerte für negative Argumente: Φ( z) = 1 Φ(z)

13 1. Wahrscheinlichkeitsrechnung Grenzwertsätze und Approximationen Das i.i.d.-modell Betrachtet werden diskrete oder stetige Zufallsvariablen X 1,..., X n, die i.i.d. (independently, identically distributed) sind, d.h. die 1) unabhängig sind und 2) die gleiche Verteilung besitzen. Ferner sollen der Erwartungswert µ und die Varianz σ 2 existieren. Die Verteilungsfunktion werde mit F bezeichnet Das schwache Gesetz der großen Zahlen Theorem von Bernoulli: Seien X 1,..., X n, i.i.d. mit X i {0, 1} und P (X i = 1) = π. Dann gilt für H n = 1 n X i n (relative Häufigkeit der Einsen ) und beliebig kleines ɛ > 0 lim P ( H n π ɛ) = 1 n Schwaches Gesetz der großen Zahl: Gegeben seien X 1,..., X n i.i.d. Zufallsvariablen mit (existierendem) Erwartungswert µ und (existierender) Varianz σ 2. Dann gilt für n X n := 1 n X i und beliebiges ɛ > 0: Schreibweise: lim P ( X n µ ɛ) = 1 n X n P µ ( Stochastische Konvergenz, Xn konvergiert in Wahrscheinlichkeit gegen µ.) Der Hauptsatz der Statistik Hauptsatz der Statistik: Seien X 1,..., X n i.i.d. mit Verteilungsfunktion F und sei F n (x) die empirische Verteilungsfunktion der ersten n Beobachtungen. Mit D n := sup F n (x) F (x), x gilt für jedes c > 0 lim P (D n > c) = 0. n

14 1. Wahrscheinlichkeitsrechnung Der zentrale Grenzwertsatz Zentraler Grenzwertsatz: Seien X 1,..., X n i.i.d. mit E(X i ) = µ und Var(X i ) = σ 2 > 0 sowie Z n = 1 n ( ) Xi µ. n σ Dann gilt: Z n ist asymptotisch standardnormalverteilt, in Zeichen: Z a n N (0; 1), d.h. es gilt für jedes z lim P (Z n z) = Φ(z). n Aus dem zentralen Grenzwertsatz folgt: X n Approximation der Binomialverteilung Sei X B(n, π). Es gilt a N ) (µ, σ2. n ( ) x n π P (X x) Φ n π(1 π) falls n groß genug. Stetigkeitskorrektur: P (X = x) Φ P (X x) Φ ( ) x nπ nπ(1 π) ( ) ( ) x nπ x 0.5 nπ Φ nπ(1 π) nπ(1 π) 1.8 Mehrdimensionale Zufallsvariablen Definition: Betrachtet werden zwei eindimensionale Zufallselemente X und Y (zu demselben Zufallsexperiment). Die Wahrscheinlichkeit P (X = x i, Y = y j ) := P ({X = x i } {Y = y j }) in Abhängigkeit von x i und y j heißt gemeinsame Verteilung der mehrdimensionalen Zufallsvariable ( X Y ) und der Variablen X und Y. Randwahrscheinlichkeiten: p i = P (X = x i ) = p j = P (Y = y j ) = m P (X = x i, Y = y j ) j=1 k P (X = x i, Y = y j )

15 1. Wahrscheinlichkeitsrechnung 15 Bedingte Verteilungen: P (X = x i Y = y j ) = P (X = x i, Y = y j ) P (Y = y j ) P (Y = y j X = x i ) = P (X = x i, Y = y j ) P (X = x i ) Definition: Seien X und Y zwei Zufallsvariablen. Dann heißt σ X,Y := Cov(X, Y ) = E((X E(X))(Y E(Y ))) Kovarianz von X und Y. Rechenregeln: Cov(X, X) = Var(X) Cov(X, Y ) = E(XY ) E(X) E(Y ) Cov(X, Y ) = Cov(Y, X) Mit X = a X X + b X und Ỹ = a Y Y + b Y ist Cov( X, Ỹ ) = a X a Y Cov(X, Y ) Var(X + Y ) = Var(X) + Var(Y ) + 2 Cov(X, Y ) Definition: Zwei Zufallsvariablen X und Y mit Cov(X, Y ) = 0 heißen unkorreliert. Satz: Stochastisch unabhängige Zufallsvariablen sind unkorreliert. Die Umkehrung gilt jedoch im allgemeinen nicht. Definition: Gegeben seien zwei Zufallsvariablen X und Y. Dann heißt ρ(x, Y ) = Cov(X, Y ) Var(X) Var(Y ) Korrelationskoeffizient von X und Y. Eigenschaften des Korrelationskoeffizienten: Mit X = a X X + b X und Ỹ = a Y Y + b Y ist ρ( X, Ỹ ) = ρ(x, Y ). 1 ρ(x, Y ) 1. ρ(x, Y ) = 1 Y = ax + b Sind Var(X) > 0 und Var(Y ) > 0, so gilt ρ(x, Y ) = 0 genau dann, wenn Cov(X, Y ) = 0.

16 2. Induktive Statistik 16 2 Induktive Statistik 2.1 Grundprinzipien der induktiven Statistik 2.2 Punkschätzung Schätzfunktionen Definition: Sei X 1,..., X n i.i.d. Stichprobe. Eine Funktion T = g(x 1,..., X n ) heißt Schätzer oder Schätzfunktion. Andere Notation in der Literatur: ˆϑ Schätzer für ϑ Gütekriterien Erwartungstreue, Bias: Gegeben sei eine Stichprobe X 1,..., X n und eine Schätzfunktion T = g(x 1,..., X n ) (mit existierendem Erwartungswert). T heißt erwartungstreu für den Parameter ϑ, falls gilt für alle ϑ. Die Größe E ϑ (T ) = ϑ Bias ϑ (T ) = E ϑ (T ) ϑ heißt Bias (oder Verzerrung) der Schätzfunktion. Erwartungstreue Schätzfunktionen haben per Definition einen Bias von 0. Asymptotische Erwartungstreue Eine Schätzfunktion heißt asymptotisch erwartungstreu, falls lim E(ˆθ) = θ. n bzw. gelten. lim Bias(ˆθ) = 0. n Effizienz Effizienz:

17 2. Induktive Statistik 17 Gegeben seien zwei erwartungstreue Schätzfunktionen T 1 und T 2 für einen Parameter ϑ. Gilt Var ϑ (T 1 ) Var ϑ (T 2 ) für alle ϑ und so heißt T 1 effizienter als T 2. Var ϑ (T 1 ) < Var ϑ (T 2 ) für mindestens ein ϑ Eine für ϑ erwartungstreue Schätzfunktion T heißt UMVU-Schätzfunktion für ϑ (uniformly minimum v ariance unbiased), falls Var ϑ (T ) Var ϑ (T ) für alle ϑ und für alle erwartungstreuen Schätzfunktionen T. Bei nicht erwartungstreuen Schätzfunktionen zieht man den sogenannten Mean Squared Error zur Beurteilung heran. Es gilt Konsistenz MSE ϑ (T ) := E ϑ (T ϑ) 2 MSE ϑ (T ) = Var ϑ (T ) + (Bias ϑ (T )) 2. Ein Schätzer heißt MSE-konsistent, wenn gilt Ein Schätzer heißt konsistent, wenn gilt lim (MSE(T )) = 0. n lim (Var(T )) = 0. n Konstruktionsprinzipien guter Schätzer Die Methode der kleinsten Quadrate Das Maximum-Likelihood-Prinzip Gegeben sei die Realisation x 1,..., x n einer i.i.d. Stichprobe. Die Funktion in ϑ n P ϑ (X i = x i ) falls X i diskret L(ϑ) = n f ϑ (x i ) falls X i stetig. heißt Likelihood des Parameters ϑ bei der Beobachtung x 1,..., x n. Derjenige Wert ˆϑ = ˆϑ(x 1,..., x n ), der L(ϑ) maximiert, heißt Maximum-Likelihood-Schätzwert; die zugehörige Schätzfunktion T (X 1,..., X n ) Maximum-Likelihood-Schätzer.

18 2. Induktive Statistik 18 Für die praktische Berechnung maximiert man statt der Likelihood typischerweise die Log-Likelihood n l(ϑ) = ln(l(ϑ)) = ln P ϑ (X i = x i ) = n ln P ϑ (X i = x i ) bzw. n l(ϑ) = ln f ϑ (x i ) = n ln f ϑ (x i ). Einige allgemeine Eigenschaften von ML-Schätzern ML-Schätzer ˆθ sind im Allgemeinen nicht erwartungstreu. ML-Schätzer ˆθ sind asymptotisch erwartungstreu. ML-Schätzer ˆθ sind konsistent. 2.3 Intervallschätzung Motivation und Hinführung Definition von Konfidenzintervallen Gegeben sei eine i.i.d. Stichprobe X 1,..., X n zur Schätzung eines Parameters ϑ und eine Zahl γ (0; 1). Ein zufälliges Intervall C(X 1,..., X n ) heißt Konfidenzintervall zum Sicherheitsgrad γ (Konfidenzniveau γ), falls für jedes ϑ gilt: P ϑ (ϑ C(X 1,..., X n ) ) γ. }{{} zufälliges Intervall Konstruktion von Konfidenzintervallen Für die Konstruktion praktische Vorgehensweise: Suche Zufallsvariable Z, die den gesuchten Parameter ϑ enthält und deren Verteilung aber nicht mehr von dem Parameter abhängt, ( Pivotgröße, dt. Angelpunkt). Dann wähle den Bereich C Z so, dass P ϑ (Z C Z ) = γ und löse nach ϑ auf. Konfidenzintervall für den Mittelwert eines normalverteilten Merkmals bei bekannter Varianz: [ X z 1+γ σ 2, X + z 1+γ σ ] [ 2 = X ± z 1+γ σ ] 2 n n n

19 2. Induktive Statistik 19 Konfidenzintervall für den Mittelwert eines normalverteilten Merkmals bei unbekannter Varianz: [ X ± t ] 1+γ (n 1) S 2 n t-verteilung: Gegeben sei eine i.i.d. Stichprobe X 1,..., X n mit X i N (µ, σ 2 ). Dann heißt die Verteilung von Z = X µ n S t-verteilung (oder Student-Verteilung) mit ν = n 1 Freiheitsgraden. In Zeichen: Z t(ν). Approximative Konfidenzintervalle: Ist der Stichprobenumfang groß genug, so kann wegen des zentralen Grenzwertsatzes das Normalverteilungs-Konfidenzintervall auf den Erwartungswert beliebiger Merkmale (mit existierender Varianz) angewendet werden und man erhält approximative Konfidenzintervalle. Konfidenzintervall für den Anteil π: Seien X 1,..., X n i.i.d. mit { 1 X i =, P (X i = 1) = π. 0 Dann gilt approximativ für großes n X π π (1 π) n N (0, 1) und damit das Konfidenzintervall [ X ± z 1+γ 2 ] X(1 X) n

20 2. Induktive Statistik 29 Verteilungstabellen Standardnormalverteilung Tabelliert sind die Werte der Verteilungsfunktion Φ(z) = P (Z z) für z 0. Ablesebeispiel: Φ(1.75) = Funktionswerte für negative Argumente: Φ( z) = 1 Φ(z) Die z-quantile ergeben sich über die Umkehrfunktion. Beispielsweise ist z = 1.75 und z =

21 2. Induktive Statistik 30 Students t-verteilung Tabelliert sind die Quantile für n Freiheitsgrade. Für das Quantil t 1 α (n) gilt F (t 1 α (n)) = 1 α. Links vom Quantil t 1 α (n) liegt die Wahrscheinlichkeitsmasse 1 α. Ablesebeispiel: t 0.99 (20) = Die Quantile für 0 < 1 α < 0.5 erhält man aus t α (n) = t 1 α (n) Approximation für n > 30: t α (n) z α (z α ist das (α)-quantil der Standardnormalverteilung) n

22 2. Induktive Statistik 31 χ2-verteilung Tabelliert sind die Quantile für n Freiheitsgrade. Für das Quantil χ 2 1 α,n gilt F (χ 2 1 α,n) = 1 α. Links vom Quantil χ 2 1 α,n liegt die Wahrscheinlichkeitsmasse 1 α. Ablesebeispiel: χ ,10 = Approximation für n > 30: χ 2 α(n) 1 2 (z α + 2n 1) 2 (z α ist das 1 α-quantil der Standardnormalverteilung) n