Mehrdimensionale Zufallsvariablen

Transkript

1 Mehrdimensionale Zufallsvariablen Im Folgenden Beschränkung auf den diskreten Fall und zweidimensionale Zufallsvariablen. Vorstellung: Auswerten eines mehrdimensionalen Merkmals ( ) X Ỹ also z.b. ω Ω, zufällig gezogene Person und damit X (ω) und Ỹ (ω) Auswertung der Merkmale jeweils an derselben Person. zweidimensionale Zufallsvariable ( XỸ) (wie bei Zusammenhangsanalyse in Statistik I) Das Hauptinteresse gilt (entsprechend der Kontingenztafel in Statistik I) der gemeinsamen Verteilung P({X = x i } {Y = y j }) Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 259 / 286

2 Zweidimensionale Verteilungen Betrachtet werden zwei eindimensionale diskrete Zufallselemente X und Y (zu demselben Zufallsexperiment). Die Wahrscheinlichkeit P(X = x i, Y = y j ) := P({X = x i } {Y = y j }) in Abhängigkeit von x i und y j heißt gemeinsame Verteilung der mehrdimensionalen Zufallsvariable ( X Y) bzw. der Variablen X und Y. Randwahrscheinlichkeiten: p i = P(X = x i ) = p j = P(Y = y j ) = m P(X = x i, Y = y j ) j=1 k P(X = x i, Y = y j ) i=1 Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 260 / 286

3 Bedingte Verteilungen P(X = x i Y = y j ) = P(X = x i, Y = y j ) P(Y = y j ) P(Y = y j X = x i ) = P(X = x i, Y = y j ) P(X = x i ) Stetiger Fall: Zufallsvariable mit zweidimensionaler Dichtefunktion f (x, y): ( b ) d P(a X b, c Y d) = f (x, y)dy dx a c Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 261 / 286

4 Kovarianz Seien X und Y zwei Zufallsvariablen. Dann heißt σ X,Y := Cov(X, Y ) = E((X E(X ))(Y E(Y ))) Kovarianz von X und Y. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 262 / 286

5 Rechenregeln Cov(X, X ) = Var(X ) Cov(X, Y ) = E(XY ) E(X ) E(Y ) Cov(X, Y ) = Cov(Y, X ) Mit X = a X X + b X und Ỹ = a Y Y + b Y ist Cov( X, Ỹ ) = a X a Y Cov(X, Y ) Var(X + Y ) = Var(X ) + Var(Y ) + 2 Cov(X, Y ) Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 263 / 286

6 Korrelation Definition Zwei Zufallsvariablen X und Y mit Cov(X, Y ) = 0 heißen unkorreliert. Satz Stochastisch unabhängige Zufallsvariablen sind unkorreliert. Die Umkehrung gilt jedoch im allgemeinen nicht. Vergleiche Statistik I: Kovarianz misst nur lineare Zusammenhänge. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 264 / 286

7 der Korrelationskoeffizient Definition Gegeben seien zwei Zufallsvariablen X und Y. Dann heißt ρ(x, Y ) = Cov(X, Y ) Var(X ) Var(Y ) Korrelationskoeffizient von X und Y. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 265 / 286

8 Eigenschaften des Korrelationskoeffizienten Mit X = a X X + b X und Ỹ = a Y Y + b Y ist 1 ρ(x, Y ) 1. ρ(x, Y ) = 1 Y = ax + b ρ( X, Ỹ ) = ρ(x, Y ). Sind Var(X ) > 0 und Var(Y ) > 0, so gilt ρ(x, Y ) = 0 genau dann, wenn Cov(X, Y ) = 0. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 266 / 286

9 Beispiel: Chuck a Luck X 1 X 6 Gewinn, wenn beim ersten Wurf ein Einsatz auf 1 gesetzt wird. Gewinn, wenn beim ersten Wurf ein Einsatz auf 6 gesetzt wird. Kovarianz zwischen X 1 und X 6 (x 1, x 6 ) P(X 1 = x 1, X 6 = x 6 ) (x 1, x 6 ) P(X 1 = x 1, X 6 = x 6 ) ( 1, 1) ( 1, 3) ( 1, 1) (3, 1) (1, 1) (1, 1) ( 1, 2) (1, 2) (2, 1) (1, 2) Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 267 / 286

10 Berechnungen E(X 1 X 6 ) = 50/216 = Cov(X 1, X 6 ) = ( ) ( ) = X 1 und X 6 sind negativ korreliert. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 268 / 286

11 0 Einführung 1 Wahrscheinlichkeitsrechnung 2 Zufallsvariablen und ihre Verteilung 3 Statistische Inferenz Punktschätzung

12 Grundprinzipien der induktiven Statistik Ziel: Inferenzschluss, Repräsentationsschluss: Schluss von einer Stichprobe auf Eigenschaften der Grundgesamtheit, aus der sie stammt. Von Interesse sei ein Merkmal X in der Grundgesamtheit Ω. Ziehe eine Stichprobe (ω 1,..., ω n ) von Elementen aus Ω und werte X jeweils aus. Man erhält Werte x 1,..., x n. Diese sind Realisationen der i.i.d Zufallsvariablen oder Zufallselemente X 1,..., X n, wobei die Wahrscheinlichkeitsverteilung der X 1,..., X n genau die Häufigkeitsverhältnisse in der Grundgesamtheit widerspiegelt. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 270 / 286

13 Statistische Inferenz Ziel: Schlüsse von Stichprobe auf Grundgesamtheit Schlüsse von Experiment auf allgemeines Phänomen Zentrale Fragen: Wie kann die Zufälligkeit in korrekter Weise berücksichtigt werden? Wann sind Ergebnisse in der Stichprobe zufallsbedingt? Wie sind korrekte Schlüsse möglich? Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 271 / 286

14 Inferenzprinzipien 1 Schätzen: Von Interesse ist der Wert eines Parameters in der Grundgesamtheit, z.b. Mittelwert oder Anteil Punktschätzung: Angabe eines Wertes Intervallschätzung (Konfidenzintervall): Angabe eines Bereiches, in dem der Wert mit hoher Sicherheit liegt 2 Testen (Signifikanztest): Untersuchung, ob eine bestimmte Hypothese mit Hilfe der Daten widerlegt werden kann z.b. Gewisse Satzkonstruktionen führen zu schnellerer Reaktion Beispiele: Punktschätzung: z.b. wahrer Anteil Intervallschätzung: z.b. wahrer Anteil liegt zwischen 0.46 und 0.48 Hpothesentest: Die Annahme, der Anteil liegt höchstens bei 50% kann nicht aufrecht erhalten werden Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 272 / 286

15 Voraussetzungen für das Anwenden statistischer Inferenz Stichprobe sollte zufällig sein Experimentelle Situation Nicht nötig (geeignet) bei Vollerhebungen Nicht geeignet bei Vollerhebungen mit geringem Rücklauf Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 273 / 286

16 Zentrale Fragestellung Wie kommt man von Realisationen x 1,..., x n von i.i.d. Zufallsvariablen X 1,..., X n auf die Verteilung der X i? Dazu nimmt man häufig an, man kenne den Grundtyp der Verteilung der X 1,..., X n. Unbekannt seien nur einzelne Parameter davon. Beispiel: X i sei normalverteilt, unbekannt seien nur µ, σ 2. = parametrische Verteilungsannahme (meist im Folgenden) Alternativ: Verteilungstyp nicht oder nur schwach festgelegt (z.b. symmetrische Verteilung) = nichtparametrische Modelle Klarerweise gilt im Allgemeinen (generelles Problem bei der Modellierung): Parametrische Modelle liefern schärfere Aussagen wenn ihre Annahmen zutreffen. Wenn ihre Annahmen nicht zutreffen, dann existiert die große Gefahr von Fehlschlüssen. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 274 / 286

17 Punktschätzung Beispiel: Parameter: Schätzung: Mittelwert der täglichen Fernsehdauer von Jugendlichen in Deutschland Mittelwert der Fernsehdauer in der Stichprobe oder: Median aus der Stichprobe? oder: Mittelwert ohne größten und kleinsten Wert? Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 275 / 286

18 Beispiel 1: Schätzer X Grundgesamtheit Wahrer Wert: 1.35 Ziehe Stichprobe vom Umfang n=2 und berechne X S 1 S 2 X P Pech Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 276 / 286

19 Beispiel 2: Würfeln mit potentiell gefälschtem Würfel Wie groß ist der Erwartungswert beim Würfeln mit potentiell gefälschtem Würfel? Ziehe Stichprobe und berechne Mittelwert X X liefert plausible Schätzung für den wahren (theoretischen) Mittelwert. Simulation mit R Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 277 / 286

20 Punktschätzung Beachte: Auswahl zufällig Schätzung zufällig Die Merkmale der gezogenen n Einheiten sind also Zufallsgrößen. Wir bezeichnen sie mit X 1,..., X n. Wird der Parameter einer Merkmalsverteilung durch eine Funktion der Zufallsgrößen X 1,..., X n der Stichprobe geschätzt, so spricht man bei diesem Vorgang von Punktschätzung. Die dabei benutzte Funktion wird auch Schätzfunktion, Schätzstatistik oder kurz Schätzer genannt. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 278 / 286

21 Schätzfunktionen Definition Sei X 1,..., X n i.i.d. Stichprobe. Eine Funktion T = g(x 1,..., X n ) heißt Schätzer oder Schätzfunktion. Inhaltlich ist g( ) eine Auswertungsregel der Stichprobe: Welche Werte sich auch in der Stichprobe ergeben, ich wene das durch g( ) beschriebene Verfahren auf sie an.(z.b. Mittelwert) Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 279 / 286

22 Beispiele für Schätzfunktionen Arithmetisches Mittel der Stichprobe: X = g(x 1,..., X n ) = 1 n n i=1 X i Für binäre, dummy-kodierte X i ist X auch die relative Häufigkeit des Auftretens von X i = 1 in der Stichprobe Stichprobenvarianz: S 2 = g(x 1,..., X n ) = 1 n n (X i X ) 2 = 1 n i=1 n i=1 X 2 i ( X ) 2 Korrigierte Stichprobenvarianz: ( S 2 = g(x 1,..., X n ) = 1 n n ) (X i X ) 2 = 1 Xi 2 n X 2 n 1 n 1 i=1 i=1 Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 280 / 286

23 Beispiele für Schätzfunktionen (2) Größter Stichprobenwert: Kleinster Stichprobenwert: X (n) = g(x 1,..., X n ) = X (1) = g(x 1,..., X n )) = max i=1,...,n X i min i=1,...,n X i Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 281 / 286

24 Qualitätsmerkmal eines Schätzers: Erwartungstreue Erwartungstreue, Bias: Gegeben sei eine Stichprobe X 1,..., X n und eine Schätzfunktion T = g(x 1,..., X n ) (mit existierendem Erwartungswert). T heißt erwartungstreu für den Parameter ϑ, falls gilt für alle ϑ. Die Größe E ϑ (T ) = ϑ Bias ϑ (T ) = E ϑ (T ) ϑ heißt Bias (oder Verzerrung) der Schätzfunktion. Erwartungstreue Schätzfunktionen haben per Definition einen Bias von 0. Man schreibt E ϑ (T ) und Bias ϑ (T ), um deutlich zu machen, dass die Größen von dem wahren ϑ abhängen. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 282 / 286

25 Bias und Erwartungstreue für X Das arithmetische Mittel X = 1 n n i=1 X i ist erwartungstreu für den Mittelwert µ einer Grundgesamtheit: Aus X 1,..., X n i.i.d. und E µ (X 1 ) = E µ (X 2 ) =... = µ folgt: ( ) ( E( X 1 n n ) ) = E µ X i = 1 n n E µ X i i=1 i=1 = 1 n E(X i ) n = 1 n i=1 n µ = 1 n n µ = µ i=1 Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 283 / 286

26 Bias und Erwartungstreue bei einigen typischen Schätzfunktionen Sei σ 2 die Varianz in der Grundgesamtheit. Es gilt E σ 2( S 2 ) = n 1 n σ2, also ist S 2 nicht erwartungstreu für σ 2. Bias σ 2( S 2 ) = n 1 n σ2 σ 2 = 1 n σ2 (Für n geht Bias σ 2( S 2 ) gegen 0, S 2 ist asymptotisch erwartungstreu.) Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 284 / 286

27 Für die korrigierte Stichprobenvarianz gilt dagegen: ( ) E σ 2(S 2 1 n ) = E σ 2 (X i n 1 X ) 2 i=1 ( ) 1 = E σ 2 n 1 n n (X i n X ) 2 i=1 ( ) n = E σ 2 n 1 S 2 = n n 1 n 1 n σ2 = σ 2 Also ist S 2 erwartungstreu für σ 2. Diese Eigenschaft ist auch die Motivation für die Korrektur der Stichprobenvarianz. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 285 / 286

28 Nichtlineare Funktionen Vorsicht: Im Allgemeinen gilt für beliebige, nichtlineare Funktionen g E g(x ) g(e(x )). Man kann also nicht einfach z.b. und E vertauschen. In der Tat gilt: S 2 ist zwar erwartungstreu für σ 2, aber S 2 ist nicht erwartungstreu für σ2 = σ. Statistik II SoSe 2012 Helmut Küchenhoff (Institut für Statistik, LMU) 286 / 286