Kompaktskript zu den Vorlesungen Statistik I und II

Transkript

1 Kompaktskript zu den Vorlesungen Statistik I und II Friedrich-Schiller-Universität Jena Wirtschaftswissenschaftliche Fakultät Lehrstuhl für Wirtschafts- und Sozialstatistik Prof. Dr. P. Kischka Wintersemester 2008/09 Fassung vom Februar 2009

2 Inhaltsverzeichnis I Deskriptive Statistik 1 1 Grundlagen Häufigkeiten und Verteilungsfunktion Häufigkeitsverteilung Klassierung Empirische Verteilungsfunktion Summenhäufigkeitsfunktion Lageparameter Modus (Modalwert) Median (Zentralwert) Quantile Arithmetisches Mittel Geometrisches Mittel Harmonisches Mittel Streuungsparameter Spannweite Mittlere absolute Abweichung Varianz bzw. Standardabweichung Quartilsabstand Quartilsdispersionskoeffizient Variationskoeffizient Schiefe Konzentrationsmaße: Lorenzkurve und Ginikoeffizient Urliste Klassen Mehrdimensionales Datenmaterial Randhäufigkeiten und bedingte Häufigkeiten Korrelationskoeffizient nach Bravais/Pearson Kontingenzkoeffizient Spearman scher Rangkorrelationskoeffizient Preis- und Mengenindizes Preisindizes Mengenindizes II Wahrscheinlichkeitstheorie 12 1 Wahrscheinlichkeitsräume Definition i

3 1.2 Eigenschaften von (Ω, E, P ) Zufallsvariablen Verteilungen und Verteilungsfunktionen Verteilung einer Zufallsvariable Eigenschaften der Verteilung Verteilungsfunktion Eigenschaften der Verteilungsfunktion Spezielle eindimensionale Zufallsvariablen Diskrete Zufallsvariablen Stetige Zufallsvariablen Mehrdimensionale Zufallsvariablen Definition Verteilung Verteilungsfunktion Eigenschaften der Verteilungsfunktion n-dimensionale Zufallsvariablen Spezielle mehrdimensionale Zufallsvariablen Randverteilung Unabhängigkeit Unabhängigkeit von Zufallsvariablen Unabhängigkeit von Ereignissen Bedingte Verteilung Bedingte Wahrscheinlichkeit von Ereignissen Satz von Bayes Momente eindimensionaler Zufallsvariablen Erwartungswert Varianz und Standardabweichung Eigenschaften der Momente Momente spezieller Verteilungen Quantile für Zufallsvariablen Momente mehrdimensionaler Zufallsvariablen Kovarianz Korrelationskoeffizient Eigenschaften der Momente Momente spezieller Verteilungen Gesetz der großen Zahlen Ungleichung von Tschebyscheff Schwaches Gesetz der großen Zahlen Zentraler Grenzwertsatz (2 Versionen) Hauptsatz der Statistik (Satz von Glivenko-Cantelli) Formaler Zusammenhang zwischen deskriptiver Statistik und Wahrscheinlichkeitstheorie Ein Merkmal Randhäufigkeiten und bedingte Häufigkeiten Korrelationskoeffizient nach Bravais/Pearson

4 III Methoden der induktiven Statistik 28 1 Einfache Stichproben Likelihood-Funktion Punktschätzungen Maximum-Likelihood-Methode Erwartungstreue Punktschätzungen Der mittlere quadratische Fehler Effizienz und Konsistenz Intervallschätzungen Konfidenzintervall für den Erwartungswert einer normalverteilten Zufallsvariable bei bekannter Varianz Konfidenzintervall für den Erwartungswert einer normalverteilten Zufallsvariable mit unbekannter Varianz Konfidenzintervall für den Parameter θ einer Binomialverteilung Konfidenzintervall für den Erwartungswert ohne zusätzliche Verteilungsannahmen Konfidenzintervall für die Varianz einer Normalverteilung Anwendung: Erhebungsverfahren Parametertest Grundlagen Tests für den Erwartungswert einer Normalverteilung bei bekannter Varianz Tests für den Erwartungswert einer Normalverteilung bei unbekannter Varianz Gütefunktion eines Tests Weitere Parametertests Test für den Erwartungswert ohne Verteilungsannahmen Test für den Parameter einer Binomialverteilung Test für die Varianz einer Normalverteilung Zweistichproben-Tests Normalverteilungsannahme Ohne Verteilungsannahme Einfache Varianzanalyse Anpassungstests χ 2 -Anpassungstest χ 2 -Anpassungstest für eine spezifizierte Verteilung Kolmogorov-Smirnov-Anpassungstest Unabhängigkeitstests Unabhängigkeitstest für normalverteilte Zufallsvariablen Kontingenztest Lineare Regression Das einfache lineare Regressionsmodell Das Bestimmtheitsmaß Schätzung der Varianz Normalverteilte Störgrößen Das multiple lineare Regressionsmodell Schätzung der Varianz im multiplen linearen Regressionsmodell Standardfehler der Regression

5 11.8 Standardfehler der Parameter Das korrigierte Bestimmtheitsmaß Test auf signifikanten Einfluss der erklärenden Variablen Test auf Signifikanz der Regression Zeitreihenanalyse Prognose im konstanten Modell Modell mit Trend IV Entscheidungstheorie 46 1 Einführung in die Entscheidungstheorie Entscheidungen unter Risiko: Grundlagen Präferenzen über Zufallsvariablen Erwartungsnutzentheorie µ-σ-kriterium Spezialfall: Quadratische Nutzenfunktion Spezialfall: Normalverteilte Zufallsvariablen Spezialfall: Hybrides Modell Risikoaversion und Risikoaversionsmaße Stochastische Dominanz Spezielle Entscheidungssituationen Maximin-Kriterium Maximax-Kriterium Hurwicz-Kriterium Minimax-Regret-Kriterium (Savage-Niehans-Kriterium) Wert der Information

6 Kapitel I Deskriptive Statistik 1 Grundlagen G = {g 1,..., g n } Grundgesamtheit von Merkmalsträgern x i Merkmalsausprägung des Merkmalsträgers g i, 1 i n x 1,..., x n Urliste 2 Häufigkeiten und Verteilungsfunktion 2.1 Häufigkeitsverteilung Gegeben sei eine Urliste x 1,..., x n. Es gelte x i {a 1,..., a k }, 1 i n, wobei a j, 1 j k eine Merkmalsausprägung bezeichnet. Seien n j die absolute Häufigkeit, h j := n j n die relative Häufigkeit des Auftretens von a j, 1 j k. Durch n j bzw. h j, 1 j k, ist die Häufigkeitsverteilung des Merkmals bestimmt. Es gilt: k n j = n, k h j = 1 Für quantitative Merkmale sei o. B. d. A. a 1 < a 2 < < a k. Dann ist die kumulierte relative Häufigkeit der Merkmalsausprägung a l. 2.2 Klassierung l Die Ausprägungen stetiger Merkmale werden i. d. R. in Klassen Kl j = (r j 1, r j ], 1 j k, zusammengefasst: (r o, r 1 ], (r 1, r 2 ],..., (r k 1, r k ] h j 1

7 KAPITEL I. DESKRIPTIVE STATISTIK 2 Analog zum Abschnitt I.2.1 bezeichnen n j die absolute Häufigkeit (= Anzahl der Beobachtungen), h j := n j n die relative Häufigkeit der Klasse Kl j, 1 j k. Die graphische Darstellung der Häufigkeitsverteilung klassierter Daten ist das Histogramm, dessen (rechteckige) Flächen proportional zu n j (h j ) sind. 2.3 Empirische Verteilungsfunktion Die empirische Verteilungsfunktion ist definiert als 0, x < a 1 l F (x) = h j, a l x < a l+1 (1 l k 1) 1, x a k (I.1) 2.4 Summenhäufigkeitsfunktion Für klassierte Daten stellt die Summenhäufigkeitsfunktion das Analogon zur empirischen Verteilungsfunktion dar: 0, x r 0 F (x) = x r 0 r 1 r 0 h 1, r 0 < x r 1 l 1 h j + x r l 1 r l r l 1 h l, r l 1 < x r l (2 l k) 1, x > r k (I.2) 3 Lageparameter Gegeben sei eine Urliste x 1,..., x n mit Merkmalsausprägungen a 1,..., a k bzw. Klassen Kl 1,..., Kl k. Das Ziel ist die Beschreibung des Datenmaterials durch Maßzahlen (Lageparameter bzw. Streuungsparameter in Abschnitt I.4). 3.1 Modus (Modalwert) Der am häufigsten auftretende Beobachtungswert heißt Modus (für alle Skalenarten definiert). Bei Klassen gleicher Breite ist der Modus definiert als diejenige Klasse mit der größten relativen Häufigkeit. 3.2 Median (Zentralwert) Gegeben sei ein ordinal oder kardinal skaliertes Merkmal.

8 KAPITEL I. DESKRIPTIVE STATISTIK 3 Urliste Gegeben sei die geordnete Urliste x 1 x 2 x n. Bei der Definition des Medians x 0,5 unterscheidet man zwei Fälle: a) n ungerade : x 0,5 := x n+1 2 b) n gerade : x 0,5 := 1 2 (x n 2 + x n 2 +1 ) Beziehung des Medians zur empirischen Verteilungsfunktion: 1. Gilt F (x) 1 2 für alle x, so ist x 0,5 der kleinste x-wert, für den gilt F (x) > Gilt F (x) = 1 2 für bestimmte x-werte, so ist x 0,5 der mittlere Wert des Abszissenabschnitts, für den gilt F (x) = 1 2. Es gilt Klassen x i x 0,5 x i y, für alle y R (I.3) Gegeben sei die Summenhäufigkeitsfunktion F (x) aus Abschnitt I.2.4. Dann ist der Median zu den Klassen Kl 1,..., Kl k gegeben durch F (x 0,5 ) = Quantile Gegeben sei ein ordinal oder kardinal skaliertes Merkmal sowie α ]0, 1[. Urliste Gegeben sei die geordnete Urliste x 1 x 2 x n. Bei der Definition des α-quantils x α unterscheidet man zwei Fälle: a) nα Z: x α := x k, mit k > nα > k 1 b) nα Z: x α := 1 2 (x k + x k+1 ), mit k = nα Zusammenhang zur empirischen Verteilungsfunktion: 1. Gilt F (x) α für alle x, so ist x α die kleinste Zahl mit F (x α ) > α. 2. Gilt F (x) = α für einen Abszissenabschnitt, so ist x α der mittlere Wert dieses Abschnitts. Klassen Analog zum Abschnitt I.3.2 ist das α-quantil gegeben durch F (x α ) = α. 3.4 Arithmetisches Mittel Gegeben sei ein kardinal skaliertes Merkmal.

9 KAPITEL I. DESKRIPTIVE STATISTIK 4 Urliste Das arithmetische Mittel für Urlisten ist definiert als x := 1 n k x i = a j h j (I.4) Es gilt Klassen (x i x) 2 (x i y) 2, für alle y R (I.5) Im Fall klassierter Daten Kl j = (r j 1, r j ], 1 j k, wird das arithmetische Mittel approximiert durch k r j 1 + r j h j (I.6) Geometrisches Mittel Gegeben sei ein kardinal skaliertes Merkmal mit x i > 0 (1 i n). Das geometrische Mittel ist definiert als x G := n x 1 x 2... x n (I.7) Es gilt 3.6 Harmonisches Mittel logx G = 1 n logx i Gegeben sei ein kardinal skaliertes Merkmal. Es gelte x i > 0 für alle i oder x i < 0 für alle i. Das harmonische Mittel ist definiert als ( ) 1 1 x H := n (I.9) x i Falls x i > 0 (1 i n) und mindestens zwei Beobachtungen verschieden sind, gilt: x H < x G < x. 4 Streuungsparameter Gegeben sei ein kardinal skaliertes Merkmal. 4.1 Spannweite Die Spannweite ist definiert als x max x min. (I.8)

10 KAPITEL I. DESKRIPTIVE STATISTIK Mittlere absolute Abweichung Urliste Die mittlere absolute Abweichung für Urlisten ist definiert als Klassen 1 n x i x 0,5 = k a j x 0,5 h j (I.10) Für klassierte Daten wird die mittlere absolute Abweichung approximiert durch k r j 1 + r j 2 x 0,5 h j (I.11) 4.3 Varianz bzw. Standardabweichung Urliste Varianz s 2 und Standardabweichung s sind definiert als ( s 2 := 1 k k (x i x) 2 = (a j x) 2 h j = a j n s := s 2 l=1 ) 2 k a l h l h j (I.12) (I.13) Es gilt Aus (I.14) folgt sowie (x i y) 2 = (x i x) 2 + n(x y) 2, y R (I.14) s 2 1 n (x i y) 2, y R (I.15) s 2 = 1 n x 2 i x 2. Formel (I.16) bezeichnet man als Verschiebungssatz für die Varianz. Für lineare Transformation y i = a + bx i gilt Der Spezialfall s 2 y = b 2 s 2 x. y i = x s x + 1 s x x i = x i x s x führt zu y = 0, s 2 y = 1 und heißt Standardisierung. (I.16)

11 KAPITEL I. DESKRIPTIVE STATISTIK 6 Klassen Setzt man m j = r j 1 + r j, 1 j k 2 dann wird die Varianz im Fall klassierter Beobachtungen approximiert durch k (m j x) 2 h j (I.17) Wenn möglich, wird für x die Formel (I.4) verwendet. Andernfalls wird x nach Formel (I.6) approximiert. 4.4 Quartilsabstand Der Quartilsabstand ist definiert als x 0,75 x 0,25 (I.18) 4.5 Quartilsdispersionskoeffizient Der Quartilsdispersionskoeffizient ist definiert als x 0,75 x 0,25 x 0,75 + x 0,25 (I.19) 4.6 Variationskoeffizient Der Variationskoeffizient ist ein dimensionsloses Streuungsmaß und ist definiert als v = s x (I.20) 4.7 Schiefe Die Schiefe ist ein Maß für die Abweichung von der Symmetrie und ist für Urlisten definiert als Für klassierte Daten gilt 1 n ( 1 n 1 n ( 1 n (x i x) 3 ) (I.21) 3 (x i x) 2 k (m j x) 3 n j ) 3 k (m j x) 2 n j (I.22)

12 KAPITEL I. DESKRIPTIVE STATISTIK 7 5 Konzentrationsmaße: Lorenzkurve und Ginikoeffizient 5.1 Urliste Gegeben sei die geordnete Urliste 0 x 1 x 2 x n, x n > 0. Sei { 0, l = 0 u l = l n, 1 l n 0, l = 0 l x v l = i, 1 l n x i Die Lorenzkurve L(u) ist die Verbindung der Punkte (u l, v l ), 0 l n, durch Geradenstücke. Sind die Ausprägungen a 1,..., a k gegeben mit relativen Häufigkeiten h 1,..., h k, dann ergibt sich die Lorenzkurve durch die Verbindung der Punkte (u l, v l ), 0 l k, wobei 0, l = 0 u l = l h j, 1 l k Eigenschaften von L(u) sind: 1. L(0) = 0; L(1) = 1, 2. L ist konvex, 0, l = 0 l v l = a j h j, 1 l k k a j h j 3. L verläuft unterhalb der Diagonalen. Ein Maß der Konzentration ist der Ginikoeffizient. G = 2 n ix i (n + 1) n x i n n x i (I.23) Es gilt 0 G n 1 n. Und für den korrigierten bzw. normierten Ginikoeffizienten gilt: 0 G korr 1. G korr = n n 1 G (I.24)

13 KAPITEL I. DESKRIPTIVE STATISTIK Klassen Gegeben seien Klassen Kl 1,..., Kl k mit relativen Häufigkeiten h 1,..., h k sowie Klassenmitten m 1,..., m k. Die Lorenzkurve ergibt sich analog zu 5.1 mit m j statt a j. Für den Ginikoeffizienten gilt: k (t j 1 + t j ) m j h j k m j h j G = (I.25) k m j h j mit bzw. t 0 := 0, t j = G = 1 j h i (1 j k) k (v j 1 + v j)h j. (I.26) Sind die Summen der Merkmalsausprägungen z j (1 j k) in den Klassen gegeben, so verwendet man 0, l = 0 l v l = z j, 1 l k k z j Für den Ginikoeffizienten gilt (I.25) mit z j anstelle von m j h j. 6 Mehrdimensionales Datenmaterial 6.1 Randhäufigkeiten und bedingte Häufigkeiten Vgl. im folgenden auch die Abschnitte II.6 und II.8. Gegeben seien zwei Merkmale x, y mit den Ausprägungen x i {a 1,..., a k }, y i {b 1,..., b t }. Absolute Häufigkeit: n rs Anzahl der Merkmalsträger, die gleichzeitig die Merkmalsausprägungen a r und b s aufweisen (1 r k, 1 s t) Relative Häufigkeit: Die relative Randhäufigkeit von x ist gegeben durch h rs := n rs n h r. := 1 r k, 1 s t (I.27) t h rj = 1 n t n rj, 1 r k (I.28)

14 KAPITEL I. DESKRIPTIVE STATISTIK 9 von y ist gegeben durch h.s := k h is = 1 n k n is, 1 s t (I.29) Entsprechend heißen n r. = t Die bedingte Häufigkeit (vgl. Abschnitt II.8) von x bei festem b s ist definiert durch von y bei festem a r ist definiert durch n rj und n.s = k n is absolute Randhäufigkeiten. Zwei Merkmale x und y heißen unabhängig, falls gilt h rs h.s = n rs n.s, 1 r k (I.30) h rs h r. = n rs n r., 1 s t (I.31) h rs = h r. h.s, 1 r k, 1 s t. (I.32) 6.2 Korrelationskoeffizient nach Bravais/Pearson Die (empirische) Kovarianz von x und y ist gegeben durch cov(x, y) = k Empirischer Korrelationskoeffizient Es gilt: 1 r xy Kontingenzkoeffizient t (a i x)(b j y)h ij = 1 n (x i x)(y i y) r xy = = (x i x) 2 n (y i y) 2 Gegeben seien zwei Merkmale x und y, die auch nominal sein können. Mit (x i x)(y i y). (I.33) cov(x, y). (I.34) s 2 x s 2 y χ 2 = k t r=1 s=1 (n rs nr.n.s n )2 n r.n.s n ist der Kontingenzkoeffizient definiert als χ K = 2 n + χ 2, (I.35) (I.36)

15 KAPITEL I. DESKRIPTIVE STATISTIK 10 und für den korrigierten Kontingenzkoeffizienten erhält man K = 1 α K, (I.37) wobei Es gilt 0 K 1. α = min(k, t) 1. min(k, t) 6.4 Spearman scher Rangkorrelationskoeffizient Gegeben seien zwei mindestens ordinal skalierte Merkmale x und y. Der Spearman sche Rangkorrelationskoeffizient ist definiert als r sp = (R i R)(R i R ), (I.38) (R i R) 2 n (R i R ) 2 wobei R i Rangziffern für die Beobachtungen des Merkmals x, R i Rangziffern für die Beobachtungen des Merkmals y. Es gilt 1 r sp 1. Sind alle beobachteten Merkmalsausprägungen verschieden, so gilt r sp = 1 6 n (R i R i )2 (n 1)n(n + 1) (I.39) 7 Preis- und Mengenindizes 7.1 Preisindizes Laspeyres-Preisindex: Paasche-Preisindex: p t j q0 j p 0 j q0 j p t j qt j p 0 j qt j (I.40) (I.41)

16 KAPITEL I. DESKRIPTIVE STATISTIK Mengenindizes Laspeyres-Mengenindex: Paasche-Mengenindex: p 0 j qt j p 0 j q0 j p t j qt j p t j q0 j (I.42) (I.43)

17 Kapitel II Wahrscheinlichkeitstheorie 1 Wahrscheinlichkeitsräume 1.1 Definition Sei Ω E Ergebnismenge Ereignismenge mit folgenden Eigenschaften a) Ω E b) E E Ω\E E c) E 1, E 2,... E E i E i P : E [0, 1] Wahrscheinlichkeitsfunktion mit a) P (Ω) = 1 b) P ( E i ) = i i (Ω, E, P ) heißt Wahrscheinlichkeitsraum. 1.2 Eigenschaften von (Ω, E, P ) (Ω, E, P ) hat die folgenden Eigenschaften: a) Ω E, Ω heißt sicheres Ereignis. E, heißt unmögliches Ereignis. P (E i ), falls E i E j =, i j b) E 1, E 2,... E i E i E c) E 1, E 2 E E 1 \E 2 E d) E 2 E 1 P (E 1 \E 2 ) = P (E 1 ) P (E 2 ) e) P (Ω\E) = 1 P (E) 12

18 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE 13 2 Zufallsvariablen Gegeben sei ein Wahrscheinlichkeitsraum (Ω, E,P ). Die Abbildung X : Ω R ω X(ω) heißt Zufallsvariable, falls für I R gilt {ω X(ω) I} E 3 Verteilungen und Verteilungsfunktionen 3.1 Verteilung einer Zufallsvariable Gegeben sei eine auf (Ω, E, P ) definierte Zufallsvariable X : Ω R. Für I R gilt P (X I) = P ({ω Ω X(ω) I}) =: P X (I) (II.1) Speziell gilt für x R P X heißt Verteilung der Zufallsvariable X. Eine Zufallsvariable X heißt P (X = x) = P ({ω Ω X(ω) = x}) =: P X (x) diskret, wenn X nur endlich oder abzählbar unendlich viele verschiedene Werte annehmen kann, stetig mit Dichte f, falls für eine (integrierbare) Funktion f : R R + gilt: P (X [a, b]) = 3.2 Eigenschaften der Verteilung b a f(y)dy, für alle a, b R (II.2) Die Verteilung P X einer Zufallsvariable X hat folgende Eigenschaften: a) P (X R) = P ({ω Ω X(ω) R) = P (Ω) = 1 b) Für I 1, I 2 mit I 1 I 2 = gilt: c) Ist X stetig mit Dichte f, so gilt: P (X I 1 I 2 ) = P (X I 1 ) + P (X I 2 ) P (X [a, b]) = P (X ]a, b]) = P (X [a, b[) = P (X ]a, b[)

19 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE 14 d) Ist X stetig mit Dichte f, so gilt: P (X R) = P (X ], [) = e) Ist eine integrierbare Funktion f: R R + mit f(y)dy = 1 f(y)dy = 1 gegeben, so ist durch eine Verteilung definiert. b P (X [a, b]) = f(y)dy a 3.3 Verteilungsfunktion Gegeben sei eine Zufallsvariable X mit Verteilung P X. Die Abbildung F : R [0, 1] x P (X ], x]) = P X (], x]) (II.3) heißt Verteilungsfunktion von X. 3.4 Eigenschaften der Verteilungsfunktion Die Verteilungsfunktion F einer Zufallsvariablen X hat die folgenden Eigenschaften: a) F (x) 0, für x b) F (x) 1, für x c) F ist monoton wachsend. d) Ist X stetig mit Dichte f, dann gilt: x F (x) = f(y)dy Ist f stetig, dann ist F differenzierbar und es gilt: (II.4) e) Für a, b R, a b gilt: F (x) = f(x) F (b) F (a) = P (X ]a, b]) (II.5) f) Für diskrete Zufallsvariablen X mit Werten x i, i = 1, 2,..., und x 1 < x 2 <... gilt: F (x i+1 ) F (x i ) = P (X = x i+1 ) Schreibweise: F (x) = P (X = x i ) i:x i x (II.6)

20 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE 15 g) Es gilt: P (X > x) = 1 P (X x) = 1 F (x) Ist X stetig, so gilt auch: P (X x) = 1 F (x) (II.7) 4 Spezielle eindimensionale Zufallsvariablen 4.1 Diskrete Zufallsvariablen Binomialverteilung Eine Zufallsvariable X mit Werten 0,..., n heißt binomialverteilt mit Parametern n und p (n N, 0 < p < 1), falls gilt: ( ) n P (X = x) = p x (1 p) n x, x = 0, 1,..., n (II.8) x i.z. X B(n, p). Hypergeometrische Verteilung Eine Zufallsvariable X heißt hypergeometrisch verteilt mit Parametern L, M, n, falls gilt: ( M )( L M ) x n x P (X = x) = ( L, max{0, n (L M)} x min{n, M} (II.9) n) i.z. X H(L, M, n). Ist L wesentlich größer als n, so kann die hypergeometrische Verteilung approximiert werden durch B(n, M L ). Negative Binomialverteilung Eine Zufallsvariable X heißt negativ binomialverteilt mit Parametern k und p (k N, k 1, 0 < p < 1), falls gilt: ( ) x + k 1 P (X = x) = p k (1 p) x, x = 0, 1, 2,... x i.z. X NB(k, p). Im Spezialfall k = 1 heißt X auch geometrisch verteilt: P (X = x) = p(1 p) x (II.10) (II.11) Poisson-Verteilung Eine Zufallsvariable X heißt Poisson-verteilt mit Parameter λ > 0, falls gilt: λ λx P (X = x) = e, x = 0, 1, 2,... (II.12) x! i.z. X Po(λ). Ist X B(n, p) und gilt n 50, p 1 10, np 10, dann kann die Verteilung von X approximiert werden durch Po(np).

21 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE Stetige Zufallsvariablen Rechteckverteilung (Gleichverteilung) Eine Zufallsvariable X heißt Rechteck-verteilt über dem Intervall [a, b], wobei a, b R und a < b, falls für die Dichte f von X gilt: f(y) = { 1 b a, y [a, b] 0, y / [a, b] i.z. X Re(a, b). Für die Verteilungsfunktion von X erhält man F (x) = 0, x < a x a b a, a x b 1, x > b (II.13) (II.14) Exponentialverteilung Eine Zufallsvariable X mit der Dichte f(y) = { 0, y < 0 λe λy, y 0 (II.15) und λ > 0 heißt exponentialverteilt, i.z. X Ex(λ). Für die Verteilungsfunktion von X erhält man { 0, x 0 F (x) = 1 e λx (II.16), x > 0 Normalverteilung Eine Zufallsvariable X mit der Dichte f(y) = 1 2πσ 2 e 1 2σ 2 (y µ)2 (II.17) heißt normalverteilt mit Parametern µ R und σ 2 R +, i.z. N(µ, σ 2 ). Die Dichte f(y) ist symmetrisch zu µ. Für µ = 0 und σ 2 = 1 erhält man die Standardnormalverteilung N(0, 1). Ist X N(µ, σ 2 ), dann ist Y := µ σ + 1 σ X = X µ σ N(0, 1)-verteilt. 5 Mehrdimensionale Zufallsvariablen Im folgenden werden zunächst nur zweidimensionale Zufallsvariablen betrachtet.

22 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE Definition Eine Abbildung (X, Y ) (X, Y ) : Ω R 2 ω (X, Y )(ω) = (X(ω), Y (ω)) heißt zweidimensionale Zufallsvariable, falls für alle Rechtecke, einpunktige Mengen, Intervalle und deren Vereinigungen I gilt: 5.2 Verteilung {ω Ω (X, Y )(ω) I} E Gegeben sei eine zweidimensionale Zufallsvariable (X, Y ). Die gemeinsame Verteilung von (X, Y ) ist gegeben durch P (X,Y ) (I) = P ({ω Ω (X(ω), Y (ω)) I}), (II.18) wobei I wie oben definiert ist. Die Zufallsvariable (X, Y ) heißt diskret, wenn X und Y höchstens abzählbar unendlich viele Werte annehmen. Dann gilt: P (X = x, Y = y) = P (X,Y ) (x, y) = P ({ω Ω X(ω) = x, Y (ω) = y}) (II.19) stetig, wenn eine integrierbare Funktion f : R 2 R + existiert mit P (X [a, b], Y [c, d]) = P (X,Y ) ([a, b] [c, d]) b d = f(w, r)drdw, a c (II.20) wobei a, b, c, d R und a b, c d. f heißt Dichte von (X, Y ). Es gilt 5.3 Verteilungsfunktion P (X,Y ) (], [ ], [) = f(w, r)drdw = 1 Sei (X, Y ) eine zweidimensionale Zufallsvariable mit Verteilung P (X,Y ). Die Verteilungsfunktion von (X, Y ) ist F : R 2 [0, 1] (II.21) (x, y) P (X,Y ) (], x] ], y]) Ist (X, Y )

23 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE 18 diskret, so gilt F (x, y) = x i x P (X,Y ) (x i, y j ) y j y (II.22) stetig, so gilt F (x, y) = x y f(w, r)drdw (II.23) 5.4 Eigenschaften der Verteilungsfunktion Die Verteilungsfunktion F einer zweidimensionalen Zufallsvariable (X, Y ) hat die folgenden Eigenschaften a) F (x, y) 0 für x oder y. b) F (x, y) 1 für x und y. c) F ist in jeder Koordinate monoton wachsend. d) Es gilt P (a < X b, c < Y d) = F (b, d) F (a, d) F (b, c) + F (a, c), (II.24) wobei a, b, c, d R und a < b, c < d. 5.5 n-dimensionale Zufallsvariablen Eine Abbildung (X 1,..., X n ) : Ω R n heißt n-dimensionale Zufallsvariable. (X 1,..., X n )(ω) = (X 1 (ω),..., X n (ω)) 5.6 Spezielle mehrdimensionale Zufallsvariablen Multinomialverteilung Eine diskrete Zufallsvariable (X 1,..., X k ) heißt multinomialverteilt, mit Parametern n, p 1,..., p k (0 < p j < 1, 1 j k), falls gilt P (X 1 = x 1,..., X k = x k ) = n! x 1!x 2! x k! px 1 1 px k k, (II.25) wobei 0 x j n, k x j = n und k p j = 1.

24 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE 19 Zweidimensionale Normalverteilung Eine stetige Zufallsvariable (X, Y ) heißt zweidimensional normalverteilt mit Parametern µ 1, µ 2 R, σ 1, σ 2 R +, ρ < 1, falls für die Dichte f von (X, Y ) gilt [ 1 f(w, r) = 2πσ 1 σ exp 1 ( 1 (w µ1 ) ρ ρ 2 σ1 2 + (r µ 2) 2 σ2 2 2ρ (w µ )] (II.26) 1)(r µ 2 ) σ 1 σ 2 6 Randverteilung Vgl. auch Abschnitt I.6. Gegeben sei eine zweidimensionale Zufallsvariable (X, Y ) mit Verteilung P (X,Y ). Die Randverteilung von X ist gegeben durch von Y ist gegeben durch Ist die Zufallsvariable (X, Y ) diskret, so gilt: P 1 ([a, b]) =P (X [a, b], Y R) = P (X,Y ) ([a, b] R), a b (II.27) P 2 [c, d] =P (X R, Y [c, d]) = P (X,Y ) (R [c, d]), c d (II.28) P 1 (x) =P (X = x, Y R) = y j P (X,Y ) (x, y j ) (II.29) P 2 (y) =P (X R, Y = y) = x i P (X,Y ) (x i, y) (II.30) stetig mit Dichte f, so gilt P 1 ([a, b]) =P (X [a, b], Y R) = b a f(w, r)dr dw = } {{ } =:f 1 (w) b a f 1 (w)dw (II.31) P 2 ([c, d]) =P (X R, Y [c, d]) = d c f(w, r)dw dr = } {{ } =:f 2 (r) d c f 2 (r)dr (II.32) f 1 (bzw. f 2 ) heißt Dichte der Randverteilung P 1 (bzw. P 2 )

25 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE 20 7 Unabhängigkeit 7.1 Unabhängigkeit von Zufallsvariablen Gegeben sei eine zweidimensionale Zufallsvariable (X, Y ) mit gemeinsamer Verteilung P (X,Y ) und Randverteilungen P 1, P 2. X und Y sind unabhängig, wenn für alle a, b, c, d R mit a b, c d gilt P (X,Y ) ([a, b] [c, d]) = P 1 ([a, b])p 2 ([c, d]) (II.33) Ist die Zufallsvariable (X, Y ) diskret, so sind X und Y mit Werten x 1, x 2,... bzw. y 1, y 2,... unabhängig, falls gilt P (X,Y ) (x i, y j ) = P 1 (x i )P 2 (y j ) (II.34) stetig mit Dichte f, so sind X und Y unabhängig, falls gilt f(w, r) = f 1 (w)f 2 (r), w, r R (II.35) 7.2 Unabhängigkeit von Ereignissen Gegeben sei ein Wahrscheinlichkeitsraum (Ω, E, P ) und A, B E. Die Ereignisse A und B heißen unabhängig, falls gilt P (A B) = P (A)P (B) (II.36) 8 Bedingte Verteilung Gegeben sei eine diskrete Zufallsvariable (X, Y ) mit gemeinsamer Verteilung P (X,Y ). Die bedingte Verteilung von X gegeben y j ist definiert durch von Y gegeben x i ist definiert durch P (X = x i Y = y j ) = P (X,Y )(x i, y j ), i = 1, 2,... P 2 (y j ) P (Y = y j X = x i ) = P (X,Y )(x i, y j ), j = 1, 2,... P 1 (x i ) eine stetige Zufallsvariable (X, Y ) mit Dichte f. Die bedingte Dichte von X gegeben y ist definiert durch f(w y) = f(w, y) f 2 (y)

26 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE 21 von Y gegeben x ist definiert durch f(r x) = f(x, r) f 1 (x) und es gilt für a, b R, a b P (X [a, b] Y = y) = b a f(w y)dw (II.37) 9 Bedingte Wahrscheinlichkeit von Ereignissen Gegeben sei ein Wahrscheinlichkeitsraum (Ω, E, P ) und A, B E. Die bedingte Wahrscheinlichkeit von A gegeben B ist definiert durch P (A B) = P (A B) P (B) (II.38) 10 Satz von Bayes Für diskrete Zufallsvariablen (X, Y ) P (X = x i Y = y j ) = P (Y = y j X = x i )P (X = x i ), i = 1, 2,... P (Y = y j X = x l )P (X = x l ) l P (Y = y j X = x i ) = P (X = x i Y = y j )P (Y = y j ), j = 1, 2,... P (X = x i Y = y l )P (Y = y l ) l (II.39) stetige Zufallsvariablen (X, Y ) mit Dichte f f(w y) = f(y w)f 1(w) f(y w)f1 (w)dw f(r x) = f(x r)f 2(r) f(x r)f2 (r)dr (II.40) Ereignisse: Gegeben sei ein Wahrscheinlichkeitsraum (Ω, E, P ) mit A i E, n A i = Ω, A i A j = (i j). Dann gilt der Satz von der totalen Wahrscheinlichkeit P (B) = j P (B A j )P (A j ). (II.41) Für P (B) > 0 gilt P (A i B) = P (B A i)p (A i ) P (B) = P (B A i)p (A i ) P (B A j )P (A j ). j (II.42)

27 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE Momente eindimensionaler Zufallsvariablen 11.1 Erwartungswert Der Erwartungswert einer Zufallsvariablen X ist definiert als x i P X (x i ), falls X diskret i E(X) = xf(x)dx, falls X stetig (II.43) 11.2 Varianz und Standardabweichung Die Varianz einer Zufallsvariablen X ist definiert als (x i E(X)) 2 P X (x i ), falls X diskret Var(X) = σ 2 i (X) = (x E(X)) 2 f(x)dx, falls X stetig Die Standardabweichung ist definiert als σ(x) = σ 2 (X) (II.44) (II.45) 11.3 Eigenschaften der Momente E(X + Y ) = E(X) + E(Y ) E(a + bx) = a + be(x), a, b R E(XY ) = E(X)E(Y ), falls X, Y unabhängig σ 2 (X + Y ) = σ 2 (X) + σ 2 (Y ), falls X, Y unabhängig σ 2 (a + bx) = b 2 σ 2 (X), a, b R σ 2 (X) = E(X 2 ) (E(X)) 2 (II.46) (II.47) (II.48) (II.49) (II.50) (II.51) 11.4 Momente spezieller Verteilungen Verteilung von X E(X) Var(X) 1) Binomialverteilung B(n, p) np np(1 p) 2) Negative Binomialverteilung NB(k, p) k 1 p p k 1 p p 2 3) Hypergeometrische Verteilung H(L, M, n) n M L n M ( L 1 M L 4) Poissonverteilung Po(λ) λ λ a+b 5) Rechteckverteilung in [a, b], a < b 2 1 6) Exponentialverteilung Ex(λ) λ (b a) λ 2 7) Normalverteilung N(µ, σ 2 ) µ σ Quantile für Zufallsvariablen ) L n L 1 Ein α-quantil x α einer Zufallsvariablen X ist ein Wert, für den gilt P (X x α ) α und P (X x α ) 1 α (II.52)

28 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE Momente mehrdimensionaler Zufallsvariablen Gegeben sei eine n-dimensionale Zufallsvariable (X 1,..., X n ). Erwartungswert und Varianz der X i (1 i n) sind entsprechend Abschnitt II.11 bzgl. der Randverteilungen der X i definiert Kovarianz Die Kovarianz einer zweidimensionalen Zufallsvariable (X, Y ) ist definiert als cov(x, Y ) =E((X E(X))(Y E(Y ))) = E(XY ) E(X)E(Y ) (x i E(X))(y j E(Y ))P (X,Y ) (x i, y j ), falls (X,Y) diskret i j = (x E(X))(y E(Y ))f(x, y) dxdy, falls (X,Y) stetig (II.53) Sind X und Y unabhängig, dann ist cov(x, Y ) = 0. Analog ist cov(x i, X j ) für n-dimensionale Zufallsvariablen (X 1,..., X n ) definiert. Für beliebige Zufallsvariablen X und und Y gilt: Var(X + Y ) = Var(X) + Var(Y ) + 2cov(X, Y ) (II.54) 12.2 Korrelationskoeffizient Der Korrelationskoeffizient von (X, Y ) ist definiert als corr(x, Y ) = cov(x, Y ) Var(X)Var(Y ) (II.55) 12.3 Eigenschaften der Momente cov(x, Y ) = E(XY ) E(X)E(Y ) (II.56) cov(ax + b, cy + d) = ac cov(x, Y ), a, b, c, d R (II.57) cov(x + Y, Z) = cov(x, Z) + cov(y, Z) (II.58) corr(ax + b, cy + d) = corr(x, Y ), (II.59) a, b, c, d R und a, c gleiches Vorzeichen 12.4 Momente spezieller Verteilungen Die Zufallsvariable (X 1,..., X n ) sei multinomialverteilt. Dann gilt: E(X i ) = np i, 1 i n Var(X i ) = σ 2 (X i ) = np i (1 p i ), 1 i n cov(x i, X j ) = np i p j, 1 i n, 1 j n, i j

29 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE 24 Die Zufallsvariable (X, Y ) sei zweidimensional normalverteilt. Dann gilt E(X) = µ 1, E(Y ) = µ 2, Var(X) = σ1, 2 Var(Y ) = σ2, 2 corr(x, Y ) = ρ 13 Gesetz der großen Zahlen 13.1 Ungleichung von Tschebyscheff Sei X eine Zufallsvariable. Dann gilt für alle c > 0 die Ungleichung von Tschebyscheff: Folgerungen: P (X a) P ( X E(X) c) σ2 (X) c 2 (II.60) σ 2 (X), (für alle a > E(X)) (II.61) (a E(X)) 2 P ( X E(X) < kσ) 1 1, k = 1, 2,... (kσ Regel) (II.62) k Schwaches Gesetz der großen Zahlen Sei X 1,..., X n eine Folge unabhängig und identisch verteilter Zufallsvariablen mit E(X i ) = µ und sei S n = (II.63) Dann gilt für alle c > 0 : X i ( ) 1 P n S n µ > c 0 für n. (II.64) 14 Zentraler Grenzwertsatz (2 Versionen) a) Gegeben sei eine Folge X 1,..., X n unabhängig und identisch verteilter Zufallsvariablen mit E(X i ) = µ, Var(X i ) = σ 2 und sei S n wie in (II.63) definiert sowie Q n = S n nµ nσ. Dann gilt wobei P (Q n x) n Φ(x) für alle x, (II.65) Φ Verteilungsfunktion der Standardnormalverteilung.

30 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE 25 b) Gegeben sei eine Folge X 1,..., X n unabhängiger Zufallsvariablen, so daß für alle i die Werte von X i in [a, b], a, b R, liegen und es gelte Var( X i ) n. Dann gilt P ( ) S n E(S n ) Var(Sn ) x Φ(x), für alle x. (II.66) n 15 Hauptsatz der Statistik (Satz von Glivenko-Cantelli) Gegeben sei eine Zufallsvariable X mit Verteilungsfunktion F. Sind x 1,..., x n Realisationen von unabhängigen Wiederholungen der Zufallsvariablen X und bezeichnet F n die empirische Verteilungsfunktion zu x 1,..., x n, dann gilt für alle c > 0: ( ) P sup F n (x) F (x) c x R 1. n (II.67) 16 Formaler Zusammenhang zwischen deskriptiver Statistik und Wahrscheinlichkeitstheorie 16.1 Ein Merkmal Ausgehend von der in der deskriptiven Statistik betrachteten Grundgesamtheit G = {g 1,..., g n } betrachtet man den Wahrscheinlichkeitsraum (Ω, E, P ) mit Ω = G (vgl. Abschnitt II.1), wobei P (ω i ) = P (g i ) = 1 n, 1 i n. Gegeben sei ein Merkmal x mit den (verschiedenen) Ausprägungen {a 1,..., a k }. Bezeichnet x i die Merkmalsausprägung des Merkmalträgers g i Ω, 1 i n, bezüglich x, dann ist die Verteilung der Zufallsvariable X : Ω R (II.68) ω i x i gegeben durch P (X = a r ) = h r, 1 r k, (II.69) wobei gilt h r relative Häufigkeit von a r (vgl. Abschnitt I.2.1). Für die Verteilungsfunktion der Zufallsvariable X erhält man die empirische Verteilungsfunktion (vgl. (I.2.3)), denn es gilt: P (X x) = a j x P (X = a j ) = a j x h j (II.70)

31 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE 26 Und für Erwartungswert und Varianz von X folgt (vgl. (I.4) und (I.12)): k E(X) = a j P (X = a j ) = x (II.71) k Var(X) = (a j E(X)) 2 P (X = a j ) = 1 n (x i x) 2 = s 2 (II.72) 16.2 Randhäufigkeiten und bedingte Häufigkeiten Vgl. im folgenden Abschnitt I.6.1. Gegeben seien zwei Merkmale x, y mit den Ausprägungen x i {a 1,..., a k }, y i {b 1,..., b l }. Betrachtet wird der spezielle Wahrscheinlichkeitsraum aus II Neben der bereits definierten Zufallsvariable X wird die Zufallsvariable Y : Ω R ω i y i (II.73) betrachtet. Definiert man die zweidimensionale Zufallsvariable (X, Y ) : Ω R 2 ω i (X(ω i ), Y (ω i )) (II.74) und ist n rs Anzahl der Merkmalsträger, die gleichzeitig die Merkmalsausprägungen a r und b s aufweisen (1 r k, 1 s t), dann gilt für die gemeinsame Verteilung von (X, Y ) : P ((X, Y ) = (a r, b s )) = n rs n =: h rs, 1 r k, 1 s t (II.75) Die Randverteilung (vgl. (II.29), (II.30)) von X ist gegeben durch von Y ist gegeben durch P 1 (a r ) = P (X = a r, Y R) t = h rj = 1 t n rj =: h r., n 1 r k (II.76) P 2 (b s ) = P (X R, Y = b s ) k = h is = 1 k n is =: h.s, n 1 s t (II.77) In der deskriptiven Statistik werden h r. und h.s als relative Randhäufigkeiten bezeichnet. Entsprechend heißen n r. = t n rj und n.s = k n is absolute Randhäufigkeiten. Die bedingte Verteilung (vgl. Abschnitt II.8)

32 KAPITEL II. WAHRSCHEINLICHKEITSTHEORIE 27 von X bei festem b s ist definiert durch P (X = a r Y = b s ) = P (X = a r, Y = b s ) P 2 (b s ) = h rs h.s = n rs n.s, 1 r k (II.78) von Y bei festem a r ist definiert durch P (Y = b s X = a r ) = P (X = a r, Y = b s ) P 1 (a r ) = h rs h r. = n rs n r., 1 s t (II.79) (II.78) und (II.79) werden in der deskriptiven Statistik als bedingte Häufigkeiten bezeichnet. Zwei Merkmale x und y heißen unabhängig, falls gilt h rs = h r. h.s, 1 r k, 1 s t. (II.80) 16.3 Korrelationskoeffizient nach Bravais/Pearson Unter den Voraussetzungen des Abschnittes II.16.2 ist die Kovarianz von X und Y gegeben durch cov(x, Y ) = k t (a i x)(b j y)h ij = 1 n (x i x)(y i y). (II.81) In der deskriptiven Statistik bezeichnet man dies als empirische Kovarianz. Daraus erhält man den empirischen Korrelationskoeffizienten r xy = (x i x)(y i y). (II.82) (x i x) 2 n (y i y) 2 Es gilt: 1 r xy 1

33 Kapitel III Methoden der induktiven Statistik 1 Einfache Stichproben Gegeben sei ein Wahrscheinlichkeitsraum (Ω, E, P ). Eine Folge von unabhängigen, identisch verteilten Zufallsvariablen X 1,..., X n heißt einfache Stichprobe vom Umfang n. Sei g : R n R eine (meßbare) Funktion. Dann ist g(x 1,..., X n ): Ω R ω g(x 1 (ω),..., X n (ω)) eine Stichprobenfunktion. Der zugrundeliegende Wahrscheinlichkeitsraum wird in Kapitel III i.a. nicht explizit betrachtet. 2 Likelihood-Funktion Gegeben sei eine Zufallsvariable X mit der von einem (unbekannten) Parameter θ abhängigen Verteilung f(x θ). Ist X stetig, so bezeichnet f(x θ) die Dichte. Im Fall einer diskreten Verteilung bezeichne f(x θ) die diskrete Verteilung P (X = x θ). Dann heißt L(x 1,..., x n θ) = f(x 1 θ) f(x n θ) (III.1) Likelihood-Funktion. L(x 1,..., x n θ) ist ein Maß für die Wahrscheinlichkeit, x 1,..., x n zu beobachten, wenn der Parameter θ vorliegt. 3 Punktschätzungen Gegeben sei eine einfache Stichprobe X 1,..., X n und es gelte X i f(x θ). Eine Stichprobenfunktion g(x 1,..., X n ), die jeder Realisation x 1,..., x n einen Schätzwert für das unbekannte θ zuordnet, heißt Punktschätzung zum Schätzen von θ. 3.1 Maximum-Likelihood-Methode Wähle als Schätzwert für den unbekannten Parameter θ den Wert ˆθ, für den gilt L(x 1,..., x n ˆθ) L(x 1,..., x n θ), für alle θ. (III.2) 28

34 KAPITEL III. METHODEN DER INDUKTIVEN STATISTIK Erwartungstreue Punktschätzungen Eine Punktschätzung g(x 1,..., X n ) zum Schätzen von θ heißt erwartungstreu (unverzerrt) zum Schätzen von θ, falls gilt E(g(X 1,..., X n ) θ) = θ, für alle θ. (III.3) 3.3 Der mittlere quadratische Fehler Der mittlere quadratische Fehler (MSE) ist definiert als E((g(X 1,..., X n ) θ) 2 θ). (III.4) Es gilt E((g(X 1,..., X n ) θ) 2 θ) = Var(g(X 1,..., X n ) θ) + (E(g(X 1,..., X n ) θ) θ) 2. (III.5) Für erwartungstreue Schätzfunktionen gilt 3.4 Effizienz und Konsistenz E((g(X 1,..., X n ) θ) 2 θ) = Var(g(X 1,..., X n ) θ). Gegeben seien zwei erwartungstreue Punktschätzungen g 1, g 2 zum Schätzen von θ. g 1 heißt wirksamer als g 2, falls gilt: Var(g 1 (X 1,..., X n ) θ) Var(g 2 (X 1,..., X n ) θ) für alle θ und Var(g 1 (X 1,..., X n ) θ) < Var(g 2 (X 1,..., X n ) θ) für mindestens ein θ. g ist wirksamste (effiziente) Schätzfunktion, falls für alle erwartungstreuen Schätzfunktionen g gilt: Var(g(X 1,..., X n ) θ) Var(g (X 1,..., X n ) θ) für alle θ. Eine Folge von Punktschätzungen heißt konsistent, wenn gilt Satz: Der Stichprobenmittelwert P ( g n (X 1,..., X n ) θ c) n 0 für alle θ. g(x 1,..., X n ) = 1 n X i = X n (III.6) ist wirksamste erwartungstreue Punktschätzung zum Schätzen von θ = E(X). Die Stichprobenvarianz g(x 1,..., X n ) = 1 n 1 (X i X) 2 = S 2 (III.7) ist wirksamste erwartungstreue Punktschätzung zum Schätzen von θ = Var(X).

35 KAPITEL III. METHODEN DER INDUKTIVEN STATISTIK 30 4 Intervallschätzungen Gegeben sei eine einfache Stichprobe X 1,..., X n und es gelte X i f(x θ). Gesucht ist ein Verfahren, das ein möglichst kleines Intervall für den unbekannten Parameter θ liefert. Dabei soll die Wahrscheinlichkeit, mit der das verwendete Verfahren ein Intervall liefert, das den wahren Wert θ enthält, gleich einem vorgegebenen (hohen) Wert 1 α sein. Die Stichprobenfunktionen V u (X 1,..., X n ) und V o (X 1,..., X n ) bilden ein Konfidenzintervall [V u, V o ] zum Niveau 1 α, falls gilt 1) V u V o, 2) P (V u (X 1,..., X n ) θ V o (X 1,..., X n )) = 1 α. 4.1 Konfidenzintervall für den Erwartungswert einer normalverteilten Zufallsvariable bei bekannter Varianz Gegeben sei eine einfache Stichprobe X 1,..., X n mit X i N(θ, σ 2 ). Ein (1 α)-konfidenzintervall zum Schätzen von θ ist gegeben durch wobei V u (X 1,..., X n ) = X n z 1 α 2 σ n, V o (X 1,..., X n ) = X n + z 1 α 2 σ n, (III.8) z 1 α 2 (1 α 2 ) Fraktil der N(0, 1) Verteilung. 4.2 Konfidenzintervall für den Erwartungswert einer normalverteilten Zufallsvariable mit unbekannter Varianz Ist die Varianz σ 2 der Zufallsvariable X i aus Abschnitt III.4.1 unbekannt, dann ist ein (1 α)- Konfidenzintervall zum Schätzen von θ gegeben durch V u (X 1,..., X n ) = X n V o (X 1,..., X n ) = X n + S t (n 1) 1 α 2 n, S t (n 1) 1 α 2 n. (III.9) Dabei ist S = S 2, vgl. (III.7), sowie t (n 1) 1 α 2 (1 α ) Fraktil der t-verteilung mit n 1 Freiheitsgraden 2

36 KAPITEL III. METHODEN DER INDUKTIVEN STATISTIK Konfidenzintervall für den Parameter θ einer Binomialverteilung Gegeben sei eine einfache Stichprobe X 1,..., X n mit X i B(1, θ). Unter den Bedingungen nx(1 x) > 9 ist ein (1 α)-konfidenzintervall zum Schätzen von θ gegeben durch X n (1 X n ) V u (X 1,..., X n ) = X n z n 1 α, 2 (III.10) X n (1 X n ) V o (X 1,..., X n ) = X n + z n 1 α. 2 Die Länge des Konfidenzintervalls kann abgeschätzt werden durch V o V u 1 n z 1 α 2, (III.11) da X n [0, 1]. 4.4 Konfidenzintervall für den Erwartungswert ohne zusätzliche Verteilungsannahmen Gegeben sei eine einfache Stichprobe X 1,..., X n mit E(X i ) = θ. Für n 50 ist ein (1 α)- Konfidenzintervall zum Schätzen von θ gegeben durch Var(X) V u (X 1,..., X n ) = X n z n 1 α, 2 (III.12) Var(X) V o (X 1,..., X n ) = X n + z n 1 α. 2 Ist Var(X) unbekannt, so wird diese durch die Stichprobenvarianz aus (III.7) ersetzt. 4.5 Konfidenzintervall für die Varianz einer Normalverteilung Gegeben sei eine einfache Stichprobe X 1,..., X n mit X i N(µ, θ). Ein (1 α)-konfidenzintervall zum Schätzen von θ ist gegeben durch V u (X 1,..., X n ) = V o (X 1,..., X n ) = (n 1)S2, c 2 (n 1)S2. c 1 (III.13) Dabei sind S 2 wie in (III.7) definiert und c 1 = χ 2 α (n 1), α 2 -Fraktil einer χ2 -Verteilung mit (n 1) Freiheitsgraden, 2 c 2 = χ 2 (n 1),(1 α 2 ) (1 α 2 )-Fraktil einer χ2 -Verteilung mit (n 1) Freiheitsgraden,

37 KAPITEL III. METHODEN DER INDUKTIVEN STATISTIK 32 5 Anwendung: Erhebungsverfahren Gegeben sei eine Grundgesamtheit G = {g 1,..., g N } und ein Merkmal x. Ziel: Aussagen über µ = 1 N N x i, σ 2 = 1 N N (x i x) 2 Auf dem speziellen Wahrscheinlichkeitsraum aus Abschnitt II.16.1 sei die Zufallsvariable (II.66) definiert. Dann gilt E(X) = µ, Var(X) = σ 2. Gegeben sei eine einfache Stichprobe X 1,..., X n. Dann gilt E(X n ) = µ, Var(X n ) = σ2 n. X n ist erwartungstreu zum Schätzen von µ. Ein Schätzwert für µ ist x = 1 n und als einfache Hochrechnung bezeichnet man den Schätzwert Nx für N x i. Für n 50 können Konfidenzintervalle für µ berechnet werden (vgl. Abschnitt III.4.4) mit der Annahme X n sei normalverteilt. 6 Parametertest 6.1 Grundlagen Durch ein Testverfahren soll eine Hypothese über den unbekannten Verteilungsparameter bzw. den unbekannten Verteilungstyp einer Zufallsvariable geprüft werden. Dazu werden eine Nullhypothese H 0 (θ H 0 ) und eine Alternativhypothese H 1 (θ H 1 ) bezüglich des Parameterbereichs bzw. Verteilungstyps aufgestellt. Gegeben sei eine einfache Stichprobe X 1,..., X n mit X i f(x θ). Eine Stichprobenfunktion g(x 1,..., X n ) und eine Menge B R (Verwerfungsbereich) heißt Test zum Niveau α (0, 1), um H 0 gegen H 1 zu testen, falls gilt (i) Ist g(x 1,..., X n ) B, dann wird H 0 abgelehnt. (ii) Ist g(x 1,..., X n ) / B, dann wird H 0 nicht abgelehnt. (iii) P (g(x 1,..., X n ) B θ H 0 ) α. x i

38 KAPITEL III. METHODEN DER INDUKTIVEN STATISTIK 33 Mögliche Fehler: (i) Fehler 1. Art: Entscheidung gegen H 0, obwohl θ H 0 (ii) Fehler 2. Art: Keine Entscheidung gegen H 0, obwohl θ H 1 Ein Test g, B zum Niveau α (0, 1) heißt gleichmäßig bester Test, um H 0 gegen H 1 zu testen, wenn für alle anderen Tests (u. U. mit zusätzlichen Restriktionen) g, B zum Niveau α gilt P (g (X 1,..., X n ) / B θ H 1 ) P (g(x 1,..., X n ) / B θ H 1 ). 6.2 Tests für den Erwartungswert einer Normalverteilung bei bekannter Varianz Gegeben sei eine Stichprobe X 1,..., X n mit X i N(θ, σ 2 ). Möglichkeiten zur Aufstellung der Hypothesen: a) H 0 : θ µ 0 (bzw. θ = µ 0 ) gegen H 1 : θ > µ 0 b) H 0 : θ µ 0 (bzw. θ = µ 0 ) gegen H 1 : θ < µ 0 c) H 0 : θ = µ 0 gegen H 1 : θ µ 0 Gleichmäßig bester Test zum Niveau α (0, 1) ist g, B mit g(x 1,..., X n ) = X n µ 0 n σ (III.14) und Verwerfungsbereich (entsprechend den Hypothesen von oben): a) B =]z 1 α, [ b) B =], z 1 α [ c) B =], z 1 α 2 [ ]z 1 α 2, [ 6.3 Tests für den Erwartungswert einer Normalverteilung bei unbekannter Varianz Gegeben sei eine Zufallsvariable X mit X N(θ, σ 2 ), wobei σ 2 unbekannt ist. Analog zur Vorgehensweise bei den Konfidenzintervallen wird σ 2 ersetzt durch die Realisation von S 2 aus (III.7). Die Testverfahren entsprechen denen aus Abschnitt III.6.2, wobei die Fraktile der Normalverteilung z 1 α bzw. z 1 α 2 Freiheitsgraden: t (n 1) 1 α ersetzt werden durch die Fraktile der t-verteilung mit (n 1) bzw. t(n 1) 1 α 2.

39 KAPITEL III. METHODEN DER INDUKTIVEN STATISTIK Gütefunktion eines Tests Gegeben sei ein Test g, B zum Testen der Hypothese H 0 gegen H 1. Dann heißt h(θ) = P (g(x 1,..., X n ) B θ) (III.15) Gütefunktion des Tests. Für die Tests a), b) aus Abschnitt III.6.2 lautet die Gütefunktion: a) H 0 : θ µ 0, H 1 : θ > µ 0, α (0, 1) Dann gilt: ( h(θ) = 1 Φ z 1 α θ µ 0 σ n ) (III.16) Begrenzung des Fehlers 2. Art für θ µ 1 > µ 0 auf ein Niveau β durch folgende Wahl von n: ( ) z1 α z 2 β n σ (III.17) µ 1 µ 0 b) H 0 : θ µ 0, H 1 : θ < µ 0, α (0, 1) Dann gilt ( h(θ) = 1 Φ z 1 α + θ µ 0 σ n ) (III.18) Begrenzung des Fehlers 2. Art für θ µ 1 < µ 0 auf ein Niveau β durch geeignete Wahl von n gemäß (III.17). 7 Weitere Parametertests 7.1 Test für den Erwartungswert ohne Verteilungsannahmen Gegeben sei eine Stichprobe X 1,..., X n mit E(X i ) = θ. Unter der Bedingung n 50 ist der Test aus Abschnitt III.6.3 ein bester Test zum Niveau α. 7.2 Test für den Parameter einer Binomialverteilung Gegeben sei eine Stichprobe X 1,..., X n mit X i B(1, θ). Für α (0, 1) und µ 0 (0, 1) ist zu den Hypothesen a) H 0 : 0 θ µ 0 gegen H 1 : µ 0 < θ 1 b) H 0 : µ 0 θ 1 gegen H 1 : 0 θ < µ 0 c) H 0 : θ = µ 0 gegen H 1 : θ µ 0 ein bester Test zum Niveau α gegeben durch g(x 1,..., X n ) = X n µ 0 µ0 (1 µ 0 ) n (III.19) und

40 KAPITEL III. METHODEN DER INDUKTIVEN STATISTIK 35 a) B =]z 1 α, [ b) B =], z 1 α [ c) B =], z 1 α 2 [ ]z 1 α 2, [ Bedingungen: nx(1 x) > Test für die Varianz einer Normalverteilung Gegeben sei eine Stichprobe X 1,..., X n mit X i N(µ, θ) (µ ist unbekannt). Für α (0, 1) und a) H 0 : 0 θ σ 2 0 gegen H 1 : θ > σ 2 0 b) H 0 : θ σ 2 0 gegen H 1 : 0 θ < σ 2 0 ist ein bester Test zum Niveau α gegeben durch g(x 1,..., X n ) = (n 1)S2 σ 2 0 (III.20) und den Verwerfungsbereich a) B =]c 1, [, wobei c 1 = χ 2 (n 1),(1 α) (1 α)-fraktil einer χ 2 -Verteilung mit (n 1) Freiheitsgraden b) B =]0, c 2 [, wobei c 2 = χ 2 (n 1),α α-fraktil einer χ 2 -Verteilung mit (n 1) Freiheitsgraden 8 Zweistichproben-Tests Gegeben seien zwei einfache Stichproben X 1,..., X n und Y 1,..., Y m vom Umfang n bzw. m. Annahme: X ist von Y unabhängig. Seien θ X bzw. θ Y die unbekannten Erwartungswerte der X i bzw. Y j. 8.1 Normalverteilungsannahme Sei X i N(θ X, σ 2 X ), Y i N(θ Y, σ 2 Y ). σ2 X bzw. σ2 Y seien bekannt. Für α (0, 1) und a) H 0 : θ X = θ Y gegen H 1 : θ X θ Y b) H 0 : θ X θ Y gegen H 1 : θ X < θ Y c) H 0 : θ X θ Y gegen H 1 : θ X > θ Y ist ein bester Test zum Niveau α gegeben durch g(x 1,..., X n, Y 1,..., Y m ) = X n Y m σ 2 Xn + σ2 Ym (III.21) und Verwerfungsbereich

41 KAPITEL III. METHODEN DER INDUKTIVEN STATISTIK 36 a) B =], z 1 α 2 [ ]z 1 α 2, [ b) B =], z 1 α [ c) B =]z 1 α, [ 8.2 Ohne Verteilungsannahme Für die Hypothesen a) c) aus Abschnitt III.8.1 ist ein bester Test zum Niveau α gegeben durch g(x 1,..., X n, Y 1,..., Y m ) = X n Y m S 2 Xn + S2 Ym (III.22) und Ablehnungsbereiche wie in Abschnitt III Einfache Varianzanalyse Betrachtet werden die r Zufallsvariablen Z 1,..., Z r (r 3). Dazu seien eine einfache Stichprobe Z 11,..., Z 1n1 zu Z 1 vom Umfang n 1, eine einfache Stichprobe Z 21,..., Z 2n2 zu Z 2 vom Umfang n 2,... und eine einfache Stichprobe Z r1,..., Z rnr zu Z r vom Umfang n r gegeben. Alle Z ij seien unabhängig voneinander. Hypothesen: H 0 : µ 1 = µ 2 =... = µ r H 1 : Mindestens 2 Erwartungswerte sind verschieden. Ein Test zum Niveau α ist gegeben durch: SST (n r) Lehne H 0 ab, falls größer ist als F SSE (r 1) (r 1),(n r),(1 α) (das (1 α)-quantil einer F-Verteilung mit (r 1) und (n r) Freiheitsgraden). Dabei sind: SST = SSE = r n i (Z i Z) 2 r n i (Z ij Z i ) 2 Z i = 1 n i Z ij (1 i r) n i Z = 1 n r n i Z ij