Statistik I für Betriebswirte Vorlesung 13

Transkript

1 Statistik I für Betriebswirte Vorlesung 13 Dr. Andreas Wünsche TU Bergakademie Freiberg Institut für Stochastik 6. Juli 2017 Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

2 d) Klumpenstichproben Bisher wurde die Grundgesamtheit in Schichten unterteilt, die im Allgemeinen verschieden in Erwartungswerten und Varianzen sind. Jetzt betrachten wir eine Einteilung der Grundgesamtheit in M Klumpen, die jede für sich die Grundgesamtheit schon recht gut repräsentieren. Beispiel 3.2: Alter der Personen in Vierpersonenhaushalten Nr. Vater Mutter 1. Kind 2. Kind Klumpen Klumpen Klumpen Klumpen Schicht 1 Schicht 2 Weitere Beispiele für Klumpen sind: Bevölkerung in Kreisen für Bevölkerung in BRD, Studenten einer Uni für Studenten in BRD, usw. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

3 Auswertungen im Beispiel Gleichgültig, ob Schichten oder Klumpen: beides sind Zerlegungen der Grundgesamtheit, für die die Zerlegungsformeln für Erwartungswerte und Varianzen gelten, d.h. µ = M p i µ i ; σ 2 = M M p i σi 2 + p i (µ i µ) 2. i Vater Mutter 1. Kind 2. Kind µ i σi µ I = µ II = µ = σi 2 = 7.7 σii 2 = 17.1 σ2 = Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

4 Zufällige Auswahl der Klumpen Vorhanden seien M Klumpen. N i sei die Anzahl von Merkmalsträgern im Klumpen i, M N = sei der Umfang der kompletten Grundgesamtheit. N i Bei einer Klumpenstichprobe sollen zufällig m der M Klumpen so ausgewählt werden, dass die Wahrscheinlichkeit, dass Klumpen i ausgewählt wird gleich p i = N i (i = 1,..., M) ist. N Dann erfolgt eine Totalerhebung in den ausgewählten m Klumpen, d.h. die exakte Ermittlung des dortigen Mittelwertes µ i. Damit liegt auch hier wieder eine eingeschränkte Zufallsauswahl vor. Der Stichprobenumfang ist hier im Allgemeinen zufällig. Die Auswahl der m Klumpen kann zum Beispiel mit Hilfe von Zufallszahlen (ZZ) erfolgen. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

5 Schätzung von µ bei einer Klumpenstichprobe I Wir betrachten ein Untersuchungsmerkmal X und identifizeren dieses wieder mit einer Zufallsgröße (der Wert der Zufallsgröße entspricht dem Merkmalswert eines zufällig ausgewählten Merkmalsträgers). Zu schätzen ist der Erwartungswert EX = µ. Innerhalb der m ausgewählten Klumpen erfolgt eine Totalerhebung der Erwartungswert µ i = 1 N i x ij in einem ausgewählten N i Klumpen mit Index i j=1 kann exakt bestimmt werden. Es seien i 1,..., i m die Indizes der m ausgewählten Klumpen. Jeder ausgewählte Index i k kann als Realisierung einer Zufallsgröße I k betrachtet werden, die die Werte i = 1,..., M jeweils mit den Wahrscheinlichkeiten p i annimmt. Die Zufallsgrößen I k werden als unabhängig und identisch verteilt angenommen (gilt eigentlich nur bei Ziehen mit Zurücklegen). Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

6 Schätzung von µ bei einer Klumpenstichprobe II Der Mittelwert µ = EX wird geschätzt durch ˆµ = 1 m µ Ik. m k=1 Diese Schätzung ist unverzerrt (erwartungstreu), denn es gilt Eˆµ = 1 m m Eµ Ik = 1 m k=1 Für die Varianz der Schätzung gilt Varˆµ = 1 m m k=1 M p i µ i = 1 m M p i (µ i µ) 2. m µ = µ. k=1 Die Formel ist korrekt für eine Klumpenziehung mit Zurücklegen, eine Auswahl ohne Zurücklegen führt zu einer noch geringeren Varianz. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

7 Statistische Vorteile von Klumpenstichproben Klumpenstichproben sind häufig kostengünstiger als reine Zufallsstichproben vom gleichen Umfang (Reisekosten o.ä.). Bei statistischen Untersuchungen muss man berücksichtigen, dass eine Klumpenstichprobe im Allgemeinen einen zufälligen m Stichprobenumfang besitzt: n = N Ik. Daher beschränken wir uns beim Vergleich mit dem Fall einer reinen k=1 Zufallsauswahl auf den Spezialfall N i = N M = const, d.h. p i = 1 M, i = 1,..., M und einen Stichprobenumfang n = m N M. Für die reine Zufallsauswahl gilt wegen p i = 1 M ( VarX = σ2 n = Mσ2 Nm = 1 M ) M σi 2 + (µ i µ) 2. Nm Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

8 Vergleich Klumpenstichprobe und reine Zufallsauswahl I Für die Klumpenstichprobe (beim Ziehen mit Zurücklegen) gilt Varˆµ = 1 Mm M (µ i µ) 2. Zum Vergleich: exakte Formel beim Ziehen ohne Zurücklegen Varˆµ = M m M 1 1 Mm M (µ i µ) 2. Absoluter Klumpeneffekt (beim Ziehen mit Zurücklegen) VarX Varˆµ = 1 M ( 1 σi 2 + mn mn 1 ) M (µ i µ) 2 mm = 1 mn [ M ( ) M N σi 2 M 1 (µ i µ) 2 ]. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

9 Vergleich Klumpenstichprobe und reine Zufallsauswahl II Klumpenstichproben sind statistisch vorteilhafter als reine Zufallsstichproben, falls ( ) M N M 1 (µ i µ) 2 < M σi 2. Die Bedingung für einen positiven Klumpeneffekt ist auf jeden Fall erfüllt, falls alle Klumpenmittelwerte µ i gleich sind. Der Klumpeneffekt ist umso größer, je weniger die Mittelwerte µ i schwanken und je größer die Varianz innerhalb der Klumpen ist. Im Beispiel vom Anfang gelten M = 4, m = 1, N = 16 und VarX = Varˆµ = 1 2 = ; Varˆµ = (µ i µ) 2 = 2.41 ; ( σ 2 I + σii 2 ) = (geschichtete Stichprobe zum Vgl.) Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

10 3.2 Parameterschätzungen: Punktschätzungen Für alle theoretischen Aussagen wird im Weiteren eine mathematische Stichprobe X 1,..., X n vorausgesetzt. Eine der Grundaufgaben der schließenden Statistik besteht in der Schätzung unbekannter Verteilungsparameter, z.b. µ bzw. σ 2 bei einer Normalverteilung oder p bei einer Binomialverteilung. Im Weiteren werden ϑ als Bezeichnung des unbekannten Parameters und ˆϑ als Schätzung für den Parameter gewählt. Ein Punktschätzer ist eine Stichprobenfunktion: ˆϑ(X 1,.., X n ). Für die beobachtete Stichprobe kann man mit Hilfe dieser Stichprobenfunktion einen konreten Zahlenwert ˆϑ(x 1,.., x n ) die Punktschätzung (den geschätzten Wert für ϑ) errechnen. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

11 3.2.1 Punktschätzungen für allgemeine Parameter a) Schätzung des Erwartungswertes Der arithmetische Mittelwert X ist ein Punktschätzer für den Erwartungswert µ: ˆµ(X 1,..., X n ) = X = 1 n n X i. Der arithmetische Mittelwert X ist ein erwartungstreuer Schätzer für den Erwartungswert µ: Die Varianz des Schätzers ist: E(ˆµ(X 1,..., X n )) = EX = µ. Var(ˆµ(X 1,..., X n )) = VarX = σ2 n. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

12 Eigenschaften des arithmetischen Mittelwertes Damit liefert der arithmetische Mittelwert X eine gute Schätzvorschrift für µ, da der Erwartungswert von X gleich µ ist (sogenannte Erwartungstreue des Schätzers X ) und die Varianz von X mit wachsendem Stichprobenunfang n immer kleiner wird und für n gegen Null konvergiert. Man kann sogar zeigen, dass unter obigen Bedingungen ( ) 1 n P lim X i = µ = 1 n n gilt ( Gesetz der großen Zahlen, Konsistenz des Schätzers X ). Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

13 Wünschenswerte Eigenschaften von Punktschätzungen i) Erwartungstreue Die Schätzung ˆϑ heißt erwartungstreu oder unverzerrt, wenn der Erwartungswert des Schätzers gleich dem zu schätzenden Wert ist, d.h. wenn man im Mittel den Parameter richtig schätzt, E ˆϑ = ϑ. Gilt jedoch E ˆϑ ϑ, dann heißt der Schätzer ˆϑ verzerrt und die Differenz E ˆϑ ϑ heißt systematischer Fehler, Verzerrung oder Bias. Wird die Forderung E ˆϑ = ϑ dahingehend abgeschwächt, dass man nur fordert lim E ˆϑ = ϑ, n kommt man zu dem Begriff der asymptotisch erwartungstreuen Schätzung. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

14 Konsistenz einer Punktschätzung ii) Konsistenz Die Schätzung ˆϑ heißt konsistent, wenn sie mit wachsendem Stichprobenumfang n dem zu schätzenden Parameter immer näher kommt. Insbesondere heißt sie schwach konsistent, wenn für beliebige ε > 0 gilt lim P( ˆϑ ϑ ε) = 1. n Hinreichend dafür sind zum Beispiel die Bedingungen ˆϑ ist (asymptotisch) erwartungstreu und lim Var ˆϑ = 0. n Beispiel: Wegen VarX = σ2 ist für eine Zufallsgröße mit n endlicher Varianz σ 2 das Stichprobenmittel X ein schwach konsistenter Schätzer für den Erwartungswert EX. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

15 Optimalität iii) Optimalität Eine weitere wünschenswerte Eigenschaft einer Schätzung ist ihre Optimalität. Dies besagt, dass die Schätzung in einer Menge von möglichen Schätzungen auf bestimmte Art und Weise optimal ist, zum Beispiel die geringste Varianz besitzt. Beispiel: Für eine Zufallsgröße X mit endlicher Varianz ist das Stichprobenmittel X derjenige lineare erwartungstreue Schätzer für den Erwartungswert EX, der die kleinste Varianz besitzt ( BLUE, best linear unbiased estimator ). Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

16 Schätzung einer (unbekannten) Wahrscheinlichkeit p In n unabhängigen Versuchen tritt das Ereignis A ein oder nicht. Die Eitrittswahrscheinlichkeit ist P(A) = p. Damit ist X i { 1 : falls A im i-ten Versuch eintritt X i := 0 : sonst Bernoulli-verteilt mit Parameter p = P(A) = P(X i = 1). Der Erwartungswert ist: µ = EX i = p. H(A) = n X i - absolute Häufigkeit des Ereignisses A. i = 1,..., n, Die relative Häufigkeit des Ereignisse A ist eine Punktschätzung für die (unbekannte) Wahrscheinlichkeit p = P(A): ˆp(X 1,..., X n ) = ˆµ(X 1,..., X n ) = 1 n X i = H(A). n n Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

17 b) Schätzung der Varianz Die empirische Varianz S 2 ist ein Punktschätzer für die σ 2 : ˆσ 2 (X 1,..., X n ) = S 2 = 1 n 1 n (X i X ) 2. Die empirische Varianz S 2 ist ein erwartungstreuer Schätzer für die Varianz σ 2 : Die Schätzfunktion 1 n ES 2 = σ 2. n ( Xn X ) 2 ist im Gegensatz dazu nur eine verzerrte Schätzung der Varianz. Sie ist jedoch eine asymptotisch erwartungstreue Schätzung der Varianz σ 2. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

18 c) Schätzung des Medians Ausgehend von der geordneten mathematischen Stichprobe X (1) X (2)... X (n) kann der Median geschätzt werden. Der Stichprobenmedian ist eine Punktschätzung für den Median Median(X ) = X X n+1 2 ), falls n ungerade, = (, falls n gerade. 1 2 X ( n 2) + X ( n 2 +1) ) Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

19 3.2.2 Schätzungen Parameter spezieller Verteilungen a) Normalverteilung Beispiel: Es sei X i iid. mit X i N(µ, σ 2 ) i = 1,..., n. X ein Schätzer für µ, d.h. ˆµ = X mit Schätzwert ˆµ(x 1,..., x n ) = x = 1 n n x i ; die Stichprobenvarianz S 2 ein Schätzer für σ 2, d.h. ˆσ2 = S 2 mit Schätzwert ˆσ 2 (x 1,..., x n ) = s 2 = 1 n 1 n (x i x) 2. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

20 b) weitere Verteilungen Es sei X i iid. i = 1,..., n mit: Exponentialverteilung: X i Exp(λ) ˆλ = 1 x. Stetige Gleichverteilung: X i U[0, a] Bournoulliverteilung: â = n + 1 n n max x i = n + 1 x n (n). X i B(p) ˆp = x = Poissonverteilung: X i Poi(λ) n ˆλ = x. x i n. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

21 3.2.3 Weitere Schätzungen a) Schätzung der Quantile Ausgehend von der geordneten mathematischen Stichprobe X (1) X (2)... X (n) kann das p-quantil geschätzt werden. Das Stichprobenquantil der Ordnung p (0 < p < 1) X p = X (k), falls np nicht ganzzahlig: ( ) X(k) + X (k+1), k ist die auf np folgende ganze Zahl, falls np ganzzahlig: k = np. 1 2 Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

22 b) Die empirische Verteilungsfunktion Für eine konkrete Stichprobe x 1,..., x n empirische Verteilungsfunktion durch kann man die zugehörige definieren. ˆF n (x) = Anzahl der Stichprobenwerte < x, x R, n Dann kann man unter der klassischen Voraussetzung der Stichprobenentnahme zeigen, dass mit Wahrscheinlichkeit 1 die Folge dieser empirischen Verteilungsfunktionen gegen die Verteilungsfunktion der Merkmalszufallsgröße X konvergiert. Somit kann jede mögliche Wahrscheinlichkeitsverteilung eines beobachteten Merkmals mit gewünschter Genauigkeit erkannt werden, wenn man eine genügend große Stichprobe mit unabhängigen und identisch verteilten Stichprobenwerten zieht. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

23 Beispiel für empirische Verteilungsfunktion X i N(10, 4) i = 1,... n, F Xi - VF und ˆF n - emp. VF. Empirische Verteilungsfunktion n= Dr. Andreas Wünsche Statistik I für BetriebswirtexVorlesung 13 Version: 7. Juli

24 Beispiel für empirische Verteilungsfunktion II X i N(10, 4) i = 1,... n, F Xi - VF und ˆF n - emp. VF. Empirische Verteilungsfunktion n= Dr. Andreas Wünsche Statistik I für BetriebswirtexVorlesung 13 Version: 7. Juli

25 Beispiel für empirische Verteilungsfunktion III X i N(10, 4) i = 1,... n, F Xi - VF und ˆF n - emp. VF. Empirische Verteilungsfunktion n= Dr. Andreas Wünsche Statistik I für BetriebswirtexVorlesung 13 Version: 7. Juli

26 c) Schätzung der Dichtefunktion Eine einfache Schätzung der Dichtefunktion erhält man durch ein Histogramm. Dabei müssen die Höhen der Rechtecke so normiert werden, dass der Gesamtflächeninhalt unter allen Rechtecken gleich 1 ist. Sind ist von der Stichprobe X 1,..., X n die Verteilung bis auf die Parameter bekannt und schätzt man diese aus der Stichprobe, so kann man damit die Dichtefunktion bestimmen. Man spricht dabei auch von einer parametrischen Dichteschätzung. Eine nichtparametrische Dichteschätzung erhält man z.b. durch Kerndichteschätzer. Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

27 Dichtschätzung durch Histogramm X i N(10, 4) i = 1, Dichteschätzung durch Histogramm 0.30 emp. Dichte theor. Dichte Dichte x Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

28 Parametrische Dichtschätzung X i N(10, 4) i = 1, , ˆµ = x = und ˆσ 2 = s 2 = Parametrische Dichteschätzung 0.25 emp. Dichte theor. Dichte y x Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli

29 Nichtparametrische Dichtschätzung X i N(10, 4) i = 1, Nichtparametrische Dichteschätzung 0.25 emp. Dichte theor. Dichte y x1 Dr. Andreas Wünsche Statistik I für Betriebswirte Vorlesung 13 Version: 7. Juli