2 Induktive Statistik

Transkript

1 Induktive Statistik

2 .1 Grundprinzipien der induktiven Statistik.1 Grundprinzipien der induktiven Statistik Ziel: Inferenzschluss, Repräsentationsschluss: Schluss von einer Stichprobe auf Eigenschaften der Grundgesamtheit, aus der sie stammt. Von Interesse sei ein Merkmal X in der Grundgesamtheit Ω. Ziehe eine Stichprobe (ω 1,..., ω n ) von Elementen aus Ω und werte X jeweils aus. Man erhält Werte x 1,..., x n. Diese sind Realisationen der i.i.d Zufallsvariablen oder Zufallselemente X 1,..., X n, wobei die Wahrscheinlichkeitsverteilung der X 1,..., X n genau die Häufigkeitsverhältnisse in der Grundgesamtheit widerspiegelt. Induktive Statistik 1

3 .1 Grundprinzipien der induktiven Statistik Deduktion wahre Verhältnisse in Gg Induktion (Wahrscheinlichkeitstheorie) gegeben: wahre Wskverteilung P i.i.d. Berechnung Zufallsvariable X 1,..., X n P gesucht: P (X 1 = x 1,..., X n = x n ) für alle möglichen Realisationen x 1,..., x n (Statistik) gesucht: Repräsentationsschluss Inferenzschluss gegeben: x 1,..., x n eine konkrete Realisation Induktive Statistik 13

4 .1 Grundprinzipien der induktiven Statistik Die Frage lautet also: wie kommt man von Realisationen x 1,..., x n X 1,..., X n auf die Verteilung der X i? von i.i.d. Zufallsvariablen Dazu nimmt man häufig an, man kenne den Grundtyp der Verteilung der X 1,..., X n. Unbekannt seien nur einzelne Parameter davon. Beispiel: X i sei normalverteilt, unbekannt seien nur µ, σ. = parametrische Verteilungsannahme (meist im Folgenden) Alternativ: Verteilungstyp nicht oder nur schwach festgelegt (z.b. symmetrische Verteilung) = nichtparametrische Modelle Klarerweise gilt im Allgemeinen (generelles Problem bei der Modellierung): Parametrische Modelle liefern schärfere Aussagen wenn ihre Annahmen zutreffen. Wenn ihre Annahmen nicht zutreffen, dann existiert die große Gefahr von Fehlschlüssen. Induktive Statistik 14

5 .1 Grundprinzipien der induktiven Statistik Wichtige Fragestellungen der induktiven Statistik: Treffe mittels der Auswertung einer Zufallsstichprobe möglichst gute/genaue Aussagen über bestimmte Charakteristika der Grundgesamtheit. Welche Charakteristika sind für die Fragestellung relevant? Natürlich werden für die Inferenz bezüglich des Erwartungswerts andere Methoden als für Schlüsse über die Varianz benötigt. verschiedene Formen: Punktschätzung: z.b. wahrer Anteil Intervallschätzung: z.b. wahrer Anteil liegt zwischen 0.46 und 0.48 Hypothesentest: Die Annahme, der Anteil liegt höchstens bei 50% kann nicht aufrecht erhalten werden Was heißt gut? Festlegung von Gütekriterien (Genauigkeit? Wahrscheinlichkeit eines Fehlers gering?) Wie konstruiert man ein gutes/optimales Verfahren? Sicherheitsstellung der Objektivität der statistischen Analyse. Jeder wendet das beste Verfahren an gleiche Auswertung Induktive Statistik 15

6 . Punktschätzung. Punktschätzung Ziel: Finde einen möglichst guten Schätzwert für eine bestimmte Kenngröße ϑ (Parameter) der Grundgesamtheit, z.b. den wahren Anteil der rot/grün-wähler, den wahren Mittelwert, die wahre Varianz, aber auch z.b. das wahre Maximum (Windgeschwindigkeit)...1 Schätzfunktionen Gegeben sei die in Kapitel.1 beschriebene Situation, also eine i.i.d. Stichprobe X 1,..., X n Merkmales X. eines Definition.1. Sei X 1,..., X n i.i.d. Stichprobe. Eine Funktion heißt Schätzer oder Schätzfunktion. T = g(x 1,..., X n ) Inhaltlich ist g( ) eine Auswertungsregel der Stichprobe: Welche Werte sich auch in der Stichprobe ergeben, ich wende das durch g( ) beschriebene Verfahren auf sie an.(z.b. Mittelwert) Induktive Statistik 16

7 . Punktschätzung Typische Beispiele für Schätzfunktionen: 1. Arithmetisches Mittel der Stichprobe: X = g(x 1,..., X n ) = 1 n X i Für binäre, dummy-kodierte X i ist X auch die relative Häufigkeit des Auftretens von X i = 1 in der Stichprobe. Stichprobenvarianz: S = g(x 1,..., X n ) = 1 n (X i X) = 1 n X i ( X) Induktive Statistik 17

8 . Punktschätzung 3. Korrigierte Stichprobenvarianz: S = g(x 1,..., X n ) = 1 n 1 (X i X) = 1 ( ) X i n 1 n X 4. Größter Stichprobenwert: 5. Kleinster Stichprobenwert: X (n) = g(x 1,..., X n ) = max,...,n X i X (1) = g(x 1,..., X n )) = min,...,n X i Induktive Statistik 18

9 . Punktschätzung Schätzfunktion und Schätzwert: Da X 1,..., X n zufällig sind, ist auch die Schätzfunktion T = g(x 1,..., X n ) zufällig. Zieht man mehrere Stichproben, so erhält man jeweils andere Realisationen von X 1,..., X n, und damit auch von T. Die Realisation t (konkreter Wert) der Zufallsvariable T (Variable) heißt Schätzwert. X 1,... X n Zufallsvariable T = g(x 1,..., X n ) x 1,... x n Realisationen t = g(x 1,..., x n ) Man hat in der Praxis meist nur eine konkrete Stichprobe und damit auch nur einen konkreten Wert t von T. Zur Beurteilung der mathematischen Eigenschaften werden aber alle denkbaren Stichproben und die zugehörigen Realisationen der Schätzfunktion T herangezogen. D.h. beurteilt wird nicht der einzelne Schätzwert als solcher, sondern die Schätzfunktion, als Methode, d.h. als Regel zur Berechnung des Schätzwerts aus der Stichprobe. Andere Notation in der Literatur: ˆϑ Schätzer für ϑ. Dabei wird nicht mehr direkt unterschieden zwischen Zufallsvariable (bei uns Großbuchstaben) und Realisation (bei uns klein). = Schreibe ˆϑ(X 1,..., X n ) bzw. ˆϑ(x 1,..., x n ) wenn die Unterscheidung benötigt wird. Induktive Statistik 19

10 . Punktschätzung Bsp... Durchschnittliche Anzahl der Statistikbücher in einer Grundgesamtheit von Studenten schätzen. Grundgesamtheit: Drei Personen Ω = { ω 1, ω, ω 3 }. Merkmal X: Anzahl der Statistikbücher X( ω 1 ) = 3 X( ω ) = 1 X( ω3 ) =. Wahrer Durchschnittswert: µ =. Stichprobe X 1, X ohne Zurücklegen (Stichprobenumfang n = ): X 1 = X(ω 1 ) X = X(ω ) wobei ω 1 erste gezogene Person, ω zweite gezogene Person. Induktive Statistik 0

11 . Punktschätzung Betrachte folgende möglichen Schätzer: T 1 = g 1 (X 1, X ) = X = X 1 + X T = X 1 T 3 = g(x 1, X ) = 3 X () = 3 max(x 1, X ) Induktive Statistik 1

12 . Punktschätzung Zur Beurteilung: Alle möglichen Stichproben (vom Umfang n =, ohne Zurücklegen) betrachten: Personen in Nummer der Stichprobe Realisationen von der Stichprobe X 1 X T 1 T T 3 1 ω 1, ω ω 1, ω ω, ω ω, ω ω 3, ω ω 3, ω Induktive Statistik

13 . Punktschätzung.. Gütekriterien Beurteile die Schätzfunktionen, also das Verfahren an sich, nicht den einzelnen Schätzwert. bei komplexeren Schätzproblemen sind klar festgelegten Güteeigenschaften wichtig. Besonders Natürlich ist auch zu Beginn genau festzulegen, was geschätzt werden soll. Im Folgenden sei der Parameter ϑ stets eine eindimensionale Kenngröße der Grundgesamtheit (z.b. Mittelwert, Varianz, Maximum) Der Punkt ist, dass T zufällig ist; der Wert schwankt mit der konkreten Stichprobe. Man kann also nicht erwarten, dass man immer den richtigen Wert trifft. Die Beurteilung der Güte des Schätzers bezieht sich auf Kenngrößen seiner Verteilung (v.a. Erwartungswert und Varianz) Induktive Statistik 3

14 . Punktschätzung Erwartungstreue, Bias: Gegeben sei eine Stichprobe X 1,..., X n und eine Schätzfunktion T = g(x 1,..., X n ) (mit existierendem Erwartungswert). T heißt erwartungstreu für den Parameter ϑ, falls gilt für alle ϑ. Die Größe E ϑ (T ) = ϑ Bias ϑ (T ) = E ϑ (T ) ϑ heißt Bias (oder Verzerrung) der Schätzfunktion. Erwartungstreue Schätzfunktionen haben per Definition einen Bias von 0. Man schreibt E ϑ (T ) und Bias ϑ (T ), um deutlich zu machen, dass die Größen von dem wahren ϑ abhängen. Induktive Statistik 4

15 . Punktschätzung Bsp..3. [Fortsetzung des Beispiels] Nehmen Sie an, die Stichprobenziehung sei gemäß einer reinen Zufallsauswahl erfolgt, d.h. jede Stichprobe hat dieselbe Wahrscheinlichkeit gezogen zu werden (hier 1 6 ). Sind die oben betrachteten Schätzfunktionen T 1, T, T 3 erwartungstreu? Für die Träger T i von T i, i = 1,, 3 gilt: T 1 = {1.5,,.5} T = {1,, 3} T 3 = {1. 3, } Bei T 1 gilt: P ({T 1 = 1.5}) = P ({T 1 = }) = P ({T 1 =.5}) = 6 = 1 3 Bei T gilt: P ({T = 1}) = P ({T = }) = P ({T = 3}) = 6 = 1 3 Bei T 3 gilt: P ({T 3 = 1.5}) = 6 = 1 3 ; P ({T 3 = 3}) = 4 6 = 3 Induktive Statistik 5

16 . Punktschätzung und damit bei ϑ = µ = E (T 1 ) = t 1 P ({T 1 = t 1 }) = 1 ( ) = 3 t 1 T 1 In der Tat gilt allgemein: Das arithmetische Mittel ist erwartungstreu für den Erwartungswert. E (T ) = t P ({T = t }) = 1 ( ) = 3 t T Wieder gilt allgemein: Einzelne Stichprobenvariablen ergeben erwartungstreue Schätzer für den Erwartungswert. E (T 3 ) = T 3 ist also nicht erwartungstreu. Es gilt t 3 T 3 t 3 P ({T 3 = t 3 }) = = 16 9 Bias(T 3 ) = E (T 3 ) = = 9 Induktive Statistik 6

17 . Punktschätzung Bias und Erwartungstreue bei einigen typischen Schätzfunktionen Das arithmetische Mittel X = 1 n n X i ist erwartungstreu für den Mittelwert µ einer Grundgesamtheit: Aus X 1,..., X n i.i.d. und E µ (X 1 ) = E µ (X ) =... = µ folgt: ( ) E( X) 1 = E µ X i = 1 ( ) n n E µ X i = 1 n = 1 n E(X i ) µ = 1 n n µ = µ Sei σ die Varianz in der Grundgesamtheit. Es gilt also ist S nicht erwartungstreu für σ. E σ ( S ) = n 1 n σ, Bias σ ( S ) = n 1 n σ σ = 1 n σ Induktive Statistik 7

18 . Punktschätzung (Für n geht Bias σ ( S ) gegen 0, S ist asymptotisch erwartungstreu.) Für die korrigierte Stichprobenvarianz gilt dagegen: E σ (S ) = E σ ( 1 n 1 ) (X i X) ( 1 = E σ n 1 n n ( ) n = E σ n 1 S ) (X i X) = n n 1 n 1 n σ = σ Also ist S erwartungstreu für σ. Diese Eigenschaft ist auch die Motivation für die Korrektur der Stichprobenvarianz. Vorsicht: Im Allgemeinen gilt für beliebige, nichtlineare Funktionen g Eg(X) g(e(x)). Man kann also nicht einfach z.b. und E vertauschen. In der Tat gilt: S ist zwar erwartungstreu für σ, aber S ist nicht erwartungstreu für σ = σ. Induktive Statistik 8

19 . Punktschätzung Bsp..4. [Wahlumfrage] Gegeben sei eine Stichprobe der wahlberechtigten Bundesbürger. Geben Sie einen erwartungstreuen Schätzer des Anteils der rot-grün Wähler an. Grundgesamtheit: Dichotomes Merkmal X = 1 rot/grün: ja 0 rot/grün: nein Der Mittelwert π von X ist der Anteil der rot/grün-wähler in der Grundgesamtheit. Stichprobe X 1,..., X n vom Umfang n: 1 i-te Person wählt rot/grün X i = 0 sonst Induktive Statistik 9

20 . Punktschätzung Aus den Überlegungen zum arithmetischen Mittel folgt, dass X = 1 n X i ein erwartungstreuer Schätzer für den hier betrachteten Parameter π ist. Also verwendet man die relative Häufigkeit in der Stichprobe, um den wahren Anteil π in der Grundgesamtheit zu schätzen. Induktive Statistik 30

21 . Punktschätzung Bedeutung der Erwartungstreue: Erwartungstreue ist ein schwaches Kriterium! Betrachte die offensichtlich unsinnige Schätzfunktion T = g (X 1,..., X n ) = X 1, d.h. T = 100%, falls der erste Befragte rot-grün wählt und T = 0% sonst. Die Schätzfunktion ignoriert fast alle Daten, ist aber erwartungtreu: E(T ) = E(X 1 ) = µ Deshalb betrachtet man zusätzlich die Effizienz eines Schätzers, s.u. Induktive Statistik 31

22 . Punktschätzung..3 Effizienz Beispiel Wahlumfrage: Gegeben sind zwei erwartungstreue Schätzer (n sei gerade): T 1 = 1 n X i T = 1 n/ n/ X i Was unterscheidet formal T 1 von dem unsinnigen Schätzer T, der die in der Stichprobe enthaltene Information nicht vollständig ausnutzt? Vergleiche die Schätzer über ihre Varianz, nicht nur über den Erwartungswert! Induktive Statistik 3

23 . Punktschätzung Wenn n so groß ist, dass der zentrale Grenzwertsatz angewendet werden kann, dann gilt approximativ 1 n (X i π) π(1 π) = X i n π n π(1 π) = 1 X i π n π(1 π) N (0; 1) n und damit Analog kann man zeigen: T 1 = 1 n T = 1 n/ X i N n/ X i N ( π; ( π, ) π(1 π). n ) π(1 π). n/ T 1 und T sind approximativ normalverteilt, wobei T 1 eine deutlich kleinere Varianz als T hat. T 1 und T treffen beide im Durchschnitt den richtigen Wert π. T 1 schwankt aber weniger um das wahre π, ist also im Durchschnitt genauer. Induktive Statistik 33

24 . Punktschätzung Andere Interpretation: Dichte von T 1 Dichte von T π π π + Für jeden Punkt π + > π ist damit P (T 1 > π + ) < P (T > π + ) und für jeden Punkt π < π ist P (T 1 < π ) < P (T < π ). Induktive Statistik 34

25 . Punktschätzung Es ist also die Wahrscheinlichkeit, mindestens um π + π bzw. π π daneben zu liegen, bei T stets größer als bei T 1. Umgekehrt gesagt: Ein konkreter Wert ist damit verlässlicher, wenn er von T 1, als wenn er von T stammt. Diese Überlegung gilt ganz allgemein: Ein erwartungstreuer Schätzer ist umso besser, je kleiner seine Varianz ist. Var(T ) = Erwartete quadratische Abweichung von T von E(T ) }{{} =ϑ! Je kleiner die Varianz, umso mehr konzentriert sich die Verteilung eines erwartungstreuen Schätzers um den wahren Wert. Dies ist umso wichtiger, da der Schätzer den wahren Wert i.a. nur selten exakt trifft. Induktive Statistik 35

26 . Punktschätzung Effizienz: Gegeben seien zwei erwartungstreue Schätzfunktionen T 1 und T für einen Parameter ϑ. Gilt und so heißt T 1 effizienter als T. Var ϑ (T 1 ) Var ϑ (T ) für alle ϑ Var ϑ (T 1 ) < Var ϑ (T ) für mindestens ein ϑ Eine für ϑ erwartungstreue Schätzfunktion T heißt UMVU-Schätzfunktion für ϑ (uniformly minimum v ariance unbiased), falls Var ϑ (T ) Var ϑ (T ) für alle ϑ und für alle erwartungstreuen Schätzfunktionen T. Induktive Statistik 36

27 . Punktschätzung Bem..5. Inhaltliche Bemerkung: Der (tiefere) Sinn von Optimalitätskriterien wird klassischerweise insbesondere auch in der Gewährleistung von Objektivität gesehen. Ohne wissenschaftlichen Konsens darüber, welcher Schätzer in welcher Situation zu wählen ist, wäre die Auswertung einer Stichprobe willkürlich und der Manipulation Tür und Tor geöffnet. Allerdings gibt es wirkliche Eindeutigkeit nur bei idealen, sauberen Daten. Z.B. sind ausreißerunempfindliche Verfahren bei idealen Daten weniger effizient, haben aber den Vorteil, stabiler bei kleinen Abweichungen von den Verteilungsannahmen zu sein. Ist X 1,..., X n eine i.i.d. Stichprobe mit X i N (µ, σ ), dann ist X UMVU-Schätzfunktion für µ und S UMVU-Schätzfunktion für σ. Ist X 1,..., X n mit X i {0, 1} eine i.i.d. Stichprobe mit π = P (X i = 1), dann ist die relative Häufigkeit X UMVU-Schätzfunktion für π. Bei nicht erwartungstreuen Schätzern macht es keinen Sinn, sich ausschließlich auf die Varianz zu konzentrieren. Z.B. hat der unsinnige Schätzer T = g(x 1,..., X n ) = 4, der die Stichprobe nicht beachtet, Varianz 0. Induktive Statistik 37

28 . Punktschätzung Man zieht dann den sogenannten Mean Squared Error zur Beurteilung heran. Es gilt MSE ϑ (T ) := E ϑ (T ϑ) MSE ϑ (T ) = Var ϑ (T ) + (Bias ϑ (T )). Der MSE kann als Kompromiss zwischen zwei Auffassungen von Präzision gesehen werden: möglichst geringe systematische Verzerrung (Bias) und möglichst geringe Schwankung (Varianz). Induktive Statistik 38

29 . Punktschätzung..4 Asymptotische Gütekriterien Asymptotische Erwartungstreue * Eine Schätzfunktion heißt asymptotisch erwartungstreu, falls bzw. gelten. lim E(ˆθ) = θ n lim Bias(ˆθ) = 0 n * Abschwächung des Begriffs der Erwartungstreue: Gilt nur noch bei einer unendlich großen Stichprobe. * Erwartungstreue Schätzer sind auch asymptotisch erwartungstreu. * Sowohl S als auch S sind asymptotisch erwartungstreu. Für komplexere Modelle ist oft die Erwartungstreue der Verfahren ein zu restriktives Kriterium. Man fordert deshalb oft nur, dass sich der Schätzer wenigstens für große Stichproben gut verhält. Hierzu gibt es v.a. zwei verwandte aber etwas unterschiedliche Kriterien. Induktive Statistik 39

30 . Punktschätzung Ein Schätzer heißt MSE-konsistent oder konsistent im quadratischen Mittel, wenn gilt Beispiel: Der MSE von X ist gegeben durch lim (MSE(T )) = 0. n MSE( X) = Var( X) + Bias ( X) = σ n + 0 = σ n 0. X ist also ein MSE-konsistente Schäter für den Erwartungswert. Anschaulich bedeutet die Konsistenz, dass sich die Verteilung des Schätzers für wachsenden Stichprobenumfang n immer stärker beim richtigen Wert zusammenzieht. Er trifft also für unendlich große Stichproben praktische sicher den wahren Wert. (Dies gilt als eine Minimalanforderung an statistische Verfahren.) Induktive Statistik 40

31 . Punktschätzung..5 Konstruktionsprinzipien guter Schätzer Die Methode der kleinsten Quadrate = Regressionsanalyse Das Maximum-Likelihood-Prinzip Aufgabe: Schätze den Parameter ϑ eines parametrischen Modells anhand einer i.i.d. Stichprobe X 1,..., X n mit der konkreten Realisation x 1,..., x n. Idee der Maximium-Likelihood (ML) Schätzung für diskrete Verteilungen: Man kann für jedes ϑ die Wahrscheinlichkeit ausrechnen, genau die Stichprobe x 1,..., x n erhalten: n P ϑ (X 1 = x 1, X = x,..., X n = x n ) = P ϑ (X i = x i ) Je größer für ein gegebenes ϑ 0 die Wahrscheinlichkeit ist, die konkrete Stichprobe erhalten zu haben, umso plausibler ist es, dass tatsächlich ϑ 0 der wahre Wert ist (gute Übereinstimmung zwischen Modell und Daten). zu Induktive Statistik 41

32 . Punktschätzung Bsp..6. I.i.d. Stichprobe vom Umfang n = 5 aus einer B(10, π)-verteilung: Wahrscheinlichkeit der Stichprobe für gegebenes π: P (X 1 = 6,..., X 5 = 4 π) = P (X 1 = 6 π)... P (X 5 = 4 π) = ( 10 ) ( 10 ) π 6 (1 π) 4... π 4 (1 π) P (... π) Wahrscheinlichkeit, wenn π der wahre Parameter ist Induktive Statistik 4

33 . Punktschätzung Wahrscheinlichkeit für einige Werte von π: π P (X 1 = 6,..., X 5 = 4 π) Man nennt daher L(ϑ) = P ϑ (X 1 = x 1,..., X n = x n ), nun als Funktion von ϑ gesehen, die Likelihood (deutsch: Plausibilität, Mutmaßlichkeit) von ϑ gegeben die Realisation x 1,..., x n. Derjenige Wert ˆϑ = ˆϑ(x 1,..., x n ), der L(ϑ) maximiert, heißt Maximum-Likelihood-Schätzwert; die zugehörige Schätzfunktion T (X 1,..., X n ) Maximum-Likelihood-Schätzer (siehe genauer Definition.8). Induktive Statistik 43

34 . Punktschätzung Bem..7. Zwei Sichtweisen auf P ϑ (X 1 = x 1,..., X n = x n ) : Deduktiv (Wahrscheinlichkeitsrechnung): ϑ bekannt, X 1,..., X n zufällig ( unbekannt ). Induktiv (Statistik): ϑ unbekannt, x 1,..., x n bekannt. Deduktiv Induktiv geg: Parameter bekannt ges: Plausibilität des Parameters P ϑ (X 1 = x 1,..., X n = x n ) Funktion von x 1,..., x n bei festem ϑ P ϑ (X 1 = x 1,..., X n = x n ) Funktion von ϑ bei festem x 1,..., x n ges: Wskt von Beobachtungen geg: Beobachtung bekannt Induktive Statistik 44

35 . Punktschätzung Für stetige Verteilungen gilt P ϑ (X 1 = x 1, X = x,..., X n = x n ) = 0 für beliebige Werte ϑ. In diesem Fall verwendet man die Dichte f ϑ (x 1,..., x n ) = n f ϑ (x i ) als Maß für die Plausibilität von ϑ. Für die praktische Berechnung maximiert man statt der Likelihood typischerweise die Log-Likelihood l(ϑ) = ln(l(ϑ)) = ln n P ϑ (X i = x i ) = ln P ϑ (X i = x i ) bzw. l(ϑ) = ln n f ϑ (x i ) = ln f ϑ (x i ). Dies liefert denselben Schätzwert ˆϑ und erspart beim Differenzieren die Anwendung der Produktregel. Der Logarithmus ist streng monoton wachsend. Allgemein gilt für streng monoton wachsende Funktionen g: x 0 Stelle des Maximums von L(x) x 0 auch Stelle des Maximums von g(l(x)). Induktive Statistik 45

36 . Punktschätzung Definition.8. Gegeben sei die Realisation x 1,..., x n einer i.i.d. Stichprobe. Die Funktion in ϑ n P ϑ (X i = x i ) falls X i diskret L(ϑ) = n f ϑ (x i ) falls X i stetig. heißt Likelihood des Parameters ϑ bei der Beobachtung x 1,..., x n. Derjenige Wert ˆϑ = ˆϑ(x 1,..., x n ), der L(ϑ) maximiert, heißt Maximum-Likelihood-Schätzwert; die zugehörige Schätzfunktion T (X 1,..., X n ) Maximum-Likelihood-Schätzer. Induktive Statistik 46

37 . Punktschätzung Bsp..9. X i = 1 falls Rot/Grün 0 sonst Verteilung der X i : Binomialverteilung B(1, π) (Bernoulliverteilung) P (X i = 1) = π P (X i = 0) = 1 π P (X i = x i ) = π xi (1 π) 1 x i, x i {0; 1}. Hier ist π der unbekannte Parameter, der allgemein mit ϑ bezeichnet wird. Induktive Statistik 47

38 . Punktschätzung Likelihood: L(π) = P (X 1 = x 1,..., X n = x n ) = n π x i (1 π) 1 x i = π x i (1 π)n x i Logarithmierte Likelihood: l(π) = ln(p (X 1 = x 1,..., X n = x n )) = x i ln(π) + (n x i ) ln(1 π) Ableiten (nach π): π l(π) = π x i + n 1 π x i ( 1) Induktive Statistik 48

39 . Punktschätzung Nullsetzen und nach π auflösen ergibt: π l(π) = 0 x i n x i π = 1 π (1 π) x i = n π π x i x i = n π also ˆπ = Also ist X der Maximum-Likelihood-Schätzer für π. n x i Induktive Statistik 49

40 . Punktschätzung ML-Schätzung bei Normalverteilung 1. Schritt: Bestimme die Likelihoodfunktion L(µ, σ ) = = n 1 π(σ ) 1 1 π n (σ ) n exp exp ( ( 1 ) σ (x i µ) 1 σ ) (x i µ). Schritt: Bestimme die Log-Likelihoodfunktion l(µ, σ ) = ln(l(µ, σ )) = ln(1) n ln(π) n ln(σ ) 1 σ (x i µ) Induktive Statistik 50

41 . Punktschätzung 3. Schritt: Ableiten und Nullsetzen der Loglikelihoodfunktion l(µ, σ ) µ l(µ, σ ) = 1 σ σ = n (x i µ) = 0 1 σ + 1 (σ ) 4. Schritt: Auflösen der beiden Gleichungen nach µ und σ Aus der ersten Gleichung erhalten wir (x i µ) = 0 x i nµ = 0 also ˆµ = x. Aus der zweiten Gleichung erhalten wir durch Einsetzen von ˆµ = x (x i x) = nσ also ˆσ = 1 n (x i x) Induktive Statistik 51

42 . Punktschätzung Fazit: Der ML-Schätzer ˆµ = X für µ stimmt mit dem üblichen Schätzer für den Erwartungswert überein. Der ML-Schätzer ˆσ = S für σ ist verzerrt, d.h. nicht erwartungstreu. Bem..10. [Einige allgemeine Eigenschaften von ML-Schätzern] ML-Schätzer ˆθ sind im Allgemeinen nicht erwartungstreu. ML-Schätzer ˆθ sind asymptotisch erwartungstreu. ML-Schätzer ˆθ sind konsistent (und meist in einem asymptotischen Sinne effizient). Induktive Statistik 5

43 .3 Intervallschätzung.3 Intervallschätzung.3.1 Motivation und Hinführung Bsp..11. [Wahlumfrage] Der wahre Anteil der rot-grün Wähler 009 war genau 33.7%. Wie groß ist die Wahrscheinlichkeit, in einer Zufallsstichprobe von 1000 Personen genau einen relativen Anteil von 33.7% von rot-grün Anhängern erhalten zu haben? X i = 1, rot/grün 0, sonst P (X i = 1) = π = X = X i B(n, π) mit n = 1000 Induktive Statistik 53

44 .3 Intervallschätzung P (X = 337) = ( n π x) (1 π) n x = ( 1000 ) ( ) = D.h., mit Wahrscheinlichkeit von etwa 97.3%, verfehlt der Schätzer den wahren Wert. Hat man ein stetiges Merkmal, so ist sogar P ( X = a) = 0 für jedes a, d.h. der wahre Wert wird mit Wahrscheinlichkeit 1 verfehlt. Induktive Statistik 54

45 .3 Intervallschätzung Schaut man genauer nach: Es gab gültige Zweitstimmen für SPD und Grüne von insgesamt gültigen Zweitstimmen. Da = ( ist prim), kann der wahre Anteil von / nur in einer Stichprobe mindestens vom Umfang gefunden werden. In einer Stichprobe vom Umfang 1000 ist die Wahrscheinlichkeit, einen Anteil von exakt / zu erhalten, 0. Angenommen, man hätte eine Stichprobe vom Umfang Dann ist die Wahrscheinlichkeit, exakt rot-grün Wähler in der Stichprobe zu haben: P (X = ) = ( ) ( ) ( ) = = Induktive Statistik 55

46 .3 Intervallschätzung Konsequenzen: Insbesondere Vorsicht bei der Interpretation knapper Ergebnisse (z.b. Anteil 50.%) Suche Schätzer mit möglichst kleiner Varianz, um im Durchschnitt möglichst nahe dran zu sein Es ist häufig auch gar nicht nötig, sich genau auf einen Wert festzulegen. Oft reicht die Angabe eines Intervalls, von dem man hofft, dass es den wahren Wert überdeckt: Intervallschätzung Symmetrische Intervallschätzung basierend auf einer Schätzfunktion T = g(x 1,..., X n ): I(T ) = [T a, T + a] Induktive Statistik 56

47 .3 Intervallschätzung Trade off bei der Wahl von a: Je größer man a wählt, also je breiter man das Intervall I(T ) macht, umso größer ist die Wahrscheinlichkeit, dass I(T ) den wahren Wert überdeckt, aber umso weniger aussagekräftig ist dann die Schätzung. Extremfall im Wahlbeispiel: I(T ) = [0, 1] überdeckt sicher π, macht aber eine wertlose Aussage. Wie soll man a wählen? Typisches Vorgehen: Man gebe sich durch inhaltliche Überlegungen einen Sicherheitsgrad (Konfidenzniveau) γ vor. Dann konstruiert man das Intervall so, dass es mindestens mit der Wahrscheinlichkeit γ den wahren Parameter überdeckt. Induktive Statistik 57

48 .3 Intervallschätzung.3. Definition von Konfidenzintervallen: Gegeben sei eine i.i.d. Stichprobe X 1,..., X n zur Schätzung eines Parameters ϑ und eine Zahl γ (0; 1). Ein zufälliges Intervall C(X 1,..., X n ) heißt Konfidenzintervall zum Sicherheitsgrad γ (Konfidenzniveau γ), falls für jedes ϑ gilt: Bem..1. P ϑ (ϑ C(X 1,..., X n ) ) γ. }{{} zufälliges Intervall Die Wahrscheinlichkeitsaussage bezieht sich auf das Ereignis, dass das zufällige Intervall den festen, wahren Parameter überdeckt. Streng genommen darf man im objektivistischen Verständnis von Wahrscheinlichkeit nicht von der Wahrscheinlichkeit sprechen, dass ϑ in dem Intervall liegt, da ϑ nicht zufällig ist und somit keine Wahrscheinlichkeitsverteilung besitzt. Ein Zurückziehen auf subjektive Wahrscheinlichkeiten führt aber auch Widersprüche. Typischerweise konstruiert man Konfidenzintervalle symmetrisch um einen Schätzer T. Es sind aber auch manchmal z.b. einseitige Konfidenzintervalle der Form [ X, X + b] sinnvoll. Induktive Statistik 58

49 .3 Intervallschätzung.3.3 Konstruktion von Konfidenzintervallen Für die Konstruktion praktische Vorgehensweise: Suche Zufallsvariable Z ϑ, die den gesuchten Parameter ϑ enthält und deren Verteilung aber nicht mehr von dem Parameter abhängt, ( Pivotgröße, dt. Angelpunkt). Dann wähle den Bereich C Z so, dass P ϑ (Z ϑ C Z ) = γ und löse nach ϑ auf. Induktive Statistik 59

50 .3 Intervallschätzung Konfidenzintervall für den Mittelwert eines normalverteilten Merkmals bei bekannter Varianz: X 1,..., X n i.i.d. Stichprobe gemäß X i N (µ, σ ), wobei σ bekannt sei. Starte mit der Verteilung von X: X N (µ, σ /n). Dann erfüllt Z = X µ σ n N (0; 1) die obigen Bedingungen an eine Pivotgröße. Bestimme jetzt einen Bereich [ z, z], wobei z so gewählt sei, dass P (Z [ z; z]) = γ Induktive Statistik 60

51 .3 Intervallschätzung 1 γ γ -z 0 z 1 γ Bestimmung von z: beziehungsweise P (Z [ z; z]) = γ P (Z z) = 1 γ P (Z z) = 1 1 γ = 1 + γ = 1 + γ. Der entsprechende Wert lässt sich aus der Tabelle der Standardnormalverteilung ablesen. Typische Beispiele: Induktive Statistik 61

52 .3 Intervallschätzung γ = 90% γ = 95% γ = 99% 1 + γ 1 + γ 1 + γ = 95% z = 1.65 = 97.5% z = 1.96 = 99.5% z =.58 Die Größe z heißt das 1+γ -Quantil und wird mit z 1+γ bezeichnet. Damit gilt also P ( z 1+γ Z µ z 1+γ ) = P ( z 1+γ X µ σ z 1+γ ) = γ Induktive Statistik 6

53 .3 Intervallschätzung Jetzt nach µ auflösen P (... µ...): γ = P ( z 1+γ n σ X µ z 1+γ σ ) n = P ( X z 1+γ σ µ X + n z 1+γ σ ) n = P ( X σ µ X + n z 1+γ z 1+γ σ ) n Damit ergibt sich das Konfidenzintervall [ X σ, X + n z 1+γ z 1+γ σ ] = n [ X ± σ ] n z 1+γ Induktive Statistik 63

54 .3 Intervallschätzung Ceterisparibus-Analyse : Alle Größen bis auf eine festhalten, diese variieren. Bem..13. Je größer σ, desto größer das Intervall! (Größeres σ Grundgesamtheit bezüglich des betrachteten Merkmals heterogener, also größere Streuung von X ungenauere Aussagen.) Je größer γ, desto größer z 1+γ (Je mehr Sicherheit/Vorsicht desto breiter das Intervall) Je größer n und damit n, desto schmaler ist das Intervall (Je größer der Stichprobenumfang ist, desto genauer!) Aufpassen, die Genauigkeit nimmt nur mit n zu. Halbierung des Intervalls, Vervierfachung des Stichprobenumfangs. Kann man zur Stichprobenplanung verwenden! Induktive Statistik 64

55 .3 Intervallschätzung Konfidenzintervall für den Mittelwert eines normalverteilten Merkmals bei unbekannter Varianz: Neben dem Erwartungswert ist auch σ unbekannt und muss entsprechend durch den UMVU-Schätzer S = 1 n 1 (X i X), (mit S = S ) geschätzt werden. Allerdings ist Z = X µ S n jetzt nicht mehr normalverteilt, denn S ist zufällig. Wir führen deshalb ein neues Verteilungsmodell ein. Induktive Statistik 65

56 .3 Intervallschätzung t-verteilung: Gegeben sei eine i.i.d. Stichprobe X 1,..., X n mit X i N (µ, σ ). Dann heißt die Verteilung von Z = X µ S n t-verteilung (oder Student-Verteilung) mit ν = n 1 Freiheitsgraden. In Zeichen: Z t(ν). Wichtige Werte der t-verteilung sind tabelliert. Angegeben sind, für verschiedene δ, die Lösung t δ der Gleichung P (Z t (ν) δ ) = δ, wobei t (ν) δ von der Anzahl ν der Freiheitsgrade abhängt. t δ ist das δ-quantil der entsprechenden t-verteilung (analog zu z δ als Quantil der Standardnormalverteilung). Die Dichte einer t-verteilung ist der Dichte der Standardnormalverteilung sehr ähnlich: Sie ist auch symmetrisch um 0, besitzt aber etwas höhere Dichte für extreme Werte ( schwerere Enden ). Induktive Statistik 66

57 .3 Intervallschätzung f(x) x ( ) ( ) ( ) ( ) Dichten von t-verteilungen für ν = 1 ( ), = ( ), = 5 (- - -) und = 0 ( ) Freiheitsgrade. Induktive Statistik 67

58 .3 Intervallschätzung Je größer ν ist, umso ähnlicher sind sich die t(ν)-verteilung und die Standardnormalverteilung. Für ν sind sie gleich, ab ν = 30 gilt der Unterschied als vernachlässigbar. Je größer n, desto geringer ist der Unterschied zwischen S und σ und damit zwischen X µ n und X µ σ n. Konfidenzintervall zum Konfidenzniveau γ: Ausgehend von ( P t (n 1) 1+γ X µ n ) t (n 1) 1+γ S wie im Beispiel mit bekannter Varianz nach µ auflösen (mit S statt σ) P X t (n 1) 1+γ S µ X + n t (n 1) 1+γ = γ S = γ n S Damit ergibt sich das Konfidenzintervall X ± S n t (n 1) 1+γ Induktive Statistik 68

59 .3 Intervallschätzung Bem..14. Es gelten analoge Aussagen zum Stichprobenumfang und Konfidenzniveau wie bei bekannter Varianz. Für jedes γ (und jedes ν) gilt t 1+γ > z 1+γ also ist das t-verteilungs-konfidenzintervall (etwas) breiter. Da σ unbekannt ist, muss es geschätzt werden. Dies führt zu etwas größerer Ungenauigkeit. Je größer ν, umso kleiner ist der Unterschied. Für n 30 rechnet man einfach auch bei der t-verteilung mit z 1+γ. Induktive Statistik 69

60 .3 Intervallschätzung Bsp..15. Eine Maschine füllt Gummibärchen in Tüten ab, die laut Aufdruck 50g Füllgewicht versprechen. Wir nehmen im folgenden an, dass das Füllgewicht normalverteilt ist. Bei 16 zufällig aus der Produktion herausgegriffenen Tüten wird ein mittleres Füllgewicht von 45g und eine Stichprobenstreuung (Standardabweichung) von 10g festgestellt. a) Berechnen Sie ein Konfidenzintervall für das mittlere Füllgewicht zum Sicherheitsniveau von 95%. b) Wenn Ihnen zusätzlich bekannt würde, dass die Stichprobenstreuung gleich der tatsächlichen Streuung ist, wäre dann das unter a) zu berechnende Konfidenzintervall für das mittlere Füllgewicht breiter oder schmäler? Begründen Sie ihre Antwort ohne Rechnung. Induktive Statistik 70

61 .3 Intervallschätzung Füllgewicht normalverteilt. (µ = 50g nicht benötigt) 16 Tüten gezogen n = 16. Mittleres Füllgewicht in der Stichprobe: x = 45g. Stichprobenstreuung: s = 10g. zu a) Konstruktion des Konfidenzintervalls: Da die Varianz σ unbekannt ist, muss das Konfidenzintervall basierend auf der t-verteilung konstruiert werden: [ X ± t 1+γ (n 1) S n ] Aus dem Sicherheitsniveau γ = 0.95 errechnet sich 1+γ = Nachschauen in t-tabelle bei und 15 Freiheitsgraden (T = X µ S n ist t-verteilt mit n-1 Freiheitsgeraden) liefert t =.13. Einsetzen liefert damit [45 ± ] = [39.675; 50.35] 4 zu b) Jetzt sei σ bekannt. Dann kann man mit dem Normalverteilungs-Intervall rechnen: [ X ± z 1+γ σ n ] Induktive Statistik 71

62 .3 Intervallschätzung Da jetzt σ bekannt, ist die Unsicherheit geringer und damit das Konfidenzintervall schmaler. In der Tat ist z 1+γ < t 1+γ. Rechnerisch ergibt sich mit z 1+γ = 1.96 das Konfidenzintervall [40.100; ] Induktive Statistik 7

63 .3 Intervallschätzung Bsp..16. [Klausurergebnisse (Fiktives Beispiel)] i punkte i punkte i punkte i punkte i punkte i punkte Mittelwert und Varianz der Grundgesamtheit (alle 35 Klausuren): ˆµ = punkte = 1.81 ˆσ = s punkte = 7.56 Wir ziehen insgesamt 80 Stichproben vom Umfang n = 5, n = 10, n = 0, n = 35 und bestimmen Konfidenzintervalle zum Niveau 95%. Induktive Statistik 73

64 .3 Intervallschätzung 95% KI s, Stichprobenumfang n= Stichprobe % KI s, Stichprobenumfang n=10 95% KI s, Stichprobenumfang n= Stichprobe Stichprobe Punktzahl der Klausur Statistik I: Konfidenzintervalle 95% KI s, Stichprobenumfang für 80 Stichproben n=35 mit jeweiligem Stichprobenumfang n = 5 (oben) und n = 0 (unten). Induktive Statistik 74

65 5 10 Statistik II für Studierende der Soziologie und Nebenfachstudierende.3 Intervallschätzung Stichprobe 95% KI s, Stichprobenumfang n= Stichprobe Punktzahl der Klausur Statistik I: Konfidenzintervalle für 80 Stichproben mit jeweiligem Stichprobenumfang n = 35. Induktive Statistik 75

66 .3 Intervallschätzung 95% KI s, Stichprobenumfang n= Stichprobe 95% KI s, 95% Stichprobenumfang KI s, Stichprobenumfang n=5, Varianz n=10bekannt Stichprobe Punktzahl der Klausur Statistik I: Konfidenzintervalle für 80 Stichproben mit Stichprobenumfang n = 5. Oben ist die Varianz unbekannt, unten als bekannt vorausgesetzt. Induktive Statistik 76

67 .3 Intervallschätzung Ergebnis: Die Breite der Konfidenzintervalle nimmt mit wachsendem n ab. Nicht alle Konfidenzintervalle enthalten den wahren Mittelwert µ = 3.1 (per Konstruktion mit Wahrscheinlichkeit 5%). Die Intervalle mit bekannter Varianz sind im Mittel enger. Die Intervalle mit bekannter Varianz sind immer gleich lang. Induktive Statistik 77

68 .3 Intervallschätzung Approximative Konfidenzintervalle: Ist der Stichprobenumfang groß genug, so kann wegen des zentralen Grenzwertsatzes das Normalverteilungs-Konfidenzintervall auf den Erwartungswert beliebiger Merkmale (mit existierender Varianz) angewendet werden. Man erhält approximative Konfidenzintervalle, die meist auch der Berechnung mit Software zugrundeliegen Beispiel: Konfidenzintervall für den Anteil π: Seien X 1,..., X n i.i.d. mit 1 X i =, P (X i = 1) = π. 0 E(X i ) = π Var(X i ) = π (1 π) und approximativ für großes n: E( X) = π Var( X) = π (1 π) n X π π (1 π) n N (0, 1) Induktive Statistik 78

69 .3 Intervallschätzung π im Zähler: unbekannter Anteil = interessierender Parameter π im Nenner: unbekannte Varianz von X; schätzen, indem X für π eingesetzt wird im Nenner π(1 π) n γ P = P z 1+γ X z1+γ X π X(1 X) n z 1+γ X(1 X) n π X + z 1+γ X(1 X) n und damit das Konfidenzintervall X(1 X) X ± z1+γ n Bsp..17. [Wahlumfrage] Seien n = 500, X = 46.5% und γ = 95%. z 1+γ = 1.96 Induktive Statistik 79

70 .3 Intervallschätzung Konfidenzintervall: X ± z1+γ X(1 X) = n ± ( ) 500 = [0.41; 0.508] Inhaltliche Bemerkung Man beachte die relativ große Breite, trotz immerhin mittelgroßer Stichprobe Zum Sicherheitsniveau 95% ist keine eindeutige Aussage über die Mehrheitsverhältnisse möglich. Berücksichtigen, wenn man über Wahlumfrage urteilt In der Praxis sind aber Wahlumfragen etwas genauer, da man Zusatzinformation verwendet (insbesondere auch frühere Wahlergebnisse) Gebundene Hochrechnung Induktive Statistik 80