Einführung in die Induktive Statistik: Schätzen von Parametern und Verteilungen

Transkript

1 Einführung in die Induktive Statistik: Schätzen von Parametern und Verteilungen Jan Gertheiss LMU München Sommersemester 2011 Vielen Dank an Christian Heumann für das Überlassen von TEX-Code!

2 Inhalt Stichproben Parameterchätzer und ihre Eigenschaften Konstruktion von Schätzfunktionen Konfidenzintervalle Nichtparametrische Dichteschätzung

3 Zufällige Stichproben Wir unterscheiden: Zufällige Stichproben (Definition folgt.) Nichtzufällige Stichproben, wie zum Beispiel Auswahl aufs Geratewohl, Quotenverfahren, typische Fälle (Medizin) Nur zufällige Stichproben ermöglichen Rückschlüsse im Sinne von Wahrscheinlichkeitsaussagen.

4 Zufällige Stichproben Grundbegriffe X Merkmal bzw. Zufallsvariable Grundsätzlich zwei Typen von Stichproben : Fall A: G konkrete (endliche) Grundgesamtheit mit N Elementen; daraus werden n Elemente zufällig gezogen. X i die Zufallsvariable, die angibt, welchen Wert von X das i-te Element in der Auswahl (Stichprobe) haben wird, i = 1,..., n. Situation vor der Ziehung. x i beobachteter Wert von X beim i-ten Element, d.h. Realisierung von X i. Situation nach der Ziehung.

5 Zufällige Stichproben Grundbegriffe Fall B: Ein Zufallsvorgang wird n-mal wiederholt. X i ist die Zufallsvariable, die angibt, welchen Wert X beim i-ten Versuch annehmen wird. Situation vor Durchführung des Zufallsvorgangs. x i der beim i-ten Versuch beobachtete Wert von X. Situation nach Durchführung des Zufallsvorgangs. In beiden Fällen: X 1,..., X n Stichprobenvariablen für X x 1,..., x n Stichprobenwerte oder (beobachtete) Stichprobe n Stichprobenumfang

6 Zufällige Stichproben Grundbegriffe Situation in induktiver Statistik: Verteilung von X nicht oder nicht vollständig bekannt. Ziel: Schätzen der Verteilung oder von Parametern der Verteilung. Fall A: Verteilung gleich der Verteilung von X in Grundgesamtheit, kurz: Verteilung der Grundgesamtheit Fall B: Verteilung der Zufallsvariable

7 Zufällige Stichproben Grundbegriffe Im Fall A: G = {1,..., j,..., N}, ξ j Ausprägung (Wert) des Merkmals X für j G. Häufigkeitsverteilung/Verteilungsfunktion von X in G: F G (x) = 1 N [ Anzahl der Elemente j mit ξ j x] = empirische Verteilung zu ξ 1,..., ξ j,..., ξ N = diskrete Verteilung

8 Zufällige Stichproben Grundbegriffe Bei großem N betrachtet man oft eine Modellverteilung für X, mit Verteilungsfunktion F (x). Im Sinne eines Modells stimmt F im Allgemeinen nicht exakt, sondern nur approximativ mit F G überein: F (x) F G (x) Falls Abweichung vernachlässigbar, wird gesetzt. F (x)! = F G (x)

9 Zufällige Stichproben Grundbegriffe Für Fall A bzw. B: Verteilung von X und Verteilung der Grundgesamtheit identisch. Für Fall A: E(X ) = µ = 1 N N ξ j = ξ j=1 Var(X ) = σ 2 = 1 N N (ξ j ξ) 2 j=1 Für Fall B: µ, σ 2 lassen sich nur als Verteilungsparameter von X auffassen

10 Zufällige Stichproben Grundbegriffe Spezialfall: X dichotom (binär) Fall B: X = { 1, A tritt ein 0, Ā tritt ein Fall A: ξ j = j = 1,..., N. π = P(X = 1) = P(A), X B(1, π) µ = π, σ 2 = π(1 π) { 1, Element j G hat Eigenschaft A, 0, Element j G hat Eigenschaft A nicht, µ = π = 1 N N j=1 ξ j

11 Zufällige Stichproben Grundbegriffe N (ξ j π) 2 = j=1 = N N ξj 2 2π j=1 N j=1 ξ j j=1 ξ j + Nπ 2 ξ2 j =ξ j = 2πNπ + Nπ 2 = }{{} Nπ = Nπ Nπ 2 = Nπ(1 π) σ 2 = Var(X ) = π(1 π) = 1 N Also: A und B passen für µ, σ 2 exakt zusammen. N (ξ j π) 2 j=1

12 Zufällige Stichproben Grundbegriffe Identisch und/oder unabhängig verteilte Stichproben Stichprobe heißt identisch verteilt (oder einfach): Stichprobenvariablen X 1,..., X n sind identisch wie X verteilt. Stichprobe heißt unabhängig: X 1,..., X n unabhängig. X 1,..., X n u.i.v./i.i.d. wie X verteilt: Stichprobe identisch und unabhängig verteilt (independent and identically distributed). Fall B: Wird Zufallsvorgang für X n-mal unabhängig wiederholt. X 1,..., X n i.i.d. wie X F (x). Fall A: Ob eine einfache und/oder unabhängige Stichprobe vorliegt, hängt vom Auswahlverfahren ab, siehe später. In jedem Fall gilt: Falls ohne Zurücklegen gezogen wird, sind X 1,..., X n voneinander abhängig. Bei Ziehen mit Zurücklegen: X 1,..., X n unabhängig als sinnvolle Annahme (vgl. Urnenmodell).

13 Zufällige Stichproben Rein zufällige Stichproben aus endlichen Grundgesamtheiten Erinnerung: Nur Zufallsstichproben erlauben induktive Schlüsse mit Wahrscheinlichkeitstheorie. Einige nichtzufällige Stichproben: Auswahl aufs Geratewohl, Experten -Auswahl, Quotenverfahren,... Reine (oder uneingeschränkte) Zufallsstichprobe mit Zurücklegen: Einzelne Ziehungen sind voneinander unabhängig. Jedes Element hat bei jeder Ziehung dieselbe Wahrscheinlichkeit 1 N gezogen zu werden. Es gilt: Eine reine Zufallsstichprobe mit Zurücklegen ist eine identisch und unabhängig verteilte Stichprobe, d.h. X 1,..., X n i.i.d. wie X.

14 Zufällige Stichproben Rein zufällige Stichproben aus endlichen Grundgesamtheiten Reine Zufallsstichprobe ohne Zurücklegen: n-mal ohne Zurücklegen ziehen Falls nacheinander gezogen wird, hat nach jeder Ziehung eines Elements jedes noch in der Grundgesamtheit vorhandene Element die gleiche Wahrscheinlichkeit als nächstes Element gezogen zu werden. Beim i-ten Zug ist diese Wahrscheinlichkeit 1, i = 1,..., n. N (i 1) Äquivalent dazu ist: Jede Teilmenge von n Elementen aus G hat die gleiche Wahrscheinlichkeit, als Stichprobe aufzutreten, also ( N n) 1.

15 Zufällige Stichproben Rein zufällige Stichproben aus endlichen Grundgesamtheiten Folgerungen aus der Definition: 1. Für jedes Element aus G ist die Wahrscheinlichkeit, in die Stichprobe zu gelangen (also bei n Ziehungen ausgewählt zu werden) gleich n N ( Auswahlsatz ). 2. Vor Beginn der Ziehungen ist für jedes Element aus G die Wahrscheinlichkeit, genau beim i-ten Zug gewählt zu werden gleich 1 N. 3. X 1,..., X n sind identisch wie X verteilt, d.h. eine reine Zufallsstichprobe ohne Zurücklegen ist eine identisch verteilte Stichprobe.

16 Zufällige Stichproben Rein zufällige Stichproben aus endlichen Grundgesamtheiten Auswahltechniken: Zufallszahlen am Rechner Weitere Techniken in Vorlesung Stichproben

17 Zufällige Stichproben Rein zufällige Stichproben aus endlichen Grundgesamtheiten Frage: Wie schätzt man µ = 1 N N ξ j = E(X )? j=1

18 Zufällige Stichproben Rein zufällige Stichproben aus endlichen Grundgesamtheiten Frage: Wie schätzt man µ = 1 N Naheliegend durch N ξ j = E(X )? j=1 x = 1 n (x x n ) arithmetisches Mittel der Stichprobenwerte. Dazu gehört die Zufallsvariable X = 1 n (X X n ). Beim Ziehen mit und ohne Zurücklegen gilt E( X ) = 1 n (E(X 1) E(X n )) = nµ }{{}}{{} n = µ. =µ =µ

19 Zufällige Stichproben Rein zufällige Stichproben aus endlichen Grundgesamtheiten Beim Ziehen mit Zurücklegen Var( X ) = 1 n 2 nσ2 = σ2 n, da X 1,..., X n unabhängig. Aber beim Ziehen ohne Zurücklegen Var( X ) =?

20 Zufällige Stichproben Geschichtete Stichproben Geschichtete Stichproben: G in k Schichten G 1,..., G j,..., G k zerlegt. Dann: Reine Zufallsstichprobe ohne bzw. mit Zurücklegen separat in jeder Schicht. Fragestellungen: Wie wählt man Schichten? Schichten in sich möglichst homogen, untereinander möglichst heterogen bzgl. der x-werte Vorlesung Stichproben Wie wählt man Stichprobenumfänge n j in den Schichten G j, j = 1,..., k? Wie schätzt man µ?

21 Zufällige Stichproben Geschichtete Stichproben Notationen: N j = Anzahl der Elemente der j-ten Schicht in der Grundgesamtheit (Umfang der Schicht j) ξ ji = Wert von X, den das i-te Element in der j-ten Schicht besitzt µ j = 1 N j N j ξ ji = Mittelwert der j-ten Schicht i=1 σj 2 = 1 N j N j (ξ ji µ j ) 2 = Varianz der j-ten Schicht i=1 n j = Umfang der aus der j-ten Schicht gezogenen reinen Zufallsstichprobe N = N N k, n = n n k k µ = 1 N j k N ξ ji = 1 N N j µ j j=1 i=1 j=1

22 Zufällige Stichproben Geschichtete Stichproben Sei X j1,..., X jnj Teilstichprobe aus j-ter Schicht G j. Schätzung für µ ist gewichtetes Stichprobenmittel X = 1 N k N j X j, j=1 mit X j = 1 n j n j X ji. i=1

23 Zufällige Stichproben Geschichtete Stichproben Frage: Wie legt man n 1,..., n k fest? Im Wesentlichen zwei Varianten: Proportionale oder optimale Aufteilung. Proportional geschichtete Stichprobe: Auswahlsatz n j N j Schicht gleich groß, d.h. n 1 N 1 = n 2 N 2 =... = n k N k in jeder n j = n N N j bzw. n j n = N j N Schätzung X prop X prop := 1 N k N j X j = 1 N j=1 k j=1 N j 1 n j n j X ji = 1 n i=1 n k j j=1 i=1 X ji

24 Zufällige Stichproben Geschichtete Stichproben X prop ungewichtetes Stichprobenmittel In einer geschichteten Stichprobe kann in den Schichten mit oder ohne Zurücklegen gezogen werden. In beiden Fällen gilt: Eine proportional geschichtete Stichprobe stellt eine gleichgewichtete, aber keine reine Zufallsstichprobe dar. Gleichgewichtet heißt: Vor Beginn der Ziehungen hat jedes Element die gleiche Wahrscheinlichkeit, in die Stichprobe zu gelangen. Optimal geschichtete Stichprobe: Stichproben-Theorie

25 Zufällige Stichproben Klumpen-(Cluster-)Stichproben Klumpen-(Cluster-)Stichproben: G in Klumpen (Cluster) zerlegt Klumpen in sich möglichst heterogen, untereinander möglichst homogen, d.h.: Jeder Klumpen möglichst repräsentativ für G. Aus M Klumpen werden m Klumpen durch reine Zufallsauswahl gewählt. Dann Totalerhebungen in den ausgewählten Klumpen.

26 Zufällige Stichproben Klumpen-(Cluster-)Stichproben Schätzen von µ: Y i Summe der x-werte aller Elemente aus Klumpen i Ŷ = M m m i=1 Y i Schätzung für Gesamtsumme der x-werte in G X km = 1 N Ŷ = 1 N M m m Y i Schätzung für µ i=1

27 Parameterschätzer und ihre Eigenschaften Problemstellung/Definitionen X Merkmal bzw. Zufallsvariable Parameter: Kennwerte einer (unbekannten) Verteilung, z.b. E(X ), Var(X ), Median, ρ(x, Y ),... (unbekannte) Parameter eines Verteilungstyps, z.b. λ bei Po(λ); µ, σ 2 bei N(µ, σ 2 ); π bei B(n, π),... X 1,..., X n Stichprobenvariablen, hier: i.i.d. wie X x 1,..., x n Stichprobenwerte

28 Parameterschätzer und ihre Eigenschaften Problemstellung/Definitionen Generelle Notation Beispiel X F (x θ) θ = µ = E(X ) θ unbekannter Parameter(-vektor) X N(µ, σ 2 ), θ = (µ, σ 2 ) θ Θ Parameterraum Θ = R bzw. Θ = R R + Gesucht: Schätzer bzw. Schätzwert für θ : ˆθ t = g(x 1,..., x n ) µ : x = 1 n (x x n ) σ 2 : s 2 = 1 n n 1 i=1 (x i x) 2

29 Parameterschätzer und ihre Eigenschaften Problemstellung/Definitionen Definition: Schätzer (Schätzfunktion, Schätzstatistik): Zufallsvariable T = g(x 1,..., X n ) als (deterministische) Funktion der Stichprobenvariablen X 1,..., X n heißt Schätzer. Schätzwert t = g(x 1,..., x n ) ist Realisierung von T in der Stichprobe. Beispiele für Schätzer/Schätzwerte Arithmetisches Mittel X = 1 n (X X n ) Schätzer für µ = E(X ) x = 1 n (x x n ) Schätzwert für µ = E(X )

30 Parameterschätzer und ihre Eigenschaften Problemstellung/Definitionen Spezialfall: X binär P(X = 1) = π = E(X ), P(X = 0) = 1 π X = 1 n (X X n ) = H n für π = E(X ), wobei H die absolute Häufigkeit von Einsen in der Stichprobe ist. X = H n relative Häufigkeit

31 Parameterschätzer und ihre Eigenschaften Problemstellung/Definitionen Stichprobenvarianz S 2 = 1 n 1 n (X i X ) 2 für σ 2 = Var(X ) i=1 Oder: Empirische Varianz S 2 = 1 n n (X i X ) 2 i=1 Frage: Wie gut sind solche Schätzer?

32 Parameterschätzer und ihre Eigenschaften Erwartungstreue Beispiel: X Schätzer für µ = E(X ) X Zufallsvariable mit µ = E(X ); X 1,..., X n i.i.d. wie X. µ unbekannter, aber fester Wert E( X ) = E( 1 n (X X n )) = 1 n (E(X 1) E(X n )) = µ }{{}}{{} µ µ Also: Unabhängig davon, welchen wahren (aber unbekannten) Wert µ tatsächlich besitzt, gilt E( X ) = µ. D.h.: Der erwartete Wert von X, in objektiver oder subjektiver Interpretation, ist µ. Damit: Keine systematische Verzerrung beim Schätzen.

33 Parameterschätzer und ihre Eigenschaften Erwartungstreue Definition: Erwartungstreue und Verzerrung T = g(x 1,..., X n ) heißt erwartungstreu (unverzerrt) für θ: E(T ) = θ für alle θ Θ T heißt verzerrt: E(T ) θ E(T ) θ heißt Verzerrung (Bias). T n = g(x 1,..., X n ) heißt asymptotisch erwartungstreu: lim E(T n) = θ n

34 Parameterschätzer und ihre Eigenschaften Erwartungstreue Beispiele: E( X ) = µ, d.h. X für µ unverzerrt. H n für π unverzerrt. E( S 2 ) = E( 1 n S 2 verzerrt i (X i X ) 2 ) = n 1 n σ2 Bias( S 2 ) = E( S 2 ) σ 2 = n 1 n σ2 σ 2 = σ2 n S 2 asymptotisch ewartungstreu, da Verzerrung σ2 n 0 für n E(S 2 ) = σ 2, S 2 unverzerrt

35 Parameterschätzer und ihre Eigenschaften Varianz, MSE und Konsistenz Neben E(T ) θ ist auch Var(T ), d.h. die Varianz bzw. Ungenauigkeit des Schätzers ein Maß für die Güte von T.

36 Parameterschätzer und ihre Eigenschaften Varianz, MSE und Konsistenz Definition: Varianz und Standardabweichung eines Schätzers Bemerkung: T = g(x 1,..., X n ) Schätzer Var(T ) = Var{g(X 1,..., X n )} Varianz von T σ T = + Var(T ) Standardabweichung von T Exakte analytische Formeln nur in einfachen Fällen angebbar; oft Approximation für großes n. Beispiel: X σ 2 X = Var( X ) = σ2 n, σ2 = Var(X ), σ 2 aber unbekannt Schätzer: ˆσ X = n S n = 1 n (X i X ) 2 1 n 1 i=1

37 Parameterschätzer und ihre Eigenschaften Varianz, MSE und Konsistenz Definition: Erwartete quadratische Abweichung, Mean Squared Error MSE(T ) = E{(T θ) 2 } = Var(T ) + (Bias(T ) 2 ) Bemerkung: Der Mean Squared Error MSE(T ) fasst als Erwartungswert der quadratischen Abweichung (T θ) 2 des Schätzers T vom zu schätzenden Parameter θ die Varianz und die quadrierte Verzerrung in einem gemeinsamen Gütekriterium für T zusammen.

38 Parameterschätzer und ihre Eigenschaften Varianz, MSE und Konsistenz Definition: Konsistenz T heißt (MSE-)konsistent für θ : MSE(T ) 0 für n T heißt (schwach) konsistent für θ : P( T θ < ɛ) 1 ɛ > 0 und für n Bemerkungen: Damit MSE(T ) = Var(T ) + (Bias(T )) 2 0 geht, muss Var(T ) 0 und Bias(T ) 0 gelten. Aus MSE-Konsistenz folgt schwache Konsistenz mit Hilfe des Satzes von Tschebyscheff.

39 Parameterschätzer und ihre Eigenschaften Varianz, MSE und Konsistenz Beispiele MSE( X ) = σ2 n + (Bias( X )) 2 = σ2 }{{} n 0 für n =0 Annahme: X 1,..., X n iid N(µ, σ 2 ). Dann gilt: MSE(S 2 ) =? MSE( S 2 ) =?

40 Parameterschätzer und ihre Eigenschaften Effiziente (oder wirksamste ) Schätzstatistiken MSE(T ) Maß für Güte von T Var(T ) Maß für Varianz von T Man kann zwei Schätzer T 1, T 2 bzgl. MSE (oder auch Var) vergleichen. Definition: T 1 heißt (MSE-)effizienter als T 2 : für alle zugelassenen Verteilungen. MSE(T 1 ) MSE(T 2 ) Bei erwartungstreuen Schätzern T 1, T 2 : Bias(T 1 ) = Bias(T 2 ) = 0 MSE(T i ) = Var(T i ), i = 1, 2 T 1 effizienter als T 2 Var(T 1 ) Var(T 2 )

41 Parameterschätzer und ihre Eigenschaften Effiziente (oder wirksamste ) Schätzstatistiken Definition: Ist ein Schätzer T besser als alle zur Konkurrenz zugelassenen anderen Schätzer T, so heißt T (MSE-)effizient für θ. Beispiele: X für µ, unter allen erwartungstreuen Schätzern für µ, wenn alle Normalverteilungen zugelassen sind. X für den Anteilswert π, unter allen erwartungstreuen Schätzern für π, wenn dichotome Grundgesamtheiten betrachtet werden und alle Bernoulli-Verteilungen zugelassen sind.

42 Konstruktion von Schätzfunktionen Ziel: Einführung in generelle Ansätze/Konzepte, wie man Schätzer insbesondere auch in komplexeren Nicht-Standardsituationen findet bzw. konstruiert und berechnet. Konzepte/Methoden: Maximum-Likelihood-Schätzung Kleinste-Quadrate-Schätzung Bayes-Schätzung Momenten-Methode Schwerpunkt: Maximum-Likelihood-Methode

43 Konstruktion von Schätzfunktionen Maximum-Likelihood-Schätzung Maximum-Likelihood-Schätzung Voraussetzungen hier: Stichprobenvariablen X 1,..., X n i.i.d. wie X f (x θ) f (x θ) diskrete Dichte (Wahrscheinlichkeitsfunktion) oder stetige Dichte

44 Konstruktion von Schätzfunktionen Maximum-Likelihood-Schätzung Grundidee für diskretes X : Sei X 1 = x 1,..., X n = x n die konkrete Stichprobe. Gesucht: Schätzwert ˆθ (bzw. T ) für θ Konzept: Bestimme/konstruiere ˆθ so, dass die Wahrscheinlichkeit für Auftreten der Stichprobe maximal wird, d.h. ˆθ so, dass Es ist P(X 1 = x 1,..., X n = x n θ) max. θ P(X 1 = x 1,..., X n = x n θ) = f (x 1,..., x n θ) }{{} gemeinsame W fkt. = P(X 1 = x 1 θ)... P(X n = x n θ) = f (x 1 θ)... f (x n θ).

45 Konstruktion von Schätzfunktionen Maximum-Likelihood-Schätzung Definition: Likelihoodfunktion Bei gegebenen x 1,..., x n heißt L(θ) = f (x 1,..., x n θ) = f (x 1 θ)... f (x n θ) Likelihoodfunktion für θ. Definition: Likelihood-Prinzip/Maximum-Likelihood-Schätzung Bestimme ˆθ so, dass L(ˆθ) = max L(θ). θ

46 Konstruktion von Schätzfunktionen Maximum-Likelihood-Schätzung Für stetige Zufallsvariablen X mit Dichte f (x θ) überträgt man das Konzept in völliger Analogie: Wähle θ so, dass die gemeinsame Dichte L(θ) = f (x 1,..., x n θ) = f (x 1 θ)... f (x n θ) maximal wird: L(ˆθ) = max L(θ). θ Im Allgemeinen ist ˆθ eine (komplizierte, nichtlineare) Funktion von x 1,..., x n : ˆθ = g(x 1,..., x n ). Setzt man statt der Realisierungen x 1,..., x n die Stichprobenvariablen X 1,..., X n ein, wird T ˆθ zum Maximum-Likelihood-Schätzer.

47 Konstruktion von Schätzfunktionen Maximum-Likelihood-Schätzung Konkrete Berechnung erfolgt meist durch Maximieren der log-likelihood log L(θ) = log f (x 1 θ) log f (x n θ) = n = log f (x i θ) i=1 Maxima ˆθ von L(θ) und log L(θ) sind identisch, da log eine streng monotone Transformation ist. Das Maximum wird i.d.r. durch Nullsetzen der ersten Ableitung berechnet.

48 Konstruktion von Schätzfunktionen Maximum-Likelihood-Schätzung Beispiele: Poisson-Verteilung: X 1,..., X 4 i.i.d. Po(λ) mit Realisierungen x 1 = 2, x 2 = 4, x 3 = 6, x 4 = 3. Likelihoodfunktion L(λ) = f (x 1 λ) f (x 4 λ) = e = e 4λ λ ! 4! 6! 3! Log-Likelihoodfunktion λ λ2 2! e λ λ4 4! λ6 λ3 e λ e λ 6! 3! log L(λ) = 4λ + 15 log λ log(2! 4! 6! 3!) Ableiten und Nullsetzen log L(λ) λ = ˆλ = 0 ˆλ = 15 4

49 Konstruktion von Schätzfunktionen Maximum-Likelihood-Schätzung Normalverteilung: X 1,..., X n i.i.d. N(µ, σ 2 ) mit Realisierungen x 1,..., x n. L(µ, σ) = 1 e (x 1 µ)2 1 (xn µ)2 2σ 2... e 2σ 2 2πσ 2πσ log L(µ, σ) = = n [ ( ) 1 log (x i µ) 2 ] 2πσ 2σ 2 n [ log 2π log σ (x i µ) 2 ] i=1 i=1 2σ 2

50 Konstruktion von Schätzfunktionen Maximum-Likelihood-Schätzung log L(µ, σ) µ log L(µ, σ) σ = = n x i ˆµ ˆσ 2 = 0 n ( 1ˆσ + 2(x i ˆµ) 2 ) 2ˆσ 3 = 0 i=1 i=1 ˆµ = x, ˆσ = 1 n n (x i x) 2 i=1

51 Konstruktion von Schätzfunktionen Bayes-Schätzung Bayes-Schätzung Basiert auf subjektivem Wahrscheinlichkeitsbegriff; dennoch enge Verbindung zur Likelihood-Schätzung. Besonders für hochdimensionale, komplexe Modelle geeignet; Revival etwa seit Subjektives Grundverständnis: θ wird als Realisierung einer Zufallsvariablen Θ aufgefasst Unsicherheit/Unkenntnis über θ wird durch eine sog. priori-verteilung (stetige oder diskrete Dichte) f (θ) bewertet. Meist: Θ als stetige Zufallsvariable, f (θ) als stetige Dichte. Die Bayes-Inferenz beruht nun auf der sog. posteriori-verteilung von Θ, gegeben die Daten x 1,..., x n. Dazu benötigen wir den Satz von Bayes für Dichten.

52 Konstruktion von Schätzfunktionen Bayes-Schätzung Notation f (x θ) bedingte Wahrscheinlichkeitsfunktion bzw. Dichte von X, gegeben Θ = θ. f (x) Randverteilung oder -dichte von X. f (θ) f (θ x) f (x, θ) a priori Wahrscheinlichkeitsfunktion oder a priori Dichte von Θ (d.h. die Randverteilung von Θ). a posteriori (oder bedingte) Wahrscheinlichkeitsfunktion oder Dichte von Θ, gegeben die Beobachtung X = x. gemeinsame Wahrscheinlichkeitsfunktion oder Dichte.

53 Konstruktion von Schätzfunktionen Bayes-Schätzung Dann gilt folgende Form des Satzes von Bayes: Θ und X diskret: f (θ x) = f (x, θ) f (x) = f (x θ)f (θ) f (x) P(X = x) = f (x) = j f (x θ j )f (θ j ), wobei über die möglichen Werte θ j von Θ summiert wird. Θ stetig: f (θ x) = f (x θ)f (θ) f (x θ)f (θ) = f (x θ)f (θ) dθ f (x) Dabei kann X stetig oder diskret sein.

54 Konstruktion von Schätzfunktionen Bayes-Schätzung Für Stichprobe x = (x 1,..., x n ) aus f (x 1,..., x n θ): f (x) f (x 1,..., x n θ) = f (x 1 θ)... f (x n θ) = L(θ) Bayes-Inferenz, Bayesianisches Lernen: Die Wahrscheinlichkeitsfunktion oder Dichte von X, gegeben θ, sei f (x θ), und L(θ) = f (x 1,..., x n θ) die gemeinsame Dichte bzw. Likelihoodfunktion für n unabhängige Wiederholungen von X.

55 Konstruktion von Schätzfunktionen Bayes-Schätzung Für den unbekannten Parameter wird eine a priori Dichte f (θ) spezifiziert. Dann ist die a posteriori Dichte über den Satz von Bayes bestimmt durch f (θ x 1,..., x n ) = = f (x 1 θ) f (x n θ)f (θ) f (x1 θ) f (x n θ)f (θ) dθ = L(θ)f (θ) L(θ)f (θ) dθ.

56 Konstruktion von Schätzfunktionen Bayes-Schätzung Bayes-Schätzer a posteriori Erwartungswert: ˆθ = E(θ x 1,..., x n ) = θf (θ x 1,..., x n ) dθ a posteriori Modus oder maximum a posteriori (MAP) Schätzer: Wähle denjenigen Parameterwert ˆθ, für den die a posteriori Dichte maximal wird, d.h. L(ˆθ)f (ˆθ) = max L(θ)f (θ) θ bzw. log L(ˆθ) + log f (ˆθ) = max{log L(θ) + log f (θ)}. θ

57 Konfidenzintervalle Bisher: (Punkt-)Schätzer T bzw. ˆθ für θ liefert einen Schätzwert t bzw. ˆθ; i.a. ˆθ θ. Jetzt: Angabe eines Intervalls, das θ mit hoher Wahrscheinlichkeit 1 α überdeckt. Irrtumswahrscheinlichkeit α z.b. = 0.1, 0.05, α: Sicherheits- oder Konfidenzwahrscheinlichkeit

58 Konfidenzintervalle Allgemeine Definition Definition: (1 α)-konfidenzintervall (KI) Irrtumswahrscheinlichkeit α vorgegeben. Untere und obere Intervallgrenzen G u = g u (X 1,..., X n ) und G o = g o (X 1,..., X n ) bilden (1 α)-konfidenzintervall (Vertrauensintervall): P(G u G o ) = 1, P(G u θ G o ) = 1 α Die Intervallgrenzen G u und G o sind Zufallsvariablen! Somit ist auch das Intervall [G u, G o ] zufällig. Realisiertes Konfidenzintervall: [g u, g o ]; g u = g u (x 1,..., x n ), g o = g o (x 1,..., x n ) Warnung: Eine Aussage wie θ liegt mit Wahrscheinlichkeit 1 α in [g u, g o ] ist Unsinn!

59 Konfidenzintervalle Konfidenzintervalle für Erwartungswert, Varianz und Anteilswert Beispiele: X N(µ, σ 2 ), σ 2 bekannt; X 1,..., X n i.i.d. wie X. (1 α)-konfidenzintervall für µ: [ X z 1 α/2 σ n, X + z 1 α/2 σ n ] X N(µ, σ 2 ), σ 2 unbekannt; X 1,..., X n i.i.d. wie X. (1 α)-konfidenzintervall für µ: [ X t 1 α/2 S n, X + t 1 α/2 S n ], d.h. ersetze σ durch Schätzer S = und z 1 α/2 durch t 1 α/2. 1 n 1 i (X i X ) 2

60 Konfidenzintervalle Konfidenzintervalle für Erwartungswert, Varianz und Anteilswert X N(µ, σ 2 ), µ unbekannt; X 1,..., X n i.i.d. wie X. Zweiseitiges (1 α)-konfidenzintervall für σ 2 : [ (n 1)S 2 q 1 α/2, (n 1)S 2 q α/2 mit q α/2 als dem (α/2)-quantil der χ 2 (n 1)-Verteilung, und q 1 α/2 als dem (1 α/2)-quantil der χ 2 (n 1)-Verteilung. ],

61 Konfidenzintervalle Konfidenzintervalle für Erwartungswert, Varianz und Anteilswert Konfidenzintervall für µ ohne Normalverteilungsannahme; approximatives (1 α)-konfidenzintervall (für n 30): [ X z 1 α 2 S n, X + z 1 α 2 (Falls Varianz σ 2 bekannt, ersetze S durch σ.) ] S, n X B(1, π), Konfidenzintervall für Anteilswert π; approximatives (1 α)-konfidenzintervall (für n 30): [ ] ˆπ(1 ˆπ) ˆπ(1 ˆπ) ˆπ z 1 α/2, ˆπ + z 1 α/2 n n

62 Nichtparametrische Dichteschätzung Bisher: Jetzt: Ziel: Bekannt: Funktionale Form der Dichte f (x θ) bis auf unbekannte. Parameter θ bekannt; z.b. X N(µ, σ 2 ), X Po(λ), etc. Kein parametrischer Verteilungstyp vorausgesetzt; X f (x) stetig. Nichtparametrische Schätzung von f (x). ˆf (x) über Histogramm.

63 Nichtparametrische Dichteschätzung Bisher: Jetzt: Ziel: Bekannt: Besser: Funktionale Form der Dichte f (x θ) bis auf unbekannte. Parameter θ bekannt; z.b. X N(µ, σ 2 ), X Po(λ), etc. Kein parametrischer Verteilungstyp vorausgesetzt; X f (x) stetig. Nichtparametrische Schätzung von f (x). ˆf (x) über Histogramm. Gleitendes Histogramm: ˆf (x) = 1 n Anzahl der Daten x i in [x h, x + h) 2h

64 Nichtparametrische Dichteschätzung Darstellung des gleitenden Histogramms durch Rechteckfenster Einheitsrechteckfenster/Einheits- Kern K(u) = Rechteckfenster über x i 1 h K ( ) x xi = h ˆf (x) = 1 n { 1 2 für 1 u < 1 0 sonst { 1 2h x i h x < x i + h 0 sonst n i=1 1 h K ( ) x xi h

65 Nichtparametrische Dichteschätzung Weitere Kerne: Epanechnikov-Kern: Bisquare-Kern: Gauß-Kern: K(u) = 3 4 (1 u2 ) für 1 u < 1, 0 sonst K(u) = (1 u2 ) 2 für 1 u < 1, 0 sonst K(u) = 1 exp ( 12 ) u2 2π für u R

66 Nichtparametrische Dichteschätzung Definition: Kern-Dichteschätzer Sei K(u) eine Kernfunktion. Zu gegebenen Daten x 1,..., x n ist dann ˆf (x) = 1 nh n ( x xi K h i=1 ein (Kern-)Dichteschätzer für f (x). ), x R