Wie sch atzt man effizient?

Transkript

1 Vorlesung 8a

2 Wie schätzt man effizient?

3 Die Maximum-Likelihood Methode

4 BEISPIEL 1 Panther A Schätzung der deutschen Panzerproduktion im Zweiten Weltkrieg

5 MODELL (vereinfacht) Fahrgestellnummer: F = 1, 2,..., λ Bei Panther A: λ = 1768 Nummern der erbeuteten Panzer F 1, F 2,..., F n Zufallsstichprobe aus der Gesamtproduktion FRAGE Wie schätzt man λ aus F 1, F 2,..., F n?

6 Kleine Vereinfachung: F kontinuierlich F λ

7 F Uniform [ 0, λ ] F λ

8 Stichprobe F 1,..., F n (n = 10) F λ

9 Wie schätzt man λ aus F 1,...,F n? F λ

10 Methode der Momente EF = 1 2 λ F EF = 1 2 λ Erster Schätzer ^λ 1 : ^λ 1 := 2 F

11 ^λ 1 := 2 F F λ

12 ^λ 1 := 2 F F λ

13 ^λ 1 := 2 F F λ

14 Zweiter Schätzer M := max { F 1, F 2,..., F n } BEGRÜNDUNG: Gegeben M enthalten die anderen { F i } keine Information über λ Wie ist M verteilt?

15 Q! Quiz-relevant

16 Verteilungsfunktion H(x) := P { M < x } Dichte h(x) x = P { x < M < x + x } + o( x) Erwartungswert EM := xh(x)dx Varianz σ 2 M := E(X EM) 2 = E(M 2 ) (EM) 2

17 Verteilungsfunktion H(x) := P { M < x } H(x) = P { max(f 1, F 2,..., F n ) < x } H(x) = P { (F 1 < x), (F 2 < x),..., (F n < x) } H(x) = P { F 1 < x } P { F 2 < x }... P { F n < x } H(x) = (x/λ)(x/λ)...(x/λ) H(x) = x n /λ n

18 Ausführlicher: H(x) = 0 (x < 0) H(x) = x n /λ n (0 x < λ) H(x) = 1 (λ x)

19 Dichte h(x) x := P { x < M < x + x } + o( x) h(x) = H (x) h(x) = (x n ) /λ n h(x) = nx n 1 /λ n

20 Ausführlicher: h(x) = 0 (x < 0) h(x) = nx n 1 /λ n (0 x < λ) h(x) = 0 (λ x)

21 Erwartungswert EM = xh(x)dx EM = λ 0 x(nxn 1 /λ n )dx EM = n( λ 0 xn dx)/λ n EM = n(λ n+1 /(n + 1))/λ n EM = n n+1 λ (auch ohne Rechnung klar: Kreis)

22 Varianz σ 2 M = E(M 2 ) (EM) 2 E(M 2 ) = λ 0 x2 h(x)dx E(M 2 ) = λ 0 x2 (nx n 1 /λ n )dx E(M 2 ) = n( λ 0 xn+1 dx)/λ n E(M 2 ) = n(λ n+2 /(n + 2))/λ n E(M 2 ) = n n+2 λ2

23 Varianz σ 2 M = E(M 2 ) (EM) 2 σ 2 M = σ 2 M = ( n n+2 ( n n+1 )2 )λ 2 n (n+1) 2 (n+2) ((n + 1)2 n(n + 2))λ 2 σ 2 M = n (n+1) 2 (n+2) λ2

24 EM = n n+1 λ ^λ 2 := n+1 n E^λ 2 = λ Man sagt: M ^λ 2 ist erwartungstreu.

25 Zwei Schätzer von λ: ^λ 1 := 2 F ^λ 2 := n+1 n M Beide erwartungstreu: E^λ 1 = E^λ 2 = λ Welcher Schätzer ist besser?

26 λ F

27 ^λ 1 := 2 F F λ

28 ^λ 1 := 2 F F λ

29 ^λ 1 := 2 F F λ

30 ^λ 2 := n+1 n max F i F λ

31 ^λ 2 := n+1 n max F i F λ

32 ^λ 2 := n+1 n max F i F λ

33 Neuer Datensatz F λ

34 ^λ 1 := 2 F F λ

35 ^λ 1 := 2 F F λ

36 ^λ 1 := 2 F F λ

37 ^λ 2 := n+1 n max F i F λ

38 ^λ 2 := n+1 n max F i F λ

39 ^λ 2 := n+1 n max F i F λ

40 Neuer Datensatz F λ

41 ^λ 1 := 2 F F λ

42 ^λ 1 := 2 F F λ

43 ^λ 1 := 2 F F λ

44 ^λ 2 := n+1 n max F i F λ

45 ^λ 2 := n+1 n max F i F λ

46 ^λ 2 := n+1 n max F i F λ

47 100 Datensätze n = F λ

48 100 Datensätze n = F λ

49 ^λ 2 ist λ deutlich näher als ^λ F λ

50 Für n größer ist der Unterschied noch deutlicher F λ

51 n = F λ

52 n = F λ

53 Quantitativ: σ 2^λ 1 = 1 3n 1 λ 2 σ 2^λ 2 = n 2 (n 2 +1) 2 (n 2 +2) λ2 1 n 2 λ 2 2 Damit σ 2^λ 1 = σ 2^λ 2 braucht man n 1 = (n 2+1) 2 (n 2 +2) 3n 2 n 1 = 48 n 2 = 10 n 1 = 243 n 2 = 25 n 1 = 3468 n 2 = 100

54 FAZIT bisher Es gibt verschiedene Schätzer für denselben Parameter. Es gibt gute und schlechte. Wie findet man einen guten?

55 BEISPIEL 2 Der Getreidekapuziner Rhizopertha dominica

56 Wenn zwei Larven

57 dasselbe Korn besetzen

58 kämpfen sie, bis die Unterlegene stirbt oder flieht. Werden besetzten Körner vermieden?

59 Aus einem Posten befallenen Weizens wurden 150 Körner seziert und die Anzahl Larven pro Korn wurde festgestellt. Sind die beobachteten Häufigkeiten mit einer rein zufälligen Besetzung vereinbar?

60 Anzahl Larven pro Korn in 150 Weizenkörnern Anzahl Körner k=larven pro Korn

61 Was heißt rein zufällig?

62 MODELL Sei K die Anzahl Larven in einem Korn. Es gibt n Larven. Jede Larve gelangt mit Wahrscheinlichkeit p in das Korn unabhängig von den anderen Larven. K = I 1 + I I n K Bin(n, p)

63 Schwierigkeit n, p unbekannt Ausweg n 1 p 1 Bin(n, p) Pois(λ) λ = np

64 Angenommen, diese Daten sind eine Stichprobe aus Pois(λ), Anzahl Körner k = Larven pro Korn

65 wie schätzt man λ? Anzahl Körner k = Larven pro Korn

66 EXKURS Die Poissonverteilung (Wiederholung) Q Quiz-relevant

67 Binomialverteilung B Bin(n, p) B = Anzahl Erfolge in n unabhängigen Versuchen mit Erfolgswahrscheinlichkeit p in jedem Versuch

68 P{ B = k } = n k p k (1 p) n k EB = np σ 2 B = np(1 p) n p 0 np λ P{ B = k } λk k! e λ EB = np λ σ 2 B = np(1 p) λ

69 Poissonverteilung X Pois(λ) X = Anzahl Erfolge in n 1 unabhängigen Versuchen mit Erfolgswahrscheinlichkeit p 1 in jedem Versuch, wobei np = λ

70 P{ X = k } = λk k! e λ EX = λ σ 2 X = λ

71 Die Binomialverteilung Bin(n, p) np = 2 P { B = k } n = k

72 Die Binomialverteilung Bin(n, p) np = 2 P { B = k } n = 4 n = k

73 Die Binomialverteilung Bin(n, p) np = 2 P { B = k } n = 4 n = 5 n = k

74 Die Binomialverteilung Bin(n, p) np = 2 P { B = k } n = 4 n = 5 n = 6 n = k

75 Die Binomialverteilung Bin(n, p) np = 2 P { B = k } n = 4 n = n = k

76 Die Binomialverteilung Bin(n, p) np = 2 P { B = k } n = 4 n = n = k

77 Die Binomialverteilung Bin(n, p) np = 2 P { B = k } n = 4 n = n = 89 n = k

78 Die Binomialverteilung Bin(n, p) np = 2 P { B = k } n = 4 n = n = n = k

88 Die Poissonverteilung Pois(2) P { X = k } n = 4 n = n = n = k

89 P { B = k } Die Binomialverteilung Bin(n, p) np = k

90 AUFGABE 100 Studenten sitzen in einem Hörsaal am 5. Juni. Wie groß ist die Wahrscheinlichkeit dafür, dass genau einer von ihnen an diesem Tag Geburtstag hat? (i) Nach dem Binomialmodell mit p = 1/365? (ii) Nach der Poissonannäherung dazu?

91 P { B = k } = (i) n p k k (1 p) n k P { B = 1 } = ( ) ( ) P { B = 1 }

92 (ii) P { X = k } = λk k! e λ λ = np = 100/365 = P { X = 1 } = λe λ P { X = 1 }

93 AUFGABE Bei Café Bauer hat nur 1 Rosinenbrötchen aus 1000 keine Rosine. Wie viele Rosinen hat ein durchschnittliches Brötchen?

94 R := Anzahl in einem Brötchen R ist (annähernd) poissonverteilt (Denn im Teig sind viele Rosinen, jede mit einer kleinen Chance in mein Brötchen zu gelangen.) P { R = 0 } = e λ = λ = ln(0.001) λ 6.9

95 Ende des Exkurses Zurück zum Schätzen

96 K Pois(λ) Wie schätzt man λ? Es gibt viele Möglichkeiten.

97 EK = λ ^λ 1 := K = 1 n Ki σ 2 K = λ ^λ 2 := ^σ 2 K = n 1 1 (Ki K) 2 P{K = 0} = e λ ^λ 3 := ln(^p{k = 0}) = ln( 1 n #{X i X i = 0}) Was wählen?

98 UMWANDLUNG DER FRAGE Welche Werte von λ passen zu den Daten? Sei k der Vektor der Beobachtungen k := (k1,..., k n ) T und sei f K ( k;λ) seine Wahrscheinlichkeit. Die Likelihood L(λ) L(λ) := f K ( k;λ) ( k fest)

99 Beobachtete Häufigkeiten Anzahl Körner k = Larven pro Korn

100 Anzahl Körner L(λ) =? k = Larven pro Korn

101 L(λ) 0.0e e e e e L(λ) λ

102 ln(L(λ)) ln(l(λ)) λ

103 ln(L(λ)) ln(l(λ)) λ

104 Einige Werte von λ passen viel besser als andere L(λ) 0.0e e e e e λ

105 Welches λ sollten wir wählen? L(λ) 0.0e e e e e λ

106 Warum nicht das beste? L(λ) 0.0e e e e e λ

107 Warum nicht das beste? L(λ) 0.0e e e e e λ

108 Der Maximum-Likelihood-Schätzer L(λ) 0.0e e e e e λ

109 L(λ) 0.0e e e e e ^λ : L(^λ) = max! λ

110 Die Maximum-Likelihood Methode: Nimm das λ, L(λ) 0.0e e e e e λ

111 bei dem das Beobachtete die größtmögliche Wahrscheinlichkeit hat L(λ) 0.0e e e e e λ

112 Formel für ^λ (nicht unbedingt notwendig) L(λ) = f K (k 1 ; λ)...f K (k n ; λ) L(λ) = ( λk 1 k 1! e λ )...( λk n k n! e λ ) L(λ) = λk k n k 1!...k n! e nλ ln L(λ) = (k k n ) ln λ nλ + Konst d dλ ln L(λ) = k k n λ n 0 = k k n λ n ^λ = k

113 Beobachtete Häufigkeiten Anzahl Körner k

114 Angepasste Poissonverteilung Anzahl Körner k

115 nf K (k;^λ) Anzahl Körner k

116 nf K (k;^λ) Anzahl Körner k

117 Sehr gute Anpassung Anzahl Körner k

118 (von formalen statistischen Tests bestätigt) Anzahl Körner k

119 Fazit Anzahl Körner k

120 Offenbar wissen Larven nicht, wenn ein Korn besetzt ist Anzahl Körner k

121 Panzer-Beispiel Uniformverteilung auf (0, λ) f X (x;λ) = 1 λ x (0, λ) f X (x;λ) = 0 x / (0, λ) x := (x 1,...x n ) T f X ( x; λ) = λ 1 M := max{x i } (0, λ) f X ( x;λ) = 0 M :=/ (0, λ)

122 f X (x) x λ

123 x 1,..., x x λ

124 x 1,..., x x λ

125 L(λ) λ

126 ^λ : L(λ) = max! λ

127 ^λ = M λ

128 L(λ) (n = 10) λ

129 x 1,..., x x λ

130 x 1,..., x x λ

131 L(λ) (n = 25) λ

132 LETZTES BEISPIEL Warten auf den ersten Erfolg X 1, X 2, X 3,... unabhängig mit P { X i = 1 } = p P { X i = 0 } = 1 p T := inf { i X i = 1 } Zeitpunkt des ersten Erfolgs

133 Man wartet n-mal auf Erfolg mit Wartezeiten t 1, t 2,..., t n. Wie schätzt man p aus den Wartezeiten?

134 Q Quiz-relevant

135 WIEDERHOLUNG ET = 1 p T 1 Misserfolge vor dem ersten Erfolg E(T 1) = 1 p 1 = 1 p p

136 AUFGABE Das Schwarze in der Mitte einer Zielscheibe von Radius 80 cm hat Radius 8 cm. Ein Schütze trifft rein zufällige Punkte in der Zielscheibe. Wie oft im Mittel schießt er daneben, bis er zum ersten Mal ins Schwarze trifft? p = ( 1 10 ) 2 = E(T 1) = p 1 1 = = 99

137 Der Maximum-Likelihood-Schätzer ^p L(p) L(p) = [(1 p) t 1 1 p]...[(1 p) t n 1 p] L(p) = (1 p) ( t i n) p n ln L(p) = ( t i n) ln(1 p) + n ln p d dp lnl(p) = 0 ( t i n) (1 p) + n p = 0 p( t i n) = n(1 p) p( t i ) = n ^p = n/ t i

138 ENDE