Kapitel VI - Maximum-Likelihood-Schätzfunktionen

Transkript

1 Institut für Volkswirtschaftslehre (ECON) Lehrstuhl für Ökonometrie und Statistik Kapitel VI - Maximum-Likelihood-Schätzfunktionen Induktive Statistik Prof. Dr. W.-D. Heller Hartwig Senska Carlo Siebenschuh

2 In komplexen Schätzsituationen ist eine GBE-Schätzfunktion nicht immer zu bestimmen. Daher betrachten wir noch ein weiteres Schätzprinzip, das intuitiver ist. Ausgangssituation: Gegeben seien Beobachtungswerte x 1, x 2,..., x n einer Stichprobe (nicht notwendig mit Zurücklegen). X = (X 1, X 2,..., X n ) sei der zugehörige Zufallsvektor Kapitel VI - Maximum-Likelihood-Schätzfunktionen 2

3 X diskret: Die Wahrscheinlichkeitsverteilung von X hängt vom zu schätzenden Parameter ab: P γ (X = x) Wahrscheinlichkeit für die Beobachtung x = (x 1, x 2,..., x n ) beim Parameter γ Idee: Wähle den Parameterwert als Schätzwert, bei dem die Beobachtung am plausibelsten ist. Maximum-Likelihood-Prinzip: Maximiere P γ (X = x) über γ Γ Schätzwert ˆγ=Maximalstelle γ Kapitel VI - Maximum-Likelihood-Schätzfunktionen 3

4 Beispiel: Poissonverteilung Bei einer einfachen Stichprobe mit Zurücklegen ist P λ (X = x) = = λ n λ x i x i! e λ x i e nλ 1 x 1!x 2!... x n! zu maximieren über λ. Notwendige Bedingung: d dλ (λ x i e nλ ) = x x i 1 x i λ e nλ x i λ ne nλ x i i = λ e nλ λ n = 0 Kapitel VI - Maximum-Likelihood-Schätzfunktionen 4

5 Daraus folgt für die Maximalstelle λ (sofern es eine gibt): λ = 1 n x i (λ ist Maximalstelle, da die zweite Ableitung an dieser Stelle negativ ist.) Maximum-Likelihood-Schätzwert: ˆλ ML = 1 n x i Kapitel VI - Maximum-Likelihood-Schätzfunktionen 5

6 X stetig: Die Dichtefunktion von X hängt vom zu schätzenden Parameter ab: f X,γ (x) Idee: Dichtefunktion von X an der Stelle x = (x 1, x 2,..., x n) beim Parameter γ Die Wahrscheinlichkeit für einen schmalen Bereich um x entspricht dem Wert der Dichtefunktion an der Stelle x, wird also maximal, wenn die Dichtefunktion ihren Maximalwert hat. Also wähle den Parameterwert γ als Schätzwert, bei dem die Dichtefunktion ihr Maximum hat. Maximum-Likelihood-Prinzip: Maximiere f X,γ (x) über γ Γ Schätzwert ˆγ=Maximalstelle γ Kapitel VI - Maximum-Likelihood-Schätzfunktionen 6

7 Beispiel: Exponentialverteilung Dichtefunktion einer einfachen Stichprobe mit Zurücklegen 0 x i 0 für ein i f X,λ (x 1,..., x n ) = λ n e λ x i x i > 0 für i = 1,..., n Sei x i > 0 für i = 1,..., n. Durch Logarithmieren der Dichtefunktion ändert sich die Maximalstelle nicht: ln f X,λ (x) = n ln λ + ( λ x i ) Kapitel VI - Maximum-Likelihood-Schätzfunktionen 7

8 Damit ist d dλ (ln f X,λ(x)) = n λ x i. Die zweite Ableitung ist negativ, Maximalstelle ist also ˆλ ML = n x i Maximum-Likelihood-Schätzwert ist also der Kehrwert des arithmetischen Mittels. Dieses Schätzverfahren ist jedoch nicht erwartungstreu! Kapitel VI - Maximum-Likelihood-Schätzfunktionen 8

9 Allgemeine Vorgehensweise beim Maximum-Likelihood-Schätzverfahren Sei X eine Stichprobe zur Zufallsvariable Y mit parametrischer Verteilungsannahme mit Parameterraum Γ und X der Stichprobenraum zu X. 1. Zu einem Stichprobenergebnis x X und γ Γ sei L x (γ) := { Pγ (X = x) falls Y und damit X diskret f X,γ (x) falls Y und damit X stetig L x (γ) heißt Likelihood-Funktion zu x X. Kapitel VI - Maximum-Likelihood-Schätzfunktionen 9

10 Allgemeine Vorgehensweise beim Maximum-Likelihood-Schätzverfahren 2. Die Maximalstelle der Likelihood-Funktion zu x X, d.h. ˆγ ML mit L x (ˆγ ML ) = max γ Γ L x(γ) heißt Maximum-Likelihood-Schätzwert (kurz: ML-Schätzwert) zum Stichprobenergebnis x X. Kapitel VI - Maximum-Likelihood-Schätzfunktionen 10

11 Allgemeine Vorgehensweise beim Maximum-Likelihood-Schätzverfahren Zur Bestimmung der Maximalstelle wird die Likelihood- Funktion häufig logarithmiert. Die notwendige Bedingung für die Maximalstelle lautet dann: d dγ (ln(l x(γ))) = 0 Diese Gleichung wird als ML-Gleichung bezeichnet. (Hat γ = (γ 1,..., γ k ) mehrere Komponenten (vgl. Normalverteilung und Gammaverteilung), so sind die partiellen Ableitungen gleich Null zu setzen und wir erhalten mehrere ML-Gleichungen.) Kapitel VI - Maximum-Likelihood-Schätzfunktionen 11

12 Allgemeine Vorgehensweise beim Maximum-Likelihood-Schätzverfahren 3. Die Schätzfunktion δ ML (X ) mit δ ML (x) = ˆγ ML, also L x (δ ML (x)) = max γ Γ L x(γ) heißt Maximum-Likelihood-Schätzfunktion für γ Γ (kurz: ML-Schätzfunktion) Kapitel VI - Maximum-Likelihood-Schätzfunktionen 12

13 Beispiel: Normalverteilung Bei einer einfachen Stichprobe mit Zurücklegen ist: L x (µ, σ 2 ) = n 1 (x 2πσ 2 e i µ)2 1 2σ 2 = 1 2πσ 2 n e 2σ 2 ln( 2π n L x (µ, σ 2 )) = n 2 ln σ2 1 2σ 2 µ ( n 2 ln σ2 1 2σ 2 (x i µ) 2 ) = 1 Für die Maximalstelle gilt: µ = x (x i µ) 2 2σ 2 Nullsetzen ergibt µ = 1 n ( ) (x i µ) 2 2(x i µ), x i = x Kapitel VI - Maximum-Likelihood-Schätzfunktionen 13

14 (σ 2 ) ( n 2 ln σ2 1 2σ 2 = n σ 2 (x i µ) 2 ) (x 2(σ 2 ) 2 i µ) 2, Nullsetzen und Einsetzen von µ = x ergibt σ 2 = 1 n (x i x) 2 (nicht erwartungstreu) Kapitel VI - Maximum-Likelihood-Schätzfunktionen 14