Prof. Dr. Rolad Füss Statistik II SS 008. Puktschätzug vo Parameter eier Grudgesamtheit Nur durch eie Totalerhebug ka ma die Verteilug eier Zufallsvariable X i eier Grudgesamtheit vollstädig beschreibe. Häufig ist jedoch eie Totalerhebug etweder umöglich oder eifach zu teuer. Deswege versucht ma mit Hilfe vo Teilerhebuge ((Zufalls-)Stichprobe) Ahaltspukte über die Verteilug eier Grudgesamtheit ud über dere Parameter zu gewie.
Prof. Dr. Rolad Füss Statistik II SS 008 Uterscheiduge der Schätzuge: - mit oder ohe Zurücklege - homograder Fall vs. heterograder Fall - homograde Variable uterscheide, ob ei Objekt eie bestimmte Eigeschaft besitzt oder icht, (0,)-Variable: Schätzug vo Ateilssätze - heterograde Variable (metrisch skalierte ZV): Schätzug vo Mittelwerte ud Variaze
Prof. Dr. Rolad Füss Statistik II SS 008 - Pukt- oder Itervallschätzuge Bei der Puktschätzug hadelt es sich um die Bestimmug eies eizele Wertes zur Schätzug eies ubekate Parameters. Da Puktschätzuge mit sehr hoher Wahrscheilichkeit mit dem wahre Wert des Parameters icht übereistimme, ergäzt ma eie Puktschätzug oft durch eie Itervallschätzug. Dabei berechet ma ei Itervall, das de wahre ubekate Wert des Parameters der Grudgesamtheit mit eier vorgegebee Wahrscheilichkeit überdeckt. 3
Prof. Dr. Rolad Füss Statistik II SS 008.. Puktschätzug für Mittelwert ud Ateilswerte... Puktschätzug für de Mittelwert (heterograder Fall) Der ubekate Mittelwert µ der metrische Zufallsvariable X eier Grudgesamtheit soll ahad eier Zufallsstichprobe vo Umfag geschätzt werde. Das arithmetische Mittel der Stichprobeelemete stellt de Schätzwert ˆµ für de ubekate Mittelwert µ dar: 4
Prof. Dr. Rolad Füss Statistik II SS 008 i µˆ { x, x,..., x } x = x = x Die Puktschätzug ˆ µ = x ist die Realisatio der Zufallsvariable X. Der geschätzte Wert ˆµ ist vo dem wahre Mittelwert µ der Grudgesamtheit sorgfältig zu uterscheide. Die Abweichug des geschätzte Wertes ˆµ vom wahre Mittelwert µ wird Schätzfehler geat: e = µ ˆ µ Bei de meiste Schätzuge trete Schätzfehler auf. Etscheided ist aber, ob die Puktschätzug de wahre Wert im Durchschitt trifft. 5
Prof. Dr. Rolad Füss Statistik II SS 008 E( µ ) = E( X ) = E( X i ) = E( X i ) = µ E( ˆ) µ = µ ˆµ ist eie erwartugstreue Schätzug für µ. Die für die Schätzug des Mittelwertes der Grudgesamtheit verwedete Schätzmethode et ma Mometemethode. Sie schätzt das ubekate. uzetrierte Momet der Grudgesamtheit (Mittelwert) mit dem etsprechede. uzetrierte Momet der Stichprobe. 6
Prof. Dr. Rolad Füss Statistik II SS 008.. Puktschätzug für de Ateilswert (homograder Fall) Aalog zur Schätzug des ubekate Mittelwertes eier Grudgesamtheit durch das arithmetische Mittel der Stichprobe ist zur Schätzug eies ubekate Ateilwertes p eier Grudgesamtheit die Puktschätzug durch de Stichprobeateilswert sehr gut geeiget: pˆ = h mit pˆ : Schätzwert für de Ateilsatz i der Grudgesamtheit h : Ateilsatz i der Stichprobe 7
Prof. Dr. Rolad Füss Statistik II SS 008 Diese Schätzug ist eie erwartugstreue ud kosistete Schätzug. E( pˆ) = E( H ) = E( Bi ) = E( Bi ) = p E( pˆ) = p ( Erwartugstreue) V ( pˆ ) = V ( H ) = V ( Bi ) = V ( B ) = pq = pq / ( Kosistez ) i Mit zuehmedem Stichprobeumfag wird die Variaz immer kleier ud die Schätzug geauer. 8
Prof. Dr. Rolad Füss Statistik II SS 008. Puktschätzug für Variaze ud Stadardabweichuge.. Puktschätzug für die Variaz (heterograder Fall) We ma bei der Puktschätzug der Variaz die Mometemethode direkt awedet (d.h. als Schätzwert für die ubekate Variaz der Grudgesamtheit ˆσ die empirische Variaz der Stichprobe s verwedet), bekommt ma icht erwartugstreue, soder verzerrte Schätzer: 9
Prof. Dr. Rolad Füss Statistik II SS 008 Prof. Dr. Rolad Füss Statistik II SS 008 Das. zetrale Momet (= empirische Variaz der Stichprobe): ( ) i s x x = = = = = = ) ( ) ( ) ( ) ( ) ( ) ( ) ( σ σ σ µ µ µ µ X V X V X E X E X E X E S E i i i Diese Puktschätzug ist somit um de Faktor (-)/ verzerrt. (S : Zufallsvariable, s : Realisatio der Zufallsvariable). 0
Prof. Dr. Rolad Füss Statistik II SS 008 Da die Verzerrug durch de Faktor (-)/ ausgedrückt wird, korrigiert ma mit dem Kehrwert dieses Faktors: ˆ σ = s = ( x i x) (- ist die Zahl der Freiheitsgrade) i= Mit dieser Formel erhält ma erwartugstreue Schätzer für die Variaz. Die obige Formel gilt für de Fall mit Zurücklege.
Prof. Dr. Rolad Füss Statistik II SS 008 Im Fall ohe Zurücklege muss och der Korrekturfaktor berücksichtigt werde: N Kf = < N Schätzformel für die Variaz im Fall ohe Zurücklege: ˆ σ = N N s
Prof. Dr. Rolad Füss Statistik II SS 008.3 Eigeschafte vo Puktschätzuge Schätzwert eier Puktschätzug eies Parameters ist eie Zufallsvariable ud ka viele mögliche Werte aehme. Der ubekate Parameter selbst ist eie kostate Größe. Allgemeie Schreibweise: θ : ˆ θ : der Schätzwert ˆ θ = ˆ( θ X wahre,..., X Wert der des Parameters ) : Grudgesam theit Schätzfuk tio 3
Prof. Dr. Rolad Füss Statistik II SS 008 Schätzfuktioe sid durch bestimmte stochastische Eigeschafte charakterisiert, die Auskuft darüber gebe, wie gut Schätzfuktioe für bestimmte Zwecke geeiget sid. Erwartugstreue Ei Schätzer θˆ ist erwartugstreu oder uverzerrt ( ubiased ), we sei Erwartugswert dem wahre Wert des zu schätzede Parameters etspricht: E ( θ ˆ) = θ 4
Prof. Dr. Rolad Füss Statistik II SS 008 Asymptotische Erwartugstreue Die asymptotische Erwartugstreue ist eie schwächere Eigeschaft als die Erwartugstreue. Bei icht erwartugstreue Schätzer impliziert sie, dass die Verzerrug mit zuehmedem Stichprobeumfag geriger wird ud für verschwidet: lim E( ˆ) θ = θ 5
Prof. Dr. Rolad Füss Statistik II SS 008 Kosistez Ei Schätzer ist kosistet, we er erwartugstreu (oder midestes asymptotisch erwartugstreu) ist ud seie Variaz bei zuehmedem Stichprobeumfag gege Null geht: P ( θˆ θ > oder p ε ) lim θˆ = θ 0 für 6
Prof. Dr. Rolad Füss Statistik II SS 008 Effiziez Ei Schätzer heißt effiziet, we er i der Klasse aller erwartugstreue Schätzer die kleiste Variaz besitzt: V ( θ*) < V ( ˆ) θ 7
Prof. Dr. Rolad Füss Statistik II SS 008 Mittlerer Quadratischer Fehler Schätzprobleme: Erwartugstreue wird mit zu hoher Variaz erkauft. Der mittlere quadratische Fehler (mea squared error MSE) eies Schätzers ist defiiert als der Erwartugswert der quadrierte Differez zwische Schätzwert ud wahre Wert: MSE ˆ θ = ˆ θ θ ( ): E[( ) ] 8
Prof. Dr. Rolad Füss Statistik II SS 008 Bei erwartugstreue Schätzer ist dies die Variaz, bei de verzerrte erhält ma ach dem Verschiebugssatz mit d die Formel MSE( ˆ θ): = V( ˆ θ) + bias = θ d.h. mittlerer quadratischer Fehler berücksichtigt beides, die Variaz ud de Bias. 9
Prof. Dr. Rolad Füss Statistik II SS 008.4 Schätzprizipie = wichtigste allgemeie Asätze zur Gewiug vo Schätzmethode ud Schätzformel a) Mometemethode Ma schätzt die Momete der Verteilug der Grudgesamtheit mit etsprechede Momete der Stichprobe 0
Prof. Dr. Rolad Füss Statistik II SS 008 Grudgesamtheit E( X ) = µ EX ( ) = µ + σ m E( X ) Stichprobe X j X j m X j
Prof. Dr. Rolad Füss Statistik II SS 008 Die Schätzformel, die sich hieraus ergebe laute: ˆ µ = x ˆ µ + ˆ σ = x j, d.h. ˆ σ = x x = s j Schätzug für Variaz ur asymptotisch erwartugstreu, jedoch we µ bekat wäre, würde ˆ σ = x j µ eie erwartugstreue Schätzug für die Variaz darstelle.
Prof. Dr. Rolad Füss Statistik II SS 008 b) Schätzprizip der kleiste Quadrate (KQ-Methode) = Wähle diejeige Größe ˆKQ µ als Schätzwert für de ubekate Mittelwert µ, vo der die Summe der quadrierte Abstäde zu de Stichprobemittelwerte x i miimal ist: j= ( x ˆ µ ) j KQ Miimum ˆ µ KQ 3
Prof. Dr. Rolad Füss Statistik II SS 008 Miimierug durch Ableite ud Nullsetze: j= ( x ˆ µ )( ) = ( ) ( x ˆ µ ) = 0 j KQ j KQ x ˆ µ = x ˆ µ = j KQ j KQ j= 0 ˆKQ µ = x j = x 4
Prof. Dr. Rolad Füss Statistik II SS 008 = Miimierug der Fehlervariaz, wobei die Bewertug der Fehler icht proportioal, soder quadratisch erfolgt, d.h. doppelt so große Fehler brige vierfache Verlust i die Bewertug (quadratische Verlustfuktio) c) Maximum-Likelihood-Prizip = Prizip der größte Mutmaßlichkeit Wähle ˆML θ als Schätzwert für eie ubekate Parameter θ, welcher agesichts des Stichprobeergebisses die größte Likelihood hat bzw. vergliche mit alle adere Werte das Stichprobeergebis mit der größte Wahrscheilichkeit hervorgebracht hätte. 5
Prof. Dr. Rolad Füss Statistik II SS 008 Beispiel: Ure mit Kugel mit Ateilswert p = 0, ud p = 0,5, wobei letzterer eie größere Likelihood hat. Zur Bestimmug eies Maximum-Likelihood-Schätzers beötigt ma eie sogeate Likelihood-Fuktio L. = Massefuktio oder Dichtefuktio der gemeisame Verteilug der X, wobei der Parameter θ als Variable agesehe ud für i die beobachtete Stichprobewerte verwedet werde. L ist adbei x i eie Fuktio vo θ : L( θ; x, x,, x ): = f( x, x,, x ; θ ) 6
Prof. Dr. Rolad Füss Statistik II SS 008 Zur Bestimmug der Schätzfuktio löst ma folgedes Maximierugsproblem: L( ˆ θ, x, x,, x ) Miimum ML ˆ θ ML wobei ei Verteilugstyp der X i a priori vorgegebe wird 7
Prof. Dr. Rolad Füss Statistik II SS 008 Beispiele: Gesucht: Maximum-Likelihood-Schätzer für de Erwartugswert µ ud die Stadardabweichug σ eier Normalverteilug mit der gemeisame Dichtefuktio der i.i.d. ZV: f( x, x,, x ; µ, σ ) = f ( x; µ, σ ) f ( x ; µ, σ) N N = exp ( ) x j µ σ π σ j= = L( µσ, ; x,, x ) 8
Prof. Dr. Rolad Füss Statistik II SS 008 Logarithmus der Likelihood-Fuktio wird maximiert: l l ˆ l ( ˆ) L = σ π x j µ Maximum ˆ µσ, ˆ ˆ σ j = (mooto steigede Fuktio) I. ML-Schätzer für µ : Partielles Ableite vo l L ach µ σ j = ˆµ ud Nullsetze: l L = 0 ˆ ˆ ( x ˆ)( ) j µ = 9
Prof. Dr. Rolad Füss Statistik II SS 008 j= ( x ˆ) µ = j 0 µ = x (Stichprobemittelwert) ˆML II. ML-Schätzer für σ : ML-Schätzug für µ, ach σ ableite ud Nullsetze: l L = ( ) ( x ) 0 3 j x = ˆ σ ˆ σ ˆ σ j= ˆ σ ML = ( ) xj x (asymptotisch erwartugstreu) j= 30
Prof. Dr. Rolad Füss Statistik II SS 008 Beispiele: Gesucht: ML-Schätzer für ubekate Ateilswert eier Grudgesamtheit. Zufallsstichprobe vom Umfag mit Elemete für das dichotome Merkmal. Likelihood-Fuktio lautet: x p x x f(; x p) = p ( p) = L( p; X = x) Nach p ableite ud Ableitug Nullsetze: x x x x xp ( p) + p ( x)( p) ( ) 3
Prof. Dr. Rolad Füss Statistik II SS 008 = xp ( p) ( p) p = 0 x x x x Da der erste Faktor für p = 0 ud p = Null ist, miimiere beide Lösuge die Likelihood-Fuktio. Setzt ma jedoch de zweite Faktor gleich Null, erhält ma die Bestimmugsgleichug für de ML-Schätzer x pˆml pˆml = pˆml = 0 x x p ˆ ML x = = h 3