Schließende Statistik

Transkript

1 Schließede Statistik Vorlesug a der Uiversität des Saarlades PD Dr. Marti Becker Witersemester 08/9 Schließede Statistik (WS 08/9) Folie Eileitug Orgaisatorisches. Orgaisatorisches I Vorlesug: Freitag, -4 Uhr, Gebäude B4, HS 0.8 Übuge: siehe Homepage, Begi: ab Motag (.0.) Prüfug: -stüdige Klausur ach Semesterede (. Prüfugszeitraum) Wichtig: Ameldug (ViPa) vom.-7. November (bis 5 Uhr) möglich Abmeldug bis 5. Jauar 09 ( Uhr) möglich Hilfsmittel für Klausur Moderat programmierbarer Tascherecher, auch mit Grafikfähigkeit beliebig gestaltete DIN A 4 Blätter (bzw. 4, falls ur eiseitig) Beötigte Tabelle werde gestellt, aber keie weitere Formelsammlug! Durchgefalle was da? Wiederholugskurs im kommede (Sommer-)Semester Nachprüfug (voraussichtlich) erst September/Oktober 09 (. Prüfugszeitraum) Reguläre Vorlesug/Übuge wieder im Witersemester 09/0 Schließede Statistik (WS 08/9) Folie

2 Eileitug Orgaisatorisches. Orgaisatorisches II Kotakt: PD Dr. Marti Becker Geb. C3,. OG, Zi..7 Sprechstude ach Vereibarug (Termiabstimmug per ) Iformatioe ud Materialie auf Homepage: Material zu dieser Verastaltug: Vorlesugsfolie i.d.r. vor Vorlesug zum Dowload (iklusive Drucker-freudlicher -auf- bzw. 4-auf- Versioe) Wie i Deskriptive Statistik ud Wahrscheilichkeitsrechug : Nebe theoretischer Eiführug der Kozepte auch eiige Beispiele auf Vorlesugsfolie Eiige wichtige Grudlage werde gesodert als Defiitio, Satz oder Bemerkug hervorgehobe Aber: Auch vieles, was icht formal als Defiitio, Satz oder Bemerkug gekezeichet ist, ist wichtig! Übugsblätter i.d.r. ach Vorlesug zum Dowload Ergebisse (keie Musterlösuge!) zu eiige Aufgabe im Netz Ausführlichere Lösuge zu de Übugsaufgabe (ur) i Übugsgruppe! Schließede Statistik (WS 08/9) Folie 3 Eileitug Orgaisatorisches. Orgaisatio der Statistik-Verastaltuge Deskriptive Statistik Sommersemester Wahrscheilichkeitsrechug Witersemester Schließede Statistik Schließede Statistik (WS 08/9) Folie 4

3 Eileitug Beötigte Kozepte. Beötigte Kozepte aus de mathematische Grudlage Reche mit Poteze a m b m = (a b) m a m a = a m+ a m Reche mit Logarithme l(a b) = l a + l b a = am (a m ) = a m ( a ) l = l a l b l (a r ) = r l a b Recheregel auch mit Summe-/Produktzeiche, z.b. ( ) l = r i l(x i ) x r i i Maximiere differezierbarer Fuktioe Fuktioe (ggf. partiell) ableite Nullsetze vo Fuktioe (bzw. dere Ableituge) Ufallfreies Reche mit 4 Grudrechearte ud Brüche... Schließede Statistik (WS 08/9) Folie 5 Eileitug Beötigte Kozepte. Beötigte Kozepte aus Verastaltug Deskriptive Statistik ud Wahrscheilichkeitsrechug Diskrete ud stetige Zufallsvariable X, Verteilugsfuktioe, Wahrscheilichkeitsverteiluge, ggf. Dichtefuktioe Momete (Erwartugswert E(X ), Variaz Var(X ), höhere Momete E(X k )) Eibettug der deskriptive Statistik i die Wahrscheilichkeitsrechug Ist Ω die (edliche) Mege vo Merkmalsträger eier deskriptive statistische Utersuchug, F = P(Ω) ud P die Laplace-Wahrscheilichkeit P : P(Ω) R; B #B #Ω, so ka jedes umerische Merkmal X als Zufallsvariable X : Ω R verstade werde. Der Träger vo X etspricht da dem Merkmalsraum A = {a,..., a m }, die Puktwahrscheilichkeite de relative Häufigkeite, d.h. es gilt p(a j ) = r(a j ) bzw. äquivalet P X ({a j }) = r(a j ) für j {,..., m}. Verteilug vo X = X i für uabhägig idetisch verteilte X i falls Xi ormalverteilt falls (Zetraler Grezwertsatz!) Schließede Statistik (WS 08/9) Folie 6

4 Grudlage Grudaahme. Grudidee der schließede Statistik Ziel der schließede Statistik/iduktive Statistik: Ziehe vo Rückschlüsse auf die Verteilug eier (größere) Grudgesamtheit auf Grudlage der Beobachtug eier (kleiere) Stichprobe. Rückschlüsse auf die Verteilug köe sich auch beschräke auf spezielle Eigeschafte/Kezahle der Verteilug, z.b. de Erwartugswert. Fudamet : Drei Grudaahme Der iteressierede Umweltausschitt ka durch eie (ei- oder mehrdimesioale) Zufallsvariable Y beschriebe werde. Ma ka eie Mege W vo Wahrscheilichkeitsverteiluge agebe, zu der die ubekate wahre Verteilug vo Y gehört. 3 Ma beobachtet Realisatioe x,..., x vo (Stichprobe-)Zufallsvariable X,..., X, dere gemeisame Verteilug i vollstädig bekater Weise vo der Verteilug vo Y abhägt. Ziel ist es also, aus der Beobachtug der Werte x,..., x mit Hilfe des bekate Zusammehags zwische de Verteiluge vo X,..., X ud Y Aussage über die Verteilug vo Y zu treffe. Schließede Statistik (WS 08/9) Folie 7 Grudlage Grudaahme. Veraschaulichug der schließede Statistik Grudgesamtheit Ziehugsverfahre Stichprobe Zufallsvariable Y iduziert Verteilug vo Zufallsvariable X,, X (kokrete) Auswahl der führt Ziehug/ Stichprobe zu Rückschluss auf Verteilug/Kegröße Realisatioe x,, x Schließede Statistik (WS 08/9) Folie 8

5 Grudlage Grudaahme. Bemerkuge zu de 3 Grudaahme Die. Grudaahme umfasst isbesodere die Situatio, i der die Zufallsvariable Y eiem (ei- oder mehrdimesioale) Merkmal auf eier edliche Mege vo Merkmalsträger etspricht, vgl. die Eibettug der deskriptive Statistik i die Wahrscheilichkeitsrechug auf Folie 6. I diesem Fall iteressiert ma sich häufig für Kezahle vo Y, z.b. de Erwartugswert vo Y (als Mittelwert des Merkmals auf der Grudgesamtheit). Die Mege W vo Verteiluge aus der. Grudaahme ist häufig eie parametrische Verteilugsfamilie, zum Beispiel die Mege aller Expoetialverteiluge oder die Mege aller Normalverteiluge mit Variaz σ =. I diesem Fall ist die Mege der für die Verteilug vo Y dekbare Parameter iteressat (später mehr!). Wir betrachte da ur solche Verteilugsfamilie, i dee verschiedee Parameter auch zu verschiedee Verteiluge führe ( Parameter sid idetifizierbar. ). Wir beschräke us auf sehr eifache Zusammehäge zwische der Verteilug der iteressierede Zufallsvariable Y ud der Verteilug der Zufallsvariable X,..., X. Schließede Statistik (WS 08/9) Folie 9 Grudlage Eileitedes Beispiel. Beispiel I Stichprobe aus edlicher Grudgesamtheit Ω Grudgesamtheit: N = 4 Kider (Aa, Beatrice, Christia, Daiel) gleiche Alters, die i derselbe Straße wohe: Ω = {A, B, C, D} Iteressiereder Umweltausschitt: moatliches Taschegeld Y (i e) bzw. später spezieller: Mittelwert des moatliche Taschegelds der 4 Kider (etspricht E(Y ) bei Eibettug wie beschriebe) (Verteilugsaahme:) Verteilug vo Y ubekat, aber sicher i der Mege der diskrete Verteiluge mit maximal N = 4 (ichtegative) Trägerpukte ud Puktwahrscheilichkeite, die Vielfaches vo /N = /4 sid. Im Beispiel u: Zufallsvariable Y ehme Werte ω A B C D Y (ω) a, habe also folgede zugehörige Verteilug: y i Σ p Y (y i ) 4 4 Schließede Statistik (WS 08/9) Folie 0

6 Grudlage Eileitedes Beispiel. Beispiel II Stichprobe aus edlicher Grudgesamtheit Ω Beachte: Verteilug vo Y ur im Beispiel bekat, i der Praxis: Verteilug vo Y atürlich ubekat! Eifachste Möglichkeit, um Verteilug vo Y bzw. dere Erwartugswert zu ermittel: alle 4 Kider ach Taschegeld befrage! Typische Situatio i schließeder Statistik: icht alle Kider köe befragt werde, soder ur eie kleiere Azahl < N = 4, beispielsweise =. Erwartugswert vo Y (mittleres Taschegeld aller 4 Kider) ka da ur och geschätzt werde! Ziel: Rückschluss aus der Erhebug vo = Taschegeldhöhe auf die größere Grudgesamtheit vo N = 4 Kider durch Schätzug des mittlere Taschegeldes aller 4 Kider Beurteilug der Qualität der Schätzug (mit welchem Fehler ist zu reche) (Qualität der) Schätzug hägt gaz etscheided vom Ziehugs-/Auswahlverfahre ab! Schließede Statistik (WS 08/9) Folie Grudlage Eileitedes Beispiel. Beispiel III Stichprobe aus edlicher Grudgesamtheit Ω Erhebug vo Taschegeldhöhe führt zu Stichprobezufallsvariable X ud X. X bzw. X etspreche i diesem Fall dem Taschegeld des. bzw.. befragte Kides Sehr wichtig für Verstädis: X ud X sid Zufallsvariable, da ihr Wert (Realisatio) davo abhägt, welche Kider ma zufällig ausgewählt hat! Erst ach Auswahl der Kider (also ach Ziehug der Stichprobe ) steht der Wert (die Realisatio) x vo X bzw. x vo X fest! Variate A Naheliegedes Auswahlverfahre: acheiader rei zufällige Auswahl vo der 4 Kider, d.h. zufälliges Ziehe ohe Zurücklege mit Berücksichtigug der Reihefolge Alle (4) = Paare (A, B); (A, C); (A, D); (B, A); (B, C); (B, D); (C, A); (C, B); (C, D); (D, A); (D, B); (D, C) trete da mit der gleiche Wahrscheilichkeit (/) auf ud führe zu de folgede Stichproberealisatioe (x, x ) der Stichprobevariable (X, X ): Schließede Statistik (WS 08/9) Folie

7 Grudlage Eileitedes Beispiel. Beispiel IV Stichprobe aus edlicher Grudgesamtheit Ω Realisatioe (x, x ) zur Auswahl vo. Kid (Zeile)/. Kid (Spalte): A B C D A umöglich (5,0) (5,5) (5,0) B (0,5) umöglich (0,5) (0,0) C (5,5) (5,0) umöglich (5,0) D (0,5) (0,0) (0,5) umöglich Resultierede gemeisame Verteilug vo (X, X ): x \x Σ Σ Es fällt auf (Variate A): X ud X habe die gleiche Verteilug wie Y. X ud X sid icht stochastisch uabhägig. Schließede Statistik (WS 08/9) Folie 3 Grudlage Eileitedes Beispiel. Beispiel V Stichprobe aus edlicher Grudgesamtheit Ω Nahelieged: Schätzug des Erwartugswertes E(Y ), also des mittlere Taschegeldes aller 4 Kider, durch de (arithmetische) Mittelwert der erhaltee Werte für die befragte Kider. Wichtig: Nach Auswahl der Kider ist dieser Mittelwert eie Zahl, es ist aber sehr ützlich, de Mittelwert scho vor Auswahl der Kider (da) als Zufallsvariable (der Zufall kommt über die zufällige Auswahl der Kider is Spiel) zu betrachte! Iteressat ist also die Verteilug der Zufallsvariable X := (X + X ), also des Mittelwerts der Stichprobezufallsvariable X ud X. Die (hiervo zu uterscheidede!) Realisatio x = (x + x ) ergibt sich erst (als Zahlewert) ach Auswahl der Kider (we die Realisatio (x, x ) vo (X, X ) vorliegt)! Verteilug vo X hier (Variate A): x i Σ p X (x i ) Schließede Statistik (WS 08/9) Folie 4

8 Grudlage Eileitedes Beispiel. Beispiel VI Stichprobe aus edlicher Grudgesamtheit Ω Variate B Weiteres mögliches Auswahlverfahre: -fache rei zufällige ud voeiader uabhägige Auswahl eies der 4 Kider, wobei erlaubt ist, dasselbe Kid mehrfach auszuwähle, d.h. zufälliges Ziehe mit Zurücklege ud Berücksichtigug der Reihefolge Alle 4 = 6 Paare (A, A); (A, B); (A, C); (A, D); (B, A); (B, B); (B, C); (B, D); (C, A); (C, B); (C, C); (C, D); (D, A); (D, B); (D, C); (D, D) trete da mit der gleiche Wahrscheilichkeit (/6) auf ud führe zu de folgede Stichproberealisatioe (x, x ) der Stichprobevariable (X, X ) (zur Auswahl vo. Kid (Zeile)/. Kid (Spalte)): A B C D A (5,5) (5,0) (5,5) (5,0) B (0,5) (0,0) (0,5) (0,0) C (5,5) (5,0) (5,5) (5,0) D (0,5) (0,0) (0,5) (0,0) Schließede Statistik (WS 08/9) Folie 5 Grudlage Eileitedes Beispiel. Beispiel VII Stichprobe aus edlicher Grudgesamtheit Ω Resultierede gemeisame Verteilug vo (X, X ): Es fällt auf (Variate B): x \x Σ Σ X ud X habe die gleiche Verteilug wie Y. X ud X sid stochastisch uabhägig. Verteilug vo X hier (Variate B): x i Σ p X (x i ) Schließede Statistik (WS 08/9) Folie 6

9 Grudlage Zufallsstichprobe.3 Zufallsstichprobe Beide Variate zur Auswahl der Stichprobe führe dazu, dass alle Stichprobezufallsvariable X i (i =, ) idetisch verteilt sid wie Y. Variate B führt außerdem dazu, dass die Stichprobezufallsvariable X i (i =, ) stochastisch uabhägig sid. Defiitio. ((Eifache) Zufallsstichprobe) Seie N ud X,..., X Zufallsvariable eier Stichprobe vom Umfag zu Y. Da heißt (X,..., X ) Zufallsstichprobe vom Umfag zu Y, falls die Verteiluge vo Y ud Xi für alle i {,..., } übereistimme, alle X i also idetisch verteilt sid wie Y, eifache (Zufalls-)Stichprobe vom Umfag zu Y, falls die Verteiluge vo Y ud X i für alle i {,..., } übereistimme ud X,..., X außerdem stochastisch uabhägig sid. (X, X ) ist i Variate A des Beispiels also eie Zufallsstichprobe vom Umfag zu Y, i Variate B sogar eie eifache (Zufalls-)Stichprobe vom Umfag zu Y. Schließede Statistik (WS 08/9) Folie 7 Grudlage Zufallsstichprobe.3 X,..., X ist also ach Defiitio. auf Folie 7 geau da eie Zufallsstichprobe, falls für die Verteilugsfuktioe zu Y, X,..., X F Y = F X = = F X gilt. Ist X,..., X eie eifache Stichprobe vom Umfag zu Y, so gilt für die gemeisame Verteilugsfuktio vo (X,..., X ) sogar F X,...,X (x,..., x ) = F Y (x )... F Y (x ) = F Y (x i ). Ist Y diskrete Zufallsvariable gilt also isbesodere für die beteiligte Wahrscheilichkeitsfuktioe p X,...,X (x,..., x ) = p Y (x )... p Y (x ) = p Y (x i ), ist Y stetige Zufallsvariable, so existiere Dichtefuktioe vo Y bzw. (X,..., X ) mit f X,...,X (x,..., x ) = f Y (x )... f Y (x ) = f Y (x i ). Schließede Statistik (WS 08/9) Folie 8

10 Grudlage Stichproberealisatio.4 Stichproberealisatio/Stichproberaum Defiitio. (Stichproberealisatio/Stichproberaum) Seie N ud X,..., X Zufallsvariable eier Stichprobe vom Umfag zu Y. Seie x,..., x die beobachtete Realisatioe zu de Zufallsvariable X,..., X. Da heißt (x,..., x ) Stichproberealisatio ud die Mege X aller mögliche Stichproberealisatioe Stichproberaum. Es gilt offesichtlich immer X R. Alle mögliche Stichproberealisatioe meit alle Stichproberealisatioe, die für irgedeie der mögliche Verteiluge W vo Y aus der Verteilugsaahme möglich sid. We ma davo ausgeht, dass ei Kid schlimmstefalls 0 e Taschegeld erhält, wäre im Beispiel also X = R + (Erierug: R + := {x R x 0}). Meist wird die Iformatio der Stichprobezufallsvariable bzw. der Stichproberealisatio weiter mit sog. Stichprobefuktioe aggregiert, die oft (große) Ählichkeit mit Fuktioe habe, die i der deskriptive Statistik zur Aggregierug vo Urliste eigesetzt werde. Schließede Statistik (WS 08/9) Folie 9 Grudlage Stichprobefuktio.5 Stichprobefuktio/Statistik Defiitio.3 (Stichprobefuktio/Statistik) Seie N ud X,..., X Zufallsvariable eier Stichprobe vom Umfag zu Y mit Stichproberaum X. Da heißt eie Abbildug Stichprobefuktio oder Statistik. T : X R; (x,..., x ) T (x,..., x ) Stichprobefuktioe sid also Abbilduge, dere Wert mit Hilfe der Stichproberealisatio bestimmt werde ka. Stichprobefuktioe müsse (geeiget, z.b. B -B-) messbare Abbilduge sei; diese Aforderug ist aber für alle hier iteressierede Fuktioe erfüllt, Messbarkeitsüberleguge bleibe also im weitere Verlauf auße vor. Ebefalls als Stichprobefuktio bezeichet wird die (als Hitereiaderausführug zu verstehede) Abbildug T (X,..., X ), wege der Messbarkeitseigeschaft ist dies immer eie Zufallsvariable. Die Utersuchug der zugehörige Verteilug ist für viele Aweduge vo gaz wesetlicher Bedeutug. Schließede Statistik (WS 08/9) Folie 0

11 Grudlage Stichprobefuktio.5 We ma sowohl die Zufallsvariable T (X,..., X ) als auch de aus eier vorliegede Stichproberealisatio (x,..., x ) resultierede Wert T (x,..., x ) betrachtet, so bezeichet ma T (x,..., x ) oft auch als Realisatio der Stichprobefuktio. Im Taschegeld-Beispiel war die betrachtete Stichprobefuktio das arithmetische Mittel, also kokreter T : R R; T (x, x ) = x := (x + x ) bzw. als Zufallsvariable betrachtet T (X, X ) = X := (X + X ). Je ach Awedug erhalte Stichprobefuktioe auch speziellere Bezeichuge, z. B. Schätzfuktio oder Schätzer, we die Stichprobefuktio zur Schätzug eies Verteilugsparameters oder eier Verteilugskezahl verwedet wird (wie im Beispiel!), Teststatistik, we auf Grudlage der Stichprobefuktio Etscheiduge über die Ablehug oder Aahme vo Hypothese über die Verteilug vo Y getroffe werde. Schließede Statistik (WS 08/9) Folie Grudlage Fortsetzug Beispiel.6 Beispiel VIII Stichprobe aus edlicher Grudgesamtheit Ω Vergleich der Verteiluge vo X i beide Variate: Variate A Variate B E(Y) p X (x i ) Schließede Statistik (WS 08/9) Folie x i

12 Grudlage Fortsetzug Beispiel.6 Beispiel IX Stichprobe aus edlicher Grudgesamtheit Ω Verteilug vo Y y i Σ p Y (y i ) 4 4 hat Erwartugswert E(Y ) = 0 ud Stadardabweichug Sd(Y ) Verteilug vo X (Variate A): x i Σ p X (x i ) hat Erwartugswert E(X ) = 0 ud Stadardabweichug Sd(X ).04. Verteilug vo X (Variate B): x i Σ p X (x i ) hat Erwartugswert E(X ) = 0 ud Stadardabweichug Sd(X ) =.5. Schließede Statistik (WS 08/9) Folie 3 Grudlage Fortsetzug Beispiel.6 Beispiel X Stichprobe aus edlicher Grudgesamtheit Ω I beide Variate schätzt ma das mittlere Taschegeld E(Y ) = 0 also im Mittel richtig, de es gilt für beide Variate E(X ) = 0 = E(Y ). Die Stadardabweichug vo X ist i Variate A kleier als i Variate B; zusamme mit der Erketis, dass beide Variate im Mittel richtig liege, schätzt also Variate A geauer. I beide Variate hägt es vom Zufall (geauer vo der kokrete Auswahl der beide Kider bzw. i Variate B möglicherweise zweimal desselbe Kides ab), ob ma ach Durchführug der Stichprobeziehug de tatsächliche Mittelwert als Schätzwert erhält oder icht. Obwohl X i Variate A die kleiere Stadardabweichug hat, erhält ma i Variate B de tatsächliche Mittelwert E(Y ) = 0 mit eier größere Wahrscheilichkeit (3/8 i Variate B gegeüber /3 i Variate A). Schließede Statistik (WS 08/9) Folie 4

13 3 Parameterpuktschätzer Parameterpuktschätzer Im Folgede: Systematische Betrachtug der Schätzug vo Verteilugsparameter, we die Mege W der (mögliche) Verteiluge vo Y eie parametrische Verteilugsfamilie gemäß folgeder Defiitio ist: (Z.T. Wdh. aus Deskriptive Statistik ud Wahrscheilichkeitsrechug ) Defiitio 3. (Parametrische Verteilugsfamilie, Parameterraum) Eie Mege vo Verteiluge W heißt parametrische Verteilugsfamilie, we jede Verteilug i W durch eie edlich-dimesioale Parameter θ = (θ,..., θ K ) Θ R K charakterisiert wird. Um die Abhägigkeit vo θ auszudrücke, otiert ma die Verteiluge, Verteilugsfuktioe sowie die Wahrscheilichkeits- bzw. Dichtefuktioe häufig als P( θ,..., θ K ), F ( θ,..., θ K ) sowie p( θ,..., θ K ) bzw. f ( θ,..., θ K ). Ist W die Mege vo Verteiluge aus der. Grudaahme ( Verteilugsaahme ), so bezeichet ma W auch als parametrische Verteilugsaahme. Die Mege Θ heißt da auch Parameterraum. Schließede Statistik (WS 08/9) Folie 5 3 Parameterpuktschätzer Bemerkuge Wir betrachte ur idetifizierbare parametrische Verteilugsfamilie, das heißt, uterschiedliche Parameter aus dem Parameterraum Θ müsse auch zu uterschiedliche Verteiluge aus W führe. Die Bezeichug θ diet lediglich zur vereiheitlichte Notatio. I der Praxis behalte die Parameter meist ihre ursprügliche Bezeichug. I der Regel gehöre alle Verteiluge i W zum gleiche Typ, zum Beispiel als Berouilliverteilug B(, p): Parameter p θ, Parameterraum Θ = [0, ] Poissoverteilug Pois(λ): Parameter λ θ, Parameterraum Θ = R++ Expoetialverteilug Exp(λ): Parameter λ θ, Parameterraum Θ = R++ Normalverteilug N(µ, σ ): Parametervektor (µ, σ ) (θ, θ ), Parameterraum R R ++ (mit R ++ := {x R x > 0}). Suche ach allgemei awedbare Methode zur Kostruktio vo Schätzfuktioe für ubekate Parameter θ aus parametrische Verteilugsaahme. Schätzfuktioe für eie Parameter(vektor) θ sowie dere Realisatioe (!) werde üblicherweise mit θ, gelegetlich auch mit θ bezeichet. Meist wird vom Vorliege eier eifache Stichprobe ausgegage. Schließede Statistik (WS 08/9) Folie 6

14 3 Parameterpuktschätzer Mometemethode 3. Methode der Momete (Mometemethode) Im Taschegeldbeispiel: Schätzug des Erwartugswerts E(Y ) aheliegederweise durch das arithmetische Mittel X = (X + X ). Dies etspricht der Schätzug des. (theoretische) Momets vo Y durch das. empirische Momet der Stichproberealisatio (aufgefasst als Urliste im Sie der deskriptive Statistik). Gleichsetze vo theoretische ud empirische Momete bzw. Ersetze theoretischer durch empirische Momete führt zur gebräuchliche (Schätz-)Methode der Momete für die Parameter vo parametrische Verteilugsfamilie. Grudlegede Idee: Schätze Parameter der Verteilug so, dass zugehörige theoretische Momete E(Y ), E(Y ),... mit de etsprechede empirische Momete X, X,... der Stichprobezufallsvariable X,..., X (bzw. dere Realisatioe) übereistimme. Es werde dabei (begied mit dem erste Momet) gerade so viele Momete eibezoge, dass das etstehede Gleichugssystem für die Parameter eie eideutige Lösug hat. Bei eidimesioale Parameterräume geügt i.d.r. das erste Momet. Schließede Statistik (WS 08/9) Folie 7 3 Parameterpuktschätzer Mometemethode 3. Momete vo Zufallsvariable Bereits aus Deskriptive Statistik ud Wahrscheilichkeitsrechug bekat ist die folgede Defiitio für die (theoretische) Momete vo Zufallsvariable: Defiitio 3. (k-te Momete) Es seie Y eie (eidimesioale) Zufallsvariable, k N. Ma bezeichet de Erwartugswert E(Y k ) (falls er existiert) als das (theoretische) Momet k-ter Ordug vo Y, oder auch das k-te (theoretische) Momet vo Y ud schreibt auch kürzer E Y k := E(Y k ). Erierug (uter Auslassug der Existezbetrachtug!): Das k-te Momet vo Y berechet ma für diskrete bzw. stetige Zufallsvariable Y durch E(Y k ) = y i y k i p Y (y i ) bzw. E(Y k ) = wobei y i (im diskrete Fall) alle Trägerpukte vo Y durchläuft. y k f Y (y)dy, Schließede Statistik (WS 08/9) Folie 8

15 3 Parameterpuktschätzer Mometemethode 3. Empirische Momete vo Stichprobe Aalog zu empirische Momete vo Urliste i der deskriptive Statistik defiiert ma empirische Momete vo Stichprobe i der schließede Statistik wie folgt: Defiitio 3.3 (empirische Momete) Ist (X,..., X ) eie (eifache) Zufallsstichprobe zu eier Zufallsvariable Y, so heißt X k := Xi k das empirische k-te Momet, oder auch das Stichprobemomet der Ordug k. Zu eier Realisatio (x,..., x ) vo (X,..., X ) bezeichet x k := x k i etspreched die zugehörige Realisatio des k-te empirische Momets. Schließede Statistik (WS 08/9) Folie 9 3 Parameterpuktschätzer Mometemethode 3. Durchführug der Mometemethode Zur Durchführug der Mometemethode beötigte Azahl vo Momete meist gleich der Azahl der zu schätzede Verteilugsparameter. Übliche Vorgehesweise: Ausdrücke/Bereche der theoretische Momete i Abhägigkeit der Verteilugsparameter Gleichsetze der theoretische Momete mit de etsprechede empirische Momete ud Auflöse der etstehede Gleichuge ach de Verteilugsparameter. Alterativ, falls Verteilugsparameter Fuktioe theoretischer Momete sid: Ersetze der theoretische Momete i diese Formel für die Verteilugsparameter durch die etsprechede empirische Momete. Nützlich ist für die alterative Vorgehesweise gelegetlich der Variazzerlegugssatz Var(X ) = E(X ) [E(X )]. Schließede Statistik (WS 08/9) Folie 30

16 3 Parameterpuktschätzer Mometemethode 3. Beispiele (Mometemethode) I Schätzug des Parameters p eier Alterativ-/Beroulliverteilug: Verteilugsaahme: W = {B(, p) p Θ = [0, ]} Theoretisches. Momet: E(Y ) = p (bekat aus W rechug) Gleichsetze (hier besoders eifach!) vo E(Y ) mit. empirische Momet X liefert sofort Mometemethodeschätzer (Methode ) p = X. Der Schätzer p für die Erfolgswahrscheilichkeit p ach der Methode der Momete etspricht also gerade dem Ateil der Erfolge i der Stichprobe. Schätzug des Parameters λ eier Expoetialverteilug: Verteilugsaahme: W = {Exp(λ) λ Θ = R++ } Theoretisches. Momet: E(Y ) = (bekat aus W rechug) λ Gleichsetze vo E(Y ) mit. empirische Momet X liefert (Methode ) X! = E(Y ) = λ λ = X. (Vorsicht bei Berechug der Realisatio: x x i ) Schließede Statistik (WS 08/9) Folie 3 3 Parameterpuktschätzer Mometemethode 3. Beispiele (Mometemethode) II 3 Schätzug der Parameter (µ, σ ) eier Normalverteilug: Verteilugsaahme: W = {N(µ, σ ) (µ, σ ) Θ = R R ++ } Hier bekat: E(Y ) = µ ud Var(Y ) = σ. Alterative Methode bietet sich a (mit Variazzerlegugssatz): Verteilugsparameter µ = E(Y ) Verteilugsparameter σ = E(Y ) [E(Y )] Eisetze der empirische Momete astelle der theoretische Momete liefert µ = X sowie σ = X X als Schätzer ach der Mometemethode. Am Beispiel der Realisatio 8.75, 0.37, 8.33, 3.9, 0.66, 8.36, 0.97,.48,.5, 9.39 eier Stichprobe vom Umfag 0 erhält ma mit die realisierte Schätzwerte x = 0.65 ud x = µ = 0.65 ud σ = =.9. Schließede Statistik (WS 08/9) Folie 3

17 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Maximum-Likelihood-Methode (ML-Methode) Weitere geläufige Schätzmethode: Maximum-Likelihood-Methode Vor Erläuterug der Methode: eileitedes Beispiel Beispiel: ML-Methode durch Ituitio (?) Ei fairer Würfel sei auf eier ubekate Azahl r {0,,, 3, 4, 5, 6} vo Seite rot lackiert, auf de übrige Seite adersfarbig. Der Würfel wird 00-mal geworfe ud es wird festgestellt, wie oft eie rote Seite (obe) zu sehe war. Ageomme, es war 34-mal eie rote Seite zu sehe; wie würde Sie die Azahl der rot lackierte Seite auf dem Würfel schätze? Ageomme, es war 99-mal eie rote Seite zu sehe; wie würde Sie u die Azahl der rot lackierte Seite auf dem Würfel schätze? Welche Überleguge habe Sie isbesodere zu dem zweite Schätzwert geführt? Schließede Statistik (WS 08/9) Folie 33 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Erläuterug Beispiel I Bei der Bearbeitug des obige Beispiels wedet ma (zumidest im. Fall) vermutlich ituitiv die Maximum-Likelihood-Methode a! Prizipielle Idee der Maximum-Likelihood-Methode: Wähle dejeige der mögliche Parameter als Schätzug aus, bei dem die beobachtete Stichproberealisatio am plausibelste ist! Im Beispiel iteressiert die (ubekate) Azahl der rote Seite. Ketis der Azahl der rote Seite ist (Würfel ist fair!) gleichbedeuted mit der Ketis der Wahrscheilichkeit, dass eie rote Seite obe liegt; offesichtlich ist diese Wahrscheilichkeit ämlich r 6, we r {0,..., 6} die Azahl der rote Seite bezeichet. Iteressiereder Umweltausschitt ka also durch die Zufallsvariable Y beschriebe werde, die de Wert aimmt, falls bei eiem Würfelwurf eie rote Seite obe liegt, 0 sost. Y ist da offesichtlich B(, p)-verteilt mit ubekatem Parameter p {0, 6, 6, 3 6, 4 6, 5 6, }, die. Grudaahme ist also erfüllt mit { W = B(, p) p {0, 6, 6, 36, 46, 56 }},. Schließede Statistik (WS 08/9) Folie 34

18 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Erläuterug Beispiel II 00-maliges Werfe des Würfels ud jeweiliges Notiere eier, falls eie rote Seite obe liegt, eier 0 sost, führt offesichtlich zu eier Realisatio x,..., x eier eifache Stichprobe X,..., X vom Umfag = 00 zu Y, de X,..., X sid als Resultat wiederholter Würfelwürfe offesichtlich uabhägig idetisch verteilt wie Y. Wiederum (vgl. Taschegeldbeispiel) ist es aber ützlich, sich scho vorher Gedake über die Verteilug der Azahl der (isgesamt geworfee) Würfe mit obeliegeder rote Seite zu mache! Aus Verastaltug Deskriptive Statistik ud Wahrscheilichkeitsrechug bekat: Für die Zufallsvariable Z, die die Azahl der rote Seite bei 00-maligem Werfe beschreibt, also für 00 Z = X i = X X 00, gilt Z B(00, p), falls Y B(, p). Ziel: Aus Stichprobe X,..., X 00 bzw. der Realisatio x,..., x 00 (über die Stichprobefuktio Z bzw. dere Realisatio z = x x 00 ) auf ubekate Parameter p ud damit die Azahl der rote Seite r schließe. Schließede Statistik (WS 08/9) Folie 35 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Erläuterug Beispiel III Im Beispiel: Umsetzug der ML-Methode besoders eifach, da Mege W der mögliche Verteiluge (aus Verteilugsaahme) edlich. Plausibilität eier Stichproberealisatio ka hier direkt ahad der Eitrittswahrscheilichkeit der Realisatio gemesse ud für alle mögliche Parameter p bestimmt werde. Wahrscheilichkeit (abhägig vo p), dass Z Wert z aimmt: ( ) 00 P{Z = z p} = p z ( p) 00 z z Für die erste Realisatio z = 34 vo Z: r p P{Z = 34 p} Für die zweite Realisatio z = 99 vo Z: r p P{Z = 99 p} Schließede Statistik (WS 08/9) Folie 36

19 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Bemerkuge zum Beispiel Die agegebee Wahrscheilichkeite für Z fasse jeweils mehrere mögliche Stichproberealisatioe zusamme (da für de Wert vo Z irrelevat ist, welche der Stichprobezufallsvariable X i de Wert 0 bzw. ageomme habe), für die ML-Schätzug ist aber eigetlich die Wahrscheilichkeit eier eizele Stichproberealisatio maßgeblich. Die Wahrscheilichkeit eier eizele Stichproberealisatio erhält ma, idem der Faktor ( ) 00 z etfert wird; dieser ist jedoch i jeder der beide Tabelle kostat ud beeiflusst daher die Bestimmug des Maximums icht. Eher utypisch am Beispiel (aber umso geeigeter zur Erklärug der Methode!) ist die Tatsache, dass W eie edliche Mege vo Verteiluge ist. I der Praxis wird ma i der Regel uedlich viele Möglichkeite für die Wahl des Parameters habe, z.b. bei Alterativverteiluge p [0, ]. Dies ädert zwar ichts am Prizip der Schätzug, wohl aber a de zur Bestimmug der maximale Plausibilität ötige (mathematische) Techike. Dass die Plausibilität hier geauer eier Wahrscheilichkeit etspricht, hägt a der diskrete Verteilug vo Y. Ist Y eie stetige Zufallsvariable, überehme Dichtefuktioswerte die Messug der Plausibilität. Schließede Statistik (WS 08/9) Folie 37 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Maximum-Likelihood-Methode (im Detail) Schritte zur ML-Schätzug Die Durchführug eier ML-Schätzug besteht aus folgede Schritte: Aufstellug der sog. Likelihood-Fuktio L(θ), die i Abhägigkeit des (ubekate) Parametervektors θ die Plausibilität der beobachtete Stichproberealisatio misst. Suche des (eies) Parameters bzw. Parametervektors θ, der de (zu der beobachtete Stichproberealisatio) maximal mögliche Wert der Likelihoodfuktio liefert. Es ist also jeder Parameter(vektor) θ ei ML-Schätzer, für de gilt: L( θ) = max θ Θ L(θ) Je ach Awedugssituatio uterscheidet sich die Vorgehesweise i beide Schritte erheblich. Wir setze bei der Durchführug vo ML-Schätzuge stets voraus, dass eie eifache (Zufalls-)Stichprobe vorliegt! Schließede Statistik (WS 08/9) Folie 38

20 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.. Schritt: Aufstelle der Likelihoodfuktio Plausibilität oder Likelihood der Stichproberealisatio wird gemesse mit Hilfe der Wahrscheilichkeit, die Stichproberealisatio (x,..., x ) zu erhalte, d.h. dem Wahrscheilichkeitsfuktioswert L(θ) := p X,...,X (x,..., x θ), falls Y diskrete Zufallsvariable ist, mit Hilfe der gemeisame Dichtefuktio ausgewertet a der Stichproberealisatio (x,..., x ), L(θ) := f X,...,X (x,..., x θ), falls Y stetige Zufallsvariable ist. Bei Vorliege eier eifache Stichprobe lässt sich die Likelihoodfuktio für diskrete Zufallsvariable Y immer darstelle als L(θ) = p X,...,X (x,..., x θ) X i uabhägig = p Xi (x i θ) X i verteilt wie Y = p Y (x i θ). Schließede Statistik (WS 08/9) Folie 39 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Aalog erhält ma bei Vorliege eier eifache Stichprobe für stetige Zufallsvariable Y immer die Darstellug L(θ) = f X,...,X (x,..., x θ) X i uabhägig = f Xi (x i θ) X i für die Likelihoodfuktio. verteilt wie Y = f Y (x i θ). Ist der Parameterraum Θ edlich, ka im Prizip L(θ) für alle θ Θ berechet werde ud eies der θ als ML-Schätzwert θ gewählt werde, für das L(θ) maximal war. Für diese (eifache) Situatio wird Schritt icht weiter kokretisiert. Ist der Parameterraum Θ ei Kotiuum (z.b. ei Itervall i R K ), müsse für de. Schritt i.d.r. Maximierugsverfahre aus der Aalysis agewedet werde. Schließede Statistik (WS 08/9) Folie 40

21 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3.. Schritt: Maximiere der Likelihoodfuktio (falls Θ ei Itervall i R K ist) Wichtige Eigeschaft des Maximierugsproblems aus Schritt : Wichtig ist icht der Wert des Maximums L( θ) der Likelihoodfuktio, soder die Stelle θ, a der dieser Wert ageomme wird! Aus Grüde (zum Teil gaz erheblich) vereifachter Berechug: Bilde der logarithmierte Likelihoodfuktio (Log-Likelihoodfuktio) l L(θ). Maximiere der Log-Likelihoodfuktio l L(θ) statt Maximierug der Likelihoodfuktio. Diese Äderug des Verfahres ädert ichts a de Ergebisse, de l : R++ R ist eie streg mooto wachsede Abbildug, es geügt, die Likelihoodfuktio i de Bereiche zu utersuche, i dee sie positive Werte aimmt, da ur dort das Maximum ageomme werde ka. Dort ist auch die log-likelihoodfuktio defiiert. Schließede Statistik (WS 08/9) Folie 4 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Maximierug vo l L(θ) ka oft (aber icht immer!) auf die aus der Mathematik bekate Art ud Weise erfolge: Bilde der erste Ableitug l L der log-likelihoodfuktio. θ (Bei mehrdimesioale Parametervektore: Bilde der partielle Ableituge der log-likelihoodfuktio.) l L,..., l L θ θ K Nullsetze der erste Ableitug, um Kadidate für Maximumsstelle vo l L(θ) zu fide: l L! = 0 θ θ (Bei mehrdimesioale Parametervektore: Löse des Gleichugssystems l L θ! = 0,..., l L θ K! = 0 um Kadidate θ für Maximumsstelle vo l L(θ) zu fide.) 3 Überprüfug ahad des Vorzeiches der. Ableitug l L (bzw. der ( θ) Defiitheit der Hessematrix), ob tatsächlich eie Maximumsstelle vorliegt: l L ( θ) ( θ)? < 0 Schließede Statistik (WS 08/9) Folie 4

22 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Auf die Überprüfug der. Ableitug bzw. der Hessematrix verzichte wir häufig, um icht durch mathematische Schwierigkeite vo de statistische abzuleke. Durch de Übergag vo der Likelihoodfuktio zur log-likelihoodfuktio erhält ma gegeüber de Darstelluge aus Folie 39 ud 40 im diskrete Fall u ( ) l L(θ) = l p Y (x i θ) = l (p Y (x i θ)) ud im stetige Fall ( ) l L(θ) = l f Y (x i θ) = l (f Y (x i θ)). Die wesetliche Vereifachug beim Übergag zur log-likelihoodfuktio ergibt sich meist dadurch, dass die Summe i de obige Darstelluge deutlich leichter abzuleite sid als die Produkte i de Darstelluge der Likelihoodfuktio auf Folie 39 ud Folie 40. Falls Stadardverfahre keie Maximumsstelle liefert Gehir eischalte Schließede Statistik (WS 08/9) Folie 43 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Beispiel: ML-Schätzug für Expoetialverteilug Erierug: f Y (y λ) = λe λy für y > 0, λ > 0 Aufstelle der Likelihoodfuktio (im Fall x i > 0 für alle i): L(λ) = f Y (x i λ) = ( λe λx i ) Aufstelle der log-likelihoodfuktio (im Fall x i > 0 für alle i): l L(λ) = l ( λe λx ) i = (l λ + ( λx i )) = l λ λ 3 Ableite ud Nullsetze der log-likelihoodfuktio: liefert l L λ λ = = λ x i x i! = 0 = x x i als ML-Schätzer (. Ableitug l L ( λ) = λ < 0). Schließede Statistik (WS 08/9) Folie 44

23 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Bemerkuge Häufiger wird die Abhägigkeit der Likelihoodfuktio vo der Stichproberealisatio auch durch Schreibweise der Art L(θ; x,..., x ) oder L(x,..., x θ) ausgedrückt. Vorsicht gebote, falls Bereich positiver Dichte bzw. der Träger der Verteilug vo Y vo Parameter abhägt! Im Beispiel: Bereich positiver Dichte R ++ uabhägig vom Verteilugsparameter λ, Maximierugsproblem uter Verachlässigug des Falls midestes ei x i kleier oder gleich 0 betrachtet, da dieser Fall für keie der mögliche Parameter mit positiver Wahrscheilichkeit eitritt. Dieses Verachlässige ist icht immer uschädlich! Bei diskrete Zufallsvariable mit weig verschiedee Auspräguge oft Agabe der absolute Häufigkeite für die eizele Auspräguge i der Stichprobe statt Agabe der Stichproberealisatio x,..., x selbst. Beispiel: Bei Stichprobe vom Umfag 5 zu alterativverteilter Zufallsvariable Y häufiger Agabe vo 8 Erfolge i der Stichprobe der Läge 5 als Agabe der Stichproberealisatio 0,,,,,,,, 0,,,,,, 0,, 0,, 0,, 0,, 0,,. Schließede Statistik (WS 08/9) Folie 45 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Beispiel: ML-Schätzug für Alterativverteiluge I Verteilugsaahme: Y B(, p) für p Θ = [0, ] mit { } p falls y = p Y (y p) = = p y ( p) y für y {0, }. p falls y = 0 Aufstelle der Likelihoodfuktio: L(p) = p Y (x i p) = ( p x i ( p) x i ) = p x i ( p) x i bzw. we := x i die Azahl der Eise (Erfolge) i der Stichprobe agibt L(p) = p ( p) Aufstelle der log-likelihoodfuktio: l L(p) = l(p) + ( ) l( p) Schließede Statistik (WS 08/9) Folie 46

24 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Beispiel: ML-Schätzug für Alterativverteiluge II 3 Ableite ud Nullsetze der log-likelihoodfuktio: l L = p p p p = p p p =! = 0 Die. Ableitug l L ( p) = p ( p) ist egativ für 0 < p <, der Ateil der Erfolge i der Stichprobe p = / ist also der ML-Schätzer. Bemerkuge: Es wird die Kovetio 0 0 := verwedet. Die Bestimmug des ML-Schätzers i Schritt 3 ist so ur für 0 ud korrekt. Für = 0 ud = ist die (log-) Likelihoodfuktio jeweils streg mooto, die ML-Schätzer sid also Radlösuge (später mehr!). Für = 0 gilt jedoch p = 0 = 0, für = außerdem p = =, die Formel aus Schritt 3 bleibt also gültig! Schließede Statistik (WS 08/9) Folie 47 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Beispiel: ML-Schätzug für Poissoverteiluge I Verteilugsaahme: Y Pois(λ) für λ Θ = R ++ mit für k N 0. p Y (k λ) = λk k! e λ Aufstelle der Likelihoodfuktio: L(λ) = p Y (x i λ) = ( λ x i ) x i! e λ (falls alle x i N 0 ) Aufstelle der log-likelihoodfuktio: l L(λ) = (x i l(λ) l(x i!) λ) = ( ) ( ) x i l(λ) l(x i!) λ Schließede Statistik (WS 08/9) Folie 48

25 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Beispiel: ML-Schätzug für Poissoverteiluge II 3 Ableite ud Nullsetze der log-likelihoodfuktio: l L λ = x i λ λ = x i! = 0 = x mit l L ( λ) λ. = x i λ < 0 für alle λ > 0, λ = x ist also der ML-Schätzer für Aus Wahrscheilichkeitsrechug bekat: Y Pois(λ) E(Y ) = λ, also ergibt sich (hier) auch für de Schätzer ach der Mometemethode offesichtlich λ = X. Wird (ählich zur Azahl der Erfolge i eier Stichprobe zu eier alterativverteilte Grudgesamtheit) statt der (explizite) Stichproberealisatio x,..., x eie Häufigkeitsverteilug der i der Stichprobe aufgetretee Werte agegebe, ka x mit der aus der deskriptive Statistik bekate Formel ausgerechet werde. Schließede Statistik (WS 08/9) Folie 49 3 Parameterpuktschätzer Maximum-Likelihood-Methode 3. Beispiel: ML-Schätzug bei diskreter Gleichverteilug Verteilugsaahme: für ei (ubekates) M N immt Y die Werte {,..., M} mit der gleiche Wahrscheilichkeit vo jeweils /M a, d.h.: p Y (k M) = { M falls k {,..., M} 0 falls k / {,..., M} Aufstelle der Likelihoodfuktio: { M falls x L(M) = p Y (x i M) = i {,..., M} für alle i 0 falls x i / {,..., M} für midestes ei i = { M falls max{x,..., x } M 0 falls max{x,..., x } > M (gegebe x i N für alle i) Maximiere der Likelihoodfuktio: Offesichtlich ist L(M) für max{x,..., x } M streg mooto falled i M, M muss also uter Eihaltug der Bedigug max{x,..., x } M möglichst klei gewählt werde. Damit erhält ma de ML-Schätzer als M = max{x,..., x }. Schließede Statistik (WS 08/9) Folie 50

26 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Beurteilug vo Schätzfuktioe Bisher: Zwei Methode zur Kostruktio vo Schätzfuktioe bekat. Problem: Lösug: Wie ka Güte/Qualität dieser Methode bzw. der resultierede Schätzfuktioe beurteilt werde? Zu gegebeer Schätzfuktio θ für θ: Utersuchug des zufällige Schätzfehlers θ θ (bzw. desse Verteilug) Naheliegede Forderug für gute Schätzfuktioe: Verteilug des Schätzfehler sollte möglichst dicht um 0 kozetriert sei (d.h. Verteilug vo θ sollte möglichst dicht um θ kozetriert sei) Aber: Was bedeutet das? Wie vergleicht ma zwei Schätzfuktioe θ ud θ? Wa ist Schätzfuktio θ besser als θ (ud was bedeutet besser )? Was ist zu beachte, we Verteilug des Schätzfehlers och vom zu schätzede Parameter abhägt? Schließede Statistik (WS 08/9) Folie 5 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Bias, Erwartugstreue Eie offesichtlich gute Eigeschaft vo Schätzfuktioe ist, we der zu schätzede (wahre) Parameter zumidest im Mittel getroffe wird, d.h. der erwartete Schätzfehler gleich Null ist: Defiitio 3.4 (Bias, Erwartugstreue) Seie W eie parametrische Verteilugsaahme mit Parameterraum Θ, θ eie Schätzfuktio für θ. Da heißt der erwartete Schätzfehler die Verzerrug oder der Bias vo θ, Bias( θ) := E( θ θ) = E( θ) θ die Schätzfuktio θ erwartugstreu für θ oder auch uverzerrt für θ, falls Bias( θ) = 0 bzw. E( θ) = θ für alle θ Θ gilt. 3 Ist allgemeier g : Θ R eie (messbare) Abbildug, so betrachtet ma auch Schätzfuktioe ĝ(θ) für g(θ) ud et diese erwartugstreu für g(θ), we E(ĝ(θ) g(θ)) = 0 bzw. E(ĝ(θ)) = g(θ) für alle θ Θ gilt. Schließede Statistik (WS 08/9) Folie 5

27 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Bemerkuge Obwohl Defiitio 3.4 auch für mehrdimesioale Parameterräume Θ geeiget ist ( 0 etspricht da ggf. dem Nullvektor), betrachte wir zur Vereifachug im Folgede meist ur och eidimesioale Parameterräume Θ R. Ist beispielsweise W als Verteilugsaahme für Y die Mege aller Alterativverteiluge B(, p) mit Parameter p Θ = [0, ], so ist der ML-Schätzer p = X = X i bei Vorliege eier Zufallsstichprobe X,..., X zu Y erwartugstreu für p, de es gilt: E( p) = E ( ) X i E liear = F Xi =F Y = = E(X i ) E(Y ) p = p für alle p [0, ] Schließede Statistik (WS 08/9) Folie 53 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Allgemeier gilt, dass X bei Vorliege eier Zufallsstichprobe stets erwartugstreu für E(Y ) ist, de es gilt aalog zu obe: ( ) E liear E(X ) = E X i = E(X i ) F Xi =F Y = = E(Y ) E(Y ) = E(Y ) Geauso ist klar, dass ma für beliebiges k mit dem k-te empirische Momet X k bei Vorliege eier Zufallsstichprobe stets erwartugstreue Schätzer für das k-te theoretische Momet E(Y k ) erhält, de es gilt: E(X k ) = E ( X k i ) = E(X k i ) = E(Y k ) = E(Y k ) Schließede Statistik (WS 08/9) Folie 54

28 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Der ach der Methode der Momete erhaltee Schätzer σ = X X Verschiebugssatz = (X i X ) für de Parameter σ eier ormalverteilte Zufallsvariable ist icht erwartugstreu für σ. Bezeichet σ := Var(Y ) ämlich die (ubekate) Variaz der Zufallsvariable Y, so ka gezeigt werde, dass für σ geerell E( σ ) = σ gilt. Eie erwartugstreue Schätzer für σ erhält ma folglich mit der sogeate Stichprobevariaz S = (X i X ) = σ, de es gilt offesichtlich ( ) E(S ) = E σ = ) ( σ E = σ = σ. Schließede Statistik (WS 08/9) Folie 55 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Vergleich vo Schätzfuktioe Beim Vergleich vo Schätzfuktioe: oft Beschräkug auf erwartugstreue Schätzfuktioe I der Regel: viele erwartugstreue Schätzfuktioe dekbar. Für die Schätzug vo µ := E(Y ) beispielsweise alle gewichtete Mittel µ w,...,w := w i X i mit der Eigeschaft w i = erwartugstreu für µ, de es gilt da offesichtlich ( ) E ( µ w,...,w ) = E w i X i = w i E(X i ) = E(Y ) w i = E(Y ) = µ. Problem: Welche Schätzfuktio ist die beste? Übliche Auswahl (bei Beschräkug auf erwartugstreue Schätzfuktioe!): Schätzfuktioe mit gerigerer Streuug (Variaz) bevorzuge. Schließede Statistik (WS 08/9) Folie 56

29 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Wirksamkeit, Effiziez Defiitio 3.5 (Wirksamkeit, Effiziez) Sei W eie parametrische Verteilugsaahme mit Parameterraum Θ. Seie θ ud θ erwartugstreue Schätzfuktioe für θ. Da heißt θ midestes so wirksam wie θ, we Var( θ) Var( θ) für alle θ Θ gilt. θ heißt wirksamer als θ, we außerdem Var( θ) < Var( θ) für midestes ei θ Θ gilt. Ist θ midestes so wirksam wie alle (adere) Schätzfuktioe eier Klasse mit erwartugstreue Schätzfuktioe für θ, so et ma θ effiziet i dieser Klasse erwartugstreuer Schätzfuktioe. Die Begriffe Wirksamkeit ud Effiziez betrachtet ma aalog zu Defiitio 3.5 ebefalls, we Fuktioe g(θ) vo θ geschätzt werde. Sd( θ) = Var( θ) wird auch Stadardfehler oder Stichprobefehler vo θ geat. Schließede Statistik (WS 08/9) Folie 57 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Beispiel: Effiziez Betrachte Klasse der (lieare) erwartugstreue Schätzfuktioe µ w,...,w := w i X i mit w i = für de Erwartugswert µ := E(Y ) aus Folie 56. Für welche w,..., w erhält ma (bei Vorliege eier eifache Stichprobe) die i dieser Klasse effiziete Schätzfuktio µ w,...,w? Suche ach de Gewichte w,..., w (mit w i = ), für die Var( µ w,...,w ) möglichst klei wird. Ma ka zeige, dass Var( µ w,...,w ) miimal wird, we w i = für alle i {,..., } gewählt wird. Damit ist X also effiziet i der Klasse der lieare erwartugstreue Schätzfuktioe für de Erwartugswert µ eier Verteilug! Schließede Statistik (WS 08/9) Folie 58

30 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Mittlerer quadratischer Fehler (MSE) We Erwartugstreue im Vordergrud steht, ist Auswahl ach miimaler Variaz der Schätzfuktio sivoll. Ist Erwartugstreue icht das übergeordete Ziel, verwedet ma zur Beurteilug der Qualität vo Schätzfuktioe häufig auch de sogeate mittlere quadratische Fehler (mea square error, MSE). Defiitio 3.6 (Mittlerer quadratischer Fehler (MSE)) Sei W eie parametrische Verteilugsaahme mit Parameterraum ] Θ, θ eie Schätzfuktio für θ Θ. Da heißt MSE( θ) := E [( θ θ) der mittlere quadratische Fehler (mea square error, MSE) vo θ. Mit dem (umgestellte) Variazzerlegugssatz erhält ma direkt [ E ( θ θ) ] [ ] = Var( θ θ) + E( θ θ), }{{}}{{} =Var( θ) =(Bias( θ)) für erwartugstreue Schätzfuktioe stimmt der MSE eier Schätzfuktio also gerade mit der Variaz überei! Schließede Statistik (WS 08/9) Folie 59 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Kosistez im quadratische Mittel Basiered auf dem MSE ist ei miimales Qualitätskriterium für Schätzfuktioe etabliert. Das Kriterium fordert (im Prizip), dass ma de MSE durch Vergrößerug des Stichprobeumfags beliebig klei bekomme muss. Zur Formulierug des Kriteriums müsse Schätzfuktioe θ für variable Stichprobegröße N betrachtet werde. Defiitio 3.7 (Kosistez im quadratische Mittel) Seie W eie parametrische Verteilugsaahme mit Parameterraum Θ, θ eie Schätzfuktio für θ Θ zum Stichprobeumfag N. Da heißt die (Familie vo) Schätzfuktio(e) θ kosistet im quadratische Mittel für θ, falls [ lim MSE( θ ) = lim E ( θ θ) ] = 0 für alle θ Θ gilt. Schließede Statistik (WS 08/9) Folie 60

31 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Mit der (additive) Zerlegug des MSE i Variaz ud quadrierte Bias aus Folie 59 erhält ma sofort: Satz 3.8 Seie W eie parametrische Verteilugsaahme mit Parameterraum Θ, θ eie Schätzfuktio für θ Θ zum Stichprobeumfag N. Da ist die Familie θ vo Schätzfuktioe geau da kosistet im quadratische Mittel für θ, we sowohl lim E( θ θ) = 0 bzw. lim E( θ ) = θ als auch lim Var( θ ) = 0 für alle θ Θ gilt. Eigeschaft aus Satz 3.8 wird auch asymptotische Erwartugstreue geat; asymptotische Erwartugstreue ist offesichtlich schwächer als Erwartugstreue. Es gibt also auch (Familie vo) Schätzfuktioe, die für eie Parameter θ zwar kosistet im quadratische Mittel sid, aber icht erwartugstreu. Schließede Statistik (WS 08/9) Folie 6 3 Parameterpuktschätzer Eigeschafte vo Schätzfuktioe 3.3 Beispiel: Kosistez im quadratische Mittel Voraussetzug (wie üblich): X,..., X eifache Stichprobe zu Y. Bekat: Ist µ := E(Y ) der ubekate Erwartugswert der iteressierede Zufallsvariable Y, so ist X = X i für alle N erwartugstreu. Ist σ := Var(Y ) die Variaz vo Y, so erhält ma für die Variaz vo X (vgl. Beweis der Effiziez vo X uter alle lieare erwartugstreue Schätzfuktioe für µ): Var(X ) = Var ( ) X i = Var(X i ) = }{{} =σ σ Es gilt also lim Var(X ) = lim = 0, damit folgt zusamme mit der Erwartugstreue, dass X kosistet im quadratische Mittel für µ ist. σ Schließede Statistik (WS 08/9) Folie 6

32 4 Schwakugsitervalle Verteilug des Stichprobemittels 4. Verteilug des Stichprobemittels X Bisher: Iteresse meist a eiige Momete (Erwartugswert ud Variaz) vo Schätzfuktioe, isbesodere des Stichprobemittels X. Bereits bekat: Ist µ := E(Y ), σ := Var(Y ) ud X,..., X eie eifache Stichprobe zu Y, so gilt E(X ) = µ sowie Var(X ) = σ. Damit Aussage über Erwartugstreue, Wirksamkeit, Kosistez möglich. Jetzt: Iteresse a gazer Verteilug vo Schätzfuktioe, isbesodere X. Verteilugsaussage etweder auf Grudlage des Verteilugstyps vo Y aus der Verteilugsaahme i spezielle Situatioe exakt möglich oder auf Grudlage des zetrale Grezwertsatzes (bei geüged großem Stichprobeumfag!) allgemeier äherugsweise (approximativ) möglich. Wir uterscheide im Folgede ur zwische: Y ormalverteilt Verwedug der exakte Verteilug vo X. Y icht ormalverteilt Verwedug der Näherug der Verteilug vo X aus dem zetrale Grezwertsatz. Schließede Statistik (WS 08/9) Folie 63 4 Schwakugsitervalle Verteilug des Stichprobemittels 4. Aus Deskriptive Statistik ud Wahrscheilichkeitsrechug : Gilt Y N(µ, σ ), so ist X exakt ormalverteilt mit Erwartugswert µ ud Variaz σ, es gilt also ( ) X N µ, σ Ist Y beliebig verteilt mit E(Y ) =: µ ud Var(Y ) =: σ, so rechtfertigt der zetrale Grezwertsatz für ausreiched große Stichprobeumfäge die Näherug der tatsächliche Verteilug vo X durch eie Normalverteilug mit Erwartugswert µ ud Variaz σ (wie obe!), ma schreibt da auch ) X N (µ, σ ( ud sagt X ist approximativ (äherugsweise) N Der Stadardabweichug Sd(X ) =. µ, σ ) -verteilt. Var(X ) vo X (also der Stadardfehler der Schätzfuktio X für µ) wird häufig mit σ X := σ abgekürzt. Schließede Statistik (WS 08/9) Folie 64

33 4 Schwakugsitervalle Verteilug des Stichprobemittels 4. Die Qualität der Näherug der Verteilug im Fall wird mit zuehmedem Stichprobeumfag höher, hägt aber gaz etscheided vom Verteilugstyp (ud sogar der kokrete Verteilug) vo Y ab! Pauschale Kriterie a de Stichprobeumfag ( Daumeregel, z.b. 30) fide sich häufig i der Literatur, sid aber icht gaz ukritisch. ( ) ( ) Verteilugseigeschaft X N µ, σ bzw. X N µ, σ wird meistes (äquivalet!) i der (auch aus dem zetrale Grezwertsatz bekate) Gestalt X µ σ X µ N(0, ) bzw. N(0, ) σ verwedet, da da Verwedug vo Tabelle zur Stadardormalverteilug möglich. Im Folgede: Eiige Beispiele für Qualität vo Näheruge durch Vergleich der Dichtefuktio der Stadardormalverteilugsapproximatio mit der tatsächliche Verteilug vo X µ σ für uterschiedliche Stichprobeumfäge. Schließede Statistik (WS 08/9) Folie 65 4 Schwakugsitervalle Verteilug des Stichprobemittels 4. Beispiel: Näherug, falls Y Uif(0, 50) f(x) N(0,) =3 =5 = x Schließede Statistik (WS 08/9) Folie 66

34 4 Schwakugsitervalle Verteilug des Stichprobemittels 4. Beispiel: Näherug, falls Y Exp() f(x) N(0,) =3 =5 =0 =30 = x Schließede Statistik (WS 08/9) Folie 67 4 Schwakugsitervalle Verteilug des Stichprobemittels 4. Beispiel: Näherug, falls Y B(, 0.5) f(x) N(0,) =3 =5 =0 =30 =50 = x Schließede Statistik (WS 08/9) Folie 68

35 4 Schwakugsitervalle Verteilug des Stichprobemittels 4. Beispiel: Näherug, falls Y B(, 0.05) f(x) N(0,) =3 =5 =0 =30 =50 = x Schließede Statistik (WS 08/9) Folie 69 4 Schwakugsitervalle Schwakugsitervalle 4. Schwakugsitervalle für X Eie Verwedugsmöglichkeit für Verteilug vo X : Berechug vo (feste) Itervalle mit der Eigeschaft, dass die Stichprobeziehug mit eier vorgegebee Wahrscheilichkeit zu eier Realisatio vo X führt, die i dieses berechete Itervall fällt. Solche Itervalle heiße Schwakugsitervalle. Gesucht sid also Itervallgreze g u < g o vo Itervalle [g u, g o ] mit P X ([g u, g o ]) = P{X [g u, g o ]}! = p S für eie vorgegebee Wahrscheilichkeit p S (0, ). Aus bestimmte Grüde (die später verstädlich werde) gibt ma icht p S vor, soder die Gegewahrscheilichkeit α := p S, d.h. ma fordert P X ([g u, g o ]) = P{X [g u, g o ]}! = α für ei vorgegebees α (0, ). α wird da auch Sicherheitswahrscheilichkeit geat. Schließede Statistik (WS 08/9) Folie 70