STATISTIK III INDUKTIVE STATISTIK

Transkript

1 STATISTIK III INDUKTIVE STATISTIK vo Alex Keel 6. Auflage 004 Verlag Wlhelm Surbr Wttebach/St. Galle

2 Vorlesug a der Uverstät St. Galle - Hochschule für Wrtschafts-, Rechts- ud Sozalwsseschafte (HSG) Alle Rechte vorbehalte 004 Prof. Dr. Alex Keel, Bodastrasse 6, CH-9000 St. Galle, Tel. ++4 / 7 / 4 4 3, Fax. ++4 / 7 / Verlag Wlhelm Surbr, Bette 0, CH-9303 Wttebach, Tel. ud Fax. ++4 / 7 /

3 Vorwort Der vorlegede Bad Statstk III Iduktve Statstk st der drtte Tel der Vorlesugsuterlage zur Eführug de Statstk a der Uverstät St.Galle. Der vorlesugsbegletede Text soll de erste awedugsbezogee Esteg de Grudlage der Statstk erlechter. Er baut auf de bede Bäde Statstk I Beschrebede Statstk ud Statstk II Wahrschelchketstheore auf. Da sch der Text a Studerede der Wrtschaftswsseschafte rchtet, wurde bewusst der tutve Aschauug Vorrag vor der formale Strege gewährt. Nebe eem erste Zel, ämlch dem Umgag mt zufällge Phäomee, wurde weter versucht, otwedge Grudlage für de quattatve Ökoome ud Fazmarkttheore beretzustelle. De Theore wurde sowet als möglch mttels praktscher Bespele egeführt ud dargestellt. Zur egee Beurtelug über de persölche Fortschrtt verfüge de Studerede über ee ausführlche Bespelsammlug mt Kurzlösuge. Gere beutze ch de Gelegehet zum Dak a alle, welche zur Herausgabe des Skrptums begetrage habe. Stefa Ott, Dpl.-Math.oec. ud Reto Lebudgut, lc.oec. ware mr wertvolle Dskussosparter sowohl haltlcher als auch formaler Hscht. Ohe hre Hlfe wäre de vorlegede überarbetete ud ergäzte Auflage cht möglch geworde. Gaz herzlch dake ch emal mehr Mare-Clare Bauma. Se hat de Tücke be der Gestaltug formaler Texte mt stets sch wadelder Software mesterhaft bewältgt. Ebeso wess ch hre Geduld ud hre Beretschaft, auf mmer eue Wüsche ezugehe, sehr zu schätze.

4 I N H A L T S V E R Z E I C H N I S EINLEITUNG.... GRUNDGESAMTHEIT - STICHPROBE.... Zufällge Auswahlverfahre Stchproberaum, Stchprobefukto Vertelug vo Stchprobefuktoe SCHÄTZTHEORIE Puktschätzuge Itutv heurstsche Asätze für Schätzfuktoe Erwartugstreue Schätzfuktoe Effzete Schätzfuktoe Suffzez Kosstete Schätzfuktoe Mea squared error (MSE) Methode zur Kostrukto vo Schätzfuktoe De Mometemethode De Maxmum Lkelhood Methode Itervallschätzuge Kofdeztervalle Kofdeztervall für de Mttelwert µ eer ormalvertelte Grudgesamthet be bekater Varaz σ Kofdeztervall für de Mttelwert µ eer ormalvertelte Grudgesamthet be ubekater Varaz σ Kofdeztervall für de Mttelwert µ be belebg vertelte Zufallsvarable Kofdeztervall für de Varaz eer ormalvertelte Grudgesamthet Kofdeztervall für p der Bomalvertelug Kofdeztervall für λ der Possovertelug TESTEN VON HYPOTHESEN Eführugsbespel Formulerug vo Null- ud Alteratvhypothese Der Efluss des Stchprobeumfags Der allgemee Test für de Mttelwert eer Normalvertelug be bekater Varaz... 67

5 3.5 Test für de Mttelwert eer Normalvertelug be ubekater Varaz Test für de Varaz σ eer Normalvertelug Verglech der Mttelwerte zweer Normalverteluge Verglech be bekater Varaz Verglech be ubekater Varaz Verglech der Varaze zweer Normalverteluge Querverbdug zur Theore der Kofdeztervalle Ch Quadrat Test ( χ Test) Der χ Apassugstest Der χ Uabhäggketstest Kotgeztafel Verglech vo r Stchprobe eer Kotgeztafel Test auf Normalvertelug Lkelhood Quotetetest Efache Hypothese Theorem vo Neyma ud Pearso Zusammegesetzte Hypothese Vertelugsuabhägge Verfahre Medatest für de Stchprobefall Medatest für ee Dfferezvarable m Zwestchprobefall Der Vorzeche-Ragtest vo Wlcoxo für zwe verbudee Stchprobe REGRESSIONSANALYSE Das leare Modell der Efachregresso Mmumquadratschätzuge vo β 0 ud β Egeschafte der Schätzfuktoe Schätzfukto für σ U Maxmum Lkelhood Schätzuge Vertelug der Schätzfuktoe B 0 ud B Hypothesetest ud Kofdeztervalle für β 0 ud β Kofdeztervalle für β 0 ud β Hypothesetest für β Bedgtes Kofdeztervall für Y be gegebeem x Verletzug der Voraussetzuge Varazhomogetät Autokorrelato Test auf Autokorrelato... 7 σ

6 4.9.4 Statstsche Egeschafte der Resdue Graphsche Darstellug der Resdue Leverage Studetzed Resduals Test auf Ukorrelerthet der Resdue Nchtleare Regressosasätze KORRELATIONSRECHNUNG Der Korrelatoskoeffzet ach Bravas Pearso Der Korrelatoskoeffzet der Grudgesamthet Vertelug vo R Kofdeztervall für ρ Hypothesetest über ρ Ragkorrelato Ragkorrelatoskoeffzet der Stchprobe Vertelug vo R s be Uabhäggket Erwartugswert ud Varaz vo R s be Uabhäggket Asymptotsche Vertelug vo R s Test auf Uabhäggket... 3 LITERATURVERZEICHNIS... 5 INDE... 6 v

7 3. TEIL - I N D U K T I V E S T A T I S T I K EINLEITUNG I der Eführugsvorlesug Statstk I wurde ebe der Idexrechug Probleme der Erfassug, Aufberetug, Darstellug ud Auswertug vo Date dskutert. Über ee geegete Kozetrato des verfügbare Urmaterals wurde versucht, de wesetlche Merkmale ees teresserede Sachverhalts aus de Date herauszuarbete. I erster Le beutzte ma dazu Häufgketsverteluge ud daraus abgeletete Parameter we Mttelwerte ud Streuugsmasszahle. I der Vorlesug Statstk II stad de Wahrschelchketstheore m Zetrum. Aufbaued auf eer prmär tutve Vorstellug des Wahrschelchketsbegrffes wurde Methode zur formale Beschrebug vo Zufallsexpermete dargestellt. Zu desem Zweck wurde das Kozept eer "zufällge Varable" etwckelt ud formalsert. Mt eer Auswahl der wchtgste dskrete ud stetge Verteluge kote jee Hlfsmttel beretgestellt werde, welche de u darzulegede Schulterschluss zwsche Theore ud Praxs erst ermöglche. Im Zetrum der Vorlesug Statstk III steht de duktve Statstk. De Kozepte der beschrebede Statstk werde sofer ergäzt, als das Iformatospotetal eer Stchprobe cht ur dargestellt, soder zur Bewältgug vo Ugewsshetsstuatoe eer darüberlegede Grudgesamthet verwedet wrd. I aller Regel verfügt ma cht über sämtlche Iformatoe eer Gesamthet, über de ma ee Aussage mache möchte. E Aahmekotrolleur ka etweder aus zetlche, sachlche oder fazelle Grüde ur ee Tel eer gaze Leferug überprüfe. Trotzdem muss er sch etschede, ob er de gaze Leferug aehme wll oder cht. Im Rahme der duktve Statstk steht de Frage m Zetrum, wefer aus eer zufällg ausgewählte Telmege Rückschlüsse auf de hter deser Telmege legede Gesamthet gezoge werde köe. De Etschede aus der Stchprobe auf de Grudgesamthet sd uter uvollstädger Iformato zu fälle. Deses Charakterstkum der Uscherhet ka mt och so rafferte, statstsche Methode cht besetgt werde. De Statstk lehrt ur, we de Uscherhet quatfzert werde ka. Mt zufallsbedgte Telformatoe köe e Bewese geführt werde. We also der Statstk achgesagt wrd, dass se mt rchtge Zahle Falsches ud mt falsche Zahle Rchtges bewese, so wrd hr Umöglches uterstellt.

8 . GRUNDGESAMTHEIT - STICHPROBE Statstsche Aalyse erfolge mt dem Zweck, Aussage über ee wohldeferte Mege vo Utersuchugsehete zu mache. Be der Formulerug des Utersuchugszeles st ebe de zu erhebede Merkmale sbesodere auch de Mege der potetelle Merkmalsträger festzulege. Bespel Utersuchugszel: Kosumgewohhete Utersuchugsehete: Haushalte eer Stadt mt 4 Persoe Utersuchugsmerkmale: Ekomme Ausgabe für Steuer, Verscheruge, Rese, Esse, usw. Defto Uter der Grudgesamthet Ω bezüglch ees Utersuchugszels versteht ma de Mege der möglche Utersuchugsehete. Bespele.) Beschäftgte ees Betrebes.) Tagesprodukto eer Masche 3.) Zetpukte ees Tages 4.) Träger eer bestmmte Krakhet 5.) Zehuge vo Lottozahle Zur vollstädge Defto vo Ω gehört ee edeutge Vorschrft, welche für alle Beobachtugsehete festlegt, ob se zu Ω gehöre oder cht. De Azahl Elemete vo Ω ka edlch (,,4) oder uedlch (3,5) se. Betrachtet ma m Bespel 5 sämtlche bsherge Zehuge, so st de Grudgesamthet edlch ud kokret. Lässt ma hgege de zetlche Lmterug falle, so etwckelt sch Ω erst m Laufe der Zet mt eer stets wachsede Azahl vo Elemete (Zehuge). Wr beschräke us auf de efache Fall, dass ur e ezges Merkmal be de Elemete vo Ω utersucht werde soll. Be de Beschäftgte ees Betrebes teressert ma sch bespelswese ur für de Azahl Destjahre ud cht zusätzlch och für dere Alter. Ierhalb vo Ω bestzt deses Merkmal ee Vertelug, welche aller Regel aber cht bekat st. Ordet ma de Merkmalsauspräguge reelle Zahle

9 zu, so erzeugt ma etspreched ee Vertelug eer Zufallsvarable. Ma sprcht daher kurz vo der Vertelug der Grudgesamthet bezüglch des Merkmals (Zufallsvarable). Iteressert be der Tagesprodukto eer Masche ur, ob de produzerte Elemete gut () oder defekt (0) sd, so betrachtet ma de Beroullvarable mt de Auspräguge 0 ud. Aalog sprcht ma auch vo eer beroullvertelte Grudgesamthet mt dem Parameter p. Be der statstsche Aalyse geht es regelmässg darum, Aussage über de Vertelug vo zu mache. Köe sämtlche Elemete vo Ω beobachtet werde, so sprcht ma vo eer Vollerhebug. De Vertelug des teresserede Merkmals st dese Fälle bekat. Ma befdet sch m Zustad vollstädger Iformato. De Wahrschelchkete über de Auspräguge vo etspreche hre relatve Häufgkete der Gesamthet. Ket ma vo eem Produktoslos de Qualtät sämtlcher produzerter Elemete, so st de Wahrschelchket, e gutes Stück zu beobachte p g = (.) falls vo sgesamt Elemete g vo guter Qualtät ware. I der Praxs sd Vollerhebuge sehr selte. Mestes spreche zetlche ud fazelle Überleguge gege ee Vollerhebug. We etwa de Beobachtug selber mt der Zerstörug des Elemetes verbude st (Qualtät des Ihaltes vo Koservedose), würde ee Vollerhebug zwar vollstädg formere, ma wäre aber eem permaete Ausleferugsotstad! Es gbt aber auch Fälle, be dee ee Vollerhebug aus theoretsche Grüde cht möglch st. De zetlch cht lmterte Lottobetrachtug st e typsches Bespel dafür. Ω wrd m Zetablauf erst aufgebaut ud ka folgedesse e vollstädg erfasst werde. Schlesslch st ma ur selte a absoluter Geaugket teressert. Schätzuge sd oft ausreched, womt ee Vollerhebug wederum uötg wrd. Astelle eer Vollerhebug beobachtet ma solche Stuatoe ee Telmege vo Ω. Ahad eer geeget ausgewählte Telmege versucht ma, möglchst allgemegültge Aussage auch über de ubekate Grudgesamthet zu mache. Mt der Zufallsauswahl sd auch de Iformatoe der Stchprobe zufallsabhägg. Damt st das typsche Iferezproblem der Statstk agesproche, ämlch der Rückschluss 3

10 uter uvollstädger Iformato aus eer Stchprobe auf de dahterlegede Grudgesamthet. Zufallsauswahl Grudgesamthet Stchprobe f Rückschluss Offeschtlch hägt de Qualtät der agesprochee Rückschlüsse wesetlch vom Auswahlverfahre ab. Je besser es gelgt, de wesetlche Charakterstka vo Ω der Stchprobe zum Ausdruck zu brge, desto zuverlässger sd de daraus abgeletete Aussage. I der Umgagssprache sprcht ma desem Zusammehag vo sogeat repräsetatve Stchprobe. Be der Stchprobeerhebug werde Objekte aus Ω ach eer bestmmte Vorschrft ausgewählt, um se aschlessed eem Messmechasmus zu uterwerfe. Leder exstert ke Auswahlverfahre, welches jedem Ezelfall ee Stchprobe lefert, de deselbe charakterserede Egeschafte aufwest we Ω selber. De beste Voraussetzuge auf lage Frst garatere zufällge Auswahlverfahre, welche cht durch subjektve Eflüsse gestört werde.. Zufällge Auswahlverfahre Im Rahme eer Utersuchug teressere e dchotomes Merkmal. Be eem Produktosprozess werde ledglch de Qualtätsstufe gut oder defekt festgestellt, oder be eer Lottere wrd ur ach Gew oder Verlust gefragt. Wll ma de Erfolgsatel eer edlche Gesamthet aus eer Stchprobe feststelle, so gbt es m wesetlche zwe Verfahre. Der Efachhet halber uterstelle wr e Ureexpermet. Eer Ure mt ubekatem Mschugsverhälts wrd ee Stchprobe vom Umfag etomme. Bem Verfahre wrd jede gezogee Kugel weder zurückgelegt, achdem das Resultat festgehalte wurde. Das Resultat st e -Tupel der Zahle 0 resp.. Uter Berücksch- 4

11 tgug der Rehefolge gbt es sgesamt N verschedee Stchprobe. Bem Verfahre wrd de gezogee Kugel cht mehr zurückgelegt, wobe aber de Auswahl aus der jewelge Resture we m Verfahre jedesmal re zufällg erfolgt. Wrd de Rehefolge be der Auswahl der Kugel berückschtgt, gbt es uter dem Verfahre sgesamt N N N + verschedee Stchprobe vom Umfag # N. ( ) ( ) De bede Verfahre ud wese ebe de erwähte Uterschede der Zurücklegestratege auch wchtge Gemesamkete auf..) Bede Verfahre werde als zufällge Auswahlverfahre bezechet. Be jedem Zug bestzt jedes Elemet aus der aktuell verfügbare Resture deselbe Wahrschelchket, ausgewählt zu werde. Ma sprcht deshalb zweckmässgerwese cht vo zufällge Stchprobe, soder vo zufällge Auswahlverfahre. Letztere sd ämlch dafür veratwortlch, ob ud welche mathematsche Theore awedbar st zur formale Beschrebug ees emprsche Tatbestades..) I bede Verfahre bestzt jede der sgesamt möglche Stchprobe ( N bem Verfahre, respektve N N N + bem Verfahre ) deselbe ( ) ( ) Wahrschelchket realsert zu werde (Berückschtgug der Rehefolge!). Jedes zur Auswahl stehede Elemet hat somt uabhägg vom Verfahre deselbe Chace, ee Stchprobe ebezoge zu werde. Der wchtgste Utersched der bede Verfahre beruht auf der Behadlug der ausgewählte ud gemessee Elemete. Durch das Zurücklege m Verfahre wrd de Ure jewels weder hre ursprüglche Zustad zurückversetzt. Ugeachtet der Vergagehet wrd somt be jedem Zug m Przp aus e ud derselbe Ure ee zufällge Auswahl getroffe. De ezele Züge erfolge somt uabhägg voeader. Bem Verfahre (ohe Zurücklege) lege de Verhältsse gaz aders. Da de gezogee Kugel cht mehr zurückgelegt wrd, verädert sch de Zusammesetzug der Ure vo Zug zu Zug. Das Resultat des -te Zugs st somt abhägg vo der bsherge Geschchte. De ezele Züge erfolge somt cht mehr uabhägg voeader. Ethält ee Ure vo N Elemete afäglch K Erfolgskugel ud bezechet das Eregs E Erfolg bem -te Zug, so glt z.b. 5

12 c ( ) = ( ) + ( ) c c = P ( E E) P( E) + P( E E ) P( E ) P E P E E P E E K K K N K = + N N N N K = N (.) Damt glt sbesodere K N ( ) = = P( E) P E E K N (.3) falls K =/ N. De bedgte Wahrschelchket für E st verschede vo seer ubedgte, womt E ud E stochastsch abhägg sd. Ee Stchprobe, welche aus eer edlche Gesamthet ach dem Auswahlverfahre (mt Zurücklege) etstade st, lässt sch dadurch charaktersere, dass de ezele Züge stets aus derselbe Grudgesamthet erfolge, ud dass de ezele Züge voeader uabhägg sd. Ethält de Grudgesamthet uedlch vele Elemete, so st uerheblch, ob de Etahme mt oder ohe Zurücklege erfolgt. Küftg werde der Regel Stchprobe uterstellt, welche etweder aus uedlche Gesamthete stamme, oder m Falle edlcher Gesamthete mt Zurücklege erfolge. Im Falle eer hreched grosse Grudgesamthet sd de Uterschede zwsche de Verfahre ud verachlässgbar. Notato Das Ω teresserede Merkmal werde durch de Zufallsvarable beschrebe. De Stchprobe selber wrd als Tupel vo Zufallsvarable,,, (.4) bezechet. beschrebt das Resultat be der -te Beobachtug. Uter de obe beschrebee, deale Voraussetzuge bestze de Zufallsvarable ( =,,...,) de Egeschafte 6

13 .) gemesam stochastscher Uabhäggket.) ees detsche Vertelugsgesetzes, ämlch jees vo defert Ω. Stchprobe deser Art werde als ree Zufallsstchprobe bezechet. Se köe sbesodere auf zwe verschedee Arte terpretert werde: ee Zufallsvarable wrd -mal beobachtet. detsch vertelte ud stochastsch uabhägge Duplkate vo werde je emal beobachtet. Im erste Fall wrd etwa e ud derselbe Würfel -mal geworfe, ud m zwete Fall werde detsche Würfel je emal geworfe. Ee kokrete Realsato eer Stchprobe wrd etspreched durch das Zahletupel x, x,, x dargestellt. Scho früher wurde darauf hgewese, dass de Qualtät der Aussage über Ω aufgrud vo Stchprobebefude etscheded vo der Art ud Wese der Auswahl der Elemete aus Ω abhägt. Es ka a deser Stelle cht darum gehe, ee dazugehörge Theore darzustelle. Des st Aufgabe ud Ihalt der statstsche Versuchsplaug. Exemplarsch soll ledglch auf das Problem eer zufällge Auswahl hgewese werde, um ee Abgrezug gegeüber eer uter Umstäde subjektv beeflusste Auswahl aufs Geratewohl zu ermöglche. Bespel eer Stchprobe - Techk eer Zufallsauswahl Das zu utersuchede Merkmal se das mometae Ekomme eer Gemede. Um Aufschlüsse über zu erhalte, wrd aus der Mege der Ekommesempfäger ee Stchprobe vom Umfag = 00 gezoge. Festlegug vo Ω: Wer st heute Ekommesbezüger der Gemede? Aahme: Natürlche Persoe, welche der Steuerpflcht uterlege. Es se N = 0'000. Aus eer Karte vo 0'000 veralagte, steuerpflchtge Persoe sd 00 zufällg auszuwähle.. Möglchket: Ma etmmt der Karte jede 00. Karte ud uterstellt, dass 7

14 zwsche der Rehefolge der Kartekarte ud dem Merkmal kee Bezehug besteht.. Möglchket: Ma wählt 00 4-zffrge Zufallszahle ud etmmt der Karte de Adresse mt der Postosummer "Zufallszahl + ". 3. Möglchket: Ma utertelt de Steuerdate Gruppe.. Gruppe: Ekomme Fr. 50'000.- ud weger.. Gruppe: Ekomme über Fr. 50' Aus der. Gruppe werde ach Methode es oder zwe 30 ud aus der. Gruppe 70 Adresse ausgewählt. Stchprobe deser Art werde als geschchtete Stchprobe bezechet. 4. Möglchket: Ma parttoert das Gemedegebet Regoe. Aus de Regoe werde zufällg k ausgewählt. Ierhalb der gezogee Regoe wrd ee Vollerhebug vorgeomme. Dese Methode führt zu sogeate Klumpestchprobe.. Stchproberaum, Stchprobefukto Bezechet das Zahletupel x, x,, x ee kokrete Stchproberealsato (Stchprobeergebs), so et ma de Gesamthet aller möglche Ergebsse ees zufällge Auswahlverfahres Stchproberaum deses Verfahres. Bespel Ee Müze wrd 3-mal geworfe. De Zufallsvarable ( =,,3) se falls -ter Wurf = 0 sost (.5) K mt der Wahrschelchketsfukto x ( ) ( ) x f x = p p x = 0, (.6) 8

15 Stchprobe: (,, ) 3 Stchprobeergebs: (, 0, ) Stchproberaum: (, 0, 0, 0, 00, 00, 00, 000) Im Verlaufe der spätere Dskusso wrd deutlch, dass m allgemee cht de ezele Stchprobevarable, soder och zu bestmmede, dem Utersuchugszweck agepasste Fuktoe der Varable vo Bedeutug sd. Ee Fukto g der Stchprobevarable,,, hesst Stchprobefukto ( ) Y = g,,, (.7) Als Fukto vo Zufallsvarable st Y ebefalls ee Zufallsvarable. Wchtge Stchprobefuktoe sd etwa.) = = (.8).) S = ( ) = (.9) 3.) µ Z = mt µ = E, σ = V σ ( ) ( ) (.0) Ee Stchprobefukto, welche ur vo de Stchprobevarable abhägt ud kee ubekate Parameter ethält, wrd als Statstk bezechet. De Fuktoe.) ud.) sd Statstke, de Fukto 3.) ur da, we µ ud σ bekat sd. Vo eer Statstk wrd ur verlagt, dass de Abbldugsvorschrft kee ubekate Parameter ethalte darf. De Vertelug der Statstk selber ka sehr wohl ubekate Parameter habe. 9

16 Bespel Sd,, uabhägge, detsch vertelte Beroullvarable, so st ( ) S = + + B p (.), ee Statstk, obwohl de Bomalvertelug vo S ee ubekate Erfolgswahrschelchket ethält..3 Vertelug vo Stchprobefuktoe Wr betrachte ee ree Zufallsstchprobe aus eer Grudgesamthet mt der Vertelug f. De gemesame Vertelug ka aufgrud der Uabhäggket der volverte Zufallsvarable faktorsert werde. ( ) = ( ) ( ) ( ) f x x f x f x f x (.) Es bezeche ferer ( ) ( ) µ = E σ = V (.3) Erwartugswert ud Varaz vo. Für bestmmte Stchprobefuktoe sbesodere jee mt addtve Verküpfuge lasse sch Aussage über hr Vertelugsgesetz mache. De Summe vo uabhägge, detsch vertelte Zufallsvarable st z.b. ach dem zetrale Grezwertsatz approxmatv ormalvertelt. I wchtge Spezalfälle köe präzsere Aussage gemacht werde. Für de Fall detsch ormalvertelter Zufallsvarable N µσ,, =,, gelte s- besodere folgede Bezehuge ( ).) = ( µσ, ) N (.4) 0

17 .) N µ, σ (.5) 3.) µ σ N ( 0,) (.6) 4.) = µ σ χ (.7) 5.) = σ χ (.8) Für de Stchprobevaraz S = ( ) = (.9) glt mt 5.) 6.) ( ) S σ χ (.0) Ist N Y χ k ( 0,) (.) ud sd ud Y stochastsch uabhägg, so st V = Y T k k (.)

18 ee t-vertelte Zufallsvarable mt k Frehetsgrade. Agewedet auf 3.) ud 6.) glt somt 7.) µ V σ µ = = T S ( ) S ( ) σ (.3) Ist der Grudgesamthet cht a pror ormalvertelt, so gelte uter de üblche Voraussetzuge de obge Sätze aufgrud des zetrale Grezwertsatzes approxmatv.

19 . SCHÄTZTHEORIE E zetraler Problemkres der duktve Statstk st de Schätzug ubekater Parameter vo Grudgesamthete. Vo eer Zufallsvarable se das Vertelugsgesetz bekat, es ethalte jedoch ubekate Parameter se bespelswese ormalvertelt; Mttelwert ud Varaz hgege see ubekat. Dese solle aufgrud eer Stchprobe,, möglchst gut geschätzt werde. Wr werde ebeso de Fall betrachte müsse, wo auch das Vertelugsgesetz selber ubekat st. Be der Schätzug ubekater Parameter uterschedet ma grudsätzlch zwe Methode. Be der sogeate Puktschätzug erhält ma ee ezge Wert aus der Stchprobe, welcher für de Schätzug heragezoge wrd. Itervallschätzuge lasse Schlüsse über ee Berech zu, welcher mt grosser Wahrschelchket de ubekate Parameter ethält. Ausgagspukt für bede Asätze blde sogeate Schätzfuktoe, welche agebe, welcher Art ud Wese de Stchprobevarable m Hblck auf optmale Schätzuge zu verarbete sd.. Puktschätzuge I der Realtät steht ma oft vor dem Problem, dass ma vo eer Zufallsvarable zwar das Vertelugsgesetz ket, letzteres hgege ubekate Parameter ethält. Ee Parte teressert sch m Rahme hrer strategsche Plaug für de Wähleratel ud befragt zu desem Zweck Persoe bezüglch hrer Partezugehörgket. Bezechet de Zufallsvarable de Azahl befragter Persoe, welche hre Stmme besagter Parte gebe, so glt B p P x p p x x (, ) ( = ) = ( ) x (.) p st ubekat ud soll aus de Atworte der befragte Persoe geschätzt werde. Es gbt gute Grüde davo auszugehe, dass das Gewcht vo Persoe eer bestmmte Grösse ormalvertelt st 3

20 N( µσ, ) f ( x) = e σ π x µ σ (.) I aller Regel sd aber sowohl µ als auch σ ubekat ud sd aus eer Stchprobe zu schätze. Deses Bespel motvert folgede Kokretserug der Frage ach Puktschätzuge. θ se e ubekater Parameter eer Vertelug f (). Ee Zufallsvarable mt der Vertelug f werde mal uabhägg voeader beobachtet. Für de resulterede Stchprobe,, st ee Schätzfukto T gesucht, welche möglchst umfassed über θ formert. Offe blebt de Frage, auf welche Art ud Wese de Stchprobe- varable,, mteader zu verküpfe sd, um das vorhadee Iformatospotetal umfassed auszuschöpfe... Itutv heurstsche Asätze für Schätzfuktoe Bezechet f ( x) glt für hre Mttelwert de Wahrschelckketsfukto (Dchte) eer Zufallsvarable, so µ = E ( ) = xj f ( xj) (.3) µ soll über ee Stchprobe,, aus eer Grudgesamthet mt der Wahrschelchketsfukto f geschätzt werde. Aus der Scht des Bldugsgesetzes vo µ schet es verüftg, astelle der mt de Wahrschelchkete gewchtete Auspräguge der Zufallsvarable, de mt de relatve Häufgkete gewchtete Auspräguge der Stchprobe zu verwede. Als Schätzfukto für µ würde ma demach das arthmetsche Mttel der Stchprobe,, verwede. T = t(,, ) ˆ = = = µ j (.4) = 4

21 Würde ma ach demselbe Asatz Schätzfuktoe für de Varaz σ eer Zufallsvarable oder für de Erfolgsatel p eem Bomalexpermet suche, so wäre folgede Schätzfuktoe agezegt T = t(,, ) ( ) ˆ = S = = σ (.5) = respektve T = t(,, ) ˆ = = = p (.6) = wobe es sch m letzte Asatz be de Stchprobevarable um Beroullvarable je mt de Auspräguge 0 ud, be um dere Summe hadelt. De obge Betrachtuge mache deutlch, dass es sch be Schätzfuktoe ebefalls um Zufallsvarable hadelt ud dese somt auch eem Vertelugsgesetz uterlege. De spezelle Bedeutug als Schätzfukto wrd mt dem Symbol "^" zum Ausdruck gebracht. Schätzfuktoe sd somt Zufallsvarable ud uterlege eem Vertelugsgesetz. Ma beachte, dass de Schätzfuktoe T Abhäggket der Zufallsvarable, =,,, zur Uterschedug vo de auf de Realsatoe x, =,,, baserede Werte um T durch fettgedruckte Symbole bezechet werde. Es gbt Stuatoe, welche drekt ud exakte Aussage über de Vertelug vo Schätzfuktoe zulasse. Mestes muss ma sch allerdgs auf zwar hreched geaue, aber trotzdem approxmatve Aussage beschräke, wobe regelmässg auf de zetrale Grezwertsatz rekurrert wrd. Mt E( T ) = µ T wrd der Erwartugswert der Schätzfukto bezechet. Aalog hesst ( ) ( ) V T = E T µ = σ (.7) T T Varaz der Schätzfukto T. Vo spezeller Bedeutug st de Stadardabwechug. Ihres spezelle Charakters wege wrd σ kurz als Stadardfehler der Schätzug σ T T 5

22 (stadard error of T) bezechet. Für e ud deselbe Parameter stehe oft mehrere Schätzfuktoe zur Verfügug. Ist bespelswese possovertelt mt dem Parameter λ, so glt x λ λ P( = x) = e x! mt E = V = λ ( ) ( ) (.8) Soll u das arthmetsche Mttel λ heragezoge werde? oder de Stchprobevaraz S zur Schätzug vo Es stellt sch somt e Bewertugsproblem für Schätzfuktoe. Ihre Qualtät wrd a wüschbare Egeschafte vo Schätzfuktoe gemesse... Erwartugstreue Schätzfuktoe Ee Schätzfukto T t(,, ) hesst erwartugstreu für falls exstert ud = θ E( T ) = µ T E( T ) = µ T = θ (.9) wobe ( ) E T = j + () ( ) t f t falls T j T j tf t dt falls T T dskret stetg (.0) Bespele.) T t = (,, ) = = = ( ) st ee erwartugstreue Schätzfukto für µ = E. (.) 6

23 ( ) E = µ =,,, E( ) = E E( ) = = µ = µ = = (.).) T = t = S = (,, ) ( ) = (.3) st ee erwartugstreue Schätzfukto für σ. ( ) E V ( ) = σ = µ =,,, (.4) E( S ) E = ( ) = = E ( ( µ ) ( µ )) = = E ( µ ) E( µ ) = ( V ( ) V ( )) = σ = σ = = σ ( ) σ (.5) De Erwartugstreue der Schätzfukto S für st erster Le für de be der Defto vo S auf de erste Blck überrasched amutede Dvso der Summe der Abwechugsquadrate durch (-) veratwortlch. σ 7

24 3.) Sd,, Beroullvarable mt x ( ) ( ) x f x = p p x= 0, ( ) = p ( ) = ( ) E V p p (.6) so glt für de Schätzfukto T = t(,, ) = = = = E( pˆ ) = E( ) = p = p pˆ (.7) Der Erfolgsatel der Stchprobe schätzt de Erfolgswahrschelchket p ees Bomalexpermetes erwartugstreu. Wr habe damt ee Möglchket zur Schätzug vo Wahrschelchkete gefude. Letztere wurde m Rahme der Wahrschelchketsrechug stets als bekat vorausgesetzt! Im Bespel der Schätzug des Parameters λ eer possovertelte Zufallsvarable stehe offebar zwe, bezüglch der Egeschaft "Erwartugstreue" äquvalete Schätzfuktoe zur Verfügug. Zur Abklärug der Frage, ob oder S verwedet werde soll, bedarf es weterer Krtere, welche ee dfferezertere Auswahl erhalb der Klasse der erwartugstreue Schätzfuktoe zulasse...3 Effzete Schätzfuktoe Bezeche T sowe U,, U k erwartugstreue Schätzfuktoe für de ubekate Parameter θ mt ( ) ( ) ( ) E T = E U = = E U = θ (.8) k so hesst T effzet, falls 8

25 ( ) ( ),, V T V U = k (.9) Exstere also mehrere erwartugstreue Schätzfuktoe, so wählt ma jee mt der kleste Varaz. Dese Schätzfukto T hesst effzet. Se lefert Schätzwerte, welche m Mttel am wegste vom wahre Parameter θ abweche. Bespele.) De bede Schätzfuktoe = = ud = + + = (.0) sd je erwartugstreu für µ = E ( ). Nu glt aber ( ) V ( ) V = σ = ( + 3) ( + ) σ (.) respektve ( ) ( ) ( ) ( + ) σ V V = > 0 falls > (.) Damt bestzt ee kleere Varaz als ud st gegeüber effzet. De doppelte Gewchtug der erste Beobachtug vergrössert de Varaz der Schätzfukto für µ..) Schätzug für λ m Falle eer Possovertelug. De Summe uabhägger ud detsch possovertelter Zufallsvarable (mt Parameter λ) 9

26 Y = (.3) = st ebefalls possovertelt (mt dem Parameter λ ). mt ( ) ( ) ( λ ) P Y = y = e y! E Y = λ y λ (.4) Also st Y = = (.5) = ee erwartugstreue Schätzfukto für λ. V V V = = λ = λ = ( ) = = ( ) (.6) De Varaz der Schätzfuktoe verhält sch umgekehrt proportoal zu ud strebt mt wachsedem gege 0. Ma ka zege, dass auf der Bass eer Stchprobe,, kee Schätzfukto mt eer kleere Varaz als jeer vo exstert. st somt ee erwartugstreue ud effzete Schätzfukto für λ. Der Effzezachwes für Schätzfuktoe st oft schwerg, da er gegeüber alle adere, erwartugstreue Alteratve sowe über de gesamte Parameterberech zu erbrge st. Zur Illustrato betrachte wr de bede Schätzfuktoe ud S für de Mttelwert λ eer Possovertelug. Im Hblck auf Approxmatosprobleme setze wr ee grosse Wert vo λ voraus (λ > 5). 0

27 = S = ( ) E( S ) E ( ) V, ( ) = = = = λ ( ) V λ = = (.7) Aus U ( ) ( ) S S = = χ (.8) σ λ folgt V U V S λ ( ) = ( ) = ( ) (.9) respektve ( ) V S λ = (.30) woraus sch das Varazverhälts ( ) ( ) V = V S λ λ (.3) ergbt. Uter de obge Bedguge für λ st somt de Varaz vo als jee vo S. strkte kleer Das Effzezkrterum ermöglcht ee Klassfkato erhalb eer Mege vo erwartugstreue Schätzfuktoe. Dese Lmterug offebart Schwäche, we z.b. erwartugstreue ud cht erwartugstreue Schätzfuktoe eader gegeüberstehe. We st z. B. ee cht erwartugstreue Schätzfukto zu bewerte, we hr Erwar-

28 θ θ..4 Suffzez De bsher behadelte Krtere (Erwartugstreue ud Effzez) bezehe sch jewels auf Egeschafte ezeler Parameterschätzfuktoe T. Gegestad der Suffzez sd m Gegesatz dazu allgemee reelle Fuktoe eer Stchprobe,,, T = t(,,, ) (.3) Reelle Stchprobefuktoe werde auch Statstke geat. Im Rahme veler Fragestelluge st es hlfrech, de Iformato eer gegebee Stchprobe,,, m Hblck auf de Schätzug ees ubekate Paramters θ mttels geegeter Statstke auf,,, zu kodesere. Dabe wrd m folgede zuächst stets vo eer Fukto ausgegage, es zegt sch jedoch, dass das Kozept atürlcher Wese auf de Fall mehrerer Statstke erwetert werde ka. tugswert vom wahre Parameter θ ur uwesetlch abwecht, we se hgege ee deutlch kleere Varaz aufwest als ee kokurrerede, erwartugstreue Alteratve? Ee Statstk hesst suffzet bezüglch ees Schätzproblems, falls se sämtlche Iformatoe der Stchprobe ethält, welche für de Schätzug des Parameters θ erforderlch sd. Des bedeutet sbesodere, dass ee suffzete Statstk ohe Iformatosverlust astelle der Stchprobe selbst für de Schätzug vo θ herage- zoge werde ka ud somt ee Dateredukto m Zusammehag mt Schätzprobleme erlaubt. Defto Se,,, ee Zufallsstchprobe aus eer Grudgesamthet mt dem (beka- ( ) te) Vertelugsgesetz f, θ ud dem ubekatem Vertelugsparameter θ sowe T = t(,,, ) ee reelle Stchprobefukto. T hesst geau da suffzet

29 ( ) für f, θ, falls ee (vo θ uabhägge) Fukto h exstert, so dass glt (,,, ; θ = ) = (,,, ) f x x x T t h x x x (.33),,, T Des bedeutet, dass de bedgte (gemesame) Vertelug der -dmesoale Zufallsvarable Z = (,,, ) be gegebeem Wert der Statstk T uabhägg vo dem zu schätzede Parameter θ st. Itutv ka Bedgug (.33) so terpretert werde, dass ach Auswertug der (suffzete) Statstk T de zugrudelegede Zufallsstchprobe kee wetere (och cht T ethaltee) Iformato bezüglch des zu schätzede Parameters θ mehr ethält. Des wrd offeschtlch, we ma sch bewusst macht, dass de bedgte Dchtefukto f ; θ T = t auch als de Ver- ( ) Z ( ) telug der Beobachtuge x, x,, x, welche de Wert T = t lefer, ter- pretert werde ka. Gemäss Bedgug (.33) st de Vertelug Z ( ; θ = ) f T t uabhägg vo θ, so dass ee spezelle Utersuchug der verschedee Beobach- tugswerte ( x, x,, x ), welche alle deselbe Wert T = t lefer, tatsächlch kee Zusatzformato bezüglch θ ethält. aber Bespel Se ( ) Z =,,, gesamthet. De Zufallsvarable ee Zufallsstchprobe aus eer Beroull vertelte Grud- gbt a, ob der -te Aruf eer Telefomarketg- Kampage erfolgrech war, d. h. zu eem Verkauf führte oder cht. Damt st de Vertelug vo Z gegebe durch wobe der Parameter x x = = f x x x p p p (.34) Z (,,, ; ) = ( ) p ( 0,) de Wahrschelchket für ee erfolgreche Verkauf { } symbolsert. Ferer glt x 0,, wobe x = ee Erfolg (Verkauf), x = 0 ee Msserfolg (ke Verkauf) bem -te Aruf bezechet. Ee suffzete Statstk für de Schätzug vo p st durch de Summe der Erfolge 3

30 S = (.35) = gegebe. Um des ezusehe, st zu beachte, dass für de bedgte Dchtefukto glt Da S = = Z (,,, ; ) f x x x p S = s = (,,,, = ) P( S = s) P x x x S s (.36) de Summe uabhägg detsch vertelter Beroull Varable st ud eer Bomalvertelug geügt, folgt für de Wahrschelchket m Neer vo (.36) sofort P S s p p s s ( = ) = ( ) s (.37) Für de Zähler Formel (.36) glt fz ( x, x,, x; p), falls (,,,, ) x = s P x x x S = s = = 0, sost (.38) also = (,,,, ) ( ) x =, falls = x P x x x S = s p p x = s = 0, sost (.39) Damt lässt sch (.36) darstelle als (,,,, ) P( S s) P x x x S = s =, falls x = s fz ( x, x,, x; p S = s) = = s = 0, sost (.40) 4

31 Offeschtlch st de bedgte Vertelug Z (,,, ; = ) f x x x p S s uabhägg vo p, ud S damt ee suffzete Statstk für p. Für ee feste Wert vo S bestze also ( ) alle Kombatoe x, x,, x welche de Bedgug x = s erfülle, deselbe Wahrschelchket s. Des st kosstet mt der tutv ahelegede Tatsache, dass für de Schätzug der Trefferwahrschelchket p ur de Gesamtzahl a Erfolge ausschlaggebed st, cht aber de spezelle Rehefolge dese realsert wurde. = ( x x x ),,,, uter welcher Bespel (Mood et al., S. 30) Betrachtet ma kokret ee Stchprobe vom Umfag = 3 eer Beroull-vertelte Zufallsvarable sowe de Statstke S = sowe T = + 3. De bedgte Dchte uter S ka gemäss Formel (.36) berechet werde. Bezüglch der Statstk T ergbt sch bespelswese für de Realsato x, x, x = 0,,0 der Wert T = 0 ud für de bedgte Vertelug ( ) ( ) 3 f,, T 3 ( 0,, 0 0) = ( = 0, =, 3 = 0, = 0) PT ( = 0) P T ( ) ( ) + ( ) p p p p p p p = = 3 + (.4) Dese st offeschtlch abhägg vo p, das hesst, T st cht suffzet. Folgede Tabelle fasst de bedgte Verteluge uter S bzw. T zusamme. 5

32 (,, ) x x x S T 3 f,, 3 S 3 f,, T (0, 0, 0) (0, 0, ) /3 p + p p p (0,, 0) 0 /3 (, 0, 0) 0 /3 (0,, ) /3 (, 0, ) /3 (,, 0) /3 p + p p + p p + p p + p p + p (,, ) 3 Bemerkuge. Das her für ee Skalar egeführte Kozept ka atürlcher Wese θ R auf de Fall vektorwertger Parameter θ R erwetert werde.. Der Suffzezbegrff wurde her für ee Stchprobefukto T egeführt. Das Kozept ka auch auf de Fall mehrerer Fuktoe T, T,, Tr übertrage werde. Ee Famle vo Statstke we de bedgte Vertelug vo T, T,, Tr,,, T, T,, Tr, also T = t,, Tr = tr, uabhägg st vo θ. hesst gemesam suffzet, uter gegebee Werte vo 6

33 3. Isbesodere ka damt de Stchprobe selbst als Famle gemesam suffzeter Statstke aufgefasst werde. Formal defert ma dazu T = x,, T = x. Dese Feststellug st allerdgs weg hlfrech, da der Suffzezbegrff przpell auf ee Dateredukto abzelt. I vele Fälle st de kokrete Bestmmug suffzeter Statstke sehr aufwedg. I desem Zusammehag erwest sch folgeder Satz als ützlch. Satz (Faktorserugssatz vo Neyma, ohe Bewes) Se ( ) fz x, x,, x; θ de Dchtefukto eer Zufallsstchprobe,,, vom Umfag. Ee Famle vo Statstke T, T,, Tr st geau da gemesam ( ) ( ) suffzet für f x, x,, x ; θ, we f x, x,, x ; θ faktorsert werde Z ka, so dass glt (mt z = x, x,, x ) ( ) Z ( r θ) ( ) ( θ ) ( ) ( ) ( ) f z; = g T z, T z,, T z ; h z (.4) Z Herbe st h cht egatv ud vo θ uabhägg, de Fukto g st ebefalls cht egatv ud hägt ur vo de Werte der Stchprobefuktoe T, T,, Tr sowe dem Parameter θ ab. Bemerkug Isbesodere st g cht drekt vo der Stchprobe,,, selbst abhägg. Bespel Se,,, ee Zufallsstchprobe aus eer ormalvertelte Grudgesamthet ( ) mt Dchtefukto f x ; µ, σ. Der zu schätzede Parameter θ hat her de Form ( ) θ = µ, σ R. De gemesame Dchtefukto vo,,, lautet 7

34 Z (,,, ; µσ, ) f x x x = = f ( π ) ( x; µσ, ) x µ = exp = πσ σ x µ = σ exp ( π ) = σ = σ exp x µ x µ σ + = = (.43) De gemesame Dchtefukto hägt also vo de Beobachtuge drekt ab, ämlch über de Statstke ( x x x ),,, ur S( x, x,, x) = x (.44) sowe S( x, x,, x ) = x (.45) ( ) ( ) Damt ka f ; µ, σ gemäss (.4) faktorsert werde, wobe h x, x,, x =. Folglch sd ud S gemäss dem Faktorserugssatz vo Neyma gemesam S suffzet. Ma ka ferer zege, dass de Suffzezegeschaft durch bjektve Trasformatoe erhalte blebt. Damt sd auch das arthmetsche Mttel ud de Stchprobe- varaz ( ) S = gemesam suffzete Statstke. 8

35 ..5 Kosstete Schätzfuktoe De Krtere der Erwartugstreue ud Effzez bezehe sch stets auf Schätzfuktoe be gegebeem, edlche Stchprobeumfag. Mt der Egeschaft der Kosstez zehe wr zusätzlch de Stchprobeumfag de Betrachtug e. Um dese Erweterug zum Ausdruck zu brge, bezeche wr de Schätzfukto für θ mt ( ) T,, = t. ( ) Ee Schätzfukto T,, = t für de ubekate Parameter θ hesst kosstet, we de Folge {T } mt wachsedem Stchprobeumfag stochastsch gege kovergert, d. h. θ ( ) P( T ) P T θ < ε lm θ < ε = für alle ε > 0 (.46) Für jedes och so klee ε wrd de Wahrschelchket, dass T vo θ um höchstes ε abwecht, belebg gross. Damt wrd cht ausgeschlosse, dass de Schätzwerte um mehr als ε vom wahre Parameter abweche köe. De Wahrschelchket für solche Eregsse wrd ur belebg kle, falls geüged gross st. Be allgemee Kosstezbetrachtuge wrd regelmässg de Uglechug vo Tschebyscheff heragezoge (sehe Statstk II Wahrschelchket, 3. Aufl. 999, Kaptel 5.5.3). Bespel,, se ee Stchprobe aus eer Gesamthet mt dem Erwartugswert µ ud der Stadardabwechug σ. Mt = = (.47) bezeche wr de Folge vo Schätzfuktoe für θ = µ. Nu glt 9

36 ( ) V σ = (.48) womt aus der Tschebyscheff'sche Uglechug folgt ( ) ( µ ε ) ( µ ) P σ E ε = ε (.49) Für jedes och so klee ε strebt ( ) P µ ε (.50) mt wachsedem Stchprobeumfag gege Null. Deser Sachverhalt wrd als schwaches Gesetz der grosse Zahle bezechet. st somt ee kosstete Schätz- fukto für µ...6 Mea squared error (MSE) Der MSE ergäzt de bsherge Krtere (Erwartugstreue, Effzez, Kosstez) zur Beurtelug der Güte vo Schätzfuktoe. Bezechet T = t(,, ) de Schätzfukto für de ubekate Parameter θ, so hesst {( ) } MSE( ) E T θ = θ (.5) mea squared error der Schätzfukto. De Bezechug als "mttlerer, quadratscher Fehler" st sofer verstädlch, als ma de Abwechug ees Schätzwertes t vom wahre Parameter θ als Fehler bezeche ka, de ma begeht, we aufgrud der Schätzfukto T der ubekate Parameter θ mt t geschätzt wrd. Der MSE ( θ ) msst aalog zur Varaz eer Zufallsvarable de Abwechuge der Schätzfukto vo. θ Mt E( T ) = µ T (.5) 30

37 glt MSE ( T T ) ( θ) = E( T θ ) = E T µ ( θ µ ) ( µ ) ( θ µ ) E( T µ ) ( θ µ ) = E T + T T T T (.53) respektve ( θ ) = E( T µ ) + ( θ µ ) ( ) ( θ µ ) MSE T T = V T + T (.54) De Grösse θ µ T erwartugstreue Schätzfuktoe MSE ( θ ) Das MSE wrd als Verzerrug (Bas) der Schätzfukto T bezechet. Für ( E( T ) = µ T = θ ) der Schätzfukto T hrer Varaz V(T). ( θ ) etsprcht der mttlere Fehler Kozept ermöglcht de Verglech vo chterwartugstreue Schätz- fuktoe ud erwetert desem Se de ree Effzezbetrachtuge...7 Methode zur Kostrukto vo Schätzfuktoe Bsher beschräkte sch de Überleguge auf de Dskusso der Qualtät vo Schätzfuktoe. Es wurde hgege cht darauf egegage, ach welche Methode ud Przpe solche Schätzfuktoe überhaupt kostruert werde köe. Deser Frage wolle wr jetzt achgehe. Aus eer reche Palette vo möglche Asätze, wovo de Bespele Mometemethode Mmumquadratmethode Maxmum Lkelhood Methode Mmum χ Methode Mmumdstaz Methode ur ee Auswahl darstelle, wolle wr kurz auf de Mometemethode ud etwas ausführlcher auf de Maxmum Lkelhood Methode etrete. De Mmumquadratmethode wrd m Rahme der Regressosrechug egeführt. 3

38 ..8 De Mometemethode De auf K. Pearso zurückgehede Mometemethode gehört zu de älteste Verfahre für Puktschätzuge. Se basert auf der Vorstellug, dass der (de) zu schätzede() Parameter eer Vertelug mt de Momete µ k eer Vertelug verküpft sd. Für de Varaz eer Zufallsvarable glt z.b. ( ) ( ) ( ) ( ( )) σ = V = E µ = E E = µ µ (.55) Ma erhält ee Schätzug ach der Mometemethode, dem ma zuächst de zu schätzede Parameter θ durch de Momete zum Ausdruck brgt ud letztere schlesslch durch de emprsche Momete ersetzt. Bezechet µ ˆ k das k te emprsche Momet (um de Wert a = 0, vgl. Bad II, S. 70), so glt mt ˆ k = µ (.56) = k für de Varaz ach der Mometemethode σ ˆ = ( ) (.57) = Dese Schätzug st ur asymptotsch erwartugstreu...9 De Maxmum Lkelhood Methode "Methode der maxmale Mutmasslchket" Wr kozetrere us zuächst auf de Schätzug des Parameters θ aus eer dskrete Vertelug, wobe θ auch ee Vektor darstelle ka. Im Falle eer (stetge) Normalvertelug st be ubekatem ud der Vektor θ = µ, σ. θ µ σ ( ) De Iformatosbass st we bsher ee uabhägge Zufallsstchprobe aus eer Grudgesamthet mt der Vertelug x; θ. Mt deser Notato der Wahrsche- 3 f ( ) lchketsfukto soll dere Abhäggket vom ubekate Parameter θ zum Aus-

39 druck gebracht werde. Eführugsbespel Wr betrachte ee Ure mt Sorte Kugel (E, E c ) m Mschugsverhälts :3. Der Atel p der Erfolgskugel mmt da etweder de Wert 0.5 oder 0.75 a. Der Etsched für p soll aufgrud eer kokrete Stchprobe,, 3 mt Zurücklege vom Umfag = 3 gefällt werde. Der Efachhet halber ehme wr a, dass ur de Azahl Erfolge mtgetelt wrd, so dass glt 3 x (, ); ( ) ( ) 3 x B p P = x = p p x = 0,,,3 x (.58) Das Problem besteht u dar, aufgrud eer kokrete Beobachtug vo ee Etsched bezüglch der ubekate Erfolgswahrschelchket p (p 0 {0.5, 0.75}) zu fälle. Itutv schet es verüftg, de Wahrschelchkete für x Erfolge uter de bede Hypothese p = 0.5 resp. p = 0.75 zu betrachte. p ( ;0.5) f x 7/64 7/64 9/64 / ( ;0.75) f x /64 9/64 7/64 7/64 f ( x; p) hägt m Falle eer kokrete Realsato vo ur och vo p ab. Ma bezechet dese Fukto ( p) als Lkelhoodfukto L (p;x). Im dskrete Fall beschrebt de Lkelhoodfukto de Etreteswahrschelchket für e vorgegebees Stchproberesultat Abhäggket des ubekate, zu schätzede Parameters. 33

40 Aahme: De Stchprobe zegt ee Erfolg ( = ). Aufgrud deser Beobachtug etschedet ma sch verüftgerwese für p = 0.5, zumal deses kokrete Ergebs der Stchprobe ( = ) uter der Aahme p = 0.5 ee bedeuted grössere Wahrschelchket (7/64) bestzt, als uter der Aahme p = 0.75 (9/64). Allgeme etschedet ma sch uter de möglche Alteratve vo p be eer gegebee Realsato vo für jee Wert, welcher de Lkelhoodfukto L(p;x) maxmert. Mt derselbe Argumetato ka für jedes Stchproberesultat e Etsched bezüglch p gefällt werde. L(0.5;x) L(0.75;x) Etsched 0 3 7/64 7/64 9/64 /64 /64 9/64 7/64 7/64 p = /4 p = /4 p = 3/4 p = 3/4 We eer erste Verallgemeerug für p ur och de Bedgug 0 < p < vorausgesetzt wrd, so fdet ma aus aaloge Überleguge de Lkelhoodfukto L p x P x p p p x x ( ; ) = ( = ; ) = ( ) x (.59) Wederum schätzt ma p durch mal wrd: ˆp so, dass de ( p stetge) Lkelhoodfukto max- dl x x = p ( p) ( x p) 0 dp x = x pˆ = (.60) p ( ) x x Ma beachte, dass wege 0 < p < de Faktore ud p stets postv sd. De obge Etschedugsregel, woach der ubekate Parameter so zu schätze 34

41 ( ) st, dass de Lkelhoodfukto L θ ; x maxmert wrd, hesst Maxmum Lkelhood Przp. Im Falle eer dskrete Zufallsvarable lefert das Lkelhoodprzp jee Schätzwert, welcher de Wahrschelchket für de kokrete Stchprobe maxmert. Notwedgerwese muss das Vertelugsgesetz f bekat se, damt de Lkelhood- fukto bestmmt werde ka. Maxmum Lkelhood Przp,, se ee uabhägge Zufallsstchprobe aus eer Grudgesamthet mt bekate Vertelugsgesetz f ud zu schätzedem Parameter θ. Da st (,, ; θ) = ( ; θ) ( ; θ) ( ; θ) f x x f x f x f x (.6),, de gemesame Wahrschelchkets- oder Dchtefukto der Stchprobe, welche sowohl vo de Realsatoe x als auch vom ubekate Parameter abhägg st. θ Betrachtet ma für ee Stchprobe,, de gemesame Vertelug als Fukto des ubekate Parameters θ, so wrd dese Fukto als Lkelhoodfukto L ( θ ; ) bezechet: ( θ;,, ) = ( θ; ) ( θ; ) ( θ; ) L x x f x f x f x (.6) Nach dem Maxmumlkelhood-Przp wrd θ u so bestmmt, dass L möglchst gross wrd. ( θ ) ( ) Ist L ; x,, x de Lkelhoodfukto eer Stchprobe,, ud bezech- ( ) et θ ˆ = h,, jee Wert vo θ, welcher L maxmert, so hesst ( ) ˆ = h,, θ (.63) Maxmumlkelhood-Schätzfukto für θ.. 35

42 Bespel detsche Müze werde je solage geworfe, bs erstmals Kopf erschet. De Zufallsvarable,, sd da geometrsch vertelt mt x ( ) ( ) x P = x = q p = p p (.64) bezechet de Azahl Würfe vor dem erste Erfolg, p de (ubekate) Wahrschelchket für das Ergebs Kopf. Für de Lkelhoodfukto folgt x ( ;,, ) = ( ) ( ) L px x p p p p s = p p = p p x ( ) = ( ) x (.65) mt s = x. = Notwedgerwese muss de erste Abletug vo L ach p bem Maxmum verschwde, womt für de Lkelhoodschätzug folgt dl dp s ( ) ( ) ( ) s = s p p + p p ( ) s ( p) p p( s ) = + = 0 (.66) pˆ = = s+ = x + (.67) Der Schätzer ˆp st wederum der Erfolgsatel über alle + x Würfe be = 36

43 Erfolge sowe = x Nchterfolge. Bespel,, se ee Zufallsstchprobe aus eer stetg glechvertelte Grudgesamthet. f ( x) 0 x α = α (.68) 0 sost Der ubekate Parameter α soll geschätzt werde. Für de Lkelhoodfukto glt L (α) ( α ;,, ) L x x = α α L st streg mooto falled α, womt zur Maxmerug vo L der Parameter α möglchst kle zu wähle st. Dabe sd allerdgs dejege Restrktoe ezuhalte, welche scherstelle, dass de Zufallsstchprobe,, uter α überhaupt realsert werde ka. 37

44 α x =,, ( x x ) resp. α max,, (.69) Wählt ma α uter de obge Bedguge möglchst kle, so folgt de Lkel- hood Schätzfukto ( ) ˆ = max,, α (.70) Beachte:. Das Maxmum vo L kote cht mt Hlfe der Dfferetalrechug bestmmt werde.. L ka cht mehr als Wahrschelchket eer kokrete Stchprobe terpretert werde ( stetg!) 3. αˆ st kee erwartugstreue Schätzfukto. Im Falle eer stetg dfferezerbare Fukto L ka das Maxmerugsproblem durch Logarthmerug vo L oft verefacht werde. Es glt ämlch ( θ;,, ) = ( ; θ) ( ; θ) ( ; θ) L x x f x f x f x (.7) respektve ( θ) ( θ) log L = log f x ; + + log f x ; (.7) Da de Logarthmusfukto ee streg mootoe Abbldug st, ehme L ud log L das Maxmum a derselbe Stelle θ a. De Fuktoswerte vo L ud log L sd allerdgs verschede. Währed be L e Produkt abzulete st, geügt es be log L, ee Summe abzulete. 38

45 Bespel 3,, se ee Zufallsstchprobe aus eer possovertelte Grudgesamthet. x λ λ f ( x; λ) = e x= 0,, ; λ > 0 x! x x λ λ λ λ L( λ; x,, x ) = e e x! x! s = cλ e λ (.73) mt ( ) c= x! x! x! ud = s = x (.74) Damt glt l L = l c+ sl λ λ d s l L = = 0 dλ λ (.75) ud der Maxmum Lkelhood Schätzwert für λ lautet ˆ s λ = = x = x (.76) = Multparameterfall θ ( ) Ist e Vektor θ = θ,, θk, desse k Kompoete zu schätze sd, so ädert sch das Przp a sch cht. De Stchprobe,, stamme aus eer Grudgesamthet mt der Dchte 39

46 ( ; θ,, θ ) = ( ; θ) f x f x (.77) k De Lkelhoodfukto ( θ;,, ) = ( ; θ) ( ; θ) L x x f x f x (.78) st jetzt abhägg vo de Kompoete des Vektors θ. Ist L dese Kompoete dfferezerbar, so muss gelte L = 0 =,, k θ (.79) Das somt etstehede Glechugssystem de k Ubekate θ,, θk bestzt.a. geau ee Lösug θˆ. Auch her erwest es sch oft als vortelhaft, das Maxmum vo log L zu bestmme. Bespel,, se ee Zufallsstchprobe aus eer ormalvertelte Grudgesamthet N ( µ, σ ) µ σ ( ), ud see ubekat, θ = µ, σ. Für de Lkelhoodfukto fdet ma L x x x σ = ( µσ, ;,, ) = ( π) σ exp ( µ ) (.80) respektve 40

47 ll= l l ( ) σ l L= ( x ) 0 µ = µ σ = σ σ σ ( π) σ x µ l L= + ( ) 0 4 x µ = = = (.8) woraus de Lkelhoodschätzfuktoe µ ˆ = = = σˆ = ( ) = (.8) folge. Egeschafte vo Lkelhoodschätzfuktoe Das Lkelhoodschätzverfahre gehört zu de wchtgste Kostruktosmethode vo Schätzfuktoe. Es setzt allerdgs e bekates Vertelugsgesetz voraus. De domate Bedeutug wrd erster Le durch de vortelhafte Egeschafte des Lkelhood-Przps begrüdet. De wchtgste sd:. Maxmumlkelhood Schätzfuktoe geüge dem Ivarazprzp. Ist ˆ θ ee ML Schätzug für θ ud h ee eedeutge Abbldug vo θ, so st h( ˆ θ )ee ML Schätzug für h ( θ ).. Maxmumlkelhood Schätzfuktoe sd kosstet ud asymptotsch ormalvertelt. 3. Maxmumlkelhood Schätzfuktoe sd asymptotsch erwartugstreu. Das letzte Bespel der Varazschätzug ormalvertelter Zufallsvarable zegt, dass ML Schätzfuktoe cht a pror erwartugstreue Schätzuge lefer. 4

48 . Itervallschätzuge Kofdeztervalle De Resultate der bs ah besprochee Puktschätzuge sd m Normalfall ezele Zahle. We ma bedekt, dass dese Zahle aus zufallsbedgte Stchprobe stamme, wrd klar, dass zusätzlche Iformatoe über dere Geaugket wüschbar sd. Des umso mehr, als ma davo ausgehe muss, dass de kokrete Schätzwerte praktsch alle Fälle fehlerhaft sd ud cht mt de wahre Parameter überestmme. Schätzfuktoe sd Zufallsvarable, welche e bestmmtes Vertelugsgesetz zugrudelegt. Kosequeterwese würde be mehrmalger Schätzug desselbe Parameters jedesmal e aderer Wert realsert werde. Es st deshalb verstädlch, dass sch de Dskusso cht auf ee emalge "Puktformato" beschräke darf, soder durch de berets obe agetöte Geaugketsformato ergäzt werde muss. Im ächste Kaptel über sogeate Kofdeztervalle wrd es erster Le um ee haltlche ud begrfflche Präzserug des "Geaugketsbegrffes" gehe. Aus eer Stchprobe,, soll der ubekate Parameter θ geschätzt werde. ( ) Deses Problem werde durch de Schätzfukto T = t,, gelöst. Als Bespel betrachte ma ee Stchprobe aus eer ormalvertelte Grudgesamthet mt bekater Varaz, aus welcher der ubekate Mttelwert µ zu schätze st. Als Schätz- fukto T kommt da das arthmetsche Mttel Frage. Zur Beurtelug der Abwechug des Schätzwertes ˆ θ vom wahre Parameter θ sucht ma aus der Stch- = ( ) ( ) probe eue Fuktoe T t,, ud T = t,, mt folgede Egeschafte.).) T < T ( θ T) PT = γ 3.) T T m. (.83) γ st ee vorgegebee Wahrschelchket. We Fuktoe T ud T uter de obge Voraussetzuge exstere, so hesst [T,T ] e 00 γ % Kofdeztervall. γ wrd spezell als Kofdezkoeffzet (Kofdezzahl) bezechet. Das Kofdeztervall für θ wrd we folgt bezechet [ T T ] Kof, θ = γ (.84) 4

49 ud bestzt folgede Iterpretato. Das Zufallstervall [T,T ] überdeckt mt Wahrschelchkeγ de ubekate, aber feste Parameter θ. De Läge des Kofdez- tervalls [T - T ] behaltet ee Geaugketsaussage ud rekurrert auf de Scherhet der Aussage. Stchprobe Stchprobe Stchprobe k.. Kofdeztervall für de Mttelwert µ eer ormalvertelte Grud- σ gesamthet be bekater Varaz,, bezeche ee Zufallsstchprobe aus eer ormalvertelte Grudgesamthet. Der ubekate Mttelwert µ wrd durch das arthmetsche Mttel geschätzt. = = (.85) Es glt N ( µσ, ) σ N µ, µ Z = N σ ( 0,) (.86) 43

50 De Vertelug der stadardserte Varable Z st vollstädg bekat. Zu gegebeer Kofdezzahl γ exstert e Wert d γ, so dass glt ( ) P d Z d = (.87) γ γ γ fz ( z) γ d γ γ d γ 0 d γ z Es glt de Umformug µ P ( d Z d ) = P d d σ γ γ γ γ σ σ = P dγ µ + dγ = γ (.88) Wr habe somt zwe Fuktoe t ud t gefude, welche geeget sd, e Kofdeztervall ezugreze. 44

51 (,, ) T = t = d (,, ) T = t = + d σ σ σ σ Kof µ dγ, + dγ = γ γ (.89) γ Das Zufallstervall σ dγ, + d γ σ (.90) überdeckt mt Wahrschelchket γ de wahre Parameter µ. We sehr oft aus eer Stchprobe vom Umfag e derartges Kofdeztervall berechet würde, so würde etwa 00 γ % deser Itervalle das wahre µ überdecke. Aus der obge Graphk st erschtlch, dass auch adere Itervalle a, + b (.9) exstere, welche der Bedgug ( µ ) P a + b (.9) geüge. Dese Itervalle sd aber stets läger als das obge, bezüglch sche Kofdeztervall. symmetr- Scherhet ud Geaugket verhalte sch be gegebeem Stchprobeumfag gegeläufg. Ee höhere Scherhet γ führt zwagsläufg zu ugeauere, lägere Kofdez- tervalle. De mmale Läge des Kofdeztervalls beträgt für e vorgegebees γ 45

52 σ D = T T = dγ (.93) Daraus lässt sch der für ee gewüschte Geaugket D ud Scherhet γ otwedge Stchprobeumfag bestmme. dγσ = D (.94) Bespel We gross muss der Stchprobeumfag gewählt werde, damt be eer Stadardabwechug σ der wahre Mttelwert µ vom Kofdeztervall der Läge mt eer σ Wahrschelchket γ überdeckt wrd. dγσ dγσ = = = 6d D σ γ (.95) γ Ee kokrete Stchprobe vom Umfag = 4 habe e arthmetsches Mttel x = 5 ergebe. De Varaz σ se 9 ud de Kofdezzahl werde mt γ = 0.90 vorgegebe. Das Kofdeztervall st da 46

53 3 3 Kofµ 5.645, = Kof.533, = 0.90 µ [ ] (.96) De Aussage, das kokrete Itervall [.533, 7.468] überdecke de wahre Mttelwert µ mt eer Wahrschelchket vom 90%, st falsch. E kokretes Itervall ka ur überdecke da st de Überdeckugswahrschelchket oder cht überdecke da st de Überdeckugswahrschelchket 0! Be eer korrekte Argumetato wrd zuächst postv ausgesagt, dass das kokrete Itervall [.533, 7.468] de wahre Parameter überdecke. Dese Aussage wrd durch de Kofdezzahl γ = 0.90 bewertet. Das Bewertugskrterum γ wrd so motvert, dass be oftmalger Wederholug des obge Expermetes jedesmal e eues Kofdeztervall resultert ud dass für jedes deser verschedee Itervalle de postve Aussage der Überdeckug gemacht wrd. I etwa 90% der Fälle st de Aussage rchtg. Vor der Stchprobeetahme besteht ee Wahrschelchket γ, dass das zu ko- struerede Itervall de ubekate Parameter überdeckt. Nach der Stchprobeetahme gbt es ur och de Alteratve Überdeckug ja oder e... Kofdeztervall für de Mttelwert µ eer ormalvertelte Grud- gesamthet be ubekater Varaz σ Das Iformatospotetal st wederum ee Stchprobe fukto für µ det ebefalls,, ud als Schätz- = = (.97) Im Gegesatz zum vorherge Bespel st jedoch de Abbldug Z µ σ = (.98) cht mehr defert, zumal σ ubekat st. Z st kee Statstk mehr. σ ka jedoch 47