Weitere Eigenschaften von Punktschätzern

Transkript

1 Weitere Eigenschaften von Punktschätzern Worum geht es in diesem Modul? Ein zweiter Schätzer für p bei Binomialverteilung Vergleich der Schätzer anhand einer Simulation Erwartungstreue Bias Asymptotische Erwartungstreue Präzision bei Schätzungen Bedeutung der Varianz eines Schätzers Konsistenz Mittlerer quadratischer Fehler (MQF) Worum geht es in diesem Modul? Nachdem gezeigt wurde, dass Schätzer selbst Zufallsvariablen mit bestimmten Eigenschaften (Verteilung, Erwartungswert, Varianz) sind, werden in diesem Modul weitere Eigenschaften (Erwartungstreue, Bias, Konsistenz und Mittlerer quadratischer Fehler) schrittweise eingeführt, die eine fundierte Beurteilung bzw. einen Vergleich gegebener Schätzer ermöglichen. Um Vergleiche anstellen zu können, wird gleich zu Beginn ein modifizierter Schätzer eingeführt. Ein zweiter Schätzer für p bei Binomialverteilung Bisher kennen wir als Schätzer für den Anteilswert Schätzer bei Binomialverteilung den. Dieser Schätzer erscheint intuitiv plausibel. Die angestellten Simulationen bestätigen uns in der Annahme, dass wir etwas Sinnvolles tun, denn - insbesondere bei großen Stichproben - treffen unsere Schätzungen für den wahren Parameterwert recht genau. Der Schätzer hat jedoch einen Nachteil. Wenn man in der Stichprobe keine Einheit mit dem interessierenden Merkmal findet ( ), dann ist, d.h. man schätzt, dass der Anteil in der Grundgesamtheit null ist. Tatsächlich wird das aber nur in den seltensten Fällen so sein. Deshalb modifizieren wir unseren Schätzer etwas. Page 1

2 Wir tun so, als hätten wir Stichprobe vom Umfang Einheiten mit dem interessierenden Merkmal in einer gefunden, d.h. wir erhalten den Schätzer, der im Falle den Schätzwert liefert. Tatsächlich ergibt sich dieser Schätzer auch aufgrund von Überlegungen, die wir hier aber nicht verständlich machen können. Wie ist dieser Schätzer aber nun im Vergleich zu unserem ersten Schätzer zu bewerten? Um diese Frage zu beantworten, stellen wir zunächst einen Vergleich zwischen beiden Schätzern an. Beispiel: Vergleich beider Schätzer für p Nehmen wir an, eine Stichprobe aus unserer Urne vom Umfang folgender Realisation geführt: hat zu V Farbe der Kugel schwarz weiß weiß schwarz weiß V Farbe der Kugel weiß weiß weiß weiß weiß ist die Summe der schwarzen Kugeln in der Stichprobe, bei dieser Ziehung also. Page 2

3 Für unseren "alten" Schätzer ergibt sich: Für den neuen Schätzer erhalten wir: Schätzer Schätzwert Unter-/Überschätzt Betrag der Abweichung vom wahren p Unterschätzt 0.05 Überschätzt 0.02 Vergleich der Schätzer anhand einer Simulation Im Beispiel haben wir nur eine Stichprobe gezogen. Wir wollen jetzt Stichproben des Umfangs ziehen, um genauer beobachten zu können, wie sich die beiden Schätzer (blaue Linie) und (orange Linie) verhalten. Auf der y-achse ist dabei der bis zur i-ten Versuch gemittelte Schätzwert abgetragen. Die rote Linie kennzeichnet den wahren Parameterwert. Bis zum i-ten Versuch gemittelter Schätzwert der beiden Schätzer für p (k=500 Stichproben vom Umfang n=10) Die Simulation kann im Statistiklabor nachvollzogen und modifiziert werden. Simulation starten ( b9f.spf ) Erwartungstreue Die Grafik lässt vermuten, dass den wahren Wert systematisch überschätzt, während ihn besser zu treffen scheint. Bei der Herausarbeitung der Unterschiede zwischen "umgangssprachlichem Schätzen" und "statistischem Schätzen" (vgl. ) hatten wir festgestellt, dass beim statistischen Schätzen fundierte Aussagen zur Genauigkeit der Schätzung möglich sein sollten. Diesen Aspekt wollen wir jetzt formalisieren: Eine Facette der Genauigkeit ist die sog. "Erwartungstreue". Man nennt einen Schätzer erwartungstreu (oder auch unverzerrt), Page 3

4 wenn er den wahren Wert im Mittel trifft. Man nennt eine Schätzfunktion für den Parameter erwartungstreu, wenn für jeden möglichen Parameterwert. gilt: Beispiel: Prüfung der Schätzer für p auf Erwartungstreue Erinnern wir uns an das Ergebnis der letzten Simulation - unsere Vermutung wäre nun, dass erwartungstreu ist, während nicht erwartungstreu ist. Wir wollen im Folgenden versuchen, dies theoretisch - also unabhängig von den angestellten Simulationen - nachzuweisen. Dazu setzen wir für einfach unsere beiden Schätzer und ein: ist also tatsächlich erwartungstreu, d.h., wenn wir verwenden, so werden wir im Mittel den wahren Wert von Prüfen wir nun nach dem gleichen Schema: als Schätzer für als Schätzwert erhalten. ist demnach nicht erwartungstreu. Für unser Experiment, bei dem wir und gewählt haben, können wir einen Schätzwert von erwarten (vgl. Simulation: ). Tatsächlich überschätzt den wahren Parameterwert systematisch. Wir wollen die Eigenschaften von im folgenden Abschnitt noch genauer untersuchen... Bias Ist eine Schätzfunktion wie nicht erwartungstreu, so nennt man sie auch verzerrt, Page 4

5 weil ihr Erwartungswert systematisch vom wahren Wert (hier ) abweicht. Die systematische Abweichung wird auch Bias genannt. Weicht der Erwartungswert einer Schätzfunktion für den Parameter systematisch vom wahren Wert ab, so bezeichnet man als verzerrte Schätzfunktion. Die Abweichung wird auch Bias genannt und lässt sich nach folgender Formel bestimmen: Bei erwartungstreuen Schätzfunktionen ist der Bias 0, weil ist und somit gilt. Beispiel: Bias des neuen Schätzers für p Versuchen wir einmal, den Bias für unseren Schätzer zu bestimmen: In unserem Fall (, ) beträgt der Bias also: Zum Vergleich: In unserem Simulationsexperiment haben wir eine Abweichung von beobachtet. Asymptotische Erwartungstreue Während man bei einer Schätzung über unabhängig vom Stichprobenumfang als Ergebnis den wahren Parameterwert erwarten kann, hängen der Erwartungswert von und auch der Bias vom Stichprobenumfang ab. Eine derartige Abhängigkeit lässt sich auch bei anderen Schätzern beobachten. Man nennt diese Schätzer asymptotisch erwartungstreu, wenn der Bias mit wachsendem Stichprobenumfang gegen null konvergiert, sich also der Erwartungswert der Schätzfunktion dem wahren Parameterwert annähert. Page 5

6 für den Parameter wenn für alle möglichen Parameterwerte gilt: ist asymptotisch erwartungstreu, bzw.. Beispiel: Prüfung des neuen Schätzers für p auf asymptotische Erwartungstreue Wir wollen überprüfen, ob wenigstens asymptotisch erwartungstreu ist. Dazu prüfen wir, ob der Bias bei gegen unendlich strebenden Stichprobenumfängen gegen null konvergiert: ist asymptotisch erwartungstreu. Zu diesem Ergebnis hätten wir analog kommen können, in dem wir nachweisen, dass der Erwartungswert von für gegen unendlich strebende gegen konvergiert. Um diesen Zusammenhang empirisch zu überprüfen, stellen wir erneut eine Simulation an. Wir ziehen Stichproben aus unserer Urne und erhöhen den Stichprobenumfang schrittweise von bis. Für jeden Stichprobenumfang berechnen wir. Dabei erwarten wir, dass die systematische Abweichung der Schätzwerte vom wahren Parameterwert mit zunehmendem Stichprobenumfang abnimmt. Zusammenhang zwischen Stichprobenumfang n und Bias bei p^neu Der erwartete Effekt lässt sich durch diese Simulation nicht bestätigen. Scheinbar wird der von uns untersuchte Lageeffekt durch die Streuung des Schätzers überlagert. Um den Bias dennoch sichtbar zu machen, können wir für jeden Stichprobenumfang nicht eine, sondern Stichproben ziehen und den Mittelwert über die Schätzungen bilden. Zusammenhang zwischen Stichprobenumfang n und Bias bei p^neu, jeweils k=500 Wiederholungen Jetzt wird deutlich sichtbar, dass den wahren Parameterwert systematisch überschätzt. Der Bias nimmt jedoch mit wachsendem Stichprobenumfang ab. Die Simulation kann im Statistiklabor nachvollzogen und modifiziert werden. Simulation starten ( ceb.spf ) Für den Erwartungswert einer Zufallsvariablen werden folgende Schätzfunktionen vorgeschlagen. Dabei sei angenommen, dass, für Page 6

7 und dass unabhängig sind. - Welche der Schätzfunktionen sind erwartungstreu? - Welche der erwartungstreuen Schätzfunktionen hat die kleinste Varianz? Die diskrete Gleichverteilung kommt z.b. zur Anwendung, um das Erzeugen von Zufallszahlen mit einem Würfel zu modellieren. Beschreibt die Zufallsvariable Zahl der gewürfelten Augen mit einem -seitigen fairen Würfel, so gilt: die und, mit hat den Erwartungswert. Zeigen Sie, dass der Schätzer für den Parameter nicht erwartungstreu ist. Bestimmen Sie den Bias und versuchen Sie den Schätzer so zu modifizieren, dass ein erwartungstreuer Schätzer entsteht. Es bezeichne und die Wahrscheinlichkeit für ein defektes Stück im Produktionsprozess die Anzahl der produzierten Stücke, die dem ersten defekten Stück vorausgehen. Unter der Voraussetzung, dass die defekten Stücke unabhängig voneinander auftreten, ist die Zufallsvariable geometrisch verteilt mit der Wahrscheinlichkeitsfunktion Page 7

8 mit. hat den Erwartungswert. vgl. auch:. Prüfen Sie, ob ein erwartungstreuer Schätzer für ist.. Prüfen Sie im Statistiklabor mithilfe eines Simulationsexperiments, ob ein erwartungstreuer Schätzer für ist. Labordatei öffnen ( d93.zmpf ) Präzision bei Schätzungen Bisher wurden die (asymptotische) Erwartungstreue bzw. der Bias als Kriterium zur Bewertung von Schätzern eingeführt. Wie würden wir uns jedoch entscheiden, wenn uns für ein Schätzproblem zwei erwartungstreue Schätzer zur Verfügung stünden. Wären diese automatisch gleichermaßen geeignet oder gibt es weitere Kriterien zur Bewertung von Schätzern? Wir hatten bereits festgestellt, dass wir für Schätzer neben dem Erwartungswert auch Varianz bzw. Standardabweichung bestimmen können. Im Folgenden werden Überlegungen angestellt, wie sich unterschiedliche Varianzen bei erwartungstreuen Schätzern für ein und dasselbe Schätzproblem auf die Schätzungen auswirken. Die folgende Animation veranschaulicht das Problem. : Flashanimation ' Animation Beurteilung von Schätzern ' siehe Online-Version Bedeutung der Varianz eines Schätzers Die Bedeutung der Varianz eines Schätzers soll an einem Zufallsexperiment verdeutlicht werden: Wir ziehen 250 Stichproben aus unserer Urne (Binomialverteilung mit ) und erhöhen dabei den Stichprobenumfang sukzessive. Dies geschieht in der Weise, dass die i-te Stichprobe immer die Größe hat. Wir beginnen also mit wählen wir. ; die letzte Stichprobe hat den Umfang. Als Schätzer Streuung des Schätzers für den Anteilswert p bei Binomialverteilung in Abhängigkeit vom Stichprobenumfang Die Simulation zeigt, dass sich die Schätzwerte bei größeren Stichproben offensichtlich immer näher um den wahren Wert scharen - anders formuliert: die Varianz der Schätzung nimmt offensichtlich mit wachsendem ab, die Schätzung wird präziser! Page 8

9 Erinnern wir uns: Wir hatten festgestellt, dass Schätzer Zufallsvariablen sind und einen Erwartungswert sowie eine Varianz haben. Diese hatten wir für sogar bereits bestimmt: Und tatsächlich hängt die Varianz von von ab. Weil im Nenner des Bruchs steht, nimmt die Varianz mit wachsendem ab - so wie wir es bereits vermutet haben. Veranschaulichen Sie den Zusammenhang zwischen der Standardabweichung von und dem Stichprobenumfang mit Hilfe des Statistiklabors. Labordatei öffnen ( df5.zmpf ) Konsistenz Was sagt die Varianz eines Schätzers nun über dessen Qualität aus? Erinnern wir uns an den Fußballspieler, der immer abwechselnd rechts und links an die Torpfosten schießt. Obwohl er "als Schätzer" erwartungstreu ist, hätte er eine deutlich höhere Varianz als der zweite Spieler, der immer exakt die Mitte des Tores trifft. Während ein Schätzer erwartungstreu sein kann oder nicht, lässt sich die Varianz eines Schätzers sinnvoll immer nur im Vergleich zu anderen Schätzern interpretieren. In der Praxis werden wir nämlich nie einen sinnvollen Schätzer finden, der wie der zweite Fußballspieler immer exakt trifft, also eine Varianz von null hätte. Ist eine Schätzfunktion (zumindest asymptotisch) erwartungstreu und hat eine mit wachsendem abnehmende Varianz, so nennt man sie konsistent. heißt konsistente Schätzfunktion für den Parameter, wenn gilt: und. Die Definition der Konsistenz verwendet die Eigenschaft der (asymptotischen) Erwartungstreue. Dazu äquivalent ist folgende Forderung: und. Beide Forderungen sind deswegen äquivalent, weil wir bereits gezeigt hatten, dass folgende Äquivalenzbeziehung besteht:. Page 9

10 Wir können daher in der Definition der Konsistenz den Term gegen austauschen und umgekehrt, ohne dass sich am Sinngehalt der Definition etwas ändert. Stellen Sie sich vor, Sie stünden am Rande der Strecke eines Marathon-Laufes und Sie sehen die vielen Läufer, die sich an Ihnen vorbeischleppen. Plötzlich fragen Sie sich, wie viele Läufer wohl insgesamt an dem Lauf teilnehmen. Sie werfen einen Blick auf die Startnummern der Läufer real,- BERLIN-MARATHON 2001 (Potsdamer Platz, ) Quelle: SCC-RUNNING 2002 Die Läufer sind durchgängig nummeriert von 1 bis, ist die Anzahl der Page 10

11 Teilnehmer. Wir gehen davon aus, dass die Startnummern zufällig vergeben wurden und vernachlässigen, dass bei einigen Läufen die Favoriten eine niedrige Startnummer erhalten, die ihnen einen ungehinderten Start von der Spitze des Feldes sichern soll. Es handelt sich um ein Schätzproblem, das wir bereits kennen: Ziehen wir durch Beobachtung des Läuferfeldes eine zufällige Stichprobe vom Umfang und notieren die Startnummern, so lässt sich als Parameter der diskreten Gleichverteilung von im Intervall von 1 bis interpretieren, den wir zu schätzen versuchen (vgl. ). Es seien folgende Schätzer gegeben: (wegen ) Eine zufällige Stichprobe von Startnummern vom Umfang finden Sie in der Datei Marathon.xls. Bestimmen Sie die Schätzwerte der drei Schätzer basierend auf dieser Stichprobe mit Hilfe des Statistiklabors. Labordatei öffnen ( e78.zmpf ) Datensatz öffnen ( e7a.xls ) Wir wollen nun versuchen, die Schätzer miteinander zu vergleichen. Prüfen Sie dazu, ob die Schätzer und konsistente Schätzer für sind (bei sind die Überlegungen zu kompliziert). Hinweis:, In einer Computer-Simulation wurden 1000 Stichroben vom Umfang gezogen. Für jede Stichprobe wurden die Schätzwerte für unsere drei Schätzer bestimmt (Marathon2.xls). Visualisieren Sie die Verteilung der Schätzwerte im Statistiklabor durch Boxplots und vergleichen Sie mit der tatsächlichen Teilnehmerzahl. Hinweis: Sie können im Statistiklabor die Eigenschaften der Schätzer genauer untersuchen, indem Sie eine Simulation anstellen. Datensatz öffnen ( ea8.xls ) Labordatei öffnen ( eaa.zmpf ) Simulation starten ( eac.spf ) Page 11

12 Mittlerer quadratischer Fehler (MQF) Die Konsistenz umfasst also sowohl die Eigenschaft der asymptotischen Erwartungstreue als auch die Eigenschaft der für wachsende Stichprobenumfänge abnehmenden Varianz. Möchte man zeigen, dass ein Schätzer konsistent ist, dann muss man zunächst prüfen, ob er (zumindest asymptotisch) erwartungstreu ist und wenn dies der Fall ist, im nächsten Schritt nachweisen, dass die Varianz des Schätzers mit gegen unendlich strebenden Stichprobenumfängen gegen null konvergiert. Äquivalent zu der gelieferten Definition der Konsistenz lassen sich diese beiden Eigenschaften zusammenfassen: Der sog. mittlere quadratische Fehler (MQF, engl.: mean square error bzw. MSE) erfasst Erwartungstreue und Varianz. Der mittlere quadratische Fehler ist folgendermaßen definiert: In dieser Form ist die Gleichung zwar kompakt, aber schwer handhabbar; außerdem ist die Analogie zur Konsistenz nicht sichtbar. Durch einige Umformungen, die wir hier nicht im einzelnen durchführen wollen, kann die Gleichung aber auch in folgende äquivalente Form gebracht werden: Der MQF ist also ein Maß für die Abweichung der Schätzwerte vom wahren. Diese Abweichung setzt sich aus systematischer (Bias) und zufälliger Abweichung zusammen. MQF und Konsistenz Jetzt kennen wir die Definition des mittleren quadratischen Fehlers. Wo liegt aber der Zusammenhang zur Konsistenz? Betrachten wir noch einmal die Definition der Konsistenz: heißt konsistente Schätzfunktion für den Parameter gilt: und., wenn Der mittlere quadratische Fehler enthält genau die gleichen Bestandteile. Schauen wir uns einmal an, was passiert, wenn man den Limes des mittleren quadratischen Fehlers für betrachtet: Es ist leicht zu erkennen, dass dieser Term für jeden konsistenten Schätzer gleich null sein muss. Auch der umgekehrte Schluss gilt: Page 12

13 Wenn, dann ist ein konsistenter Schätzer für, weil und gelten muss. Auch die Umkehrung dieses Satzes gilt! Bestimmen Sie den mittleren quadratischen Fehler für den Schätzer zunächst in allgemeiner Form. Greifen Sie dabei auf unsere bisherigen Kenntnisse (insbesondere über Bias und Varianz des Schätzers) zurück. Versuchen Sie das Ergebnis anhand einer Simulation (, ) zu verifizieren. In diesem Modul wurden weitere Eigenschaften von Schätzern thematisiert, die dazu dienen, verschiedene Schätzer zu beurteilen. Als erstes wurde die Erwartungstreue eingeführt. Ein Schätzer ist erwartungstreu, wenn er den wahren Parameterwert im Mittel trifft. Erfüllt ein Schätzer diese Bedingung nicht, so ist er verzerrt bzw. hat einen Bias. Der Bias misst die erwartete Abweichung vom wahren Parameterwert und hängt häufig vom Stichprobenumfang ab. Bei vielen verzerrten Schätzern nimmt der Bias jedoch mit wachsendem Stichprobenumfang ab; wenn der Bias bei gegen unendlich wachsendem Stichprobenumfang gegen null konvergiert, nennt man solche Schätzer asymptotisch erwartungstreu. Neben der Erwartungstreue spielt auch die Varianz eines Schätzers eine wichtige Rolle; sie ist ein Maß für die Präzision eines Schätzers. Viele Schätzer besitzen die wünschenswerte Eigenschaft, dass ihre Varianz mit wachsendem Stichprobenumfang immer geringer wird und für gegen unendlich strebende Stichprobenumfänge gegen null konvergiert. Ist ein solcher Schätzer zusätzlich erwartungstreu, so nennt man ihn auch konsistent. Ein konsistenter Schätzer würde also theoretisch bei einer Schätzung, die auf einer unendlich großen Stichprobe basieren würde, den wahren Parameterwert immer mit völliger Sicherheit exakt treffen. Das Konstrukt des mittleren quadratischen Fehlers verbindet Erwartungstreue und Präzision miteinander. Der MQF setzt sich additiv zusammen aus dem Quadrat des Bias und der Varianz. Daraus folgt unmittelbar, dass ein konsistenter Schätzer immer einen MQF von null für gegen unendlich strebende Stichprobenumfänge haben muss und umgekehrt. Mit diesem Wissen ist man in der Lage, gegebene Schätzer für ein bestimmtes Schätzproblem zu untersuchen und zu beurteilen. Idealerweise wird man einen konsistenten Schätzer mit vergleichsweise geringer Varianz auswählen. Ist ein solcher Schätzer nicht vorhanden, muss ggf. ein Trade-Off zwischen Erwartungstreue und Präzision erfolgen; dabei kann evtl. der MQF hilfreich sein. asymptotische Erwartungstreue ErklärungBias ErklärungErwartungstreue ErklärungKonsistenz ErklärungMittlerer quadratischer Fehler Erklärung (c) Projekt Neue Statistik 2003, Freie Universität Berlin, Center für Digitale Systeme Kontakt: Page 13