Einführung in die Statistik Kapitel 6: Crash-Course in Statistik: Testtheorie

Transkript

1 Einführung in die Statistik Kapitel 6: Crash-Course in Statistik: Testtheorie Jung Kyu Canci Universität Basel HS / 15

2 Literatur Kapitel 6 Statistik in Cartoons : Kapitel 8 Krengel : 6 und 14 Storrer : 44, 45 Ziele dieses Kapitels : Das gesamte Setting (die Philosophie, 6.1) rund um das Lemma von Neyman-Pearson (6.2) muss verstanden werden. Ausgehend vom Lemma von Neyman-Pearson sollten die StudentInnen auch fähig sein, Aussagen über statistische Tests in komplizierteren Modellen, welche sie (noch) nicht kennen, nachzuvollziehen (vgl. 6.4). 2 / 15

3 6.1 Problemstellung / Philosophie hinter den Tests Erinnern wir uns daran, dass wir in 3.3 "Einschub : Stichproben und deren Erwartungswerte/Varianzen" unter anderem folgendes festgehalten haben : Die Wahrscheinlichkeitstheorie zeichnet sich dadurch aus, dass wir immer sicher wissen, wie das Modell ist (z.b. "Sei X eine N (0, 1)-Zufallsgrösse."). Wir müssen uns in der Theorie nie Gedanken machen, ob dieses Modell überhaupt "stimmt". Wir präzisieren dieses Beispiel noch : wir haben hier drei! Annahmen gemacht : Normalverteilung, Erwartungswert 0 und Varianz 1. In der Statistik gilt folgendes : Wir haben nur die Daten d = (x 1, x 2, x 3,..., x n )!!! und wissen nicht, aus welcher Verteilung die eigentlich stammen. Beispiel / 15

4 Daten werden immer mit kleinen Buchstaben angegeben. Meist werden wir die dazugehörende Zufallsgrösse (aus der die Realisation stammt oder wir gehen zumindest mal davon aus) mit den dazugehörenden Grossbuchstaben bezeichnen : X i und x i. Wenn nicht anders vereinbart, werden Stichproben/Realisationen vom Umfang n so behandelt, dass man jedem Datenpunkt die Wahrscheinlichkeit 1/n zuweist und davon ausgeht, dass die n Daten unabhängig voneinander generiert wurden. Nochmals : Dies wird (mit gutem Grund) vereinbart und ist keineswegs zwingend! Wir haben dann also : (X 1 (ω), X 2 (ω),..., X n (ω)) = (x 1, x 2,..., x n ), wenn X i z.b. die Anzahl Augen beim i-ten Wurf ist und die Welt im Zustand ω ist und die X i 's voneinander unabhängig sind. 4 / 15

5 Stellen wir uns vor, wir sind in einer Quizshow : Gegeben sind zwei mögliche Hypothesen, wir nennen sie H 0 und H 1. Entweder ist die Hypothese H 0 richtig oder die Hypothese H 1. Wir wissen leider nicht, welche Hypothese wirklich richtig ist. Wir erhalten dann eine Realisation x 1 einer Zufallsgrösse. Je nachdem, welche Hypothese richtig ist, wird die Zufallsgrösse aber anders verteilt sein (z.b. anderer Mittelwert). Wir müssen uns dann entscheiden, ob wir sagen wollen : "wir nehmen vorläug/provisorisch H 0 an" oder "wir nehmen vorläug/provisorisch H 1 an".4 Situationen sind möglich : 1 H 0 ist richtig und wir nehmen vorläug/provisorisch H 0 an. 2 H 0 ist richtig und wir nehmen vorläug/provisorisch H 1 an (Fehler 1. Art). 3 H 1 ist richtig und wir nehmen vorläug/provisorisch H 1 an. 4 H 1 ist richtig und wir nehmen vorläug/provisorisch H 0 an (Fehler 2. Art). 5 / 15

6 Beispiele für H i sind : H 0 : Würfel fair (1/6) gegen H 1 : Würfel verfälscht (viele Möglichkeiten) H 0 : Münze fair (1/2) gegen H 1 : Münze verfälscht (viele Möglichkeiten) H 0 : Medikament lässt Blutdruck unverändert H 1 : Medikament senkt Blutdruck (Lohn-)Umfrage unter 10'000 Personen, schliesse auf Gesamtpopulation : H 0 : Durchschnittslohn gleich geblieben gegen H 1 : Durchschnittslohn gestiegen gegen 6 / 15

7 Erste Aufgabe Gegeben sei eine Realisation x 1 einer Zufallsgrösse aus einer U[a, b]-verteilung. Im Fall H 0 ist dies eine U[0, 1]-Verteilung, im Fall H 1 ist es eine U[2, 3]-Verteilung. Wir müssen uns jetzt in dieser Quizshow mit dieser einzigen Beobachtung x 1 entscheiden, ob wir im Fall H 0 oder H 1 sind : Antwort 6.1 Zweite Aufgabe Gegeben sei eine Realisation x 1 einer Zufallsgrösse aus einer N (µ, σ 2 )-Verteilung. σ 2 = 1 gelte auf jeden Fall ; aber : im Fall H 0 ist dies eine N (0, 1)-Verteilung, im Fall H 1 ist es eine N (1, 1)-Verteilung. Wir müssen uns jetzt in dieser Quizshow mit dieser einzigen Beobachtung x 1 entscheiden, ob wir im Fall H 0 oder H 1 sind : Antwort / 15

8 Dritte Aufgabe Wir behandeln nochmals die zweite Aufgabe mit folgenden Auagen : a) Wenn wir uns für H 1 entscheiden, obschon H 0 richtig ist, verlieren wir all unser Vermögen (in den 3 anderen Möglichkeiten geschieht nichts). Wie sollten wir uns jetzt entscheiden? Antwort 6.3a b) Wenn wir uns für H 0 entscheiden, obschon H 1 richtig ist, verlieren wir all unser Vermögen (in den 3 anderen Möglichkeiten geschieht nichts). Wie sollten wir uns jetzt entscheiden? Antwort 6.3b Vierte Aufgabe Wir behandeln nochmals die zweite Aufgabe mit folgender Auage : Wenn H 0 richtig ist, dürfen wir (ohne Strafe) mit 10 % Wahrscheinlichkeit eine falsche Entscheidung treen (sagen : "H 1 ist richtig", Fehler 1. Art). Wie sollten wir uns jetzt entscheiden? Antwort / 15

9 Fünfte Aufgabe Wir wollen die vierte Aufgabe zu einer Optimierungsaufgabe umformulieren. Wir haben gesehen, dass wir -viele Möglichkeiten haben, diese 10 % der Fälle "auf der x-achse zu platzieren" (= sog. Ablehnungsbereich (engl. Critical Region), wir lehnen dort die H 0 -Hypothese ab). Wir sollten deshalb noch den Fehler 2. Art mit einbeziehen. Ziel ist es, "pro Fehler 1. Art, den man macht, ein Maximum an Fehler 2. Art vernichten!" Wie sollten wir uns jetzt entscheiden? Antwort 6.5 Wo wählt man sinnvollerweise den Ablehnungsbereich? 9 / 15

10 Sechste Aufgabe Warum ist das Verhältnis der Dichten (aus H 0 und H 1 ) wichtig und nicht zum Beispiel die Dierenz?Dazu folgende 2 Hypothesen : In H 0 haben wir die Dichtefunktion auf dem Intervall [0, 1] folgendermassen konzentriert : 2 x [0, 0.05] 1 f 0 (x) = x (0.05, 0.95] 9 16 x (0.95, 1]. In H 1 haben wir die Dichtefunktion auf dem Intervall [0, 1] folgendermassen konzentriert : 4 x [0, 0.05] 5 f 1 (x) = x (0.05, 0.95] 6 1 x (0.95, 1]. (die Dichten können also oenbar wild verschieden sein). Wieder dürfen wir, wenn H 0 eigentlich richtig ist, in 10 % der Fälle eine Fehlentscheidung machen. Wie wird man sich sinnvollerweise verhalten, wenn nur eine Realisation x 1 bekannt ist? Berechnen Sie auch in den relevanten Bereichen die Dierenzen und die Verhältnisse der beiden Dichten aus den beiden Verteilungen. Tabelle und Skizze : Rechnunge / 15

11 Wichtige Warnung : Folgende Aussage ist (obschon häug gehört) schwachsinnig : "Mit 90 % Wahrscheinlichkeit ist die Hypothese H 0 die richtige." Richtig ist : Entweder ist H 0 die richtige Hypothese oder H 1. Wir werden aber nie (Ausnahmen sind triviale Fälle wie die erste Aufgabe) wirklich wissen, in welcher Situation wir sind. Wir werden uns in 10 % der Fälle, wo eigentlich H 0 richtig wäre, für H 1 entscheiden, weil uns dies erlaubt wurde. Wir machen dies aber möglichst sinnvoll (vgl. fünfte Aufgabe und nachfolgend das Lemma von Neyman-Pearson). Wir haben bis jetzt immer nur einen Datenpunkt ("x 1 ") gehabt. Damit konnten wir die Grundfrage der Tests illustrieren. In der Realität wird man aber meist (und hoentlich) eine Stichprobe vom Umfang n haben, wo n möglichst gross ist. Sei also (X i ) n eine Folge von iid Zufallsgrössen mit i=1 Dichte f (x). Wenn X 1 normalverteilt ist, haben wir also f (x) = 1 2πσ e (x µ)2 2σ 2, x R. E[X 1 ] = µ, V [X 1 ] = σ / 15

12 Wir schreiben besser f µ,σ 2(x), um zu betonen, dass f (x) je nach Erwartungswert und Varianz verschieden ist. Da die X i 's unabhängig voneinander sind (in einer Stichprobe x 1, x 2,..., x n ist das per Denitionem so, siehe oben), ist die gemeinsame Dichte der n Zufallsgrössen (X i ) n gleich dem Produkt der Dichten (Formel (III ) in i=1 2.5) : n f (x 1, x 2,..., x n ) = f µ,σ 2(x i ). Diese gemeinsame Dichte hängt natürlich auch von µ und σ 2 ab. Stellen wir uns einmal vor, wir hätten n Daten x 1, x 2,..., x n, von denen wir wüssten (das hat uns Gott noch gesagt), dass sie unabhängige Realisationen aus einer Normalverteilung sind mit Varianz 1. Leider kennen wir nicht µ R. Gott hat uns aber noch gesagt, dass µ = 0 oder µ = 1. Dies sind unsere Hypothesen H 0 und H 1. Wie sollten wir uns jetzt verhalten? i=1 12 / 15

13 6.2 Neyman-Pearson (Stetiger Fall) Das Lemma von Neyman-Pearson ist höchstwahrscheinlich das einzige Resultat aus der Wahrscheinlichkeitstheorie und Statistik, bei dem der Satz und der Beweis im stetigen Fall einfacher ist als im diskreten Fall Das Lemma von Neyman-Pearson im stetigen Fall Die Ausgangslage ist die folgende : Wir haben n Datenpunkte x 1, x 2,..., x n. Diese Datenpunkte sind eine Stichprobe X 1 (ω 1 ), X 2 (ω 1 ),..., X n (ω 1 ), wobei die X i 's, 1 i n, iid stetige Zufallsgrössen sind. Die gemeinsame Dichte ist entweder f 0 (x 1, x 2,..., x n ) oder f 1 (x 1, x 2,..., x n ). Wir wissen leider nicht, ob f 0 oder f 1 die richtige Dichte ist. Wir denieren Entscheidungs-Funktionen E(x 1, x 2,..., x n ) {0, 1}. Wir vereinbaren : wenn E(x 1, x 2,..., x n ) = 0, heisst es, dass wir uns für f 0 (H 0 ) entscheiden, wenn E(x 1, x 2,..., x n ) = 1, heisst es, dass wir uns für f 1 (H 1 ) entscheiden. 13 / 15

14 α [0, 1] ist vorgegeben (z.b. 10 %). K := K(α) wählen wir so, dass P 0 [ f1 (X 1, X 2,..., X n ) f 0 (X 1, X 2,..., X n ) > K ] = α. Dabei ist P 0 die Wahrscheinlichkeit, wenn f 0 gilt. Vorsicht : Wir haben jetzt nicht mehr die Datenpunkte x 1, x 2,..., x n eingesetzt, sondern die Zufallsgrössen X 1, X 2,..., X n ; dies deshalb, weil wir vor der Realisation sagen : mit Wahrscheinlichkeit α darf ein Fehler 1. Art gemacht werden. Wahrscheinlichkeit für Fehler 1. Art (auch Risiko 1. Art oder Grösse des Tests oder Signikanzniveau, engl. Size) : P 0 [E(X 1, X 2,..., X n ) = 1] (= α). Wahrscheinlichkeit für Fehler 2. Art (auch Risiko 2. Art ; Macht (engl. Power) ist 1 Risiko 2. Art) : P 1 [E(X 1, X 2,..., X n ) = 0] (=: β). 14 / 15

15 Dann verhalten wir uns am Besten gemäss folgendem Lemma : Satz (6.1 Lemma von Neyman-Pearson, stetig) Unter allen Entscheidungs-Funktionen E, welche mit Wahrscheinlichkeit von maximal α einen Fehler 1. Art machen, minimiert E NP (x 1, x 2,..., x n ) = 1 f 1(x 1, x 2,..., x n ) f 0 (x 1, x 2,..., x n ) > K die Wahrscheinlichkeit für einen Fehler 2. Art. 15 / 15