THEMA: "STATISTIK IN DER PRAXIS TESTEN IST BESSER ALS VERMUTEN" TORSTEN SCHOLZ

Transkript

1 THEMA: "STATISTIK IN DER PRAXIS TESTEN IST BESSER ALS VERMUTEN" TORSTEN SCHOLZ

2 EINLEITENDES BEISPIEL SAT: Standardisierter Test, der von Studienplatzbewerbern an amerikanischen Unis gefordert wird Bewertet werden (u.a.) mathematische Kenntnisse und sprachliche Ausdrucksfähigkeit Allgemeiner Bildungsstand soll anhand des durchschnittlichen Testergebnisses bewertet werden Bildungsausschuss vermutet Abweichung der mittleren Punktzahl vom Sollwert (1200 Punkte) Vermutung soll empirisch überprüft werden

3 PRINZIPIEN DES STATISTISCHEN TESTENS Statistisches Testen: Empirische Überprüfung von Annahmen über das Verhalten eines Merkmals in der Grundgesamtheit H 0 versus H 1 Durchführung eines statistischen Tests muss gewissen Prinzipien genügen: Auffassen der inhaltlichen Fragestellung als statistisches Testproblem Definieren einer Entscheidungsregel Sammeln von Daten für die empirische Bewertung Anwenden der Entscheidungsregel, d.h. fällen einer Testentscheidung

4 HYPOTHESEN AUFSTELLEN Formalisieren der Problemstellung: Zufallsvariable X beschreibe die erzielte Punktzahl Vorgabe der Schulbehörde als Aussage über den Erwartungswert von X formulierbar: μ = E X = μ 0 = 1200 Auffassen der inhaltlichen Fragestellung als statistisches Testproblem: H 0 : μ = μ 0 vs. H 1 : μ μ 0 Empirische Überprüfung anhand von Stichprobe vom Umfang n. Testergebnisse als Realisationen unabhängiger Wiederholungen X 1,, X n von X interpretierbar U.U. Formulierung weiterer Modellannahmen, z.b. über Verteilung von X bzw. X 1,, X n X~N μ, σ 2, σ 2 unbekannt

5 SIGNIFIKANZNIVEAU FESTLEGEN Festlegung des Ablehnungsbereichs (Stichprobenergebnisse, die für H 1 sprechen): Verdichten der Stichprobeninformation zu geeigneter Prüfgröße / Teststatistik Anforderung 1: Sensibel für Testproblem: X = n X i i=1, da E H0 X = μ 0 Welche Werte von X sind so extrem unwahrscheinlich, dass sie unter H 0 zustande gekommen sind? Quantifizierung über Signifikanzniveau α, α 0.01, 0.05, 0.10 : P H0 X > c = α Anforderung 2: Bekannte Verteilung unter H 0. Betrachte normierte Version von X T = X μ 0 S n ~ t n 1 P H0 T > c = α c = t 1 α 2 n 1

6 DATEN SAMMELN Ziehen einer zufälligen Stichprobe von n = 80 Testteilnehmern Stichprobenmittel und Stichprobenvarianz aus Werten x 1,, x 80 berechnen: x = n x i i=1 = s = 1 n n 1 x i x 2 i=1 = Wert der Prüfgröße / Teststatistik berechnen: t = x μ 0 s n = 0.57

7 TESTENTSCHEIDUNG FÄLLEN (1) Entscheidung, ob H 0 zugunsten von H 1 verworfen wird oder beibehalten werden muss Liegt berechneter Prüfgrößenwert im Ablehnungsbereich? Gilt t > t 1 α 2 n 1? α = 0.05 t 1 α 2 n 1 = 1.99 t < t 1 α 2 n 1 Nullhypothese kann nicht zum Signifikanzniveau α = 0.05 verworfen werden Formulierung der Testentscheidung als Bedingung an μ 0 : t > t 1 α 2 n 1 μ 0 x s n t 1 α 2 n 1, x + s n t 1 α 2 n 1 H 0 zum Niveau α verwerfen μ 0 nicht in 1 α 100% Konfidenzintervall für μ

8 TESTENTSCHEIDUNG FÄLLEN (2) Entscheidung, ob H 0 zugunsten von H 1 verworfen wird oder beibehalten werden muss Ist p-wert kleiner oder größer bzw. gleich vorgegebenem Signifikanzniveau α? p-wert ist Wahrscheinlichkeit, unter Nullhypothese beobachteten Prüfgrößenwert oder in Richtung Alternative extremeren Wert zu erhalten Im Beispiel ist p = P H0 T t = P H0 T Dabei gilt t > t 1 α 2 n 1 P H0 T t < P H0 T t 1 α 2 n 1 p < α H 0 beibehalten, falls p α. H 0 verwerfen, falls p < α. p-werte werden standardmäßig von Software-Paketen ausgegeben

9 KURZUMFRAGE

10 FRAGE WELCHE DER FOLGENDEN GRÖßEN BEEINFLUSST DAS SIGNIFIKANZNIVEAU α EINES STATISTISCHEN TESTS? ANTWORTEN a. Der p-wert b. Der Stichprobenumfang n c. Beide genannten Größen d. Keine der genannten Größen

11 FRAGE WELCHE DER FOLGENDEN GRÖßEN BEEINFLUSST DAS SIGNIFIKANZNIVEAU α EINES STATISTISCHEN TESTS? ANTWORTEN a. Der p-wert b. Der Stichprobenumfang n c. Beide genannten Größen d. Keine der genannten Größen

12 FEHLENTSCHEIDUNGEN Rückschlüsse von Stichprobe auf Grundgesamtheit implizieren Fehlentscheidungen Entscheidung für H 0 H 1 H 0 wahr richtig Fehler 1. Art H 1 wahr Fehler 2. Art richtig Wahrscheinlichkeit für Fehler 1. Art wird kontrolliert durch α Wahrscheinlichkeit für Fehler 2. Art wird nicht vorgegeben Ungleichbehandlung der Fehlerarten führt zu asymmetrischen Testentscheidungen p < α heißt, H 1 bestätigt bzw. signifikant (zum Niveau α) nachgewiesen p α heißt nicht, H 0 bestätigt, nur H 0 ist beizubehalten bzw. nicht zu verwerfen Interessierende Forschungshypothese als Alternative formulieren!

13 GÜTEFUNKTION (1) Fehler 1. und 2. Art als Kriterien zur Qualitätsbeurteilung statistischer Tests lassen sich in Gütefunktion zusammenführen Gibt für Test in Abhängigkeit des interessierenden Parameters die Wahrscheinlichkeit an, die Nullhypothese zu verwerfen g μ = P μ H 0 verwerfen Gilt μ H 0, hier μ = μ 0, so ist g μ = α, d.h. die Wahrscheinlichkeit für Fehler 1. Art Gilt μ H 1, hier μ μ 0, so ist 1 g μ die Wahrscheinlichkeit für Fehler 2. Art Enthält neben Signifikanzniveau auch Informationen darüber, für welche Parameterwerte die Nullhypothese mit großer Wahrscheinlichkeit verworfen wird Wird zum Vergleich mehrerer konkurrierender Tests herangezogen

14 GÜTEFUNKTION (2) Eigenschaften einer Gütefunktion: Heißt für Werte aus H 1 Trennschärfe oder Macht Ist für Werte aus H 0 (kleiner) gleich α Macht wird größer mit wachsendem Stichprobenumfang n mit wachsendem Signifikanzniveau α mit wachsender Abweichung von H 0

15 DEMO

16 FRAGEN?

17 VIELEN DANK FÜR IHRE AUFMERKSAMKEIT Interesse an weiterem Austausch? Diskutieren Sie mit uns in der XING-Gruppe Business Analytics mit SAS Sprechen Sie uns direkt an: Treffen Sie uns auf Veranstaltungen:

18 WEITERE INFORMATIONEN UND KURSE ZU DIESEM THEMA Varianzanalyse, Regression und logistische Regression mit dem SAS Enterprise Guide Heidelberg Wien München Statistik 1: Varianzanalyse, Regression und logistische Regression Wien München Heidelberg Vorhersagemodellierung mit der logistischen Regression Heidelberg Heidelberg

19 NÄCHSTES

20 FOLIEN ZUM DOWNLOAD UNTER WIE HAT IHNEN UNSER WEBINAR GEFALLEN?