Forschungsstatistik I

Transkript

1 Prof. Dr. G. Meinhardt 6. Stock, Taubertsberg R (Persike) R (Meinhardt) Sprechstunde jederzeit nach Vereinbarung Forschungsstatistik I Dr. Malte Persike [email protected] SS 009 Fachbereich Sozialwissenschaften Psychologisches Institut Johannes Gutenberg Universität Mainz

2 Anpassungstests Test von Verteilungsannahmen Ziel: Prüfung, ob Stichprobendaten einer angenommenen Verteilung (z.b. NV, binomial) folgen Unterscheidung: a) Stetige, mindestens intervallskalierte Daten b) Natürlich kategoriale Daten c) Künstlich kategoriale, d.h. gruppierte Daten Zur Prüfung der Verteilungsannahme bei intervallskalierten Daten kann der verwendet werden Zur Prüfung der Verteilung kategorialer Daten wird der verwendet

3 QQ-Plot Rechenbsp. Interpretation Test auf Verteilungsannahmen Der QQ-Plot Idee: Wenn Stichprobendaten normalverteilt sind, sollten die empirischen Quantile mit den theoretischen Quantilen übereinstimmen. Gegeben sei die beobachtete Realisation y. Wenn unterhalb von y für eine theoretisch normalverteilte Zufallsvariable p Werte liegen [also P(Y y) bzw. F(y)] solte auch in den Stichprobendaten unterhalb von y ein Anteil p der Werte liegen. Theoretisches Quantil Empirisches Quantil

4 QQ-Plot Rechenbsp. Verteilung intervallskalierter Daten Der QQ-Plot Bei n Beobachtungen existieren n direkt bestimmbare empirische Quantile. Das Quantil für das i-te Datum (i = 1 n) der sortierten Datenreihe wird berechnet als Interpretation p i = i 0.5 n Über die Subtraktion von 0.5 ist der Tatsache Rechnung getragen, dass das 100% Quantil für die Normalverteilung nicht definiert (bzw. ) ist Die theoretischen Quantile für die erhaltenen z-werte können nun aus den (standardisierten) Daten anhand der inversen Normalverteilung Φ -1 bestimmt werden.

5 QQ-Plot Rechenbsp. Verteilung intervallskalierter Daten Der QQ-Plot - Verfahren Schritt 1: Sortieren der Stichprobendaten nach aufsteigender Größe Interpretation Nr Datum Sortiert z p Qp e

6 Verteilung intervallskalierter Daten Der QQ-Plot - Verfahren Schritt : z-transformation der Rohdaten Qp Sortiert Datum z p e Nr x x z s = QQ-Plot Rechenbsp. Interpretation

7 QQ-Plot Rechenbsp. Verteilung intervallskalierter Daten Der QQ-Plot - Verfahren Schritt 3: Bestimmung der Quantilszahlen p p i i 0.5 = n Interpretation Nr Datum Sortiert z p Qp e

8 QQ-Plot Rechenbsp. Verteilung intervallskalierter Daten Der QQ-Plot - Verfahren Schritt 4: Bestimmung der erwarteten Quantile Q p aus der inversen standardnormalen Verteilung Φ -1 (p, x, s) Interpretation Nr Datum Sortiert z p Qp e

9 QQ-Plot Rechenbsp. Verteilung intervallskalierter Daten Der QQ-Plot - Verfahren Schritt 5: Zeichnen des QQ-Plots 3 Interpretation Beobachtetes Quantil Erwartetes Quantil

10 Beispiele Normalverteilung

11 Beispiele Linkssteile Verteilung (positive Schiefe)

12 Beispiele Rechtssteile Verteilung (negative Schiefe)

13 Beispiele Verteilung mit negativer Kurtosis ( runder )

14 Beispiele Verteilung mit positiver Kurtosis ( spitzer )

15 QQ-Plot Rechenbsp. Verteilung intervallskalierter Daten Der QQ-Plot - Verfahren Schritt 6: Bestimmung der Güte der Passung Interpretation Für jeden (standardisierten) Rohdatenwert kann ein Erwartungswert y Qp bestimmt werden, nämlich das zugehörige Quantil aus der theoretischen Verteilungsfunktion 1 s y y n ( ˆ ) e = i Qp N i = 1 Die so berechnete Varianz ist die sogenannte Fehlervarianz oder unaufgeklärte Varianz Damit gilt wieder: r Fehlervarianz = 1 = 1 Gesamtvarianz s s e y

16 QQ-Plot Rechenbsp. Interpretation Verteilung intervallskalierter Daten Der QQ-Plot - Verfahren Schritt 6: Bestimmung der Güte der Passung r² ist dann der Anteil der aufgeklärten Varianz an der Gesamtvarianz, ebenfalls als η² ( eta ) bezeichnet. η s s = e 100% s Zur Bewertung des η² gibt es Faustregeln. Ein Anteil von mindestens 70% ist als akzeptabel zu bewerten, mindestens 80% als gut, mindestens 90% als sehr gut.

17 QQ-Plot Verteilung intervallskalierter Daten Der QQ-Plot - Verfahren Rechenbsp. Schritt 6a: Bestimmung der Abweichung e zwischen beobachtetem und erwartetem Quantil. e= z z Qp Interpretation Nr Datum Sortiert z p Qp e

18 QQ-Plot Rechenbsp. Interpretation Verteilung intervallskalierter Daten Der QQ-Plot - Verfahren Schritt 6b: Bestimmung des Anteils der erklärten Varianz an der Gesamtvarianz. Die Gesamtvarianz s² ist bei standardisierten Daten immer 1. Bei unstandardisierten Daten wäre es schlicht die Varianz der Rohdaten. Die Fehlervarianz ist der Mittelwert aller Abweichungsquadrate (y i -y Qp )², im Beispiel s e =0.07. Damit ergibt sich für die aufgeklärte Varianz η² = (1 0.07) / 1 = 0.973, also 97.3%.

19 QQ-Plot Rechenbsp. Interpretation Verteilung intervallskalierter Daten Der QQ-Plot - Verfahren Schritt 7: Entscheidung über Verteilungsform Ist r qq < r crit(a), wird die Annahme der NV auf dem gewählten a Level verworfen. α sollte progressiv gewählt sein (10%), da man eine Sicherheit für die Beibehaltung wünscht. Smpla Size N Significance level α

20 Verteilung intervallskalierter Daten Der Kolmogoroff-Smirnoff Test Zur nicht-grafischen Prüfung der Verteilungsanpassung kommt sehr häufig der Kolmogoroff-Smirnoff Test zum Einsatz Auch dieser Test prüft, ob die empirische Verteilung mit einer angenommenen Verteilung übereinstimmt. Die Berechnung der Prüfgröße ist mathematisch aufwändiger. Unter der H 0 sind die Verteilungen gleich, unter der H 1 ungleich Da man in aller Regel die H 0 bestätigen möchte, wählt man ein höheres Signifikanzniveau (z.b. p=.5), um den Fehler. Art zu minimieren

21 Einführung Prüfgröße Verteilung Verteilung kategorialer Daten Der Soll die Verteilung kategorialer Daten geprüft werden, kommen häufig so genannte s zum Einsatz Ihr Name ist aus dem Umstand abgeleitet, dass die Prüfgröße einer χ²-verteilung folgt Unter der H 0 entsprechen die beobachteten Punktwahrscheinlichkeiten P(Y=y i ) den theoretischen Punktwahrscheinlichkeiten p i, unter der H 1 sind sie verschieden, also H0 : PY ( = yi) = p H : PY ( = y) p 1 i i i

22 Einführung Prüfgröße Verteilung Verteilung kategorialer Daten Der Die Teststatistik folgt immer der Logik: χ = ( beobachtet erwartet) erwartet Für absolute Häufigkeiten in k Kategorien: χ k = i= 1 ( n npˆ ) i npˆ i i Für relative Häufigkeiten in ik Kategorien: χ k = n i= 1 ( p pˆ ) i pˆ i i

23 Einführung Prüfgröße Verteilung Verteilung kategorialer Daten Der Die Prüfgröße ist dann approximativ χ²-verteilt, wenn folgende Faustregeln erfüllt sind: 1. np i 1 für alle Zellen. np i 5 für mindestens 80% der Zellen Die χ²-verteilung ist über einen Parameter definiert, nämlich die Anzahl der Freiheitsgrade (df) Die Anzahl der Freiheitsgrade ist a) k-1 bei echt kategorialen Daten b) k-1 bei gruppierten Daten aus einer vollständig bekannten ( voll spezifizierten ) Verteilung c) k m-1 bei gruppierten Daten einer Verteilung, für die m Parameter aus der Stichprobe geschätzt werden

24 Einführung Verteilung kategorialer Daten Der Prüfgröße Verteilung