Hypothesen über die Grundgesamtheit Aufgabenstellung der Testtheorie Hypothesen (Annahmen, Vermutungen oder Behauptungen) über die unbekannte Grundgesamtheit anhand einer Stichprobe als richtig oder falsch einzustufen. Arten von Hypothesen Hypothesen über Parameter (z.b.: Merkmalsanteil; Mittelwert) Hypothesen über Unabhängigkeit von Merkmalen Hypothesen über Verteilung (z.b.: Normalverteilung) Hypothesen über die Güte der Anpassung von Modellen (z.b.: passt eine lineare Trendgerade) Statistik für SoziologInnen 1 Testtheorie John Arbuthnot (1667-1735) Leibarzt von Queen Anne Wissenschaftler und Satiriker (Freund von Jonathan Swift) Auszählung von Geburtsregistern von 82 Jahrgängen (1629 171) Anzahl Knabengeburten > Anzahl Mädchengeburten Ergebnis: 82 zu Schlussfolgerung: Das kann kein Zufall sein Die Hypothese, dass Knaben- und Mädchengeburten gleich wahrscheinlich seien war damit bereits 171 widerlegt. Statistik für SoziologInnen 2 Testtheorie 1
Wo sind objektive Grenzen? Was wäre gewesen, wenn das Ergebnis nicht 82: sondern etwa 6:22, oder gar 5: 32 gelautet hätte? Ab welchem empirischen Ergebnis hätte sich Arbuthnot getraut, in seinen wissenschaftlichen Aufzeichnungen zu notieren? Das kann kein Zufall sein Statistik für SoziologInnen 3 Testtheorie Testverfahren Ein statistischer Test (Signifikanztest) ist ein Verfahren, das es erlaubt auf der Basis einer empirischen Stichprobe mit einer gewissen Irrtumswahrscheinlichkeit sich zwischen zwei konkurrierenden wissenschaftlichen Hypothesen zu entscheiden. Statistik für SoziologInnen 4 Testtheorie 2
Knaben- vs. Mädchengeburten Nullhypothese: Knaben- und Mädchengeburten sind gleich wahrscheinlich Prob(K)=Prob(M)=,5 Alternativhypothese: Knaben- und Mädchengeburten sind nicht gleich wahrscheinlich Prob(K)<>Prob(M) Anmerkung: zweiseitige Fragestellung (two-sided test) Statistik für SoziologInnen 5 Testtheorie Grundgedanke der Testtheorie Unter der Annahme, dass die Nullhypothese stimmt, bestimmen wir die Wahrscheinlichkeit der Stichprobe. Wenn diese esewahrscheinlichkeit c e kleiner e als seine evorher gewählte Irrtumswahrscheinlichkeit ist, können wir mit eben dieser die Nullhypothese verwerfen. Prob(Knaben)=,5 Prob(Mädchen)=,5 Prob(Mehr Knabengeburten in einem Jahr)=,5 Prob(Mehr Mädchengeburten in einem Jahr)= 5,5 Anzahl der Jahre 82 Wahrscheinlichkeit, dass in allen 82 Jahren Knabengeburten überwiegen =,5 82,268 Statistik für SoziologInnen 6 Testtheorie 3
Beziehung zu Konfidenzintervall N=1. Haushalte einer Kleinstadt Hypothese: 25% der Haushalte verfügen über mehr als ein KFZ. Eine Stichprobe unter n=1 Haushalten a hat ergeben, dass 3 der befragten Haushalte über mehr als ein Auto verfügen. Ist damit unsere Hypothese widerlegt? Einen Indikator liefert das Konfidenzintervall, welches wir bei einem Wert von alpha=,5 mit [21%;39%] ermittelt haben. Offensichtlich können wir unsere Hypothese, wenn wir mit 95%-ger Sicherheit argumentieren wollen nicht verwerfen. Hätten wir die Hypothese gehabt, dass 2% der Haushalte über mehr als ein KFZ verfügen, könnten wir diese wohl verwerfen. Statistik für SoziologInnen 7 Testtheorie Arten von Hypothesen Nullhypothese (Ausgangshypothese) H Alternativhypothese H 1 oder H A Zusammengesetzte Hypothesen (auch Bereichshypothesen genannt) einseitige Hypothesen H : θ < θ H 1 : θ θ zweiseitige Hypothesen H : θ = θ H 1 : θ θ Statistik für SoziologInnen 8 Testtheorie 4
Testverfahren Ein statistischer Test (Signifikanztest) ist ein Verfahren, das es erlaubt auf der Basis einer Stichprobe entweder die Nullhypothese H abzulehnen (auch zurückweisen oder verwerfen) und sich für die Alternativhypothese H 1 zu entscheiden oder aber die H beizubehalten (anzunehmen). Das Annehmen oder Ablehnen von H kann entweder die richtige oder die falsche Entscheidung sein. Insgesamt gibt es 4 Konstellationen Statistik für SoziologInnen 9 Testtheorie Entscheidungsproblem Ergebnis des Test H verworfen statistisch signifikant H beibehalten statistisch nicht signifikant Wahrer Zustand H A O.K. β-fehler H α-fehler O.K. Statistik für SoziologInnen 1 Testtheorie 5
Fehlerarten Die Irrtumswahrscheinlichkeit α (Fehler 1.Art) ist die Wahrscheinlichkeit, mit der die Nullhypothese fälschlicherweise abgelehnt wird. Entscheidung für die Alternativhypothese, obwohl die Nullhypothese richtig ist. Die Fehlerwahrscheinlichkeit β (Fehler 2.Art) ist die Wahrscheinlichkeit, mit der die Alternativhypothese nicht als richtig erkannt wird. Entscheidung für die Nullhypothese, obwohl die Alternativhypothese richtig ist. Statistik für SoziologInnen 11 Testtheorie Neyman-Pearson Prinzip Da die simultane Minimierung beider Fehlerarten scheitert, erfolgt eine asymmetrische Behandlung Der α-fehler (Fehler 1. Art) wird a priori festgehalten (meist,1 oder,5) Die interessierende Hypothese wird als Alternativhypothese festgelegt ==> für signifikante Ergebnisse [Entscheidung für Alternativhypothese] kennen wir dann die Irrtumswahrscheinlichkeit, die wir a priori festsetzen ==> nicht signifikante Ergebnisse [Entscheidung für Nullhypothese] implizieren nicht, dass die Nullhypothese tatsächlich gilt (Fehler 2.Art) Statistik für SoziologInnen 12 Testtheorie 6
Einstichprobentest für den Anteilswert (1) Fragestellung: Wir wollen zeigen, dass der Anteil (π) einer Minderheit X in einer Population größer als 1%? H : π =,1 1(bzw. π,1) versus H 1 : π >,1 Irrtumswahrscheinlichkeit α=,5 bzw. Signifikanzniveau 1-α=,95 Bestimmung einer Prüfgröße unter der Annahme, dass die Nullhypothese gilt p ~N(π, π(1-π)/n) Falls H zutrifft: p~n(π,π (1-π )/n) π...grenzwert=,1 Statistik für SoziologInnen 13 Testtheorie Einstichprobentest für den Anteilswert (2) Prüfgröße Z = p π = p π σ p π ( 1 π ) n Die Prüfgröße Z ist bei Gültigkeit der Nullhypothese für große Stichproben und kleinem Auswahlsatz approximativ standardnormal verteilt Der Ablehnungsbereich b h (Kritischer Bereich) wird so gewählt, dass die Wahrscheinlichkeit einen Wert aus dem kritischen Bereich zu erhalten unter Gültigkeit der H höchstens genau α beträgt. Statistik für SoziologInnen 14 Testtheorie 7
3.4 1.2.3.. Der kritische Bereich 1-α =,95 α =,5 Annahmebereich -2 2 1,645 krit. Bereich Statistik für SoziologInnen 15 Testtheorie Kritischer Wert In unserem Beispiel ist der kritische Wert 1,645 Liegt der Stichprobenwert unter diesem Wert fällt die Beobachtung in den Annahmebereich und wir entscheiden uns für die Nullhypothese H. Liegt die Beobachtung oberhalb dieses Wertes, d.h. sie liegt im kritischen Bereich (Rückweisungs-, Ablehnungsbereich), so entscheiden wir uns für die Alternativhypothese H 1. Man spricht dann auch von einem signifikanten Ergebnis Statistik für SoziologInnen 16 Testtheorie 8
Beispiel: Stichprobe: n=1; x=15 p=,15 Z = p π 15, 1, 5, = = = 166, π( 1 π), 1, 9, 3 n 1 Das bedeutet wir entscheiden uns (knapp aber doch) für H 1. Wir können die Nullhypothese bei einem Signifikanzniveau von,95 verwerfen. Auf der Basis unseres Stichprobenergebnisses b i können wir bei Vorgabe einer Irrtumswahrscheinlichkeit von 5%, die Hypothese, dass der Anteil der Minderheit kleiner gleich 1% ist, zurückweisen bzw. die Hypothese, dass der Anteil größer als 1% ist annehmen. Statistik für SoziologInnen 17 Testtheorie Alternative Angabe des kritischen Bereichs In manchen Anwendungen will man den kritischen Bereich in der eigentlich untersuchten Dimension ausdrücken. In unserem Beispiel sucht man etwa jene Annahmekennzahl, die quantifiziert ab wie vielen deklarierten Mitgliedern einer Minderheit in einer Stichprobe von n=1, die Nullhypothese π,1 abzulehnen ist? z c = pc π π( 1 π) n p = π + z c c π( 1 π) n Statistik für SoziologInnen 18 Testtheorie 9
Beispiel p c =,1+1,645*,3=,1494 Bei einer Stichprobe von 1 lehnen wir ab einer Anzahl von 15 oder mehr deklarierten Mitgliedern der Minderheit die Nullhypothese mit einer Irrtumswahrscheinlichkeit von α=,5 ab. Hat man weniger als 15 (also maximal 14) deklarierte Mitglieder, so kann die Nullhypothese nicht verworfen werden. Hätte man etwa x=13 beobachtet, so ergibt sich für die Testgröße z = (,13-,1)/,3=1, was zur Beibehaltung der H geführt hätte. Statistik für SoziologInnen 19 Testtheorie Kritischer Bereich ausgedrückt in Anteilswert 1-α =,95 p c =,1494 α = 5,5..5.1.15.2.25 Statistik für SoziologInnen 2 Testtheorie 1
Zusammengesetzte Nullhypothese 15 5 1 p=,8 p=,99 p=,1 Es genügt den Grenzfall (p=,1) zu betrachten, um auf der sicheren Seite zu sein (α darf maximal 5% sein) p c =,1494..5.1.15.2.25 Statistik für SoziologInnen 21 Testtheorie Beispiel: Der Stimmenanteil einer Partei betrug bei der letzten Wahl 4%. Eine Umfrage unter n=6 Wahlberechtigten soll zeigen, ob sich der Anteil der Partei verändert hat. H : π =,4 H 1 : π,4 (zweiseitige Alternative) Irrtumswahrscheinlichkeit α =,5 Signifikanzniveau 1-α α =95,95 Prüfgröße: Z = p π p π = σ p π( 1 π) n Statistik für SoziologInnen 22 Testtheorie 11
Beispiel: Kritischer Bereich: [-,-1,96] [1,96,+ ] Annahmebereich: [-1,96,+1,96] Alternative Angabe des Kritischen Bereichs entspricht dem Schwankungsintervall bei Gültigkeit von H : π( 1 π) 4, 6, σ p = = =, 4 =, 2 n 6 π( 1 π) pc = π + zc =, 4 ± 1, 96, 2 =, 4 ±, 392 n [, 368;, 4392] Annahmebereich in Anteilen [ 217; 263] Annahmebereich in Anzahl Statistik für SoziologInnen 23 Testtheorie Beispiel: Durchführen der Befragung ergibt: n=6 x=261 p=,435 43,5% Teststatistik: Z = p π p π = σ p π( 1 π) n, 435, 4 = = 175, 2, Entscheidung: Beibehaltung der Nullhypothese Aufgrund des Stichprobenergebnisses kann, die Nullhypothese π=,4 mit einer Irrtumswahrscheinlichkeit von α=,5 nicht abgelehnt werden. Statistik für SoziologInnen 24 Testtheorie 12
Einseitige Formulierung der Fragestellung Wir wollen nachweisen", dass der Stimmenanteil gewachsen ist: H : π,4 H 1 : π >,4 (einseitige Alternative) Irrtumswahrscheinlichkeit α =,5 Signifikanzniveau 1-α =,95 Prüfgröße unverändert Annahmebereich: [-,+1,645] bzw. Rückweisungsbereich in Anteilen ausgedrückt,4+1,645*,2==> [43,29%; 1%] Im Beispiel: ==> signifikantes Ergebnis bei α=,5 Statistik für SoziologInnen 25 Testtheorie Einseitige versus Zweiseitige Hypothesen Offensichtlich sind einseitige Fragestellungen trennschärfer als zweiseitige Bei einseitiger Hypothese geht Richtung der vermuteten Abweichung in die Testprozedur als zusätzliche Annahme ein Festlegen der Hypothesen muss daher vor der Durchführung der Untersuchung festgelegt werden Eine nachträgliche datengesteuerte Spezifikation verfälscht das Signifikanzniveau Statistik für SoziologInnen 26 Testtheorie 13
,5-4 -3-2 -1 1 2 3 4 Oben: Zweiseitiger Test liefert kein signifikantes Ergebnis,5-4 -3-2 -1 1 2 3 4 Unten: Einseitiger Test liefert signifikantes Ergebnis Statistik für SoziologInnen 27 Testtheorie Schematische Vorgangsweise Vor der Da Festlegen einer Prüfgröße (Stichprobenfunktion) Aufstellen von Null- und Alternativhypothese Festlegen des Signifikanzniveaus Festlegen einer Prüfgröße (Stichprobenfunktion) atenerhebung Bestimmen der Testverteilung bei Gültigkeit der Nullhypothese Ermittlung des kritischen Bereichs (Ablehnungsbereich) Berechnung der Prüfgröße Nach Entscheidung & Interpretation Statistik für SoziologInnen 28 Testtheorie 14
Empirisches Signifikanzniveau (p-value) Das empirische Signifikanzniveau ist jene Wahrscheinlichkeit α*, mit der die Prüfgröße einen Wert T annimmt, der unter H genauso oder noch unplausibler ist als der beobachtete Wert t*. Wert der Teststatistik im Beispiel: z=1,75 Bei einseitiger Fragestellung: P(Z>1,75) =? ==> 1-Φ(1,75)=1-,959=,41 Häufige Schreibweise für das empirische Signifikanzniveau: p-value=,41 Die Nullhypothese ist bei vorgegebenen α immer dann abzulehnen, wenn der p-value kleiner als das gewählte α ist. Statistik für SoziologInnen 29 Testtheorie Der kritische Bereich.1.2.3.4 1-α =,95 Beobachteter Wert Z =1,75 p-value =,41 Fläche rechts vom Testwert α =,5. Annahmebereich -2 2 1,645 krit. Bereich Statistik für SoziologInnen 3 Testtheorie 15
Empirisches Signifikanzniveau Der p-value ist eine deskriptive Zusatzinformation, die angibt, wie weit liegt die Teststatistik im Ablehnungsbereich bzw. wie weit ist sie vom kritischen Bereich entfernt. Der p-value kann für eine objektive Entscheidungsfindung nicht die a priori Wahl des Signifikanzniveaus ersetzen. Die datengesteuerte Wahl des Signifikanzniveaus verändert den Fehler 2.Art Statistik für SoziologInnen 31 Testtheorie 16