Stochastik III. Vorlesungsskript. Prof. Dr. Evgeny Spodarev

Transkript

1 Stochastik III Vorlesungsskript Prof. Dr. Evgeny Spodarev Ulm 2015

2 Inhaltsverzeichnis 1 Tests statistischer Hypothesen Allgemeine Philosophie des Testens Nichtrandomisierte Tests Parametrische Signifikanztests Randomisierte Tests Grundlagen Neyman-Pearson-Tests bei einfachen Hypothesen Einseitige Neyman-Pearson-Tests Unverfälschte zweiseitige Tests Anpassungstests χ 2 -Anpassungstest χ 2 -Anpassungstest von Pearson-Fisher Anpassungstest von Shapiro Weitere, nicht parametrische Tests Binomialtest Iterationstests auf Zufälligkeit Lineare Regression Multivariate Normalverteilung Eigenschaften der multivariaten Normalverteilung Lineare und quadratische Formen von normalverteilten Zufallsvariablen Multivariate lineare Regressionsmodelle mit vollem Rang Methode der kleinsten Quadrate Schätzer der Varianz σ Maximum-Likelihood-Schätzer für β und σ Tests für Regressionsparameter Konfidenzbereiche Multivariate lineare Regression mit RangX < m Verallgemeinerte Inverse MKQ-Schätzer für β Erwartungstreu schätzbare Funktionen Normalverteilte Störgrößen Hypothesentests Konfidenzbereiche Einführung in die Varianzanalyse i

3 Inhaltsverzeichnis 1 3 Verallgemeinerte lineare Modelle Exponentialfamilie von Verteilungen Linkfunktion Maximum-Likelihood-Schätzung von β Asymptotische Tests für β Kriterien zur Modellwahl bzw. Modellanpassung Hauptkomponentenanalyse Einführung Hauptkomponentenanalyse auf Modellebene Hauptkomponentenanalyse auf Datenebene Asymptotische Verteilung von HK bei normalverteilten Stichproben Ausreißererkennung Hauptkomponentenanalyse und Regression Numerische Berechnung der Hauptkomponenten Literatur 151

4 Vorwort Dieses Skript entstand aus dem Zyklus der Vorlesungen über Statistik, die ich in den Jahren an der Universität Ulm gehalten habe. Dabei handelt es sich um die aufbauende Vorlesung Stochastik III, die auf der Vorlesung Stochastik I basiert. Ich möchte gerne meinen Kollegen aus dem Institut für Stochastik, Herrn Prof. Volker Schmidt und Herrn Dipl.-Math. Malte Spiess, für ihre Unterstützung und anregenden Diskussionen während der Entstehung des Skriptes danken. Herr Marco Baur hat eine hervorragende Arbeit beim Tippen des Skriptes und bei der Erstellung zahlreicher Abbildungen, die den Text begleiten, geleistet. Dafür gilt ihm mein herzlicher Dank. Ulm, den Evgeny Spodarev 2

5 1 Tests statistischer Hypothesen In der Vorlesung Stochastik I haben wir schon Beispiele von statistischen Tests kennengelernt, wie etwa den Kolmogorow-Smirnow-Test vergleiche Bemerkung , 3, Skript Stochastik I. Jetzt sollen statistische Signifikanztests formal eingeführt und ihre Eigenschaften untersucht werden. 1.1 Allgemeine Philosophie des Testens Es sei eine Zufallsstichprobe X 1,..., X n von unabhängigen, identisch verteilten Zufallsvariablen X i gegeben, mit Verteilungsfunktion F Λ, wobei Λ eine Klasse von Verteilungsfunktionen ist. Es sei x 1,..., x n eine konkrete Stichprobe, die als Realisierung von X 1,..., X n interpretiert wird. In der Theorie des statistischen Testens werden Hypothesen über die Beschaffenheit der unbekannten Verteilungsfunktion F gestellt und geprüft. Dabei unterscheidet man parametrische Tests falls Λ = {F θ, θ Θ}, wobei Θ R m ist. Statistische Tests nichtparametrische Tests sonst. Bei parametrischen Tests prüft man, ob der Parameter θ bestimmte Werte annimmt zum Beispiel θ = 0. Bekannte Beispiele von nichtparametrischen Tests sind Anpassungstests, bei denen man prüft, ob die Verteilungsfunktion F gleich einer vorgegebenen Funktion F 0 ist. Formalisieren wir zunächst den Begriff Hypothese. Die Menge Λ von zulässigen Verteilungsfunktionen F wird in zwei disjunkte Teilmengen Λ 0 und Λ 1 zerlegt, Λ 0 Λ 1 = Λ. Die Aussage Man testet die Haupthypothese H 0 : F Λ 0 gegen die Alternative H 1 : F Λ 1, bedeutet, daß man an Hand der konkreten Stichprobe x 1,..., x n versucht, eine Entscheidung zu fällen, ob die Verteilungsfunktion der Zufallsvariable X i zu Λ 0 oder zu Λ 1 gehört. Dies passiert auf Grund einer statistischen Entscheidungsregel ϕ : R n [0, 1], 3

6 4 1 Tests statistischer Hypothesen die eine Statistik mit folgender Interpretation ist: Der Stichprobenraum R n wird in drei disjunkte Bereiche K 0, K 01 und K 1 unterteilt, sodaß R n = K 0 K 01 K 1, wobei K 0 = ϕ 1 {0} = {x R n : ϕx = 0}, K 1 = ϕ 1 {1} = {x R n : ϕx = 1}, K 01 = ϕ 1 0, 1 = {x R n : 0 < ϕx < 1}. Dementsprechend wird H 0 : F Λ 0 verworfen, falls ϕx = 1, also x K 1, nicht verworfen, falls ϕx = 0, also x K 0 ; falls ϕx 0, 1, also x K 01, wird ϕx als Bernoulli-Wahrscheinlichkeit interpretiert, und es wird eine Zufallsvariable Y Bernoulliϕx generiert, für die gilt: { 1 = H0 wird verworfen Y = 0 = H 0 wird nicht verworfen Falls K 01, wird eine solche Entscheidungsregel randomisiert genannt. Bei K 01 =, also R n = K 0 K 1 spricht man dagegen von nicht-randomisierten Tests. Dabei heißt K 0 bzw. K 1 Annahmebereich bzw. Ablehnungsbereich kritischer Bereich von H 0. K 01 heißt Randomisierungsbereich. Bemerkung Man sagt absichtlich H 0 wird nicht verworfen, statt H 0 wird akzeptiert, weil die schließende Statistik generell keine positiven, sondern nur negative Entscheidungen treffen kann. Dies ist generell ein philosophisches Problem der Falsifizierbarkeit von Hypothesen oder wissenschaftlichen Theorien, von denen aber keiner behaupten kann, daß sie der Wahrheit entsprechen vergleiche die wissenschaftliche Erkenntnistheorie von Karl Popper Die randomisierten Tests sind hauptsächlich von theoretischem Interesse vergleiche Abschnitt 2.3. In der Praxis werden meistens nichtrandomisierte Regeln verwendet, bei denen man aus der Stichprobe x 1,..., x n allein die Entscheidung über H 0 treffen kann. Hier gilt ϕx = I K1, x = x 1,..., x n R n. In diesem und in folgendem Abschnitt betrachten wir ausschließlich nichtrandomisierte Tests, um in Abschnitt 2.3 zu der allgemeinen Situation zurückzukehren. Definition Man sagt, daß die nicht-randomisierte Testregel ϕ : R n {0, 1} einen nichtrandomisierten statistischen Test zum Signifikanzniveau α angibt, falls für F Λ 0 gilt P F ϕx 1,..., X n = 1 = P H 0 verwerfen H 0 richtig α.

7 1 Tests statistischer Hypothesen 5 Definition Wenn man H 0 verwirft, obwohl H 0 richtig ist, begeht man den sogenannten Fehler 1. Art. Die Wahrscheinlichkeit α n F = P F ϕx 1,..., x n = 1, F Λ 0 heißt die Wahrscheinlichkeit des Fehlers 1. Art und soll unter dem Niveau α bleiben. 2. Den Fehler 2. Art begeht man, wenn man die falsche Hypothese H 0 nicht verwirft. Dabei ist β n F = P F ϕx 1,..., x n = 0, F Λ 1 die Wahrscheinlichkeit des Fehlers 2. Art. Eine Zusammenfassung aller Möglichkeiten wird in folgender Tabelle festgehalten: H 0 verwerfen H 0 nicht verwerfen H 0 richtig Fehler 1. Art, Wahrscheinlichkeit α n F α richtige Entscheidung H 0 falsch richtige Entscheidung Fehler 2. Art mit Wahrscheinlichkeit β n F Dabei sollen α n und β n möglichst klein sein, was gegenläufige Tendenzen darstellt, weil beim Kleinwerden von α die Wahrscheinlichkeit des Fehlers 2. Art notwendigerweise wächst. Definition Die Funktion G n F = P F ϕx 1,..., X n = 1, F Λ heißt Gütefunktion eines Tests ϕ. 2. Die Einschränkung von G n auf Λ 1 heißt Stärke, Schärfe oder Macht englisch power des Tests ϕ. Es gilt { Gn F = α n F α, F Λ 0 G n F = 1 β n F, F Λ 1 Beispiel Parametrische Tests. Wie sieht ein parametrischer Test aus? Der Parameterraum Θ wird als Θ 0 Θ 1 dargestellt, wobei Θ 0 Θ 1 =. Es gilt Λ 0 = {F θ : θ Θ 0 }, Λ 1 = {F θ : θ Θ 1 }. P F wird zu P θ, α n, G n und β n werden statt auf Λ auf Θ definiert. Welche Hypothesen H 0 und H 1 kommen oft bei parametrischen Tests vor? Zur Einfachheit betrachten wir den Spezialfall Θ = R. 1. H 0 : θ = θ 0 vs. H 1 : θ θ 0

8 6 1 Tests statistischer Hypothesen 2. H 0 : θ θ 0 vs. H 1 : θ < θ 0 3. H 0 : θ θ 0 vs. H 1 : θ > θ 0 4. H 0 : θ [a, b] vs. H 1 : θ / [a, b] Im Fall 1 heißt der parametrische Test zweiseitig, in den Fällen 2 und 3 einseitig rechts- bzw. linksseitig. In Fall 4 spricht man von der Intervallhypothese H 0. Bei einem zweiseitigen bzw. einseitigen Test kann die Gütefunktion wie in Abbildung 1.1 a bzw. 1.1 b aussehen, Abbildung 1.1: Gütefunktion a eines zweiseitigen Tests b eines einseitigen Tests Bei einem allgemeinen nicht notwendigerweise parametrischen Modell kann man die ideale Gütefunktion wie in Abbildung 1.2 schematisch darstellen. Abbildung 1.2: Schematische Darstellung der idealen Gütefunktion Man sieht aus Definition 1.1.2, dem Fehler 1. und 2. Art und der Ablehnungsregel, daß die Hypothesen H 0 und H 1 nicht symmetrisch behandelt werden, denn nur die

9 1 Tests statistischer Hypothesen 7 Wahrscheinlichkeit des Fehlers 1. Art wird kontrolliert. Dies ist der Grund dafür, daß Statistiker die eigentlich interessierende Hypothese nicht als H 0, sondern als H 1 formulieren, damit, wenn man sich für H 1 entscheidet, man mit Sicherheit sagen kann, daß die Wahrscheinlichkeit der Fehlentscheidung unter dem Niveau α liegt. Wie wird ein statistischer, nicht randomisierter Test praktisch konstruiert? Die Konstruktion der Ablehnungsregel ϕ ähnelt sich sehr der von Konfidenzintervallen: 1. Finde eine Teststatistik T : R n R, die unter H 0 eine möglicherweise asymptotisch für n bestimmte Prüfverteilung hat. 2. Definiere B 0 = [t α1, t 1 α2 ], wobei t α1 und t 1 α2 Quantile der Prüfverteilung von T sind, α 1 + α 2 = α [0, 1]. 3. Falls T X 1,..., X n R \ B 0 = B 1, setze ϕx 1,..., X n = 1. H 0 wird verworfen. Ansonsten setze ϕx 1,..., X n = 0. Falls die Verteilung von T nur asymptotisch bestimmt werden kann, so heißt ϕ asymptotischer Test. Sehr oft aber ist auch die asymptotische Verteilung von T nicht bekannt. Dann verwendet man sogenannte Monte-Carlo Tests, in denen dann Quantile t α näherungsweise aus sehr vielen Monte-Carlo-Simulationen von T unter H 0 bestimmt werden: Falls t i, i = 1,..., m die Werte von T in m unabhängigen Simulationsvorgängen sind, das heißt t i = T x i 1,..., xi n, x i j sind unabhängige Realisierungen von X j F Λ 0, j = 1,..., n, i = 1,..., m dann bildet man ihre Ordnungsstatistiken t 1,..., t m und setzt t α t α m, α [0, 1], wobei t 0 =. Bemerkung Man sieht deutlich, daß aus einem beliebigen Konfidenzintervall [ ] I θ = I1X θ 1,..., X n, I2X θ 1,..., X n zum Niveau 1 α für einen Parameter θ R ein Test für θ konstruierbar ist. Die Hypothese H 0 : θ = θ 0 vs. H 1 : θ θ 0 wird mit folgender Entscheidungsregel getestet: [ ] ϕx 1,..., X n = 1, falls θ 0 I θ 0 1 X 1,..., X n, I θ 0 2 X 1,..., X n. Das Signifikanzniveau des Tests ist α. Beispiel Normalverteilung, Test des Erwartungswertes bei bekannter Varianz. Es seien X 1,..., X n Nµ, σ 2 mit bekannter Varianz σ 2. Ein Konfidenzintervall für µ ist [ I µ = [I µ 1 X 1,..., X n, I µ 2 X 1,..., X n ] = X n z 1 α/2 σ, X n + z ] 1 α/2 σ n n

10 8 1 Tests statistischer Hypothesen vergleiche Stochastik I, H 0 wird verworfen, falls µ 0 X n > z 1 α/2 σ n. In der Testsprache bedeutet es, dass ϕx 1,..., x n = I x 1,... x n K 1, wobei K 1 = { x 1,..., x n R n : µ 0 x n > σz } 1 α/2 n der Ablehnungsbereich ist. Für die Teststatistik T X 1,..., X n gilt: T X 1,..., X n = X n µ 0 n N0, 1 unter H0, σ α n µ = α. Berechnen wir nun die Gütefunktion vergleiche Abbildung 1.3. G n µ = P µ µ 0 X n > z 1 α/2 = 1 P µ X n µ 0 σz 1 α/2 n n X n µ = 1 P µ n σ = 1 P µ + µ µ 0 n z σ 1 α/2 z 1 α/2 µ µ 0 X n µ n n z σ σ 1 α/2 µ µ 0 n σ = 1 Φ z 1 α/2 µ µ 0 n + Φ z σ 1 α/2 µ µ 0 n σ = Φ z 1 α/2 + µ µ 0 n + Φ z σ 1 α/2 µ µ 0 n. σ Abbildung 1.3: Gütefunktion für den zweiseitigen Test des Erwartungswertes einer Normalverteilung bei bekannter Varianz Die Ja-Nein - Entscheidung des Testens wird oft als zu grob empfunden. Deswegen versucht man, ein feineres Maß der Verträglichkeit der Daten mit den Hypothesen H 0 und H 1 zu bestimmen. Dies ist der sogenannte p-wert, der von den meisten Statistik- Softwarepaketen ausgegeben wird.

11 1 Tests statistischer Hypothesen 9 Definition Es sei x 1,..., x n die konkrete Stichprobe von Daten, die als Realisierung von X 1,..., X n interpretiert wird und T X 1,..., X n die Teststatistik, mit deren Hilfe die Entscheidungsregel ϕ konstruiert wurde. Der p-wert des statistischen Tests ϕ ist das kleinste Signifikanzniveau, zu dem der Wert t = T x 1,..., x n zur Verwerfung der Hypothese H 0 führt. Im Beispiel eines einseitigen Tests mit H 0 : θ = θ 0 mit dem Ablehnungsbereich B 1 = t, sagt man grob, daß p = P T X 1,..., X n t H 0, wobei die Anführungszeichen bedeuten, daß dies keine klassische, sondern eine bedingte Wahrscheinlichkeit ist, die später präzise angegeben wird. Bei der Verwendung des p-wertes verändert sich die Ablehnungsregel: die Hypothese H 0 : θ = θ 0 wird zum Signifikanzniveau α abgelehnt, falls α p. Früher hat man die Signifikanz der Testentscheidung Ablehnung von H 0 an Hand folgender Tabelle festgesetzt: p-wert Interpretation p 0, 001 sehr stark signifikant 0, 001 < p 0, 01 stark signifikant 0, 01 < p 0, 05 schwach signifikant 0, 05 < p nicht signifikant Da aber heute der p-wert an sich verwendet werden kann, kann der Anwender der Tests bei vorgegebenem p-wert selbst entscheiden, zu welchem Niveau er seine Tests durchführen will. Bemerkung Das Signifikanzniveau darf nicht in Abhängigkeit von p festgelegt werden. Dies würde die allgemeine Testphilosophie zerstören! 2. Der p-wert ist keine Wahrscheinlichkeit, sondern eine Zufallsvariable, denn er hängt von X 1,..., X n ab. Der Ausdruck p = P T X 1,..., X n t H 0, der in Definition für den p-wert eines einseitigen Tests mit Teststatistik T gegeben wurde, soll demnach als Überschreitungswahrscheinlichkeit interpretiert werden, daß bei Wiederholung des Zufallsexperiments unter H 0 : θ = θ 0 der Wert t = T x 1,..., x n oder extremere Werte in Richtung der Hypothese H 1 betrachtet werden: p = P T X 1,..., X n T x 1,..., x n H 0, wobei X 1,..., X n d = X 1,..., X n. Falls wir von einer konkreten Realisierung x 1,..., x n zur Zufallsstichprobe X 1,..., X n übergehen, erhalten wir p = px 1,..., X n = P T X 1,..., X n T X 1,..., X n H 0 3. Für andere Hypothesen H 1 wird der p-wert auch eine andere Form haben. Zum Beispiel für

12 10 1 Tests statistischer Hypothesen a einen symmetrischen zweiseitigen Test ist B 0 = [ ] t 1 α/2, t 1 α/2 der Akzeptanzbereich für H 0. p = P T X 1,..., X n t H 0, t = T X1,... X n b einen rechtsseitigen Test mit B 0 = [t α, ] gilt p = P T X 1,..., X n t H 0, t = T X 1,..., X n c Das Verhalten des p-wertes kann folgendermaßen untersucht werden: Lemma Falls die Verteilungsfunktion F von X i stetig und streng monoton steigend ist die Verteilung von T ist absolut stetig mit zum Beispiel stetiger Dichte, dann ist p U[0, 1]. Beweis. Wir zeigen es am speziellen Beispiel des rechtsseitigen Tests. P p α H 0 = P F T T X 1,..., X n α H 0 = P F T T X 1,..., X n 1 α H 0 = P U 1 α = 1 1 α = α, α [0, 1], da F T T X 1,..., X n d = U U[0, 1] und F T absolut stetig ist. Übung Zeigen Sie, daß für eine beliebige Zufallsvariable X mit absolut stetiger Verteilung und streng monoton steigender Verteilungsfunktion F X gilt: F X X U[0, 1] Falls die Verteilung von T diskret ist, mit dem Wertebereich {t 1,..., t n }, t i < t j für i < j, so ist auch die Verteilung von p diskret, somit gilt nicht p U[0, 1]. In diesem Fall ist F T x eine Treppenfunktion, die die Gerade y = u in den Punkten u = k PT X 1,..., X n = t i, k = 1,..., n berührt vgl. Abbildung Falls die Macht G n eines Tests ϕ zum Niveau α die Unglei- Definition chung G n F α, F Λ 1 erfüllt, dann heißt der Test unverfälscht.

13 1 Tests statistischer Hypothesen 11 Abbildung 1.4: Verteilung von p für diskrete T 2. Es seien ϕ und ϕ zwei Tests zum Niveau α mit Gütefunktionen G n und G n. Man sagt, daß der Test ϕ besser als ϕ ist, falls er eine größere Macht besitzt: G n F G nf F Λ 1 3. Der Test ϕ heißt konsistent, falls G n F n 1 für alle F Λ 1. Bemerkung Die einseitigen Tests haben oft eine größere Macht als ihre zweiseitigen Versionen. Beispiel Betrachten wir zum Beispiel den Gauß-Test des Erwartungswertes der Normalverteilung bei bekannter Varianz. Beim zweiseitigen Test H 0 : µ = µ 0 vs. H 1 : µ µ 0. erhalten wir die Gütefunktion G n µ = Φ z 1 α/2 + n µ µ 0 + Φ z σ 1 α/2 n µ µ 0. σ Beim einseitigen Test ϕ der Hypothesen ist seine Gütefunktion gleich H 0 : µ µ 0 vs. H 1 : µ > µ 0 G nµ = Φ z 1 α + n µ µ 0 σ Beide Tests sind offensichtlich konsistent, denn G n µ 1, G n nµ 1. Dabei n ist ϕ besser als ϕ. Beide Tests sind unverfälscht vergleiche Abbildung 1.5.

14 12 1 Tests statistischer Hypothesen Abbildung 1.5: Gütefunktionen eines ein- bzw. zweiseitigen Tests der Erwartungswertes einer Normalverteilung 2. Beim Testen einer Intervallhypothese H 0 : θ [a, b] vs. H 1 : θ / [a, b] zum Niveau α kann man wie folgt vorgehen: Teste a H a 0 : θ a vs. Ha 1 : θ < a zum Niveau α/2. b H0 b : θ b vs. Hb 1 : θ > b zum Niveau α/2. H 0 wird nicht abgelehnt, falls H0 a und Hb 0 nicht abgelehnt werden. Die Wahrscheinlichkeit des Fehlers 1. Art ist hier α. Die Macht dieses Tests ist im Allgemeinen schlecht. 3. Je mehr Parameter für den Aufbau der Teststatistik T geschätzt werden müssen, desto kleiner wird in der Regel die Macht. 1.2 Nichtrandomisierte Tests Parametrische Signifikanztests In diesem Abschnitt geben wir Beispiele einiger Tests, die meistens aus den entsprechenden Konfidenzintervallen für die Parameter von Verteilungen entstehen. Deshalb werden wir sie nur kurz behandeln. 1. Tests für die Parameter der Normalverteilung Nµ, σ 2 a Test von µ bei unbekannter Varianz Hypothesen: H 0 : µ = µ 0 vs. H 1 : µ µ 0.

15 1 Tests statistischer Hypothesen 13 Teststatistik: Entscheidungsregel: T X 1,..., X n = X n µ 0 S n t n 1 H 0 ϕx 1,..., X n = 1, falls T X 1,..., X n > t n 1,1 α/2. b Test von σ 2 bei bekanntem µ Hypothesen: H 0 : σ 2 = σ 2 0 vs. H 1 : σ 2 σ 2 0. Teststatistik: T X 1,..., X n = n S 2 n σ 2 0 χ 2 n H 0 mit S 2 n = 1 n X i µ 2. Entscheidungsregel: ϕx 1,..., X n = 1, falls T X 1,..., X n / Gütefunktion: [ ] χ 2 n,α/2, χ2 n,1 α/2. G n σ 2 = 1 P σ 2 χ 2 n,α/2 n S n 2 σ0 2 χ 2 n,1 α/2 χ 2 n,α/2 σ0 2 = 1 P σ 2 σ 2 n S n 2 σ 2 χ2 n,1 α/2 σ2 0 σ 2 = 1 F χ 2 n χ 2 σ 2 0 n,1 α/2 + F χ χ 2 σ 2 0 2n n,α/2 c Test von σ 2 bei unbekanntem µ σ 2 Hypothesen: H 0 : σ 2 = σ 2 0 vs. H 1 : σ 2 σ 2 0. Teststatistik: σ 2 T X 1,..., X n = n 1S2 n σ 2 0 χ 2 n 1 H 0, wobei S 2 n = 1 n 1 2. Xi X n Entscheidungsregel: ϕx 1,..., X n = 1, falls T X 1,..., X n / [ ] χ 2 n 1,α/2, χ2 n 1,1 α/2.

16 14 1 Tests statistischer Hypothesen Übung i Finden Sie G n für die einseitige Version der obigen Tests. ii Zeigen Sie, daß diese einseitigen Tests unverfälscht sind, die zweiseitigen aber nicht. 2. Asymptotische Tests Bei asymptotischen Tests ist die Verteilung der Teststatistik nur näherungsweise für große n bekannt. Ebenso asymptotisch wird das Konfidenzniveau α erreicht. Ihre Konstruktion basiert meistens auf Verwendung der Grenzwertsätze. Die allgemeine Vorgehensweise wird im sogenannten Wald-Test genannt nach dem Statistiker Abraham Wald fixiert: Sei X 1,..., X n eine Zufallsstichprobe, X i seien unabhängig und identisch verteilt für i = 1,..., n, mit X i F θ, θ Θ R. Wir testen H 0 : θ = θ 0 vs. H 1 : θ θ 0. Es sei ˆθn = ˆθX 1,..., X n ein erwartungstreuer, asymptotisch normalverteilter Schätzer für θ. ˆθ n θ 0 ˆσ n d n Y N0, 1 H 0, wobei ˆσ 2 n ein konsistenter Schätzer für die Varianz von ˆθ n sei. Die Teststatistik ist T X 1,..., X n = ˆθ n X 1,..., X n θ 0 ˆσ n. Die Entscheidungsregel lautet: H 0 wird abgelehnt, wenn T X 1,..., X n > z 1 α/2, wobei z 1 α/2 = Φ 1 1 α/2. Diese Entscheidungsregel soll nur bei großen n verwendet werden. Die Wahrscheinlichkeit des Fehlers 1. Art ist asymptotisch gleich α, denn P T X 1,..., X n > z 1 α/2 H 0 α wegen n der asymptotischen Normalverteilung von T. Die Gütefunktion des Tests ist asymptotisch gleich lim G nθ = 1 Φ z 1 α/2 + θ 0 θ + Φ n σ z 1 α/2 + θ 0 θ σ wobei ˆσ n 2 P n σ2. Spezialfälle des Wald-Tests sind asymptotische Tests der Erwartungswerte bei einer Poisson- oder Bernoulliverteilten Stichprobe. Beispiel a Bernoulliverteilung Es seien X i Bernoullip, p [0, 1] unabhängige, identisch verteilte Zufallsvariablen.,

17 1 Tests statistischer Hypothesen 15 Hypothesen: H 0 : p = p 0 vs. H 1 : p p 0. Teststatistik: T X 1,..., X n = Unter H 0 gilt: T X 1,..., X n b Poissonverteilung { n X n p 0 X n1 X n, falls X n 0, 1, 0, sonst. d Y N0, 1. n Es seien X i Poissonλ, λ > 0 unabhängige, identisch verteilte Zufallsvariablen. Hypothesen: H 0 : λ = λ 0 vs. H 1 : λ λ 0 Teststatistik: T X 1,..., X n = { n X n λ 0 X n, falls X n > 0, 0, sonst. Unter H 0 gilt: T X 1,..., X n 3. Zwei-Stichproben-Probleme Gegeben seien zwei Zufallsstichproben d Y N0, 1 n Y 1 = X 11,..., X 1n1, Y 2 = X 21,..., X 2n2, n = max{n 1, n 2 }. X ij seien unabhängig für j = 1,..., n i, X ij F θi, i = 1, 2. a Test der Gleichheit zweier Erwartungswerte bei normalverteilten Stichproben bei bekannten Varianzen Es seien X ij Nµ i, σ 2 i, i = 1, 2, j = 1,..., n. Dabei seien σ2 1, σ2 2 bekannt, X ij seien unabhängig voneinander für alle i, j. Die Hypothesen sind H 0 : µ 1 = µ 2 vs. H 1 : µ 1 µ 2. Wir betrachten die Teststatistik: T Y 1, Y 2 = X 1n 1 X 2n2 σ 2 1 n 1 + σ2 2 n 2 Unter H 0 gilt: T Y 1, Y 2 N0, 1. Als Entscheidungsregel gilt: H 0 wird abgelehnt, falls T Y 1, Y 2 > z 1 α/2.

18 16 1 Tests statistischer Hypothesen bei unbekannten jedoch gleichen Varianzen Es seien X ij Nµ i, σ 2 i, i = 1, 2, j = 1,..., n. Dabei seien σ2 1, σ2 2 unbekannt, σ 2 1 = σ2 2 und X ij seien unabhängig voneinander für alle i, j. Die Hypothesen sind: H 0 : µ 1 = µ 2 vs. H 1 : µ 1 µ 2. Wir betrachten die Teststatistik T Y 1, Y 2 = X 1n 1 X 2n2 n1 n 2, S n1 n 2 n 1 + n 2 wobei S 2 n 1 n 2 = n 1 1 n 1 + n n 2 2 X1j X 1n1 + X2j X 2n2. j=1 j=1 Man kann zeigen, daß unter H 0 gilt: T Y 1, Y 2 t n1 +n 2 2. Die Entscheidungsregel lautet: H 0 ablehnen, falls T Y 1, Y 2 > t n1 +n 2 2,1 α/2. b Test der Gleichheit von Erwartungswerten bei verbundenen Stichproben Es seien Y 1 = X 11,..., X 1n und Y 2 = X 21,..., X 2n, n 1 = n 2 = n, Z j = X 1j X 2j Nµ 1 µ 2, σ 2, j = 1,..., n unabhängig und identisch verteilt mit µ i = E X ij, i = 1, 2. Die Hypothesen sind: H 0 : µ 1 = µ 2 vs. H 1 : µ 1 µ 2 bei unbekannter Varianz σ 2. Als Teststatistik verwenden wir wobei T Z 1,..., Z n = n Z n S n, S 2 n = 1 n 1 2 Zj Z n. j=1 Unter H 0 gilt dann: T Z 1,..., Z n t n 1. Die Entscheidungsregel lautet: H 0 wird abgelehnt, falls T z 1,..., z n > t n 1,1 α/2. c Test der Gleichheit von Varianzen bei unabhängigen Gaußschen Stichproben Es seien Y 1 = X 11,..., X 1n1 und Y 2 = X 21,..., X 2n2 unabhängig und identisch verteilt mit X ij Nµ i, σi 2, wobei µ i und σi 2 beide unbekannt sind. Die Hypothesen sind: H 0 : σ1 2 = σ2 2 vs. H 1 : σ1 2 σ2 2. Als Teststatistik verwenden wir T Y 1, Y 2 = S2 2n 2 S 2 1n 1,

19 1 Tests statistischer Hypothesen 17 wobei S 2 in i = 1 n i 1 2 Xij X ini, i = 1, 2. j=1 Unter H 0 gilt: T Y 1, Y 2 F n2 1,n 1 1. Die Entscheidungsregel lautet: H 0 wird abgelehnt, falls T Y 1, Y 2 / [ F n2 1,n 1 1,α/2, F n2 1,n 1 1,1 α/2]. d Asymptotische Zwei-Stichproben-Tests bei Bernoulli-verteilten Stichproben Es gilt X ij Bernoullip i, j = 1,..., n i, i = 1, 2. Die Hypothesen sind H 0 : p 1 = p 2 vs. H 1 : p 1 p 2. Als Teststatistik verwenden wir T Y 1, Y 2 = X 1n 1 X 2n2 1 IX 1n1 = o, X 2n2 = o X1n1 1 X 1n1 n 1 + X 2n 2 1 X 2n2 n 2 Unter H 0 gilt: T Y 1, Y 2 d n 1,n 2 Y N0, 1. Die Entscheidungsregel lautet: H 0 wird verworfen, falls T Y 1, Y 2 > z 1 α/2. Dies ist ein Test zum asymptotischen Signifikanzniveau α. bei Poisson-verteilten Stichproben Es seien X ij unabhängig, X ij Poissonλ i, i = 1, 2. Die Hypothesen sind: H 0 : λ 1 = λ 2 vs. H 1 : λ 1 λ 2. Als Teststatistik verwenden wir: T Y 1, Y 2 = X 1n 1 X 2n2 X1n1 n 1 + X 2n 2 n 2 Die Entscheidungsregel lautet: H 0 ablehnen, falls T Y 1, Y 2 > z 1 α/2. Dies ist ein Test zum asymptotischen Niveau α. Bemerkung Asymptotische Tests dürfen nur für große Stichprobenumfänge verwendet werden. Bei ihrer Verwendung für kleine Stichproben kann das asymptotische Signifikanzniveau nicht garantiert werden. 1.3 Randomisierte Tests In diesem Abschnitt werden wir klassische Ergebnisse von Neyman-Pearson über die besten Tests präsentieren. Dabei werden randomisierte Tests eine wichtige Rolle spielen Grundlagen Gegeben sei eine Zufallsstichprobe X 1,..., X n von unabhängigen und identisch verteilten Zufallsvariablen X i mit konkreter Ausprägung x 1,..., x n. Sei unser Stichprobenraum B, B entweder R n, B R n oder N n 0, B N n, je nachdem, ob die Stichprobenvariablen 0 X i, i = 1,..., n absolut stetig oder diskret verteilt sind.

20 18 1 Tests statistischer Hypothesen Hier wird zur Einfachheit im Falle einer diskret verteilten Zufallsvariable X i ihr diskreter Wertebereich mit N 0 = N {0} gleichgesetzt. Der Wertebereich sei mit einem Maß µ versehen, wobei { Lebesgue-Maß auf R, falls Xi als stetig verteilt µ = Zählmaß auf N 0, falls X i diskret verteilt. Dementsprechend gilt { gxµdx = R gxdx, x N 0 gx, im absolut stetigen Fall, im diskreten Fall. Es sei zusätzlich X i F θ, θ Θ R m, i = 1,..., n parametrisches Modell. Für Θ = Θ 0 Θ 1, Θ 0 Θ 1 = formulieren wir die Hypothesen H 0 : θ Θ 0 vs. H 1 : θ Θ 1, die mit Hilfe eines randomisierten Tests 1, x K 1, ϕx = γ 0, 1, x K 01 x = x 1,..., x n, 0, x K 0 getestet werden. Im Falle x K 01 wird mit Hilfe einer Zufallsvariable Y Bernoulliϕx entschieden, ob H 0 verworfen wird Y = 1 oder nicht Y = 0. Definition Die Gütefunktion eines randomisierten Tests ϕ sei G n θ = G n ϕ, θ = E θ ϕx 1,..., X n, θ Θ. 2. Der Test ϕ hat das Signifikanzniveau α [0, 1], falls G n ϕ, θ α, θ Θ 0 ist. Die Zahl sup G n ϕ, θ θ Θ 0 wird Umfang des Tests ϕ genannt. Offensichtlich ist der Umfang eines Niveau-α- Tests kleiner gleich α. 3. Sei Ψα die Menge aller Tests zum Niveau α. Der Test ϕ 1 Ψα ist gleichmäßig besser als Test ϕ 2 Ψα, falls G n ϕ 1, θ G n ϕ 2, θ, θ Θ 1, also falls ϕ 1 eine größere Macht besitzt. 4. Ein Test ϕ Ψα ist gleichmäßig bester Test in Ψα, falls G n ϕ, θ G n ϕ, θ, für alle Tests ϕ Ψα, θ Θ 1.

21 1 Tests statistischer Hypothesen 19 Bemerkung Definition ist eine offensichtliche Verallgemeinerung der Definition der Gütefunktion eines nicht-randomisierten Tests ϕ. Nämlich, für ϕx = Ix K 1 gilt: G n ϕ, θ = E θ ϕx 1,..., X n = P θ X 1,..., X n K 1 = P θ H 0 ablehnen, θ Θ. 2. Ein bester Test ϕ in Ψα existiert nicht immer, sondern nur unter gewissen Voraussetzungen an P θ, Θ 0, Θ 1 und Ψα Neyman-Pearson-Tests bei einfachen Hypothesen In diesem Abschnitt betrachten wir einfache Hypothesen H 0 : θ = θ 0 vs. H 1 : θ = θ wobei θ 0, θ 1 Θ, θ 1 θ 0. Dementsprechend sind Θ 0 = {θ 0 }, Θ 1 = {θ 1 }. Wir setzen voraus, daß F θi eine Dichte g i x bezüglich µ besitzt, i = 0, 1. Führen wir einige abkürzende Bezeichnungen P 0 = P θ0, P 1 = P θ1, E 0 = E θ0, E 1 = E θ1 ein. Sei f i x = n j=1 g ix j, x = x 1,..., x n, i = 0, 1 die Dichte der Stichprobe unter H 0 bzw. H 1. Definition Ein Neyman-Pearson-Test NP-Test der einfachen Hypothesen in ist gegeben durch die Regel für Konstanten K > 0 und γ [0, 1]. 1, falls f 1 x > Kf 0 x, ϕx = ϕ K x = γ, falls f 1 x = Kf 0 x, 0, falls f 1 x < Kf 0 x Bemerkung Manchmal werden K = Kx und γ = γx als Funktionen von x und nicht als Konstanten betrachtet. 2. Der Ablehnungsbereich des Neyman-Pearson-Tests ϕ K ist K 1 = {x B : f 1 x > Kf 0 x}. 3. Der Umfang des Neyman-Pearson-Tests ϕ K ist E 0 ϕ K X 1,..., X n = P 0 f1 X 1,..., X n > Kf 0 X 1,... X n + γp 0 f1 X 1,..., X n = Kf 0 X 1,..., X n

22 20 1 Tests statistischer Hypothesen 4. Die Definition kann man äquivalent folgendermaßen geben: Wir definieren eine Teststatistik { f1 x T x = f 0 x, x B : f 0x > 0,, x B : f 0 x = 0. Dann wird der neue Test 1, falls T x > K, ϕ K x = γ, falls T x = K, 0, falls T x < K eingeführt, der für P 0 - und P 1 - fast alle x B äquivalent zu ϕ k ist. In der Tat gilt ϕ K x = ϕ K x x B \ C, wobei C = {x B : f 0 x = f 1 x = 0} das P 0 - bzw. P 1 -Maß Null besitzt. In der neuen Formulierung ist der Umfang von ϕ bzw. ϕ K gleich E 0 ϕ K = P 0 T X 1,..., X n > K + γ P 0 T X 1,..., X n = K. Satz Optimalitätssatz Es sei ϕ K ein Neyman-Pearson-Test für ein K > 0 und γ [0, 1]. Dann ist ϕ K der beste Test zum Niveau α = E 0 ϕ K seines Umfangs. Beweis. Sei ϕ Ψα, also E 0 ϕx 1,..., X n α. Um zu zeigen, daß ϕ K besser als ϕ ist, genügt es bei einfachen Hypothesen H 0 und H 1 zu zeigen, daß E 1 ϕ K X 1,..., X n E 1 ϕx 1,..., X n. Wir führen dazu die folgenden Mengen ein: M + = {x B : ϕ K x > ϕx} M = {x B : ϕ K x < ϕx} M = = {x B : ϕ K x = ϕx} Es gilt offensichtlich x M + ϕ K x > 0 f 1 x Kf 0 x, x M ϕ K x < 1 f 1 x Kf 0 x und B = M + M M =. Als Folgerung erhalten wir E 1 ϕ K X 1,..., X n ϕx 1,..., X n = ϕ K x ϕxf 1 xµdx B = + + ϕ K x ϕxf 1 xµdx M+ M M = ϕ K x ϕxkf 0 xµdx M + + ϕ K x ϕxkf 0 xµdx M = ϕ K x ϕxkf 0 xµdx B = K [E 0 ϕ K X 1,..., X n E 0 ϕx 1,..., X n ] Kα α = 0,

23 1 Tests statistischer Hypothesen 21 weil beide Tests das Niveau α haben. Damit ist die Behauptung bewiesen. Bemerkung Da im Beweis γ nicht vorkommt, wird derselbe Beweis im Falle von γx const gelten. 2. Aus dem Beweis folgt die Gültigkeit der Ungleichung ϕ K x ϕx f 1 x Kf 0 x µdx 0 B im Falle des konstanten K, bzw. E 1 ϕ K X 1,..., X n ϕx 1,..., X n im allgemeinen Fall. Satz Fundamentallemma von Neyman-Pearson B ϕ K x ϕx Kxf 0 xµdx 1. Zu einem beliebigen α 0, 1 gibt es einen Neyman-Pearson-Test ϕ K mit Umfang α, der dann nach Satz der beste Niveau-α-Test ist. 2. Ist ϕ ebenfalls bester Test zum Niveau α, so gilt ϕx = ϕ K x für µ-fast alle x K 0 K 1 = {x B : f 1 x Kf 0 x} und ϕ K aus Teil 1. Beweis. 1. Für ϕ K x gilt 1, falls x K 1 = {x : f 1 x > K f 0 x}, ϕ K x = γ, falls x K 01 = {x : f 1 x = K f 0 x}, 0, falls x K 0 = {x : f 1 x < K f 0 x}. Der Umfang von ϕ K ist P 0 T X 1,..., X n > K + γp 0 T X 1,..., X n = K = α, wobei T x 1,..., x n = { f1 x 1,...,x n f 0 x 1,...,x, n falls f 0x 1,..., x n > 0,, sonst. Nun suchen wir ein K > 0 und ein γ [0, 1], sodaß Gleichung stimmt. Es sei F 0 x = P 0 T X 1,..., X n x, x R die Verteilungsfunktion von T. Da T 0 ist, gilt F 0 x = 0, falls x < 0. Außerdem ist P 0 T X 1,..., X n < = 1, das heißt F 1 α [0,, α 0, 1. Die Gleichung kann dann folgendermaßen umgeschrieben werden: 1 F 0 K + γ F0 K F 0 K = α, wobei F0 K = lim F 0 x. x K 0 1 Sei K = F 0 1 α, dann gilt:

24 22 1 Tests statistischer Hypothesen a Falls K ein Stetigkeitspunkt von F 0 ist, ist Gleichung erfüllt für alle γ [0, 1], zum Beispiel γ = 0. b Falls K kein Stetigkeitspunkt von F 0 ist, dann ist F 0 K F 0 K > 0, woraus folgt γ = α 1 + F 0 K F 0 K F 0 K es gibt einen Neyman-Pearson-Test zum Niveau α. 2. Wir definieren M = {x B : ϕx ϕ K x}. Es muss gezeigt werden, daß µ K 0 K 1 M = 0. Dazu betrachten wir E 1 ϕx 1,..., X n E 1 ϕ K X 1,..., X n = 0 E 0 ϕx 1,..., X n E 0 ϕ K X 1,..., X n 0 B B ϕ ϕ K f 1 K f 0 µdx 0. M K 0 K 1 ϕ und ϕ K sind beste Tests ϕ und ϕ K sind α-tests mit Umfang von ϕ K = α In Bemerkung wurde bewiesen, daß ϕ ϕ K f 1 K f 0 dµ 0 B ϕ ϕ K f 1 K f 0 dµ = 0 = ϕ ϕ K f 1 Kf 0 dµ. Es gilt µm K 0 K 1 = 0, falls der Integrand ϕ K ϕf 1 Kf 0 > 0 auf M ist. Wir zeigen, daß ϕ K ϕf 1 Kf 0 > 0 für x M ist. Es gilt f 1 Kf 0 > 0 ϕ K ϕ > 0, f 1 Kf 0 < 0 ϕ K ϕ < 0, weil f 1 x > Kf 0 x ϕ K x = 1 und mit ϕx < 1 ϕ K x ϕx > 0 auf M. f 1 x < Kf 0 x ϕ K x = 0 und mit ϕx > 0 ϕ K x ϕx < 0 auf M.

25 1 Tests statistischer Hypothesen 23 Daraus folgt die Gültigkeit der Ungleichung und somit µ K 0 K 1 M = 0. Bemerkung Falls ϕ und ϕ K beste α-neyman-pearson-tests sind, dann sind sie P 0 - bzw. P 1 - fast sicher gleich. Beispiel Neyman-Pearson-Test für den Parameter der Poissonverteilung. Es sei X 1,..., X n eine Zufallsstichprobe mit X i Poissonλ, λ > 0, wobei X i unabhängig und identisch verteilt sind für i = 1,..., n. Wir testen die Hypothesen H 0 : λ = λ 0 vs. H 1 : λ = λ 1. Dabei ist g i x = e λ i λx i x!, x N 0, i = 0, 1, f i x = f i x 1,..., x n = n g i x j = j=1 n j=1 für i = 0, 1. Die Neyman-Pearson-Teststatistik ist n e λ λx j j=1 i i x j! = λ x j i e nλi x 1!... x n! T x 1,..., x n = { f1 x f 0 x = n e nλ 1 λ 0 λ 1/λ 0 j=1 x j, falls x 1,..., x n N 0,, sonst.. Die Neyman-Pearson-Entscheidungsregel lautet 1, falls T x 1,..., x n > K, ϕ K x 1,..., x n = γ, falls T x 1,..., x n = K, 0, falls T x 1,..., x n < K. Wir wählen K > 0, γ [0, 1], sodaß ϕ K den Umfang α hat. Dazu lösen wir bezüglich γ und K auf. α = P 0 T X 1,..., X n > K + γp 0 T X 1,..., X n = K P 0 T X 1,..., X n > K = P 0 log T X 1,..., X n > log K λ1 = P 0 nλ 1 λ 0 + X j log > log K j=1 log K + n λ 1 λ 0 wobei A := log λ, 1 λ 0 λ 0 = P 0 X j > A falls zum Beispiel λ 1 > λ 0. Im Falle λ 1 < λ 0 ändert sich das > auf < in der Wahrscheinlichkeit. j=1

26 24 1 Tests statistischer Hypothesen Wegen der Faltungsstabilität der Poissonverteilung ist unter H 0 X i Poissonnλ 0, j=1 n also wählen wir K als minimale, nichtnegative Zahl, für die gilt: P 0 j=1 X j > A α, und setzen γ = α P 0 n j=1 X j > A P 0 n j=1 X, j = A wobei P 0 P 0 X j > A = 1 j=1 A j=0 X j = A = e λ 0n λ 0n A. A! j=1 e λ 0n λ 0n j, j! Somit haben wir die Parameter K und γ gefunden und damit einen Neyman-Pearson-Test ϕ K konstruiert Einseitige Neyman-Pearson-Tests Bisher betrachteten wir Neyman-Pearson-Tests für einfache Hypothesen der Form H i : θ = θ i, i = 0, 1. In diesem Abschnitt wollen wir einseitige Neyman-Pearson-Tests einführen, für Hypothesen der Form H 0 : θ θ 0 vs. H 1 : θ > θ 0. Zunächst konstruieren wir einen Test für diese Hypothesen: Sei X 1,..., X n eine Zufallsstichprobe, X i seien unabhängig und identisch verteilt mit X i F θ Λ = {F θ : θ Θ}, wobei Θ R offen ist und Λ eindeutig parametrisiert, das heißt θ θ F θ F θ. Ferner besitze F θ eine Dichte g θ bezüglich des Lebesgue-Maßes bzw. Zählmaßes auf R bzw. N 0. Dann ist f θ x = n g θ x j, x = x 1,..., x n j=1 eine Dichte von X 1,..., X n bezüglich µ auf B.

27 1 Tests statistischer Hypothesen 25 Definition Eine Verteilung auf B mit Dichte f θ gehört zur Klasse von Verteilungen mit monotonen Dichtekoeffizienten in T, falls es für alle θ < θ eine Funktion h : R Θ 2 R, die monoton wachsend in t R ist und eine Statistik T : B R gibt, mit der Eigenschaft wobei f θ x f θ x = ht x, θ, θ, ht x, θ, θ = für alle x B : f θ x = 0, f θ x > 0. Der Fall f θ x = f θ x = 0 tritt mit P Θ - bzw. P Θ -Wahrscheinlichkeit 0 auf. Definition Es sei Q θ eine Verteilung auf B, B mit der Dichte f θ bzgl. µ. Q θ gehört zur einparametrischen Exponentialklasse θ Θ R offen, falls die Dichte folgende Form hat: f θ x = exp {cθ T x + aθ} lx, x = x 1,..., x n B, wobei cθ eine monoton steigende Funktion ist, und Var θ T X 1,..., X n > 0, θ Θ. Lemma Verteilungen aus der einparametrischen Exponentialfamilie besitzen einen monotonen Dichtekoeffizienten. Beweis. Es sei Q θ aus der einparametrischen Exponentialfamilie mit der Dichte Für θ < θ ist dann f θ x = exp {cθ T x + aθ} lx. f θ x f θ x = exp { cθ cθ T x + aθ aθ } monoton bezüglich T, weil cθ cθ > 0 wegen der Monotonie von cθ. Also besitzt f θ einen monotonen Dichtekoeffizienten. Beispiel Normalverteilte Stichprobenvariablen Es seien X i Nµ, σ0 2, i = 1,..., n, unabhängige, identisch verteile Zufallsvariablen, mit unbekanntem Parameter µ und bekannter Varianz σ0 2 Hier wird µ für die Bezeichnung des Erwartungswertes von X i und nicht des Maßes auf R n verwendet.

28 26 1 Tests statistischer Hypothesen wie früher. Die Dichte des Zufallsvektors X = X 1,..., X n ist gleich f µ x = n g µ x i = 1 = 2πσ0 2 1 = 2πσ0 2 = exp µ σ 2 0 n n/2 exp n/2 exp }{{} cµ { { 1 2πσ 2 0 e x i }{{} T x 1 2σ σ 2 0 x 2 i µ 2σ 0 2 } x i µ 2 x 2 i 2µ µ2 n 2σ0 2 }{{} aµ 1 2πσ 2 0 } x i + µ 2 n n/2 exp x 2 i 2σ0 2. } {{ } lx Also gehört Nµ, σ0 2 zur einparametrischen Exponentialklasse mit cµ = µ und σ0 2 T x = n x i. 2. Binomialverteilte Stichprobenvariablen Es seien X i Bink, p unabhängig und identisch verteilt, i = 1,..., n. Der Parameter p sei unbekannt. Die Zähldichte des Zufallsvektors X = X 1,..., X n ist f p x = P p X i = x i, i = 1,..., n n k = p x i 1 p k x i = p x i { = exp x i }{{} T x p log x i 1 p }{{} cp 1 p nk 1 p x i + nk log1 p }{{} ap also gehört Binn, p zur einparametrischen Exponentialklasse mit p cp = log 1 p n k } x i n k, x i } {{ } lx und T x = x i.

29 1 Tests statistischer Hypothesen 27 Lemma Falls ϕ K H 1 : θ = θ 1 ist, dann gilt: der Neyman-Pearson-Test der Hypothesen H 0 : θ = θ 0 vs. µ{x B : f 1 x Kf 0 x} > 0. }{{} K 0 K 1 Beweis. Wegen θ 0 θ 1 und der eindeutigen Parametrisierung gilt f 0 f 1 auf einer Menge mit µ-maß > 0. Nun sei µk 0 K 1 = 0. Daraus folgt, daß f 1 x = K f 0 x µ-fast sicher. Das heißt 1 = f 1 xdx = K f 0 xdx, B woraus folgt, daß K = 1 und f 1 x = f 0 x µ-fast sicher, was aber ein Widerspruch zur eindeutigen Parametrisierung ist. Im Folgenden sei X 1,..., X n eine Stichprobe von unabhängigen, identisch verteilten Zufallsvariablen mit X i Dichte g θ, i = 1,..., n und n X 1,..., X n Dichte f θ x = g θ x i aus der Klasse der Verteilungen mit monotonen Dichtekoeffizienten und einer Statistik T X 1,..., X n. Wir betrachten die Hypothesen H 0 : θ θ 0 vs. H 1 : θ > θ 0 und den Neyman-Pearson- Test: ϕ K x = B 1, falls T x > K, γ, falls T x = K, , falls T x < K für K R und γ [0, 1]. Die Gütefunktion von ϕ K bei θ 0 ist G n θ 0 = E 0 ϕ K = P 0 T X 1,..., X n > K + γ P 0 T X 1,..., X n = K Satz Falls α = E 0 ϕ K > 0, dann ist der soeben definierte Neyman-Pearson-Test ein bester Test der einseitigen Hypothesen H 0 vs. H 1 zum Niveau α. 2. Zu jedem Konfidenzniveau α 0, 1 gibt es ein K R und γ [0, 1], sodaß ϕ K ein bester Test zum Umfang α ist. 3. Die Gütefunktion G n θ von ϕ K θ ist monoton wachsend in θ. Falls 0 < G nθ < 1, dann ist sie sogar streng monoton wachsend. Beweis. 1. Wähle θ 1 > θ 0 und betrachte die einfachen Hypothesen H 0 : θ = θ 0 und H 1 : θ = θ 1. Sei 1, f 1 x > Kf 0 x, ϕ K x = γ, f 1 x = Kf 0 x, 0, f 1 x < Kf 0 x

30 28 1 Tests statistischer Hypothesen der Neyman-Pearson-Test für H 0, H 1 mit K > 0. Da f θ den monotonen Dichtekoeffizienten mit Statistik T besitzt, existiert ein K > 0, so dass { x : f 1 x/f 0 x > K < K f 1 x f 0 x = ht x, θ 0, θ 1, } { T x > K < K } mit K = hk, θ 0, θ 1. ϕ K ist ein bester Neyman-Pearson-Test zum Niveau α = E 0 ϕ K = E 0 ϕ K. Aus α > 0 folgt K <, denn aus K = würde folgen 0 < α = E 0 ϕ K P 0 f1 X 1,..., X n f 0 X 1,..., X n K = P 0 f 1 X 1,..., X n > 0, f 0 X 1,..., X n = 0 = I f 1 x > 0, f 0 x = 0 f 0 xµdx = 0. B Für den Test ϕ K aus gilt dann 1, falls f 1 x/f 0 x > K, ϕ K x = γ x, falls f 1 x/f 0 x = K, 0, falls f 1 x/f 0 x < K, P 0 f1 X 1,..., X n f 0 X 1,..., X n = wobei γ x {γ, 0, 1}. Daraus folgt, daß ϕ K ein bester Neyman-Pearson-Test ist für H 0 vs. H 1 vergleiche Bemerkung 1.3.2, 1. und Bemerkung für beliebige θ 1 > θ 0. Deshalb ist ϕ K ein bester Neyman-Pearson-Test für H 0 : θ = θ 0 vs. H 1 0 ist. Die selbe Behauptung erhalten wir aus dem Teil 3. des Satzes für H 0 : θ θ 0 vs. H 1 : θ > θ 0, weil dann G n θ G n θ 0 = α für alle θ < θ Siehe Beweis zu Satz 1.3.2, Wir müssen zeigen, daß G n θ monoton ist. Dazu wählen wir θ 1 < θ 2 und zeigen, daß α 1 = G n θ 1 G n θ 2. Wir betrachten die neuen, einfachen Hypothesen H 0 : θ = θ 1 vs. H 1 : θ = θ 2. Der Test ϕ K kann genauso wie in 1. als Neyman-Pearson- Test dargestellt werden für die Hypothesen H 0 und H 1, der ein bester Test zum Niveau α 1 ist. Betrachten wir einen weiteren konstanten Test ϕx = α 1. Dann ist α 1 = E θ2 ϕ E θ2 ϕ K = G nθ 2. Daraus folgt, daß G n θ 1 G n θ 2. Nun zeigen wir, daß für G n θ 0, 1 gilt: G n θ 1 < G n θ 2. Wir nehmen an, daß α 1 = G n θ 1 = G n θ 2 und θ 1 < θ 2 für α 0, 1. Es folgt, daß ϕx = α 1 auch ein bester Test für H 0 und H 1 ist. Aus Satz 1.3.2, 2. folgt µ{x B : ϕx }{{} =α 1 ϕ K x} = 0 auf K 0 K 1 = {f 1 x Kf 0 x},

31 1 Tests statistischer Hypothesen 29 was ein Widerspruch zur Bauart des Tests ϕ K α 1 0, 1 sein kann. ist, der auf K 0 K 1 nicht gleich Bemerkung Der Satz ist genauso auf Neyman-Pearson-Tests der einseitigen Hypothesen H 0 : θ θ 0 vs. H 1 : θ < θ 0 anwendbar, mit dem entsprechenden Unterschied θ θ T T Somit existiert der beste α-test auch in diesem Fall. 2. Man kann zeigen, daß die Gütefunktion G n ϕ K, θ des besten Neyman-Pearson- Tests auf Θ 0 =, θ 0 folgende Minimalitätseigenschaft besitzt: G n ϕ K, θ G nϕ, θ ϕ Ψα, θ θ 0 Beispiel Wir betrachten eine normalverteilte Stichprobe X 1,..., X n von unabhängigen und identisch verteilten Zufallsvariablen X i, wobei X i Nµ, σ 2 0 und σ2 0 sei bekannt. Es werden die Hypothesen H 0 : µ µ 0 vs. H 1 : µ > µ 0, getestet. Aus Beispiel kennen wir die Testgröße T X 1,..., X n = n X n µ 0 σ 0, wobei unter H 0 gilt: T X 1,..., X n N0, 1. H 0 wird verworfen, falls T X 1,..., X n > z 1 α, wobei α 0, 1. Wir zeigen jetzt, daß dieser Test der beste Neyman-Pearson-Test zum Niveau α ist. Aus Beispiel ist bekannt, daß die Dichte f n von X 1,..., X n aus der einparametrischen Exponentialklasse ist, mit T X 1,..., X n = X i. Dann gehört f µ von x 1,..., x n zur einparametrischen Exponentialklasse auch bezüglich der Statistik T X 1,..., X n = n X n µ σ 0

32 30 1 Tests statistischer Hypothesen Es gilt nämlich f µ x = exp µ σ 2 0 }{{} cµ µ n = exp σ 0 }{{} cµ x i }{{} T µ2 n 2σ 2 0 }{{} ãµ n x n µ σ 0 } {{ } T lx + µ2 n 2σ0 2 lx. }{{} aµ Die Statistik T kann also in der Konstruktion des Neyman-Pearson-Tests Gleichung verwendet werden: 1, falls T x > z 1 α, ϕ K x = 0, falls T x = z 1 α, 0, falls T x < z 1 α mit K = z 1 α und γ = 0. Nach Satz ist dieser Test der beste Neyman-Pearson- Test zum Niveau α für unsere Hypothesen: G n ϕ K, µ 0 = P 0 T X 1,..., X n > z 1 α + 0 P 0 T X 1,..., X n z 1 α = 1 Φz 1 α = 1 1 α = α Unverfälschte zweiseitige Tests Es sei X 1,..., X n eine Stichprobe von unabhängigen und identisch verteilten Zufallsvariablen mit der Dichte f θ x = Es wird ein zweiseitiger Test der Hypothesen n g θ x i. H 0 : θ = θ 0 vs. H 1 : θ θ 0 betrachtet. Für alle α 0, 1 kann es jedoch keinen besten Neyman-Pearson-Test ϕ zum Niveau α für H 0 vs. H 1 geben. Denn, nehmen wir an, ϕ wäre der beste Test zum Niveau α für H 0 vs. H 1, dann wäre ϕ der beste Test für die Hypothesen 1. H 0 : θ = θ 0 vs. H 1 : θ > θ 0 2. H 0 : θ = θ 0 vs. H 1 : θ < θ 0. Dann ist nach Satz 1.3.3, 3. die Gütefunktion 1. G n ϕ, θ < α auf θ < θ 0, bzw.

33 1 Tests statistischer Hypothesen G n ϕ, θ > α auf θ < θ 0, was ein Widerspruch ist! Darum werden wir die Klasse aller möglichen Tests auf unverfälschte Niveau-α-Tests Definition eingrenzen. Der Niveau-α-Test ϕ ist unverfälscht genau dann, wenn G n ϕ, θ α für θ Θ 0 G n ϕ, θ α für θ Θ 1 Beispiel ϕx α ist unverfälscht. 2. Der zweiseitige Gauß-Test ist unverfälscht, vergleiche Beispiel 1.1.2: G n ϕ, µ α für alle µ R. Im Folgenden seien X i unabhängig und identisch verteilt. Die Dichte f θ von X 1,..., X n gehöre zur einparametrischen Exponentialklasse: f θ x = exp {cθ T x + aθ} lx, wobei cθ und aθ stetig differenzierbar auf Θ sein sollen, mit c θ > 0 und Var θ T X 1,..., X n > 0 für alle θ Θ. Sei f Φ x stetig in x, Θ auf B Θ. Übungsaufgabe Zeigen Sie, daß folgende Relation gilt: a θ = c θe θ T X 1,..., X n. Lemma Es sei ϕ ein unverfälschter Test zum Niveau α für Dann gilt: 1. α = E 0 ϕx 1,..., X n = G n ϕ, θ 0 H 0 : θ = θ 0 vs. H 1 : θ θ E 0 [T X 1,..., X n ϕx 1,..., X n ] = α E 0 T X 1,..., X n Beweis. 1. Die Gütefunktion von ϕ ist G n ϕ, θ = B ϕxf θ xµdx Da f θ aus der einparametrischen Exponentialklasse ist, ist G n ϕ, θ differenzierbar unter dem Integral bezüglich θ. Wegen der Unverfälschtheit von ϕ gilt G n ϕ, θ 0 α, G n ϕ, θ α, θ θ 0 und daraus folgt G n ϕ, θ 0 = α und θ 0 ist ein Minimumpunkt von G n. Somit ist 1 bewiesen.

34 32 1 Tests statistischer Hypothesen 2. Da θ 0 der Minimumpunkt von G n ist, gilt 0 = G nϕ, θ 0 = ϕxc θ 0 T x + a θ 0 f 0 xµdx B = c θ 0 E 0 [ϕx 1,... X n T X 1,..., X n ] + a θ G n ϕ, θ 0 = c θ 0 E 0 [ϕx 1,..., X n T X 1,..., X n ] + αa θ 0 Übung = c θ 0 E 0 ϕ T αe 0 T Daraus folgt E 0 ϕt = αe 0 T und damit ist das Lemma bewiesen. Wir definieren jetzt die modifizierten Neyman-Pearson-Tests für einfache Hypothesen H 0 : θ = θ 0 vs. H 1 : θ = θ 1, θ 1 θ 0. Für λ, K R, γ : B [0, 1] definieren wir 1, falls f 1 x > K + λt xf 0 x, ϕ K,λ x = γx, falls f 1 x = K + λt xf 0 x, 0, falls f 1 x < K + λt xf 0 x, wobei T x die Statistik aus der Darstellung ist. Es sei Ψα die Klasse aller Tests, die Aussagen 1 und 2 des Lemmas erfüllen. Aus Lemma folgt dann, daß die Menge der unverfälschten Tests zum Niveau α eine Teilmenge von Ψα ist. Satz Der modifizierte Neyman-Pearson-Test ϕ K,λ ist der beste α-test in Ψα für Hypothesen H 0 vs. H 1 zum Niveau α = E 0 ϕ K,λ, falls ϕ K,λ Ψα. Beweis. Es ist zu zeigen, daß E 1 ϕ K,λ E 1 ϕ für alle ϕ Ψα, bzw. E 1 ϕ K,λ ϕ 0. Es gilt E 1 ϕ K,λ ϕ = ϕ K,λ x ϕxf 1 xµdx weil ϕ, ϕ K,λ Ψα. B Bem , 2. = K E 0 ϕ K,λ }{{} =α = 0, B ϕ K,λ x ϕxk + λt xf 0 xµdx + λ E 0 ϕ K,λ T E 0 ϕ T }{{}}{{} αe 0 T =α E 0 T E 0 ϕ }{{} =α Wir definieren folgende Entscheidungsregel, die später zum Testen der zweiseitigen Hypothesen H 0 : θ = θ 0 vs. H 1 : θ θ 0

35 1 Tests statistischer Hypothesen 33 verwendet wird: 1, falls T x / [c 1, c 2 ], γ ϕ c x = 1, falls T x = c 1, γ 2, falls T x = c 2, 0, falls T x c 1, c 2, für c 1 c 2 R, γ 1, γ 2 [0, 1] und die Statistik T x, x = x 1,..., x n B, die in der Dichte vorkommt. Zeigen wir, daß ϕ c sich als modifizierter Neyman-Pearson-Test schreiben lässt. Für die Dichte f θ x = exp{cθt x + aθ} lx wird wie immer vorausgesetzt, daß lx > 0, c x > 0 und a θ existiert für θ Θ. Lemma Es sei X 1,..., X n eine Stichprobe von unabhängigen, identisch verteilten Zufallsvariablen mit gemeinsamer Dichte f θ x, x B, die zur einparametrischen Exponentialfamilie gehört. Sei T x die dazugehörige Statistik, die im Exponenten der Dichte f θ vorkommt. Für beliebige reelle Zahlen c 1 c 2, γ 1, γ 2 [0, 1] und Parameterwerte θ 0, θ 1 Θ : θ 0 θ 1 läßt sich der Test ϕ c aus als modifizierter Neyman- Pearson-Test ϕ K,λ aus mit gegebenen K, λ R, γx [0, 1] schreiben. Beweis. Falls wir die Bezeichnung verwenden, dann gilt und somit f θi x = f i x, i = 0, 1 f 1 x { } f 0 x = exp cθ 1 cθ 0 T x + aθ }{{} 1 aθ 0, }{{} c a {x B : f 1 x > K + λt x f 0 x} = {x B : exp ct x + a > K + λt x}. Finden wir solche K und λ aus R, für die die Gerade K + λt, t R die konvexe Kurve exp{ct + a} genau an den Stellen c 1 und c 2 schneidet falls c 1 c 2 bzw. an der Stelle t = c 1 berührt falls c 1 = c 2. Dies ist immer möglich, siehe Abbildung 1.1. Ferner setzen wir γx = γ i für {x B : T x = c i }. Insgesamt gilt dann und {x : exp ct x + a > K + λt x} = {x : T x / [c 1, c 2 ]} {x : exp ct x + a < K + λt x} = {x : T x c 1, c 2 }. Damit ist das Lemma bewiesen.

36 34 1 Tests statistischer Hypothesen Abbildung 1.1: Bemerkung Die Umkehrung des Lemmas stimmt nicht, denn bei vorgegebenen Kurven y = K + λt und y = exp{ct + a} muss es die Schnittpunkte c 1 und c 2 nicht unbedingt geben. So kann die Gerade vollständig unter der Kurve y = exp{ct + a} liegen. 2. Der Test ϕ c macht von den Werten θ 0 und θ 1 nicht explizit Gebrauch. Dies unterscheidet ihn vom Test ϕ K,λ, für den die Dichten f 0 und f 1 gebraucht werden. Jetzt sind wir bereit, den Hauptsatz über zweiseitige Tests zum Prüfen der Hypothesen zu formulieren und zu beweisen. H 0 : θ = θ 0 vs. H 1 : θ θ 0 Satz Hauptsatz über zweiseitige Tests Unter den Voraussetzungen des Lemmas sei ϕ c ein Test aus 1.3.9, für den ϕ c Ψα gilt. Dann ist ϕ c bester unverfälschter Test zum Niveau α und dadurch bester Test in Ψα der Hypothesen H 0 : θ = θ 0 vs. H 1 : θ θ 0. Beweis. Wählen wir ein beliebiges θ 1 Θ, θ 1 θ 0. Nach Lemma ist ϕ c ein modifizierter Neyman-Pearson-Test ϕ K,λ für eine spezielle Wahl von K und λ R. ϕ K,λ ist aber nach Satz bester Test in Ψα für H 0 : θ = θ 0 vs. H 1 : θ = θ 1. Da ϕ c nicht von θ 1 abhängt, ist es bester Test in Ψα für H 1 : θ θ 0. Da unverfälschte Niveau-α-Tests in Ψα liegen, müssen wir nur zeigen, daß ϕ c unverfälscht ist. Da ϕ c der beste Test ist, ist er nicht schlechter als der konstante unverfälschte Test ϕ = α, das heißt G n ϕ c, θ G n ϕ, θ = α, θ θ 0. Somit ist auch ϕ c unverfälscht. Der Beweis ist beendet.

37 1 Tests statistischer Hypothesen 35 Bemerkung Wir haben gezeigt, daß ϕ c der beste Test seines Umfangs ist. Es wäre jedoch noch zu zeigen, daß für beliebiges α 0, 1 Konstanten c 1, c 2, γ 1, γ 2 gefunden werden, für die E 0 ϕ c = α gilt. Da der Beweis schwierig ist, wird er hier ausgelassen. Im folgenden Beispiel jedoch wird es klar, wie die Parameter c 1, c 2, γ 1, γ 2 zu wählen sind. Beispiel Zweiseitiger Gauß-Test. Im Beispiel haben wir folgenden Test des Erwartungswertes einer normalverteilten Stichprobe X 1,..., X n mit unabhängigen und identisch verteilten X i und X i Nµ, σ 2 0 bei bekannten Varianzen σ2 0 betrachtet. Getestet werden die Hypothesen Der Test ϕx lautet wobei H 0 : µ = µ 0 vs. H 1 : µ µ 0. ϕx = I x R n : T x > z 1 α/2, T x = n x n µ 0 σ 0. Zeigen wir, daß ϕ der beste Test zum Niveau α in Ψα und somit bester unverfälschter Test ist. Nach Satz müssen wir lediglich prüfen, daß ϕ als ϕ c mit dargestellt werden kann, weil die n-dimensionale Normalverteilung mit Dichte f µ siehe Beispiel zu der einparametrischen Exponentialfamilie mit Statistik T x = n x n µ σ 0 gehört. Setzen wir c 1 = z 1 α/2, c 2 = z 1 α/2, γ 1 = γ 2 = 0. Damit ist ϕx = ϕ c x = { 1, falls T x > z1 α/2, 0, falls T x z 1 α/2. und die Behauptung ist bewiesen, weil aus der in Beispiel ermittelten Gütefunktion G n ϕ, θ von ϕ ersichtlich ist, daß ϕ ein unverfälschter Test zum Niveau α ist und somit ϕ Ψα. Bemerkung Bisher haben wir immer vorausgesetzt, daß nur ein Parameter der Verteilung der Stichprobe X 1,..., X n unbekannt ist, um die Theorie des Abschnittes 1.3 über die besten Neyman-Pearson- Tests im Fall der einparametrischen Exponentialfamilie aufstellen zu können. Um jedoch den Fall weiterer unbekannten Parameter betrachten zu können wie im Beispiel der zweiseitigen Tests des Erwartungswertes der normalverteilten Stichprobe bei unbekannter Varianz der sog. t-test, vergleiche Abschnitt 1.2.1, 1 a, bedarf es einer tiefergehenderen Theorie, die aus Zeitgründen in dieser Vorlesung nicht behandelt wird. Der interessierte Leser findet das Material dann im Buch [14].

38 36 1 Tests statistischer Hypothesen 1.4 Anpassungstests Sei eine Stichprobe von unabhängigen, identisch verteilten Zufallsvariablen X 1,..., X n gegeben mit X i F Verteilungsfunktion für i = 1,..., n. Bei den Anpassungstests wird die Hypothese H 0 : F = F 0 vs. H 1 : F F 0 überprüft, wobei F 0 eine vorgegebene Verteilungsfunktion ist. Einen Test aus dieser Klasse haben wir bereits in der Vorlesung Stochastik I kennengelernt: den Kolmogorow-Smirnov-Test vergleiche Bemerkung , Vorlesungsskript Stochastik I. Jetzt werden weitere nichtparametrische Anpassungstests eingeführt. Der erste ist der χ 2 -Anpassungs-test von K. Pearson χ 2 -Anpassungstest Der Test von Kolmogorov-Smirnov basierte auf dem Abstand D n = sup ˆF n x F 0 x x R zwischen der empirischen Verteilungsfunktion der Stichprobe X 1,..., X n und der Verteilungsfunktion F 0. In der Praxis jedoch erscheint dieser Test zu feinfühlig, denn er ist zu sensibel gegenüber Unregelmäßigkeiten in den Stichproben und verwirft H 0 zu oft. Einen Ausweg aus dieser Situation stellt die Vergröberung der Haupthypothese H 0 dar, auf welcher der folgende χ 2 -Anpassungstest beruht. Man zerlegt den Wertebereich der Stichprobenvariablen X i in r Klassen a j, b j ], j = 1,..., r mit der Eigenschaft a 1 < b 1 = a 2 < b 2 =... = a r < b r. Anstelle von X i, i = 1,..., n betrachten wir die sogenannten Klassenstärken Z j, j = 1,..., r, wobei Z j = #{i : a j < X i b j, 1 i n}. Lemma Der Zufallsvektor Z = Z 1,..., Z r ist multinomialverteilt mit Parametervektor wobei p = p 1,..., p r 1 [0, 1] r 1, r 1 p j = Pa j < X 1 b j = F b j F a j, j = 1,..., r 1, p r = 1 p j. Schreibweise: Z M r 1 n, p j=1

39 1 Tests statistischer Hypothesen 37 Beweis. Es ist zu zeigen, daß für alle Zahlen k 1,... k r N 0 mit k k r = n gilt: PZ i = k i, i = 1,..., r = Da X i unabhängig und identisch verteilt sind, gilt P X j a ij, b ij ], j = 1,..., n = n j=1 n! k 1!... k r! pk pkr r P a ij < X 1 b ij = p k pkr r, falls die Folge von Intervallen a ij, b ij ] j=1,...,n das Intervall a i, b i ] k i Mal enthält, i = 1,..., r. Die Formel ergibt sich aus dem Satz der totalen Wahrscheinlichkeit als Summe über die Permutationen von Folgen a ij, b ij ] j=1,...,n dieser Art. Im Sinne des Lemmas werden neue Hypothesen über die Beschaffenheit von F geprüft. H 0 : p = p 0 vs. H 1 : p p 0, wobei p = p 1,..., p r 1 der Parametervektor der Multinomialverteilung von Z ist, und p 0 = p 01,..., p 0,r 1 0, 1 r 1 mit r 1 p 0i < 1. In diesem Fall ist Λ 0 = {F Λ : F b j F a j = p 0j, j = 1,..., r 1}, Λ 1 = Λ \ Λ 0, wobei Λ die Menge aller Verteilungsfunktionen ist. Um H 0 vs. H 1 zu testen, führen wir die Pearson-Teststatistik r z j np 0j 2 T n x = j=1 ein, wobei x = x 1,..., x n eine konkrete Stichprobe der Daten ist und z j, j = 1,..., r ihre Klassenstärken sind. Unter H 0 gilt np 0j E Z j = np 0j, j = 1,..., r, somit soll H 0 abgelehnt werden, falls T n X ungewöhnlich große Werte annimmt. Im nächsten Satz zeigen wir, daß T X 1,..., X n asymptotisch für n χ 2 r 1 - verteilt ist, was zu folgendem Anpassungstest χ 2 -Anpassungstest führt: H 0 wird verworfen, falls T n x 1,..., x n > χ 2 r 1,1 α. Dieser Test ist nach seinem Entdecker Karl Pearson benannt worden. Satz Unter H 0 gilt lim P p n 0 Tn X 1,..., X n > χ 2 r 1,1 α = α, α 0, 1, das heißt, der χ 2 -Pearson-Test ist ein asymptotischer Test zum Niveau α.

40 38 1 Tests statistischer Hypothesen Beweis. Führen wir die Bezeichnung Z nj = Z j X 1,..., X n der Klassenstärken ein, die aus der Stichprobe X 1,..., X n entstehen. Nach Lemma ist Insbesondere soll E Z nj = np 0j und für alle i, j = 1,..., r gelten. Da Z n = Z n1,..., Z nr M r 1 n, p 0 unter H 0. { np0j 1 p CovZ ni, Z nj = 0j, i = j, np 0i p 0j, i j Z nj = Ia j < X i b j, j = 1,..., r, ist Z n = Z n1,..., Z n,r 1 eine Summe von n unabhängigen und identisch verteilten Zufallsvektoren Y i R r 1 mit Koordinaten Y ij = Ia j < X i b j, j = 1,..., r 1. Daher gilt nach dem multivariaten Grenzwertsatz der in Lemma bewiesen wird, daß Z n = Z n E Z n n = Y i ne Y 1 n d Y N0, K, n mit N0, K eine r 1-dimensionale multivariate Normalverteilung vergleiche Vorlesungsskript WR, Beispiel mit Erwartungswertvektor Null und Kovarianzmatrix K = σij 2, wobei { σij 2 p0i p = 0j, i j, p 0i 1 p 0j, i = j für i, j = 1,..., r 1 ist. Diese Matrix K ist invertierbar mit K 1 = A = a ij, a ij = { 1 p 0r, i j, 1 p 0i + 1 p 0r, i = j. Außerdem ist K als Kovarianzmatrix symmetrisch und positiv definit. Aus der linearen Algebra ist bekannt, daß es eine invertierbare r 1 r 1-Matrix A 1/2 gibt, mit der Eigenschaft A = A 1/2 A 1/2. Daraus folgt, K = A 1 = A 1/2 1 A 1/2 1. Wenn wir A 1/2 auf Z n anwenden, so bekommen wir A 1/2 Z n d n A1/2 Y,

41 1 Tests statistischer Hypothesen 39 wobei A 1/2 Y N 0, A 1/2 K A 1/2 = N 0, I r 1 nach der Eigenschaft der multivariaten Normalverteilung, die im Kapitel 2, Satz behandelt wird. Des Weiteren wurde hier der Stetigkeitssatz aus der Wahrscheinlichkeitsrechnung benutzt, daß Y n d Y = ϕy d n ϕy n n für beliebige Zufallsvektoren {Y n }, Y R m und stetige Abbildungen ϕ : R R. Diesen Satz haben wir in WR für Zufallsvariablen bewiesen Satz 6.4.3, Vorlesungsskript WR. Die erneute Anwendung des Stetigkeitssatzes ergibt Zeigen wir, daß A 1/2 Z n 2 d n Y 2 = R χ 2 r 1. T n X 1,..., X n = A 1/2 Z n 2. Es gilt: A 1/2 Z n 2 = A 1/2 Z n A 1/2 Z n = Z n A 1/2 A 1/2 Z n = Z n AZ n }{{} weil r 1 = n = = = 1 p j=1 0j r 1 j=1 r 1 j=1 Znj n Z nj np 0j 2 np 0j Z nj np0j 2 np 0j p 0j 2 + n + n p 0r p 0r r 1 j=1 A r 1 r 1 Zni j=1 Znj n + n 2 Znr p 0r n p 0r r Z nj np 0j 2 = T n X 1,..., X n, np 0j j=1 r 1 Z nj = n Z nr, j=1 r 1 p 0j = 1 p 0r. j=1 n p 0j p 0i 2 Znj n p 0j

42 40 1 Tests statistischer Hypothesen Lemma Multivariater zentraler Grenzwertsatz. Sei {Y n } n N eine Folge von unabhängigen und identisch verteilten Zufallsvektoren, mit E Y 1 = µ und Kovarianzmatrix K. Dann gilt Y i nµ n d Y N0, K n Beweis. Sei Y j = Y j1,..., Y jm. Nach dem Stetigkeitssatz für charakteristische Funktionen ist die Konvergenz äquivalent zu wobei ϕ n t n ϕt t R m, m ϕ n t = E e itsn = E exp i Y 1j Y nj nµ j t j n j=1 die charakteristische Funktion vom Zufallsvektor Y i nµ S n = n und ϕt = e t Kt/2 die charakteristische Funktion der N0, K-Verteilung ist. Die Funktion ϕ n t kann in der Form m t j Y ij µ j ϕ n t = E exp i, t = t 1,..., t m R m n umgeschrieben werden, wobei für die Zufallsvariable gilt: E L i = 0, Var L i = E m k,j=1 L i := m t j Y ij µ j j=1 t j Y ij µ j Y ik µk t k = t Kt, i N.

43 1 Tests statistischer Hypothesen 41 Falls t Kt = 0, dann gilt L i = 0 fast sicher, für alle i N. Hieraus folgt ϕ n t = ϕt = 1, also gilt die Konvergenz Falls jedoch t Kt > 0, dann kann ϕ n t als charakteristische Funktion der Zufallsvariablen L i / n an Stelle 1, und ϕt als charakteristische Funktion der eindimensionalen Normalverteilung N0, t Kt an Stelle 1 interpretiert werden. Aus dem zentralen Grenzwertsatz für eindimensionale Zufallsvariablen vergleiche Satz 7.2.1, Vorlesungsskript WR gilt und somit L i n Somit ist die Konvergenz bewiesen. d n L N0, t Kt ϕ n t = ϕ n L i/ n 1 ϕ L1 = ϕt. n Bemerkung Die im letzten Beweis verwendete Methode der Reduktion einer mehrdimensionalen Konvergenz auf den eindimensionalen Fall mit Hilfe von Linearkombinationen von Zufallsvariablen trägt den Namen von Cramér-Wold. 2. Der χ 2 -Pearson-Test ist asymptotisch, also für große Stichprobenumfänge, anzuwenden. Aber welches n ist groß genug? Als Faustregel gilt: np 0j soll größer gleich a sein, a 2,. Für eine größere Klassenanzahl r 10 kann sogar a = 1 verwendet werden. Wir zeigen jetzt, daß der χ 2 -Anpassungstest konsistent ist. Lemma Der χ 2 -Pearson-Test ist konsistent, das heißt p [0, 1] r 1, p p 0 gilt: lim P p Tn X 1,..., X n > χ 2 n r 1,1 α = 1 Beweis. Unter H 1 gilt Z nj /n = Ia j < X i b j n f.s n E Ia j < X 1 b j }{{} =p j nach dem starken Gesetz der großen Zahlen. Wir wählen j so, daß p j p 0j. Es gilt Somit ist auch T n X 1,..., X n Z nj np 0j 2 np 0j Znj 2 n n p f.s 0j. n }{{} np j p 0j 2 P p Tn X 1,..., X n > χ 2 r 1,1 α n 1.

44 42 1 Tests statistischer Hypothesen χ 2 -Anpassungstest von Pearson-Fisher Es sei X 1,..., X n eine Stichprobe von unabhängigen und identisch verteilten Zufallsvariablen X i, i = 1,..., n. Wir wollen testen, ob die Verteilungsfunktion F von X i zu einer parametrischen Familie Λ 0 = {F θ : θ Θ}, Θ R m gehört. Seien die Zahlen a i, b i, i = 1,..., r vorgegeben mit der Eigenschaft und a 1 < b 1 = a 2 < b 2 =... = a r < b r Z j = #{X i, i = 1,..., n : a j < X i b j }, j = 1,..., r, Z = Z 1,..., Z r. Nach Lemma gilt: Z M r 1 n, p, p = p 0,..., p r 1 [0, 1] r 1. Unter der Hypothese H 0 : F Λ 0 gilt: p = pθ, θ Θ R m. Wir vergröbern die Hypothese H 0 und wollen folgende neue Hypothese testen: H 0 : p {pθ : θ Θ} vs. H 1 : p / {pθ : θ Θ}. Um dieses Hypothesenpaar zu testen, wird der χ 2 -Pearson-Fisher-Test wie folgt aufgebaut: 1. Ein schwach konsistenter Maximum-Likelihood-Schätzer ˆθ n = ˆθX 1,..., X n für θ wird gefunden: ˆθ P n θ. Dabei muß {ˆθ n } n N asymptotisch normalverteilt sein. n 2. Es wird der Plug-In-Schätzer pˆθ n für pθ gebildet. 3. Die Testgröße ˆT n X 1,..., X n = r j=1 unter H 0 und gewissen Voraussetzungen. 2 Z nj np j ˆθ np j ˆθ P n η χ2 r m 1 4. H 0 wird verworfen, falls ˆT n X 1,..., X n > χ 2 r m 1,1 α. Dies ist ein asymptotischer Test zum Niveau α. Bemerkung Bei einem χ 2 -Pearson-Fisher-Test wird vorausgesetzt, daß die Funktion pθ explizit bekannt ist, θ jedoch unbekannt. Das bedeutet, daß für jede Klasse von Verteilungen Λ 0 die Funktion p berechnet werden soll.

45 1 Tests statistischer Hypothesen Warum kann ˆT n die Hypothese H 0 von H 1 unterscheiden? Nach dem Gesetz der großen Zahlen gilt 1 n Z nj p j ˆθ n = 1 n Z nj p j θ }{{} P 0 p j ˆθ n p j θ }{{} P 0 P n 0, falls ˆθ n schwach konsistent ist und p j eine stetige Funktion für alle j = 1,..., r ist. Das heißt, unter H 0 soll ˆTn X 1,..., X n relativ kleine Werte annehmen. Eine signifikante Abweichung von diesem Verhalten soll zur Ablehnung von H 0 führen, vergleiche Punkt 4. Für die Verteilung F θ von X i gelten folgende Regularitätsvoraussetzungen vergleiche Satz 3.4.2, Vorlesungsskript Stochastik I. 1. Die Verteilungsfunktion F θ ist entweder diskret oder absolut stetig für alle θ Θ. 2. Die Parametrisierung ist eindeutig, das heißt: θ θ 1 F θ F θ1. 3. Der Träger der Likelihood-Funktion { Pθ X Lx, θ = 1 = x, im Falle von diskreten F θ, f θ x, im absolut stetigen Fall. SuppLx, θ = {x R : Lx, θ > 0} hängt nicht von θ ab. 4. Lx, θ sei 3 Mal stetig differenzierbar, und es gelte für k = 1,..., 3 und i 1,..., i k {1... m}, daß k Lx, θ θ i1... θ ik dx = k θ i1... θ ik Lx, θdx = Für alle θ 0 Θ gibt es eine Konstante c θ0 und eine messbare Funktion g θ0 : SuppL R +, sodaß 3 log Lx, θ θ i1 θ i2 θ i3 g θ 0 x, θ θ 0 < c θ0 und E θ0 g θ0 X 1 <. Wir definieren die Informationsmatrix von Fisher durch [ ] log LX1, θ log LX 1, θ Iθ = E θ i θ j i,j=1,...,m

46 44 1 Tests statistischer Hypothesen Satz asymptotische Normalverteiltheit von konsistenten ML-Schätzern ˆθ n, multivariater Fall m > 1. Es seien X 1,..., X n unabhängig und identisch verteilt mit Likelihood-Funktion L, die den Regularitätsbedingungen 1-5 genügt. Sei Iθ positiv definit für alle θ Θ R m. Sei ˆθ n = ˆθX 1,..., X n eine Folge von schwach konsistenten Maximum-Likelihood-Schätzern für θ. Dann gilt: nˆθn θ d n N0, I 1 θ. Ohne Beweis; siehe den Beweis des Satzes 3.4.2, Vorlesungsskript Stochastik I. Für unsere vergröberte Hypothese H 0 : p {pθ, θ Θ} stellen wir folgende, stückweise konstante, Likelihood-Funktion auf: Lx, θ = p j θ, falls x a j, b j ]. Dann ist die Likelihood-Funktion der Stichprobe x 1,..., x n gleich log Lx 1,..., x n, θ = r j=1 Aus r j=1 p jθ = 1 folgt Lx 1,..., x n, θ = r p j θ Z jx 1,...,x n j=1 r Z j x 1,..., x n log p j θ. j=1 ˆθ n = ˆθx 1,..., x n = argmax log Lx 1,..., x n, θ θ Θ Z j x 1,..., x n p jθ 1 = 0, i = 1,..., m. θ i p j θ r j=1 p j θ θ i = 0 r j=1 Z j x 1,..., x n np j θ p j θ p jθ θ i = 0, i = 1,..., m. Lemma Im obigen Fall gilt Iθ = C θ Cθ, wobei Cθ eine r m-matrix mit Elementen c ij θ = p iθ 1 θ j pi θ ist.

47 1 Tests statistischer Hypothesen 45 Beweis. [ log LX1, θ E 0 log LX ] 1, θ = θ i θ j r = = k=1 p k θ 1 θ i p k θ p kθ θ j C θ Cθ denn log LX 1, θ = ij, r k=1 1 p k θ p kθ r log p j θ I x a j, b j ]. log p k θ θ i log p kθ θ j p k θ Deshalb gilt die Folgerung aus Satz 1.4.2: Folgerung Sei ˆθ n = ˆθX 1,..., X n ein Maximum-Likelihood-Schätzer von θ im vergröberten Modell, der schwach konsistent ist und den obigen Regularitätsbedingungen genügt. Sei die Informationsmatrix von Fisher Iθ = C θ Cθ für alle θ Θ positiv definit. Dann ist ˆθ asymptotisch normalverteilt: n ˆθn θ d n Y N 0, I 1 θ Satz Es sei ˆθ n ein Maximum-Likelihood-Schätzer im vergröberten Modell für θ, für den alle Voraussetzungen der Folgerung erfüllt sind. Die Teststatistik ˆT n X 1,..., X n = r Z j X 1,..., X n np j ˆθ n 2 j=1 ist unter H 0 asymptotisch χ 2 r m 1 -verteilt: ohne Beweis siehe [15]. np j ˆθ n lim P θ ˆTn X 1,..., X n > χ 2 n r m 1,1 α = α. Aus diesem Satz folgt, daß der χ 2 -Pearson-Fisher-Test ein asymptotischer Test zum Niveau α ist. Beispiel χ 2 -Pearson-Fisher-Test der Normalverteilung Sei X 1,..., X n eine Zufallsstichprobe. Es soll geprüft werden, ob X i Nµ, σ 2. Es gilt θ = µ, σ 2 Θ = R R +.

48 46 1 Tests statistischer Hypothesen Sei a j, b j ] j=1,...,r eine beliebige Aufteilung von R in r disjunkte Intervalle. Sei f θ x = 1 2πσ 2 e 1 2 x µ σ 2 die Dichte der Nµ, σ 2 -Verteilung. p j θ = P 0 a j < X 1 b j = bj a j f θ xdx, j = 1,..., r mit den Klassenstärken Z j = # {i : X i a j, b j ]}. Wir suchen den Maximum-Likelihood-Schätzer im vergröberten Modell: p j θ bj µ = p j θ σ 2 = a j bj a j = 1 2π bj = 1 2 µ f θxdx = σ 2 f θxdx [ σ 2 a j bj 1 bj x µ 2πσ 2 a j σ 2 e 1 2 x µ σ 2 dx 1 σ 2 3/2 e 1 2 x µ σ σ 2 e 1 2 x µ σ 2 a j f θ xdx + 1 2σ 2 2 bj a j x µ 2 f θ xdx x µ 2 2σ 2 2 ] dx Die notwendigen Bedingungen des Maximums sind: 1 σ 2 r j=1 Z j r b j Z j b j a j xf θ xdx b j a j f θ xdx a j x µ 2 f θ xdx b j a j f θ xdx µ r j=1 Z j }{{} =n r j=1 Z j }{{} =n = 0, = 0.

49 1 Tests statistischer Hypothesen 47 Daraus folgen die Maximum-Likelihood-Schätzer ˆµ und ˆσ 2 für µ und σ 2 : ˆσ 2 = 1 n ˆµ = 1 n r j=1 Z j r j=1 b j Z j b j a j xf θ xdx b j a j f θ xdx a j x µ 2 f θ xdx b j a j f θ xdx Wir konstruieren eine Näherung zu ˆµ und ˆσ 2 für r. Falls r und somit auch n, dann ist b j a j klein und nach der einfachen Quadraturregel gilt: bj a j xf θ xdx b j a j y j f θ y j, bj a j f θ xdx b j a j f θ y j, wobei y 1 = b 1, y r = b r 1 = a r, y j = b j+1 + b j /2, j = 2,..., r 1. Daraus folgen für die Maximum-Likelihood-Schätzer ˆµ und ˆσ 2 : ˆµ 1 r y j Z j = µ n ˆσ 2 1 n j=1 r y j µ 2 Z j = σ 2, j=1 θ = µ, σ 2. Der χ 2 -Pearson-Fisher-Test lautet dann: H 0 wird abgelehnt, falls r 2 Z j np j θ j=1 ˆT n = > χ 2 r 3,1 α. np j θ 2. χ 2 -Pearson-Fisher-Test der Poissonverteilung Es sei X 1,..., X n eine Stichprobe von unabhängigen und identisch verteilen Zufallsvariablen. Wir wollen testen, ob X i Poissonλ, λ > 0. Es gilt θ = λ und Θ = 0, +. Die Vergröberung von Θ hat die Form = a 1 < b }{{} 1 = a 2 < b 2 = a }{{} 3 <... < b r 1 = a }{{} r < b r = +. =0 =1 =r 2,.

50 48 1 Tests statistischer Hypothesen Dann ist λj 1 p j λ = P λ X 1 = j 1 = e λ, j = 1,..., r 1, j 1! λ λi p r λ = e i!, dp j λ dλ dp r λ dλ i=r 1 λ λj 1 λj 2 = e + j 1 j 1! j 1! e λ = e j 1 = p j λ λ 1, j = 1,..., r 1 = i 1 p i λ λ 1. i r 1 Die Maximum-Likelihood-Gleichung lautet r 1 j 1 0 = Z j λ 1 + Z r j=1 i r 1 λ λj 1 j 1! p i λ i 1 λ 1 p r λ j 1 λ 1 Falls r, so findet sich rn für jedes n, für das Z rn = 0. Deshalb gilt für r > rn: r 1 j 1Z j λ j=1 woraus der Maximum-Likelihood-Schätzer 1 r 1 j 1Z j = 1 n n j=1 r j=1 Z j }{{} =n = 0, X j = X n folgt. Der χ 2 -Pearson-Fisher-Test lautet: H 0 wird verworfen, falls ˆT n = j=1 r Zj np λ X n 2 npj X n 2 > χ 2 r 2,1 α. j= Anpassungstest von Shapiro Es sei X 1,..., X n eine Stichprobe von unabhängigen, identisch verteilten Zufallsvariablen, X i F. Getestet werden soll die Hypothese H 0 : F {Nµ, σ 2 : µ R, σ 2 > 0} vs. H 1 : F / {Nµ, σ 2, µ R, σ 2 > 0}.

51 1 Tests statistischer Hypothesen 49 Die in den Abschnitten vorgestellten χ 2 -Tests sind asymptotisch; deshalb können sie für relativ kleine Stichprobenumfänge nicht verwendet werden. Der folgende Test wird diese Lücke füllen und eine Testentscheidung über H 0 selbst bei kleinen Stichproben ermöglichen. Man bildet Ordnungsstatistiken X 1,..., X n, X 1 X 2..., X n und vergleicht ihre Korreliertheit mit den Mittelwerten der entsprechenden Ordnungsstatistiken der N0, 1-Verteilung. Sei Y 1,..., Y n eine Stichprobe von unabhängigen und identisch verteilten Zufallsvariablen, Y 1 N0, 1. Es sei a i = E Y i, i = 1,..., n. Falls der empirische Korrelationskoeffizient ρ ax zwischen a 1,..., a n und X 1,..., X n bei 1 liegt, dann ist die Stichprobe normalverteilt. Formalisieren wir diese Heuristik: Es sei b i der Erwartungswert der i-ten Ordnungsstatistik in einer Stichprobe von Nµ, σ 2 -verteilten, unabhängigen Zufallsvariablen Z i : b i = E Z i, i = 1,..., n. Es gilt: b i = µ + σa i, i = 1,..., n. Betrachten wir den Korrelationskoeffizienten bi b n Xi X n ρ bx = bi b n Xi X n Da ρ invariant bezüglich Lineartransformationen ist und a i = E Y i = E Y i = 0, gilt: ρ bx Stochastik I = ρ ax = =0 {}}{ a i Xi X n a i X i X n a i = 2 2 Xi X n Xi X n a 2 i a i X i = a 2 i 2 Xi X n Die Teststatistik lautet: T n = a i X i a 2 i a 2 i Shapiro-Francia-Test 2 Xi X n Die Werte a i sind bekannt und können den Tabellen bzw. der Statistik-Software entnommen werden. Es gilt: T n 1.

52 50 1 Tests statistischer Hypothesen H 0 wird abgelehnt, falls T n q n,α, wobei q n,α das α-quantil der Verteilung von T n ist. Diese Quantile sind aus den Tabellen bekannt, bzw. können durch Monte-Carlo- Simulationen berechnet werden. Bemerkung Einen anderen, weit verbreiteten Test dieser Art bekommt man, wenn man die Lineartransformation b i = µ+σa i durch eine andere Lineartransformation ersetzt: a 1,..., a n = K 1 a 1,..., a n, wobei K = k ij n j=1 die Kovarianzmatrix von Y 1,..., Y n ist: k ij = E Y i a i Yj a j, i, j = 1,..., n, Der so konstruierte Test trägt den Namen Shapiro-Wilk-Test. 1.5 Weitere, nicht parametrische Tests Binomialtest Es sei X 1,..., X n eine Stichprobe von unabhängigen, identisch verteilten Zufallsvariablen, wobei X i Bernoullip. Getestet werden soll: Die Teststatistik lautet H 0 : p = p 0 vs. H 1 : p p 0 T n = X i Binn, p 0, H0 und die Entscheidungsregel ist: H 0 wird verworfen, falls T n / [Binn, p 0 α/2, Binn, p 0 1 α/2 ], wobei Binn, p α das α-quantil der Binn, p-verteilung ist. Für andere H 0, wie zum Beispiel p p 0 p p 0 muss der Ablehnungsbereich entsprechend angepasst werden. Die Quantile Binn, p α erhält man aus Tabellen oder aus Monte-Carlo-Simulationen. Falls n groß ist, können diese Quantile durch die Normalapproximation berechnet werden: Nach dem zentralen Grenzwertsatz von DeMoivre-Laplace gilt: T n np 0 P T n x = P np0 1 p 0 x np 0 np0 1 p 0 Φ n x np 0 np0 1 p 0.

53 1 Tests statistischer Hypothesen 51 Daraus folgt: z α Binn, p 0 α np 0 np0 1 p 0 Binn, p 0 α np 0 1 p 0 z α + np 0 Nach der Poisson-Approximation für n, np 0 λ 0 gilt: Binn, p 0 α/2 Poissonλ 0 α/2, Binn, p 0 1 α/2 Poissonλ 0 1 α/2, wobei λ 0 = np 0. Zielstellung: Wie kann mit Hilfe des oben beschriebenen Binomialtests die Symmetrieeigenschaft einer Verteilung getestet werden? Es sei Y 1,..., Y n eine Stichprobe von unabhängigen und identisch verteilen Zufallsvariablen mit absolut stetiger mit Verteilungsfunktion F. Getestet werden soll: H 0 : F ist symmetrisch vs. H 1 : F ist nicht symmetrisch. Eine symmetrische Verteilung besitzt den Median bei Null. Deswegen vergröbern wir die Hypothese H 0 und testen: Noch allgemeiner: Für ein β [0, 1]: H 0 H vs. H 0 gilt: H 0 : F 1 0, 5 = 0 vs. H 1 : F 1 0, 5 0. H 0 : F 1 β = γ β vs. H 1 : F 1 β γ β. 1 wird mit Hilfe des Binomialtests wie folgt getestet: Sei X i = I Y i γ β. Unter X i BernoulliF γ β = Bernoulliβ. Seien a 1 =, b 1 = γ α, a 2 = b 1, b 2 = + zwei disjunkte Klassen a 1, b 1 ], a 2, b 2 ] in der Sprache des χ 2 -Pearson-Tests. Die Testgröße ist: T n = X i = # {Y i : Y i γ β } Binn, β, p = F γ β Die Hypothese F 1 β = γ β ist äquivalent zu H 0 : p = β. Die Entscheidungsregel lautet dann: H 0 wird verworfen, falls T n / [ Binn, β α/2, Binn, β 1 α/2 ] ]. Dies ist ein Test zum Niveau α.

54 52 1 Tests statistischer Hypothesen Iterationstests auf Zufälligkeit In manchen Fragestellungen der Biologie untersucht man eine Folge von 0 oder 1 auf ihre Zufälligkeit bzw. Vorhandensein von größeren Clustern von 0 oder 1. Diese Hypothesen kann man mit Hilfe der sogenannten Iterationstests statistisch überprüfen. Sei eine Stichprobe X i, i = 1,..., n gegeben, X i {0, 1}, X i = n 1 die Anzahl der Einsen, n 2 = n n 1 die Anzahl der Nullen, n 1, n 2 vorgegeben. Eine Realisierung von X 1,..., X n mit n = 18, n 1 = 12 wäre zum Beispiel Es soll getestet werden, ob x = 0, 0, 0, 1, 1, 1, 0, 1, 1, 0, 1, 1, 1, 0, 1, 1, 1, 1 H 0 : jede Folge x ist gleichwahrscheinlich vs. H 1 : Es gibt bevorzugte Folgen Clusterbildung stimmt. Sei Ω = { x = x 1,..., x n : x i = 0 oder 1, i = 1,..., n, } x i = n 1 der Stichprobenraum. Dann ist der Raum Ω, F, P mit F = PΩ, ein Laplacescher Wahrscheinlichkeitsraum. Sei P x = 1 Ω = 1 n n 1 T n X = #{Iterationen in X} = #{Teilfolgen der Nullen oder Einsen} = #{Wechselstellen von 0 auf 1 oder von 1 auf 0} + 1. Zum Beispiel ist für x = 0, 1, 1, 1, 0, 0, 0, 1, 0, 1, 1, 1, 0, 0, T n x = 7 = T n X wird folgendermaßen als Teststatistik für H 0 vs. H 1 benutzt. H 0 wird abgelehnt, falls T x klein ist, das heißt, falls T n x < F 1 T n α. Dies ist ein Test zum Niveau α. Wie berechnen wir die Quantile F 1 T n? Satz Unter H 0 gelten folgende Aussagen: 1. P T n = k = 2 n 1 1 i 1 n 2 1 n n 1 n 1 1 i i 1, falls k = 2i, n 2 1 i 1 + n 1 1 i 1 n 2 1 i n n 1, falls k = 2i + 1.

55 1 Tests statistischer Hypothesen E T n = 1 + 2n 1n 2 n Var T n = 2n 1n 2 2n 1 n 2 n n 2 n 1 Beweis. 1. Wir nehmen an, daß k = 2i der ungerade Fall ist analog. Wie können i Klumpen von Einsen gewählt werden? Die Anzahl dieser Möglichkeiten = die Anzahl der Möglichkeiten, wie n 1 Teilchen auf i Klassen verteilt werden n 1 Dies ist gleich der Anzahl an Möglichkeiten, wie i 1 Trennwände auf n 1 1 Positionen verteilt werden können = n 1 1 i 1. Das selbe gilt für die Nullen. 2. Sei Y j = I {X j 1 X j } j=2,...,n. 3. Daraus folgt E T n X = 1 + E Y j = 1 + j=2 P X j 1 X j = 2 n 2 n 1 1 n = 2 n 1 = 2n 1n n 1 n 1n = 2n 1n 2 nn 1. P X j 1 X j. j=2 n 2! n 2 n 1 1!n 1 1! n! n n 1!n 1! E T n = 1 + n 1 2n 1n 2 nn 1 = 1 + 2n 1n 2 n. Übungsaufgabe Beweisen Sie Punkt 3. Beispiel Test von Wald-Wolfowitz. Seien Y = Y 1,..., Y n, Z = Z 1,..., Z n unabhängige Stichproben von unabhängigen und identisch verteilten Zufallsvariablen, Y i F, Z i G. Getestet werden soll: H 0 : F = G vs. H 1 : F G.

56 54 1 Tests statistischer Hypothesen Sei Y, Z = Y 1,..., Y n, Z 1,..., Z n und seien X i Stichprobenvariablen von Y, Z, i = 1,..., n, n = n 1 + n 2. Wir bilden die Ordnungsstatistiken X i, i = 1,..., n und setzen X i = { 1, falls X i = Y j für ein j = 1,..., n 1, 0, falls X i = Z j für ein j = 1,..., n 2. Unter H 0 sind die Stichprobenwerte in Y, Z gut gemischt, das heißt jede Kombination von 0 und 1 in X 1,..., X n ist gleichwahrscheinlich. Darum können wir den Iterationstest auf Zufälligkeit anwenden, um H 0 vs. H 1 zu testen: H 0 wird verworfen, falls T n x F 1 α, x = x 1,..., x n. Wie können die Quantile von F Tn für große n berechnet werden? Falls n 1 n 1 + n 2 dann ist T n asymptotisch normalverteilt. p 0, 1, n Satz Unter der obigen Voraussetzung gilt: lim n E T n lim n n = 2p1 p 1 n Var T n = 4p 2 1 p 2 T n 2p1 p 2 np1 p d n Y N0, 1, falls n 1 n 1 + n 2 p 0, 1. So können Quantile von T n näherungsweise für große n folgendermaßen berechnet werden: α = P T n F 1 T n α Tn 2np1 p = P 2 np1 p Φ F 1 T n α 2np1 p 2 np1 p z α F 1 T n α 2np1 p 2 np1 p Damit erhalten wir für die Quantile: x 2np1 p 2 np1 p x=f 1 Tn α In der Praxis setzt man ˆp = n 1 n 1 +n 2 F 1 T n α 2np1 p + 2 np1 p z α für p ein.

57 2 Lineare Regression In Stochastik I betrachteten wir die einfache lineare Regression der Form Y i = β 0 + β 1 x i + ε i, i = 1,..., n. In Matrix-Form schreiben wir Y = Xβ + ε, wobei Y = Y 1,..., Y n der Vektor der Zielzufallsvariablen ist, 1 x 1 1 x 2 X =.. 1 x n eine n 2-Matrix, die die Ausgangsvariablen x i, i = 1,..., n enthält und deshalb Design- Matrix genannt wird, β = β 0, β 1 der Parametervektor und ε = ε 1,..., ε n der Vektor der Störgrößen. Bisher waren oft ε i N0, σ 2 für i = 1,..., n und ε N0, I σ 2 multivariat normalverteilt. Die multivariate das bedeutet, nicht einfache lineare Regression lässt eine beliebige n m-design-matrix X = x ij,...,n j=1,...,m und einen m-dimensionalen Parametervektor β = β 1,..., β m zu, für m 2. Das heißt, es gilt Y = Xβ + ε, wobei ε N0, K ein multivariat normalverteilter Zufallsvektor der Störgrößen mit Kovarianzmatrix K ist, die im Allgemeinen nicht unabhängig voneinander sind: K diag σ 2 1,..., σ 2 n. Das Ziel dieses Kapitels ist es, Schätzer und Tests für β zu entwickeln. Zuvor müssen jedoch die Eigenschaften der multivariaten Normalverteilung untersucht werden. 2.1 Multivariate Normalverteilung Im Vorlesungsskript Wahrscheinlichkeitsrechnung wurde die multivariate Normalverteilung in Beispiel folgendermaßen eingeführt: 55

58 56 2 Lineare Regression Definition Es sei X = X 1,..., X n ein n-dimensionaler Zufallsvektor, µ R n, K eine symmetrische, positiv definite n n-matrix. X ist multivariat normalverteilt mit den Parametern µ und K X Nµ, K, falls X absolut stetig verteilt ist mit der Dichte { 1 1 f X x = 2π n/2 exp 1 } detk 2 x µ K 1 x µ, x = x 1,..., x n R n. Wir geben drei weitere Definitionen von Nµ, K an und wollen die Zusammenhänge zwischen ihnen untersuchen: Definition Der Zufallsvektor X = X 1,..., X n ist multivariat normalverteilt X Nµ, K mit Parametern µ R n und K eine symmetrische, nicht-negativ definite n n-matrix, falls die charakteristische Funktion ϕ X t = E e it,x, t R n, gegeben ist durch { ϕ X t = exp it µ 1 } 2 t Kt, t R n. Definition Der Zufallsvektor X = X 1,..., X n ist multivariat normalverteilt X Nµ, K mit Parametern µ R n und einer symmetrischen, nicht negativ definiten n n-matrix K, falls a R n : die Zufallsvariable a, X = a X Na µ, a Ka eindimensional normalverteilt ist. Definition Es sei µ R n, K eine nicht-negativ definite, symmetrische n n- Matrix. Ein Zufallsvektor X = X 1,..., X n ist multivariat normalverteilt mit Parametern µ und K X Nµ, K, falls X d = µ + C Y, wobei C eine n m - Matrix mit rangc = m, K = C C und Y N0, I R m ein m-dimensionaler Zufallsvektor mit unabhängigen und identisch verteilten Koordinaten Y j N0, 1 ist, j = 1,..., m. Bemerkung: Dies ist das Analogon im eindimensionalen Fall: Y Nµ, σ 2 Y d = µ + σx mit X N0, 1. Übungsaufgabe Prüfen Sie, daß die in Definition angegebene Dichte { 1 1 f X x = 2π n/2 exp 1 } detk 2 x µ K 1 x µ, x R n tatsächlich eine Verteilungsdichte darstellt.

59 2 Lineare Regression 57 Lemma Es seien X und Y n-dimensionale Zufallsvektoren mit charakteristischen Funktionen ϕ X t = E e it,x = E e it X ϕ Y t = E e it,y = E e it Y für t R n. Es gelten folgende Eigenschaften: 1. Eindeutigkeitssatz: X d = Y ϕ X t = ϕ Y t, t R n 2. Falls X und Y unabhängig sind, dann gilt: ϕ X+Y t = ϕ X t ϕ Y t, t R n. ohne Beweis: vergleiche den Beweis des Satzes , Folgerung 5.1.1, Vorlesungsskript WR. Satz Die Definitionen der multivariaten Normalverteilung sind äquivalent. 2. Die Definitionen und sind im Falle n = m äquivalent. Bemerkung Falls die Matrix K in Definition den vollen Rang n besitzt, so besitzt sie die Dichte aus Definition Sie wird in dem Fall regulär genannt. 2. Falls RangK = m < n, dann ist die Verteilung Nµ, K laut Definition auf dem m-dimensionalen linearen Unterraum {y R n : y = µ + Cx, x R m } konzentriert. Nµ, K ist in diesem Fall offensichtlich nicht absolutstetig verteilt und wird daher singulär genannt. Beweis. Wir beweisen: Definition a Wir zeigen: Die Definitionen und sind äquivalent. Dazu ist zu zeigen: Für die Zufallsvariable X mit der charakteristischen Funktion Es gilt: ϕ X t = exp{it µ 1 2 t Kt} a R n : a X Na µ, a Ka. ϕ t X1 = E e it X 1 ϕ Nµ,σ 2 = exp{it µ 1 2 t Kt} = ϕ X t t R n. Dies nennt man das Verfahren von Cramér-Wold, vergleiche den multivariaten zentralen Grenzwertsatz.

60 58 2 Lineare Regression b Wir zeigen: Die Definitionen und sind äquivalent. Dazu ist zu zeigen: X = µ + C Y mit µ, C, und Y wie in Definition ϕ X t = exp{it µ 1 2 t Kt}, wobei K = C C. Es gilt: y {}}{ C t,y ϕ µ+cy t = E e it,µ+cy = E e it µ+it CY = e it µ E e i Y N0,I = e it µ exp 1 { 2 y y = exp it µ 1 } 2 t C C t { = exp it µ 1 } 2 t Kt, t R n. 2. Zu zeigen ist: Aus X Nµ, K im Sinne von Definition 2.1.4, Y Nµ, K im Sinne der Definition 2.1.1, RangK = n folgt, daß ϕ X = ϕ Y. Aus der Definition die äquivalent zu Definition ist folgt, daß { ϕ X t = exp it µ 1 } 2 t Kt, t R n, ϕ Y t = E e it Y = R n e it y 1 2π n/2 1 = e it µ 1 R n 2π n/2 det K exp { exp det K { it x 1 2 x K 1 x 1 x x {}}{{}}{ y µ K 1 y µ 2 } dx } dy Wir diagonalisieren K : orthogonale n n-matrix V : V = V 1 und V KV = diagλ 1,..., λ n, wobei λ i > 0, i = 1,..., n. Mit der neuen Substitution: x = V z, t = V s erhalten wir: e it µ { ϕ Y t = 2π n/2 det K exp is V V z 1 } R n 2 z V K 1 V z dz e it µ { } =... exp is z 1 zi 2 dz 1... dz n 2π n λ 1... λ n R R 2 λ i n = e it µ 1 e is iz i z 2 i n n 2λ i dz i = e it µ 2 ϕ N0,λi s i = e it µ i λ i 2 2πλi R { = exp it µ 1 } 2 s diagλ 1,..., λ n s = exp = exp it µ 1 2 t V}{{ V } K V}{{ V } t = exp I I e s { it µ 1 2 V t V KV V t { it µ 1 } 2 t Kt, t R n. }

61 2 Lineare Regression Eigenschaften der multivariaten Normalverteilung Satz Es sei X = X 1,..., X n Nµ, K, µ R n, K symmetrisch und nichtnegativ definit. Dann gelten folgende Eigenschaften: 1. µ ist der Erwartungswertvektor von X: K ist die Kovarianzmatrix von X: E X = µ, das heißt: E X i = µ i, i = 1,..., n. K = k ij, mit k ij = CovX i, X j. 2. Jeder Teilvektor X = X i1,..., X ik 1 i 1 <... < i k n von X ist ebenso multivariat normalverteilt, X Nµ, K, wobei µ = µ i1,..., µ ik, K = k jl = CovX i j, X il, j, l = 1,..., k. Insbesondere sind X i Nµ i, k ii, wobei k ii = Var X i, i = 1,..., n. 3. Zwei Teilvektoren von X sind unabhängig genau dann, wenn entsprechende Elemente k ij von K, die ihre Kreuzkovarianzen darstellen, Null sind, das heißt: X = X 1,..., X k, X = X k+1,..., X n unabhängig wobei die Reihenfolge nur wegen der Einfachheit so gewählt wurde, aber unerheblich ist k ij = 0 für 1 i k, j > k oder i > k, 1 j k. K 0 K = 0 K K und K sind Kovarianzmatrizen von X bzw. X. 4. Faltungsstabilität: Falls X und Y unabhängige, n-dimensionale Zufallsvektoren mit X Nµ 1, K 1 und Y Nµ 2, K 2 sind, dann ist X + Y Nµ 1 + µ 2, K 1 + K 2. Übungsaufgabe Beweisen Sie Satz Satz Lineare Transformation von Nµ, K. Sei X Nµ, K ein n-dimensionaler Zufallsvektor, A eine m n-matrix mit RangA = m n, b R m. Dann ist der Zufallsvektor Y = AX + b multivariat normalverteilt: Y NAµ + b, AKA. Beweis. Ohne Beschränkung der Allgemeinheit setzen wir µ = 0 und b = 0, weil ϕ Y a t = e it a ϕ Y t, für a = Aµ + b. Es ist zu zeigen: Y = AX, X N0, K Y N0, AKA

62 60 2 Lineare Regression Es ist :=s {}}{ A t ϕ Y t = ϕ AX t = E e it AX = E e ix, { Def = exp 1 } { 2 s Ks = exp 1 } 2 t AKA t, t R n Y N 0, AKA Lineare und quadratische Formen von normalverteilten Zufallsvariablen Definition Seien X = X 1,..., X n und Y = Y 1,..., Y n Zufallsvektoren auf Ω, F, P, A eine n n-matrix aus R n2, die symmetrisch ist. 1. Z = AX heißt lineare Form von X mit Matrix A. 2. Z = Y AX heißt bilineare Form von X und Y mit Matrix A, Z = a ij X j Y i. j=1 3. Die Zufallsvariable Z = X AX die eine bilineare Form aus 2. mit Y = X ist heißt quadratische Form von X mit Matrix A. Satz Sei Z = Y AX eine bilineare Form von Zufallsvektoren X, Y R n bzgl. der symmetrischen Matrix A. Falls µ X = E X, µ Y = E Y und K XY = CovX i, Y j i,j=1,...,n die Kreuzkovarianzmatrix von X und Y ist, dann gilt: Beweis. E Z = E SpurZ = E SpurY AX E Z = µ Y Aµ X + SpurAK XY. wegen SpurAB = SpurBA = E SpurAXY = SpurAE XY wobei XY = X i Y j i,j=1,...,n = Spur AE X µ X Y µ Y + µ X Y + Xµ Y µ X µ Y = Spur AK XY + µ X µ Y + µ X µ Y µ X µ Y = Spur AK XY + Aµ X µ Y = SpurAK XY + Spur Aµ X µ Y = Spur µ Y Aµ X + Spur AK XY = µ Y Aµ X + Spur AK XY.

63 2 Lineare Regression 61 Folgerung Für quadratische Formen gilt E X AX = µ XAµ X + SpurA K, wobei µ X = E X und K die Kovarianzmatrix von X ist. Satz Kovarianz quadratischer Formen. Es sei X Nµ, K ein n-dimensionaler Zufallsvektor und A, B R n2 zwei symmetrische n n-matrizen. Dann gilt Folgendes: Cov X AX, X BX = 4µ AKBµ + 2 SpurAKBK. Lemma gemischte Momente. Es sei Y = Y 1,..., Y n N0, K ein Zufallsvektor. Dann gilt Folgendes: E Y i Y j Y k = 0, E Y i Y j Y k Y l = k ij k kl + k ik k jl + k jk k il, 1 i, j, k, l n, wobei K = k ij i,j=1,...,n die Kovarianzmatrix von Y ist. Übungsaufgabe Beweisen Sie dieses Lemma.

64 62 2 Lineare Regression Beweis von Satz CovX AX, X BX = E :=Y X AX X BX E X AX E X BX =Y Folgerung {}}{{}}{{}}{{}}{ = E X µ +µ A X µ +µ X µ +µ B X µ +µ µ Aµ + SpurAK µ Bµ + SpurBK [ ] = E Y AY + 2µ AY + µ Aµ Y BY + 2µ BY + µ Bµ µ Aµ µ Bµ µ Aµ SpurBK µ Bµ SpurAK SpurAK SpurBK = E Y AY Y BY + 2E Y AY µ BY + E Y AY µ Bµ + 2E µ AY Y BY + 4E µ AY µ BY + 2 E µ AY µ Bµ } {{ } =0 = E = E + µ Aµ E Y BY =Y + 2µ Aµ E µ BY + µ Aµ µ Bµ µ Aµ µ Bµ }{{} =0 µ Aµ SpurBK µ Bµ SpurAK SpurAK SpurBK Y AY Y BY =0 =0 Lemma { }} { + 2µ B E Y Y AY =Y +µ Bµ SpurAK { }} {{ }}{ + 2µ A E Y Y BY +4µ A E Y Y Bµ + µ Aµ SpurBK µ Aµ SpurBK µ Bµ SpurAK SpurAKSpurBK Y AY Y BY + 4µ AKBµ SpurAK SpurBK. =K Wegen E Y AY Y BY = E Lemma = = a ij k ij i,j=1 i,j,k,l=1 a ij Y i Y j i,j=1 b kl Y k Y l = k,l=1 a ij b kl k ij k kl + k ik k jl + k jk k il b kl k kl + 2 k,l=1 i,j,k,l=1 a ij k jl b lk k ki = 2 Spur AKBK + Spur AK Spur BK i,j,k,l=1 a ij b kl E Y i Y j Y k Y l

65 2 Lineare Regression 63 folgt: Cov X AX, X BX = 2 Spur AKBK + Spur AK Spur BK + 4µ AKBµ Spur AK Spur BK = 4µ AKBµ + 2 SpurAKBK. Folgerung Var X AX = 4µ AKAµ + 2 Spur AK 2 Satz Es seien X Nµ, K und A, B R n2 gilt: zwei symmetrische Matrizen. Dann CovBX, X AX = 2BKAµ Beweis. [ ] CovBX, X Folgerung AX = E BX BµX AX µ Aµ SpurAK [ ] = E BX µ X µ AX µ + 2µ AX 2µ Aµ SpurAK, denn X µ AX µ = X AX µ AX X Aµ + µ Aµ und mit der Substitution Z = X µ und damit E Z = 0 [ ] CovBX, X AX = E BZZ AZ + 2µ AZ SpurAK = E BZ Z AZ + 2E BZ µ AZ SpurAK = 2E BZ Z Aµ + E BZZ AZ = 2B E ZZ Aµ }{{} CovX=K + B E ZZ AZ = 2BKAµ, }{{} =0 wegen Z N0, K und Lemma und dem Beweis von Satz =BE Z=0 {}}{ E BZ Definition Es seien X i Nµ i, 1, i = 1,..., n unabhängig. Dann besitzt die Zufallsvariable Y = X X 2 n

66 64 2 Lineare Regression die sogenannte nicht-zentrale χ 2 n,µ-verteilung mit n Freiheitsgraden und dem Nichtzentralitätsparameter µ = µ 2 i. in Stochastik I betrachteten wir den Spezialfall der zentralen χ 2 n-verteilung mit µ = 0. In Bemerkung 5.2.1, Vorlesungsskript WR, haben wir momenterzeugende Funktionen von Zufallsvariablen eingeführt. Jetzt benötigen wir für den Beweis des Satzes folgenden Eindeutigkeitssatz: Lemma Eindeutigkeitssatz für momenterzeugende Funktionen. Es seien X 1 und X 2 zwei absolutstetige Zufallsvariablen mit momenterzeugenden Funktionen M Xi t = E e tx i, i = 1, 2, die auf einem Intervall a, b definiert sind. Falls f 1 und f 2 die Dichten der Verteilung von X 1 und X 2 sind, dann gilt f 1 x = f 2 x für fast alle x R M X1 t = M X2 t, t a, b. Ohne Beweis. Satz Die Dichte einer χ 2 n,µ-verteilten Zufallsvariable X mit n N und µ > 0 ist gegeben durch die Mischung der Dichten von χ 2 n+2j-verteilungen mit Mischungsvariable J Poissonµ/2: e µ/2 µ/2 j j! e x/2 x n+2j 2 1, x 0, f X x = j=0 Γ n+2j 2 2 n+2j 2 0, x < Beweis. 1. Wir berechnen zuerst M X t, X χ 2 n,µ: M X t = E e tx = E exp = n 1 2π { t X 2 i } e tx2 i e x i µ i 2 2 dx i t < 1 2, X i Nµ i, 1

67 2 Lineare Regression 65 Es gilt: tx 2 i x i µ i 2 2 Wir substituieren = 1 2 2tx2 i x 2 i + 2x i µ i µ 2 i = 1 x 2 i 1 2t 2x i µ i + 2 = 1 2 x i 1 2t = 1 2 x i 1 2t µ i 2 1 2t µ2 i 1 2t µ2 i µ i 1 2t 2 + µ 2 i µ 2 i y i = x i 1 2t µ i 1 2t 2t 1 2t 1 2t + µ2 i t und erhalten M X t = 1 2t n 2 n { } t exp µ 2 i 1 2t { = 1 2t n t 2 exp 1 2t µ 2 i } = 1 e y 2 i 2 dyi 2π }{{} =1 { } 1 µt exp, t < 1 1 2t n/2 1 2t Es sei Y eine Zufallsvariable mit der Dichte Wir berechnen M Y t: M Y t = j=0 e µ 2 = e µ 2 1 2t n 2 1 = 1 2t n 2 µ/2 j j! e xt e x 2 x n+2j 1 2 dx Γ n+2j 0 2 n+2j 2 }{{} 1 =M χ 2 t= Stochastik I, Satz n+2j 1 2tn+2j/2 µ j t j! j=1 { exp µ } { } 2 + µ 1 µ 1 1 2t = exp 21 2t 1 2t n t } = 1 2t n 2 exp { µt 1 2t = M X t = M Y t, t < 1 2 Nach Lemma gilt dann, f X x = f Y x für fast alle x R.

68 66 2 Lineare Regression Bemerkung werden: 1. Die Definition kann in folgender Form umgeschrieben Falls X N µ, I, µ = µ 1,..., µ n, dann gilt X 2 = X X χ 2 n,µ, wobei µ = µ Die obige Eigenschaft kann auf X N µ, K, mit einer symmetrischen, positiv definiten n n-matrix K verallgemeinert werden: X K 1 X χ 2 n, µ, wobei µ = µ K 1 µ, denn weil K positiv definit ist, gibt es ein K 1 2, sodaß K = K 1 2 K 1 2. Dann gilt Y = K 1 2 X NK 1 2 µ, I, weil K 1 2 KK 1 2 = K 1 2 K 1 2 K 1 2 K 1 2 = I und daher X K 1 X = Y Y Punkt 1 χ 2 n, µ, mit µ = K 1 2 µ K 1 2 µ = µ K 1 2 K 1 2 µ = µ K 1 µ. Satz Es sei X Nµ, K, wobei K eine symmetrische, positiv definite n n- Matrix ist, und sei A eine weitere symmetrische n n-matrix mit der Eigenschaft AK = AK 2 Idempotenz und RangA = r n. Dann gilt: X AX χ 2 r, µ, wobei µ = µ Aµ. Beweis. Wir zeigen, daß A nicht negativ definit ist. Somit gilt AK = AK 2 = AK AK K 1 = A = AKA x R n : x Ax = x AKAx = }{{} Ax K }{{} Ax 0 wegen der positiven Definitheit von K. =y =y = A ist nicht negativ definit. = H : eine n r-matrix mit RangH = r : A = HH X AX = X H H X = H}{{ X} H X = Y Y =Y Es gilt: Y NH µ, I r, denn nach Satz ist Y NH µ, H KH und RangH = r. Das heißt, H H ist eine invertierbare r r-matrix, und H KH = H H 1 H H H KH H HH H 1 }{{} =AKA=A = H H 1 H }{{} A HH H 1 =HH T = I r

69 2 Lineare Regression 67 Dann ist X AX = Y 2 χ 2 r, µ mit µ = H µ 2 = µ H H µ = µ Aµ. Satz Unabhängigkeit. Es sei X Nµ, K und K eine symmetrische, nichtnegativ definite n n-matrix. 1. Es seien A, B r 1 n bzw. r 2 n-matrizen, r 1, r 2 n mit AKB = 0. Dann sind die Vektoren AX und BX unabhängig. 2. Sei ferner C eine symmetrische, nicht-negativ definite n n-matrix mit der Eigenschaft AKC = 0. Dann sind AX und X CX unabhängig. Beweis. 1. Nach Satz 2.1.2, 3 gilt: AX und BX sind unabhängig ϕ AX,BX t = ϕ AX t ϕ BX t, t = t 1, t 2 R r 1+r 2, t 1 R r 1, t 2 R r 2. Es ist zu zeigen: Es gilt ϕ AX,BX t = E e it 1 A+t 2 und mit t 1 A + t 2 B = t 1 A K ϕ AX,BX t = E e it 1 A+t 2 B X! = E e it 1 AX E e it 2 BX. K t 1 A + t 2 B t 1 A B X Def = e it 1 A+t 2 B µ 1 2 t 1 A+t 2 B K t 1 A+t 2 B, + t 1 A K t 2 B + t 2 B K t 1 A + t 2 B K t 2 B = t 1 AKA t 1 + t 1 AKB }{{ } t 2 + t 2 BKA }{{ } t 1 + t 2 BKB t 2 =0 =AKB =0 ist ϕ AX,BX t = e it A 1 2 t 1 AKA t1 e it 2 B 1 2 t 2 BKB t 2 = ϕ AX t 1 ϕ BX t 2, t 1 R r 1, t 2 R r 2 2. C ist symmetrisch, nicht-negativ definit = Es gibt eine n r-matrix H mit RangH = r n und C = HH, = H H hat Rang r und ist somit invertierbar. Dann gilt: X CX = X HH X = H X H X = H X 2. Falls AX und H X unabhängig sind, dann sind auch AX und X CX = H X 2 unabhängig, nach dem Transformationssatz für Zufallsvektoren. Nach 1 sind AX und H X unabhängig, falls AKH = AKH = 0. Da nach Voraussetzung AKC = AKH H = 0 = AKH H H = 0,

70 68 2 Lineare Regression da aber H H 1, folgt, daß 0 = AKH H H H H 1 = AKH = AKH = 0 = AX und H X sind unabhängig = AX und X CX sind unabhängig. 2.2 Multivariate lineare Regressionsmodelle mit vollem Rang Die multivariate lineare Regression hat die Form Y = Xβ + ε, wobei Y = Y 1,..., Y n der Zufallsvektor der Zielvariablen ist, X = x ij,...,n j=1,...,m ist eine deterministische Design-Matrix mit vollem Rang, RangX = r = m n, β = β 1,..., β m ist der Parametervektor und ε = ε 1,..., ε n ist der Zufallsvektor der Störgrößen, mit E ε i = 0, Var ε i = σ 2 > 0. Das Ziel dieses Abschnittes wird sein, β und σ 2 geeignet zu schätzen Methode der kleinsten Quadrate Sei X = X 1,..., X m, wobei die deterministischen Vektoren X j = x 1j, x 2j,..., x nj, j = 1,..., m einen m-dimensionalen linearen Unterraum L X = X 1,..., X m aufspannen. Sei eβ = 1 n Y Xβ 2 = 1 n Y i x i1 β 1... x im β m 2 die mittlere quadratische Abweichung zwischen Y und Xβ. Der MKQ-Schätzer ˆβ für β ist definiert durch ˆβ = argmineβ Warum existiert eine Lösung β R m des quadratischen Optimierungsproblems 2.2.1? Geometrisch kann X ˆβ als die orthogonale Projektion des Datenvektors Y auf den linearen Unterraum L X interpretiert werden. Formal zeigen wir die Existenz der Lösung mit folgendem Satz.

71 2 Lineare Regression 69 Abbildung 2.1: Projektion auf den linearen Unterraum L X Satz Unter den obigen Voraussetzungen existiert der eindeutig bestimmte MKQ- Schätzer ˆβ, der die Lösung der sogenannten Normalengleichung ist: X Xβ = X Y Daher gilt: ˆβ = X X 1 X Y. Beweis. Die notwendige Bedingung für die Existenz des Minimums ist e β = 0, das heißt eβ e β =,..., eβ = 0. β 1 β m Es gilt: e β = 2 n X Xβ X Y = ˆβ ist eine Lösung der Normalengleichung X Xβ = X Y. Wir zeigen die hinreichende Bedingung des Minimums: e 2 eβ β = = 2 β i β j n X X. i,j=1,...,m X X ist symmetrisch und positiv definit, weil X einen vollen Rang hat: y 0, y R m : y X Xy = Xy Xy = Xy 2 > 0

72 70 2 Lineare Regression und aus y 0 = Xy 0, folgt, daß e β positiv definit ist. Also ist X X invertierbar. Das heißt, ˆβ ist der Minimumpunkt von eβ. Den Schätzer ˆβ = X X 1 X Y bekommt man, indem man die Normalengleichung X Xβ = X Y von links mit X X 1 multipliziert. Beispiel Einfache lineare Regression 1 x 1 1 x 2 X =.. 1 x n m = 2, β = β 1, β 2, Y = Xβ + ε ˆβ = ˆβ1, ˆβ 2 ergibt den MKQ-Schätzer aus der Stochastik I wobei X n = 1 n ˆβ 2 = S2 XY SXX 2, ˆβ1 = Y n X n ˆβ2, X i, S 2 XY = 1 n 1 S 2 XX = 1 n 1 Y n = 1 n Y i Xi X n Yi Y n 2 Xi X n Übungsaufgabe Beweisen Sie dies! 2. Multiple lineare Regression Y = Xβ + ε mit Designmatrix 1 x 11 x 1m X =.... für β = β 0, β 1,..., β m. 1 x n1 x nm Der MKQ-Schätzer ˆβ = X X 1 X Y ist offensichtlich ein linearer Schätzer bezüglich Y. Wir werden jetzt zeigen, daß ˆβ der beste lineare, erwartungstreue Schätzer von β im Englischen BLUE = best linear unbiased estimator in der Klasse { } L = β = AY + b : E β = β aller linearen erwartungstreuen Schätzer ist.

73 2 Lineare Regression 71 Satz Güteeigenschaften des MKQ-Schätzers ˆβ. Es sei Y = Xβ + ε ein multivariates lineares Regressionsmodell mit vollem Rang m und Störgrößen ε = ε 1,..., ε n, die folgende Voraussetzungen erfüllen: E ε = 0, Covε i, ε j = σ 2 δ ij, i, j = 1,..., n für ein σ 2 0,. Dann gilt Folgendes: 1. Der MKQ-Schätzer ˆβ = X X 1 X Y ist erwartungstreu: E ˆβ = β. 2. Cov ˆβ = σ 2 X X 1 3. ˆβ besitzt die minimale Varianz: β L : Var β j Var ˆβ j, j = 1,..., m. Beweis. 1. Es gilt: E ˆβ = E [ 1 X X X Xβ + ε] 1 1 = X X X X β + X X X }{{} E ε =0 = β β R m. 2. Für alle β = AY + b L gilt: β = E β = AE Y + b = AXβ + b β R m. = b = 0, AX = I. = β = AY = A Xβ + ε = AXβ + Aε = β + Aε. Für gilt: 1 ˆβ = X X X Y } {{ } =A Cov ˆβ = E ˆβi β i ˆβj β j i,j=1,...,m = E Aε Aε = E Aεε A = AE εε A 1 = A σ 2 IA = σ 2 AA = σ 2 X X X = σ 2 X X 1 X X X X 1 = σ 2 X X 1. 1 X X X

74 72 2 Lineare Regression 3. Sei β L, β = β + Aε. Zu zeigen ist, daß Cov β = ii σ2 AA ii Cov ˆβ = ii σ2 X X 1 ii, i = 1,..., m. Sei D = A X X 1 X, dann folgt: A = D + X X 1 X, AA = 1 D + X X X 1 D + X X X 1 = DD + X X, weil DX 1 X X = AX }{{} =I 1 1 X X X X X X = 0 } {{ } =I 1 1 X X X D = DX X X = 0. = AA = DD X X X X ii ii ii ii }{{} 0 = Var ˆβ i Var β i, i = 1,..., m. Satz Es sei ˆβ n der MKQ-Schätzer im oben eingeführten multivariaten linearen Regressionsmodell. Sei {a n } n N eine Zahlenfolge mit a n 0, n N, a n 0 n. Es wird vorausgesetzt, daß eine invertierbare m m-matrix Q existiert mit Dann ist ˆβ n schwach konsistent: Q = lim a n X n n X n. ˆβ n p n β. Beweis. p ˆβ n β P ˆβn β > ε 0 ε > 0. n n

75 2 Lineare Regression 73 P ˆβn β > ε = P ˆβn β 2 > ε 2 m = P ˆβ 2 m { in β i > ε 2 2 ε 2 } P ˆβin β i > m m ε P ˆβin β i > m m m Var ˆβ in ε 2 0, n falls Var ˆβ in n 0, i = 1,..., m. Var ˆβ in ist ein Diagonaleintrag von der Matrix Cov ˆβ n Satz2.2.2 = σ 2 X n X n 1. Wenn wir zeigen, daß Cov ˆβ n n 0, ist der Satz bewiesen. Es existiert und damit gilt: lim Cov ˆβ n = σ 2 lim n n Q 1 = lim n = 0 Q 1 σ 2 = 0. aus der Ungleichung von Tschebyschew 1 1 Xn X n a n X n X n 1 = σ 2 lim n a n 1 1 Xn X n a n Schätzer der Varianz σ 2 Wir führen den Schätzer ˆσ 2 für die Varianz σ 2 der Störgrößen ε i folgendermaßen ein: ˆσ 2 = 1 Y X n m ˆβ Dies ist eine verallgemeinerte Version des Varianzschätzers aus der einfachen linearen Regression, die wir bereits in Stochastik I kennenlernten. Dabei ist Ŷ = Y X ˆβ der Vektor der Residuen. Satz Erwartungstreue. Der Varianzschätzer ˆσ 2 = 1 Y X n m ˆβ ist erwartungstreu. Das heißt, E ˆσ 2 = σ 2. 2

76 74 2 Lineare Regression Beweis. ˆσ 2 = 1 Y X n m ˆβ Y X ˆβ = 1 n m 1 Y XX X 1 X T Y Y X X X X Y = 1 n m DY DY wobei D = I XX X 1 X eine n n-matrix ist. Dann ist ˆσ 2 = 1 n m Y D DY = 1 n m Y D 2 Y = 1 n m Y DY, falls D = D und D 2 = D das heißt, daß D symmetrisch und idempotent ist. Tatsächlich gilt: D = I X X X D 2 = Weiterhin gilt: 1 I XX X 1 X T I X 1 = I 2X X X X + X 1 = I X X X X = D. 1 X = I X X X X = D. 1 X X X 1 1 X X X X X X X ˆσ 2 = 1 n m Spur Y DY = 1 n m Spur = E ˆσ 2 = 1 n m Spur DE DY Y Y Y = σ2 Spur D, n m denn und Spur D E = Spur Y Y DXβXβ + DXβ E}{{} ε +D }{{} E ε Xβ + D E εε =0 =0 DX = 1 I X X X X T X = X X X X 1 X X = X X = 0. }{{} = Covε = σ 2 I

77 2 Lineare Regression 75 Es bleibt zu zeigen, daß SpurD = n m: 1 SpurD = Spur I X X X X = n Spur X X 1 X X } {{ } eine m m-matrix 1 = SpurI Spur X X X X = n m Maximum-Likelihood-Schätzer für β und σ 2 Um Maximum-Likelihood-Schätzer für β und σ 2 bzw. Verteilungseigenschaften der MKQ- Schätzer ˆβ und ˆσ 2 herleiten zu können, muß die Verteilung von ε bzw. Y präzisiert werden. Wir werden ab sofort normalverteilte Störgrößen betrachten, die unabhängig und identisch verteilt sind: Daraus folgt: ε N 0, σ 2 I, σ 2 > 0. Y N Xβ, σ 2 I. Wie sieht die Verteilung der MKQ-Schätzer ˆβ und ˆσ 2 aus? Da ˆβ = X X 1 X Y linear von Y abhängt, erwartungstreu ist und die Cov ˆβ = ˆσ 2 X X 1 besitzt, gilt: ˆβ 1 N β, σ 2 X X Berechnen wir nun Maximum-Likelihood-Schätzer für β und σ 2, und zwar β und σ 2. Dann zeigen wir, daß sie im Wesentlichen mit den MKQ-Schätzern übereinstimmen. β = ˆβ, σ 2 = n m ˆσ 2. n Betrachten wir zunächst die Likelihood-Funktion von Y : Ly, β, σ 2 = f Y y = und die Log-Likelihood-Funktion 1 2πσ n exp { 1 2σ 2 y Xβ y Xβ log Ly, β, σ 2 = n 2 log 2π n 2 log σ 2 1 y Xβ 2. 2σ2 }{{} :=g Die Maximum-Likelihood-Schätzer sind dann β, σ 2 = argmax log Ly, β, σ 2, β R m, σ 2 >0 sofern sie existieren. }

78 76 2 Lineare Regression Satz Maximum-Likelihood-Schätzung von β und σ 2. Es existieren eindeutig bestimmte Maximum-Likelihood-Schätzer für β und σ 2, die folgendermaßen aussehen: β = ˆβ 1 = X X X Y σ 2 = n m ˆσ 2 = 1 Y X n n β 2. Beweis. Wir fixieren σ 2 > 0 und suchen β = argmax log LY, β, σ 2 = argmin Y Xβ 2, β R m β R m woraus folgt, daß β mit dem bekannten MKQ-Schätzer ˆβ = X X 1 X Y identisch ist, der nicht von σ 2 abhängt. Berechnen wir jetzt σ 2 = argmax log L Y, β, σ 2 = argmax gσ 2. σ 2 >0 σ 2 >0 Es gilt g σ 2, σ 2 + g σ 2 σ 2 0, weil Y Xβ 2 0, dadurch, daß Y N Xβ, σ 2 I {Xy : y R m } mit Wahrscheinlichkeit Null. Da g σ 2 = n 1 Y Xβ + 2 σ2 2 σ 2 2 = 0, ist σ 2 = 1 Y X n β 2 ein Maximumpunkt von gσ 2, das heißt, σ 2 ist ein Maximum-Likelihood-Schätzer für σ 2. Satz Unter den obigen Voraussetzungen gilt: 1. E σ 2 = n m n σ2, das heißt, σ 2 ist nicht erwartungstreu; allerdings ist er asymptotisch unverzerrt. n 2. σ 2 χ 2 σ n m, n m ˆσ 2 χ 2 2 σ n m. 2 Beweis. 1. Trivial vergleiche den Beweis von Satz Wir zeigen den Satz nur für ˆσ 2. n m σ 2 ˆσ 2 = 1 Y X ˆβ σ 2 2 = 1 σ 2 Y D }{{} =D 2 Y nach dem Beweis von Satz = 1 σ 2 DY DY = 1 σ 2 D Xβ + ε D Xβ + ε = 1 ε ε σ 2 Dε Dε = D, σ σ

79 2 Lineare Regression 77 wobei ε N 0, I. σ Nach Satz gilt ε σ D ε σ χ2 r, wobei r = RangD, weil DI = D idempotent ist. Falls r = n m, dann ist n m ˆσ 2 χ 2 n m. Zeigen wir, daß RangD = r = n m. Aus der linearen Algebra ist bekannt, daß RangD = n dimkernd. Wir zeigen, daß KernD = {Xx : x R m } und damit dimkernd = m, weil RangX = m. Es ist {Xx : x R n } KernD, da DX = I XX X 1 X X = X X X 1 X X = 0. und KernD {Xx : x R m }, weil y KernD : Dy = 0 I XX X 1 X y = 0 y = X X X 1 X Y = Xx {Xx : x R m }. }{{} x Satz Sei Y = Xβ + ε ein multivariates lineares Regressionsmodell mit Y = Y 1,..., Y n, Designmatrix X mit RangX = m, β = β 1,..., β m, ε N0, σ 2 I. Dann sind die Schätzer ˆβ = X X 1 X Y für β bzw. ˆσ 2 = 1 n m Y X ˆβ 2 für σ 2 unabhängig voneinander. Beweis. In diesem Beweis verwenden wir den Satz 2.1.9, für dessen Anwendung wir ˆβ als lineare und ˆσ 2 als quadratische Form von ε darstellen. Es ist in den Beweisen der Sätze und gezeigt worden, daß ˆβ = β + X X 1 X ε, }{{} =A ˆσ 2 = 1 n m ε Dε, wobei D = I XX X 1 X. Zusätzlich gilt AD = 0, weil nach dem Beweis des Satzes Da ε N0, σ 2 I, folgt daraus AD = D A = D }{{ X} X X 1 = 0. =0 Aσ 2 ID = 0. Deshalb sind die Voraussetzungen des Satzes erfüllt, und ˆβ und ˆσ 2 sind unabhängig.

80 78 2 Lineare Regression Tests für Regressionsparameter In diesem Abschnitt wird zunächst die Hypothese H 0 : β = β 0 vs. H 1 : β β 0 für ein β 0 R m getestet. Dafür definieren wir die Testgröße ˆβ β0 X X ˆβ β0 T = mˆσ 2. Man kann zeigen vergleiche Satz 2.2.8, daß unter H 0 gilt: T F m,n m. Daraus folgt, daß H 0 abgelehnt werden soll, falls T > F m,n m,1 α, wobei F m,n m,1 α das 1 α-quantil der F m,n m -Verteilung darstellt. Dies ist ein Test zum Niveau α 0, 1. Spezialfall: Der Fall β 0 = 0 beschreibt einen Test auf Zusammenhang ; das heißt, man testet, ob die Parameter β 1,..., β m für die Beschreibung der Daten Y relevant sind. Bemerkung Wie kann man verstehen, daß die Testgröße T tatsächlich H 0 von H 1 unterscheiden soll? Führen wir die Bezeichnung ein; dabei gilt: Ỹ = Y X ˆβ }{{} :=Ŷ ˆσ 2 = 1 Ỹ n m 2 und Ỹ ist der Vektor der Residuen. Ohne Beschränkung der Allgemeinheit setzen wir β 0 = 0. Falls H 0 nicht gelten soll, dann ist β 0, und somit Xβ 2 = Xβ Xβ = β X Xβ > 0, weil X den vollen Rang hat. Daraus folgt, daß H 0 abgelehnt werden soll, falls Ŷ 2 = X ˆβ 2 = ˆβ X X ˆβ 0. In der Testgröße X ˆβ 2 sind allerdings die Schwankungen der Schätzung von β nicht berücksichtigt. Deswegen teilt man X ˆβ 2 durch ˆσ 2 : T = ˆβ X X ˆβ m ˆσ 2 = m n m Ŷ 2 Y Ŷ 2.

81 2 Lineare Regression 79 Der Satz von Pythagoras liefert Y 2 = Ỹ 2 + Ŷ 2, wobei unter H 0 E Ŷ 2 = E Y 2 E Y Ŷ 2 = nσ 2 E Ỹ 2 gilt, und somit E Ŷ 2 H 0 m E n m Ỹ 2 = nσ2 E Ỹ 2 = n m nσ 2 m n me Ỹ 2 m E Ỹ 1, 2 weil E Y 2 = E Y Y = σ 2 n, wegen Y N0, σ 2 I. = Die Testgröße T ist sensibel gegenüber Abweichungen von H Die Größe Ỹ 2 = Y Ŷ 2 wird Reststreuung genannt. Mit deren Hilfe kann der Begriff des Bestimmtheitsmaßes R 2 aus der Stochastik I wie folgt verallgemeinert werden: wobei e = 1,..., 1, Y n = 1 n Satz Unter H 0 : β = β 0 gilt Ỹ 2 R 2 = 1 Y Y n e 2, Y i. ˆβ β0 X X ˆβ β0 Beweis. Es gilt T = mˆσ 2 F m,n m. ˆβ 1 N β 0, σ 2 X X = ˆβ β 0 N 0, σ 2 X X 1 }{{} :=K. Falls A = X X σ 2, dann ist AK = I idempotent. Dann gilt nach Satz ˆβ β0 A ˆβ β0 H0 χ 2 m Zur Information: Unter H 1 wäre ˆβ β 0 A ˆβ β 0 nicht-zentral χ 2 -verteilt.

82 80 2 Lineare Regression Es gilt zusätzlich: n m σ 2 ˆσ 2 χ 2 n m. Aus Satz folgt die Unabhängigkeit von ˆβ β 0 A ˆβ β 0 und n m σ 2 ˆσ 2. = T = ˆβ β 0 X X ˆβ β 0 /m n mˆσ 2 /n m F m,n m nach der Definition der F -Verteilung. Jetzt wird die Relevanz der einzelnen Parameter β j getestet: Satz Unter H 0 : β j = β 0j gilt: H 0 : β j = β 0j vs. H 1 : β j β 0j. T j = ˆβ j β 0j ˆσ t n m, wobei x jj 1 X X = x ij i,j=1,...,m. Beweis. Aus ˆβ H 0 Nβ 0, σ 2 X X 1 folgt ˆβ H 0 j Nβ0j, σ 2 x jj und somit ˆβ j β 0j N0, σ 2 x jj. Dann ist ˆβ j β 0j σ N0, 1. Zusätzlich gilt: n mˆσ2 H x jj σ 0 χ 2 2 n m, und nach Satz sind beide Größen unabhängig. Daraus folgt: T j = ˆβ j β 0j σ x jj n mˆσ 2 n mσ 2 t n m. Somit wird H 0 : β j = β j0 abgelehnt, falls T > t n m,1 α/2. Dies ist ein Test von H 0 vs. H 1 zum Niveau α. Sei nun H 0 : β j1 = β 0j1,..., β jl = β 0jl vs. H 1 : i {1,..., l} : β ji β 0ji die zu testende Hypothese. Übungsaufgabe Zeigen Sie, daß unter H 0 folgende Verteilungsaussage gilt: T = ˆβ β 0 K ˆβ β 0 lˆσ 2 F l,n m,

83 2 Lineare Regression 81 wobei ˆβ = ˆβ j1,..., ˆβ jl, β 0 = β 0j1,..., β 0jl, x j 1j 1 x j 1j l K =... x j lj 1 x j lj l Konstruieren Sie den dazugehörigen F -Test! Test auf Linearkombination von Parametern Sei nun 1 H 0 : Hβ = c vs. H 1 : Hβ c, wobei H eine r m-matrix und c R r sind, r m. Satz Unter H 0 gilt T = H ˆβ c HX X 1 H 1 H ˆβ c r ˆσ 2 F r,n m. Deshalb wird H 0 : Hβ = c abgelehnt, falls T > F r,n m,1 α. Übungsaufgabe Beweisen Sie Satz ! Konfidenzbereiche 1. Konfidenzintervall für β j Im Satz haben wir gezeigt, daß ˆβ j β j ˆσ x jj t n m, wobei X X 1 = x ij i,j=1,...,m. Daraus kann mit den üblichen Überlegungen folgendes Konfidenzintervall für β j zum Niveau 1 α abgeleitet werden: P ˆβj t n m,1 α/2 ˆσ x jj β j ˆβ j + t n m,1 α/2 ˆσ x jj = 1 α. 2. Simultaner Konfidenzbereich für β = β 1,..., β m Falls A j wie unten definiert ist, dann erhält man mit Hilfe folgender Bonferroni- Ungleichung m m P P A j m 1, j=1 A j j=1.

84 82 2 Lineare Regression daß P ˆβ j t n m,1 α/2m ˆσ x jj β j ˆβ j + t n m,1 α/2m ˆσ x jj, j = 1,..., m }{{} :=A j Bonferroni m P A j m 1 = m 1 α m + 1 = 1 α. m j=1 Daraus folgt, daß { [ β = β 1,..., β m : β j ˆβj t n m,1 α/2m ˆσ x jj, ˆβ + t n m,1 α/2m ˆσ ]} x jj ein simultaner Konfidenzbereich für β zum Niveau 1 α ist. 3. Konfidenzellipsoid für β. In Satz haben wir bewiesen, daß Daraus folgt, daß T = ˆβ β X X ˆβ β mˆσ 2 F m,n m. P T F m,n m,1 α = 1 α und { E = β R m : ˆβ β X X ˆβ } β mˆσ 2 F m,n m,1 α ein Konfidenzellipsoid zum Niveau 1 α ist, siehe Abbildung 2.2. Abbildung 2.2: Konfidenzellipsoid Da ein Ellipsoid in das minimale Parallelepipet P eingebettet werden kann, sodaß die Seitenlängen von P gleich 2 der Halbachsenlängen von E sind, ergibt sich folgender simultaner Konfidenzbereich für β = β 1,..., β m : { P = β : ˆβ } j ˆσ mx jj F m,n m,1 α β j ˆβ j + ˆσ mx jj F m,n m,1 α j = 1,..., m.