Die Verteilung dieser Werte y ist eine Normalverteilung. hängt nicht von u ab

Transkript

1 Einfache lineare Regression als Beispiel für das ALM ALM : Allgemeines Lineares Modell Y : Kriterium U : Prädiktor Modell : Erwartungswert von Y ist lineare Funktion von U Genauer : Für festes u gilt für den Erwartungswert möglicher Werte y E(y) = βu + α Die Verteilung dieser Werte y ist eine Normalverteilung Die Varianz σ 2 hängt nicht von u ab y E(y) = βu + α u Beachte die gleichen Varianzen α und β sind theoretische Parameter β ist hier nicht der standardisierte Regressionskoeffizient aus der deskriptiven Statistik 51 Modell und Fragestellungen ALM07 1

2 Y und U sind Variablen nur im informellen Sinn und nicht Zufallsvariablen Zunächst : U ist experimentell gesetzt Von einer Verteilung von U und Y sprechen kann man nicht sinnvoll Dagegen : Für einen konkreten Wert von u ist y Zva Hier ist y klein geschrieben ( womöglich besser y u ) y ist noch kein konkreter Wert Untersuchung in Planungsphase Unterschied zur deskriptiven linearen Regression Deskriptive lineare Regression Ziel : Nur optimale Vorhersage Noch keine theoretische Ebene Folglich keine theoretischen Fragen Lineare Regression im ALM Starke Modellannahmen : E(y) ist lineare Funktion von u y ist für jedes feste u normalverteilt Die Varianzen sind für alle u gleich Ohne Gültigkeit der Annahmen : Weitere Rechnungen sinnlos 51 Modell und Fragestellungen ALM07 2

3 Rechtfertigung der Modellannahmen Inhaltliche, keine statistische Aufgabe Optimal : Angabe von Mechanismen, die zur Modellgleichung führen am besten exakt in der linearen Form Wenigstens näherungsweise Gültigkeit sollte plausibel sein Bei nur kleiner Variation von U kann linearer Zusammenhang lokal ungefähr richtig sein, auch wenn er global nicht vorliegt Interpretation : kausal oder deskriptiv? Keine statistische, sondern inhaltliche Frage Beachte Art der Datengewinnung ( Versuchsplan ) Kausalität kann ( auch hier ) nicht statistisch begründet werden Mögliche Fragen Modellgültigkeit muss vorausgesetzt werden! Sonst können Rechenergebnisse nicht interpretiert werden! Wie groß sind α, β, σ 2? Wie groß ist E(y) für u = 1 ( also β + α )? Punktschätzer und Bereichsschätzer Ist β = 0 oder α = 0? Hypothesentesten 51 Modell und Fragestellungen ALM07 3

4 Daten : Nur drei Werte für U : Jeweils ein Wert für Y soll erhoben werden : Bezeichnung : y 1, y 2, y 3 Die y i sind normalverteilt mit Varianz σ 2 Erwartungswerte: E(y 1 ) = 1 α + 3 β E(y 2 ) = 1 α + 5 β E(y 3 ) = 1 α + 8 β Fasse die y i zu Zufallsvektor y zusammen E(y 1 ) 1 3 ( ) α E(y) = E(y 2 ) = 1 5 β E(y 3 ) 1 8 Zweite Spalte : die untersuchten Werte von U E(y) ergibt sich aus (α, β) über eine lineare Abbildung Daher Allgemeines lineares Modell Die Matrix heißt Designmatrix X = Der Vektor (α, β) heißt Parametervektor Traditionelle Bezeichnung : β 51 Modell und Fragestellungen ALM07 4

5 Modellgleichung : E(y) = Xβ E(y) : Modellvorhersage Ergebnis in fehlerfreier Situation Abhängig von Parametern Designmatrix: X = Zeilen Beobachtungskonstellationen Spalten Einflüsse der Parameter Hier : 2 Spalten ( Anzahl der unabhängigen Variablen ) e i = y i E(y i ) heißt Fehler Zu Vektor zusammengefasst : Fehlervektor e e i N(0, σ 2 ) 51 Modell und Fragestellungen ALM07 5

6 Modellgleichungen mit Fehler : y 1 y 2 y 3 = 1 3 ( ) α 1 5 β e 1 e 2 e 3 Kurz y = Xβ + e Voraussetzung für Fehler : Die e i sind (gemeinsam) unabhängig Gleichbedeutend : Die y i sind (gemeinsam) unabhängig Modell insgesamt : y = Xβ + e mit e N 3 (0, σ 2 I) Noch kürzer : y N 3 (Xβ, σ 2 I) Beachte die Voraussetzungen Normalverteiltheit Varianzhomogenität Unabhängigkeit 51 Modell und Fragestellungen ALM07 6

7 Das Allgemeine Lineare Modell Situation : Variable Y soll erhoben werden in mehreren Bedingungskonstellationen Insgesamt n Beobachtungen y i ( n-vektor y ) Die E(y i ) sind lineare Funktionen von k Modellparametern β j Zusammenfassung zu k-parametervektor β Genauer : E(y) = Xβ Die (n k)-matrix X heißt Designmatrix Die y i sind unabhängig normalverteilt mit gleicher Varianz σ 2 Für die Fehler e i = y i E(y i ) ( n-vektor e ) gilt e N n (0, σ 2 I) Modellgleichung : y = Xβ + e mit e N n (0, σ 2 I) noch kürzer : y N n (Xβ, σ 2 I) 51 Modell und Fragestellungen ALM07 7

8 Bemerkungen Unabhängigkeit der e i ist äquivalent zur Unabhängigkeit der y i Designmatrix : j-te Spalte : Wirkung des j-ten Parameters i-te Zeile : Bedingungskonstellation für die i-te Beobachtung Ausführlich : E(y i ) = k x ij β j j=1 Die Einträge x ij in der Designmatrix hängen oft teilweise mit Werten gewisser unabhängiger Variablen zusammen Modellgleichung : Zwei Bedeutungen : Gleichung für Einzelbeobachtungen Beispiel Regression : E(y) = βu + α oder y = βu + α + e Gleichung für den Erwartungswertvektor oder Ergebnisvektor : E(y) = Xβ bzw y = Xβ + e 51 Modell und Fragestellungen ALM07 8

9 Ziele bei der Anwendung des ALM Schätzungen ( Punkt- und Bereichsschätzungen ) von Parametern Funktionen von Parametern Testen von Hypothesen über Parameter Funktionen von Parametern Abschwächungen der Modellannahmen des klassischen ALM Normalverteilungsannahme Struktur der Kovarianzmatrix des Fehlers e X kann teilweise stochastisch sein ( Regression ) 51 Modell und Fragestellungen ALM07 9

10 Beispiel : Polynomiale Regression E(y) ist Polynom der unabhängigen Variable Beispiel : Polynom vom Grad 3 : E(y) = β 0 + β 1 u + β 2 u 2 + β 3 u 3 = 3 β k u k k=0 y u Für u = 1, 0, 1, 2, 3, 4 sollen Daten erhoben werden Beispiel : Erwartungswert von y für u = 2 : 3 β k 2 k = β 0 + β β β = 1 β β β β 3 k=0 Gleichung für den Erwartungswertvektor : E(y) = Xβ = β 0 β 1 β 2 β 3 51 Modell und Fragestellungen ALM07 10

11 Designmatrix : Spalten : Werte der Variablen U 0 = 1, U, U 2 und U 3 Linearität : Modellvorhersage E(y) geht aus Parametervektor β durch Anwendung einer linearen Abbildung ( X ) hervor Nicht etwa : Y ist eine lineare Funktion von U Anzahl der Spalten hat wenig mit Zahl der unabhängigen Variablen zu tun Wie immer : Anwendung nur sinnvoll, wenn Modellannahmen stimmen? Rechtfertigung? Nur deskriptive Interpretation ( wieso ausgerechnet so? ) Besser : Theoretische Begründung : Beispiel : Physiker weiß : s = 1/2gt 2 Frage : g =? Mögliche (Null-)Hypothese : β 3 = 0 51 Modell und Fragestellungen ALM07 11

12 Beispiel : Regression ohne Konstante Beispiel : Aus theoretischen Gründen ist Y proportional zu U Beispiel : Y : Kraftstoffverbrauch U : Kilometerzahl Modellgleichung : y = βu + e Daten : u = 4, 4, 9, 16 Designmatrix : X = Frage : β =? ( Verbrauch pro Kilometer ) 51 Modell und Fragestellungen ALM07 12

13 Beispiel : Multiple lineare Regression Y : Kriterium U 1,, U m : Prädiktoren Modell: y = β j u j + α + e Die β j sind hier Parameter auf theoretischer Ebene Nicht : Standardisierte Regressionsgewichte Unterschied zur deskriptiven Regression Dort : Nur optimale Vorhersage Hier : Voraussetzung eines starken theoretischen Modells Beispiel : 2 Prädiktoren U 1, U 2 : E(y) = β 1 u 1 + β 2 u 2 + α Parallele Geraden, gleiche Abstände bei gleichen U 2 -Differenzen y u 2 = 4 u 2 = 3 u 2 = 2 u 1 51 Modell und Fragestellungen ALM07 13

14 ? Rechtfertigung der Modellannahmen? Mit steigender Zahl von Prädiktoren : Frage wird ebenso dringlicher wie schwieriger Interpretation der Parameter : Nur deskriptiv oder Wiederspiegelung von Mechanismen? Inhaltliche Frage ( Versuchsplanung ) Beispiel : Zwei Prädiktoren Werte : 2, 3, 4, 5, 1 bzw 3, 3, 4, 4, 5 E(y) = β 1 u 1 + β 2 u 2 + α Designmatrix ( Reihenfolge der Parameter : α, β 1, β 2 ) Zweite und dritte Spalte : Werte der Prädiktoren Möglicher Test : Ist ein bestimmtes β j gleich 0? Übersetzung : Hat U j einen Einfluss? (??) Auch signifikante Ergebnisse stützen für sich genommen keine Kausalinterpretationen 51 Modell und Fragestellungen ALM07 14

15 Beispiel : Moderatorvariablen Y : Kriterium U 1 : Prädiktor U 2 : Moderator Erwartungswert von Y ist lineare Funktion von U 1 Einfluss wird durch U 2 moderiert Genauer : Steigung ist von U 2 abhängig Umsetzung in ein hartes Modell : E(y) = β 1 u 1 + β 2 u 2 + β 3 u 1 u 2 + α Umgruppierung : E(y) = ( β 1 + β 3 u 2 ) u 1 + ( β 2 u 2 + α ) Für festes u 2 ist E(y) eine lineare Funktion von u 1 Steigung und Achsenabschnitt sind lineare Funktionen von u 2 Gleiche Änderungen von u 2 gleiche Änderungen in Steigung bzw Achsenabschnitt 51 Modell und Fragestellungen ALM07 15

16 Graphische Illustration der Moderatorwirkung : y u 2 = 7 u 2 = 6 u 1 u 2 = 5 u 2 = 4 Alle Geraden schneiden sich in einem Punkt Interessante Konsequenz ( plausibel?! ) Beispiel : U 1 : 1, 2, 3, 4, 5, 6 U 2 : 1, 1, 3, 3, 5, 5 Designmatrix ( Parameterreihenfolge : α, β 1, β 2, β 3 ) Zweite, dritte, vierte Spalte : U 1, U 2, U 1 U 2 Mögliche Frage : β 3 = 0? ( Moderatorwirkung vorhanden? ) 51 Modell und Fragestellungen ALM07 16

17 Beispiel : Eine Stichprobe Mehrfaches unabhängiges Ziehen aus einer Population Oder : Mehrfache unabhängige Replikationen eines Experiments Modellgleichung : y i = µ + e i Parameter µ : Erwartungswert in der Population Beispiel : Drei Beobachtungen Modellgleichung ausführlich : y 1 y 2 y 3 = 1 1 (µ) + 1 e 1 e 2 e 3 Designmatrix : Mögliche Fragestellungen : Schätzung von µ Test : µ = 0? 51 Modell und Fragestellungen ALM07 17

18 Beispiel : Zwei Stichproben Mehrfaches unabhängiges Ziehen aus zwei Populationen Oder: Replikationen eines Experiments unter zwei Bedingungen µ 1, µ 2 : Erwartungswerte Modellgleichung für Beobachtung i in Gruppe j : y ij = µ j + e ij Beispiel : 2 Werte aus der ersten, 3 aus der zweiten Population Modellgleichung ausführlich : y y ( ) µ 1 y 12 = 0 1 µ y y e 11 e 21 e 12 e 22 e 32 Designmatrix ( Reihenfolge der Parameter : µ 1, µ 2 ) Mögliche Fragestellungen : Schätzung von µ 1, µ 1 µ 2 Test : µ 1 = µ 2? 51 Modell und Fragestellungen ALM07 18

19 Beispiel : Varianzanalyse µ j : Erwartungswerte der Zellen Modellgleichung : y ij = µ j + e ij Beispiel : 3 Zellen mit 2, 2, 1 Beobachtungen Modellgleichung ausführlich : y y y 12 = y y µ 1 µ 2 µ 3 + e 11 e 21 e 12 e 22 e 13 Designmatrix : Mögliche Fragenstellungen : Kontraste Globalhypothese : µ 1 = µ 2 = = µ J? 51 Modell und Fragestellungen ALM07 19

20 Beispiel : Kovarianzanalyse Varianzanalytische Situation Zusätzlicher Einfluss auf AV durch quantitative Variable U U : Kovariate Beispiel : Leistung beeinflusst durch Lehrmethode und Intelligenz Kovariate : Intelligenz Annahme : In jeder Zelle ist Einfluss von U linear Dabei : Gleiche Steigung β Ziel : Einfluss von U herausrechnen Illustration : ( drei Stufen B j der UV ) y B 2 B 1 B 3 u Unterschiedliche Wirkung der treatments in B 1, B 2 und B 3 zeigt sich in unterschiedlichen Achsenabschnitten α j Modellgleichung : y ij = β u + α j + e ij 51 Modell und Fragestellungen ALM07 20

21 Zu rechtfertigende Modellannahmen : Linearer Einfluss in jeder Zelle Gleiche Steigung β in allen Zellen Beispiel : Drei Zellen, mit 3, 2, 2 Beobachtungen Werte der Kovariate : 1, 2, 3, 2, 4, 3, 2 Modellgleichung ausführlich : y y β y y 12 = α 1 y α 2 + α 3 y y 23 e 11 e 21 e 31 e 12 e 22 e 13 e 23 Designmatrix ( Reihenfolge der Parameter : β, α 1, α 2, α 3 ) Erste Spalte: Werte der Kovariate Mögliche Fragestellungen : Kontraste der α j Hypothese : α 1 = = α J? 51 Modell und Fragestellungen ALM07 21

22 Beispiel : Das allgemeine Entwicklungsmodell von Schaie Y : Entwicklungspsychologisch interessante Variable Modell : Y beeinflusst durch Kohorte Messzeitpunkt Alter Einflüsse additiv, keine Interaktion Verteilungsannahmen : wie üblich? Unabhängigkeit bei Untersuchung über mehrere Jahre? Annahme : Jedes Jahr neue Stichprobe aus jeder Kohorte Sinnvoll beispielsweise zur Vermeidung von Lerneffekten Beispiel : Kohorten : 1980, 1981, 1982, 1983 Messzeitpunkte: 1990, 1991, 1992, 1993 α, β, γ Parameter für Kohorte, Zeitpunkt, Alter Beispiel : α 80 : Einfluss des Geburtsjahres 1980 Beispiel : E(y 83,91 ) = α 83 + β 91 + γ 8 Einflussvariablen nicht unabhängig! 51 Modell und Fragestellungen ALM07 22

23 Modellgleichungen (eine Beobachtung für jede Kombination) : E(y 80,90 ) = α 80 + β 90 + γ 10 E(y 81,90 ) = α 81 + β 90 + γ 9 E(y 82,90 ) = α 82 + β 90 + γ 8 E(y 83,90 ) = α 83 + β 90 + γ 7 E(y 80,91 ) = α 80 + β 91 + γ 11 E(y 81,91 ) = α 81 + β 91 + γ 10 E(y 82,91 ) = α 82 + β 91 + γ 9 E(y 83,91 ) = α 83 + β 91 + γ 8 E(y 80,92 ) = α 80 + β 92 + γ 12 E(y 81,92 ) = α 81 + β 92 + γ 11 E(y 82,92 ) = α 82 + β 92 + γ 10 E(y 83,92 ) = α 83 + β 92 + γ 9 E(y 80,93 ) = α 80 + β 93 + γ 13 E(y 81,93 ) = α 81 + β 93 + γ 12 E(y 82,93 ) = α 82 + β 93 + γ 11 E(y 83,93 ) = α 83 + β 93 + γ 10 Mit Designmatrix : E(y 80,90 ) E(y 81,90 ) E(y 82,90 ) E(y 83,90 ) E(y 80,91 ) E(y 81,91 ) E(y 82,91 ) E(y 83,91 ) E(y 80,92 ) E(y 81,92 ) E(y 82,92 ) E(y 83,92 ) E(y 80,93 ) E(y 81,93 ) E(y 82,93 ) E(y 83,93 ) = α 80 α 81 α 82 α 83 β 90 β 91 β 92 β 93 γ 7 γ 8 γ 9 γ 10 γ 11 γ 12 γ 13 Mehr Versuchspersonen : Zeilen vervielfachen Probleme beim Schätzen von Parametern und Parameterdifferenzen ( Beispiel : γ 10 γ 9 ) 51 Modell und Fragestellungen ALM07 23

24 Modellverträgliche Erwartungswertvektoren Modell : y = Xβ + e Erwartungswertvektor von y : Xβ Ein modellverträglicher Erwartungswertvektor ist ein Vektor v, der die Form v = Xβ hat für ein geeignetes β Modellverträgliche Erwartungswertvektoren v = Xβ sind genau die Vektoren, die bei Modellgültigkeit als Erwartungswertvektoren von y in Frage kommen Xβ = E(y), falls β der wahre Parameter ist Die Menge der modellverträglichen Erwartungswertvektoren ist die Menge aller v = Xβ für beliebige β Bezeichnung : V V = Bild(X) Bild(X) ist Unterraum des Personenraums R n Die Dimension von Bild(X) ist Rang(X) Alternative Kennzeichnung : Modellverträgliche Erwartungswertvektoren sind die möglichen Modellvorhersagen Mögliche fehlerfreie Werte von y 52 Geometrische Veranschaulichung ALM07 24

25 Beispiel : Eine Stichprobe Stichprobenumfang : 2 Personenraum ist R 2 Gleichungen für Erwartungswerte : E(y) = Xβ = ( ) 1 ( ) µ 1 E(y 1 ) = 1 µ = µ E(y 2 ) = 1 µ = µ ( 1, 2) ist kein möglicher Erwartungswertvektor (3, 3) ist möglicher Erwartungswertvektor ( µ = 3 ) Die modellverträglichen Erwartungswertvektoren sind alle Vielfachen von (1, 1) Zusammen : Gerade V, die durch x = (1, 1) aufgespannt wird Koordinate eines modellverträglichen Erwartungswertvektors bezüglich der Basis x von V : µ 52 Geometrische Veranschaulichung ALM07 25

26 Illustration : E(y) = Xβ = ( ) 1 ( ) µ 1 ( ) 1 v = 2 ( ) 0 v =, µ = 0 0 Y 2 1 x 1 V Y 1 v = ( ) 3, µ = 3 3 ( ) 2 v =, µ = Geometrische Veranschaulichung ALM07 26

27 Beispiel : Einfache lineare Regression U : Prädiktorvariable Drei Y -Werte, nämlich zu u = 2, 1, 0 Gleichungen für die Erwartungswerte : 1 2 E(y) = Xβ = ( ) α β E(y 1 ) = 1 α + 2 β = β 2 + α E(y 2 ) = 1 α + ( 1) β = β ( 1) + α E(y 3 ) = 1 α + 0 β = β 0 + α Koordinaten eines Punktes y im Personenraum : die zu den U-Werten 2, 1 und 0 gehörenden Y -Werte v = (v 1, v 2, v 3 ) ist modellverträglicher Erwartungswertvektor, wenn (2, v 1 ), ( 1, v 2 ) und (0, v 3 ) auf einer Geraden im (U, Y ) Variablenraum liegen Bedingung dafür, dass v modellverträglicher Erwartungswertvektor ist : Es gibt ein β mit v = Xβ Komponenten von β : Achsenabschnitt α, Steigung β Modellverträgliche Erwartungswertvektoren : α x 1 + β x 2 ( x 1, x 2 : Spalten von X ) Zusammen : Ebene V, die von x 1 und x 2 aufgespannt wird Koordinaten in V : Achsenabschnitt α und Steigung β 52 Geometrische Veranschaulichung ALM07 27

28 Illustration : E(y) = Xβ = ( ) α β v = v = α = 5 β = x 2 y y u Y 3 u x 1 v = v = α = 2 α = 25 β = 0 β = Y 2 Y 1 y V u y u Punkte in V entsprechen Geraden im (U, Y )-Variablenraum 52 Geometrische Veranschaulichung ALM07 28

29 Parametrische Funktionen Parameter heißen die k Komponenten von β Gelegentlich zählt man auch σ 2 zu den Parametern Linearkombinationen ψ = c j β j der Parameter heißen parametrische Funktionen Eine parametrische Funktion ist gegeben durch ihren Koeffizientenvektor c R k Bezeichnung dann auch : ψ c Es gilt also ψ c = c β = c j β j Gelegentlich lässt man noch eine additive Konstante zu Parametrische Funktionen sind von großer Bedeutung für die Formulierung inhaltlicher Fragestellungen Beispiele Die Komponenten β j von β selbst ( c = e j ) Beispiele : Erwartungswerte µ j bei der Varianzanalyse Regressionsgewichte β j und Achsenabschnitt α der Regression 53 Parameter ALM07 29

30 Weitere Beispiele Differenzen von Parametern Beispiel : Differenz der Erwartungswerte von Gruppe 1 und 3 bei Varianzanalyse mit 4 Gruppen ψ = µ 3 µ 1 c = ( 1, 0, 1, 0 ) Kontraste in der Varianzanalyse Erwartungswert von y für ein bestimmtes u in der einfachen linearen Regression ( Parametervektor : β = ( α, β ) ) E(y) = β u + α Beispiel : u = 2 ψ = β 2 + α = α + 2β c = (1, 2) Nullhypothese der Varianzanalyse : Alle Kontraste sind 0 Beispiel einer Funktion, die nicht parametrisch ist Quadratische Regression : E(y) = β 0 + β 1 u + β 2 u 2? Wo liegt das Extremum ( Hochpunkt oder Tiefpunkt )? Differenzieren : Bei u = β 1 /(2β 2 ) β 1 /(2β 2 ) ist keine parametrische Funktion 53 Parameter ALM07 30

31 Identifizierbarkeit Ein Beispiel : Wirksamkeit von zwei Therapiemaßnahmen Zwei Gruppen mit 2 bzw 3 Vpn, Kontrollgruppe vergessen Abhängige Variable : Wohlbefinden Modellvorstellung : Erwartungwert µ ohne Maßnahmen wird durch die Interventionen modifiziert Veränderungen : α 1 und α 2 Erwartungswerte der Gruppen : µ 1 = µ + α 1 µ 2 = µ + α 2 Parametervektor : ( µ, α 1, α 2 ) Designmatrix : Rang ist nur 2 Hauptfrage nach Wirksamkeit der Maßnahmen Formal : α j =? Experiment versagt 53 Parameter ALM07 31

32 Voraussetzung für die weiteren Überlegungen : Erwartungswerte µ 1 und µ 2 sind bekannt Nicht erreichbares Ideal Immerhin fast erreichbar bei vielen Replikationen Gleichungen für die µ j : µ 1 = µ + α 1 µ 2 = µ + α 2 Gegebene µ j sind mit ( unendlich ) vielen α j kompatibel Beispiel : µ 1 = 5, µ 2 = 3 ist kompatibel mit β = (µ, α 1, α 2 ) = (0, 5, 3), (1, 4, 2), (2, 3, 1), Auch im denkbar besten Fall bekannter Erwartungswerte von y kann man nicht auf die α j zurückschließen Die α j sind nicht identifizierbar Problem wäre mit Kontrollgruppe vermieden worden Obwohl die α j auch theoretisch nicht zugänglich sind, kann ihre Differenz ψ (theoretisch) ermittelt werden : ψ = α 2 α 1 = (µ + α 2 ) (µ + α 1 ) = µ 2 µ 1 Im Beispiel mit µ 1 = 5 und µ 2 = 3 ist ψ = 2 53 Parameter ALM07 32

33 Eine parametrische Funktion ψ heißt identifizierbar, wenn mit jedem möglichen modellverträglichen Wert von E(y) nur ein einziger Wert von ψ kompatibel ist Im anderen Fall heißt ψ nicht identifizierbar Beispiel der beiden Therapiegruppen : µ, α 1, α 2 sind nicht identifizierbar ψ = α 2 α 1 ist identifizierbar Entsprechend : Identifizierbarkeit eines Vektors ψ parametrischer Funktionen Beispiel : β selber Kenntnis von E(y) ist der beste denkbare Idealfall Wenigstens näherungsweise erreichbar? Kann man über nicht identifizierbare Parameter sinnvoll reden?? Ist ein Modell mit nicht identifizierbaren Parametern sinnvoll? 53 Parameter ALM07 33

34 Identifizierbarkeit von β Es gilt E(y) = Xβ Frage: Gibt es zu einem modellverträglichen Erwartungswertvektor v nur ein passendes β? Kurz : Ist Xβ = v eindeutig lösbar? Der Parametervektor β ist genau dann identifizierbar, wenn die (n k)-matrix X den vollen Rang k besitzt Gleichbedeutend : X X ist regulär X besitzt vollen Rang heißt : Rang gleich Spaltenzahl Wenn X vollen Rang besitzt sind die Spalten von X eine Basis von Bild(X) können Parameter als Koordinaten abgelesen werden 53 Parameter ALM07 34

35 Identifizierbarkeit einer parametrischen Funktion ψ c ψc ist genau dann identifizierbar, wenn c Linearkombination der Zeilen von X ist ψc ist genau dann identifizierbar, wenn es sich berechnen lässt als Linearkombination der Komponenten von E(y) Ein Vektor aus parametrischen Funktionen ist identifizierbar genau dann, wenn alle seine Komponenten identifizierbar sind Beispiel mit zwei Therapiemaßnahmen : µ j = µ + α j Parameter : µ, α 1, α 2 Designmatrix : (0, 1, 0) ist keine Linearkombination der Zeilen α 1 ist nicht identifizierbar (0, 1, 1) ist Linearkombination der Zeilen α 2 α 1 ist identifizierbar Beispielsweise gilt α 2 α 1 = a E(y) mit a = ( 1, 0, 1, 0, 0) 53 Parameter ALM07 35

36 Identifizierbarmachen Ein Modell mit nicht identifizierbaren Parametern ist unbefriedigend Häufige Lösung : Erzwingen der Eindeutigkeit durch Nebenbedingungen Auswahl eines Parametervektors aus vielen möglichen Übliche Form der Nebenbedingungen im ALM : Nβ = 0? Bedingungen, damit N die gewünschte Funktion erfüllt? Ist Rang(X) = r < k und k r = q, so muss gelten : ( ) X Rang( ) = k und Rang(N) = q N Die Zeilen von N erhöhen den Rang gerade auf k 53 Parameter ALM07 36

37 Beispiel mit zwei Therapiemaßnahmen : µ j = µ + α j Parameter : µ, α 1, α 2 Designmatrix : Der Rang von X ist 2 Eine Nebenbedingung ist ausreichend Koeffizientenvektor muss Zeilenrang zu 3 ergänzen Möglicher Koeffizientenvektor : (0, 1, 1) Zugehörige Nebenbedingung : α 1 + α 2 = 0 Bedeutung der α j dann : Abweichung vom Durchschnitt µ Weiterer möglicher Koeffizientenvektor : (0, 2, 3) Zugehörige Nebenbedingung : 2α 1 + 3α 2 = 0 Bekannte Nebenbedingung der Varianzanalyse 53 Parameter ALM07 37

38 Wichtiger Spezialfall möglicher Nebenbedingungen : Alle Zeilen von N sind Einheitsvektoren Dies ist stets möglich Staffelform, Einheitsvektoren zu Nicht-Einser-Spalten Beispiel Nur eine Nebenbedingung ist nötig Alle drei Einheitsvektoren kommen in Frage Nebenbedingung für e j : β j = 0 Entsprechender Parameter wird auf 0 gesetzt Parameter kann weggelassen werden Ebenso zugehörigen Spalte von X Rang und Bild der Designmatrix ändern sich nicht 53 Parameter ALM07 38

39 Beispiel mit zwei Therapiemaßnahmen : µ j = µ + α j Parameter : µ, α 1, α 2 Designmatrix : Alle drei Parameter können Null gesetzt werden Beispiel : α 2 = 0 Änderung der Designmatrix : Jetzt besitzt die Matrix vollen Rang Praktisch für Rechnungen Interpretation der verbliebenen Parameter µ und α 1 µ ist der Erwartungswert µ 2 der zweiten Gruppe α 1 ist die Differenz µ 1 µ 2 53 Parameter ALM07 39

40 Weiteres Beispiel : µ = 0 Änderung der Designmatrix : Interpretation der verbliebenen Parameter α 1 und α 2 : Erwartungswerte der beiden Gruppen Designmatrizen vor und nach Identifizierbarmachen : Drei verschiedene Matrizen Eigentlich gleiches Modell Neue Parameter haben unterschiedliche Bedeutung ( auch bei gleicher zugehöriger Spalte ) Die drei Matrizen haben dasselbe Bild 53 Parameter ALM07 40

41 Offensichtlich: Inhaltliche Interpretation der Parameter ändert sich mit Nebenbedingungen Eigentlich bekommen die Parameter erst durch die Nebenbedingungen überhaupt Bedeutung Vorher hatten sie keine Bedeutung, wenn es auch für den naiven Betrachter so ausgesehen haben mag Mögliche Gesichtspunkte bei der Wahl der Nebenbedingungen Inhaltlich brauchbare Interpretation Aussicht auf bequeme weitere Rechnungen ( besonders beim Weglassen von Parametern ) Problem : Umrechnen der Parameter bei unterschiedlicher Wahl der Nebenbedingungen Beispiel : Inhaltlich ist ein Satz von Nebenbedingungen erwünscht Rechentechnisch ist ein anderer praktischer Erstmal : Rechnen mit dem bequemeren Satz Ist danach Umrechnung zu interpretierbaren Parametern möglich? 53 Parameter ALM07 41

42 Umrechnen von Parametern Situation : Designmatrix X mit Rangdefekt Zwei mögliche Nebenbedingungen, gegeben durch N 1 und N 2 Zugehörige Parametervektoren : β 1 und β 2 Umrechnungsformel : β 2 = (X X + N 2N 2 ) 1 X X β 1 Umrechnung durch eine lineare Abbildung Komponenten von β 2 sind parametrische Funktionen von β 1 Fazit: Man kann ohne Gefahr die Nebenbedingungen entsprechend rechentechnischen Erfordernissen wählen Alternative Parameter zu inhaltlich sinnvollen Nebenbedingungen sind parametrische Funktionen der rechnerisch bequemeren Parameter 53 Parameter ALM07 42

43 Beispiel mit zwei Therapiemaßnahmen : µ j = µ + α j Parameter : µ, α 1, α 2 Designmatrix : Mögliche Nebenbedingungen Inhaltlich sinnvoll vielleicht : 2 α α 2 = 0 (vgl Varianzanalyse) Technisch sinnvoll vielleicht : α 2 = 0 Zur Unterscheidung : Technische Parameter γ 1, γ 2 ( γ 3 = 0 ) Umrechnung : µ = γ 1 + (2/5) γ 2 α 1 = (3/5) γ 2 α 2 = (2/5) γ 2 µ, α 1, α 2 sind parametrische Funktionen von γ 1, γ 2 53 Parameter ALM07 43

44 Parametertransformationen Nebenbedingungen können die Designmatrix ändern ( Streichen von Spalten ) Rang und Bild bleiben dabei gleich Oberflächlich unterschiedliche Beschreibung desselben Modells Verallgemeinerung : Zwei Designmatrizen X 1 und X 2 heißen äquivalent, falls Bild(X 1 ) = Bild(X 2 ) Auch die zugehörigen Modelle heißen dann äquivalent Die modellverträglichen Erwartungswertvektoren sind genau die gleichen Empirisch sind bestenfalls die Erwartungswerte der y i zugänglich, also die Erwartungswertvektoren Empirisch kann nicht zwischen äquivalenten Modellen unterschieden werden Man kann diese Modelle als eigentlich gleich betrachten 53 Parameter ALM07 44

45 Umrechnung von Parametervektoren Situation : X 1 und X 2 sind äquivalent Beide Designmatrizen haben vollen Rang k Parametervektoren : β 1 und β 2 Wegen Bild(X 1 ) = Bild(X 2 ) gibt es T mit X 1 = X 2 T Problem : Umrechnung von einander entsprechenden Parametervektoren Entsprechend : Gleiche zugehörige Erwartungswertvektoren Also : X 1 β 1 = X 2 β 2 Setze β 2 = Tβ 1 Dann : X 1 β 1 = (X 2 T)β 1 = X 2 (Tβ 1 ) = X 2 β 2 Lösung also : β 2 = Tβ 1 53 Parameter ALM07 45

46 Parameter in äquivalenten Modellen lassen sich mit geeigneten linearen Abbildungen ineinander umrechnen Transformationen von Parametervektoren von zwei äquivalenten Modellen heißen Parametertransformationen Die Parametertransformation von β 1 zu β 2 ist β 2 = Tβ 1 Dabei ist T gegeben durch die Gleichung X 1 = X 2 T Die neuen Parameter sind parametrische Funktionen der alten Übergang ist Koordinatenwechsel auf Bild(X 1 ) = Bild(X 2 ) Umrechnung von X 1 -Koordinaten in X 2 -Koordinaten Motivationen für Parametertransformationen : Bequemere Rechnung Bessere inhaltliche Interpretation Verständlichere Formeln 53 Parameter ALM07 46

47 Beispiel : Einfache lineare Regression Modell : E(y) = β u + α Werte für U : 3, 7, 8 Designmatrix : X 1 = Rechentechnisch praktisch : Orthogonale Spalten Mache die zweite Spalte zur ersten orthogonal ( Zentrieren ) ( Äquivalentes ) Ergebnis : X 2 = Es gilt X 1 = X 2 T mit T = ( ) Parametertransformation ( neue Parameter : γ 1, γ 2 ) γ 1 γ 2 = α + 6 β = β Bedeutung von γ 1 = β 6 + α Erwartungswert von Y für U = 6 (Mittelwert von U) 53 Parameter ALM07 47

48 Beispiel zur Parameterschätzung Situation : Eine Stichprobe mit 2 Beobachtungen Personenraum : R 2 Erwartungswertvektor : E(y) = Xβ = ( ) 1 ( ) µ 1 Unterraum der modellverträglichen Erwartungswertvektoren : Erzeugnis V von x = (1, 1) µ kann als Koordinate abgelesen werden Konkretes Beispiel : Daten sind 1 und 3 Y 2 1 y x s 1 V Y 1 Modell : y = µ x + e Deutung : Erwartungswertvektor µ x ist Modellvorhersage 53 Parameter ALM07 48

49 Modell : y = µ x + e µ x : Modellvorhersage Idee : Schätze die Parameter und damit die Modellvorhersage so, dass die tatsächlichen Daten möglichst gut dazu passen Die geschätzte Modellvorhersage soll möglichst nahe bei dem beobachteten Datenvektor y liegen ŷ : geschätzte Modellvorhersage ê = y ŷ : geschätzter Fehler Schätzung : Y 2 1 s y sŷ x 1 V Y 1 Y 2 y 1 1 ê ŷ V Y 1 ŷ ist orthogonale Projektion von y auf V Rechts : y = ŷ + ê ( theoretisch : y = E(y) + e ) Ziel also : ê soll möglichst klein werden Äquivalent ê 2 soll minimal werden ê 2 ist Summe der quadrierten ( geschätzten ) Fehler Methode der kleinsten Quadrate 53 Parameter ALM07 49

50 Parameterschätzung Ausgangspunkt : Modell y = Xβ + e Ziel Schätzung des Parametervektors β ( ˆβ ) Der zu ˆβ gehörende Erwartungswertvektor ŷ = X ˆβ heißt geschätzter Erwartungswertvektor oder geschätzte Modellvorhersage ê = y ŷ heißt geschätzter Fehler y = ŷ + ê Prinzip der Schätzung : Die geschätzte Modellvorhersage ŷ soll möglichst gut zu den beobachteten Daten y passen Geometrisch : ê 2 soll möglichst klein sein ŷ soll möglichst nahe bei y liegen Methode der kleinsten Quadrate Ziel : Finde zu y den nächsten Punkt ŷ aus V = Bild(X) Lösung : Orthogonale Projektion auf V 53 Parameter ALM07 50

51 Ziel : Finde zu y den nächsten Punkt ŷ aus V = Bild(X) Bedingung dafür, dass Xβ Bild(X) Projektion von y ist : (y Xβ) V = Bild(X) Gleichbedeutend : (y Xβ) ist zu allen Spalten von X X (y Xβ) = 0 Normalengleichungen X Xβ = X y Die Normalengleichungen besitzen eine Lösung, da das Projektionsproblem eine Lösung besitzt Lösung ist nur eindeutig, wenn X vollen Rang hat Der optimale modellverträgliche Erwartungswertvektor ŷ ist immer eindeutig ( Projektion ) Lösungen für β sind gerade die, die zu ŷ führen, für die also Xβ = ŷ gilt Auswahl mit Nebenbedingungen 53 Parameter ALM07 51

52 Parameterschätzung bei vollem Rang von X Voraussetzung : X besitzt vollen Rang Normalengleichungen : X Xβ = X y Lösung : ˆβ = (X X) 1 X y Geschätzter Erwartungswertvektor : ŷ = X(X X) 1 X y X(X X) 1 X ist orthogonale Projektion auf Bild(X) = V Verteilung von ˆβ : Wegen y N n (Xβ, σ 2 I) ist ˆβ = (X X) 1 X y multinormal Erwartungswert : (X X) 1 X (Xβ) = β Kovarianzmatrix : ( (X X) 1 X ) (σ 2 I) ( (X X) 1 X ) = σ 2 (X X) 1 X X (X X) 1 = σ 2 (X X) 1 Insgesamt : ˆβ N k ( β, σ 2 (X X) 1 ) ˆβ ist erwartungstreu 53 Parameter ALM07 52