Vorlesung:Multivariate Analyseverfahren

Transkript

1 Vorlesung:Multivariate Analyseverfahren Josef Brüderl, Oktober 24 Multivariate Verfahren sind statistische Verfahren zur Analyse der Beziehungsstruktur mehrerer Variablen. Man kann multivariate Verfahren in drei große Gruppen unterteilen Verfahren, die mehrdimensionale Datenstrukturen auf wenige Dimensionen reduzieren (Faktorenanalyse) Verfahren, die Beobachtungen anhand mehrerer Variablen klassifizieren (Clusteranalyse) Verfahren, die den Einfluß von unabhängigen Variablen auf die abhängigen Variablen erfassen (Regressionsanalyse) In dieser Vorlesung können aus Zeitgründen nur Verfahren der Regressionsanalyse behandelt werden (ergänzend wird in die Faktorenanalyse eingeführt). Der Grund für die Betonung der Regressionsverfahren ist, daß die große Mehrzahl der sozialwissenschaftlichen Forschungsarbeiten an der Identifikation,,kausaler Effekte anhand nicht-experimenteller Daten interessiert ist, wozu Regressionsverfahren besonders geeignet sind. Regressionsmodelle mit einer abhängigen und mehreren unabhängigen Variablen bezeichnet man als multiple Modelle. Von multivariater Regression spricht man, wenn mehrere abhängige Variablen gemeinsam betrachtet werden. Nach dieser Unterscheidung sind die meisten Modelle dieser Vorlesung multipler Natur, nur an einigen Stellen werden wir multivariate Modelle behandeln. Zum Begriff,,Regression : Sir Francis Galton untersuchte 1889 den Zusammenhang der Körpergröße von Vätern und Söhnen. Dabei,,erfand er die Regression. Er schätzte G s G v. Da dies bedeutet, daß die Größe des Sohns zum Mittel,,zurückschreitet nannte er dieses Verfahren Regression. Der Name des Verfahrens rührt somit von der ersten Anwendung her!

2 Multivariate Verfahren, Brüderl 2 1) Was ist eine Regression? Wir betrachten zwei Variablen (Y, X). Unsere Daten sind die realisierten Werte dieser Variablen y 1,x 1,, y n,x n bzw. y i,x i, für i 1,,n. In einer Regression betrachtet man im Prinzip die bedingte Verteilung von Y in Abhängigkeit von den Werten von X (Regression von Y auf X). Y wird als abhängige Variable bezeichnet und X als unabhängige. In der Regressionsanalyse beschäftigt man sich also mit den bedingten Verteilungen f Y y X x. Wir ordnen damit jedem Merkmalswert von X eine Funktion zu, und zwar die bedingte Verteilung von Y. Dies ist die allgemeine Idee einer Regression. Dies ist praktisch nur schwer darstellbar. Die primäre Funktion statistischer Verfahren, nämlich die in den Daten enthaltene Information auf wenige Kennzahlen zu reduzieren, ist hier nicht erfüllt. Deshalb charakterisiert man die bedingten Verteilungen durch idealerweise nur eine Kennzahl: Y metrisch: bedingtes arithmetisches Mittel Y metrisch, ordinal: bedingtes Quantil Y nominal: bedingte Häufigkeiten (Kreuztabelle!) Es hängt vom Meßniveau von Y ab, welche Kennzahl man verwenden kann. Aber selbst für nominales Y läßt sich die bedingte Verteilung durch Kennzahlen beschreiben. Damit ist eine Regression für jedes Y-Meßniveau durchführbar.

3 Multivariate Verfahren, Brüderl 3 Regression mit diskretem X In diesem Fall errechnet man für jeden vorkommenden X-Wert die Kennzahl der bedingten Verteilung. Beispiel: ALLBUS 1994 Y ist das monatliche Nettoeinkommen und X die Bildung. Da Y metrisch ist, können wir für jedes Bildungsniveau E Y x, das bedingte arithmetische Mittel, berechnen. Ein Vergleich dieser Mittelwerte liefert uns Information über den,,effekt der Bildung auf das Einkommen. Im Prinzip handelt es sich hierbei um eine Varianzanalyse. Bei der folgenden Graphik handelt es sich um ein Streudiagramm der Daten. Da Bildung nur 4 Werte annimmt, würden sich die Einkommenswerte stark überdecken. Deshalb wurden die Werte,,gejittered. Die bedingten Mittelwerte wurden mit einer Linie verbunden, um die Art des Zusammenhangs visuell besser erkennen zu können. 1 Nur Vollzeit, unter 1. DM (N=1459) Einkommen in DM Haupt Real Abitur Uni Bildung

4 Multivariate Verfahren, Brüderl 4 Regression mit stetigem X In diesem Fall ist die direkte Errechnung der Kennzahl nicht praktikabel, weil für die meisten X-Werte nur wenige Y-Werte vorliegen werden. Es kommen zwei Verfahren in Betracht. Nicht-Parametrische Regression Für jeden (im Prinzip) möglichen X-Wert werden die Y-Werte in einer Umgebung von x benutzt, um die Kennzahl zu berechnen (local averaging). Bildlich gesprochen läßt man eine Fenster konstanter Breite über den Wertebereich von X gleiten. Über alle Datenpunkte in dem Fenster errechnet man dann z.b. das Y-Mittel. Diese Werte verbindet man dann mit einer Linie. Je größer man die Umgebung wählt, desto glatter wird die Regressionsfunktion. Beispiele: Lokale Mean (Median) Regression, Lowess Smoother Parametrische Regressionsmodelle Man nimmt an, daß die Kennzahlen einer Funktion folgen: g x;. Man unterstellt also ein parametrisches Regressions- modell. Gegeben die Daten und das gewählte Modell, schätzt man die Parameter so, daß die Regressionsfunktion am besten auf die Daten paßt. Man muß sich also zusätzlich noch für ein Schätzkriterium entscheiden. Beispiel: OLS-Regression Man nimmt ein lineares Modell für den bedingten Mittelwert an. E Y x g x;, x. Als Schätzkriterium verwendet man üblicherweise OLS min y i g x i ;, 2., n i 1 Es sei betont, daß die OLS-Regression nur eines der möglichen Regressionsmodelle darstellt. Es gibt viele weitere Modelle (quadratisch, logarithmisch,...) und auch alternative Schätzkriterien (LAD, ML,...). OLS ist so beliebt, weil die Schätzer leicht zu errechnen und anschaulich zu interpretieren sind.

5 Multivariate Verfahren, Brüderl 5 Ein Vergleich von lokaler und modellhafter Regression Die Daten stammen aus dem ALLBUS Y ist das monatliche Nettoeinkommen und X das Alter. Wir berechnen: 1) eine lokale Mean Regression (rot) 2) eine (naive) lokale Median Regression (grün) 3) eine OLS-Regression (blau) 1 Nur Vollzeit, unter 1. DM (N=1461) 8 6 DM Alter Alle drei Regressionskurven sagen uns, daß das mittlere (bedingte) Einkommen mit dem Alter ansteigt. Die beiden lokalen Regressionen deuten zusätzlich eine gewisse Nicht- Linearität an. Sie können die Daten besser anpassen, weil sie kein idealisierendes Modell mit wenigen Parametern unter- stellen. Dafür läßt sich die Information, die die OLS-Regression liefert, viel einfacher interpretieren ( 37. 3). Zur Interpretation einer Regression Statistisch gesehen sind Regressionen Verfahren, mit denen man Zusammenhänge zwischen Verteilungen sichtbar machen kann, in dem wir die bedingte Verteilung (bzw. Kennzahlen) als Funktion bedingender Variablen darstellen. Ob diese Regressionsfunktion kausal interpretiert werden kann, muß inhaltlich entschieden werden (d.h. man braucht eine Theorie, s. Goldthorpe, 2, On Sociology).

6 Multivariate Verfahren, Brüderl 6 2) Explorative Datenanalyse Im folgenden sollen graphische Verfahren zum,,erforschen von Daten vorgestellt werden. Diese Verfahren sind sehr hilfreich, um ein,,gefühl für die Daten zu bekommen (Exploration). Wir benötigen sie insbesondere für die Regressionsdiagnostik. Beispiel: Anscombes Quartett Dieses Beispiel verdeutlicht, daß ein und dieselbe Regression von völlig unterschiedlichen Daten erzeugt werden kann. Eine graphische Inspektion der Daten kann solchen Fehlschlüssen vorbeugen.

7 Multivariate Verfahren, Brüderl 7 Univariate Verteilungen Beispiel: Wir betrachten die V423 (monatliches Nettoeinkommen des Befragten in DM). Wir nehmen nur Vollzeiterwerbstätige (V25 1) bis zum Alter 65 (V247 65). N eink Anteil.2 DM DM Histogramm Box-Plot Das Histogramm ist mit 18 Intervallen (,,bins ) gezeichnet. Man erkennt die deutlich rechtsschiefe Verteilung. Über 8,- DM finden sich nur noch wenige Beobachtungen. Aber: Verteilung ist nur diskret und hängt von der Zahl der Intervalle ab. Das Box-Plot zeigt die drei Quartile. Die Whisker sind 1.5 mal den IQR lang. Die Rechtsschiefe erkennt man daran, daß der untere Whisker kürzer ist. Weiterhin kann man in einem Box-Plot sehr schön die Ausreißer identifizieren. Eine nicht-parametrische Dichteschätzung erhält man mittels der Kerndichteschätzer. An einer festgelegten Zahl von Stellen (n) wird in Intervallen der Breite 2w mittels einer Gewichtungsfunktion (,,Kern ) die Dichte geschätzt. Folgende Plots verwenden den Epanechnikov-Kern mit n DM Kerndichteschätzer, w= DM Kerndichteschätzer, w=3

8 Multivariate Verfahren, Brüderl 8 Vergleich von Verteilungen Häufig will man feststellen, ob die Daten einer Normalverteilung folgen. Dazu kann man eine Normalverteilungskurve in den Dichteplot einzeichnen oder einen statistischen Test durchführen. Einen graphischen Vergleich ermöglichen Normal- Probability Plots (o. Normal-Quantile). Die Quantile der Daten werden gegen die Quantile der theoretischen Normalverteilung aufgetragen. Abweichungen von der Geraden mit Steigung 1 zeigen Abweichungen von der Normalverteilung an DM Inverse Normal Man erkennt eine deutliche Abweichung von der Normalverteilung. Die Datenpunkte liegen nicht auf der blauen Gerade. Zu Beginn sind die beobachteten Einkommenswerte höher als nach der Normalverteilung zu erwarten wäre. In der Mitte stimmts in etwa. Am Ende sind die Werte wieder größer (Rechtsschiefe). Deutlich setzen sich die Ausreißer ab.

9 Multivariate Verfahren, Brüderl 9 Bivariate Daten Bivariate Zusammenhänge veranschaulicht man am besten mit einem Streudiagramm. Überdecken sich die Daten stark, so,,jittered man am besten (überlagert Daten mit einer Zufallsstreuung). Einen Eindruck von der Art des Zusammenhangs bekommt man mittels einer nicht-parametrischen Regression. Bewährt hat sich hierfür der Lowess-Smoother (locally weighted scatterplot smoother). An der Stelle x i wird eine lineare Regression berechnet, in die die Daten in der Umgebung gewichtet eingehen. Die Breite der Umgebung ist steuerbar durch,,bandwidth (z.b. bwidth.8). Es wird trikubisch gewichtet. Anhand der Regressionsparameter wird dann y i berechnet. Dies wird für alle X-Werte gemacht. Die Verbindung der (x i, y i ) ergibt die Lowess-Kurve. Je kleiner die Umgebung, desto näher an den Daten ist die Kurve. Beispiel: Einkommen in Abhängigkeit von Bildung Einkommen wie oben. Schulbildung plus Berufsbildung (V12-V23) wird umgerechnet in Bildungsjahre. N Lowess smoother, bandwidth =.8 Lowess smoother, bandwidth = DM 9 DM Bildung Bildung Links ist nicht gejittered, es kommt zu starker Überdeckung. Rechts ist gejittered (j(2) 2% der Zeichenfläche). Die blaue Kurve ist der Lowess-Smoother. Links werden zur Berechnung jeweils 8% der Fälle in der Umgebung verwendet, rechts nur 3%. Die rechte Kurve folgt deshalb wesentlich genauer den Daten, ist dafür aber unregelmäßiger. In beiden Fällen erkennt man leichte Nicht-Linearität ab 19 Bildungsjahre.

10 Multivariate Verfahren, Brüderl 1 Datentransformation Schiefe und Ausreißer sind insbesondere für Mean-Regressionen ein Problem. Glücklicherweise kann man aber durch Potenz-Transformationen Schiefe reduzieren und Ausreißer,,heranziehen. Tukeys,,ladder of powers : x x 3 q 3 produziert x 1.5 q 1. 5 cyan Rechtsschiefe x q 1 schwarz x.5 q.5 grün produziert ln x q rot Linksschiefe x.5 q.5 blau Beispiel: Einkommensverteilung DM Kerndichteschätzer, w= lneink Kernel Density Estimate inveink Kernel Density Estimate q 1 q q -1 Exkurs: Potenzfunktionen, ln- und e-funktion x.5 x x, x.5 1 1, x 1 x.5 2 x Mit ln notieren wir den (natürlichen) Logarithmus zur Basis e 2, : y ln x e y x Daraus folgt ln e y e ln y y x Rechenregeln e x e y e x y ln xy ln x ln y e x /e y e x y ln x/y ln x ln y e x y e xy ln x y ylnx

11 Multivariate Verfahren, Brüderl 11 3) Das einfache Regressionsmodell Im einfachen Regressionsmodell unterstellt man ein lineares Modell für den bedingten Mittelwert: E Y x x. Daraus ergibt sich das Modell zur Beschreibung der Daten: A1: y i x i i, i 1,,n. und sind zu schätzende Parameter (Regressionskoeffizienten) und ist ein Fehlerterm. A1 enthält insbesondere folgende Annahmen: Die Beziehung zwischen X und Y ist linear und die Parameter und sind identisch für alle Beobachtungen. Das Streudiagramm gibt eine graphische Darstellung des Modells. Die Punkte repräsentieren jeweils eine Beobachtung. Die Gerade ist die (Modell-)Regressionsgerade mit Achsenabschnitt und Steigung. gibt den Y-Wert an, wenn X. gibt an, um wieviele Einheiten sich Y verändert, wenn X um eine Einheit steigt. Meist werden die Daten natürlich nicht exakt auf der Regressionsgeraden liegen, so wie z.b. Beobachtung i. Der laut Modell zu erwartende Wert (E y i x i x i ), stimmt nicht mit dem beobachteten Wert (y i ) überein. Die Differenz ist der Fehler i. Über die stochastischen Eigenschaften dieses Fehlerterms macht man einige weitere Annahmen: A2: E i, für alle i; im,,mittel ist der Fehler null A3: V i 2, für alle i; die Fehlervarianz ist konstant (Homoskedastizität)

12 Multivariate Verfahren, Brüderl 12 A4: Cov i, j, für alle i j; die Fehlerkovarianzen sind null (keine Autokorrelation) A5: Cov x i, j, für alle i und j; Regressor und Fehler sind unkorreliert A5 impliziert unter anderem: der Regressor darf keine Meßfehler enthalten und er darf mit keinen weiteren unbeobachteten Variablen (die ja laut A1 im Fehlerterm zusammengefaßt sind) korreliert sein. Will man Hypothesen über die Parameter des Modells testen, so ist eine weitere Annahme nötig: A6: i N, 2 ; die Fehler sind normalverteilt Es ist zu beachten, daß die Normalverteilungsannahme nicht zur Schätzung der Parameter erforderlich ist. Da in der Sozialforschung aber praktisch immer Hypothesentests durchgeführt werden, muß auch A6 üblicherweise gelten. Schätzung der Modellparameter Dieses Modell enthält die unbekannten Parameter, und 2. Anhand der beobachteten Daten können die Parameter geschätzt werden. Die Schätzer notieren wir mit, und 2. Insbesondere interessiert den Sozialforscher, weil dieser Schätzer Auskunft über den Zusammenhang von X und Y gibt. Doch nach welchem Kriterium schätzt man? Ein sinnvoller Ansatz will möglichst gute Prognosen y i x i erhalten. Die Fehler sollten möglichst klein sein. y i y i ist nicht geeignet, weil jede Gerade durch ( x,y ) diese Abweichungssumme minimiert ( ). Deshalb fordert man üblicherweise, daß die Summe der Abweichungsquadrate n i 1 y i y i 2 2 i RSS n i 1 minimiert wird. i nennt man Residuen.

13 Multivariate Verfahren, Brüderl 13 Dies ist die Methode der kleinsten Quadrate (Ordinary Least Squares, OLS): min, n i 1 i2 min, n y i x i 2. i 1 Um die Schätzformeln zu erhalten, muß man ableiten: RSS 2 y i x i 1 RSS 2 y i x i x i. Durch Nullsetzen und Umformen erhält man die sogenannten Normalgleichungen: y i n x i x i y i x i x i 2. Aus der ersten Gleichung folgt unmittelbar: ȳ x. Einsetzen in die zweite Gleichung und Umformen ergibt: x iy i n x y x i 2 n x 2 x i x y i ȳ x i x 2 s XY s X 2. Eigenschaften der Residuen Aus der Schätzformel für folgt, daß die Regressionsgerade durch den Punkt ( x,y ) geht. Mithin gilt immer: i. Weiterhin folgt aus der zweiten Normalgleichung x i i. Außerdem gilt: y i i. Residuen unkorreliert mit X-Werten und Prognosewerten.

14 Multivariate Verfahren, Brüderl 14 Schätzung der Residualvarianz Die Varianz der Residuen notieren wir mit 2. Sie ergibt sich als: n 2 i2 2 2 i 2 1 n 2. n 2 ist die Zahl der Freiheitsgrade der Residuen (2 Zahl der Modellparameter, die zu ihrer Berechnung nötig sind). Eigenschaften der OLS-Schätzer Die OLS-Schätzer haben bei Gültigkeit von A1-A5 gewisse wünschenswerte Eigenschaften: Sie sind unverzerrt (erwartungstreu: E ) in der Klasse der linearen, unverzerrten Schätzer die mit der kleinsten Stichprobenvarianz (best linear unbiased estimate, BLUE; Gauß -Markov Theorem) Will man einen linearen und unverzerrten Schätzer verwenden, so besagt das Gauß-Markov Theorem, daß die OLS-Schätzer in dieser Klasse die präzisesten sind. Außerdem sind sie bei Gültigkeit der Normalverteilungsannahme (A6) die Maximum-Likelihood (ML) Schätzer und besitzen somit auch deren Eigenschaften (Konsistenz, Effizienz, asymptotisch normalverteilt). Modellfit Neben der Schätzung der Parameter ist es weiterhin wichtig zu wissen, wie gut das Modell auf die Daten paßt. Standardfehler der Regression Der Fit ist umso besser, je geringer die Streuung der Residuen ist. Deshalb liegt es nahe, (Root MSE in STATA) als Fitmaß zu verwenden. Da in der gleichen Einheit wie Y gemessen ist, erlaubt der Vergleich von und y eine Abschätzung des Fits (im Bereich 2 liegen 95% der Residuen). Bestimmtheitsmaß R 2 Berechnung ausgehend von der Streuungszerlegung: y i y y i y i y i y.

15 Multivariate Verfahren, Brüderl 15 Quadrieren und Summieren auf beiden Seiten ergibt: y i y 2 y i y i 2 y i y 2 i y i y. Der letzte Term fällt weg. Damit ergibt sich: y i y 2 i 2 y i y 2 TSS RSS ESS R 2 wird nun als Quotient von erklärter zu gesamter Streuung (Varianz) definiert: R 2 ESS TSS s 2 Y 1 RSS 2 s Y TSS. Ist R 2, so bedeutet dies, daß das Modell nichts zur Erklärung der Varianz von Y beiträgt. R 2 1 dagegen zeigt an, daß das Modell die Daten vollkommen beschreibt. Es ist zu beachten, daß R 2 den Fit eines linearen Modells beschreibt. Ein niedriges R 2 kann somit auch aus der Nicht- Linearität der Beziehung resultieren. Hypothesentests Im einfachsten Fall wird die Nullhypothese H : gegen die Alternative H 1 : getestet (zweiseitiger Test). Dazu muß zuerst der Standardfehler von berechnet werden:. n 1 s x Die Schätzung von wird präziser (der Standardfehler kleiner), wenn das Modell gut fittet und die X-Werte stark streuen. Dann wird die Testgröße (t-wert) t errechnet. Sie ist t-verteilt mit n 2 Freiheitsgraden. Die Nullhypothese wird abgelehnt, wenn der Betrag der Testgröße größer als der kritische Wert der t-verteilung ist (bei gegebenem Signifikanzniveau).

16 Multivariate Verfahren, Brüderl 16 Meist jedoch ist man nur daran interessiert, ob X überhaupt einen Einfluß auf Y ausübt (H : ). Dann lautet die Testgröße t /. Auf dem 95%-Niveau bei großen Fallzahlen (n 5) beträgt der kritische Wert Ist somit t 1. 96, können wir die Nullhypothese ablehnen und sprechen von einem signifikanten Effekt der Variable X. Beispiel: Einkommen in Abhängigkeit von Bildung Source SS df MS Number of obs F( 1, 1469) Model Prob F. Residual e R-squared Adj R-squared.1281 Total e Root MSE eink Coef. Std. Err. t P t [95% Conf. Interval] bild cons Der Modellfit fällt mit R für sozialwissenschaftliche Verhältnisse gut aus. Allerdings zeigt 168 DM, daß die Residuen stark um die Regressionsgerade streuen. Für Prognosezwecke wäre dieses Modell unbrauchbar. Inhaltlich sehen wir, daß das Einkommen um 228,- DM pro Bildungsjahr steigt (genauer: der bedingte Erwartungswert). Hilfreich ist es, die Regressionsgerade in ein Streudiagramm einzuzeichnen (blau). Ein Vergleich mit der Lowess-Kurve (grün) zeigt nur zum Schluß hin Abweichungen DM Bildung

17 Multivariate Verfahren, Brüderl 17 4) Das multiple Regressionsmodell Die Regression wird zu einem multivariaten Analyseverfahren, wenn man mehr als eine uv einbezieht. Man spricht dann von multipler Regression: y i 1 x i1 2 x i2 p x ip i, i 1,,n. heißt Regressionskonstante. Die anderen Regressionskoeffizienten definieren eine p-dimensionale Regressionsebene. Interpretation: j gibt an, um wieviel Einheiten sich Y ändert, wenn sich X j um eine Einheit erhöht, unter Kontrolle der anderen im Modell enthaltenen X-Variablen. j sagt uns, welcher Effekt verbleibt, wenn wir für die anderen uvs kontrollieren. Damit ist die multiple Regression das ideale multivariate Analyseverfahren: wir fügen dem Modell einfach alle uvs hinzu, von denen wir vermuten, daß von ihnen eine Scheinkorrelation bzw. Intervention ausgehen könnte. Beispiel: Statuszuweisungsmodell (ALLBUS 94) Blau/Duncan (1967) The American Occupational Structure. Wie erlangt man seine soziale Position? Durch achievement oder Statusvererbung? Abhängige Variable ist Einkommen (nur Westdeutsche, Vollzeit). Der Status des Vaters wird mit der Magnitudeprestigeskala gemessen (Werte von 2-19), das achievement durch die eigene Schul- und Berufsbildung (Werte von 9-22). Fehler 1 Das Statuszuweisungsmodell Fehler 2 (1) (2) Konstante Prestige Vater 12,7 3,4 Bildung 246 R 2,5,19 N

18 Multivariate Verfahren, Brüderl 18 Der bivariate Effekt (Gesamteffekt) des Prestiges des Vaters wird deutlich kleiner, wenn man für Bildung kontrolliert (Intervention). Offensichtlich ist ein großer Teil des Herkunftseffektes über Bildung vermittelt (indirekter Effekt). Der direkte Effekt ist nicht mehr allzu groß. Zur Verdeutlichung des Gesamtmodells kann man die standardisierten Regressionskoeffizienten in das Kausalmodell eintragen (Pfaddiagramm). Die standardisierten Koeffizienten können verglichen werden. Fehler 1,42,4,6 Fehler 2 Das Pfaddiagramm Das Regressionsmodell (2)

19 Multivariate Verfahren, Brüderl 19 Standardisierte (einfache) Regressionskoeffizienten Will man die j vergleichen, so standardisiert man Y und X (Z-Transformation): y i y i y s Y, x i x i x s X. Die Regressionsgleichung lautet nun y i x i i. Gesucht sind und die standardisierten Regressionskoeffizienten. Es ergibt sich y x, s X Y s XY 2 s s X X s Y r. Dies zeigt, daß r gleich dem standardisierten Regressionskoeffizienten ist (gilt nur bei der einfachen Regression!). Beziehung von und : Es gilt s X sy. "Mechanik" der Drittvariablenkontrolle Um zu verstehen, was bei der Kontrolle einer weiteren uv passiert, betrachten wir den Spezialfall mit zwei uvs. Korrelieren X 1 und X 2, so müssen die wechselseitigen indirekten Effekte herausgerechnet werden. Im Prinzip werden dazu die tatsächlichen Werte von X j ersetzt durch die Residuen, die man aus einer Regression mit X j als Regressand und den anderen uvs als Regressoren erhält. Es resultieren diese Schätzformeln: 1 r yx 1 r yx2 r x1 x 2 1 r2 x1 x 2 2 r yx 2 r yx1 r x1 x 2 1 r2 x1 x 2 y 1 x 1 2 x s y s x1 s y s x2. Man erkennt, daß für r x1 x 2 die selbe Formel wie im bivariaten Fall resultiert. Für r x1 x 2 wird die bivariate Korrelation korrigiert um den indirekten Effekt.

20 Multivariate Verfahren, Brüderl 2 5) Das Regressionsmodell in Matrix-Notation y 1 1 x11 x1p 1 y y 2,X 1 x21 x2p, 1, 2. y n 1 xn1 xnp p n y X. Annahmen der Regressionsanalyse N n, 2 I Cov x, rg X p 1. Schätzung Mittels der KQ-Methode erhält man die Schätzer für, X X 1 X y. Mit denen kann man die gefitteten Werte schätzen y X X X X 1 X y Hy. Die geschätzten Fehlerterme (die Residuen) sind y y y Hy I H y. Die Residualvarianz ergibt sich aus 2 n p 1 y y y X n p 1. Zum Testen der Regressionskoeffizienten benötigt man deren Stichprobenvarianzen ( 2 j stehen auf der Hauptdiagonalen): Das Bestimmtheitsmaß ist R 2 ESS TSS 1 RSS TSS 1 V 2 X X 1. 2 i y i y 2 1 y y n y 2.

21 Multivariate Verfahren, Brüderl 21 Exkurs: Matrixalgebra Eine Matrix A der Dimension 3 2: A , A Ein Spaltenvektor y und der Zeilenvektor y : y 2 1 5, y Spezielle Matrizen: Quadratische Matrizen: Zeilenzahl gleich Spaltenzahl Symmetrische Matrizen: Elemente unter und über der Hauptdiagonalen entsprechen sich (nur quadratische Matrizen) Diagonalmatrix: nur auf der Hauptdiagonalen Elemente ungleich Einheitsmatrix: Diagonalmatrix mit Elementen gleich eins (I) Nullmatrix: alle Elemente gleich null () Skalar: 1 1 Matrix (Zahl) Matrixoperationen Gleichheit: Alle Elemente sind gleich Matrixaddition: Die Summe zweier Matrizen A B (gleiche Dimension) ist die Summe der einzelnen Elemente Es gilt: A B B A. Skalarmultiplikation: 2 B

22 Multivariate Verfahren, Brüderl Matrixmultiplikation: AB C (r s s t r t) Es gilt: AB BA (geht sowieso nur bei quadratischen Matrizen). Es gilt: AI IA A. Es gilt: A B B A. Skalarprodukt: a b b a a i b i, (y y y i 2 ) Determinanten Nur bei quadratischen Matrizen. Am einfachsten bei Bei höheren Dimensionen: Man bildet die gewichtete Summe der Elemente einer Zeile (oder Spalte). Die Gewichte sind die Kofaktoren (Determinanten der Elemente der Matrix, die nicht in der gleichen Zeile und Spalte stehen). Das Vorzeichen der Kofaktoren ergibt sich aus der Summe der Zeilen- und Spaltenindizes des Elements (gerade, ungerade -) Eine Matrix mit Determinante von bezeichnet man als singuläre Matrix. Dies resultiert daraus, daß sich eine Zeile

23 Multivariate Verfahren, Brüderl 23 (Spalte) als Linearkombination einer oder mehrerer Zeilen (Spalten) darstellen läß t Der Rang einer quadratischen Matrix rg A ist die maximale Zahl der linear unabhängigen Zeilen. Sind alle Zeilen unabhängig, so hat die Matrix vollen Rang. Es gilt: rg A A rg A Eigenschaften: A A AB A B Matrixinversion Nur bei quadratischen Matrizen: AA 1 A 1 A I. A 1 A 1 adj A. Die adjunkte Matrix von A ist die Matrix, bei der alle Elemente durch ihre Kofaktoren ersetzt werden und anschließend transponiert wird Eigenschaften: Inverse nur bei Matrizen mit vollem Rang ( A ) A 1 A 1 AB 1 B 1 A 1 Gilt AA I, so heißt A orthogonal

24 Multivariate Verfahren, Brüderl 24 Lineare Gleichungssysteme Mittels der Matrixinversion kann man lineare Gleichungssysteme lösen x 1 2x 2 x 3 1 3x 1 x 2 x 3 5 4x 1 3x 2 2x 3 2. Setzen wir A , x x 1 x 2, c x , so können wir das Gleichungssystem schreiben als Ax c. Die Lösung erhalten wir durch Vormultiplikation mit der Inversen A 1 Ax A 1 c x A 1 c. Daraus ergibt sich x Eigenwerte und Eigenvektoren A sei n n. heißt Eigenwert und x Eigenvektor, wenn folgende Gleichung erfüllt ist Ax x A I x. Es gibt n, nicht notwendig verschiedene Eigenwerte und dazugehörende Eigenvektoren. Quadratische Form A sei n n, dann heißt x Ax quadratische Form. Es gilt x Ax 2Ax. x

25 Multivariate Verfahren, Brüderl 25 Ableitung der OLS-Schätzer Das Regressionsmodell lautet y X. Die OLS-Schätzer von erhalten wir, indem wir die Summe der Residuenquadrate minimieren min i2 min. Es gilt y X y X y y y X X y X X y y 2y X X X. Jedes Produkt der rechten Gleichungen ist ein Skalar, weshalb X y y X. Leiten wir nun ab, so erhalten wir 2X y 2 X X. Nullsetzen und umformen liefert die Normalgleichungen X X X y. Hat X vollen Rang, so können wir dieses lineare Gleichungssystem eindeutig lösen X X 1 X y. Normalgleichungen für p 2: n x 1 x 2 y x 1 2 x 1 x 2 x 1 x 2 x 1 x 2 2 x yx 1 yx 2. Hieran erkennt man, daß sich hinter der Matrixform der Normalgleichungen ein Gleichungssystem verbirgt, daß analog wie bei der einfachen Regression aufgebaut ist.

26 Multivariate Verfahren, Brüderl 26 6) Praktische Regressionsanalyse In diesem Kapitel werden einige Ergänzungen besprochen, die für den praktischen Umgang mit Regressionen wichtig sind. Signifikanztests Test der Signifikanz des Gesamtmodells (overall F-Test) Man kann testen, ob alle X-Variablen zusammen zur Erklärung von Y beitragen. Die H ist, daß keine X-Variable einen Einfluß auf Y zeigt: H : 1 2 p, H 1 : j, für mind. ein j. Man berechnet hierzu folgende F-Teststatistik: F ESS RSS n p 1 p R 2 1 R 2 n p 1 p F p, n p 1. Die H wird abgelehnt, falls F F 1 p, n p 1. Wird die H abgelehnt, so spricht man oft salopp von der,,signifikanz des Regressionsmodells Test der Signifikanz mehrerer Effekte (incremental F-Fest) Manchmal will man testen, ob eine Teilmenge der Regressionskoeffizienten einen signifikanten Einfluß hat: H : 1 2 k, mit 1 k p. Gilt die H, so hat man ein Regressionsmodell, in dem die ersten k uvs fehlen (Nullmodell). Man verwendet auch hier einen F-Test, bei dem man im Prinzip das R 2 aus dem Nullmodell (R 2 ) mit dem aus dem Vollmodell (R 2 1 ) vergleicht F R 1 2 R 2 1 R 1 2 n p 1 k F k, n p 1. Man testet im Prinzip den Anstieg von R 2 vom Null- zum Vollmodell (beim overall F-Test ist das Nullmodell das Modell mit nur der Konstanten, also R 2, k p). Im Fall k 1, ist der incremental F-Test äquivalent zum t-test ( F t).

27 Multivariate Verfahren, Brüderl 27 Test der Signifikanz eines Regressionskoeffizienten (t-test) Die H ist, daß die Variable X j keinen Einfluß auf Y hat H : j, H 1 : j. Die Teststatistik ist t j j t n p 1. Die H wird abgelehnt, falls t t 1 /2 n p 1. Für n 5 können wir das entsprechende z-quantil verwenden. Können wir die H verwerfen, so sprechen wir davon, daß die Variable X j einen signifikanten Einfluß auf Y zeigt. Beispiel: Einkommensregression Die Humankapitaltheorie sagt voraus, daß das Einkommen abhängt vom allgemeinen Humankapital (Schulbildung, Berufserfahrung) und vom spezifischen Humankapital (Erfahrung im gegenwärtigen Job). Einkommen ist das monatliche Nettoeinkommen des Befragten in DM. Indikator für allg. HK ist Zahl der Schuljahre (BILD). Jahre der Berufserfahrung (EXP) mißt allg. und spez. HK. Wir engen die Stichprobe ein auf 1) ganztägig hauptberufliche, 2) jährige und 3) nicht in Ausbildung befindliche Erwerbstätige. Source SS df MS Number of obs F( 3, 1236) Model Prob F. Residual e R-squared Adj R-squared.1594 Total 3.551e Root MSE eink Coef. Std. Err. t P t [95% Conf. Interval] bild exp prest _cons