Multivariate Regression

Transkript

1 Multivariate Regression Ziel: Man will überprüfen, welche Variablen wieviel Varianz einer Zielvariable erlären und ob die durch die einzelnen Variablen wegerlärte Varianz signifiant von 0 verschieden ist (Anova) oder ob die Koeffzienten der Geradengleichung y Ab r signifiant von 0 verschieden sind. Voraussetzungen: Die Zielvariable ist metrisch saliert. Die erlärenden Variablen sind metrisch saliert oder weisen nur zwei Ausprägungen auf. Die Residuen sind normalverteilt. Die Varianzen der Residuen bezüglich der Regressiongerade sind identisch. Gegeben sei ein Datensatz bezüglich n Objeten für die Variablen X 1,...,X,Y. (Ein solcher Datensatz hat die Form einer n 1 Matrix!) Es wird ein linearer Zusammenhang zwischen den Variablen X 1...,X sowie einer Konstante b 0 einerseits, und der Zielvariable Y andererseits vermutet. Mit anderen Worten gilt laut Vermutung: y i x ij b j r i j0 für 1 i n, x i0 1 (dies wird gesetzt, damit x i0 b 0 nicht durch Setzung 0 wird). b j sind die 1 Koeffizienten, die wir bestimmen wollen. r i ist das Residium y i b j x ij des Datums y i (Abweichung des Datums von der j0 geschätzten Gerade). Mit A x ij ( die Matrix der Werte der Variablen X 0,X 1...X b b 0,...,b y y 1,...,y n r r 1,...,r n (v ist der transponierte Vetor von v; im Beispiel: b b 0 ) b ann man y i x ij b j r i für 0 i n auch in Matrizensschreibweise ausdrücen j0 als y Ab r Auch hier geht es darum, die Summe der quadrierten Abstände zu minimieren, 1

2 d.h.die b j 0 j sind so zu bestimmen, dass y i b j x ij 2 minimal wird. Man ann beweisen, dass dieser Ausdruc minimal ist genau dann, wenn b A A 1 A y Dabei ist A die transponierte Matrix von A. A A 1 ist die inverse Matrix von A A (Die inverse Matix C einer Matrix B ist definiert als Matrix, für die gilt: AC E, wobei E der Einheitsvetor ist - d.h. für E gilt: alle Zellen ausser der Diagonalen sind null, die Diagonale enthält überall eine 1). Man ann zeigen, dass A A 1 A y ein erwartungstreuer Schätzer des Parametervetors der Verteilung ist, aus der die Daten stammen. Zudem ist dieser Schätzer unter allen linearen Schätzern von minimaler Varianz. Für diese Beweise müssen wir voraussetzen, dass A nicht als Realisation von Zufallsvariablen zu deuten ist, sondern als feste Punte, unter denen wir die Werte Y erheben. Berechnungsbeispiel: (es werden wenige Zahlen gewählt, damit die Rechnung mit manuellen Mitteln nachvollziehbar ist). Wir nehmen an, wir hätten die Vermutung, dass es zwischen dem Nettoeinommen, der Schmucgeschäftsdichte und dem Geschlecht einerseits (Variablen X 1,...,X und den Ausgaben für Schmuc anderereseits (Variable Y) einen linearen Zusammenhang gibt. Damit gilt für alle i: y i b 0 b 1 x i1 bx i2 bx i r i. Zu schätzen sind die b j 0 j. Wir erheben die folgenden Daten. Einommen (steuerbares Nettoeinommen pro Monat in Fr.) Schmucgeschäftsdichte (Geschäfte pro Einwohner) n i1 j0 Geschlecht (1 weiblich, 0 männlich) Ausgaben für Schmuc (pro Jahr in Franen) Damit erhalten wir die Matrix und den Vetor: A ;y 2

3 A A A A A A 1 A A A 1 A y b Damit erhalten wir für alle i jeweils die Gleichung:

4 y i x i1 55 x i2 5 x i r i wobei zur Schätzung von Werten ŷ i x i1 55 x i2 5 x i verwenden. Die Koeffizienten b 0,b 1 und b 2 sind positiv. Für b 0 bedeutet dies, dass b 0 an Schmuc geauft wird, wenn alle Variablen 0 sind (ein Einommen, ein Geschäft auf Einwohner, männlich; b 0 ist der Ordinatenabschnitt). Ein positives b 1 bedeutet, dass mehr Schmuc geauft wird, wenn das Einommen steigt. Dabei gibt b 1 die Steigung des entsprechenden Zusammenhangs an. Analoges gilt für b 2. b ist negativ. Nimmt x i denwert0an( Mann), so wird nichts abgezählt, nimmt x 1 denwert1an( Frau), so wird von den zu schätzenden Ausgaben für Schmuc abgezählt. Die Gleichung önnen wir nun verwenden, um zu schätzen, wieviel jemand für Schmuc ausgibt, wenn wir wissen, wieviel er verdient, welches die Schmucgeschäftsdichte seines Wohnortes ist und welches Geschlecht er hat. z.b. Jemand verdiene 000 pro Monat, die Dichte sei 2 und das Geschlecht sei männlich. Dies ergibt in die Gleichung eingesetzt: ŷ i Fr. Diese Person wird also im Mittel Franen für Schmuc ausgeben. Wäre die Person eine Frau, würde sich ergeben: ŷ i Fr. Berechnung mit Excel Sie finden das folgende Beispiel unter "multivariate Regression mit Excel.xls" auf der Homepage. Eingabe der Datenmatix A in Excel: Berechnung der transponierten Matrix A (die transponierte Matrix ist die Matrix, die entsteht, wenn wir eine Matrix an der Diagonale spiegeln): A opieren. Auf die Zelle gehen, von der weg nach lins-unten die transponierte Matrix eingefügt werden soll (im Beispiel A16). Anlicen. Dann "bearbeiten", "Inhalte einfügen", transponiert, o. Wir erhalten fürs Beispiel: Als nächstes berechnen wir A A mit Hilfe des Excelbefehles "mmult(a ;A)": Dazu müssen wir vorgängig eine leeren Teil der Tabelle beleuchten (mit 1 1 Zellen, im Beispiel mit 4 4 Zellen und A2:D26) und schreiben dann fürs Beispiel 4

5 "mmult(a16:e19;a8:d12)" (Sie önnen auch die Matrizen eingeben, indem Sie die erste mit dem Cursor beleuchten, ";" eingeben, die zweite mit dem Cursor beleuchten) und bestätigen mit ctrl shift enter. Es erscheint die Matrix A A Wir berechnen nun die inverse Matrix A A 1 dieser Matrix: Dazu muss ein leerer Teil der Exceltabelle beleuchtet werden, der gleichviele Zeilen und Spalten hat wie die obige Datenmatrix (im Beispiel 4 4; Zellen A0:E: Dann wird "minv(a2:d26)" (im Beispiel) geschrieben und bestägt mit ctrl shift enter. Wir erhalten A A 1 Nun berechnen wir die Multipliation (wie bereits beschrieben) dieser Matix mit der A, indem wir in einem leeren Teil der Tabelle 1 n Zellen beleuchten (im Beispiel A:E40). Wir erhalten: A A 1 A Schliesslich müssen wir A A 1 A y berechnen, wobei b (Multipliation von A A 1 A mit y mit dem Befehl mmult(a:e40;a45:a49) (im Beispiel), bestätigen mit: ctrl, shift, enter. Wir erhalten: {Ende der Erläuterungen zur Excelberechnung} 5