Allgemeine Regressionsanalyse. Kovariablen / Prädiktoren / unabhängige Variablen X j R d, evtl. deterministisch

Transkript

1 Prof. Dr. J. Franke Statistik II für Wirtschaftswissenschaftler 9.1 Allgemeine Regressionsanalyse Daten (X j, Y j ), j = 1,..., N unabhängig Kovariablen / Prädiktoren / unabhängige Variablen X j R d, evtl. deterministisch Regressionsmodell: Y j = g(x j ) + e j, j = 1,..., N, Ee j = 0 g(x) = beste Vorhersage für neue Beobachtung Y N+1, wenn X N+1 = x bekannt ist Regressionsgerade: x R, g(x) = b 0 + b 1 x

2 Prof. Dr. J. Franke Statistik II für Wirtschaftswissenschaftler 9.2 Multiple Regression: X j R d Analog zu Regressionsgerade: g linear in x: g(x) = b 0 + b 1 x b d x d Kleinste-Quadrate Schätzer für Regressionsparameter b 0,..., b d : Minimiere ( N j=1 Y j b 0 b 1 X j1... b d X jd ) 2! g quadratisch in x: g(x) = b 0 + d i=1 b i x i + d i,k=1 b ik x i x k Solange die unbekannten Parameter b k linear in g eingehen explizite Formeln für Schätzer

3 Prof. Dr. J. Franke Statistik II für Wirtschaftswissenschaftler 9.3 Logistische Regression Anwendung: Credit Scoring Aufgabe: Gegeben d Kovariable zu Kreditantrag - sage vorher, ob Kredit problemlos zurückgezahlt wird Daten: Kovariable X j R d, Default-Indikator Y j = 1, falls Probleme bei Rückzahlung, = 0 sonst j = 1,..., N = 2000, u.i.v. Klassifikationsregel: r(x) = 0 kreditwürdig, = 1 nicht kreditwürdig Optimal (im Sinn von minimaler Wahrscheinlichkeit für Fehlklassifikationen): r o (x) = 1 Ws ( Y j = 1 X j = x ) > Ws ( Y j = 0 X j = x )

4 Prof. Dr. J. Franke Statistik II für Wirtschaftswissenschaftler 9.4 r o (x) = 1 g(x) = Ws ( Y j = 1 X j = x ) > 1 2 Problem: Schätze g(x)! Modell: Y 1,..., Y N unabhängige 0-1-Zufallsgrößen mit Ws ( Y j = 1 X j = x ) = l ( ) b 0 + b 1 x b d x d und l(u) = 1 = logistische Funktion 1 + e u multiple Regression, linear in den Kovariablen + Transformation l, damit Werte in [0,1]. Kovariable (etwa 20): Kredit: Höhe, Verwendungszweck, Laufzeit, Ratenhöhe,... Kunde: Alter, Einkommen, Berufstyp, Kreditgeschichte, Schulden,...

5 Prof. Dr. J. Franke Statistik II für Wirtschaftswissenschaftler 9.5 Verallgemeinerte lineare Regression (GLIM) Anwendung: Restwertabschätzung von Leasing-Fahrzeugen Kovariable X j : Kilometerstand, Motorisierung, Modellreihe, Modellhistorie, Lackfarbe, Polsterfarbe, Polstermaterial, diverse Ausstattungsmerkmale,... 3er, schwache Motorisierung: Lackfarbe keinen signifikanten Einfluss auf Restwert 3er, stärkere Motoren: Lackfarbe hat Einfluss Modell: Restwert Y j = g(x j ) + e j, Linkfunktion f g(x) = f ( ) b 0 + b 1 x b d x d

6 Prof. Dr. J. Franke Statistik II für Wirtschaftswissenschaftler 9.6 Schätzer für b 0,..., b d z.b. wieder über Kleinste-Quadrate: N Minimiere (Y j f ( ) ) 2 b 0 + b 1 X j b d X jd! j=1 I.a. nur numerisch lösbar. Ähnliches Problem: Wertermittlung von Immobilien Kovariable X j : Grundstücksgröße, Wohnfläche, Anzahl Stockwerke, Unterkellerung, Dachform, Wohnlage,... Vorteil GLIM: Verbindet Einfachheit und übersichtliche Struktur von multipler linearer Regression mit mehr Flexibilität durch nichtlineare Linkfunktion f

7 Prof. Dr. J. Franke Statistik II für Wirtschaftswissenschaftler Probleme: a) Behandlung von qualitativen Kovariablen (z.b. Berufstyp beim Credit Scoring, Lackfarbe bei der Restwertabschätzung, Dachform bei Immobilien,...) Dummy-Variable, z.b. Lackfarbe rot, dunkelblau, dunkelgrün, eisblau, schwarz, weiß, silber, bronze x i {0, 1} 3, x i = (0, 0, 0) rot,..., x i = (1, 1, 1) bronze b) Vermeidung von Überanpassung (Overfit) an Daten: Modelle mit vielen Parametern versuchen, nicht nur die allgemeinen Zusammenhänge zwischen den Y j und den Kovariablen X j zu beschreiben, sondern passen sich auch an die rein zufälligen Schwankungen e j in der Stichprobe an schlechtere Vorhersagequalität für neue Daten

8 Prof. Dr. J. Franke Statistik II für Wirtschaftswissenschaftler 9.8 Regression und Vorhersage von Zeitreihen Zeitreihendaten (Aktienkurse, Umsatzzahlen,...): X 1,..., X N Sage X N+1, X N+2,... vorher! Für Vorhersagezwecke eignen sich besonders autoregressive Modelle, die analog zu Regressionsmodellen sind: X t = g ( X t 1,..., X t p ) + et Innovationen e t u.i.v. mit Ee t = 0 Beste Vorhersage: X N+1 = g ( X N,..., X N+1 p )

9 Prof. Dr. J. Franke Statistik II für Wirtschaftswissenschaftler 9.9 Schätzer für Vorhersagefunktion g wie Schätzung von Regressionsfunktionen Lineare Autoregression der Ordnung 1: X t = bx t 1 + e t N t=2 ( X t bx t 1 ) 2 = min b! Allgemein: Außer den vergangenen Daten der Zeitreihe X t selbst exogene Zeitreihen Z t R d vorhanden X t = g ( X t 1,..., X t p, Z t 1,..., Z t q ) + et Beste Vorhersage: X N+1 = g ( X N,..., X N+1 p, Z N,..., Z N+1 q )

10 Prof. Dr. J. Franke Statistik II für Wirtschaftswissenschaftler 9.10 Erkennen von Strukturen in komplexen Daten Hauptkomponentenanalyse Modell: X 1,..., X N d-dimensional normalverteilt mit Mittelwertsvektor µ = ( EX j,1,..., EX j,d ), Kovarianzmatrix C = ( cov (X j,k, X j,l ) k,l=1,...,d d sehr groß. Finde möglichst informative Projekten der Daten auf niedrig-dimensionalen (ideal 2 oder 3, da graphisch darstellbar) Vektor von Hauptkomponenten 1. Hauptkomponente: Z j = d i=1 w i X j,i R mit var Z j = max w1,...,w d! Anwendung: Risikofaktoren in Bankportfolio (d = )

11 Prof. Dr. J. Franke Statistik II für Wirtschaftswissenschaftler 9.11 Clusteranalyse Modell: X 1,..., X N d-dimensional normalverteilt Es gibt G 1 Gruppen mit unterschiedlichen Mittelwerten µ 1,..., µ G und Kovarianzmatrizen C 1,..., C G G =? Anschließend Klassifikation: neues X = x beobachtet - zu welcher Gruppe gehört das Objekt? Anwendung: Umverstrukturierung von Schuhlager, so dass oft gemeinsam bestellte Schuhe nahe beeinander lagern Wegeminimierung der Lagerarbeiter