Klassen diskreter Variablen

Transkript

1 Modelle diskreter Variablen Klassen diskreter Variablen binär multinomial Weitere Klassifizierung multinomialer diskreter Variablen: kategorial y = 1, falls Einkommen < 3000 e. y = 2, falls Einkommen zw und 5000 e. y = 3, falls Einkommen > 5000 e. nicht kategorial y = Anzahl der Autos im Haushalt. Weitere Klassifizierung kategorialer Variablen abhängig davon, ob diese natürliche Ordnung oder Reihenfolge besitzen. Ökonometrie 2 (SS 2007) 1 / 31

2 Modelle diskreter Variablen Klassen diskreter Variablen nominal/ ungeordnet kategorial y = 1, falls Verkehrsmittel Auto. y = 2, falls Verkehrsmittel Bus. y = 3, falls Verkehrsmittel Auto. sequentiell y = 1, falls Person entscheidet, nicht zu arbeiten. y = 2, falls Person arbeiten will, aber keine Anstellung findet. y = 3, falls Person Arbeit hat. Die Charakteristiken jeder diskreten Variablen bestimmen die möglichen Methoden zur Lösung des Modells. Ökonometrie 2 (SS 2007) 2 / 31

3 Binäre Auswahlmodelle Theoretischer Hintergrund Betrachte binäre abhängige Variable y, die nur zwei mögliche Werte (z.b. 0 und 1) annehmen kann, sowie Vektor von erklärenden Variablen x, welcher Realisation von y beeinflusst. Die (unbedingte) Erwartung der binären Variable y wird mittels Wahrscheinlichkeit definiert: E(y) = P(y = 1). Nun beeinflusse die Menge der erklärenden Variablen x das Ergebnis von y. Dann ist die bedingte Erwartung von y bei geg. x definiert als: E(y x) = P(y = 1 x). Ökonometrie 2 (SS 2007) 3 / 31

4 Binäre Auswahlmodelle Theoretischer Hintergrund Verbindet man diesen Term mit der üblichen Regression y = F (x, β) + u, so erhält man für die bedingte Erwartung E(y x) = E(F (x, β) + u x) = F (x, β) + E(u x) = F (x, β). Das übliche Regressionsfunktional F (x, β) ist eine Darstellung der bed. Erwartung von y bei geg. x. Ist die abhängige Variable der Regression binär, so ist F (x, β) gleich zur bed. Wahrscheinlichkeit der Beobachtung y = 1. Die Eigenschaften von binären Auswahlmodellen hängen entscheident davon ab, wie F (x, β) festgelegt wird. Ökonometrie 2 (SS 2007) 4 / 31

5 Das Lineare Wahrscheinlichkeitsmodell Betrachte die binäre Variable y und den (k dim.) Vektor x der erklärenden Variablen. Wir legen die bed. Wahrscheinlichkeit fest als: P(y = 1 x) = F (x, β) = x β. Führen wir zufälligen Störterm u ein, so erhalten wir y = x β + u, wobei E(u x) = 0 per Definition und f (u) Dichtefkt. Für zufällig aus Grundgesamtheit gezogene Stichprobe von n Beobachtungen {y i, x i } gilt y i = x i β + u i. OLS Schätzung kann erfolgen. Bekannt als Lineares Wahrscheinlichkeitsmodell (Linear Probability Model, LPM) Ökonometrie 2 (SS 2007) 5 / 31

6 Das Lineare Wahrscheinlichkeitsmodell Probleme mit LPM Störterme nicht normal verteilt u i = 1 x i β mit Wahrscheinlichkeit f (u i) = x i β u i = x i β mit Wahrscheinlichkeit f (u i) = 1 x i β Störterme heteroskedastisch var(u i x i ) = E(u 2 i ) = ( x i β) 2 (1 x i β) + (1 x i β) 2 (x i β) = (x i β) (1 x i β) = P(y i = 1 x i ) P(y i = 0 x i ). Bed. Erwartung nicht zw. 0 und 1 beschränkt E(y i x i ) = P(y i = 1 x i ) = x i β, was für ganze reelle Achse definiert ist. Ökonometrie 2 (SS 2007) 6 / 31

7 Mögliche Lösungen Das Lineare Wahrscheinlichkeitsmodell Behandlung der Heteroskedastizität durch Gewichtete Kleinste Quadrate Methode mit Gewichten w i = (x i ˆβ) (1 x i ˆβ), die aus einer vorhergehenden Schätzung berechnet werden. Das angepasste Modell wird zu y i = x i u i β +. w i w i w i Aber man erhält noch keine Wahrscheinlichkeiten nur im Bereich [0, 1]. Bessere Lösung ist Re Spezifizierung oder Transformation des Regressionsmodells, um Wahrscheinlichkeit zu beschränken. Ökonometrie 2 (SS 2007) 7 / 31

8 Probit und Logit Modelle Im Allgemeinen gilt E(y i x i ) = P(y i = 1 x i ) = F (x i, β). Für das Lineare Wahrscheinlichkeitsmodell: F (x i, β) = x i β. Um das Wahrscheinlichkeitsmodell zu lösen, muss der Wert von F (x i, β) auf das Intervall [0, 1] beschränkt werden. Ökonometrie 2 (SS 2007) 8 / 31

9 Probit und Logit Modelle Der Transformationsansatz Für Probit F (x i, β) = Φ(x i β), wobei Φ Verteilungsfkt. der Standardnormalverteilung. Für Logit wobei Λ(z) = die logistische Funktion darstellt. F (x i, β) = Λ(x i β), exp(z) 1 + exp(z) = exp( z) Ökonometrie 2 (SS 2007) 9 / 31

10 Probit und Logit Modelle Der Transformationsansatz Beide Fkt. Φ(z) und Λ(z) sind monoton wachsend in z. Außerdem gilt F (x i, β) 0 falls x i β, F (x i, β) 1 falls x i β +. Probit und Logit Modelle liefern wohldefinierte Wahrscheinlichkeiten. Allerdings kann OLS nicht mehr verwendet werden, da transformierte Regressionsfkt. nicht linear ist. Man nutzt ML Techniken. LPM als Approximation einer beliebigen nichtlinearen Wahrscheinlichkeitsfkt. F ( ) mittels Taylor Reihenentwicklung 1. Ordnung um x = x 0 F (x, β) F (x 0, β) + (x x 0 ) F (x 0, β) β = x β 0. Ökonometrie 2 (SS 2007) 10 / 31

11 Probit und Logit Modelle Latente Variable Wir nehmen an, dass eine zugrunde liegende (und nicht beobachtete) latente Variable y existiert, mit y (, ). Wir beobachten y nicht direkt, sondern nur binären Variable y, so dass y = 1I{y > 0}. Dabei ist 1I die Indikatorfunktion, d. h. wird die Bedingung erfüllt, nimmt sie den Wert 1 an, ansonsten 0. Wir definieren die latente Gleichung in linearer Form: y = x β + u, wobei u zufällig ist mit symmetrischer Dichte f und zugehöriger Verteilungsfkt. F. Ökonometrie 2 (SS 2007) 11 / 31

12 Probit und Logit Modelle Latente Variable Somit folgt E(y x) = P(y = 1 x) = P(y > 0 x) = P(x β + u > 0) = P(u > x β) = 1 F ( x β) = F (x β). Durch Festlegung einer geeigneten Verteilungsfkt. für u erhalten wir Probit bzw. Logit Modelle. Für normal verteiltes u müssen Parameter skaliert werden, damit σ 2 = Var(u) = 1. Denn P(y = 1 x) = P(u > x β) = P(u/σ > x (β/σ)) = P(z > x (β/σ)) = Φ(x (β/σ)). Ökonometrie 2 (SS 2007) 12 / 31

13 Probit und Logit Modelle Theoretische Grundlagen Repräsentiere y = 1 eine Person, die arbeitet, und y = 0 eine, die nicht arbeitet. Diese werden mittels spezifischer Größen U y beschrieben U y=1 = x β 1 + u 1, U y=0 = x β 0 + u 0. Teilnahme am Arbeitsmarkt, wenn U y=1 > U y=0. Somit y = 1I{U y=1 > U y=0} = 1I{x β 1 + u 1 > x β 0 + u 0 } = 1I{u 1 u 0 > x (β 1 β 0 )}. Identifiziere Differenz β 1 β 0. Es folgt mit y = 1I{y > 0}, y = x (β 1 β 0 ) + (u 1 u 0 ) = x β + u. Ökonometrie 2 (SS 2007) 13 / 31

14 ML Schätzung Betrachte Stichprobe von n Beobachtungen {y i, x i }, mit binärem y i. Setze y i = 1I{y i > 0} für y i = x i β + u i. Für jeden Vektor β ist die Wahrscheinlichkeit, y i bei geg. x i zu beobachten: L(β x i ) = = n P(y i x i, β) i=1 n P(y i = 0 x i, β) 1 y i P(y i = 1 x i, β) y i. i=1 Logarithmieren liefert ln L(β x i ) = n {(1 y i ) ln P(y i = 0 x i, β) + y i ln P(y i = 1 x i, β)}. i=1 Ökonometrie 2 (SS 2007) 14 / 31

15 ML Schätzung Für Probit Modell folgt P(y i = 1 x i, β) = Φ(x i β), P(y i = 0 x i, β) = 1 Φ(x i β) und damit Log Likelihood der Form n ln L(β x i ) = {(1 y i ) ln(1 Φ(x i β)) + y i ln Φ(x i β)}. Für Logit Modell i=1 P(y i = 1 x i, β) = Λ(x i β) = exp(x i β) 1 + exp(x i β), P(y i = 0 x i, β) = 1 Λ(x i 1 β) = 1 + exp(x i β) und damit Log Likelihood der Form n ln L(β x i ) = {(1 y i ) ln(1 Λ(x i β)) + y i ln Λ(x i β)}. i=1 Ökonometrie 2 (SS 2007) 15 / 31

16 Notwendige Bedingungen ML Schätzung Für die Maximierung der allg. Log Likelihood ist notwendig, dass Für Probit Modell S(β) = Für Logit Modell n i=1 S(β) = S(β) = ln L(β x i) β = 0. y i Φ(x i β) Φ(x i β) (1 Φ(x i β)) φ(x i β) x i. n i=1 [ y i exp(x i β) ] 1 + exp(x i β) x i. Man erhält ML Lösungen für Parameter, die S(β) = 0 erfüllen. Ökonometrie 2 (SS 2007) 16 / 31

17 Interpretation/ Koeffizientenvergleich Binäre Auswahlmodelle Binäre Auswahlmodelle: LPM P(y i = 1 x i, β) = x i β Probit P(y i = 1 x i, β) = Φ(x i β) Logit P(y i = 1 x i, β) = Λ(x i β) Für positives (negatives) β j wird P(y i = 1 x i, β) = F (x i β) anwachsen (fallen) mit wachsendem x j. Ökonometrie 2 (SS 2007) 17 / 31

18 Marginale Effekte Interpretation/ Koeffizientenvergleich LPM Probit Logit P(y i = 1 x i, β) x ij P(y i = 1 x i, β) x ij = β j P(y i = 1 x i, β) x ij = = φ(x i β) β j exp(x i β) (1 + exp(x i β))2 β j Folgerungen Schätzungen der Steigung sind nicht direkt vergleichbar. Z.B. sind die Varianzen der Störterme in Logit und Probit Modell unterschiedlich. Ebenso sind die Parameter verschieden skaliert. Ökonometrie 2 (SS 2007) 18 / 31

19 Marginale Effekte Interpretation/ Koeffizientenvergleich Ebenso sei darauf hingewiesen, dass die Marginalen Effekte in LPM konstant sind, d. h. unabhängig von den Daten, die Marginalen Effekte in Probit und Logit von x i abhängen. Beliebte Approximationen: β LPM 0.25 β L für Steigung, β LPM 0.25 β L für Achsenabschnitt, β P β L. Ökonometrie 2 (SS 2007) 19 / 31

20 Interpretation/ Koeffizientenvergleich Empirisches Beispiel: Kinderbetreuung Geschätzte Parameter Variable LPM Probit Logit Alleinstehende Frau Weitere Kinder, Alter Frau arbeitet Schule mit 18 J verlassen Besucht College/Uni Jüngstes Kind 2 J alt Jüngstes Kind 3-4 J alt Bezieht Unterhalt Konstante Datenquelle: 1991/92 General Household Survey, aus dem Stichprobe vom Umfang n = 1288 Frauen gezogen wurde, die für mindestens ein Kind im Vorschulalter verantwortlich sind. Ökonometrie 2 (SS 2007) 20 / 31

21 Interpretation/ Koeffizientenvergleich Empirisches Beispiel: Kinderbetreuung Die abhängige Variable ist 1, wenn die Frau für Kinderbetreuung bezahlt, 0 sonst. Referenz in allen Fällen: verheiratete Frau, nicht arbeitend, die Schule mit 16 Jahren verlassen, ein Kind jünger als 2, kein Unterhalt. Für den Referenz Haushalt nehmen alle erklärenden Variablen den Wert 0 an, was zu folgenden Wahrscheinlichkeitsschätzern führt: LPM P(y i = 1 x i ) = x i β = 0.153, Probit P(y i = 1 x i ) = Φ(x i β) = Φ( 0.995) = 0.161, Logit P(y i = 1 x i ) = Λ(x i β) = exp( 1.645) 1 + exp( 1.645) = Ökonometrie 2 (SS 2007) 21 / 31

22 Interpretation/ Koeffizientenvergleich Empirisches Beispiel: Kinderbetreuung Wie ändern sich diese für eine Frau, die z. B. eine Universität besucht? LPM P(y i = 1 x i ) = x i β = = 0.313, Probit P(y i = 1 x i ) = Φ(x i β) = Φ( ) = Φ( 0.537) = 0.296, Logit P(y i = 1 x i ) = Λ(x i β) = exp( ) 1 + exp( ) = Ökonometrie 2 (SS 2007) 22 / 31

23 Statistische Inferenz Für LPM folgt: Die geschätzten Standardfehler können leicht hergeleitet und berechnet werden. Allerding: LPM ist heteroskedastisch. Für Probit und Logit Modelle gilt: n ( β β) asym. N(0, I ( β) 1 ). Computer Software berechnet für ML Schätzung direkt Varianz Covarianz Matrix V ( β). Somit können statistische Inferenz und Hypothesentests mit üblichen Techniken durchgeführt werden. Ökonometrie 2 (SS 2007) 23 / 31

24 Goodness of fit Statistische Inferenz Repräsentiere L UR die Likelihood für das unrestringierte Problem. Repräsentiere L R die Likelihood für das restringierte Problem, das nur mit Konstante geschätzt wurde. Zwei mögliche Formulierungen für Maße: Cragg Uhler pseudo R 2 = L2/n UR L2/n R 1 L 2/n R McFadden pseudo R 2 = 1 ln L UR ln L R. Ein alternatives Maß: Anteil der korrekten Vorhersagen P i = P(y i = 1 x i ), also z. B. für Probit: P i = Φ(x i β)., Ökonometrie 2 (SS 2007) 24 / 31

25 Goodness of fit Statistische Inferenz Nutze dann ỹ i = 1I{ P i > 0.5}. Der Anteil der korrekten Vorhersagen kann dann definiert werden als P = 1 n 1I{y i = ỹ i }. n i=1 In vielen Statistik Programmen sieht man Kreuztabellen vorhergesagter und beobachteter binärer Werte vorhergesagt beobachtet n 00 n 01 1 n 10 n 11 Solche Maße sollten vermieden werden. Sie sind typischerweise unzuverlässig in praktischen Situationen, da einer der beiden Zustände nur spärlich in den Daten repräsentiert wird. Ökonometrie 2 (SS 2007) 25 / 31

26 Statistische Inferenz Signifikanztest L UR Likelihood für das unrestringierte Problem. L R Likelihood für das restringierte Problem. r Anzahl der Restriktionen. Dann: 2 ln(l R /L UR ) = 2(ln L UR ln L R ) χ 2 r. Beispiel: H 0 : β 2 = β 3 = = β k = 0 H A : wenigstens ein β j 0, j = 2,..., k. Ökonometrie 2 (SS 2007) 26 / 31

27 Simulierte Übergänge mit binären Auswahlmodellen Betrachte y i = x i β + u i. Wechsel von x i zu x R i x i. Das verändert natürlich die latente Variable von y i zu y R i = (x R i ) β + u i. Wie verändert das die Wahrscheinlichkeiten P i(j k) des Übergangs von Zustand j in den Zustand k, (j, k = 0, 1)? Wir benötigen also Wahrscheinlichkeiten P i(0 1) = P(y R i > 0.5 y i < 0.5). Ökonometrie 2 (SS 2007) 27 / 31

28 Simulierte Übergänge mit binären Auswahlmodellen Beschreiben ˆp i0 B und ˆpB i1 die vorhergesagten Wahrscheinlichkeiten für den Zustand y = 0 bzw. y = 1 für das i te Individuum bevor x i zu xi R x i wechselt und ˆp i0 R sowie ˆpR i1 entsprechend danach. Die korrekten Übergangswahrscheinlichkeiten sind dann: P i(0 0) = min{ˆp B i0, ˆp R i0} P i(0 1) = 1I{ˆp B i0 > ˆp R i0} (ˆp B i0 ˆp R i0) P i(1 0) = 1I{ˆp B i0 < ˆp R i0} (ˆp R i0 ˆp B i0) P i(1 1) = min{ˆp B i1, ˆp R i1} Mit anderen Worten: man muss nur die zwei Zustandswahrscheinlichkeiten subtrahieren, um ein korrektes Maß der Übergangswahrscheinlichkeit zu erhalten. Ökonometrie 2 (SS 2007) 28 / 31

29 Simulierte Übergänge mit binären Auswahlmodellen Ökonometrie 2 (SS 2007) 29 / 31

30 Simulierte Übergänge mit binären Auswahlmodellen Ökonometrie 2 (SS 2007) 30 / 31

31 Simulierte Übergänge mit binären Auswahlmodellen Ökonometrie 2 (SS 2007) 31 / 31