Ökonometrie. Vorlesung an der Universität des Saarlandes. Dr. Martin Becker. Sommersemester Ökonometrie (SS 2014) Folie 1

Transkript

1 Ökonometrie Vorlesung an der Universität des Saarlandes Dr. Martin Becker Sommersemester 2014 Ökonometrie (SS 2014) Folie 1

2 1 Einleitung Organisatorisches 1.1 Organisatorisches I Vorlesung: Mittwoch, 08:30-10:00 Uhr, Gebäude B4 1, HS 0.18 Übung: Dienstag, 12:15-13:45 Uhr, Gebäude B4 1, HS 0.18, Beginn: Prüfung: 2-stündige Klausur nach Semesterende (1. Prüfungszeitraum) Anmeldung im ViPa nur vom (8 Uhr) (15 Uhr)! (Abmeldung im ViPa bis , 12 Uhr) Hilfsmittel für Klausur Moderat programmierbarer Taschenrechner, auch mit Grafikfähigkeit 2 beliebig gestaltete DIN A 4 Blätter (bzw. 4, falls nur einseitig) Benötigte Tabellen werden gestellt, aber keine weitere Formelsammlung! Durchgefallen was dann? Nachprüfung Ende März/Anfang April 2015 (2. Prüfungszeitraum) ab Sommersemester 2015:??? Ökonometrie (SS 2014) Folie 2

3 1 Einleitung Organisatorisches 1.1 Organisatorisches II Informationen und Materialien unter bzw. genauer Kontakt: Dr. Martin Becker Geb. C3 1, 2. OG, Zi Sprechstunde nach Vereinbarung (Terminabstimmung per ) Vorlesungsunterlagen Diese Vorlesungsfolien (Ergänzung im Laufe des Semesters) Eventuell Vorlesungsfolien der Veranstaltung von Prof. Friedmann aus SS 2013 Download spätestens Dienstags, 19:00 Uhr, vor der Vorlesung möglich Ökonometrie (SS 2014) Folie 3

4 1 Einleitung Organisatorisches 1.1 Organisatorisches III Übungsunterlagen Übungsblätter (i.d.r. wöchentlich) Download i.d.r. nach der Vorlesung im Laufe des Mittwochs möglich Besprechung der Übungsblätter in der Übung der folgenden Woche. Übungsaufgaben sollten unbedingt vorher selbst bearbeitet werden! Im Sommersemester 2014 sehr spezielle Situation (Makro...) Beginn ausnahmsweise mit Wiederholung statistischer Grundlagen. Dadurch Wegfall einiger regulärer Inhalte. Alte Klausuren nur eingeschränkt relevant. Wiederholung nur lückenhaft und wenig formal möglich! Je nach Kenntnisstand: Eigene Wiederholung statistischer Grundlagen z.b. aus den jeweiligen Veranstaltungsfolien nötig! Ökonometrie (SS 2014) Folie 4

5 2 Wiederholung statistischer Grundlagen Deskriptive Statistik 2.1 Inhaltsverzeichnis (Ausschnitt) 2 Wiederholung statistischer Grundlagen Deskriptive Statistik Wahrscheinlichkeitsrechnung Schließende Statistik Ökonometrie (SS 2014) Folie 5

6 2 Wiederholung statistischer Grundlagen Deskriptive Statistik 2.1 Lage- und Streuungsmaße eindimensionaler Daten Betrachte zunächst ein kardinalskaliertes Merkmal X mit Urliste (Daten) x 1,..., x n der Länge n. Daten sollen auf wenige Kennzahlen verdichtet werden. Übliches Lagemaß: klassische Mittelung der Merkmalswerte, also arithmetisches Mittel x mit: x := 1 n (x 1 + x x n ) = 1 n x i n Übliche Streuungsmaße: Mittlere quadrierte Differenz zwischen Merkmalswerten und arithmetischem Mittel (empirische Varianz) sx 2 sowie deren (positive) Wurzel (empirische Standardabweichung) s X mit: ( n ) s 2 X := 1 n n (x i x) 2 =! 1 n i=1 i=1 x 2 i i=1 x 2 =: x 2 x 2, s X = + s 2 X Standardabweichung s X hat dieselbe Dimension wie die Merkmalswerte, daher i.d.r. besser zu interpretieren als Varianz s 2 X. Ökonometrie (SS 2014) Folie 6

7 2 Wiederholung statistischer Grundlagen Deskriptive Statistik 2.1 Abhängigkeitsmaße zweidimensionaler Daten I Nehme nun an, dass den Merkmalsträgern zu zwei kardinalskalierten Merkmalen X und Y Merkmalswerte zugeordnet werden, also eine Urliste der Länge n (also n Datenpaare) (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ) zu einem zweidimensionalen Merkmal (X, Y ) vorliegt. Unverzichtbare Eigenschaft der Urliste ist, dass die Paare von Merkmalswerten jeweils demselben Merkmalsträger zuzuordnen sind! Mit den zugehörigen Lage- und Streuungsmaßen x, y, s X und s Y der eindimensionalen Merkmale definiert man als Abhängigkeitsmaße zunächst die empirische Kovarianz s X,Y mit: ( s X,Y := 1 n n ) (x i x)(y i y) =! 1 x i y i x y =: xy x y n n i=1 i=1 Ökonometrie (SS 2014) Folie 7

8 2 Wiederholung statistischer Grundlagen Deskriptive Statistik 2.1 Abhängigkeitsmaße zweidimensionaler Daten II Als standardisiertes, skalenunabhängiges Abhängigkeitsmaß definiert man darauf aufbauend den empirischen (Bravais-)Pearsonschen Korrelationskoeffizienten r X,Y mit: r X,Y := s X,Y s X s Y Es gilt stets 1 r X,Y 1. r X,Y misst lineare Zusammenhänge, spezieller gilt rx,y > 0 bei positiver Steigung ( X und Y sind positiv korreliert ), rx,y < 0 bei negativer Steigung ( X und Y sind negativ korreliert ), rx,y = 1, falls alle (x i, y i ) auf einer Geraden (mit Steigung 0) liegen. r X,Y ist nur definiert, wenn X und Y jeweils mindestens zwei verschiedene Merkmalsausprägungen besitzen. Ökonometrie (SS 2014) Folie 8

9 2 Wiederholung statistischer Grundlagen Deskriptive Statistik 2.1 Beispiel: Empirischer Pearsonscher Korrelationskoeffizient r X, Y = 1 X Y r X, Y = 0 X Y r X, Y = 1 X Y r X, Y = X Y r X, Y = X Y r X, Y = X Y Ökonometrie (SS 2014) Folie 9

10 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Inhaltsverzeichnis (Ausschnitt) 2 Wiederholung statistischer Grundlagen Deskriptive Statistik Wahrscheinlichkeitsrechnung Schließende Statistik Ökonometrie (SS 2014) Folie 10

11 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Eindimensionale Zufallsvariablen I (Eindimensionale) Zufallsvariablen X entstehen formal als (Borel-messbare) Abbildungen X : Ω R von Ergebnismengen Ω eines Wahrscheinlichkeitsraums (Ω, F, P) in die reellen Zahlen. Auf eine Wiederholung der grundlegenden Konzepte von Zufallsexperimenten bzw. Wahrscheinlichkeitsräumen muss aus Zeitgründen allerdings verzichtet werden. Wir fassen eine Zufallsvariable auf als eine Variable, die (i.d.r. mehrere verschiedene) numerische Werte annehmen kann, deren Werte ( Realisationen ) nicht vorherbestimt sind, sondern von einem zufälligen, meist wiederholbarem Vorgang abhängen, über deren Werteverteilung man allerdings Kenntnisse hat ( Wahrscheinlichkeitsrechnung) oder Kenntnisse erlangen möchte ( Schließende Statistik). Ökonometrie (SS 2014) Folie 11

12 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Eindimensionale Zufallsvariablen II Unterteilung von Zufallsvariablen X (abhängig von Werteverteilung) in mehrere Typen Diskrete Zufallsvariablen X : Können nur endlich viele oder abzählbar unendlich viele verschiedene Werte annehmen. Werteverteilung kann durch eine Wahrscheinlichkeitsfunktion px spezifiziert werden, die jeder reellen Zahl die Wahrscheinlichkeit des Auftretens zuordnet. Stetige Zufallsvariablen X : Können überabzählbar viele Werte (in einem Kontinuum reeller Zahlen) annehmen. Werteverteilung kann durch eine Dichtefunktion fx spezifiziert werden, mit deren Hilfe man zum Beispiel Wahrscheinlichkeiten dafür ausrechnen kann, dass der Wert der Zufallsvariablen in einem bestimmten Intervall liegt. Einzelne reelle Zahlen (alle!) werden mit Wahrscheinlichkeit 0 angenommen! Außerdem existieren (hier nicht betrachtete) Misch-/Sonderformen. Ökonometrie (SS 2014) Folie 12

13 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Eindimensionale Zufallsvariablen III Wahrscheinlichkeiten P{X A} = P X (A) dafür, dass eine Zufallsvariable X Werte in einer bestimmten Menge A annimmt, können konkreter bei diskreten Zufallsvariablen X für endliche oder abzählbar unendliche Mengen A mit Hilfe der Wahrscheinlichkeitsfunktion p X durch P{X A} = x i A p X (x i ) bei stetigen Zufallsvariablen X für Intervalle A = [a, b], A = (a, b), A = (a, b] oder(!) A = [a, b) (mit a < b) mit Hilfe einer(!) zugehörigen Dichtefunktion f X durch berechnet werden. P{X A} = b a f X (x)dx Werteverteilungen von Zufallsvariablen sind bereits eindeutig durch alle Wahrscheinlichkeiten der Form P{X x} := P{X (, x]} für x R festgelegt. Die zugehörige Funktion F X : R R; F X (x) = P{X x} heißt Verteilungsfunktion von X. Ökonometrie (SS 2014) Folie 13

14 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Momente eindimensionaler Zufallsvariablen I Lage- und Streuungsmaßen von Merkmalen (aus deskriptiver Statistik) entsprechen Momente von Zufallsvariablen. Momente von Zufallsvariablen sind also Kennzahlen, die die Werteverteilung auf einzelne Zahlenwerte verdichten. (Diese Kennzahlen müssen nicht existieren, Existenzfragen hier aber vollkommen ausgeklammert!) Kennzahl für die Lage der (Werte-)Verteilung einer Zufallsvariablen X : Erwartungswert bzw. auch Mittelwert µ X := E(X ) Berechnung bei diskreter Zufallsvariablen X durch: E(X ) = x i p X (x i ) x i T (X ) (wobei T (X ) := {x R p X (x i ) > 0} den Träger von X bezeichnet). Berechnung bei stetiger Zufallsvariablen X durch: E(X ) = x f X (x)dx Ökonometrie (SS 2014) Folie 14

15 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Momente eindimensionaler Zufallsvariablen II Kennzahl für die Streuung der (Werte-)Verteilung einer Zufallsvariablen X : Varianz σx 2 := Var(X ) von X und deren (positive) Wurzel σ X = + Var(X ), die sog. Standardabweichung von X, mit [ Var(X ) = E (X E(X )) 2]! = E(X 2 ) [E(X )] 2 Berechnung von E(X 2 ) für diskrete Zufallsvariable X durch: E(X 2 ) = xi 2 p X (x i ) x i T (X ) Berechnung von E(X 2 ) bei stetiger Zufallsvariablen X durch: E(X 2 ) = x 2 f X (x)dx Ökonometrie (SS 2014) Folie 15

16 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Momente eindimensionaler Zufallsvariablen III Für eine Zufallsvariable X und reelle Zahlen a, b gilt: E(aX + b) = a E(X ) + b Var(aX + b) = a 2 Var(X ) Allgemeiner gilt ( Linearität des Erwartungswerts ) für eine (eindimensionale) Zufallsvariable X, reelle Zahlen a, b und (messbare) Abbildungen G : R R und H : R R: E(aG(X ) + bh(x )) = a E(G(X )) + b E(H(X )) Ist X eine Zufallsvariable mit Erwartungswert µ X = E(X ) und Standardabweichung σ X = Var(X ), so erhält man mit Z := X E(X ) Var(X ) = X µ X σ X eine neue Zufallsvariable mit E(Z) = 0 und Var(Z) = 1. Man nennt Z dann eine standardisierte Zufallsvariable. Ökonometrie (SS 2014) Folie 16

17 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Momente eindimensionaler Zufallsvariablen IV Weiteres Lagemaß für Zufallsvariablen: p-quantile Für p (0, 1) ist x p ein p-quantil der Zufallsvariablen X, wenn gilt: P{X x p } p und P{X x p } 1 p Quantile sind nicht immer eindeutig bestimmt, für stetige Zufallsvariablen mit streng monoton wachsender Verteilungsfunktion lassen sich Quantile aber eindeutig durch Lösung der Gleichung F X (x p ) = p bzw. unter Verwendung der Umkehrfunktion F 1 X der Verteilungsfunktion F X (auch Quantilsfunktion genannt) direkt durch bestimmen. x p = F 1 X (p) Ökonometrie (SS 2014) Folie 17

18 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Spezielle parametrische Verteilungsfamilien Parametrische Verteilungsfamilien fassen ähnliche Verteilungen zusammen. Genaue Verteilung innerhalb dieser Familien wird durch einen oder wenige (reelle) Parameter (bzw. einen ein- oder mehrdimensionalen Parametervektor) eineindeutig festgelegt, also legt der Parameter(vektor) die Verteilung vollständig fest und gehören zu verschiedenen Parameter(vektore)n auch jeweils unterschiedliche Verteilungen ( Identifizierbarkeit ). Die Menge der zulässigen Parameter(vektoren) heißt Parameterraum. Im Folgenden: Exemplarische Wiederholung je zweier diskreter und stetiger Verteilungsfamilien. Ökonometrie (SS 2014) Folie 18

19 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Bernoulli-/Alternativverteilung Verwendung: Modellierung eines Zufallsexperiments (Ω, F, P), in dem nur das Eintreten bzw. Nichteintreten eines einzigen Ereignisses A von Interesse ist. Eintreten des Ereignisses A wird oft als Erfolg interpretiert, Nichteintreten (bzw. Eintreten von A) als Misserfolg. Zufallsvariable soll im Erfolgsfall Wert 1 annehmen, im Misserfolgsfall Wert 0, es sei also { 1 falls ω A X (ω) := 0 falls ω A Beispiel: Werfen eines fairen Würfels, Ereignis A: 6 gewürfelt mit P(A) = 1 6. Verteilung von X hängt damit nur von Erfolgswahrscheinlichkeit p := P(A) ab; p ist also einziger Parameter der Verteilungsfamilie. Um triviale Fälle auszuschließen, betrachtet man nur Ereignisse mit p (0, 1) Der Träger der Verteilung ist dann T (X ) = {0, 1}, die Punktwahrscheinlichkeiten sind p X (0) = 1 p und p X (1) = p. Symbolschreibweise für Bernoulli-Verteilung mit Parameter p: B(1, p) Ist X also Bernoulli-verteilt mit Parameter p, so schreibt man X B(1, p). Ökonometrie (SS 2014) Folie 19

20 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Bernoulli-/Alternativverteilung Parameter: B(1, p) p (0, 1) Träger: T (X ) = {0, 1} p = 0.4 Wahrscheinlichkeitsfunktion: 1 p für x = 0 p X (x) = p für x = 1 0 sonst p X(x) p X x F X Verteilungsfunktion: 0 für x < 0 F X (x) = 1 p für 0 x < 1 1 für x 1 F X(x) p = x Momente: E(X ) = p Var(X ) = p (1 p) γ(x ) = 1 2p κ(x ) = 1 3p(1 p) p(1 p) p(1 p) Ökonometrie (SS 2014) Folie 20

21 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Binomialverteilung Verallgemeinerung der Bernoulli-Verteilung Verwendung: Modellierung der unabhängigen, wiederholten Durchführung eines Zufallsexperiments, in dem nur die Häufigkeit des Eintretens bzw. Nichteintretens eines Ereignisses A interessiert ( Bernoulli-Experiment ). Eintreten des Ereignisses A wird auch hier oft als Erfolg interpretiert, Nichteintreten (bzw. Eintreten von A) als Misserfolg. Zufallsvariable X soll die Anzahl der Erfolge bei einer vorgegebenen Anzahl von n Wiederholungen des Experiments zählen. Nimmt Xi für i {1,..., n} im Erfolgsfall (für Durchführung i) den Wert 1 an, im Misserfolgsfall den Wert 0, dann gilt also X = n i=1 X i. Beispiel: 5-faches Werfen eines fairen Würfels, Anzahl der Zahlen kleiner 3. n = 5, p = 1/3. Verteilung von X hängt damit nur von Erfolgswahrscheinlichkeit p := P(A) sowie der Anzahl der Durchführungen n des Experiments ab. Um triviale Fälle auszuschließen, betrachtet man nur die Fälle n N und p (0, 1). Träger der Verteilung ist dann T (X ) = {0, 1,..., n}. Symbolschreibweise für Binomialverteilung mit Parameter n und p: B(n, p) Übereinstimmung mit Bernoulli-Verteilung (mit Parameter p) für n = 1. Ökonometrie (SS 2014) Folie 21

22 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Binomialverteilung Parameter: B(n, p) n N, p (0, 1) Träger: T (X ) = {0, 1,..., n} n = 5, p = 0.4 Wahrscheinlichkeitsfunktion: p X (x) ( ) n p x (1 p) n x für x T (X ) = x 0 sonst p X(x) p X x F X Verteilungsfunktion: F X (x) = x i T (X ) x i x p X (x i ) F X(x) n = 5, p = x Momente: E(X ) = n p Var(X ) = n p (1 p) γ(x ) = 1 2p κ(x ) = 1+(3n 6)p(1 p) np(1 p) np(1 p) Ökonometrie (SS 2014) Folie 22

23 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Stetige Gleichverteilung Einfachste stetige Verteilungsfamilie: Stetige Gleichverteilung auf Intervall [a, b] Modellierung einer stetigen Verteilung, in der alle Realisationen in einem Intervall [a, b] als gleichwahrscheinlich angenommen werden. Verteilung hängt von den beiden Parametern a, b R mit a < b ab. Dichtefunktion f X einer gleichverteilten Zufallsvariablen X kann auf Intervall [a, b] konstant zu 1 b a gewählt werden. Träger der Verteilung: T (X ) = [a, b] Symbolschreibweise für stetige Gleichverteilung auf [a, b]: X Unif(a, b) Ökonometrie (SS 2014) Folie 23

24 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Stetige Gleichverteilung Unif(a, b) Träger: T (X ) = [a, b] Dichtefunktion: f X : R R; f X (x) = { 1 b a für a x b Parameter: a, b R mit a < b f X(x) 0 sonst a = 1, b = 3 f X x Verteilungsfunktion: F X : R R; F X (x) = 0 für x < a x a b a für a x b 1 für x > b Momente: E(X ) = a+b 2 Var(X ) = (b a)2 12 γ(x ) = 0 κ(x ) = 9 5 F X(x) a = 1, b = 3 F X x Ökonometrie (SS 2014) Folie 24

25 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Normalverteilung Verteilung entsteht als Grenzverteilung bei Durchschnittsbildung vieler (unabhängiger) Zufallsvariablen (später mehr!) Einsatz für Näherungen Familie der Normalverteilungen hat Lageparameter µ R, der mit Erwartungswert übereinstimmt, und Streuungsparameter σ 2 > 0, der mit Varianz übereinstimmt, Standardabweichung ist dann σ := + σ 2. Verteilungsfunktion von Normalverteilungen schwierig zu handhaben, Berechnung muss i.d.r. mit Software/Tabellen erfolgen. Wichtige Eigenschaft der Normalverteilungsfamilie: Ist X normalverteilt mit Parameter µ = 0 und σ 2 = 1, dann ist ax + b für a, b R normalverteilt mit Parameter µ = b und σ 2 = a 2. Zurückführung allgemeiner Normalverteilungen auf den Fall der Standardnormalverteilung (Gauß-Verteilung) mit Parameter µ = 0 und σ 2 = 1, Tabellen/Algorithmen für Standardnormalverteilung damit einsetzbar. Dichtefunktion der Standardnormalverteilung: ϕ, Verteilungsfunktion: Φ. Träger aller Normalverteilungen ist T (X ) = R. Symbolschreibweise für Normalverteilung mit Parameter µ, σ 2 : X N(µ, σ 2 ) Ökonometrie (SS 2014) Folie 25

26 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Normalverteilung Parameter: N(µ, σ 2 ) µ R, σ 2 > 0 f X Träger: T (X ) = R Dichtefunktion: f X : R R; f X (x) = 1 e (x µ)2 2σ 2 = 1 ( ) x µ 2πσ σ ϕ σ f X(x) µ = 5, σ 2 = x F X Verteilungsfunktion: ( ) x µ F X : R R; F X (x) = Φ σ F X(x) µ = 5, σ 2 = x Momente: E(X ) = µ Var(X ) = σ 2 γ(x ) = 0 κ(x ) = 3 Ökonometrie (SS 2014) Folie 26

27 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Arbeiten mit Normalverteilungen Problem (nicht nur) bei normalverteilten Zufallsvariablen X N(µ, σ 2 ): Verteilungsfunktion F X und Quantilsfunktion F 1 X schlecht handhabbar bzw. nicht leicht auszuwerten! Traditionelle Lösung: Tabellierung der entsprechenden Funktionswerte Lösung nicht mehr zeitgemäß: (kostenlose) PC-Software für alle benötigten Verteilungsfunktionen verfügbar, zum Beispiel Statistik-Software R ( Aber: In Klausur keine PCs verfügbar, daher dort Rückgriff auf (dort zur Verfügung gestellte) Tabellen. Wegen der Symmetrie der Standardnormalverteilung um 0 gilt nicht nur ϕ(x) = ϕ( x) für alle x R, sondern auch Φ(x) = 1 Φ( x) für alle x R. Daher werden Tabellen für Φ(x) in der Regel nur für x R + erstellt. Ökonometrie (SS 2014) Folie 27

28 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Ausschnitt aus Tabelle für Φ(x) Ökonometrie (SS 2014) Folie 28

29 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Beispiel: Arbeiten mit Normalverteilungstabelle Frage: Mit welcher Wahrscheinlichkeit nimmt eine N(100, 8 2 )-verteilte Zufallsvariable Werte kleiner als 90 an? (Wie groß ist die schraffierte Fläche?) f N(100, 8 2 ) (x) µ = 100, σ 2 = x Antwort: Ist X N(100, 8 2 ), so gilt: P{X < 90} = ( ) F N(100,82 )(90) = Φ 8 = Φ( 1.25) = 1 Φ(1.25) = = Die gesuchte Wahrscheinlichkeit ist = 10.56%. Ökonometrie (SS 2014) Folie 29

30 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Frage: Welchen Wert x überschreitet eine N(100, 8 2 )-verteilte Zufallsvariable nur mit 2.5% Wahrscheinlichkeit? (Welche linke Grenze x führt bei der schraffierten Fläche zu einem Flächeninhalt von 0.025?) f N(100, 8 2 ) (x) µ = 100, σ 2 = % < > ? Antwort: Ist X N(100, 8 2 ), so ist das 97.5%- bzw Quantil von X gesucht. Mit ( ) x 100 F X (x) = F N(100,8 2 )(x) = Φ 8 und der Abkürzung N p für das p-quantil der N(0, 1)-Verteilung erhält man ( ) x 100! Φ = x 100 = Φ 1 (0.975) = N = x = = Ökonometrie (SS 2014) Folie 30

31 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Beispiel: Arbeiten mit Statistik-Software R Beantwortung der Fragen (noch) einfacher mit Statistik-Software R: Frage: Mit welcher Wahrscheinlichkeit nimmt eine N(100, 8 2 )-verteilte Zufallsvariable Werte kleiner als 90 an? Antwort: > pnorm(90,mean=100,sd=8) [1] Frage: Welchen Wert x überschreitet eine N(100, 8 2 )-verteilte Zufallsvariable nur mit 2.5% Wahrscheinlichkeit? Antwort: > qnorm(0.975,mean=100,sd=8) [1] Ökonometrie (SS 2014) Folie 31

32 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Mehrdimensionale Zufallsvariablen/Zufallsvektoren I Simultane Betrachtung mehrerer (endlich vieler) Zufallsvariablen zur Untersuchung von Abhängigkeiten möglich (und für die Ökonometrie später erforderlich!) Ist n N die Anzahl der betrachteten Zufallsvariablen, so fasst man die n Zufallsvariablen X 1,..., X n auch in einem n-dimensionalen Vektor X = (X 1,..., X n ) zusammen und befasst sich dann mit der gemeinsamen Verteilung von X. Die meisten bekannten Konzepte eindimensionaler Zufallsvariablen sind leicht übertragbar, nur technisch etwas anspruchsvoller. Zwei Spezialfälle: Diskrete Zufallsvektoren und stetige Zufallsvektoren Ökonometrie (SS 2014) Folie 32

33 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Mehrdimensionale Zufallsvariablen/Zufallsvektoren II Die gemeinsame Verteilung eines diskreten Zufallsvektors kann durch eine (mehrdimensionale) gemeinsame Wahrscheinlichkeitsfunktion p X : R n R mit p X (x) := P{X = x} für x R n festgelegt werden. Wahrscheinlichkeiten P{X A} dafür, dass X Werte in der Menge A annimmt, können dann wiederum durch Aufsummieren der Punktwahrscheinlichkeiten aller Trägerpunkte x i mit x i A berechnet werden: P{X A} = p X (x i ) x i A T (X) Die gemeinsame Verteilung eines stetigen Zufallsvektors kann durch Angabe einer gemeinsamen Dichtefunktion f X : R n R spezifiziert werden, mit deren Hilfe sich Wahrscheinlichkeiten von Quadern im R n (über Mehrfachintegrale) ausrechnen lassen: P X (A) = b1 a 1 bn a n f X (t 1,..., t n )dt n dt 1 für A = (a 1, b 1 ] (a n, b n ] R n mit a 1 b 1,..., a n b n Ökonometrie (SS 2014) Folie 33

34 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Mehrdimensionale Zufallsvariablen/Zufallsvektoren III Die Verteilungen der einzelnen Zufallsvariablen X 1,..., X n eines n-dimensionalen Zufallsvektors nennt man auch Randverteilungen. Bei diskreten Zufallsvektoren sind auch die einzelnen Zufallsvariablen X 1,..., X n diskret, die zugehörigen Wahrscheinlichkeitsfunktionen p X1,..., p Xn nennt man dann auch Randwahrscheinlichkeitsfunktionen. Bei stetigen Zufallsvektoren sind auch die einzelnen Zufallsvariablen X 1,..., X n stetig, zugehörige Dichtefunktionen f X1,..., f Xn nennt man dann auch Randdichte(funktione)n. Randwahrscheinlichkeits- bzw. Randdichtefunktionen können durch (Mehrfach)summen bzw. (Mehrfach)integrale aus der gemeinsamen Wahrscheinlichkeits- bzw. Dichtefunktion gewonnen werden (siehe Folien Wahrscheinlichkeitsrechnung). Ökonometrie (SS 2014) Folie 34

35 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Unabhängigkeit von Zufallsvariablen, Abhängigkeitmaße I Diskrete bzw. stetige Zufallsvektoren heißen (stochastisch) unabhängig, wenn man ihre gemeinsame Wahrscheinlichkeits- bzw. Dichtefunktion als Produkt der jeweiligen Randwahrscheinlichkeits- bzw. Randdichtefunktionen bzw. p X (x) = f X (x) = n p Xi (x i ) = p X1 (x 1 )... p Xn (x n ) i=1 n f Xi (x i ) = f X1 (x 1 )... f Xn (x n ) i=1 für alle x = (x 1,..., x n ) R n gewinnen kann. (Im stetigen Fall: siehe Folien WR für exakte bzw. korrekte Formulierung!) Ökonometrie (SS 2014) Folie 35

36 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Unabhängigkeit von Zufallsvariablen, Abhängigkeitmaße II Bei fehlender Unabhängigkeit: Betrachtung bedingter Verteilungen und (paarweise) linearer Abhängigkeiten interessant! Bedingte Verteilungen: Was weiß man über die Verteilung einer Zufallsvariablen (konkreter), wenn man die Realisation (einer oder mehrerer) anderer Zufallsvariablen bereits kennt? Lineare Abhängigkeiten: Treten besonders große Realisation einer Zufallsvariablen häufig im Zusammenhang mit besondere großen (oder besonders kleinen) Realisationen einer anderen Zufallsvariablen auf (mit einem entsprechenden Zusammenhang für besonders kleine Realisationen der ersten Zufallsvariablen); lässt sich dieser Zusammenhang gut durch eine Gerade beschreiben? Ökonometrie (SS 2014) Folie 36

37 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Unabhängigkeit von Zufallsvariablen, Abhängigkeitmaße III Zur einfacheren Darstellung: Bezeichnung X bzw. Y statt X i und X j für zwei Zufallsvariablen (aus einem Zufallsvektor). Maß für lineare Abhängigkeit zweier Zufallsvariablen X und Y : Kovarianz σ XY := Cov(X, Y ) := E [(X E(X )) (Y E(Y ))]! = E(X Y ) E(X ) E(Y ) (Zur Berechnung von E(X Y ) siehe Folien WR!) Rechenregeln für Kovarianzen (X, Y, Z Zufallsvariablen aus Zufallsvektor, a, b R): 1 Cov(aX, by ) = ab Cov(X, Y ) 2 Cov(X + a, Y + b) = Cov(X, Y ) (Translationsinvarianz) 3 Cov(X, Y ) = Cov(Y, X ) (Symmetrie) 4 Cov(X + Z, Y ) = Cov(X, Y ) + Cov(Z, Y ) 5 Cov(X, X ) = Var(X ) 6 X, Y stochastisch unabhängig Cov(X, Y ) = 0 Ökonometrie (SS 2014) Folie 37

38 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Unabhängigkeit von Zufallsvariablen, Abhängigkeitmaße IV Nachteil der Kovarianz: Erreichbare Werte hängen nicht nur von Stärke der linearen Abhängigkeit, sondern (wie z.b. aus Rechenregel 1 von Folie 37 ersichtlich) auch von der Streuung von X bzw. Y ab. Wie in deskriptiver Statistik: Alternatives Abhängigkeitsmaß mit normiertem Wertebereich, welches invariant gegenüber Skalierung von X bzw. Y ist. Hierzu Standardisierung der Kovarianz über Division durch Standardabweichungen von X und Y (falls σ X > 0 und σ Y > 0!). Man erhält so den Pearsonschen Korrelationskoeffizienten: ρ XY := Korr(X, Y ) := σ XY σ X σ Y = Cov(X, Y ) + Var(X ) Var(Y ) Ökonometrie (SS 2014) Folie 38

39 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Unabhängigkeit von Zufallsvariablen, Abhängigkeitmaße V Rechenregeln: Sind X und Y Zufallsvariablen aus einem Zufallsvektor mit σ X > 0, σ Y > 0 und a, b R, so gilt: { Korr(X, Y ) falls a b > 0 1 Korr(aX, by ) = Korr(X, Y ) falls a b < 0 2 Korr(X + a, Y + b) = Korr(X, Y ) (Translationsinvarianz) 3 Korr(X, Y ) = Korr(Y, X ) (Symmetrie) 4 1 Korr(X, Y ) 1 5 Korr(X, X ) = 1 } { Korr(X, Y ) = 1 6 a > 0 genau dann, wenn Y = ax + b mit Korr(X, Y ) = 1 a < 0 7 X, Y stochastisch unabhängig Korr(X, Y ) = 0 Zufallsvariablen X, Y mit Cov(X, Y ) = 0 (!) heißen unkorreliert. Ökonometrie (SS 2014) Folie 39

40 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Beispiel: Zweidimensionale Normalverteilung I Wichtige mehrdimensionale stetige Verteilung: mehrdimensionale (multivariate) Normalverteilung Spezifikation am Beispiel der zweidimensionalen (bivariaten) Normalverteilung durch Angabe einer Dichtefunktion f X,Y (x, y) = 1 2πσ X σ Y 1 ρ 2 e { 1 2(1 ρ 2 ) [ ( x µx σ X ) 2 2ρ ( )( ( ) ]} x µx y µy y µy 2 σ X σ )+ Y σ Y abhängig von den Parametern µ X, µ Y R, σ X, σ Y > 0, ρ ( 1, 1). Man kann zeigen, dass die Randverteilungen von (X, Y ) dann wieder (eindimensionale) Normalverteilungen sind, genauer gilt X N(µ X, σ 2 X ) und Y N(µ Y, σ 2 Y ) Außerdem kann der Zusammenhang Korr(X, Y ) = ρ gezeigt werden. Ökonometrie (SS 2014) Folie 40

41 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Beispiel: Zweidimensionale Normalverteilung II Sind f X bzw. f Y die wie auf Folie 26 definierten Dichtefunktionen zur N(µ X, σx 2 )- bzw. N(µ Y, σy 2 )-Verteilung, so gilt (genau) im Fall ρ = 0 f X,Y (x, y) = f X (x) f Y (y) für alle x, y R, also sind X und Y (genau) für ρ = 0 stochastisch unabhängig. Auch für ρ 0 sind die bedingten Verteilungen von X Y = y und Y X = x wieder Normalverteilungen, es gilt genauer: ( X Y = y N µ X + ρσ ) X (y µ Y ), σx 2 (1 ρ 2 ) σ Y bzw. ( Y X = x N µ Y + ρσ ) Y (x µ X ), σy 2 (1 ρ 2 ) σ X Ökonometrie (SS 2014) Folie 41

42 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 f(x,y) Beispiel: Zweidimensionale Normalverteilung III Dichtefunktion der mehrdimensionalen Normalverteilung y x µ X = 1, µ Y = 3, σ X 2 = 4, σ Y 2 = 2, ρ = 0.5 Ökonometrie (SS 2014) Folie 42

43 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Beispiel: Zweidimensionale Normalverteilung IV Isohöhenlinien der mehrdimensionalen Normalverteilungsdichte y x µ X = 1, µ Y = 3, σ 2 X = 4, σ 2 Y = 2, ρ = 0.5 Ökonometrie (SS 2014) Folie 43

44 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Beispiel: Zweidimensionale Normalverteilung V Dichtefunktion der mehrdimensionalen Normalverteilung 0.15 f(x,y) y x µ X = 0, µ Y = 0, σ X 2 = 1, σ Y 2 = 1, ρ = 0 Ökonometrie (SS 2014) Folie 44

45 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Beispiel: Zweidimensionale Normalverteilung VI Isohöhenlinien der mehrdimensionalen Normalverteilungsdichte y x µ X = 0, µ Y = 0, σ 2 X = 1, σ 2 Y = 1, ρ = 0 Ökonometrie (SS 2014) Folie 45

46 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Beispiel: Zweidimensionale Normalverteilung VII Dichtefunktion der mehrdimensionalen Normalverteilung 0.10 f(x,y) y x µ X = 10, µ Y = 10, σ X 2 = 4, σ Y 2 = 4, ρ = 0.95 Ökonometrie (SS 2014) Folie 46

47 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Beispiel: Zweidimensionale Normalverteilung VIII Isohöhenlinien der mehrdimensionalen Normalverteilungsdichte y x µ X = 10, µ Y = 10, σ 2 X = 4, σ 2 Y = 4, ρ = 0.95 Ökonometrie (SS 2014) Folie 47

48 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Momente von Summen von Zufallsvariablen I Sind X und Y zwei Zufallsvariablen aus einem Zufallsvektor und a, b, c R, so gilt: E(a X + b Y + c) = a E(X ) + b E(Y ) + c und Var(aX + by + c) = a 2 Var(X ) + 2ab Cov(X, Y ) + b 2 Var(Y ) Dies kann für mehr als zwei Zufallsvariablen X 1,..., X n eines Zufallsvektors weiter verallgemeinert werden! Ökonometrie (SS 2014) Folie 48

49 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Momente von Summen von Zufallsvariablen II Für einen n-dimensionalen Zufallsvektor X = (X 1,..., X n ) heißt der n-dimensionale Vektor E(X) := [E(X 1 ),..., E(X n )] Erwartungswertvektor von X und die n n-matrix V(X) := E [ (X E(X)) (X E(X)) ] E[(X 1 E(X 1 )) (X 1 E(X 1 ))] E[(X 1 E(X 1 )) (X n E(X n ))] :=..... E[(X n E(X n )) (X 1 E(X 1 ))] E[(X n E(X n )) (X n E(X n ))] Var(X 1 ) Cov(X 1, X 2 ) Cov(X 1, X n 1 ) Cov(X 1, X n ) Cov(X 2, X 1 ) Var(X 2 ) Cov(X 2, X n 1 ) Cov(X 2, X n ) = Cov(X n 1, X 1 ) Cov(X n 1, X 2 ) Var(X n 1 ) Cov(X n 1, X n ) Cov(X n, X 1 ) Cov(X n, X 2 ) Cov(X n, X n 1 ) Var(X n ) (Varianz-)Kovarianzmatrix von X. Ökonometrie (SS 2014) Folie 49

50 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Momente von Summen von Zufallsvariablen III In Verallgemeinerung von Folie 48 erhält man für eine gewichtete Summe n w i X i = w 1 X w n X n (w = (w 1,..., w n ) R n ) i=1 ( n ) den Erwartungswert E w i X i = die Varianz ( n ) Var w i X i i=1 = = i=1 n i=1 j=1 n i=1 n w i E(X i ) = w E(X) i=1 n w i w j Cov(X i, X j ) n 1 i Var(X i ) + 2 w 2 = w V(X)w n i=1 j=i+1 w i w j Cov(X i, X j ) Ökonometrie (SS 2014) Folie 50

51 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Summen unabhängig identisch verteilter Zufallsvariablen I Sind für n N die Zufallsvariablen X 1,..., X n eines n-dimensionalen Zufallsvektors stochastisch unabhängig (damit unkorreliert!) und identisch verteilt ( u.i.v. oder i.i.d. ) mit E(X i ) µ X und Var(X i ) σx 2, dann gilt für die Summe Y n := n i=1 X i also und man erhält durch E(Y n ) = n µ X sowie Var(Y n ) = n σ 2 X Z n := Y n nµ X σ X n = ( 1 n n i=1 X ) i µx standardisierte Zufallsvariablen (mit E(Z n ) = 0 und Var(Z n ) = 1). Zentraler Grenzwertsatz: Verteilung von Z n konvergiert für n gegen eine N(0, 1)-Verteilung (Standardnormalverteilung). Gilt sogar X i iid N(µX, σ 2 X ), so gilt (exakt!) Z n N(0, 1) für alle n N. σ X n Ökonometrie (SS 2014) Folie 51

52 2 Wiederholung statistischer Grundlagen Wahrscheinlichkeitsrechnung 2.2 Summen unabhängig identisch verteilter Zufallsvariablen II Anwendung des zentralen Grenzwertsatzes z.b. dadurch, dass man näherungsweise (auch falls X i nicht normalverteilt ist) für hinreichend großes n N n die N(nµX, nσx 2 )-Verteilung für Y n := X i oder die Standardnormalverteilung für Zn := Yn nµ X = σ X n verwendet. Leicht zu merken: i=1 ( 1 n n i=1 X ) i µx n Man verwendet näherungsweise die Normalverteilung mit passendem Erwartungswert und passender Varianz! σ X Ökonometrie (SS 2014) Folie 52

53 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Inhaltsverzeichnis (Ausschnitt) 2 Wiederholung statistischer Grundlagen Deskriptive Statistik Wahrscheinlichkeitsrechnung Schließende Statistik Ökonometrie (SS 2014) Folie 53

54 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Grundidee der schließenden Statistik Ziel der schließenden Statistik/induktiven Statistik: Ziehen von Rückschlüssen auf die Verteilung einer (größeren) Grundgesamtheit auf Grundlage der Beobachtung einer (kleineren) Stichprobe. Rückschlüsse auf die Verteilung können sich auch beschränken auf spezielle Eigenschaften/Kennzahlen der Verteilung, z.b. den Erwartungswert. Fundament : Drei Grundannahmen 1 Der interessierende Umweltausschnitt kann durch eine (ein- oder mehrdimensionale) Zufallsvariable Y beschrieben werden. 2 Man kann eine Menge W von Wahrscheinlichkeitsverteilungen angeben, zu der die unbekannte wahre Verteilung von Y gehört. 3 Man beobachtet Realisationen x 1,..., x n von (Stichproben-)Zufallsvariablen X 1,..., X n, deren gemeinsame Verteilung in vollständig bekannter Weise von der Verteilung von Y abhängt. Ziel ist es also, aus der Beobachtung der n Werte x 1,..., x n mit Hilfe des bekannten Zusammenhangs zwischen den Verteilungen von X 1,..., X n und Y Aussagen über die Verteilung von Y zu treffen. Ökonometrie (SS 2014) Folie 54

55 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Veranschaulichung der schließenden Statistik Grundgesamtheit Ziehungsverfahren Stichprobe Zufallsvariable Y induziert Verteilung von Zufallsvariablen X 1,, X n (konkrete) Auswahl der führt Ziehung/ Stichprobe zu Rückschluss auf Verteilung/Kenngrößen Realisationen x 1,, x n Ökonometrie (SS 2014) Folie 55

56 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Bemerkungen zu den 3 Grundannahmen Die 1. Grundannahme umfasst insbesondere die Situation, in der die Zufallsvariable Y einem numerischen Merkmal auf einer endlichen Menge von Merkmalsträgern entspricht, wenn man mit der Zufallsvariable Y das Feststellen des Merkmalswerts eines rein zufällig (gleichwahrscheinlich) ausgewählten Merkmalsträgers beschreibt. In diesem Fall interessiert man sich häufig für bestimmte Kennzahlen von Y, z.b. den Erwartungswert von Y, der dann mit dem arithmetischen Mittel aller Merkmalswerte übereinstimmt. Die Menge W von Verteilungen aus der 2. Grundannahme ist häufig eine parametrische Verteilungsfamilie, zum Beispiel die Menge aller Normalverteilungen mit Varianz σ 2 = 2 2. Wir beschränken uns auf sehr einfache Zusammenhänge zwischen der Verteilung der interessierenden Zufallsvariablen Y und der Verteilung der Zufallsvariablen X 1,..., X n. Ökonometrie (SS 2014) Folie 56

57 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Einfache (Zufalls-)Stichprobe Einfachster Zusammenhang zwischen X 1,..., X n und Y : Alle Zufallsvariablen X1,..., X n haben dieselbe Verteilung wie Y. Die Zufallsvariablen X1,..., X n sind stochastisch unabhängig. Zufallsvariablen X 1,..., X n mit diesen beiden Eigenschaften nennt man eine einfache (Zufalls-)Stichprobe vom Umfang n zu Y. Eine Stichprobenrealisation x 1,..., x n einer solchen einfachen Stichprobe vom Umfang n erhält man z.b., wenn Y das Werfen eines bestimmten Würfels beschreibt und x1,..., x n die erhaltenen Punktzahlen sind, wenn man den Würfel n Mal geworfen hat. Y das Feststellen des Merkmalswerts eines rein zufällig (gleichwahrscheinlich) ausgewählten Merkmalsträgers beschreibt und x 1,..., x n die Merkmalswerte sind, die man bei n-maliger rein zufälliger Auswahl eines Merkmalsträgers als zugehörige Merkmalswerte erhalten hat, wobei die Mehrfachauswahl desselben Merkmalsträgers nicht ausgeschlossen wird. Ökonometrie (SS 2014) Folie 57

58 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Stichprobenfunktionen Die Realisation x 1,..., x n einer Stichprobe hat große Ähnlichkeit mit einer Urliste zu einem Merkmal aus der deskriptiven Statistik. Die Information aus einer Stichprobe wird in der Regel zunächst mit sogenannten Stichprobenfunktionen weiter aggregiert; auch diese haben oft (große) Ähnlichkeit mit Funktionen, die in der deskriptiven Statistik zur Aggregierung von Urlisten eingesetzt werden. Interessant sind nicht nur die Anwendung dieser Stichprobenfunktionen auf bereits vorliegende Stichprobenrealisationen x 1,..., x n, sondern auch auf die Stichprobenzufallsvariablen X 1,..., X n selbst, was dann zu einer neuen Zufallsvariablen führt! Bekannteste Stichprobenfunktion: X := 1 n X i n bzw. x := 1 n i=1 n i=1 x i Ökonometrie (SS 2014) Folie 58

59 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Illustration: Realisationen x von X Beispiel: Verschiedene Realisationen x von X, wenn Y die Punktzahl eines fairen Würfels beschreibt und wiederholt Stichprobenrealisationen x 1,..., x 5 vom Umfang n = 5 (durch jeweils 5-maliges Würfeln mit diesem Würfel) generiert werden: Stichprobe Nr. x 1 x 2 x 3 x 4 x 5 x Ökonometrie (SS 2014) Folie 59

60 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Visualisierung Verteilung X / Zentraler Grenzwertsatz im Würfelbeispiel mit einfachen Stichproben vom Umfang n px(xi) n=1 px(xi) n=2 px(xi) n= xi xi xi px(xi) n=4 px(xi) n=5 px(xi) n= xi xi xi Ökonometrie (SS 2014) Folie 60

61 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Bemerkungen Für Augenzahl Y eines fairen Würfels gilt: E(Y ) = 3.5. Realisationen x aus Realisationen einer einfachen Stichprobe vom Umfang n zu Y schwanken offensichtlich um den Erwartungswert von Y. Genauer kann leicht gezeigt werden (vgl. Übungsaufgabe!), dass (generell!) E(X ) = E(Y ) gilt. Je größer der Stichprobenumfang n ist, desto näher liegen tendenziell die Realisation von x am Erwartungswert. Genauer kann leicht gezeigt werden (vgl. Übungsaufgabe!), dass (generell!) σ X = σ Y n gilt und sich somit die Standardabweichung von X halbiert, wenn n vervierfacht wird. Offensichtlich wird die Näherung der Werteverteilung von X durch eine Normalverteilung ( Zentraler Grenzwertsatz) immer besser, je größer der Stichprobenumfang n ist. Ökonometrie (SS 2014) Folie 61

62 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 (Punkt-)Schätzfunktionen Mit den beschriebenen Eigenschaften scheint X sehr gut geeignet, um auf Grundlage einer Stichprobenrealisation Aussagen über den Erwartungswert von Y zu machen (wenn dieser anders als im Beispiel unbekannt ist). Unbekannt wäre der Erwartungswert zum Beispiel auch beim Würfeln gewesen, wenn man nicht gewusst hätte, ob der Würfel fair ist! X bzw. x können so unmittelbar zur Schätzung von µ Y := E(Y ) oder p bzw. µ verwendet werden; in diesem Zusammenhang nennt man X dann (Punkt-)Schätzfunktion oder (Punkt-)Schätzer, x die zugehörige Realisation oder den Schätzwert. Wegen der Zusammenhänge zwischen Erwartungswert und Verteilungsparameter (vgl. Folien 20 bzw. 26) können so auch Aussagen über den Parameter p der Alternativ- bzw. den Parameter µ der Normalverteilung gewonnen werden. X wird dann auch Parameter(punkt)schätzer genannt. Ökonometrie (SS 2014) Folie 62

63 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 (Qualitäts-)Eigenschaften von Schätzfunktionen I Im Beispiel offensichtlich: Wer schätzt, macht Fehler! Zur Untersuchung der Qualität von Punktschätzfunktionen: Untersuchung der Verteilung (!) des Schätzfehlers Zur Vereinheitlichung der Schreibweise: Bezeichnung θ für die Schätzfunktion θ für die zu schätzende Größe Schätzfehler damit also: θ θ Offensichtlich wünschenswert: Verteilung des Schätzfehlers nahe bei Null Gängige Konkretisierung von nahe bei Null : Erwartete quadratische Abweichung (Englisch: Mean Square Error, MSE) [ ) ] 2 MSE( θ) := E ( θ θ soll möglichst klein sein. Ökonometrie (SS 2014) Folie 63

64 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 (Qualitäts-)Eigenschaften von Schätzfunktionen II Man kann leicht zeigen: [ MSE( θ) = E ( θ θ) 2] = Var( θ θ) +[ E( θ θ) }{{}}{{} =Var( θ) =:Bias( θ) Mit Bias( θ) = E( θ θ) = E( θ) θ wird also die systematische Abweichung (Abweichung im Mittel, Verzerrung) eines Schätzers von der zu schätzenden Größe bezeichnet. Gibt es keine solche systematische Abweichung (gilt also Bias( θ) = 0 für alle denkbaren Werte von θ), so nennt man θ erwartungstreu für θ. Var( θ) wird auch Standardfehler oder Stichprobenfehler von θ genannt. Bei Schätzung von E(Y ) mit X gilt: MSE(X ) = E [ (X E(Y )) 2] E(X )=E(Y ) = Var(X ) = σ 2 X = σ2 Y n ] 2 Ökonometrie (SS 2014) Folie 64

65 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 (Qualitäts-)Eigenschaften von Schätzfunktionen III Naheliegende Mindestanforderung : Mit wachsendem Stichprobenumfang n sollte der MSE einer vernünftigen Schätzfunktion gegen Null gehen. Schätzfunktionen θ für θ, die diese Forderung erfüllen, heißen konsistent im quadratischen Mittel oder MSE-konsistent für θ. Wegen MSE(X ) = σ2 Y n ist X offensichtlich MSE-konsistent für E(Y ). Mit der Zerlegung (vgl. Folie 64) MSE( θ) = Var( θ) + [Bias( θ)] 2 ist θ also genau dann konsistent im quadratischen Mittel für θ, wenn jeweils für alle denkbaren Werte von θ sowohl 1 die Varianz von θ gegen Null geht als auch 2 der Bias von θ gegen Null geht (diese Eigenschaft heißt auch asymptotische Erwartungstreue). Ökonometrie (SS 2014) Folie 65

66 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 (Qualitäts-)Eigenschaften von Schätzfunktionen IV Beim Vergleich mehrerer Schätzfunktionen ist es gängig, die Schätzfunktion vorzuziehen, die den kleineren MSE hat. Damit zieht man bei erwartungstreuen Schätzfunktionen die mit geringerer Varianz vor. Wichtig hierbei ist, dass man universelle Vergleiche zu ziehen hat, also nicht nur spezielle Situationen (also spezielle θ) betrachtet. Bei erwartungstreuen Schätzfunktionen θ und θ heißt 1 θ mindestens so wirksam wie θ, wenn Var( θ) Var( θ) für alle denkbaren Werte von θ gilt, und 2 θ wirksamer als θ, wenn darüberhinaus Var( θ) < Var( θ) für mindestens einen denkbaren Wert von θ gilt. Eine Schätzfunktion, die in einer vorgegebenen Menge von Schätzfunktionen mindestens so wirksam ist wie alle anderen Schätzfunktionen, heißt effizient in dieser Menge von Schätzfunktionen. Ökonometrie (SS 2014) Folie 66

67 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Schätzung von Var(Y ) Naheliegender Ansatz zur Schätzung der Varianz σy 2 = Var(Y ) aus einer einfachen Stichprobe X 1,..., X n vom Umfang n zu Y : Verwendung der empirischen Varianz 1 n n (X i X ) 2 bzw. i=1 1 n n (x i x) 2 i=1 Man kann allerdings zeigen, dass diese Schätzfunktion nicht erwartungstreu für die Varianz von Y ist! Bei dieser Rechnung wird allerdings klar, dass man mit der leichten Anpassung S 2 := 1 n 1 n (X i X ) 2 bzw. s 2 := 1 n (x i x) 2 n 1 i=1 eine erwartungstreue Schätzfunktion für σ 2 Y erhält. i=1 Ökonometrie (SS 2014) Folie 67

68 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Intervallschätzung von µ Y := E(Y ) (Realisation der) Punktschätzfunktion X für µ Y beinhaltet (zunächst) keine Information über die Qualität der Schätzung (bzw. über den zu erwartenden Schätzfehler). Bisher: Varianz σ 2 := Var(X ) (hier gleich mit MSE!) bzw. Standardfehler X σ X = Var(X ) zur Quantifizierung der Schätzunsicherheit verwendet. Weitergehender Ansatz: Nicht nur Momente von X (hier: Varianz), sondern komplette Verteilung berücksichtigen! Erinnerung: X entsteht als (durch n dividierte) Summe unabhängig identisch verteilter) Zufallsvariablen. X ist N (µ Y, σ2 -verteilt, falls X Yn i (bzw. Y ) normalverteilt (Wahrscheinlichkeitsrechnung!). ) X kann näherungsweise als N (µ Y, σ2 -verteilt angesehen, falls X Yn i (bzw. Y ) nicht normalverteilt (Zentraler Grenzwertsatz!). Ökonometrie (SS 2014) Folie 68

69 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Die Qualität der Näherung durch eine Normalverteilung wird mit zunehmendem Stichprobenumfang größer, hängt aber ganz entscheidend von der Verteilung von Y ab! Pauschale Kriterien an den Stichprobenumfang n ( Daumenregeln, z.b. n 30) finden sich häufig in der Literatur, sind aber nicht ganz unkritisch. ( ) ( ) Verteilungseigenschaft X N µ, σ2 n bzw. X N µ, σ2 n wird meistens (äquivalent!) in der (auch aus dem zentralen Grenzwertsatz bekannten) Gestalt X µ σ X µ n N(0, 1) bzw. n N(0, 1) σ verwendet, da dann Verwendung von Tabellen zur Standardnormalverteilung möglich. Ökonometrie (SS 2014) Folie 69

70 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Beispiel: Näherung für X µ σ n, falls Y Unif(20, 50) f(x) N(0,1) n=2 f(x) N(0,1) n= x x f(x) N(0,1) n=7 f(x) N(0,1) n= x x Ökonometrie (SS 2014) Folie 70

71 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Beispiel: Näherung für X µ σ n, falls Y Exp(2) f(x) N(0,1) n=3 f(x) N(0,1) n= x x f(x) N(0,1) n=30 f(x) N(0,1) n= x x Ökonometrie (SS 2014) Folie 71

72 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Beispiel: Näherung für X µ σ n, falls Y B(1, 0.5) f(x) N(0,1) n=3 f(x) N(0,1) n= x x f(x) N(0,1) n=30 f(x) N(0,1) n= x x Ökonometrie (SS 2014) Folie 72

73 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Beispiel: Näherung für X µ σ n, falls Y B(1, 0.05) f(x) N(0,1) n=3 f(x) N(0,1) n= x x f(x) N(0,1) n=30 f(x) N(0,1) n= x x Ökonometrie (SS 2014) Folie 73

74 2 Wiederholung statistischer Grundlagen Schließende Statistik 2.3 Schwankungsintervalle für X I Kennt man die Verteilung von X (oder eine geeignete Näherung), kann man beispielsweise Intervalle angeben, in denen die Realisationen von X (ggf. näherungsweise) mit einer vorgegebenen Wahrscheinlichkeit liegen. Sucht man zum Beispiel ein Intervall, aus welchem die Realisationen einer Zufallsvariablen nur mit einer Wahrscheinlichkeit von 0 < α < 1 herausfallen, bietet sich die Verwendung des α -Quantils, welches nur mit Wahrscheinlichkeit α 2 2 unterschritten wird, als untere Grenze sowie die Verwendung des 1 α -Quantils, welches nur mit Wahrscheinlichkeit α 2 2 überschritten wird, als obere Grenze an (vgl. Übungsaufgabe 2 (c)). Ökonometrie (SS 2014) Folie 74