3 Bivariate Deskription und Exploration von Daten

Transkript

1 3 Bivariate Deskription und Exploration von Daten In diesem Kapitel werden Methoden zur Darstellung der gemeinsamen Verteilung von zwei (oder mehreren) verschiedenen Merkmalen behandelt. Von besonderer Bedeutung ist die Analyse des Zusammenhangs zwischen den Variablen. 3.1 Kontingenztabellen Wir betrachten zunächst zwei diskrete Merkmale X und Y. Mögliche Ausprägungen von X: a 1, a 2,..., a k Mögliche Ausprägungen von Y : b 1, b 2,..., b m Statistik_A@statistik.uni-bonn 3 1

2 Erhebung vom Umfang n: (x 1, y 1 ),..., (x n, y n ) gemeinsame Meßwerte von X und Y (x 1, y 1 ),..., (x n, y n ) werden wiederum als Urliste, Roh- oder Primärdaten bezeichnet Absolute und relative Häufigkeiten: h(a i, b j ) = h ij absolute Häufigkeit der Ausprägung (a i, b j ), d.h. Anzahl der (x r, y r ) aus (x 1, y 1 ),..., (x n, y n ) mit x r = a i und y r = b j h 11, h 12,..., h km gemeinsame Verteilung von X und Y in absoluten Häufigkeiten f ij = h ij n relative Häufigkeit von (a i, b j ) f 11, f 12,..., f km gemeinsame Verteilung von X und Y in relativen Häufigkeiten Statistik_A@statistik.uni-bonn 3 2

3 Randverteilungen: h i = h i1 + + h im h j = h 1j + + h kj h 1,..., h k bzw. h 1,..., h m f i = h i /n f j = h j /n f 1,..., f k bzw. f 1,..., f m Randhäufigkeit der Ausprägung a i von X = Anzahl der x r aus x 1,..., x n mit x r = a i Randhäufigkeit der Ausprägung b j von Y = Anzahl der y r aus y 1,..., y n mit y r = b j Randverteilung von X bzw. Y in absoluten Häufigkeiten relative Randhäufigkeit der Ausprägung a i von X relative Randhäufigkeit der Ausprägung b j von Y Randverteilung von X bzw. Y in relativen Häufigkeiten Statistik_A@statistik.uni-bonn 3 3

4 Die gemeinsame Verteilung zweier diskreter Merkmale X und Y wird in der Statistik üblicherweise in einer Kontingenztabelle (man spricht auch von Kontingenztafel) zusammengefasst. Kontingenztabelle: Eine (k m) Kontingenztabelle der absoluten Häufigkeiten besitzt die Form X\Y b 1... b m a 1 h h 1m h 1.. a k h k1... h km h k.. h 1... h m n Eine (k m) Kontingenztabelle der relativen Häufigkeiten besitzt die Form X\Y b 1... b m a 1 f f 1m f a k f k1... f km f k f 1... f m 1 Statistik_A@statistik.uni-bonn 3 4

5 Beispiel: Qualifikation - Arbeitslosigkeit 2 2 Kontingenztabelle X - berufliche Qualifikation (niedrig, hoch) Y - Arbeitslosigkeit (ja, nein) n=100 Personen Kontingenztabelle in absoluten Häufigkeiten: Arbeitslosigkeit Y Qualifikation X ja (b 1 ) nein (b 2 ) RV X niedrig (a 1 ) (h 1 ) hoch (a 2 ) (h 2 ) RV Y 12 (h 1 ) 88 (h 2 ) 100 (n) Kontingenztabelle in relativen Häufigkeiten: Arbeitslosigkeit Qualifikation ja (b 1 ) nein (b 2 ) RV X niedrig (a 1 ) 0,1 0,35 0,45 hoch (a 2 ) 0,02 0,53 0,55 RV Y 0,12 0,88 1 Statistik_A@statistik.uni-bonn 3 5

6 Beispiel: Berufsgruppe - sportliche Betätigung 5 3 Kontingenztabelle (in absoluten Häufigkeiten) X Berufsgruppe (nominalskaliert) Y sportliche Betätigung (ordinalskaliert) n=1000 berufstätige Personen sportliche Betätigung Y Berufsgruppe X kaum manchmal regelmäßig RV X Arbeiter Angestellter Beamter Landwirt sonstiger freier Beruf RV Y Statistik_A@statistik.uni-bonn 3 6

7 Grafische Darstellungen: - Gruppiertes Säulendiagramm (X oder Y dichotom) - 3D-Säulendiagramm Geschlecht männlic weiblich Bar Scheck Karte Bar Scheck Karte z 10 0 männlich weiblich Statistik_A@statistik.uni-bonn 3 7

8 Bedingte Häufigkeiten Aus den gemeinsamen Häufigkeiten h ij bzw. f ij lässt sich nicht unmittelbar auf den Zusammenhang zwischen Merkmalen schließen. Beispiel Qualifikation - Arbeitslosigkeit: f 11 = 0, 1, d.h. 10% der beobachteten Personen sind arbeitslos und haben eine niedrige Qualifikation. Teilgesamtheit aller Personen mit niedriger Qualifikation (d.h. X = a 1 ) in der Studie: 10 von 45 niedrig qualifizierten Personen (22%) sind arbeitslos. Allgemeiner Ansatz: bedingte Häufigkeiten relative Häufigkeiten bezogen auf die Teilgesamtheit aller Beobachtungen mit einem vorgegebenen Wert von X (bzw. Y ) Statistik_A@statistik.uni-bonn 3 8

9 Die bedingte Häufigkeitsverteilung von Y unter der Bedingung X = a i, kurz Y X = a i, ist für j = 1,..., m bestimmt durch f Y (b j X = a i ) = h ij h i = f ij f i Die bedingte Häufigkeitsverteilung von X unter der Bedingung Y = b j, kurz X Y = b j, ist für i = 1,..., k bestimmt durch f X (a i Y = b j ) = h ij h j = f ij f j Es gilt: Für alle a i : m j=1 f Y (b j X = a i ) = 1 Für alle b j : k i=1 f X(a i Y = b j ) = 1 Statistik_A@statistik.uni-bonn 3 9

10 Beispiel: Qualifikation - Arbeitslosigkeit Bedingte Verteilung des Merkmals X (Qualifikation) für gegebene b j (Arbeitslosigkeit) bei 100 Personen Arbeitslosigkeit Y Qualifikation X ja (b 1 ) nein (b 2 ) niedrig (a 1 ) 0,833 0,398 hoch (a 2 ) 0,167 0,602 1,000 1,000 Bedingte Verteilung des Merkmals Y (Arbeitslosigkeit) für gegebene a j (Qualifikation) bei 100 Personen Arbeitslosigkeit Y Qualifikation X ja (b 1 ) nein (b 2 ) niedrig (a 1 ) 0,222 0,778 1,000 hoch (a 2 ) 0,038 0,962 1,000 Statistik_A@statistik.uni-bonn 3 10

11 Beispiel: Berufsgruppe - sportliche Betätigung Bedingte Verteilung des Merkmals Y (sportliche Betätigung) für gegebene a j (Berufsgruppe) bei 1000 Personen sportliche Betätigung Y Berufsgruppe X kaum manchmal regelmäßig RV X Arbeiter 0,56 0,28 0,16 1,00 Angestellter 0,47 0,26 0,26 1,00 Beamter 0,33 0,33 0,33 1,00 Landwirt 0,74 0,14 0,12 1,00 sonstiger freier Beruf 0,44 0,36 0,20 1,00 Statistik_A@statistik.uni-bonn 3 11

12 3.2 Zusammenhangsanalyse in Kontingenztabellen Zur Vereinfachungen betrachten wir zunächst nur eine (2 2) Kontingenztafel X\Y b 1 b 2 a 1 h 11 h 12 h 1 a 2 h 21 h 22 h 2 h 1 h 2 n Unter einer Chance ( Odds ) versteht man das Verhältnis zwischen dem Auftreten von Y = b 1 und Y = b 2 in einer gegebenen Teilgesamtheit X = a i, i {1, 2}. Die (empirische) bedingte Chance gegeben X = a i ist bestimmt durch γ(b 1, b 2 X = a i ) = f Y (b 1 X = a i ) f Y (b 2 X = a i ) = h i1 h i2 Statistik_A@statistik.uni-bonn 3 12

13 Beispiel: Qualifikation - Arbeitslosigkeit γ(ja, nein) X = niedrig qualifizert) = 2 7 γ(ja, nein) X = hoch qualifizert) = 2 53 Folgerung: Für Personen mit niedriger Qualifikation ist das Risiko arbeitslos zu werden 2 : 7, für Personen mit hoher Qualifikation dagegen mit 2 : 53 erheblich kleiner. Ein sehr einfaches Zusammenhangsmaß stellt nun das Kreuproduktverhältnis dar: Kreuzproduktverhältnis Für eine (2 2) Kontingenztafel ist das Kreuzproduktverhältnis (relative Chance, Odds Ratio ) bestimmt durch γ = γ(b 1,b 2 X=a 1 ) γ(b 1,b 2 X=a 2 ) = h 11h 22 h 21 h 12 Statistik_A@statistik.uni-bonn 3 13

14 Interpretation: γ = 1: Chancen in beiden Teilgesamtheiten (X = a 1 und X = a 2 ) gleich γ > 1: Chance in der Teilgesamtheit X = a 1 höher als in der Teilgesamtheit X = a 2 γ < 1: Chance in der Teilgesamtheit X = a 1 niedriger als in der Teilgesamtheit X = a 2 Beispiel: Qualifikation - Arbeitslosigkeit Man erhält γ = = = 7, 6 Das Risiko, arbeitslos zu werden, ist für niedrig Qualifizierte 7, 6 mal höher als für hoch Qualifizierte Statistik_A@statistik.uni-bonn 3 14

15 Verallgemeinerung: Bei k m Kontingenztabellen beschränkt man sich auf jeweils zwei Zeilen X = a i und X = a j und zwei Spalten Y = b r und Y = b s und betrachtet die zugehörigen vier Zellen Die relativen Chancen zwischen X = a i und X = a j in Bezug auf die Chancen von Y = b r und Y = b s sind bestimmt durch das Kreuzproduktverhältnis γ(b r, b s X = a i, X = a j ) = γ(b r,b s X=a i ) γ(b r,b s X=a j ) = h irh js h jr h is Statistik_A@statistik.uni-bonn 3 15

16 Beispiel: Berufsgruppe (X) - Sportliche Betätigung (Y) Zeilen: X = Arbeiter, X = Angestellter Spalten: Y = kaum, Y = regelmäßig kaum regelmäßig Arbeiter Angestellter γ(kaum, regelmäßig X = Arbeiter, X = Angest. ) = = 1, 93 Die Chance kaum sportliche Betätigung zu beobachten ist im Vergleich zu regelmäßige sportliche Betätigung bei Arbeitern 1, 93 mal höher als bei Angestellten. Statistik_A@statistik.uni-bonn 3 16

17 Kontingenz- und χ 2 -Koeffizient Überlegung: Welche Verteilung der Häufigkeiten kann man erwarten, wenn die beiden Merkmale X und Y keinerlei Zusammenhang aufweisen? X\Y b 1... b m a 1 h 1.?. a k h k h 1... h m n Kein Zusammenhang: Es sollte ohne Einfluß sein, in welcher Zeile (d.h. Teilgesamtheit X = a i ) die bedingte Verteilung von Y gegeben X = a i betrachtet wird, f Y (b j a i ) = f j Empirische Unabhängigkeit: X und Y sind voneinander empirisch unabhängig, falls h ij h i = h j n h ij = h i h j n Statistik_A@statistik.uni-bonn 3 17

18 Beispiel: Haarfarbe - Intelligenz X - Haarfarbe (blond, nicht blond) Y - Intelligenz (hoch, niedrig) Kontingenztabelle (n = 100) X\Y hoch niedrig blond nicht blond Bedingte Verteilungen f Y (b j a i ) = h ij h i : X\Y hoch niedrig blond 0,467 0,533 1 nicht blond 0,443 0,557 1 RV Y (rel. Häuf.) 0,45 0,55 1 X und Y sind approximativ empirisch unabhängig Statistik_A@statistik.uni-bonn 3 18

19 Kontingenz- und χ 2 -Koeffizient Zusammenhangsmaß: Diskrepanz zwischen den tatsächlich beobachteten Häufigkeiten h ij und jenen Häufigkeiten h i h j n, die zu erwarten sind, wenn kein Zusammenhang vorliegt. χ 2 -Koeffizient χ 2 = k i=1 m j=1 (h ij h i h j n ) 2 h i h j n χ 2 groß (starke Diskrepanz), wenn X und Y voneinander abhängen χ 2 klein (kleine Diskrepanz), wenn X und Y nicht voneinander abhängen χ 2 erfasst nur die Stärke eines Zusammenhangs, nicht jedoch die Richtung der Wirkungsweise Anmerkung: Für Vierfeldertafeln (d.h. 2 2 Kontingenztabellen) lässt sich die Berechnung von χ 2 vereinfachen: χ 2 = n(h 11h 22 h 12 h 21 ) 2 h 1 h 2 h 1 h 2 Statistik_A@statistik.uni-bonn 3 19

20 kleinstmöglicher Wert: χ 2 = 0 Interpretation: χ 2 0 X und Y sind approximativ empirisch unabhängig (Beispiel: Haarfarbe - Intelligenz) Maximal möglicher Wert: χ 2 = n(m 1) mit M = min{k, m} Interpretation: Stärkstmöglicher Zusammenhang In jeder Spalte der Kontingenztabelle ist genau eine Zeile besetzt Aus der Kenntnis der Ausprägung von X kann die Ausprägung von Y genau vorausgesagt werden. Beispiel: Kindergeld (X) - Existenz von Kindern (Y) n = 100 Paare X\Y kein Kind Kind Kindergeld kein K.geld RV Y (rel. Häuf.) χ 2 = 100 = n (M 1) Statistik_A@statistik.uni-bonn 3 20

21 Problem: Der Maximalwert von χ 2 hängt vom Umfang n der Erhebung und von der Dimension der Kontingenztafel, d.h. von k und m, ab. Normierung sinnvoll Kontingenzkoeffizient: K = χ 2 n+χ 2 mit Wertebereich K [0, M 1 M ], M = min{k, m} Korrigierter Kontingenzkoeffizient: K = K/ M 1 M mit Wertebereich K [0, 1] Statistik_A@statistik.uni-bonn 3 21

22 Eine alternative Normierung führt auf das Assoziationsmaß von Cramér. Assoziationsmaß von Cramér: V = χ 2 n(m 1) mit Wertebereich V [0, 1], M = min{k, m} Beispiel: Qualifikation - Arbeitslosigkeit K = 8, , 096 = 0, 274 K = K/ V = , (2 1) = 0, 387 = 0, 284 Statistik_A@statistik.uni-bonn 3 22

23 Φ-Koeffizient: Φ = h 11h 22 h 12 h 21 h1 h 2 h 1 h 2 mit Wertebereich Φ [ 1, 1] Φ ist nur für Vierfeldertafeln definiert, Φ = V Φ > 0 Kombination von X = a 1, Y = b 1 und X = a 2, Y = b 2 häufiger als Kombination von X = a 1, Y = b 2 und X = a 2, Y = b 1 ; X und Y positiv korreliert Φ < 0 Kombination von X = a 1, Y = b 2 und X = a 2, Y = b 1 häufiger als Kombination von X = a 1, Y = b 1 und X = a 2, Y = b 2 ; X und Y negativ korreliert Beispiel: Qualifikation - Arbeitslosigkeit Φ = V = 0, 284 Statistik_A@statistik.uni-bonn 3 23

24 Beispiel: Haarfarbe - Intelligenz X/Y hoch niedrig blond nicht blond χ 2 = 0, 048, K = 0, 022, K = 0, 031, V = Φ = 0, 022 Beispiel: Kindergeld - Existenz von Kindern X/Y kein Kind Kind Kindergeld kein K.geld RV Y (rel. Häuf.) χ 2 = 100, K = 1 2, K = 1, V = 1, Φ = 1 Statistik_A@statistik.uni-bonn 3 24

25 3.3 Grafische Darstellung quantitativer Merkmale Daten: Messwerte (x 1, y 1 ),..., (x n, y n ) zweier metrisch skalierter Merkmale X und Y Scatterplot (Streudiagramm): Darstellung der Messwerte (x 1, y 1 ),..., (x n, y n ) im xy- Koordinatensystem Verallgemeinerung auf mehr als zwei metrisch skalierte Merkmale: Scatterplotmatrix; 3D-Scatterplot zur Darstellung der gemeinsamen Verteilung dreier metrisch skalierter Merkmale X, Y, Z Statistik_A@statistik.uni-bonn 3 25

26 Ë ØØ ÖÔÐÓØ Alter vs. Stundenlohn Stundenlohn Alter ¹Ë ØØ ÖÔÐÓØ Alter vs. Stundenlohn vs. Ausbildungsjahre (Ausbildung) (Lohn) (Alter) Statistik_A@statistik.uni-bonn 3 26

27 Ë ØØ ÖÔÐÓعŠØÖ Ü Alter Stundenlohn Ausbildungsjahre 3 27

28 Zweidimensionales Histogramm Intervalle (c 0, c 1 ],..., (c k 1, c k ] für Merkmal X Intervalle (d 0, d 1 ],..., (d m 1, d m ] für Merkmal Y Berechnung der Häufigkeiten: h ij = Anzahl der (x r, y r ) aus (x 1, y 1 ),..., (x n, y n ) mit x r (c i 1, c i ] und y r (d j 1, d j ] f ij = h ij /n Zweidimensionales Histogramm: Quader mit den Rechtecken (c i 1, c i ] (d j 1, d j ] als Grundfläche und Höhe f ij (c i c i 1 ) (d j d j 1 ) Statistik_A@statistik.uni-bonn 3 28

29 Beispiel: FES, Großbritannien, 1992 Alter X - 7 Klassen (gleiche Intervallbreiten) Relatives Einkommen Y - 7 Klassen (gleiche Intervallbreiten) relat. Einkommen = Einkommen mittleres Einkommen im Jahr 1992 Statistik_A@statistik.uni-bonn 3 29

30 3.4 Zusammenhangsmaße bei metrischen Merkmalen Erhebung vom Umfang n: (x 1, y 1 ),..., (x n, y n ) Mittelwerte, Standardabweichungen: x = 1 n n i=1 x i, ȳ = 1 n n i=1 y i 1 n s X = n i=1 (x i x) 2 1 n = n i=1 x2 i x2 1 n s Y = n i=1 (y i ȳ) 2 1 n = n i=1 y2 i ȳ2 Maß für den linearen Zusammenhang zwischen X und Y : Bravais-Pearson Korrelationskoeffizient r = r X,Y = n i=1 (x i x)(y i ȳ) n i=1 (x i x) 2 n i=1 (y i ȳ) 2 = s XY s X s Y s XY = 1 n n i=1 (x i x)(y i ȳ) = 1 n n i=1 x iy i x ȳ heißt empirische Kovarianz Statistik_A@statistik.uni-bonn 3 30

31 Wertebereich von r 1 r 1 r > 0 positive Korrelation, gleichsinniger linearer Zusammenhang Tendenz: Werte (x i, y i ) um eine Gerade mit positiver Steigung liegend r < 0 negative Korrelation, gegensinniger linearer Zusammenhang Tendenz: Werte (x i, y i ) um eine Gerade mit negativer Steigung liegend r = 0 keine Korrelation, unkorreliert, kein linearer Zusammenhang Statistik_A@statistik.uni-bonn 3 31

32 Beispiel: Werbeausgaben (X) - Verkäufe (Y) Verkäufe Ausgaben X 0, 3 0, 7 1, 1 1, 3 2, 6 Y 11, 1 13, 5 15, 0 16, 4 20, 1 r = 0, 98 Statistik_A@statistik.uni-bonn 3 32

33 Beispiel: Wohnfläche (Y) - Miete pro m 2 (X) Wohnfläche Miete m^ X Y r = 0, 92 Statistik_A@statistik.uni-bonn 3 33

34 Schwache Korrelation: r < 0, 5 Mittlere Korrelation: 0, 5 r < 0, 8 Starke Korrelation: 0, 8 r < 1 Perfekte Korrelation: r = 1 Extremfall; die Werte (x i, y i ) liegen auf einer Geraden (positive Steigung, falls r = 1, negative Steigung, falls r = 1) Statistik_A@statistik.uni-bonn 3 34

35 Zusammenhang von Korrelation und Lage der Punktwolke Perfekte Korrelation ( r = 1) Statistik_A@statistik.uni-bonn 3 35

36 Starke Korrelation ( r = 0.8) Statistik_A@statistik.uni-bonn 3 36

37 Schwache Korrelation ( r = 0.2) Statistik_A@statistik.uni-bonn 3 37

38 Keine Korrelation (r = 0) Kein linearer Zusammenhang (r 0) 1.7 income age Statistik_A@statistik.uni-bonn 3 38

39 Spearmans Korrelationskoeffizient Idee: Korrelation von Rängen Rang einer Beobachtung x i rang(x i ) = Platzzahl, die der Wert x i bei größenmäßiger Anordnung aller Werte x 1,..., x n erhält Rang einer Beobachtung y i rang(y i ) = Platzzahl, die der Wert y i bei größenmäßiger Anordnung aller Werte y 1,..., y n erhält Beispiele: x i 0, 3 1, 5 0, 1 0, 8 1, 0 rang(x i ) y i 2, 0 0, 5 0, 9 1, 3 2, 6 rang(y i ) Statistik_A@statistik.uni-bonn 3 39

40 Mögliches Problem: Existenz von Bindungen (engl. Ties ), d.h. von identischen Meßwerten Lösung: Übergang zu Durchschnittsrängen Beispiele: x i 1, 09 2, 17 2, 17 2, 17 3, 02 rang(x i ) y i 0, 5 0, 5 0, 9 1, 3 1, 3 rang(y i ) 1, 5 1, Spearmans Korrelationskoeffizient ergibt sich als der Bravais-Pearson Korrelationskoeffizient angewandt auf die Rangpaare (rang(x 1 ), rang(y 1 )),...,(rang(x n ), rang(y n )) Statistik_A@statistik.uni-bonn 3 40

41 Spearmans Korrelationskoeffizient r SP = n i=1 (rang(x i) rang X )(rang(y i ) rang Y ) n i=1 (rang(x i) rang X ) 2 n i=1 (rang(y i) rang Y ) 2 Für die Mittelwerte gilt rang X = 1 n n i=1 rang(x i ) = n rang Y = 1 n n i=1 rang(y i ) = n Vereinfachte Berechnungsformel (nur anwendbar, wenn keine Bindungen existieren): r SP = 1 6 n i=1 D2 i n(n 2 1) mit den Rangdifferenzen D i = rang(x i ) rang(y i ) Statistik_A@statistik.uni-bonn 3 41

42 Wertebereich von r SP 1 r SP 1 r SP > 0 gleichsinniger monotoner Zusammenhang Tendenz: x groß y groß, x klein y klein r SP < 0 gegensinniger monotoner Zusammenhang Tendenz: x groß y klein, x klein y groß r SP = 0 kein monotoner Zusammenhang Extremfall r SP = 1 streng monoton wachsender Zusammenhang, rang(x 1 ) = rang(y 1 ),..., rang(x n ) = rang(y n ) Extremfall r SP = 1 streng monoton fallender Zusammenhang, rang(y i ) = n + 1 rang(x i ) für alle i = 1,..., n Statistik_A@statistik.uni-bonn 3 42

43 Beispiel: Werbeausgaben (X) - Verkäufe (Y) X 0, 3 0, 7 1, 1 1, 3 2, 6 Y 11, 1 13, 5 15, 0 16, 4 20, rang(x) rang(y) D r SP = 1 0 = 1 Statistik_A@statistik.uni-bonn 3 43

44 Beispiel: Wohnfläche (Y) - Miete pro m X Y r SP = 0, 9 Statistik_A@statistik.uni-bonn 3 44

45 Im Gegensatz zu r XY ist r SP auch für ordinalskalierte Merkmale ein sinnvolles Zusammenhangsmaß. Beispiel: Skiläufer: Zusammenhang zwischen Können im Abfahrtslauf und im Slalom n = 6 Sportler, Plazierungen in den letzten beiden Abfahrts- und Slalomrennen Sportler Abfahrt(X) Slalom (Y) r SP = 0, 26 Statistik_A@statistik.uni-bonn 3 45

46 Scheinkorrelationen Eine hohe Korrelation zwischen zwei Variablen bedeutet nicht notwendigerweise, dass es einen Kausalzusammenhang gibt inhaltliche Überlegungen erforderlich r gibt keinen Hinweis auf die Wirkungsrichtung: X beeinflusst Y oder umgekehrt Auch bei starker Korrelation besteht möglicherweise gar kein direkter Zusammenhang zwischen X und Y beide werden von einer dritten, unbeobachteten Variablen beeinflusst, Scheinkorrelation Beispiel: Wortschatz (X) und Körpergröße (Y) von Kindern Wortschatz Körpergröße r XY = 0, 863 Statistik_A@statistik.uni-bonn 3 46

47 3.5 Regression Lineare Einfachregression Problemstellung: Analysiere den Einfluß einer erklärenden Variable X auf eine Zielvariable Y (X und Y metrisch skaliert) Y - abhängige Variable (Regressand, Zielvariable) z.b.: Konsum, Verkäufe, Ernteerträge, etc. X - unabhängige Variable (Regressor, erklärende Variable) z.b.: Einkommen, Investitionen, Düngemittel, etc. Daten: (x 1, y 1 ),..., (x n, y n ) Statistik_A@statistik.uni-bonn 3 47

48 Beispiel: Ernteertrag von Weizen (Y) in Abhängigkeit von der Menge des eingesetzten Düngemittels (X) in kg/ha Beobachtungen für n = 7 Parzellen X Y Ertrag Duenger Statistik_A@statistik.uni-bonn 3 48

49 Beispiel: Konsumfunktion (x i, y i ) - mittleres Einkommen (x i ) und mittlerer Gesamtkonsum (y i ) in einem Land für ein gegebenes Jahr i Modell von Keynes: y i = β 0 + β 1 x i + Zufallsschwankungen Daten: Gesamtkonsum und Einkommen in Großbritannien von (Einheit: Pfund pro Woche) Konsum Einkommen Statistik_A@statistik.uni-bonn 3 49

50 Einfachster Fall: Es existiert ein linearer Zusammenhang zwischen X und Y Y = β 0 + β 1 X + Zufallsschwankungen y i = β 0 + β 1 x i + ϵ i Problem: Wie bestimmt man die beste Gerade der Form ˆβ 0 + ˆβ 1 X aus den Daten? Beobachtungen angepasste Werte y 1 ŷ 1 = ˆβ 0 + ˆβ 1 x 1 y 2 ŷ 2 = ˆβ 0 + ˆβ 1 x 2 y n ŷ n = ˆβ 0 + ˆβ 1 x n Statistik_A@statistik.uni-bonn 3 50

51 Kriterium: Möglichst kleine Abweichungen zwischen den beobachteten Werten y i und den angepassten (prognostizierten) Werten ŷ i = ˆβ 0 + ˆβ 1 x i Schlechte Anpassung Duenger Gute Anpassung Duenger Statistik_A@statistik.uni-bonn 3 51

52 Die Kleinste-Quadrate-Methode Idee: Minimiere die Summe der quadratischen Differenzen zwischen den beobachteten Werten y i und den angepassten (prognostizierten) Werten ŷ i Kleinste-Quadrate-Methode Bestimme ˆβ 0 und ˆβ 1 durch Minimieren von Q(β 0, β 1 ) = n i=1 (y i ŷ i ) 2 = n i=1 (y i β 0 β 1 x i ) 2 Lösungen: ˆβ 1 = n i=1 (x i x)(y i ȳ) n i=1 (x i x) 2 ˆβ 0 = ȳ ˆβ 1 x = s XY s 2 X Ausgleichsgerade: Ŷ = ˆβ 0 + ˆβ 1 X Statistik_A@statistik.uni-bonn 3 52

53 Herleitung der Lösungen: Notwendige Bedingung für die Existenz eines Minimums an einem Punkt ( ˆβ 0, ˆβ 1 ): Verschwinden der partiellen Ableitungen 0 = β 0 Q(β 0, β 1 ) (β0,β 1 )=( ˆβ 0, ˆβ 1 ) = 0 = β 1 Q(β 0, β 1 ) (β0,β 1 )=( ˆβ 0, ˆβ 1 ) = n i=1 n i=1 2(y i ˆβ 0 ˆβ 1 x i ) ( 1) 2(y i ˆβ 0 ˆβ 1 x i ) ( x i ) Normalgleichungen n ˆβ 0 + ˆβ 1 n i=1 x i = n i=1 y i ˆβ 0 n i=1 x i + ˆβ 1 n i=1 x 2 i = n x i y i i=1 Die angegebenen Formeln für ˆβ 0 und ˆβ 1 ergeben sich als Lösung der Normalgleichungen Statistik_A@statistik.uni-bonn 3 53

54 Beispiel: Düngemittel - Ernteertrag von Weizen Es ergibt sich: ˆβ 0 = 36, 4, ˆβ 1 = 0, 059 Ausgleichsgerade Ŷ = 36, 4 + 0, 059 X Ertrag Duenger Statistik_A@statistik.uni-bonn 3 54

55 Steigung ˆβ 1 der Ausgleichsgerade: Veränderung von Ŷ, die mit der Veränderung von X um eine Einheit einhergeht. β 1 x x+1 Von besonderer Bedeutung: Vorzeichen von ˆβ 1 entspricht Vorzeichen des Korrelationskoeffizienten r XY r XY = ˆβ 1 s X s Y ˆβ 1 > 0 positive Korrelation, gleichsinniger linearer Zusammenhang ˆβ 1 < 0 negative Korrelation, gegensinniger linearer Zusammenhang ˆβ 1 = 0 X und Y unkorreliert, kein linearer Zusammenhang Statistik_A@statistik.uni-bonn 3 55

56 Wichtige Anmerkung: Wenn ˆβ 1 0, so existiert nicht notwendigerweise ein direkter (kausaler) Zusammenhang zwischen X und Y ( Problem der Scheinkorrelationen) Beispiel: Wortschatz - Körpergröße 35 Wortschatz Groesse Statistik_A@statistik.uni-bonn 3 56

57 Prognose: Mit Hilfe der Ausgleichsgerade läßt sich für jeden Wert x 0 von X der zugehörige Wert y 0 von Y prognostizieren: ŷ 0 = ˆβ 0 + ˆβ 1 x 0 Beispiel: Prognose des Ernteertrags bei einem Einsatz von x 0 = 800 kg/ha Düngemittel: ŷ 0 = 36, 4 + 0, = 83, y x x 0 Statistik_A@statistik.uni-bonn 3 57

58 Das Bestimmtheitsmaß: Residuen Duenger Wegen evtl. Zufallsschwankungen kann man i.allg. nur erwarten, dass ein prognostizierter Wert ŷ i relativ nahe an einem tatsächlichen Messwert y i sein wird. Residuen: ˆϵ i = ŷ i y i Problem: Maßzahl für die Güte des Modells und die zugehörige Prognosegenauigkeit Statistik_A@statistik.uni-bonn 3 58

59 Die Streuungszerlegung n i=1 (y i ȳ) 2 = n i=1 (ŷ i ȳ) 2 + n i=1 (y i ŷ i ) 2 Gesamtstreuung = Erklärte Streuung + Residualstreuung Gesamtstreuung Erklärte Streuung fast perfekte Prognose, y i ŷ i und Residualstreuung 0. Die verschiedenen Werte von Y lassen sich in guter Näherung durch die zugehörigen Werte von X zusammen mit der postulierten linearen Beziehung erklären. Erklärte Streuung 0 Gesamtstreuung Residualstreuung, ŷ i = ˆβ 0 + ˆβ 1 x i ist wertlos zur Prognose von y i Statistik_A@statistik.uni-bonn 3 59

60 Gesamtstreuung Duenger Erklaerte Streuung Duenger Residualstreuung Duenger 3 60

61 Das Bestimmtheitsmaß R 2 = n i=1 (ŷ i ȳ) 2 n i=1 (y i ȳ) 2 = 1 n i=1 (y i ŷ i ) 2 n i=1 (y i ȳ) 2 Wertebereich 0 R 2 1 R 2 = 1 Perfektes Modell, y i = ŷ i = ˆβ 0 + ˆβ 1 x i R 2 = 0 Lineare Einfachregression wertlos zur Modellierung von Y Vereinfachte Berechnung: R 2 = ( sxy s X s Y ) 2 = r 2 XY Beispiel: Dünger (X) - Ertrag (Y) R 2 = 0, 85 Statistik_A@statistik.uni-bonn 3 61

62 1 0 Y X R 2 = 0, Y X R 2 = 0, 51 Statistik_A@statistik.uni-bonn 3 62

63 Y X R 2 = 0, Einkommen Alter R 2 = 0, 02 Statistik_A@statistik.uni-bonn 3 63

64 3.5.2 Erweiterungen der Einfachregression Wir betrachten wiederum den Fall einer einzigen erklärenden Variable X Ziel der Regressionsanalyse ist die Spezifikation eines funktionalen Zusammenhangs zwischen Y und X der Form Y = f(x) (+Zufallsschwankungen) f(x) - Regressionsfunktion Lineare Einfachregression: f(x) = β 0 + β 1 x In manchen Anwendungen ist der Zusammenhang zwischen Y und X von komplexerer Natur, und die Regressionsfunktion ist nicht durch eine Gerade beschreibbar. Statistik_A@statistik.uni-bonn 3 64

65 Die Potenzfunktion X und Y verhälnisskaliert mit positiven Ausprägungen In manchen ökonomischen Anwendungen ist bei der Analyse des Einflusses von X auf Y eher von konstanten Elastizitäten auszugehen. Y wächst (fällt) um einen annähernd konstanten Prozentsatz, wenn X jeweils um einen festen Prozentsatz erhöht wird. Einfachstes Modell Y β 0 X β 1 Für alle c > 0: β 0 (cx) β 1 β 0 (X) β 1 = cβ 1, β 1 - Elastizität Logarithmierung Rückführung auf eine lineare Einfachregression: Y β 0 X β 1 }{{} lny lnβ }{{} 0 Y β 0 +β 1 lnx }{{} X Statistik_A@statistik.uni-bonn 3 65

66 Beispiel: Werbeausgaben (X) - Verkäufe (Y ) X Y Y , 3 11, , 7 13, 5 3 1, 1 15, 0 4 1, 3 16, X 5 1, 8 18, 6 6 2, 6 20, 1 7 3, 4 19, , 2 Ansatz: Y β 0 X β 1 Statistik_A@statistik.uni-bonn 3 66

67 Logarithmierung: }{{} lny lnβ }{{} 0 Y β 0 +β 1 lnx }{{} X 3.0 X = lnx Y = lny 1 1, 20 2, , 36 2, , 10 2, , 26 2, , 59 2, , 96 3, , 22 2, , 39 3, lny lnx ˆβ 1 = n i=1 (x i x )(y i ȳ ) n i=1 (x i x ) 2 = 0, 245 ˆβ 0 = ȳ ˆβ 1 x = 2, 71 Statistik_A@statistik.uni-bonn 3 67

68 Polynomiale Regression Beispiel: Dünger (X) -Ernteertrag (Y ) 7 zusätzliche Beobachtungen Duenger Ansatz: Quadratisches Polynom Y β 0 + β 1 X + β 2 X 2 Kleinste-Quadrate-Methode: ˆβ 0, ˆβ 1 und ˆβ 2 minimieren Q(β 0, β 1, β 2 ) = n (y i β 0 β 1 x i β 2 x 2 i ) 2 i=1 ˆβ 0 = 27, 6, ˆβ 1 = 0, 11, ˆβ 2 = 0, Statistik_A@statistik.uni-bonn 3 68

69 Mögliche weitere Verallgemeinerung: Polynom p-ten Grades Y β 0 + β 1 X + β 2 X β p X p Bestimmung von ˆβ 0,..., ˆβ p mit der Kleinste-Quadrate- Methode Beispiel: Alter (X) - Einkommen (Y ) Ansatz: Y β 0 + β 1 X + β 2 X β 6 X income age Statistik_A@statistik.uni-bonn 3 69

70 3.5.3 Lineare Mehrfachregression (Multiple Regression) In vielen Fällen wird in der Ökonomie der Einfluss mehrerer erklärender Variablen auf eine Zielvariable Y untersucht. Beispiel: Ernteertrag (Y) in Abhängigkeit von der Menge des eingesetzten Düngemittels (X) und der Niederschlagsmenge (Z) Daten: Y X Z Ansatz: Y = β 0 + β 1 X + β 2 Z (+Zufallsschwankungen) Statistik_A@statistik.uni-bonn 3 70

71 Bestimmung der bestmöglichen Koeffizienten durch die Kleinste-Quadrate-Methode: ˆβ 0, ˆβ 1 und ˆβ 2 minimieren n Q(β 0, β 1, β 2 ) = (y i β 0 β 1 x i β 2 z i ) 2 i=1 ˆβ 0 = 28, 1, ˆβ 1 = 0, 038, ˆβ 2 = 0, 83 Angepasste Regressionsfunktion: ŷ i = 28, 1 + 0, 038x i + 0, 83z i R 2 = n i=1 (ŷ i ȳ) 2 n i=1 (y = 0, 98 i ȳ) 2 80 Z=30 70 Z=20 60 Z= Duenger Statistik_A@statistik.uni-bonn 3 71

72 Berechnung der Lösungen: Q(β 0, β 1, β 2 ) minimal an einem Punkt ( ˆβ 0, ˆβ 1, ˆβ 2 ) Verschwinden der partiellen Ableitungen Normalgleichungen n n n n ˆβ 0 + ˆβ 1 x i + ˆβ 2 z i = y i i=1 i=1 i=1 n n n n ˆβ 0 x i + ˆβ 1 x 2 i + ˆβ 2 x i z i = x i y i i=1 i=1 i=1 i=1 n n n n ˆβ 0 z i + ˆβ 1 z i x i + ˆβ 2 z 2 i = z i y i i=1 i=1 i=1 i=1 ˆβ 0, ˆβ 1 und ˆβ 2 ergeben sich als Lösung dieses linearen Gleichungssystems. Statistik_A@statistik.uni-bonn 3 72