Kapitel X - Lineare Regression

Größe: px

Ab Seite anzeigen:

Download "Kapitel X - Lineare Regression"

Rüdiger Sternberg
vor 6 Jahren
Abrufe

1 Institut für Volkswirtschaftslehre (ECON) Lehrstuhl für Ökonometrie und Statistik Kapitel X - Lineare Regression Deskriptive Statistik Prof. Dr. W.-D. Heller Hartwig Senska Carlo Siebenschuh

2 Agenda 1 Untersuchung auf lineare Abhängigkeit 2 Methode der kleinsten Quadrate Kapitel X - Lineare Regression 2

3 Untersuchung der Abhängigkeit Hat die Untersuchung zweier Merkmale auf einer statistischen Masse ergeben, dass eine Abhängigkeit zwischen diesen Merkmalen besteht, so stellt sich unmittelbar die Frage, ob das Datenmaterial Aussagen über die Art und die Stärke der Abhängigkeit zulässt. Sind beide Merkmale quantitativ, so bestehen die Beobachtungen aus Paaren reeller Zahlen. Einen intuitiven Eindruck über die Art der Abhängigkeit erhält man durch das Streuungsdiagramm. Kapitel X - Lineare Regression 3

4 Untersuchung der Abhängigkeit Hat die Untersuchung zweier Merkmale auf einer statistischen Masse ergeben, dass eine Abhängigkeit zwischen diesen Merkmalen besteht, so stellt sich unmittelbar die Frage, ob das Datenmaterial Aussagen über die Art und die Stärke der Abhängigkeit zulässt. Sind beide Merkmale quantitativ, so bestehen die Beobachtungen aus Paaren reeller Zahlen. Einen intuitiven Eindruck über die Art der Abhängigkeit erhält man durch das Streuungsdiagramm. Kapitel X - Lineare Regression 3

5 Untersuchung der Abhängigkeit Abbildung Streuungsdiagramme mit Ähnlichkeit zu einer geometrischen Figur bzw. einem Funktionsgraph. Es drängt sich die Überlegung auf, dass die Daten sich dadurch ergeben, dass ein funktionaler Zusammenhang zwischen den beiden Merkmalen vorliegt, der z.b. durch Messfehler, individuelle Besonderheiten oder Abhängigkeiten mit anderen Merkmalen überlagert ist. Kapitel X - Lineare Regression 4

6 Untersuchung der Abhängigkeit Abbildung Streuungsdiagramme mit Ähnlichkeit zu einer geometrischen Figur bzw. einem Funktionsgraph. Es drängt sich die Überlegung auf, dass die Daten sich dadurch ergeben, dass ein funktionaler Zusammenhang zwischen den beiden Merkmalen vorliegt, der z.b. durch Messfehler, individuelle Besonderheiten oder Abhängigkeiten mit anderen Merkmalen überlagert ist. Kapitel X - Lineare Regression 4

7 Untersuchung der Abhängigkeit Annahmne Den Beobachtungspaaren (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ) liegt ein linearer Zusammenhang ( Trend ) zugrunde. Dieser lässt sich ausdrücken durch eine Funktion vom Typ y = mx b, wobei die Parameter m und b den Anstieg und den y-achsen-abschnitt angeben. Aufgabe ist also, mit dem Datenmaterial die unbekannten Werte m und b - zumindest näherungsweise - zu bestimmen. Kapitel X - Lineare Regression 5

8 Untersuchung der Abhängigkeit Annahmne Den Beobachtungspaaren (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ) liegt ein linearer Zusammenhang ( Trend ) zugrunde. Dieser lässt sich ausdrücken durch eine Funktion vom Typ y = mx b, wobei die Parameter m und b den Anstieg und den y-achsen-abschnitt angeben. Aufgabe ist also, mit dem Datenmaterial die unbekannten Werte m und b - zumindest näherungsweise - zu bestimmen. Kapitel X - Lineare Regression 5

9 Untersuchung der Abhängigkeit Annahmne Den Beobachtungspaaren (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ) liegt ein linearer Zusammenhang ( Trend ) zugrunde. Dieser lässt sich ausdrücken durch eine Funktion vom Typ y = mx b, wobei die Parameter m und b den Anstieg und den y-achsen-abschnitt angeben. Aufgabe ist also, mit dem Datenmaterial die unbekannten Werte m und b - zumindest näherungsweise - zu bestimmen. Kapitel X - Lineare Regression 5

10 Agenda 1 Untersuchung auf lineare Abhängigkeit 2 Methode der kleinsten Quadrate Kapitel X - Lineare Regression 6

11 Angenommen, m und b wären bekannt, so ließe sich zu jedem x-wert der Trendwert ŷ i ermitteln: ŷ i = mx i b. Daraus ergäbe sich dann auch die Störgröße y i ŷ i = y i mx i b. Das Prinzip der linearen Regression - auch Methode der kleinsten Quadrate genannt - ist: Bestimme m und b so, dass die Summe der quadrierten Störgrößen minimiert wird: n min (y i mx i b) 2 i=1 Kapitel X - Lineare Regression 7

12 Angenommen, m und b wären bekannt, so ließe sich zu jedem x-wert der Trendwert ŷ i ermitteln: ŷ i = mx i b. Daraus ergäbe sich dann auch die Störgröße y i ŷ i = y i mx i b. Das Prinzip der linearen Regression - auch Methode der kleinsten Quadrate genannt - ist: Bestimme m und b so, dass die Summe der quadrierten Störgrößen minimiert wird: n min (y i mx i b) 2 i=1 Kapitel X - Lineare Regression 7

13 Angenommen, m und b wären bekannt, so ließe sich zu jedem x-wert der Trendwert ŷ i ermitteln: ŷ i = mx i b. Daraus ergäbe sich dann auch die Störgröße y i ŷ i = y i mx i b. Das Prinzip der linearen Regression - auch Methode der kleinsten Quadrate genannt - ist: Bestimme m und b so, dass die Summe der quadrierten Störgrößen minimiert wird: n min (y i mx i b) 2 i=1 Kapitel X - Lineare Regression 7

14 Nach partieller Differentiation nach m und b ergibt sich aus der notwendigen Bedingung: ˆm = n n n n x i y i x i y i i=1 i=1 i=1 n n = n xi 2 ( x i ) 2 i=1 i=1 1 n 1 n n x i y i xȳ i=1 n i=1 x 2 i x 2 ˆb = n i=1 x 2 i n n y i n x i x i y i i=1 i=1 i=1 n n n xi 2 ( x i ) 2 i=1 i=1 = ȳ ˆm x (hinreichende Bedingung prüfen!) Kapitel X - Lineare Regression 8

15 Beispiel 10.1 Gegeben sei die folgende Liste von Beobachtungspaaren: (7; 8), (7; 7), (8; 9), (10; 11), (11; 12), (14; 15), (17; 18), (17; 16), (19; 20), (18; 19). Dann ist: i x i xi y i x i y i und damit ˆm = = = 0.987, ˆb = = = Kapitel X - Lineare Regression 9

16 Beispiel 10.1 Gegeben sei die folgende Liste von Beobachtungspaaren: (7; 8), (7; 7), (8; 9), (10; 11), (11; 12), (14; 15), (17; 18), (17; 16), (19; 20), (18; 19). Dann ist: i x i xi y i x i y i und damit ˆm = = = 0.987, ˆb = = = Kapitel X - Lineare Regression 9

17 Beispiel 10.1 Gegeben sei die folgende Liste von Beobachtungspaaren: (7; 8), (7; 7), (8; 9), (10; 11), (11; 12), (14; 15), (17; 18), (17; 16), (19; 20), (18; 19). Dann ist: i x i xi y i x i y i und damit ˆm = = = 0.987, ˆb = = = Kapitel X - Lineare Regression 9

18 Abbildung Streuungsdiagramm und Regressionsgerade zu Beispiel 10.1 Kapitel X - Lineare Regression 10

19 Bemerkung: Die Methode der kleinsten Quadrate lässt sich auch bei nichtlinearen Zusammenhängen anwenden. Hierbei wird zunächst, soweit möglich, eine Transformation der Daten vorgenommen, so dass die transformierten Daten zu einem linearen Zusammenhang führen. Für die transformierten Daten lassen sich die Parameter dann mit linearer Regression bestimmen. Anschließend wird die Transformation wieder rückgängig gemacht. Kapitel X - Lineare Regression 11

20 Beispiel 10.2 Gegeben sind die Beobachtungspaare (0; 1.1), (1; 2.5), (2; 8), (3; 25), (4; 65). Aufgrund des starken Ansteigens der y-werte wird eine exponentielle Abhängigkeit vermutet: y = Ce αx mit unbekanntem C und α. Durch Logarithmieren erhält man: ln(y) = ln(ce αx ) = ln C αx, (linear) Kapitel X - Lineare Regression 12

21 Beispiel 10.2 Gegeben sind die Beobachtungspaare (0; 1.1), (1; 2.5), (2; 8), (3; 25), (4; 65). Aufgrund des starken Ansteigens der y-werte wird eine exponentielle Abhängigkeit vermutet: y = Ce αx mit unbekanntem C und α. Durch Logarithmieren erhält man: ln(y) = ln(ce αx ) = ln C αx, (linear) Kapitel X - Lineare Regression 12

22 Beispiel 10.2 Gegeben sind die Beobachtungspaare (0; 1.1), (1; 2.5), (2; 8), (3; 25), (4; 65). Aufgrund des starken Ansteigens der y-werte wird eine exponentielle Abhängigkeit vermutet: y = Ce αx mit unbekanntem C und α. Durch Logarithmieren erhält man: ln(y) = ln(ce αx ) = ln C αx, (linear) Kapitel X - Lineare Regression 12

23 Beispiel 10.2 Die lineare Regression liefert dann: i x i xi y i ln y i x i ln y i ˆm = ˆα = = = 1.05, ˆb = ln C = = 0.005, Ĉ = Daraus ergeben sich die ŷ i -Werte: i ŷ i Kapitel X - Lineare Regression 13

24 Beispiel 10.2 Die lineare Regression liefert dann: i x i xi y i ln y i x i ln y i ˆm = ˆα = = = 1.05, ˆb = ln C = = 0.005, Ĉ = Daraus ergeben sich die ŷ i -Werte: i ŷ i Kapitel X - Lineare Regression 13

25 Beispiel 10.2 Die lineare Regression liefert dann: i x i xi y i ln y i x i ln y i ˆm = ˆα = = = 1.05, ˆb = ln C = = 0.005, Ĉ = Daraus ergeben sich die ŷ i -Werte: i ŷ i Kapitel X - Lineare Regression 13

26 Kapitel X - Lineare Regression 14

27 Kapitel X - Lineare Regression 15

28 Kapitel X - Lineare Regression 16

Ähnliche Dokumente

2. Deskriptive Statistik 2.1. Häufigkeitstabellen, Histogramme, empirische Verteilungsfunktionen

4. Datenanalyse und Modellbildung Deskriptive Statistik 2-1 2. Deskriptive Statistik 2.1. Häufigkeitstabellen, Histogramme, empirische Verteilungsfunktionen Für die Auswertung einer Messreihe, die in Form