TEIL 13: DIE EINFACHE LINEARE REGRESSION

Transkript

1 TEIL 13: DIE EINFACHE LINEARE REGRESSION

2 Die einfache lineare Regression Grundlagen Die einfache lineare Regression ist ebenfalls den bivariaten Verfahren für metrische Daten zuzuordnen 1 Sie hat einen Sonderstatus, da sie nicht bloß eine einfache Maßzahl darstellt, sondern ein komplexeres Verfahren bzw. die Realisierung eines Modells darstellt Es werden gerichtete Beziehungen betrachtet: o stellt die unabhängige Variable (angenommene Ursache) und die abhängige Variable (angenommene Wirkung) dar o Somit lassen sich gerichtete Hypothesen der Art hat einen Einfluss auf überprüfen 1 einfach bezieht sich hier darauf, dass nur zwei Variablen betrachtet werden (bivariat); bei mehr als zwei Variablen stellt die lineare Regression ein multivariates Verfahren dar und wird nicht mehr als einfache sondern als multiple Regression bezeichnet.

3 Es wird eine Verbindung zwischen drei gedanklichen Ansätzen realisiert: o Untersuchung des Zusammenhangs zwischen und o Prognose / Schätzung der Werte von unter Berücksichtigung der Informationen von o Erklärung der Streuung von mithilfe der Informationen von

4 Prognosen / Schätzungen Fragestellung: Welche Merkmalsausprägung einer Variablen kann einem zufällig gewählten Objekt zugeordnet werden? o Beispiel: Es soll das Einkommen einer Person geschätzt werden, die man zufällig in der Stadt trifft Liegen keine weiteren Informationen über die Person vor, so muss sich die Prognose auf das beschränken, was über (hier im Beispiel: das Einkommen) gewusst wird 2 Der für die Prognose geeignetste Wert der eigenen Verteilung von ist das arithmetische Mittel 3 2 Dies entspricht einer Prognosen anhand der eigenen univariaten Verteilung von 3 Hier im Beispiel: das Durchschnittseinkommen; man würde also vermuten, dass das Einkommen der zufällig getroffenen Person dem Durchschnittseinkommen entspricht

5 ABER: Je größer aber die Streuung einer Variablen, umso schlechter eignet sich der Mittelwert zur Vorhersage bzw. umso größer ist die Gefahr, dass man sich stark verschätzt

6 Visualisierung des Beispiels Einkommen einer Person : Prognosen können verbessert werden, wenn Informationen über ein weiteres Merkmal hinzugezogen werden Wissen wir z.b., welchen Beruf die Person ausübt, dann könn- ten wir u.u. eine bessere Schätzung des Einkommens abgeben

7 Verbindung zwischen Prognose von und Zusammenhang zwi- schen und Je stärker und miteinander linear zusammenhängen, umso besser ist geeignet, um die Werte von vorauszusagen Die Vorhersagewerte sind hierbei die -Werte der sog. Regres- sionsgeraden: (y-dach) y Regressionsgerade Mittelwert von y x

8 Die Regressionsgerade Die Gerade, welche sich einer bivariaten Punktewolke am besten anpasst Je stärker der Zusammenhang zwischen und, umso weniger weichen im Schnitt die tatsächlichen -Werte von der Regressionsgeraden (also von ) ab

9 Bestimmung der Parameter der Regressionsgeraden: Es lassen sich nach Augenmaß viele passende Geraden durch eine Punktewolke legen Doch es gibt nur eine Gerade, welche mathematisch gesehen die beste Anpassung an die Punktewolke liefert Die Regressionsgerade Allgemein: Eine Gerade ist eindeutig bestimmt, wenn die Steigung ( ) und der y-achsenabschnitt ( ) bekannt ist lässt sich wiederum berechnen, wenn die Steigung und ein Punkt der Geraden bekannt sind

10 Geraden-Formel: 4 =+ Kriterium zur Bestimmung der besten Anpassung einer Geraden an eine Punktewolke: Die Summe der Abweichungen zwischen den echten und den vorhergesagten -Werten soll minimal sein (damit alle Abweichungen positiv sind, werden sie quadriert) ( ) min 4 = Laufindex für die einzelnen untersuchten Fälle; stellt den letzten Fall dar und entspricht somit der Anzahl der untersuchten Fälle. Dies gilt für alle folgenden Laufindizes.

11 Wird im nächsten Schritt mit dem Ausdruck der Geraden- Gleichung ersetzt, ergibt sich: ( (+ )) min Dieser Ausdruck lässt sich nun nach ableiten Somit kann rechnerisch eine eindeutige Größe bestimmt werden, welche das Kriterium zur besten Anpassung einer Geraden an eine Punktewolke erfüllt: 5 5 steht hierbei für die Varianz von

12 = Cov steht für die Steigung der Geraden, besagt somit, wie sich der -Schätzwert ändert, wenn um eine Einheit steigt ist unstandardisiert und somit nicht geeignet zur Beurteilung der Vorhersagekraft der Regressionsgeraden

13 Bestimmung von : Ferner soll eine Regressionsgerade durch den Schwerpunkt der Verteilung gehen Der Schwerpunkt setzt sich aus den beiden Mittelwerten von und zusammen, ist also der Punkt: ( ) Damit ist auch ein Punkt der Geraden bekannt; werden die Koordinaten in die Geraden-Gleichung eingesetzt, lässt sich bestimmen: = steht für den -Achsenabschnitt und besagt somit, welchen geschätzten Wert annimmt, wenn gleich 0 ist

14 Allgemeine Anmerkungen: Es lässt sich für jede Punktewolke eine Regressionsgerade mathematisch bestimmen: o Diese Gerade ist immer die beste Gerade, die sich an diese Punktewolke anpassen lässt! Wenn aber keine oder nur eine schwache lineare Beziehung zwischen und besteht, dann vermag auch die Regressionsgerade die Schätzung der -Werte kaum zu verbessern:

15

16 Bestimmung der Güte der Anpassung durch eine Regressionsgerade der Determinationskoeffizient Nun soll das Konzept der Prognose von mit der Erklärung der Streuung von verbunden werden Denn es muss Gründe geben, warum die Werte von Variablen mehr oder weniger streuen (und nicht für alle Merkmalsträger gleich sind) Diese Gründe werden in der Regressionsanalyse durch unabhängige -Variablen formalisiert, von denen man annimmt, dass sie z.t. für die Streuung einer Variablen verantwortlich sind

17 Beispiele für Fragestellungen, welche sich auf die Varianz interessanter abhängiger Variablen beziehen: Warum gibt es derartige Leistungsunterschiede zwischen Schulkindern? 6 Warum gibt es unterschiedliche Einkommen? Warum gibt es Unterschiede in dem Ausmaß der Integration von Migranten? Warum erkranken manche Leute an einer bestimmten Krankheit und die anderen wiederum nicht? 6 Die Leistungsunterschiede () könnten beispielsweise z.t. durch die unterschiedliche Lernmotivation der Schulkinder () erklärt werden. Analog dazu ließen sich unabhängige Variablen für die anderen hier aufgeführten Beispiele finden.

18 Funktionsweise des Determinationskoeffizienten: Das Ausmaß, mit dem die Streuung von erklären kann, lässt sich mathematisch quantifizieren mit Hilfe des Determinationskoeffizienten Der Determinationskoeffizient wird definiert als der Anteil der erklärten Varianz an der Gesamtvarianz von

19 Die Gesamtvarianz von : ( ) Die Erklärte Varianz von ( ) Diese Größe stellt nichts anderes dar als die Varianz von Die quadrierte Abweichung zwischen Vorhersagewert und Mittelwert von ; um diese Differenz lässt sich die Vorhersage gegenüber dem Mittelwert verbessern Die Nicht-Erklärte Varianz von : ( ) Die quadrierte Abweichung zwischen Vorhersagewert und dem beobachteten Wert von ; diese Differenz ist sozusagen der Rest, welcher auch durch die Regressionsgerade nicht erklärt werden kann Allgemein gilt: Erklärte Varianz + Nicht Erklärte Varianz = Gesamtvarianz

20 Visualisierung der Aufteilung der Gesamtvarianz von an nur einer Person: ( y i ŷ i ) ( ŷ y ) i i

21 Formel des Determinationskoeffizienten: = Erklärte Varianz Gesamtvarianz = ( ) ( ) Diese Maßzahl setzt die erklärte Varianz in Relation zur Gesamtvarianz Sie drückt aus, wie groß der Anteil der erklärten Varianz an der Gesamtvarianz ist Sie bewegt sich immer zwischen 0 und 1, da die Erklärte Varianz nur ein Bestandteil der Gesamtvarianz ist

22 Wird das Ergebnis mit 100 multipliziert, so lässt sich der neue Wert prozentual deuten o So besagt bspw. ein Wert von 0,74, dass 74% der Varianz von durch das Hinzuziehen der Informationen von erklärt werden kann Ist der Wert 1, dann entspricht die Erklärte Varianz der Gesamtvarianz: o Es bleibt kein Rest, alle Punkte liegen exakt auf der Regressionsgeraden und es besteht ein perfekter linearer Zusammenhang zwischen und o kann die gesamte Streuung von aufklären

23 Der Determinationskoeffizient lässt sich leicht aus dem Korrelationskoeffizienten berechnen, indem letzterer quadriert wird