STATISTIK 2 Teil 1 Regressionsanalyse Von: Anne Schmidt. Anordnung von Zahlen in Zeilen und Spalten (Tabelle)

Transkript

1 Kapitel 2 Deskriptive lieare Regressio Eigebude Kapitel 16 Das lieare Regressiosmodell 2.1. Eiführug Defiitio Regressiosaalyse Uterschied zu Variazaalyse Matrix/ Matrize Idices Vektor Decke Zusammehäge zwische Beobachtugsreihe auf, die das Verhalte ud Erlebe vo Mesche betreffe Auswertug vo Date aus Experimete oder Utersuchuge, um diese empirische Date mit statistische Kezahle zu beschreibe (deskriptiv) ud zu bewerte (iduktiv), ob bestimmte Regelmäßigkeite zufällig oder systematisch azusehe sid. Regressio stellt das Bideglied zwische diskrete Date (Realität) ud stetige Date für die Aalyse dar. Variazaalyse ermittelt Uterschiede, die Regressiosaalyse fokussiert sich auf Zusammehäge Aordug vo Zahle i Zeile ud Spalte (Tabelle) Jede Positio ka i eier Matrix durch Idices/Idex bestimmt werde Besteht eie Matrix ur aus eier Zeile oder Spalte, ist es Asammlug vo "durchummerierte" Zahle z.b. x 1,x 2,,x = Vektor x, Vektor x bildet sich aus de Elemete x 1,x 2,,x Regressio: ei erstes Beispiel Datematrix i X Y 1 x 1 y 1 2 x 2 y 2 ( x y ) Y stetig, quatitativ Als Reaktio auf X beobachtbar Abhägig vo X Kriterium Respose X stetig, quatitativ i.a. vorgegebe uabhägig Prädikator Eiflussgröße Beispiel 2.1. Hypothese: Dass die Zahl der Fehltage u.u. aus dem Ausmaß der Frustratio vorhergesagt werde ka! X berufliche Frustratio (uabhägig) Y Azahl der Fehltage (abhägig vo X) = 10

2 X Y ( 10 15) Erstellug eier Arbeitstabelle Voraussetzug! Stadardmodell: Eifache lieare Regressio vo X ud Y x i y i y i y (y i y )² 1 4-3,1 9, ,1 37, ,1 1, ,1 26, ,1 4, ,9 15, ,1 0, ,9 15, ,9 3, ,9 62,41 Σ= ,90 Beschreibug der zetrale Tedez! ei Merkmal (X) wird als gegebe oder beeiflussbar agesetzt, währed das adere Merkmal (Y ) als Reaktio auf X beobachtet wird!!!! eifachste Modell eies Zusammehags ist die lieare Gleichug (Regressiosfuktio): Y = f(x) Y = a+bx [idetisch mit: y i=α +β x i] a/α Kostate, gibt de Abschitt a, a dem die Gerade die Y-Achse scheidet b/β beschreibt de Astieg der Gerade Regressioskoeffiziete Modellvariable Y der Regressad, Respose oder Kriterium - erklärte, abhägige ud edogee Variable - beobachtbare metrische Zufallsvariable Messgröße Modellvariable X Regressor, Eiflussgröße oder Prädiktor - erklärede, uabhägige ud exogee Variable - gegebee determiistische Werte oder Realisierug eier metrische Zufallsvariable Y = a+bx + e e Fehlerglied, Residuum (auch ε) - ubeobachtbare Zufallsvariable, die uabhägig ud idetisch verteilt sid mit E (e i) = 0 ud Var(e i)= σ² Weil Y im Allgemeie eie Streuug aufweist, wird e mit eibezoge, da Y icht exakt auf der Gerade liege wird.

3 Aahme Homoskedastizität 1. Es wird ur eie exogee Variable X beötigt, um Y zu beschreibe. 2. Die lieare Fuktio f(x) steht fest d.h. die Parameter a,b sid kostat 3. A) Störeiflüsse e i sid Auspräguge vo e mit E(e)= 0 ud σ² u (hiermit σ² abgekürzt) Homoskedastizität gleiche Werte z.b. gleiche Variaze Heteroskedastizität ugleiche Werte (letzteres wäre lieare Regressio ugeeiget) B) Störvariable aus e i ud e j aus uterschiedliche Beobachtugsperiode habe keie Zusammehag (Korrelatio) C) e i ist ormalverteilt = e i ist uabhägig idetisch N(0;σ²)-verteilte Zufallsvariable 4. Uabhägige Variable X ist determiiert. (keie Zufallsvariable, feststehede Werte), trifft vor allem für geplate Experimete zu 5. X ist icht kostat für i=1,, (Ausschluss eies triviale Falls) 2.3. Prizip der kleiste Quadrate [KQ-Schätzug] Defiitio Rei aalytisches Verfahre, bestimmt die Koeffiziete (a,b,c) je ach Fuktiostyp (liear, quadratische ), Ziel ist es diskrete Messdate mit eier stetige Fuktio zu beschreibe ud für Aalyse verfügbar zu mache, die Abweichug soll klei sei Koeffiziete beschreibe z.b. die Form der Gerade b defiiert de Astieg, je größer desto steiler wird sie a defiiert de Start der Gerade a der y-achse Wie ma e errechet! y i vorhergesagter Wert y i gegebeer Wert x i festgelegter Wert e i = y i y i = y i a bx i e ergibt sich aus de Beobachtugspukt P(x i,y i) ud de für die Gerade agepasste Pukt P(x i, y i); x bleibt gleich, aber y verädert sich, deshalb subtrahiert ma beide Werte!

4 Je Größer Residue e ist, desto schlechter ist die Apassug der Regressiosgerade a die Puktewolke. Bestimme vo 2 Parameter a ud b! e i Optimierugsproblem: Fuktio S(a,b) soll miimal werde! i=1 mi e i 2 = mi (y i a bx i ) 2 a,b a,b i=1 Kleiste-Quadrate-Schätzuge vo a ud b, um die Lage der Gerade zu bestimme i=1 b = i=1 (x i x )(y i y ) i=1(x i x )² a = y b x = S xy S xx Schätzuge a ud b werde i die lieare Regressiosgerade eigesetzt: Ergebis: y = a + b x i Regressiosgerade erklärt die Beziehug zwische X ud Y, dabei stimme die beobachte Pukte ud die agepasste Pukte icht völlig über ei. KQ-Schätzug der Variaz der Störvariable Ausreißer Ka auch ahad der Beobachtugsdate geschätzt werde σ 2 = 1 2 e i 2 Bei Miimierug quadrierter Abstäde habe die Datepukte mit de größte Abstäde besoders hohe Eifluss auf die Lage der Regressiosgerade. Diese Ausreißer müsse gesodert geprüft ud belegt werde, ud we ötig aus de Datesatz etfert werde. (Streudiagramm) i= Güte der Apassug Zerlegug der Variaz der Y-Variable Formel Streuugszerlegug SQ Total = SQ Regressio + SQ Residual

5 SQ Total auch S yy, misst die totale Variabilität (Streuug) der y-messreihe bezoge auf y (gesamter Fehler) SQ Regressio misst die Abweichug zwische de Beobachtugspukte ud durch die Regressio agepasste (vorhergesagte) Pukte. (erklärter Fehler) SQ Residual misst de durch die Regressio erklärte Ateil a der Gesamtvariabilität (icht-erklärter Fehler) Die Formel besagt, dass sich SQ Total i zwei Kompoete zerlege lässt. Bestimmtheitsmaß R² Es gilt 0 R² 1. erklärt durch die Regressio die Streuug erklärt icht de vo der Regressio ethalte Streuug Je kleier SQ Residual ist, desto besser ist die mit der Regressio erzielte Vorhersage der abhägige Variable Y. Zwei Grezfälle 1. Falls alle Pukte auf der Regressiosgerade liege würde, da heißt es: y i = y i SQ Residual = 0 = perfekte Apassug! R 2 = SQ Regressio SQ Total = 1

6 Korrelatio ud Güte der Apassug Falls kei Pukt durch die Regressiosgerade beschriebe wird, da heißt es: y = y SQ Regressio = 0 SQ Residual = SQ Total = Nullapassug! - Verläuft parallel zur x-achse, sodass zu jedem x-wert derselbe y -Wert X hat überhaupt keie Eifluss auf Y, es existiert keie (lieare) Beziehug Je größer R², desto stärker ist eie lieare Beziehug zwische X ud Y ausgeprägt. Korrelatioskoeffiziet r Gibt Auskuft über die Stärke des lieare Zusammehags zwische X ud Y R 2 = r² (S yy =SQ Total) 2.6. Residualaalyse Defiitio Residue ei Zwei Möglichkeite Modelldiagose, statistische Mittel überprüfe, ob die Aahme des Modells erfüllt sid oder Abweichuge vorliege. Nebe formale Test, gibt es auch grafische Modelldiagose, die auf Residue basiere. Gibt häufig Auskuft darüber, ob die Aahme eies lieare Modells gerechtfertigt 1. Plottet ma e i gege die y i im (y, e )-Koordiatesystems. 2. Berechug sog. stadardisierte Residue Ud plottet die d i gege die y i im (y, d )-Koordiatesystems

7 Typische Verläufe Abb lieares Modell ist korrekt, keie geordete Puktewolke Abb deutet auf eie Tred hi ud dass eie Regressiosgerade icht geeiget ist, iedrige Werte = Überschätzug; höhere Werte =Uterschätzug Abb deutet auf ei ichtlieares Modell hi 2.7. Lieare Trasformatio der Origialdate Maßzahle werde durch die lieare Trasformatio icht verädert Allgemei X = u + vx lieare Fuktio, da gilt: Y = w + zy Im Allgemeie ist kei direkter Zusammehag bei diese Trasformatioe zwische Parameter a, we v² =vz, da v=z, so ist b gleich ud somit bleibt der Astieg uverädert. Traslatiosäquivariaz Zetrierugstrasformatio Auch Mittelwertzetrierug Spezialfall der Trasformatio: X = x + X Y = y + Y Für u = x, v = 1 ud für w = y, z = 1 eigesetzt. Mittelwert wird gleich 0 gesetzt, geht durch de Ursprug. Der Astieg b bleibt uverädert, a wird gleich 0. Die Regressiosgerade wird mit Hilfe eier Parallelverschiebug durch de Ursprug gelegt. Ziel - wird verwedet, we ma am Vergleich vo relative Etwickluge iteressiert ist. Z- Trasformatio - Weiterführug, Regressiosgerade geht durch de Ursprug(Mittelwert gleich 0) ud Variaz ist gleich 1 - Ursprügliche Maßeiheit wird durch ei Streuugseiheite ersetzt - Astieg b der Regressiosgerade etspricht der eifache Regressio dem Korrelatioskoeffiziete r

8 2.8. Multiple lieare Regressio Erweitert, dass ebe der Zielvariable Y mehrere erklärede Variable X betrachtet werde mit k Auspräguge Y i = β 0 + β 1 x β p x ip + ε i y bekater Vektor, Beobachtuge der abhägige Variable b/β beihaltet für jede y de Astieg e Residue X beihaltet determiistische Werte x p Berechug des Schätzers b Berechug des Schätzers b setzt ei lieares Gleichugssystem voraus! (Mit Matrize auseiadersetze) X traspoierte Matrix vo X (Spalte/Zeile wurde vertauscht) ( ) -1 Eiheitsmatrix (*) Iverse zu X y y Werte vo der Variable Y 2.9. Lieare Regressio mit kategoriale Regressore Kategoriale Regressor - Geschlecht: mälich, weiblich - Familiestad: ledig, verheiratet, geschiede, verwitwet - Parteipräferez - Beotug: sehr gut, gut, befriediged, ausreiched Diese Merkmalauspräguge sid keie reelle Zahle! Sie müsse umkodiert werde. Dummykodierug Umwadlug eies Merkmal X mit k mögliche Merkmalauspräguge i k-1 eue Regressore (hier auch Dummys)! Eie der Origialkategorie wird als Referezkategorie (j) ausgewählt., j = 0

9 - Parameter werde als durchschittliche Abweichug zur Referezkategorie (j) gesehe Effektkodierug Kodierug eies Merkmals X mit k mögliche Merkmalsauspräguge wird zu k-1 Dummys X. Auch hier wird eie Referezkategorie j ausgesucht. Beispiel - Parameter werde als Abweichug zum Gesamtmittelwert(N) verstade Korrelatio ud Kausalität Kausalität ur da - Kausale Reihug r XY Kausalität ur allefalls i eie Richtug - vo X auf Y ud icht umgekehrt zugrude liegt - Kausale Abgeschlosseheit Keie Beeiflussug eier Drittvariable Domiiere Beobachtugsstudie (häufig auch korrelative Studie):hier beschräkt ma sich darauf, dass der Forscher ohe Eigreife beobachtet iwieweit atürliche Variatio i X mit der i Y eihergeht Kausale Modellierug Statistische Methode zur kausale Modellierug, hier geht es auch isbesodere um die Frage, ob eie Variable eie direkte kausale Eifluss auf eie adere Variable hat, oder ob dieser kausale Eifluss über de Umweg über eie dritte Variable (Mediatorvariable) - Pfadaalyse (Kausalaalyse) - Strukturgleichugsmodelle