Was ist Regression? Übersicht. Statistik II

Transkript

1 Was ist? Statistik II Übersicht Parameterschätzung für die lineare Literatur Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Parameterschätzung für die lineare Statistik II (1/35)

2 Parameterschätzung für die lineare Literatur Literatur für heute Berk (2004, S , 39-56) und Fox (1997, S , 101, , ) (beides im ReaderPlus) Statistik II (2/35) Parameterschätzung für die lineare Literatur Literatur für nächste Woche Agresti ch. 10 Statistik II (3/35)

3 Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen male female Scores for factor Graphs by gender placement on left right scale Statistik II (4/35) Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen male female placement on left right scale Bewertung Immigranten Mittelwert Graphs by gender Statistik II (5/35)

4 Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen male female placement on left right scale Bewertung Immigranten Verbindung Mittelwerte Mittelwert Graphs by gender Statistik II (6/35) Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen male female placement on left right scale Bewertung Immigranten Fitted values Mittelwert Graphs by gender Statistik II (7/35)

5 Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Was ist? ist der Oberbegriff für Verfahren,... die die konditionale Verteilung einer Variablen y... in Abhängigkeit von einer oder mehreren anderen Variablen x 1, x 2... x k beschreiben Was ist eine konditionale Verteilung? Verteilung von y (Mittelwert, Streuung etc.)... innerhalb von Subgruppen, die durch x 1, x 2... x k definiert sind Statistik II (8/35) Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Was ist? Die konditionalen Mittelwerte können durch eine glatte Linie beschrieben werden Übergang zum Modell: Annahmen über die Eigenschaften der Linie kommen von außen Abhängige / unabhängige Variable kommen ebenfalls von außen Das Beispiel zeigt u. a. Mehrere unabhängige Variablen Kategoriale unabhängige Variablen Interaktion Probleme mit der Linearitätsannahme Statistik II (9/35)

6 Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen male female placement on left right scale Bewertung Immigranten Verbindung Mittelwerte Mittelwert Graphs by gender Statistik II (10/35) Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Wie sieht das Standardmodell aus? y =α + β 1 x 1 + β 2 x 2 + ɛ =β 0 x 0 + β 1 x 1 + β 2 x 2 + ɛ mit x 0 = 1 für alle Einheiten Statistik II (11/35)

7 Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Welche Symbole werden verwendet? oft wenig einheitlich Grundregeln: 1. y für abhängige Variable, x für unabhängige Variable 2. Variablen, Parameter und Untersuchungseinheiten kann man mit einem Index durchnumerieren: x 1, x 2... x k 3. Lateinische Buchstaben für Variablen und Parameter in der Stichprobe, 4. Griechische Buchstaben für die unbekannten Parameter der Grundgesamtheit 5. Variablen erkannt man am Kursivdruck 6. Für Vektoren verwendet man (griechische oder lateinische) Kleinbuchstaben in Fettdruck 7. Für Matrizen verwendet man (griechische oder lateinische) Großbuchstaben in Fettdruck 8. Ein Dach über einem Parameter (z. B. ˆβ) zeigt an, daß es Statistik II (12/35) sich um eine Schätzung handelt (wird oft weggelassen) Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Was ist eine Zufallsvariable? Zufallsvariablen Ergebnis von Zufallsexperimenten Zufallsvariablen im smodell Zufällige Einflüsse auf einen Fall Zufällige Variation der Schätzungen bei wiederholter Stichprobenziehung Zufallsexperimente Können theoretisch beliebig oft wiederholt werden Einzelergebnisse hängen vom Zufall ab, Verteilung der Ergebnisse ist aber bekannt Bei häufiger nähert sich die empirische Verteilung der theoretischen Verteilung an Ziehung einer Zufallsstichprobe ist ein Zufallsexperiment Deshalb sind Stichprobenkennwerte und Modellparameter ebenfalls Zufallsvariablen Statistik II (13/35)

8 Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Was ist eine Zufallsvariable? Im Einzelfall weiß man nicht, welchen Wert die Variable annimmt Aber: Ausprägungen von Zufallsvariablen sind nicht willkürlich, sondern höchst regelmäßig verteilt Die Form der Verteilung der Werte einer Zufallsvariablen ist in der Regel bekannt / wird angenommen Zufallsvariablen (und ihre Verteilungen) können diskret oder stetig sein Einfaches lineares smodell: stetige Zufallsvariablen wichtig Statistik II (14/35) Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Was ist der konzeptionelle Status eines smodells? To err is human, to forgive divine, but to include errors into your design is statistical (Leslie Kish) All models are wrong. Some are useful (George Box) smodell Hochgradig vereinfachte Nicht unbedingt realistische Mathematisch formalisierte Beschreibung der sozialen Wirklichkeit als Funktion von systematischen und zufälligen Einflüssen Statistik II (15/35)

9 Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Was will uns Kish sagen? Abhängige Variable kann niemals vollständig durch x 1, x 2... x k erklärt werden Zufällige/als zufällig betrachtete Einflüsse Bestandteil des Modells (im linearen Modell ɛ) Diese Art von Fehlern ist aus Sicht des Modells völlig unproblematisch Statistik II (16/35) Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Was will uns Box sagen? Modelle niemals eine vollständige Abbildung der Wirklichkeit, sondern immer extreme Vergröberung Z. B. Auswahl unabhängigen Variablen, Linearitätsannahme Ist das Modell dem Forschungsproblem angemessen? Instrumentalismus / Idealisierung (Friedman): Gute Prognosen, Problem: Stabilität der Randbedingungen? Realismus / Abstraktion: Realistische Beschreibung, Problem: Komplexität, Overfitting Statistik II (17/35)

10 Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Was ist der konzeptionelle Status eines smodells? To err is human, to forgive divine, but to include errors into your design is statistical (Leslie Kish) All models are wrong. Some are useful (George Box) smodell Hochgradig vereinfachte Nicht unbedingt realistische Mathematisch formalisierte Beschreibung der sozialen Wirklichkeit als Funktion von systematischen und zufälligen Einflüssen Statistik II (18/35) Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Was können wir mit den Parametern eines Modells anfangen? Beschreibung: Modell erfaßt wesentliche Aspekte einer konkreten Verteilung von Datenpunkten Keine weitergehenden Schlüsse, Mittel zur Verdichtung der Information Inferenz: Von den konkreten Daten soll auf etwas anderes geschlossen werden, aber auf was? (Fast völlig) unproblematisch im Fall einer Zufallsstichprobe aus einer großen Grundgesamtheit Klassische Inferenz, Standardfehler, Konfidenzintervalle, Signifikanztests Erfordert Annahmen über Zustandekommen der Daten klassische Inferenz Statistik II (19/35)

11 Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Was leistet die klassische Inferenz? Rückschlüsse auf die Verteilung der in der Stichprobe errechneten Schätzungen um die wahren Werte in der Grundgesamtheit wenn Stichprobenziehung unter essentiell identischen Bedingungen unendlich oft wiederholt wird Konfidenzintervall Ein Intervall, das nach dieser Regel konstruiert wird, wird in 95 von 100 Stichproben den wahren Wert des Parameters mit einschließen Habe ich eine der 95 glücklichen Stichproben gezogen? Nicht sehr intuitive, aber Statistikklare II Interpretation (20/35) Parameterschätzung für die lineare Was ist? : Standardmodell der linearen : Wahrscheinlichkeitsverteilungen Und wenn ich keine Zufallsstichprobe habe? Schulbezirke, OECD-Staaten, Studierende an einer bestimmten Universität Strategie I: Die Daten werden wie eine Grundgesamtheit behandelt dient nur zur Beschreibung Strategie II (mit Varianten): Annahmen über Natur, Superpopulation,... Standardfehler werden als ob berechnet Innerhalb des klassischen Ansatzes nicht ok Erfordert andere statistische Annahmen Extreme Vorsicht mit Standardfehlern bei Non-Samples Statistik II (21/35)

12 Parameterschätzung für die lineare Wie komme ich zu meinen Schätzungen? Wie lege ich die Gerade durch die Punkte (gute Beschreibung/gute Schätzung)? Standardmethode: Kleinste-Quadrate-Schätzung (Ordinary Least Squares, OLS) Abweichungsquadrate? Welche Koeffizienten minimieren die SAQ? Gute Beschreibung/Anpassung Und (in diesem Fall) auch gute Schätzung für Grundgesamtheit Statistik II (22/35) Parameterschätzung für die lineare Was sind die Abweichungen, die quadriert werden? y x Statistik II (23/35)

13 Parameterschätzung für die lineare Wie komme ich zu meinen Schätzungen? Für alle Datenpunkte i = 1, 2... n Differenz zwischen beobachtetem (y i ) und erwartetem Wert (ŷ i ) bestimmen, quadrieren und aufsummieren SAQ = = n (y i (b 0 + b 1 x 1i )) 2 (1) i=1 n (y i b 0 b 1 x 1i ) 2 (2) i=1 Die SAQ in (1) sind eine Funktion der Daten und der Parameterschätzungen Gesucht sind Parameterschätzungen, die SAQ minimieren Statistik II (24/35) Parameterschätzung für die lineare Wie minimiere ich die SAQ? Möglichkeit I: Durch systematisches Variieren der Parameter Entspricht in etwa den iterativen Verfahren Möglichkeit II: Es existiert eine analytische Lösung Funktion hat globales Minimum Notwendige Bedingung für einen Extremwert: 1. Ableitung gleich 0 (Tangente ist an dieser Stelle flach) Funktion hat zwei Variablen zwei partielle Ableitungen (nach b 0 und b 1 ) betrachten Normalgleichungen Statistik II (25/35)

14 Parameterschätzung für die lineare Wie sehen die Normalgleichungen aus? b 0 n + b 1 x1i + b 2 x2i + b k xki = y i (3) b 0 x1i + b 1 x 2 1i + b 2 x1i x 2i + b k x1i x ki = x 1i y i (4) b 0 xki + b 1 xki x 1i + b 2 xki x 2i + b k x 2 ki = x ki y i (5). Nur zur Illustration, muß nicht auswendig gelernt werden Statistik II (26/35) Parameterschätzung für die lineare Geht das auch etwas übersichtlicher? Schon bei zwei Variablen sehr unübersichtlich Für den multivariaten Fall Darstellung und Berechnung vorzugsweise in Matrix-Schreibweise Matrix: tabellenförmige Darstellung von Zahlen (Elementen der Matrix) A ist eine m n Matrix (m Zeilen, n Spalten): a 11 a 12 a 1n a 21 a 22 a 2n A =..... (6). a m1 a m2... a mn Matrix mit einer Spalte: Spaltenvektor; Matrix mit einer Zeile: Zeilenvektor weiter Statistik II (27/35)

15 Parameterschätzung für die lineare Wie kann man mit Matrizen rechnen? Der Stoff auf den nächsten Folien dient Ihrem Verständnis, ist aber nicht klausurrelevant Matrizen werden elementweise addiert (Rechenbeispiele aus Wikipedia) Setzt gleiche Zahl von Spalten Zeilen voraus ( ) ( ) ( ) = = ( 1 3 ) Statistik II (28/35) Parameterschätzung für die lineare Wie kann man mit Matrizen rechnen? Die Multiplikation mit einem Skalar ist einfach: 2 ( ) = ( ) = ( 2 6 ) Statistik II (29/35)

16 Parameterschätzung für die lineare Wie kann man mit Matrizen rechnen? Die Multiplikation von Matrizen ist spannender Nur möglich, wenn die Spaltenzahl der linken mit der Zeilenzahl der rechten Matrix übereinstimmt A B B A (normalerweise) ( ) = ( ) ( 1) ( 3) = ( 1) ( 3) ( ) Statistik II (30/35) Parameterschätzung für die lineare Was kann man sonst noch machen? Transponieren, d. h. Zeilen und Spalten vertauschen ( ) = Die Inverse suchen (entspricht etwa dem Kehrwert): A A 1 = I I ist die Einheitsmatrix Quadratische Matrix mit Einsen auf der Hauptdiagonale, sonst nur Nullen Inverse ermöglicht es, durch Matrix zu teilen; nicht alle Matrizen sind invertierbar Statistik II (31/35)

17 Parameterschätzung für die lineare Was hilft uns das? Das lineare Modell kann in Matrix-Schreibweise sehr kompakt formuliert werden y = Xβ + ɛ mit y : X : β : ɛ : Spaltenvektor mit Werten der abhängigen Variablen Matrix mit Werten der unabhängigen Variablen Spaltenvektor mit Koeffizienten Spaltenvektor mit zufälligen Einflüssen dabei ist y = y 1.. y n X = 1 x 11 x 1k x n1 x nk β = β 0 β 1.. β k ɛ = ɛ 1.. ɛ n (7) Statistik II (32/35) Parameterschätzung für die lineare Was hilft uns das? OLS-Schätzung: y = Xb + e (e ist der Spaltenvektor der Residuen, b ist der Spaltenvektor der Koeffizienten, X ist die Datenmatrix) Die Summe der quadrierten Residuen ist e e (warum? siehe Matrix-Multiplikation drei Folien vorher) SAQ = e e = (y Xb) (y Xb) (8) = y y y Xb b X y + b X Xb (9) = y y (2y X)b + b (X X)b (10) Muß nicht auswendig gelernt werden, aber Sie sollten es in groben Zügen verstehen Statistik II (33/35)

18 Parameterschätzung für die lineare Was hilft uns das? Die partielle Ableitung der SAQ nach b ist = 2X y + 2X Xb SAQ b Auf null setzen: 2X y + 2X Xb = 0 Vektorform der Normalgleichungen: X Xb = X y Nach b auflösen: b = (X X) 1 X y Muß nicht auswendig gelernt werden, aber Sie sollten es in groben Zügen verstehen Statistik II (34/35) Parameterschätzung für die lineare betrachtet konditionalen Mittelwert einer Variablen Mittelwert folgt in Abhängigkeit von unabhängigen Variablen einem Pfad Im klassischen Modell entspricht dieser Pfad einer Linie/Fläche/Hyperfläche, die die SAQ minimiert Das Gleichungssystem läßt sich analytisch lösen, um die optimalen Parameter zu finden Matrix muß genug unabhängige Informationen enthalten OLS gutes Mittel zur Datenverdichtung auch ein gutes Schätzverfahren? Statistik II (35/35)