Heinz Holling & Günther Gediga. Statistik - Deskriptive Verfahren. Internetsupplement

Transkript

1 Heinz Holling & Günther Gediga Statistik - Deskriptive Verfahren Internetsupplement Version

2 Inhaltsverzeichnis 1 Kap 4.1.2, S. 46: Lineare vs. Affine Funktionen 5 2 Kap 6.1, S. 91: Das Summenzeichen 6 3 Kap 6.1, S. 91: Optimalitätseigenschaft des arithmetischen Mittelwerts 7 4 Kap 6.1, S. 92: Äquivarianz des arithmetischen Mittelwerts 8 5 Kap 6.1, S. 93: Weitere Maße der zentralen Tendenz 9 6 Kap 6.1.2, S. 97: Optimalitätseigenschaft des Medians 10 7 Kap 6.3.3, S. 105: Verschiebungssatz 11 8 Kap 6.3.3, S. 113: Rechentechnisch günstige Formel für die Varianz 12 9 Kap 6.3.3, S. 113: Zusammenhang zwischen durchschnittlichen quadratischen Abweichungen und der Varianz Kap 6.3.3, S. 114: Variation vs. Varianz Kap 6.3.3, S. 115: Auswirkungen positiver affiner Transformationen auf Varianz und Standardabweichung Kap 7.1.1, S. 132: Mittelwert und Varianz z-standardisierter Variablen Kap 8.4.1, S. 165: Rechentechnisch günstige Formel für die Kovarianz Kap 8.4.2, S. 166: Nullkorrelation bei Unabhängigkeit Kap 8.4.1, S. 167: Maximale Kovarianz Kap 8.4.2, S. 170: Nullkorrelation bei linearer Unabhängigkeit Kap 8.5, S. 175: Weitere ordinale Zusammenhangsmaße Kap 8.5.1, S. 176: Berechnung der Spearman-Rangkorrelation ohne Rangbindungen in den Variablen Kap 8.4.2, S. 180: Ties und monotone Relationen Kap 8.6, S. 192: Maximum von Cramers V Kap 8.6.1, S. 196: Eigenschaften von λ Kap 8.6.3, S. 200: Phi-Koeffizient und Produkt-Moment-Korrelation Kap 8.7, S. 205/212: Weitere Zusammenhangsmaße Kap 8.7.1, S. 208: Additivität der Abweichungsquadratsummen Kap 9.2, S. 230: Bestimmung der Regressionsgeraden durch Minimierung der Abweichungsquadrate 35 2

3 26 Kap 9.5, S. 237: Zerlegung der Variation in der linearen Regression. Fall 1: Abweichungen um den Mittelwert des Kriteriums Kap 9.5, S. 239: Zerlegung der Variation in der linearen Regression. Fall 2: Abweichungen um den Nullpunkt des Kriteriums Kap 9.5, S. 239: Notwendigkeit ratioskalierter Kriterien im Fall der Streuungszerlegung um den Nullpunkt Kap 9.6, S. 240: R r Y Ŷ r XY Kap 9.6, S. 242: Berechnung des Standardschätzfehlers SEE Kap 9.7, S. 244: Der 60 %-Bereich um die Regressionsgerade Kap 9.8, S. 245: Mittelwerte, Varianzen und Interkorrelation von X, Y, Ŷ und e Kap 9.9.4, S. 254: Ausreißer müssen nicht einflussreich sein Kap 9.9.4, S. 254/255: Ausreißer, einflussreiche Beobachtungen und Hebelpunkte Buch 1, Kap , S. 270: Matrixalgebra und die Berechnung der Regressionskoeffizienten Matrix, Vektor und Skalar Gleichheit von Matrizen Transponierung von Matrizen Spezielle Matrizen Symmetrische Matrizen Diagonale Matrizen Identitätsmatrix und Einheitsvektor Addition von Matrizen und Vektoren Multiplikation Skalarmultiplikation Multiplikation von Matrizen Lineare Unabhängigkeit und Rang Inverse Anwendung in der linearen Regression Deskriptive Statistiken Bestimmung der Regressionskoeffizienten im linearen Modell Kap , S. 275: Regressionskoeffizienten bei unkorrelierten Prädiktoren Kap , S. 291: Berechnung der Regressionskoeffizienten bei korrelierten Prädiktoren Kap , S. 296: Negative Korrelation und das Simpson-Paradox Kap , S. 297: Berechnung der Semipartial- und Partialkorrelation im linearen Modell mit zwei Prädiktoren Kap , S. 300: Abhängigkeit der standardisierten Regressionsgewichte von der Interkorrelation der Prädiktoren 64 3

4 41 Kap , S. 301: Unterschiedliche Stabilität von unstandardisierten und standardisierten Regressionskoeffizienten Kap , S. 308/309: Zusammenhang der Gruppenmittelwerte mit den Regressionskoeffizienten bei der Effektkodierung Kap 10.7, S. 314: Das lineare Modell und nicht lineare Zusammenhänge Kap 10.8, S. 315: Interaktion durch Multiplikation Kap , S. 321: Lineares Modell mit einem binären Faktor und einem metrischen Prädiktor ohne Interaktion Kap , S. 323: Datensätze für ein lineares Modell mit zwei metrischen Prädiktoren ohne und mit Interaktion Kap , S. 325: Beispiel für ein lineares Modell mit dreifacher Interaktion 73 4

5 1 Kap 4.1.2, S. 46: Lineare vs. Affine Funktionen In der Schule lernt man häufig, dass der Graph einer linearen Funktion eine Gerade darstellt. Demgemäß ist eine Funktion der Form f(x) bx + c eine lineare Funktion. Diese Funktion ist aber mathematisch streng genommen eine affine Funktion. Lineare Funktionen zeichnen sich durch die beiden folgenden Eigenschaften aus: f(x + y) f(x) + f(y) f(bx) bf(x) Eine Funktion der Form g(x) bx + c erfüllt diese Eigenschaften nicht, was man z. B. sehr schnell an der Funktion g(x) 2x + 3 nachweisen kann. 5

6 2 Kap 6.1, S. 91: Das Summenzeichen Das Summenzeichen dient als Symbol für die Bildung von Summen. Anhand des Summenzeichens wird die Summe geschrieben als 6 i Der Index unter dem Summenzeichen gibt den Startwert der Summanden an (im Beispiel 1). Der Index oberhalb des Summenzeichens gibt den Endwert der Summanden an (im Beispiel 6). Das i ist die Laufvariable, die mit dem Startwert beginnt und bis zum Endwert jeweils um +1 erhöht wird. Besonders praktisch ist das Summenzeichen, wenn der Endwert nur symbolisch bekannt ist, wie bei der Anzahl von Beobachtungen, die wir mit n abkürzen. So kann die Summe aller Beoachtungen der gemessenen Variable Y entweder durch y 1 + y y n bezeichnet werden oder auch einfach durch Entsprechend ist der Mittelwert y durch y i y 1 n y i gegeben. Es gibt einige wichtige Summen, die man als Funktion des Endwerts n angeben kann. So gilt n(n + 1) i n 2 oder i n 2 Wichtige Regeln für die Bildung von Summen sind: j1 n(n + 1)(2n + 1). 6 a } a + a + {{... + a } n a n Summanden by i by 1 + by by n b (x i + y i ) x i + ( m ) x i y j x 1 y 1 +x 2 y x 1 y m +x 2 y x 2 y m +...+x n y x n y m x i y i y i m j1 y j 6

7 3 Kap 6.1, S. 91: Optimalitätseigenschaft des arithmetischen Mittelwerts Behauptung (y i y) 2 (y i c) 2 für jede Konstante c Herleitung Wir zeigen, dass die rechte Seite der Ungleichung nicht kleiner als die linke Seite sein kann und Gleichheit dann erreicht wird, wenn c y gilt. Dazu betrachten wir die rechte Seite als Funktion von c, y 1,...y n : f (c, y 1,...y n ) (y i c) 2 ( y 2 i 2y i c + c 2) und ermitteln das Minimum für c. Dazu leiten wir f nach c ab und setzen die Ableitung gleich 0: Dann folgt: δf δc 2nc 2 ( 2y i + 2c) 0 y i 2ny bzw. c y Das Minimum für c entspricht dem arithmetischen Mittel und nur dann weisen beide Seiten der obigen Ungleichung einen identischen Wert auf. Um zu zeigen, dass c ein Minimum ist, muss die zweite Ableitung positiv sein, was im vorliegenden Fall auch zutrifft: δ 2 f δc 2 2n > 0 7

8 4 Kap 6.1, S. 92: Äquivarianz des arithmetischen Mittelwerts Behauptung Der Mittelwert von Y a + by ist a + by. Herleitung y 1 (a + by i ) n ( ) 1 na + b y i n 1 (na + bny) n a + by 8

9 5 Kap 6.1, S. 93: Weitere Maße der zentralen Tendenz Weitere Maße der zentralen Tendenz neben dem Modalwert, Median und arithmetischen Mittel: Name Kürzel Definition Geometrisches Mittel y geom y geom n y 1 y 2... y n Harmonisches Mittel y harm y harm n 1/y 1 +1/y /y n Monomisches Mittel für p > 1 y p mono y p mono p y p 1 yp yp n Quadratisches Mittel y 2 mono y 2 mono y 2 1 y y2 n Kubisches Mittel y 3 mono y 3 mono 3 y 3 1 y y3 n Das quadratische und kubische Mittel sind Spezialfälle des monomischen Mittels mit p 2 (quadratisch) bzw. p 3 (kubisch). Bei allen Definitionen ist die Grundidee die, dass die gemessene Variable Y nicht intervallskaliert ist, sondern eine nicht-lineare Transformation der Variablen intervallskaliert ist. Beim geometrischen Mittel ist der Logarithmus ln(y ) die Variable, die interpretierbare Differenzen aufweist. Beim harmonischen Mittel ist 1 Y die Variable, die interpretierbare Differenzen aufweist. Beim monomischen Mittel ist letztlich Y p die Variable, die interpretierbare Differenzen aufweist. Die jeweiligen Mittelwerte werden dann als arithmetische Mittelwerte der transformierten Variablen f(y ) berechnet und danach wird das berechnete arithmetische Mittel mittels der Umkehrtransformation f 1 nach Y zurücktransformiert. Damit gilt: Name Transformation Umkehrtransformation ( ) Geometrisches Mittel ln(y ) exp ln(y ) Harmonisches Mittel 1/Y 1 1/Y Monomisches Mittel für p > 1 Y p p Y p 9

10 6 Kap 6.1.2, S. 97: Optimalitätseigenschaft des Medians Behauptung y i y med y i c für jede Konstante c Herleitung Um diese Eigenschaft des Medians zu beweisen, sind mehrere Fälle zu betrachten. Dazu berücksichtigen wir die folgende Beziehung: Gilt die Behauptung für Y und einen festen Wert c, dann gilt die Behauptung für c und Y und den Median y med ebenfalls, da y med der Median von Y ist und y i ( c) y i c unverändert bleibt. Für die Herleitung nutzen wir die nach der Größe geordneten Werte y (i). Fall 1: c y med Wir setzen m n 1 2 für ungerades n und m n 2 für gerades n. Es gilt somit 2m n. Aus der Definition des Medians lässt sich dann ableiten, dass für alle i 1,..., m y (i) y med und y (i) y med für i > m gilt. Für c y med gibt es einen maximalen Index j m mit y (j) c. Für alle i > j soll dann y (i) c gelten. Wir betrachten nun die Differenz der Summe der Absolutbeträge y (i) c y (i) y med j (c y (i) ) + j (c y med ) + (y (i) c) ij+1 m (y med y (i) ) m (y (i) c (y med y (i) ) + ij+1 (n m j)(y med c) + (n m j)(y med c) + (n m j)(y med c) + m (2y (i) c y med ) ij+1 m (2c c y med ) ij+1 m (c y med ) ij+1 (n m j)(y med c) + (m j)(c y med ) (n 2m)(y med c) im+1 im+1 (y (i) y med ) ( c + y med ) Oben wurde festgestellt, dass (n 2m) 0 gilt. Nach Voraussetzung ist y med c 0. Damit gilt y (i) c y (i) y med 0 Fall 2: c y med Da c in Y nicht optimal sein kann (Fall 1), kann diese Behauptung auch hier nicht gelten. 10

11 7 Kap 6.3.3, S. 105: Verschiebungssatz Behauptung Herleitung (y i c) 2 SS Y + n(y c) 2 (y i c) 2 (y i y + y c) 2 (y i y) SS Y + 2(y c) (y i y)(y c) + (y c) 2 (y i y) + n(y c) 2 SS Y + 2(y c) 0 + n(y c) 2 SS Y + n(y c) 2 11

12 8 Kap 6.3.3, S. 113: Rechentechnisch günstige Formel für die Varianz Behauptung s 2 1 n 1 ( ) (y i y) 2 1 yi 2 ny 2 n 1 Herleitung Nach dem Verschiebungssatz gilt für c 0: (y i 0) 2 SS Y + n(y 0) 2 yi 2 SS Y + ny 2 und damit: SS Y s 2 Y 1 n 1 SS Y yi 2 ny 2 1 n 1 ( ) yi 2 ny 2 12

13 9 Kap 6.3.3, S. 113: Zusammenhang zwischen durchschnittlichen quadratischen Abweichungen und der Varianz Behauptung Herleitung n 1 n ji+1 (y i y j ) 2 n(n 1)/2 2 n (y i ȳ) 2 n 1 2s 2 Y Die durchschnittliche quadrierte Abweichung kann als Mittelwert aller quadratischen Abweichungen zwischen zwei unterschiedlichen Werten berechnet werden: n 1 n ji+1 (y i y j ) 2 n(n 1)/2 Da die quadrierten Differenzen (y i y j ) 2 (y j y i ) 2 identisch sind und (y i y i ) 2 0 gilt, können wir die durchschnittliche quadrierte Abweichung auch durch n n j1 (y i y j ) 2 n(n 1) berechnen. Wir formen nun den Term n n j1 (y i y j ) 2 weiter um: j1 (y i y j ) 2 n n j1 j1 j1 j1 j1 (y i y j ȳ + ȳ) 2 ((y i ȳ) (y j ȳ)) 2 (y i ȳ) 2 2(y i ȳ)(y j ȳ) + (y j ȳ) 2 (y i ȳ) 2 2(y i ȳ)(y j ȳ) + (y j ȳ) 2 (y i ȳ) 2 2 (y i ȳ) 2 2 (y i ȳ) 2 2 2nSS Y nSS Y j1 (y i ȳ) (y i ȳ) (y i ȳ)(y j ȳ) + (y j ȳ) + n j1 (y j ȳ) + n j1 j1 (y j + ȳ) 2 (y j ȳ) 2 j1 (y j ȳ) 2 j1 13

14 Damit gilt: n 1 n ji+1 (y i y j ) 2 n(n 1)/2 n n j1 (y i y j ) 2 2nSS Y n(n 1) 2 SS Y n 1 2s 2 Y n(n 1) 14

15 10 Kap 6.3.3, S. 114: Variation vs. Varianz Für die vorliegende Argumentation müssen wir schon später einzuführende inferenzstatistische Erkenntnisse verwenden. Die Variation, d. h. die Summe der Abweichungsquadrate vom Mittelwert einer Variablen, unterscheidet sich von der Varianz dahingehend, dass sie nicht normiert ist. Die empirische Varianz ist ein selten verwendetes Maß, in der Regel wird die Stichprobenvarianz, hier auch generell als Varianz bezeichnet, berechnet. Die (Stichproben-) Varianz ist so normiert, dass die Varianz in der Population optimal geschätzt wird. Wir haben gesehen, dass sich die Variation in einen erklärten und nicht erklärten Anteil zergliedern lässt. Unterteilt man die Varianz analog in einen erklärten und einen nicht erklärten Varianzanteil, entstehen gravierende Probleme. Bei der Variation ist diese Problematik nicht gegeben, da hier keine inferenzstatistischen Implikationen vorliegen. Bei der Verwendung der Varianz, die explizit als Schätzung der Populationsvarianz dient, ist die auf Stichprobenebene berechnete erklärte Varianz keine Schätzung der Varianz auf Populationsebene. Weiterhin existiert im Rahmen vieler Modelle, so z. B. in der einfachen Regression sowie im linearen Modell, die in den beiden letzten Kapiteln des Lehrbuchs vorgestellt werden, überhaupt keine erklärte Varianz. Auf Populationsebene setzt die Berechnung der Varianz voraus, dass Werte einer Variablen zufällig entstehen. Das ist aber bei der unabhängigen Variablen und als Konsequenz daraus auch bei den erklärten Werten nicht der Fall, da die unabhängigen Variablen in der einfachen Regression und im linearen Modell Werte darstellen, die fest vorgegeben werden. Aus den oben genannten Gründen sprechen wir in der einfachen Regression und im linearen Modell von Variationsaufklärung, da nur Variationen (und nicht Varianzen) verglichen und verrechnet werden. So ist etwa die nicht aufgeklärte Variation ein Verhältnis von Variation des Residuums und der Gesamtvariablen. 15

16 11 Kap 6.3.3, S. 115: Auswirkungen positiver affiner Transformationen auf Varianz und Standardabweichung Behauptung Transformieren wir die Variable Y anhand einer positiven affinen Transformation Y a+by (b > 0), so gilt: SS Y ((a + by i ) (a + bȳ)) 2 (by i bȳ) 2 b 2 (y i ȳ) 2 b 2 SS Y Herleitung Da die Varianz sich nur um eine Normierungskonstante von SS Y die Varianz: unterscheidet, gilt somit auch für s 2 Y b2 s 2 Y Da die Standardabweichung die (positive) Wurzel aus der Varianz ist, gilt: s Y b s Y Die abgeleiteten Beziehungen gelten im Übrigen ganz allgemein für lineare Transformationen der Form Y a + by : Ist b 0, gilt SS Y s 2 Y s Y 0. Ist b < 0, gelten die Beziehungen wie oben beschrieben. Bei der Berechnung der Standardabweichung ist die Betragsfunktion zu beachten. 16

17 12 Kap 7.1.1, S. 132: Mittelwert und Varianz z-standardisierter Variablen Behauptung Der Mittelwert z-standardisierter Variablen 0 Herleitung Die z-standardisierung ist eine positiv affine Transformation und aufgrund der Äquivarianz des Mittelwertes gilt: Wird der Mittelwert der ursprünglichen Variablen Y z-standardisiert, resultiert für die z-standardisierte Variable z Y der Mittelwert, d. h. es gilt: z y z Y. Diese Behauptung lässt sich auch folgendermaßen zeigen: Setzen wir in die z-transformation für y i den Wert y, folgt: und damit: z i y i s Y z y ȳ s Y ȳ s Y ȳ s Y 0 z Y Behauptung Die Varianz z-standardisierter Variablen 1 Herleitung Dieser Zusammenhang lässt sich folgendermaßen zeigen: s 2 z Y 1 n 1 1 n 1 1 n 1 1 n 1 (z i z) 2 (z i 0) 2 (z i ) 2 ( yi y s Y 1 (y i y) 2 n 1 s 2 Y n (y i y) 2 1 n 1 s 2 Y ) 2 s2 Y s 2 Y 1 17

18 13 Kap 8.4.1, S. 165: Rechentechnisch günstige Formel für die Kovarianz Behauptung s XY 1 n 1 Herleitung Wir kürzen den Faktor 1 n 1 ( ) (x i x) (y i y) 1 x i y i nxy n 1 aus der Gleichung und zeigen: (x i x) (y i y) (x i y i xy i x i y + xy) x i y i xy i x i y + x i y i x y i y x i y i xny ynx + nxy x i y i nxy xy x i + nxy 18

19 14 Kap 8.4.2, S. 166: Nullkorrelation bei Unabhängigkeit Behauptung Sind zwei Variablen unabhängig, gilt r XY 0 Herleitung Sind zwei Variablen unabhängig, dann gilt für die Häufigkeit n ij des gemeinsamen Auftretens von Beobachtungen x i und y j die Formel n ij n i. n.j /n Wir berechnen nun den Zähler der Kovarianz von X und Y (anhand der rechentechnisch günstigen Formel): (n 1)s XY n r n c n ij x i y j n xȳ j1 n r n c j1 n r n i. n.j n x iy j n xȳ 1 n c n i. x i n.j y j n xȳ n j1 1 (n x)(nȳ) n xȳ n n xȳ n xȳ 0 Damit ist auch s XY Null und somit gilt auch r XY 0. 19

20 15 Kap 8.4.1, S. 167: Maximale Kovarianz Behauptung s X,Y s X s Y Herleitung Es kommt die Cauchy-Schwarz-Ungleichung zur Anwendung, die hier kurz bewiesen werden soll. Es gilt immer: (a b) 2 0 und damit a 2 + b 2 2ab Weiter gilt: (a + b) 2 0 und damit a 2 + b 2 2ab Zusammengefasst folgt also: a 2 + b 2 2 ab Für beliebige Zahlen a i und b i (i 1,..., n) gilt somit: a 2 i + b 2 i 2 a i b i (1) 2 a i b i (2) Nun normieren wir die Werte so, dass die Summen auf der linken Seite der Ungleichung (2) jeweils 1 ergeben. Hierfür nutzen wir die Werte a i a i n a2 i b i b i n b2 i Wir erhalten damit gilt 2 a 2 i n a2 i + 2 n b 2 i n b2 i a 2 i 2 a i b i n a2 i n b 2 i 2 a i b i Kürzen durch 2 und Umstellung ergibt die Cauchy-Schwarz-Ungleichung: a i b i n a 2 i n b2 i Für unsere Fragestellung setzen wir zunächst a i x i x und b i y i y ein: n b 2 i (3) (x i x)(y i y) Teilen durch 1 n 1 ergibt die Behauptung: 1 (x i x)(y i y) n 1 n (x i x) 2 n (y i y) 2 1 (x i x) n (y i y) n 1 2 s X,Y s X s Y 20

21 16 Kap 8.4.2, S. 170: Nullkorrelation bei linearer Unabhängigkeit Behauptung Bei linearer Unabhängigkeit von Ŷ und Y gilt R 2 0 Herleitung Wir sprechen von linearer Unabhängigkeit zwischen Ŷ und Y, wenn Ŷ b 0 + b 1 X Ŷ gilt. Daraus folgt aber: R 2 0. Da R 2 r 2 gilt, gilt notwendigerweise auch r 0. 21

22 17 Kap 8.5, S. 175: Weitere ordinale Zusammenhangsmaße Im Lehrbuch wurde bereits eine Reihe ordinaler Zusammenhangsmaße dargestellt. Mit den eingeführten Termen C (für die Anzahl konkordanter Paare), D (für die Anzahl diskordanter Paare), T X (für die Anzahl von Paaren mit Ties in X), T Y (für die Anzahl von Paaren mit Ties in Y ) und T XY (für die Anzahl von Paaren mit Ties in X und Y ) und m min(r, c) (Minimum der Anzahl der Ausprägungen von X und Y ) sind die bereits behandelten Korrelationsmaße wie folgt definiert: γ C D C + D C D τ b (C + D + TX )(C + D + T Y ) τ c 2(C D) n 2 (m 1)/m In Analogie zu den λ-maßen in Kontingenztafeln sind die sogenannten Somers-d-Maße entwickelt worden. Auch hier existieren zwei asymmetrische Koeffizienten und ein symmetrischer Koeffizient als gemittelter Wert. Die Maße d Y X und d XY sind wie folgt definiert: d Y X d XY C D C + D + T Y C D C + D + T X Das Maß d Y X soll die Güte der Vorhersage von Y durch den Prädiktor X erfassen. Hier spielen die Ties in X keine Rolle, da diese für die Vorhersage nicht genutzt werden können. Sind x i und x j unterschiedlich, so müssen sie abgebildet werden. Die Anzahl konkordanter Unterschiede entspricht C und die Anzahl diskordanter Unterschiede D. Die Ties in Y mit unterschiedlichen Werten für X bilden Vorhersagefehler. Die Anzahl dieser Paare T Y taucht deshalb im Nenner von d Y X auf. Vertauscht man die Rollen von X und Y, resultiert das Maß d XY. Für die symmetrische Variante von Somers d gibt es zwei Vorschläge. Der erste Vorschlag sieht vor, die Vorhersagefehler gleich zu gewichten: d s C D C + D + 0.5(T X + T Y ) Das geometrische Mittel der Nenner von d Y X und d XY ergibt τ b : τ b C D (C + D + TX )(C + D + T Y ) Kendalls τ b kann somit auch als ein Mittelwert von zwei Vorhersagemaßen interpretiert werden. 22

23 18 Kap 8.5.1, S. 176: Berechnung der Spearman-Rangkorrelation ohne Rangbindungen in den Variablen Behauptung Liegen in X und Y keine Rangbindungen vor, so gilt: r s (rg (x i ) rg (x)) (rg (y i ) rg (y)) 6 n 1 d2 i (rg (x i ) rg (x)) 2 n (n 2 1) n (rg (y i ) rg (y)) 2 wobei d i rg (x i ) rg (y i ) Herleitung Für den Fall, dass keine Rangbindungen vorliegen, werden sowohl für X als auch für Y die Zahlen von 1,..., n als Ränge vergeben. Damit beträgt der mittlere Rang für X und Y jeweils: rg(x) rg(y) n Auch die Varianzen von X und Y sind identisch, da in beiden Fällen die Varianz der Werte 1,..., n zu berechnen ist. ( ) s 2 X s 2 Y 1 i 2 n n + 1 n 1 2 Für n i2 gilt: Damit folgt: s 2 X s 2 Y i 2 n(n + 1)(2n + 1) 6 ( ( ) ) 1 n i 2 n n 1 2 ( ) 1 n(n + 1)(2n + 1) n(n + 1)2 n n(n2 1) 12(n 1) Mit den bisherigen Ableitungen kann die Formel für r s wie folgt vereinfacht werden: n r s rg(x i)rg(y i ) n (n+1)2 4 n(n 2 1) n rg(x i)rg(y i ) 3n(n + 1) 2 n(n 2 1) 23

24 Nun gilt es, den Zähler zu vereinfachen. Wir betrachten dazu die Differenzen der Ränge d i rg(x i ) rg(y i ). Es gilt: 6 2n(n + 1)(2n + 1) 6 d 2 i rg(x i ) 2 2 rg(x i )rg(y i ) + n(n + 1)(2n + 1) 3 2 rg(y i ) 2 rg(x i )rg(y i ) d 2 i 2n(n + 1)(2n + 1) + 12 d 2 i 12 rg(x i )rg(y i ) Wir ersetzen nun 12 n rg(x i)rg(y i ) und erhalten Aufgrund von: rg(x i )rg(y i ) r s 2n(n + 1)(2n + 1) 6 n d2 i 3n(n + 1)2 n(n 2 1) 2n(n + 1)(2n + 1) 3n(n + 1) 2 n(n + 1)(2(2n + 1) 3(n + 1)) n(n + 1)(n 1) n(n 2 1) folgt das gewünschte Ergebnis: r s n(n2 1) 6 n d2 i n(n 2 1) n d2 i 1 6 n(n 2 1) 24

25 19 Kap 8.4.2, S. 180: Ties und monotone Relationen Fordert man bei der ordinalen Vorhersage der Variable Y durch den Prädiktor X eine streng monotone Relation, dann ist diese Bedingung durch die Konkordanz erfüllt, d. h. aus x i < x j folgt y i < y j bzw. aus x i > x j folgt y i > y j. (Ebenso ist diese Bedingung analog bei Diskordanz gegeben.) Fordert man lediglich eine monotone Beziehung, sind auch Ties - hier bei der Vorhersage von Y durch X die Ties T Y - erlaubt, d. h. aus x i < x j folgt y i y j bzw. aus x i > x j folgt y i y j. Streng monotone Relationen lassen genauere Vorhersagen zu, darum werden die Ties T Y bzw. T X bei einigen Maßen nicht berücksichtigt. 25

26 20 Kap 8.6, S. 192: Maximum von Cramers V Behauptung Das Maximum von Cramers V ist 1 Herleitung Zu zeigen ist, dass der maximale Wert, den die χ 2 -Statistik in einer r c Kontingenztabelle annehmen kann, n min(r 1, c 1) beträgt. Zunächst zeigen wir, dass es spezielle Kontingenztabellen gibt, für die die χ 2 -Statistik genau diesen Wert annimmt. Wir nehmen an, dass r c ist, ansonsten sind die Zeilen und Spalten zu vertauschen. Wir konstruieren nun die folgende Tabelle: n n 1m n n n 2m n n i 1... n imi n i n r1... n rmi 0 n r n n 1m1 n n 2m2... n i1... n imi... n r1... n rmi n Der χ 2 -Wert lässt sich nun wie folgt berechnen: 26

27 χ 2 n n r m i (n ij n i n ij /n) 2 + n i n ij /n j1 m i r (n ij n i n ij /n) n i n ij /n n j1 m i r (n ij n i n ij /n) n i n ij /n n j1 m i r (n ij n i n ij /n) n i n ij /n n j1 m i r (n ij n i n ij /n) 2 + n i n ij /n j1 m i r r m i n i n kj /n k1,k i j1 r r m i m i n kj k1,k i j1 r n i r k1,k i r n i (n n i ) r n i 1 n r (n ij n i n ij /n) 2 + n 1 n i n ij /n n j1 m i r r r n 2 ij 2n in 2 ij /n + n2 i n2 ij /n2 + n 1 n i n ij /n n j1 m i r j1 r n n ij n i mi j1 n ij n i 2 r 1 2 2n ij + 1 n n in ij + n 1 n r n i + 1 n n r 2 n + 1 n n r n n(r 1) r m i n ij + 1 n j1 n 2 i r r n i n i + n 1 n r n 2 i + n 1 n r r n k n 2 i n 2 i n i m i n 2 i r n 2 i n ij + n 1 n j1 r n 2 i r n 2 i Damit nimmt die so konstruierte Kontingenztabelle den postulierten maximalen Wert an. Nun bleibt zu zeigen, dass keine andere r c-tabelle zu einem größeren χ 2 -Wert führen kann. Diese Behauptung ist nur für Tabellen zu zeigen, die nicht in jeder Spalte genau einen Wert größer als 0 aufweisen. Außerdem ist nur nachzuweisen, dass jede Tabelle mit gleichen Randsummen wie die konstruierte Tabelle einen χ 2 -Wert aufweist, der nicht größer ist als n(r 1). Wir betrachten nun lediglich eine Spalte einer solchen Tabelle und nehmen der Einfachheit halber an, dass es die erste Spalte ist. Es können ja beliebig Zeilen und Spalten getauscht werden. Der χ 2 -Anteil in der ersten Spalte beträgt: 27

28 χ 2 (Spalte 1) r (a i1 n i n 11 /n) 2 n i n 11 /n r a 2 i1 2a i1n i n 11 /n + n 2 i n2 11 /n2 n i n 11 /n n r a 2 r r i1 2 a i1 + n i n 11 /n n 11 n i n n 11 n n 11 r r a 2 i1 n i 2n i1 + n 11 a 2 i1 n i n i1 r n i /n Für die oben konstruierte Tabelle ergibt sich, da nur der erste Wert von a i1 nicht Null ist: χ 2 (Spalte 1, Ausgangstabelle) n n 2 11 n i1 n 11 n i Da nun r a i1 n 11 gilt, kann die Cauchy-Schwarz-Ungleichung angewendet werden, die belegt, dass r a 2 i1 < n 2 11 gilt, wenn mindestens zwei a i1 > 0 sind. Damit ist gezeigt, dass bereits der χ 2 -Anteil der ersten Spalte von jeder Tabelle mit gleichen Randsummen kleiner ist als der der anfangs konstruierten Tabellen. Durch Vertauschung der Spalten kann das für jeden Spaltenanteil gezeigt werden und somit für den gesamten χ 2 -Wert. a a 1m1 a n n n 2m n n i 1... n imi n i n r1... n rmi 0 n r n n 1m1 n n 2m2... n i1... n imi... n r1... n rmi n 28

29 21 Kap 8.6.1, S. 196: Eigenschaften von λ Behauptung 1: Bei Unabhängigkeit gilt: λ 0 2: λ 0 kann gelten, auch wenn keine Unabhängigkeit vorliegt. Herleitung ad 1) Zunächst ordnen wir die Kontingenztafel nach den Randsummen, sodass jeweils ein maximaler Wert in der Randsumme der ersten Zeile und der ersten Spalte auftritt. Da sich die Werte bei Unabhängigkeit auf die Zeilen und Spalten proportional aufteilen, ist spaltenweise immer der Eintrag in der ersten Zeile maximal, bzw. zeilenweise immer der Eintrag in der ersten Spalte maximal. Die Summe ergibt dann jeweils die erste Zeilensumme bzw. die erste Spaltensumme und stellt auch das Maximum der Zeilensummen bzw. der Spaltensummen dar. Der Zähler von λ ist: c max j (n ij ) + r max i (n ij ) max i (n i ) max j (n j ) j1 Bei Unabhängigkeit gilt c max j(n ij ) max j (n j ) bzw. r j1 max i(n ij ) max i (n i ) Damit ist der Zähler von λ Null und somit gilt λ 0 ad 2) Die Statistik λ kann aber auch den Wert Null annehmen, ohne dass Unabhängigkeit vorliegt. Ein einfaches Beispiel dafür stellt die folgende Tabelle dar: X Y c c 1 c 0 Der Wert c steht dabei für eine Anzahl von Beobachtungen mit c > 0. In den Zeilen und Spalten beträgt die Summe der Maxima jeweils 2c und entspricht den Maxima der Zeilen- und Spaltenrandsummen. Damit ist der Zähler von λ Null und folglich gilt λ 0. Als Indifferenztabelle resultiert: Die zugehörigen χ 2 -Anteile ergeben sich als: X Y c/3 2c/3 1 2c/3 c/3 X Y c/12 c/6 1 c/6 c/3 Damit gilt χ 2 3c/4, also z. B. χ 2 30 für c 40. Der χ 2 -Wert kann in Abhängigkeit von c beliebig groß werden, während λ konstant 0 bleibt. 29

30 22 Kap 8.6.3, S. 200: Phi-Koeffizient und Produkt-Moment-Korrelation Behauptung φ r xy ist. Herleitung Wir gehen von einer 2x2-Kontingenztabelle aus mit den folgenden Bezeichnungen für die Zellenhäufigkeiten: n 11 : Häufigkeit, mit der X 1 und Y 1 gemeinsam auftreten. Die Zuordnung der 1 zu einer Kategorie von X und Y ist beliebig. Der jeweils anderen Kategorie wird die 0 zugeordnet. Damit resultieren: n 10 : Häufigkeit, mit der X 1 und Y 0 gemeinsam auftreten n 01 : Häufigkeit, mit der X 0 und Y 1 gemeinsam auftreten n 00 : Häufigkeit, mit der X 0 und Y 0 gemeinsam auftreten Wir berechnen als nächstes die Mittelwerte von X und Y basierend auf der eingeführten Kodierung. Sie sind: x n 1 n und ȳ n 1 n Als nächstes wird die Varianz von X berechnet: (n 1)s 2 X Gleichermaßen kann gezeigt werden, dass gilt: X 2 i n ( x)2 ) 2 n ( 1 n n1 n n ( 1 1 n ) 1 n n n 1 n 0 n n 1 n 2 (n 1 n 0 ) Nun ist noch die Kovarianz zu berechnen: n (n 1)s 2 XY X iy i xȳ n n 11 n n 1 n 1 n n 1 n 2 (nn 11 n 1 n 1 ) (n 1)s 2 Y 1 n 2 n 1n 0 1 n 2 (n 11 + n 10 + n 01 + n 00 )n 11 (n 10 + n 11 )(n01 + n 11 )) 1 n 2 (n n 10 n 11 + n 01 n 11 + n 00 n 11 (n 10 n 01 + n 11 n 01 + (n 10 n 11 + n 2 11)) 1 n 2 (n 00n 11 n 10 n 01 ) 30

31 Als Korrelation resultiert: r xy (n 1)s XY (n 1)s 2 X (n 1)s2 Y n 00n 11 n 10 n 01 n1 n 0 n 1 n 0 φ 31

32 23 Kap 8.7, S. 205/212: Weitere Zusammenhangsmaße In diesem Abschnitt werden einige weitere Zusammenhangsmaße kurz erläutert, die in dem Lehrbuch aufgrund der dort genutzten Kriterien nicht dargestellt wurden. Zusammenhang von zwei nominalskalierten Variablen: Als ein weiteres Zusammenhangsmaß für Zusammenhänge von zwei nominalskalierten Variablen wird oft das Maß w mit χ 2 w n genutzt. Dieses Maß kann allerdings Werte größer als 1 annehmen. Zusammenhang von einer nominal- und einer intervallskalierten Variablen: Neben den Maßen η 2 und η wird das Maß f bzw. f 2 genutzt, das durch eine monotone Transformation aus η 2 berechnet werden kann. So ist f 2 η2 1 η 2 und entsprechend η f 2 1 η 2. Die Werte von f bzw. f 2 können beliebig groß werden. 32

33 24 Kap 8.7.1, S. 208: Additivität der Abweichungsquadratsummen Behauptung SS T SS W + SS E Herleitung Die Summe der Abweichungsquadrate vom Gesamtmittelwert ist definiert durch: SS T (y i ȳ) 2 Wir formen diese Summe um, indem wir die Gruppenzuordnungen der Werte berücksichtigen. Damit gilt, ohne dass sich der Wert von SS T ändert: Nun kann SS T umgeformt werden: n k j SS T (y ij ȳ) 2 j1 SS T n k j (y ij ȳ) 2 j1 n k j (y ij ȳ j + ȳ j ȳ) 2 j1 n k j ((y ij ȳ j ) + (ȳ j ȳ)) 2 j1 n k j (y ij ȳ j ) 2 + 2(y ij ȳ j )(ȳ j ȳ) + (ȳ j ȳ) 2 j1 n k j n k j n k j (y ij ȳ j ) (y ij ȳ j )(ȳ j ȳ) + (ȳ j ȳ) 2 j1 j1 j1 n k j n k j SS W + 2 (y ij ȳ j )(ȳ j ȳ) + (ȳ j ȳ) 2 1 j1 j1 n k j k SS W + 2 (y ij ȳ j )(ȳ j ȳ) + n j (ȳ j ȳ) 2 j1 j1 n k j SS W + 2 (y ij ȳ j )(ȳ j ȳ) + SS B j1 n k j SS W + SS B + 2 (y ij ȳ j y ij ȳ ȳj 2 + ȳ j ȳ) j1 33

34 n k j SS T SS W + SS B + 2 y ij (ȳ j ȳ) ȳ j (ȳ j ȳ) j1 n k j n k j SS W + SS B + 2 y ij (ȳ j ȳ) 2 ȳ j (ȳ j ȳ) j1 j1 n k j n k j SS W + SS B + 2 (ȳ j ȳ) y ij 2 ȳ j (ȳ j ȳ) 1 j1 j1 k k SS W + SS B + 2 (ȳ j ȳ)n j ȳ j 2 ȳ j (ȳ j ȳ)n j j1 j1 k k SS W + SS B + 2 n j ȳ j (ȳ j ȳ) 2 n j ȳ j (ȳ j ȳ) SS W + SS B j1 j1 34

35 25 Kap 9.2, S. 230: Bestimmung der Regressionsgeraden durch Minimierung der Abweichungsquadrate Behauptung Die Regressionskoeffizienten b 0 (Achsenabschnitt) und b 1 (Steigung) bei minimierten quadrierten Abweichungen der vorhergesagten Werte von den beobachteten Werten ergeben sich durch: b 0 y b 1 x b 1 s XY s 2 X Herleitung Die Statistiken b 0 und b 1 in der Regressionsgleichung ŷ i b 1 x i + b 0 Summe der quadratischen Fehler werden so bestimmt, dass die e 2 i (y i ŷ i ) 2 (y i b 1 x i b 0 ) 2 yi 2 2 b 1 x i y i 2 b 0 y i + 2 b 0 b 1 x i + b 2 1x 2 i + b 2 0 minimiert wird. Die partiellen Ableitungen nach b 0 bzw. b 1 ergeben: δss e δb 0 2 y i + 2 b 1 x i + 2 b 0 2 (y i b 1 x i b 0 ) bzw. δss e δb 1 2 x i y i + 2 b 0 x i + 2 b 1 x 2 i 2 x i (y i b 1 x i b 0 ) Diese partiellen Ableitungen werden gleich Null gesetzt und nach b 0 bzw. b 1 aufgelöst. Für den Achsenabschnitt b 0 resuliert: 2 (y i b 1 x i b 0 ) 0 ny b 1 nx nb 0 0 nb 0 ny nb 1 x b 0 y b 1 x 35

36 Für die Steigung b folgt: 2 x i (y i b 1 x i b 0 ) 0 2 x i (y i b 1 x i y + b 1 x) 0 xi y i b 1 x 2 i y x i + b 1 x x i 0 xi y i y x i b 1 x 2 i b 1 x x i b 1 xi y i y x i x 2 i x x i s XY s 2 X Wie leicht zu sehen ist, sind die zweiten Ableitungen jeweils positiv, sodass in beiden Fällen ein Minimum vorliegt. 36

37 26 Kap 9.5, S. 237: Zerlegung der Variation in der linearen Regression. Fall 1: Abweichungen um den Mittelwert des Kriteriums Behauptung SS Y SS R + SS E SS Y r 2 + SS Y (1 r 2 ) Herleitung Zunächst bestimmen wir die Variation der vorhergesagten Werte. SS R (ŷ i ȳ) 2 (b 0 + b 1 x i ȳ) 2 (b 0 + b 1 x i ) 2 2(b 0 + b 1 x i )ȳ + ȳ 2 (b 0 + b 1 x i ) 2 2 (b 0 + b 1 x i )ȳ + nȳ 2 (b 0 + b 1 x i ) 2 2nȳȳ + nȳ 2 (b 0 + b 1 x i ) 2 nȳ 2 b b 0 b 1 x i + b 2 1x 2 i nȳ 2 nb b 0 b 1 x i + b 2 1 x 2 i nȳ 2 nb b 0 b 1 n x + b 2 1(SS X + n x 2 ) nȳ 2 nb nb 0 (ȳ b 0 ) + b 2 1(SS X + n x 2 ) nȳ 2 nb nb 0 ȳ 2nb b 2 1(SS X + n x 2 ) nȳ 2 nb nb 0 ȳ + b 2 1SS X + nb 2 1 x 2 nȳ 2 nb nb 0 ȳ + b 2 1SS X + n(ȳ b 0 ) 2 nȳ 2 nb nb 0 ȳ + b 2 1SS X + n(ȳ 2 2b 0 ȳ + b 2 0) nȳ 2 nb nb 0 ȳ + b 2 1SS X + nȳ 2 2nb 0 ȳ + nb 2 0 nȳ 2 b 2 1SS X r2 s 2 Y s 2 SS X X r 2 s 2 Y SS X /(n 1) SS X (n 1)(r 2 s 2 Y ) r 2 SS Y 37

38 Als zweite Komponente betrachten wir die Variation der Residuen. SS E (y i ŷ i ) 2 (y i (b 0 + b 1 x i )) 2 yi 2 2y i (b 0 + b 1 x i ) + (b 0 + b 1 x i ) 2 yi 2 2 y i (b 0 + b 1 x i ) + SS Y + nȳ 2 2b 0 y i 2b 1 (b 0 + b 1 x i ) 2 y i x i + (b 0 + b 1 x i ) 2 SS Y + nȳ 2 2nb 0 ȳ 2b 1 ((n 1)s XY + n xȳ) + SS Y + nȳ 2 2nb 0 ȳ 2b 1 (n 1)s XY 2nb 1 xȳ) + (b 0 + b 1 x i ) 2 SS Y + nȳ 2 2nb 0 ȳ 2b 1 (n 1)rs X s Y 2n(ȳ b 0 )ȳ) + (b 0 + b 1 x i ) 2 SS Y + nȳ 2 2nb 0 ȳ 2r s Y s X (n 1)rs X s Y 2nȳ 2 + 2nb 0 ȳ + SS Y nȳ 2 2r 2 (n 1)s 2 Y + SS Y nȳ 2 2r 2 SS Y + (b 0 + b 1 x i ) 2 (b b 0 b 1 x i + b 2 1x 2 i SS Y nȳ 2 2r 2 SS Y + nb b 0 b 1 x i + b 2 1 SS Y nȳ 2 2r 2 SS Y + nb b 0 b 1 (n x) + b 2 1(SS X + n x 2 ) SS Y nȳ 2 2r 2 SS Y + nb nb 0 b 1 x + b 2 1SS X + nb 2 1 x 2 SS Y nȳ 2 2r 2 SS Y + nb nb 0 (ȳ b 0 ) + b 2 1SS X + nb 2 1 x 2 SS Y nȳ 2 2r 2 SS Y + nb nb 0 ȳ 2nb b 2 1SS X + nb 2 1 x 2 SS Y nȳ 2 nb nb 0 ȳ 2r 2 SS Y + b 2 1SS X + nb 2 1 x 2 SS Y n(ȳ b 0 ) 2 2r 2 SS Y + b 2 1SS X + nb 2 1 x 2 SS Y n(ȳ b 0 ) 2 2r 2 SS Y + r2 s 2 Y s 2 x SS Y 2r 2 SS Y + r 2 SS Y SS Y r 2 SS Y SS Y (1 r 2 ) Offensichtlich gilt SS Y SS R + SS E SS Y r 2 + SS Y (1 r 2 ). x 2 i SS X + n(ȳ b 0 ) 2 (b 0 + b 1 x i ) 2 (b 0 + b 1 x i ) 2 38

39 27 Kap 9.5, S. 239: Zerlegung der Variation in der linearen Regression. Fall 2: Abweichungen um den Nullpunkt des Kriteriums Behauptung Auch für die Abweichungen um den Nullpunkt des Kriteriums gilt, wobei SS Y n (y i ȳ) 2 Herleitung Wir können n (y i 0) 2 wie folgt zerlegen (y i 0) 2 SS Y SS R + SS E (y i ȳ + ȳ) 2 ( (yi ȳ) 2 + 2(y i ȳ)ȳ + ȳ 2) (y i ȳ) SS Y + 2ȳ (y i ȳ)ȳ + y i 2nȳ 2 + nȳ 2 SS Y + 2ȳ(nȳ) 2nȳ 2 + nȳ 2 SS Y + nȳ 2 SS R + SS E + nȳ 2 SS R + SS E + (ȳ 0) 2 Damit ist die Summe der Abweichungsquadrate in drei unterschiedliche Komponenten zerlegt: n (ȳ 0)2 : Summe der quadrierten Abweichungen des Mittelwerts von Null SS R : Summe der quadrierten Abweichungen der vorhergesagten Werte vom Mittelwert SS E : Summe der quadrierten Abweichungen der vorhergesagten Werte von den Kriteriumswerten ȳ 2 39

40 28 Kap 9.5, S. 239: Notwendigkeit ratioskalierter Kriterien im Fall der Streuungszerlegung um den Nullpunkt Behauptung Für eine sinnvolle Interpretation des Verhältnisses der Abweichungsquadrate ist bei einer Streuungszerlegung um den Nullpunkt für das Kriterium Ratioskalenniveau gefordert. Herleitung Wir zeigen zunächst, dass der Koeffizient R 2 bzw. die Summe der Abweichungsquadrate bei einem intervallskalierten Kriterium die geforderte Äquarianzeigenschaft bei positiv affinen Transformationen einhält. SS R und SS E für eine transformierte Variable Y a + by ergeben: Für SS Y gilt, wie wir bereits wissen, SS Y b 2 SS Y. Weiterhin gelten: SS R (Y ) (ŷ i ȳ ) 2 ((a + bŷ i ) (a + by)) 2 (bŷ i bȳ) 2 b 2 (ŷ i ȳ) 2 b 2 SS R (Y ) Die Summe von SS R und SS E ergibt SS Y und somit gilt für SS E : Damit folgt: SS E (Y ) SS Y SS R (Y ) b 2 SS Y b 2 SS R (Y ) b 2 (SS Y SS R (Y )) b 2 SS E (Y ) R 2 SS R (Y )/SS Y SS R (Y )/SS Y Somit gilt, dass der Determinationskoeffizient äquivariant ist unter Intervallskalenniveau. Nun zeigen wir die Äquarianzeigenschaft für R 2 unter Ähnlichkeitstransformationen des Kriteriums für die Abweichungsquadrate um Null. Hier hängt die Gesamtvariation nicht nur von b ab, sondern auch von a: (a + by i 0) 2 Hingegen hängt SS R nur von b ab. Somit ändert sich das Verhältnis a 2 + 2aby i + b 2 yi 2 na 2 + 2nabȳ + b 2 y 2 i 40

41 SS R / (y i 0) 2 unter positiven affinen Transformationen mit unterschiedlichen Werten für a. Setzen wir hingegen a 0, dann wird der Term na 2 + 2nabȳ + b 2 n y2 i zu b 2 n y2 i Da hier die Summe der quadrierten Abweichungen von Null lediglich von b 2 abhängt, bleibt das Verhältnis SS R / (y i 0) 2 konstant über alle Transformationen mit b > 0 und a 0. Da diese Transformation die zulässige Transformation ratioskalierter Variablen darstellt, erhalten wir somit die gewünschte Äquivarianzeigenschaft der relativen Variationsanteile, wenn Y ratioskaliert ist. 41

42 29 Kap 9.6, S. 240: R r Y Ŷ r XY Behauptung R r Y Ŷ r XY Herleitung Da Ŷ b 0 + b 1 X, ist Ŷ eine affine Transformation von X. Für positiv affine Transformationen des Prädiktors (wie des Kriteriums) ändert sich der Korrelationskoeffizient nicht. Für b 1 > 0 gilt: r Y Ŷ r Y,b0 +b 1 X r XY Die Korrelation einer Variablen mit einer Konstanten ergibt 0. Für b 1 0 gilt: r Y Ŷ r Y,b0 0 r XY Für negativ affine Transformationen des Prädiktors (wie des Kriteriums) ändert sich nur das Vorzeichen des Korrelationskoeffizienten. Für b 1 < 0 : r Y Ŷ r Y,b0 b 1 X r XY Damit gilt: r Y Ŷ r XY 42

43 30 Kap 9.6, S. 242: Berechnung des Standardschätzfehlers SEE Behauptung SEE s Y (1 r 2 ) Nach Definition ist der Standardschätzfehler gegeben durch (n 1) n 2 SEE MS E SSE n 2 n (y i ŷ j ) 2 n 2 Weiterhin gilt für SS E SS E (1 r 2 )SS T und für die Gesamtvarianz Damit ist s 2 Y SS T n 1 SS E (1 r 2 )s 2 Y (n 1) und somit folgt SSE SEE n 2 (1 r 2 )s 2 Y (n 1) n 2 s Y (1 r 2 (n 1) ) n 2 43

44 31 Kap 9.7, S. 244: Der 60 %-Bereich um die Regressionsgerade Bei der Berechnung der Intervalle um die Regressionsgerade gehen wir davon aus, dass die Residuen normalverteilt sind und dass die Stichprobe sehr groß ist. In diesem Fall kann man die Grenzen für die Intervalle mittels der Tabelle der Normalverteilung (vgl. Anhang des Lehrbuchs) ablesen. Für z 0.84 resultiert als Wert der Verteilungsfunktion 0.80, das entspricht der Fläche unter der Standardnormalverteilung von bis Damit liegen 20 % aller Beobachtungen unterhalb eines z-wertes von und 20 % aller Beobachtungen oberhalb eines z-wertes von Innerhalb des Intervalls [-0.84,0.84] liegen also 60 % aller Beobachtungen. Da die Standardabweichung der Fehler SEE beträgt, ist für den Bereich der Fehler um die vorhergesagten Werte ŷ i das Intervall [ŷ i 0.84SEE, ŷ i SEE] zu wählen. 44

45 32 Kap 9.8, S. 245: Mittelwerte, Varianzen und Interkorrelation von X, Y, Ŷ und e Mittelwerte: Gegeben sind x und y. ŷ b 0 + b 1 x b 0 + b 1 x y b 1 x + b 1 x y Für das Residuum e gilt dann: e Y Ŷ y y 0 Varianzen: Die Varianz des Fehlers leitet sich aus SS E ab. Da beim Fehler zwei Parameter zu bestimmen sind (y und b 1 ), ist hier durch n 2 zu teilen: Alternativ gilt: s 2 e SS E n 2 Korrelationen: Da Ŷ b 0 + b 1 X, gilt für b 1 > 0: s 2 e SS E n 2 SS T SS R n 2 1 r 2 SS T n 2 (n 1)s 2 1 r 2 Y n 1 n 2 s2 Y n 2 ( 1 r 2 ) r X Ŷ 1 r Y Ŷ r XY für b 1 0: r X Ŷ 0 r Y Ŷ r XY und für b 1 < 0: r X Ŷ 1 r Y Ŷ r XY 45

46 Für die Korrelation zwischen Y und Ŷ gilt somit: Die Korrelation r Xe ist Null, da s Xe 1 n 1 1 n 1 r Y Ŷ r XY (x i x)((y i ŷ i ) 0) (x i x)(y i y) 1 n 1 (x i x)(ŷ i y) s XY 1 n 1 s XY 1 n 1 s XY 1 n 1 s XY b 1 s 2 X s XY s XY 0 s 2 X s 2 X (x i x)(ŷ i y) (x i x)(b 0 + b 1 x i (b 0 + b 1 x)) b 1 (x i x)(x i x) Damit ist dann auch die Korrelation rŷ e 0, da Ŷ b 0 + b 1 X. Zur Berechnung der Korrelation r Y e berechnen wir zunächst s Y e. Damit folgt: s Y e s Y (Y Ŷ ) s 2 Y s Y Ŷ s 2 Y r Y Ŷ s Y sŷ s 2 Y r XY s Y sŷ s 2 Y r 2 XY s 2 Y s 2 Y (1 r 2 XY ) r Y e s Y (Y Ŷ ) s Y s e s 2 Y (1 r2 XY ) n 1 s Y s Y n 2 (1 r2 ) n 1 (1 r n 2 2 ) 46

47 33 Kap 9.9.4, S. 254: Ausreißer müssen nicht einflussreich sein Zu zeigen ist, dass die Steigung einer Regressionsgeraden dann nicht von Ausreißern (in Y ) beeinflusst wird, wenn die zugehörigen Werte in X exakt dem Mittelwert entsprechen. Wir gehen von k Wertepaaren ( x, y 1 ),...,( x, y k ) aus und weiterhin von n k weiteren Wertepaaren (x k+1, y k+1 ),...,(x n, y n ). Die Kovarianz zwischen X und Y ist definiert durch: s XY (x i x)(y i ȳ) Da der Anteil der ersten k Datenpaarepunkte an der Kovarianz Null ist, gilt: s XY ik+1 (x i x)(y i ȳ) Die Kovarianz zwischen X und Y ändert sich damit nicht, wenn wir einen oder alle Werte von y 1 bis y k ändern. Diese Werte können auch beliebig groß sein und Ausreißer darstellen. Die Steigung der Regressionsgeraden ist definiert durch (vgl. Lehrbuch, S. 228): b 1 s XY s 2 X Nun ändert sich auch s 2 X nicht, wenn wir die Werte von y 1 bis y k verändern. Somit hängt die Steigung b 1 nicht von den Ausprägungen y 1 bis y k ab, unabhängig davon, ob sie Ausreißer darstellen oder nicht. Anders verhält es sich mit dem Achsenabschnitt. Nach Definition gilt: b 0 ȳ b 1 x Ausreißer in Y verändern den Mittelwert ȳ und somit auch den Achsenabschnitt der Regression b 0. 47

48 34 Kap 9.9.4, S. 254/255: Ausreißer, einflussreiche Beobachtungen und Hebelpunkte Wie bereits gezeigt, sind für bestimmte Fragestellungen Ausreißer nicht einflussreich. Andererseits können Beobachtungen, die in der univariaten Analyse unauffällig sind, durchaus einflussreich sein. Aus diesem Grund werden in der Regressionsanalyse Maße eingesetzt, die den Einfluss einzelner Beobachtungen numerisch erfassen. Die erste wichtige Statistik dafür ist der sogenannte Hebelwert (leverage point), der den Einfluss der i- ten Beobachtung auf das Regressionsmodell numerisch beschreibt. Genauer gesagt wird die Reduktion der Varianz der geschätzten Parameter bei Vernachlässigung der i-ten Beobachtung angegeben. Diese Größe wird mit h i bezeichnet. Punkte, die mehr als das Zweifache des durchschnittlichen h i -Wertes aufweisen, können kritisch sein und sollten inspiziert werden. Mit den Hebelwerten verknüpft ist eine für die Diagnostik präzisere Berechnung der Residualwerte, die wir mit e i (für den Fall i) bezeichnen. Mit e i r i;sa s (e; ohne i) 1 hi wird das sogenannte studentisierte ausgeschlossene Residuum (studentized deleted residual) bestimmt. Hier wird der Fehler von Beobachtung i in Beziehung gesetzt zum Standardfehler des Residuums, der ohne die Berücksichtigung der i-ten Beobachtung berechnet wird. Hier können Werte dieses Residuums, die vom Betrag her größer als 2 ausfallen, ebenfalls einflussreich und somit kritisch sein. Auch diese Beobachtungen sollten dann näher untersucht werden. Die Cook-Distanz D i für einen Fall i bei Nutzung von k Prädiktoren ist definiert durch: D i n j1 (ŷ j ŷ (j; ohne i) ) 2 (k + 1)MS E e 2 i (k + 1)MS E ( hi 1 h 2 i ) Der Wert D i gibt an, wie groß die Veränderung der vorhergesagten Werte für alle anderen Fälle ist, wenn der Fall i aus der Regression ausgeschlossen wird. Ein grober Richtwert legt fest, dass D i > 1 auf stark einflussreiche Beobachtungen hinweist. Diese Beobachtungen sind auf jeden Fall zu untersuchen. Einflussreich können aber auch noch Beobachtungen mit D i > 4/n sein. 48

49 35 Buch 1, Kap , S. 270: Matrixalgebra und die Berechnung der Regressionskoeffizienten 35.1 Matrix, Vektor und Skalar Eine Matrix ist eine rechteckige Anordnung von Zahlen oder Variablen in Zeilen und Spalten. Für die Darstellung von Matrizen benutzen wir hier fett gedruckte Großbuchstaben. Die Elemente a ij einer Matrix werden in Klammern angezeigt. Eine Matrix der Ordnung bzw. des Typs m n besteht aus m Zeilen und n Spalten. Ein Beispiel für eine 3 2 Matrix ist: A 3 2 a 11 a 12 a 21 a 22 a 31 a 32 Bei einer Datenmatrix in empirischen Analysen repräsentiert zumeist eine Zeile eine statistische Einheit und eine Spalte eine Variable. Bezeichnet man die Gesamtzahl der untersuchten statistischen Einheiten mit n und die Anzahl der Variablen mit p, haben wir es mit einer n p Matrix zu tun. Vektoren sind spezielle Matrizen, die nur aus einer Spalte (Spaltenvektor) bzw. einer Zeile (Zeilenvektor) bestehen. Spaltenvektoren werden mit kleinen fett gedruckten Buchstaben bezeichnet (zur Bezeichnung von Zeilenvektoren vgl. Abschnitt 35.3). x 1 x x 2 x 3 x 4 Ein Spaltenvektor enthält in einer typischen Datenmatrix die Werte einer Variablen für alle statistischen Einheiten, ein Zeilenvektor die Werte einer statistischen Einheit für alle p Variablen. Eine Zahl kann man ebenfalls als Spezialfall einer Matrix mit einer Zeile und einer Spalte betrachten, in der Matrizenrechnung spricht man von einem Skalar. Folglich sind beispielsweise die Zahlen 2, 4 und 125 Skalare. Ein Skalar wird hier durch einen normal gedruckten Buchstaben dargestellt, so z. B. a Gleichheit von Matrizen Zwei Matrizen bzw. Vektoren sind gleich, wenn sie vom gleichen Typ sind und die Elemente an der gleichen Stelle identisch sind. ( ) ( ) A B ( ) C D Hier gilt also A B. Obwohl aber A und C die gleichen Elemente haben, ist A C, weil die beiden Matrizen nicht vom gleichen Typ sind. Ebenfalls ist A D, weil a 23 d

50 35.3 Transponierung von Matrizen Die Matrix C aus dem letzten Abschnitt (35.2) ist zwar nicht identisch mit Matrix A, sie stellt aber die sogenannte Transponierte von A dar. Die Transponierte einer Matrix A, symbolisiert durch A, erhält man, wenn die Zeilen und Spalten vertauscht werden. Folglich sind die Spalten von A die Zeilen von A, und die Zeilen von A sind die Spalten von A. A 2 3 ( ) A Wenn man einen Spaltenvektor, der generell mit a bezeichnet wird, transponiert, erhält man einen Zeilenvektor. Die allgemeine Schreibweise für Zeilenvektoren ist also a. 2 a 3 a ( 2, 3, 1 ) 1 Wenn man eine Matrix zweimal transponiert, also ihre Zeilen und Spalten zweimal vertauscht, resultiert wieder die originale Matrix: (A ) A Spezielle Matrizen Man unterscheidet zunächst quadratische (Zeilenanzahl Spaltenanzahl) von rechteckigen Matrizen. Letztere heißen vertikal, wenn sie mehr Zeilen als Spalten haben, bzw. horizontal, wenn die Spaltenanzahl die Zeilenanzahl überwiegt. Einige quadratische Matrizen, die häufig verwendet werden, haben spezielle Bezeichnungen erhalten Symmetrische Matrizen Wenn bei einer quadratischen Matrix die Elemente von Zeilen und Spalten identisch sind, nennt man die Matrix symmetrisch. Somit ist A symmetrisch, wenn sich durch die Transponierung nichts verändert, d. h. wenn A A. A A Diagonale Matrizen Symmetrische Matrizen, bei denen alle Elemente, die nicht auf der Hauptdiagonalen liegen, Null sind, heißen diagonale Matrizen. Ein Beispiel für eine diagonale Matrix ist: D

51 Identitätsmatrix und Einheitsvektor Wenn alle Elemente der Hauptdiagonalen einer Matrix gleich sind, spricht man von einer skalaren Matrix. Eine skalare Matrix, bei der sämtliche diagonalen Elemente gleich 1 sind, heißt Einheits- oder Identitätsmatrix. Matrizen, die mit der Identitätsmatrix multipliziert werden, bleiben unverändert (vgl. Abschnitt 35.6). Die Identitätsmatrix I des Typs 3 3 ist: I Ein Vektor, der nur den Wert Eins enthält, heißt entsprechend Einheitsvektor und wird mit 1 bezeichnet Addition von Matrizen und Vektoren Nur wenn zwei Matrizen (bzw. zwei Vektoren) vom gleichen Typ sind, kann man sie addieren und erhält wiederum eine Matrix: A + B C m n m n m n Die Elemente der Ergebnismatrix berechnen sich durch die Addition der entsprechenden Elemente der Ausgangsmatrizen: (c ij ) (a ij +b ij ) Die Differenz zwischen zwei Matrizen wird analog bestimmt, indem man die entsprechenden Elemente subtrahiert. Also C A B wird durch (c ij ) (a ij b ij ) gebildet. Während die Addition von Matrizen kommutativ ist, d. h. A + B B + A, ist bei der Subtraktion von Matrizen die Reihenfolge zu beachten, d. h. allgemein gilt: A B B A. Für Summen und Differenzen von Matrizen gilt: Die Transponierte der Summe (Differenz) zweier Matrizen ist gleich der Summe (Differenz) der Transponierten. (A + B) A + B (A B) A B 35.6 Multiplikation Man unterscheidet die Multiplikation von Matrizen mit einem Skalar (35.6.1) von der Multiplikation von Matrizen mit anderen Matrizen (35.6.2). 51

52 Skalarmultiplikation Das Produkt einer Matrix mit einem Skalar erhält man, wenn man jedes Element der Matrix mit dem Skalar multipliziert. ca 11 ca 12 ca 1m ca 21 ca 22 ca 2m ca (ca ij )... ca n1 ca n2 ca nm Mit der Skalarmultiplikation kann man also zum Beispiel die Identitätsmatrix in jede beliebige Skalarmatrix transformieren: c c 0 ci c Die Reihenfolge der Multiplikanden spielt bei der Skalarmultiplikation keine Rolle: ca Ac Multiplikation von Matrizen Damit man das Produkt zweier Matrizen A B bilden kann, muss die Anzahl der Spalten in A gleich der Anzahl der Zeilen in B sein. Ist z. B. A vom Typ n m, muß B vom Typ m p sein. Dann ergibt sich das (ij)ste Element von C AB durch c ij a ik b kj k Also ist c ij die Summe der Produkte der korrespondierenden Elemente der i ten Zeile von A und der j te Spalte von B. Jede Zeile von A wird auf diese Weise mit jeder Spalte von B multipliziert, um die Elemente der Ergebnismatrix zu erhalten. Die Anzahl der Zeilen der Matrix AB entspricht also der Anzahl der Zeilen von A und die Anzahl der Spalten der Matrix AB entspricht der Anzahl der Spalten von B. Wenn also wie oben A vom Typ n m ist und B vom Typ m p, dann ist C AB vom Typ n p. Es seien zum Beispiel: A und B dann ist C AB

53 Das Produkt A 2 AA ist nur definiert, wenn A quadratisch ist. Die Anzahl der Spalten der ersten Matrix kann ja nur gleich der Anzahl der Zeilen der zweiten Matrix sein, wenn Zeilen- und Spaltenanzahl identisch sind. Das Produkt AB entspricht im Allgemeinen nicht dem BA, vorausgesetzt, dass beide Produkte definiert sind. In der Regel gilt: AB BA Beispiel: ( ) 1 2 A 3 4 AB ( ) B ( BA ) ( ). Für die Multiplikation gilt wie für die Addition und Subtraktion das Distributivgesetz: A(B + C) AB + AC A(B C) AB AC (A + B)C AC + BC (A B)C AC BC Da die Reihenfolge bei der Multiplikation genau zu beachten ist (s.o.), gilt im Allgemeinen AB + AC A(B + C) (B + C)A BA + CA Mittels des Distributionsgesetzes gilt. (A B)(C D) (A B)C (A B)D AC BC AD + BD Können A und B multipliziert werden, gilt: Die Transponierte eines Produktes ist das Produkt der Transponierten in umgekehrter Reihenfolge: (AB) B A Die Matrixmultiplikation ist assoziativ: ABC A(BC) (AB)C. Also können Multiplikationen von drei Matrizen in Produkte von zwei Matrizen definiert werden. Voraussetzung ist, dass die Produkte AB und BC gebildet werden können Lineare Unabhängigkeit und Rang Eine Menge von Vektoren a 1, a 2,..., a n ist linear abhängig, wenn Konstanten c 1, c 2,..., c n, von denen wenigstens eine Konstante ungleich Null ist, existieren, sodass gilt: c 1 a 1 + c 2 a c n a n 0 Existieren keine Konstanten c 1, c 2,..., c n, die die obige Gleichung erfüllen können, heißt die Menge von Vektoren linear unabhängig. Im Falle linearer Abhängigkeit kann wenigstens einer der Vektoren a i als Linearkombination der anderen Vektoren dieser Menge bestimmt werden. Lineare Abhängigkeit impliziert also redundante Information der Vektoren. Ist lineare Unabhängigkeit innerhalb einer Menge von Vektoren gegeben, ist kein Vektor innerhalb dieser Menge überflüssig. Der Rang einer quadratischen oder einer rechteckigen Matrix A, bezeichnet als Rang (A), ist definiert als die maximale Zahl der linear unabhängigen Zeilen von A, was der maximalen Zahl der linear unabhängigen Spalten von A entspricht. Die Zahl der linear unabhängigen Zeilen einer Matrix ist immer gleich der Zahl linear unabhängiger Spalten. Ist A vom Typ n p, dann ist der maximal mögliche Rang von A das Minimum von n und p. In diesem Fall ist A von vollem Rang. Betrachten wir z. B.: ( ) A