Der Mittelwert (arithmetisches Mittel)

Transkript

1 Der Mittelwert (arithmetisches Mittel) x = 1 n n x i bekanntestes Lagemaß instabil gegen extreme Werte geeignet für intervallskalierte Daten Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 126 / 355

2 Mittelwert bei gruppierten Daten x = 1 n n x i = 1 n (x 1 + x x n ) = 1 n k h j a j j=1 h j : Häufigkeit von a j Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 127 / 355

3 Das geometrische Mittel x G = n n x i arithmetisches Mittel auf der log-skala x g = exp ( 1 n nur geeignet für positive Werte ) n log(x i ) geeignet für intervallskalierte Daten Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 128 / 355

4 Das harmonische Mittel x H := 1 1 n n 1 x i Das harmonische Mittel entspricht dem Mittel durch Transformation t 1 t x H = ( 1 n n 1 x i ) 1 Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 129 / 355

5 Das harmonische Mittel x H := 1 1 n n 1 x i Das harmonische Mittel entspricht dem Mittel durch Transformation t 1 t x H = ( 1 n n 1 x i ) 1 Beispiel: x 1,..., x n Geschwindigkeiten, mit denen konstante Wegstrecken L zurückgelegt werden Gesamt-Geschwindigkeit: L n L x l = x H x n Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 129 / 355

6 Allgemeine Transformation des Mittelwerts I Lineare Transformation: g(t) = a + bt y i = a + bx i ȳ = a + b x d.h. a + bx = a + b x g(x) = g( x) Allgemeine Transformation: Generell ist g(x) g( x) Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 130 / 355

7 Allgemeine Transformation des Mittelwerts II Für konvexe Funktionen g gilt: g ( 1 n g( x) g(x) ) n x i 1 n g(x i ) n (Jensen-Ungleichung) g konvex: g(λx + (1 λ)y) λg(x) + (1 λ)g(y) λ [0, 1], x, y D g Beispiel: x 2 x 2 Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 131 / 355

8 Vergleich I Es gilt allgemein für positive x i x H x G x Beweis: a) Die Funktion g : t log(t) ist konkav, da g (t) = 1 t 2 < 0 log( x) log(x) ( ) x exp log(x) = exp ( 1 n n log(x i) ) = ( n exp (log(x i)) ) 1 n = x G Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 132 / 355

9 Vergleich II b) Die Funktion g 2 : t 1 exp(t) da g 2 (t) = 1 exp(t) 0 Daten log(x 1 ),..., log(x n ) g 2 ( 1 n n ) log(x i ) 1 n n n n x i n x i n n x i }{{} x G 1 n 1 n 1 x i }{{} x H ist konvex, n ( exp(log(xi )) 1) Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 133 / 355

10 Getrimmtes Mittel Um die Ausreißerempfindlichkeit von x abzuschwächen definiert man x α = 1 n 2r x (i) : geordnete x-werte r ist die größte ganze Zahl mit r nα n r i=r+1 x (i) Es wird also der Anteil α der extremsten Werte abgeschnitten. α-getrimmtes Mittel Winsorisiertes Mittel (gestutztes Mittel) Der Anteil α der extremsten Werte wird durch das entsprechende Quantil ersetzt. Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 134 / 355

11 Maße für die Streuung Spannweite Interquartilsabstand Standardabweichung und Varianz Variationskoeffizient Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 135 / 355

12 Die Spannweite (Range) Definition: q = x max x min Bereich in dem die Daten liegen Wichtig für Datenkontrolle Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 136 / 355

13 Der Quartilsabstand Definition: d Q = x 0.75 x 0.25 Größe des Bereichs in dem die mittlere Hälfte der Daten liegt Bei ordinal skalierten Daten Angabe von x 0.75 und x 0.25 Zentraler 50%-Bereich Robust gegen Ausreißer Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 137 / 355

14 Standardabweichung und Varianz Definition S 2 := 1 n 1 n (x i x) 2 Varianz S = S 2 Standardabweichung Verwende S 2 := 1 n n (x i x) 2 für Vollerhebung Division durch n 1 eigentlich nur bei Stichproben sinnvoll Mittlere Abweichung vom Mittelwert Intervallskala Voraussetzung Empfindlich gegen Ausreißer Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 138 / 355

15 Transformationsregel y i = a + bx i S y 2 = b 2 2 S x S y = b S x (Analog für S x, S y ) Varianz und Standardabweichung sind stabil mit linearen Transformationen verträglich. Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 139 / 355

16 Verschiebungssatz Für jedes c R gilt: n n (x i c) 2 = (x i x) 2 + n( x c) 2 c = 0 S 2 = 1 n n S 2 = x 2 x 2 x 2 i x 2 Beachte: Verschiebungssatz für numerische Berechnung mit Computer nicht geeignet. Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 140 / 355

17 Streuungszerlegung I Seien die Daten in r Schichten aufgeteilt: Schichtmittelwerte: x 1,..., x n1, x n1+1,..., x n1+n 2,..., x nr x 1 = 1 n 1 x i, x 2 = 1 n 1+n 2 n 1 n 2 i=n 1+1 x i, usw. Schichtvarianzen: S 1 2 = 1 n 1 (x i x 1 ) 2 2, S n 2 = 1 n 1+n 2 (x i x 2 ) 2, usw. 1 n 2 i=n 1+1 Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 141 / 355

18 Streuungszerlegung II Dann gilt: r x = 1 n S 2 = 1 n j=1 n j x j r 2 n j S j j=1 + 1 n r n j ( x j x) 2 j=1 Streuung Streuung Gesamtstreuung = innerhalb + zwischen der Schicht den Schichten Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 142 / 355

19 Variationskoeffizient Das Verhältnis von Standardabweichung und Mittelwert ist gegeben durch v = S x mit x > 0 Der Variationskoeffizient hat keine Einheit und ist skalenunabhängig. Er ist eine Maßzahl für die relative Schwankung um den Mittelwert. Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 143 / 355

20 Mittlere absolute Abweichung (MAD) Die mittlere absolute Abweichung ist definiert als MAD = 1 n n x i x MedAD := median( x i x med ) Wegen der Jensen-Ungleichung gilt: MAD S MAD/ MedAD : nicht so schöne theoretische Eigenschaften klarer interpretierbar als S weniger Ausreißer-empfindlich Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 144 / 355

21 Uni- und multimodale Verteilungen unimodal = eingipflig, multimodal = mehrgipflig Das Histogramm der Zinssätze zeigt eine bimodale Verteilung. Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 145 / 355

22 Symmetrie und Schiefe I symmetrisch Rechte und linke Häfte der Verteilung sind annähernd zueinander spiegelbildlich linkssteil Verteilung fällt nach links deutlich steiler und (rechtsschief) nach rechts langsamer ab rechtssteil Verteilung fällt nach rechts deutlich steiler und (linksschief) nach links langsamer ab Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 146 / 355

23 Symmetrie und Schiefe II Eine linkssteile (a), symmetrische (b) und rechtssteile Verteilung (c) Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 147 / 355

24 Lageregeln Symmetrische und unimodale Verteilung: x x med x mod Linkssteile Verteilung: x > x med > x mod Rechtssteile Verteilung: x < x med < x mod Bei gruppierten Daten: Auch für Histogramme gültig Beachte: Form der Verteilung bleibt bei linearen Transformationen gleich. Änderung bei nichtlinearen Transformationen. Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 148 / 355

25 Maßzahlen für die Schiefe I Quantilskoeffizient: p = 0.25 Quartilskoeffizient g p = (x 1 p x med ) (x med x p ) x 1 p x p Werte des Quantilskoeffizienten: g p = 0 für symmetrische Verteilungen g p > 0 für linkssteile Verteilungen g p < 0 für rechtssteile Verteilungen Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 149 / 355

26 Maßzahlen für die Schiefe II Momentenkoeffizient der Schiefe g m = m 3 s 3 mit m 3 = 1 n n (x i x) 3 Werte des Momentenkoeffizienten g m = 0 für symmetrische Verteilungen g m > 0 für linkssteile Verteilungen g m < 0 für rechtssteile Verteilungen Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 150 / 355

27 Dichtefunktion I Histogramm: Anteil = Fläche unter der Kurve Histogramm ist stückweise konstante Funktion Probleme: Abhängigkeit von der Wahl der Klassengrenzen Ersetze Histogramm durch glatte Funktion f Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 151 / 355

28 Dichtefunktion II Dichte Eine positive stetige Funktion heißt Dichte(-funktion), wenn f (x) 0 und f (x)dx = 1 Die Flächen unter der Dichte sollen den approximativen Häufigkeiten entsprechen, d.h. b a f (x)dx 1 n #{x i a < x i b} Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 152 / 355

29 Dichte und Verteilung x 0 F (x 0 ) = 1 n #{x i x i x 0 } f (x)dx ˆF (x 0 ) = x 0 ˆf (x)dx Quantile 0 < p < 1 x p ist der Wert auf der x-achse, für den gilt: x p f (x)dx = p Der Median teilt die Fläche in 2 gleich große Teile. Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 153 / 355

30 Beispiele Histogramm und Dichte Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 154 / 355

31 Beispiele Histogramm und Dichte Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 154 / 355

32 Beispiele Histogramm und Dichte Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 154 / 355

33 Berechnung von Dichte-Kurven ˆf (x) = Gleitendes Histogramm 1 n #{x i x i [x h, x + h)} 2h f (x) = 1 n n 1 h K ( ) x xi h { 1 mit K(u) = 2 für 1 u < 1 0 sonst K : Kernfunktion Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 155 / 355

34 Kern-Dichteschätzer K(u) sei Kernfunktion, d.h. K(u) 0 und K(u)du = 1 heißt Kern-Dichteschätzer Kerne: ˆf (x) = 1 nh n ( ) x xi K h Epanechnikov-Kern K(u) = 3 4 (1 u2 ) für 1 u < 1, 0 sonst. Bisquare-Kern K(u) = (1 u2 ) 2 für 1 u < 1, 0 sonst. Gauß-Kern K(u) = 1 2π exp ( 1 2 u2) für u R Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 156 / 355

35 Bemerkungen zur Dichteschätzung Abhängigkeit von der Bandweite h Verfahren zur Bestimmung von h aus den Daten Abhängigkeit von der Wahl des Kerns eher unbedeutend Kerndichteschätzungen sind insbesondere bei größeren Datenmengen Histogrammen vorzuziehen Deskriptive Statistik WiSe 2015/2016 Helmut Küchenhoff (Institut für Statistik, LMU) 157 / 355