Weitere Lagemaße: Quantile/Perzentile I

Transkript

1 3 Auswertung von eindimensionalen Daten Lagemaße 3.3 Weitere Lagemaße: Quantile/Perzentile I Für jeden Median x med gilt: Mindestens 50% der Merkmalswerte sind kleiner gleich x med und ebenso mindestens 50% größer gleich x med. Verallgemeinerung dieser Eigenschaft auf beliebige Anteile geläufig, also auf Werte, zu denen mindestens ein Anteil p kleiner gleich und ein Anteil 1 p größer gleich ist, sog. p-quantilen (auch p-perzentile) x p. Mediane sind dann gleichbedeutend mit 50%-Quantilen bzw. 0.5-Quantilen, es gilt also insbesondere bei eindeutigen Medianen x med = x 0.5. Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 73

2 3 Auswertung von eindimensionalen Daten Lagemaße 3.3 Weitere Lagemaße: Quantile/Perzentile II Definition 3.5 (Quantile/Perzentile, Quartile) Sei X ein (mindestens) ordinalskaliertes Merkmal auf der Menge der vorstellbaren Merkmalsausprägungen M mit den Merkmalswerten x 1,..., x n. Für 0 < p < 1 heißt jeder Wert x p M mit der Eigenschaft #{i {1,..., n} x i x p } n p und #{i {1,..., n} x i x p } n 1 p p-quantil (auch p-perzentil) von X. Man bezeichnet spezieller das 0.25-Quantil x 0.25 als unteres Quartil sowie das 0.75-Quantil x 0.75 als oberes Quartil. Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 74

3 3 Auswertung von eindimensionalen Daten Lagemaße 3.3 Weitere Lagemaße: Quantile/Perzentile III p-quantile kann man auch mit der emp. Verteilungsfunktion F bestimmen: Mit der Abkürzung F (x 0) := lim F (x h), x R, h 0 h>0 für linksseitige Grenzwerte empirischer Verteilungsfunktionen F ist x p ist genau dann ein p-quantil, wenn gilt: F (x p 0) p F (x p ) Spezieller ist x p genau dann ein p-quantil, wenn bei Vorliegen der exakten Häufigkeitsverteilung r und Verteilungsfunktion F gilt. F (x p) r(x p) p F (x p), bei Verwendung der approximativen Verteilungsfunktion F bei klassierten Daten (wegen der Stetigkeit der Approximation!) F (x p) = p Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 75

4 3 Auswertung von eindimensionalen Daten Lagemaße 3.3 Weitere Lagemaße: Quantile/Perzentile IV Genauso wie der Median muss ein p-quantil nicht eindeutig bestimmt sein. Bei stetigen Merkmalen kann Eindeutigkeit zum Beispiel durch die gängige Festlegung { x ( n p +1) für n p / N x p = 1 2 (x ) (n p) + x (n p+1) für n p N erreicht werden, wobei x (1), x (2),..., x (n) die gemäß der vorgegebenen Ordnung sortierte Urliste ist und mit y für y R die größte ganze Zahl kleiner gleich y bezeichnet wird. Zum Beispiel ist für die (bereits sortierte) Urliste 6.77, 7.06, 8.84, 9.98, 11.87, 12.18, 12.7, der Länge n = 8 das 0.25-Quantil x 0.25 wegen n p = = 2 N nicht eindeutig bestimmt, sondern alle Werte x 0.25 [7.06, 8.84] sind 0.25-Quantile. Die eindeutige Festlegung nach obiger Konvention würde dann die Auswahl x 0.25 = 1 2 ( ) = 7.95 treffen. Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 76

5 3 Auswertung von eindimensionalen Daten Streuungsmaße 3.4 Streuungsmaße I Verdichtung der Merkmalswerte auf einen Lageparameter als einzige Kennzahl recht unspezifisch. Starke Unterschiede trotz übereinstimmender Lagemaße möglich: Stabdiagramme zu Urlisten mit identischem Mittelwert, Modus, Median Urliste 1 Urliste 2 absolute Häufigkeit absolute Häufigkeit Merkmalsausprägung Merkmalsausprägung Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 77

6 3 Auswertung von eindimensionalen Daten Streuungsmaße 3.4 Streuungsmaße II Bei kardinalskalierten Merkmalen: zusätzliche Kennzahl für Variation bzw. Streuung der Merkmalswerte von Interesse Ähnlich wie bei Lagemaßen: verschiedene Streuungsmaße gängig Allen Streuungsmaßen gemeinsam: Bezug zu Abstand zwischen Merkmalswerten Ein möglicher Abstand: (Betrag der) Differenz zwischen Merkmalswerten Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 78

7 3 Auswertung von eindimensionalen Daten Streuungsmaße 3.4 Streuungsmaße III Definition 3.6 (Spannweite, IQA, mittlere abs. Abweichung) Seien x 1,..., x n die Urliste zu einem kardinalskalierten Merkmal X, x med der Median und x 0.25 bzw. x 0.75 das untere bzw. obere Quartil von X. Dann heißt ( ( 1 SP := ) max x i i {1,...,n} ) min x i = x (n) x (1) die Spannweite von X, i {1,...,n} 2 IQA := x 0.75 x 0.25 der Interquartilsabstand (IQA) von X, 3 MAA := 1 n x i x med die mittlere absolute Abweichung von X. n i=1 Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 79

8 3 Auswertung von eindimensionalen Daten Streuungsmaße 3.4 Streuungsmaße IV Die Betragsstriche in Teil 1 und 2 von Definition 3.6 fehlen, da sie überflüssig sind. Um Eindeutigkeit in Teil 2 und 3 von Definition 3.6 zu erhalten, sind die für kardinalskalierte Merkmale üblichen Konventionen zur Berechnung von Median und Quantilen aus Folie 61 bzw. 76 anzuwenden. Verwendung von x statt x med in Teil 3 von Definition 3.6 prinzipiell möglich, aber: Beachte Folie 72! Weiterer möglicher Abstand: Quadrate der Differenzen zwischen Merkmalswerten Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 80

9 3 Auswertung von eindimensionalen Daten Streuungsmaße 3.4 Streuungsmaße V Definition 3.7 (empirische Varianz, empirische Standardabweichung) Seien x 1,..., x n die Urliste zu einem kardinalskalierten Merkmal X, x = 1 n n i=1 x i das arithmetische Mittel von X. Dann heißt 1 s 2 := 1 n (x i x) 2 die (empirische) Varianz von X, n i=1 2 die (positive) Wurzel s = s 2 1 = n n i=1 (x i x) 2 die (empirische) Standardabweichung von X. Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 81

10 3 Auswertung von eindimensionalen Daten Streuungsmaße 3.4 Streuungsmaße VI Empirische Varianz bzw. Standardabweichung sind die gebräuchlichsten Streuungsmaße. Standardabweichung s hat dieselbe Dimension wie die Merkmalswerte, daher i.d.r. besser zu interpretieren als Varianz. Für Merkmale mit positivem Mittelwert x als relatives Streuungsmaß gebräuchlich: Variationskoeffizient VK := s x Rechenregeln zur alternativen Berechnung von s bzw. s2 vorhanden. Satz 3.8 (Verschiebungssatz) Seien x 1,..., x n die Urliste zu einem kardinalskalierten Merkmal X, x das arithmetische Mittel und s 2 die empirische Varianz von X. Dann gilt s 2 = 1 n n i=1 x 2 i x 2 Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 82

11 3 Auswertung von eindimensionalen Daten Streuungsmaße 3.4 Streuungsmaße VII Mit der Schreibweise x 2 = 1 n n i=1 x i 2 erhält man aus Satz 3.8 die kürzere Darstellung s 2 = x 2 x 2. Liegt zum Merkmal X die absolute Häufigkeitsverteilung h(a) bzw. die relative Häufigkeitsverteilung r(a) auf der Menge der Ausprägungen A = {a 1,..., a m } vor, so kann s 2 auch durch s 2 = 1 n m h(a j ) (a j x) 2 = j=1 m r(a j ) (a j x) 2 berechnet werden. (Berechnung von x dann mit Häufigkeiten als x = 1 m n j=1 h(a j) a j = m j=1 r(a j) a j, siehe Bemerkung 3.4 auf Folie 67) Natürlich kann alternativ auch Satz 3.8 verwendet und x 2 = 1 n n i=1 x i 2 mit Hilfe der Häufigkeitsverteilung durch berechnet werden. x 2 = 1 n m h(a j ) aj 2 = j=1 j=1 m r(a j ) aj 2 Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 83 j=1

12 3 Auswertung von eindimensionalen Daten Streuungsmaße 3.4 Empirische Varianz bei klassierten Daten Bei klassierten Daten: auch für empirische Varianz nur Approximation möglich. Analog zur Berechnung von s 2 aus Häufigkeitsverteilungen: Näherungsweise Berechnung von s 2 aus Klassenmitten m j und absoluten bzw. relativen Klassenhäufigkeiten h j bzw. r j der l Klassen als s 2 = 1 l h j (m j x) 2 mit x = 1 l h j m j n n bzw. s 2 = j=1 l r j (m j x) 2 mit x = j=1 Alternativ: Verwendung von Satz 3.8 mit x := 1 l h j m j = n und x 2 := 1 n j=1 l h j mj 2 = j=1 j=1 l r j m j. j=1 l r j m j j=1 l r j mj 2. Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 84 j=1

13 3 Auswertung von eindimensionalen Daten Box-Plot 3.5 Box-and-whisker-Plot I Häufig von Interesse: Visueller Vergleich eines Merkmals für verschiedene statistische Massen Dazu nötig: Grafische Darstellung mit Ausdehnung (im Wesentlichen) nur in einer Dimension (2. Dimension für Nebeneinanderstellung der Datensätze) Box-and-whisker-Plot oder kürzer Box-Plot: Zur Urliste x 1,..., x n eines kardinalskalierten Merkmals werden im Prinzip die 5 Kennzahlen x (1), x 0.25, x 0.5, x 0.75, x (n) in Form eines durch x 0.5 geteilten Kästchens (Box) von x 0.25 bis x 0.75 und daran anschließende Schnurrhaare (Whisker) bis zum kleinsten Merkmalswert x (1) und zum größten Merkmalswert x (n) dargestellt: x (1) x 0.25 x 0.5 x 0.75 x (n) Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 85

14 3 Auswertung von eindimensionalen Daten Box-Plot 3.5 Box-and-whisker-Plot II (Häufig auftretende!) Ausnahme: x (1) und/oder x (n) liegen weiter als der 1.5-fache Interquartilsabstand (IQA) x 0.75 x 0.25 von der Box entfernt (also weiter als die 1.5-fache Breite der Box) Dann: Whiskers nur bis zu äußersten Merkmalswerten innerhalb dieser Distanz und separates Eintragen der Ausreißer, d.h. aller Urlisteneinträge, die nicht von der Box und den Whiskers abgedeckt werden. Beispiel mit Ausreißern : x (1) x (2) x 0.25 x 0.5 x 0.75 x (n 5) x (n) Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 86

15 3 Auswertung von eindimensionalen Daten Box-Plot 3.5 Box-and-whisker-Plot III Beispiel für Gegenüberstellung mehrerer Datensätze (Diskrete Tagesrenditen verschiedener DAX-Papiere) ADS.DE ALV.DE BAS.DE BAYN.DE BEI.DE BMW.DE CBK.DE DAI.DE Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 87

16 3 Auswertung von eindimensionalen Daten Symmetrie- und Wölbungsmaße 3.6 Symmetrie(-maß), Schiefe I Neben Lage und Streuung bei kardinalskalierten Merkmalen auch interessant: Symmetrie (bzw. Asymmetrie oder Schiefe) und Wölbung Ein Merkmal X ist symmetrisch (um x), wenn die Häufigkeitsverteilung von X x mit der von x X übereinstimmt. (Dabei ist mit X x das Merkmal mit den Urlistenelementen x i x für i {1,..., n} bezeichnet, dies gilt analog für x X.) Symmetrie eines Merkmals entspricht also der Achsensymmetrie des zugehörigen Stabdiagramms um x. Ist ein Merkmal nicht symmetrisch, ist die empirische Schiefe bzw. empirische Skewness ein geeignetes Maß für die Stärke der Asymmetrie. Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 88

17 3 Auswertung von eindimensionalen Daten Symmetrie- und Wölbungsmaße 3.6 Symmetrie(-maß), Schiefe II Definition 3.9 (empirische Schiefe, Skewness) Sei X ein Merkmal mit der Urliste x 1,..., x n. Dann heißt skewness(x ) := 1 n ( ) 3 xi x n s i=1 mit x = 1 n n i=1 x 1 n i und s = n i=1 (x i x) 2 die empirische Schiefe (Skewness) von X. Man kann zeigen: X symmetrisch skewness(x ) = 0 X heißt linkssteil oder rechtsschief, falls skewness(x ) > 0. X heißt rechtssteil oder linksschief, falls skewness(x ) < 0. Für symmetrische Merkmale ist x gleichzeitig Median von X, bei linkssteilen Merkmalen gilt tendenziell x > x med, bei rechtssteilen tendenziell x < x med. Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 89

18 3 Auswertung von eindimensionalen Daten Symmetrie- und Wölbungsmaße 3.6 Beispiele für empirische Schiefe von Merkmalen h(aj) symmetrisches Merkmal xmed x aj h(aj) skewness(x)=1.128 linkssteiles Merkmal xmed x aj h(aj) rechtssteiles Merkmal xmed x skewness(x)= aj Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 90

19 3 Auswertung von eindimensionalen Daten Symmetrie- und Wölbungsmaße 3.6 Wölbungsmaß (Kurtosis) I Definition 3.10 (empirische Wölbung, Kurtosis) Sei X ein Merkmal mit der Urliste x 1,..., x n. Dann heißt kurtosis(x ) := 1 n ( ) 4 xi x n s i=1 mit x = 1 n n i=1 x 1 n i und s = n i=1 (x i x) 2 die empirische Wölbung (Kurtosis) von X. Kurtosis misst bei Merkmalen mit einem Modalwert, wie flach (kleiner Wert) bzw. spitz (großer Wert) der Gipfel um diesen Modalwert ist. Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 91

20 3 Auswertung von eindimensionalen Daten Symmetrie- und Wölbungsmaße 3.6 Wölbungsmaß (Kurtosis) II Bei gleicher mittlerer quadratischer Abweichung vom Mittelwert ( Varianz) müssen Merkmale mit größerer emp. Kurtosis (mehr Werten in der Nähe des Gipfels) auch mehr weit vom Gipfel entfernte Merkmalswerte besitzen. Der Wert 3 wird als normaler Wert für die empirische Kurtosis angenommen, Merkmale mit 1 kurtosis(x ) < 3 heißen platykurtisch, Merkmale mit kurtosis(x ) > 3 leptokurtisch. Vorsicht: Statt der Kurtosis von X wird oft die Exzess-Kurtosis von X angegeben, die der um den Wert 3 verminderten Kurtosis entspricht. Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 92

21 3 Auswertung von eindimensionalen Daten Symmetrie- und Wölbungsmaße 3.6 Beispiele für Merkmale mit unterschiedlicher empirischer Kurtosis Merkmal mit kleiner empirischer Kurtosis (2.088) f j Merkmal mit großer empirischer Kurtosis (12.188) f j Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 93

22 3 Auswertung von eindimensionalen Daten Symmetrie- und Wölbungsmaße 3.6 Schiefe und Wölbung in grafischen Darstellungen I Box-Plots lassen auch auf empirische Schiefe und Kurtosis schließen. Bei symmetrischen Merkmalen sind auch die Box-Plots symmetrisch. Beispiel: Box-Plot zur Urliste 1, 2, 3, 4, 5, 6, 7, 8, 9: Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 94

23 3 Auswertung von eindimensionalen Daten Symmetrie- und Wölbungsmaße 3.6 Schiefe und Wölbung in grafischen Darstellungen II Bei linkssteilen Merkmalen hat tendenziell der rechte/obere Teil (rechter/oberer Teil der Box und rechter/oberer Whisker) eine größere Ausdehnung als der linke/untere Teil. Bei rechtssteilen Merkmalen hat tendenziell der rechte/obere Teil (rechter/oberer Teil der Box und rechter/oberer Whisker) eine kleinere Ausdehnung als der linke/untere Teil. Bei Merkmalen mit großer empirischer Kurtosis gibt es tendenziell viele Ausreißer, also separat eingetragene Merkmalswerte außerhalb der Whiskers (wenigstens auf einer Seite). Bei Merkmalen mit kleiner empirischer Kurtosis gibt es häufig wenige oder gar keine Ausreißer. Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 95

24 3 Auswertung von eindimensionalen Daten Symmetrie- und Wölbungsmaße 3.6 Beispiele für Merkmale mit unterschiedlicher empirischer Schiefe/Kurtosis Linkssteil mit großer emp. Kurtosis Rechtssteil mit kleiner emp. Kurtosis f j skewness(x)=2.13 kurtosis(x)=10.65 f j skewness(x)= 0.58 kurtosis(x)= Zugehörige Box-Plots: Deskriptive Statistik und Wahrscheinlichkeitsrechnung (SS 2017) Folie 96