Deskriptive Statistik. (basierend auf Slides von Lukas Meier)

Transkript

1 Deskriptive Statistik (basierend auf Slides von Lukas Meier)

2 Deskriptive Statistik: Ziele Daten zusammenfassen durch numerische Kennzahlen. Grafische Darstellung der Daten. Quelle: Ursus Wehrli, Kunst aufräumen 1

3 Modell vs. Daten Bis jetzt haben wir nur Modelle (Verteilungen) angeschaut. Jetzt betrachten wir (erstmals) reale Daten. Vorerst treffen wir aber keine Annahmen, dass diese von einer bestimmten Verteilung kommen! D.h. wir legen uns nicht auf ein Modell fest. Basierend auf den Daten können wir diverse Kennzahlen berechnen bzw. die Daten grafisch darstellen. 2

4 Kennzahlen: Überblick Wir haben nn beobachtete Datenpunkte xx 1, xx 2,, xx nn (z.b. das Verkehrsaufkommen an nn verschiedenen Tagen oder Orten). Wir unterscheiden zwischen Lageparameter («Wo liegen die Beobachtungen auf der Mess-Skala?») arithmetisches Mittel («Durchschnitt») empirischer Median empirische Quantile Streuungsparameter («Wie streuen die Daten um ihre mittlere Lage?») empirische Varianz empirische Standardabweichung empirische Quartilsdifferenz 3

5 Arithmetisches Mittel und empirische Varianz Arithmetisches Mittel (emp. Pendant des Erwartungswerts μμ) x = 1 n nx i=1 x i Schwerpunkt der Daten Empirische Varianz (emp. Pendant der Varianz σσ 2 ) s 2 = 1 n 1 nx (x i x) 2 i=1 Empirische Standardabweichung (emp. Pendant der Standardabweichung σσ) s = p s 2 Siehe Beispiel Wandtafel 4

6 Geordnete Stichprobe Wir ordnen unseren Datensatz in aufsteigender Reihenfolge und bezeichnen die geordneten Daten mit xx ii, d.h. Die Position einer Beobachtung in der geordneten Stichprobe bezeichnet man als Rang (die kleinste Beobachtung hat also Rang 1, die grösste Beobachtung Rang nn) Sind Beobachtungen gleich gross, so teilt man ihnen in der Regel ihren durchschnittlichen Rang zu Siehe Beispiel Wandtafel 5

7 Empirische Quantile Das empirische αα 100 %-Quantil (0 < αα < 1) ist ein Wert qq αα, so dass etwa αα 100% der Datenpunkte kleiner sind als qq αα. Genau: Falls αααα N, dann: qq αα = x ( αααα ), wobei αααα die kleinste ganze Zahl grösser als αααα ist Falls αααα N, dann: qq αα = 1 2 (xx (αααα) + xx (αααα+1) ) Es gibt (viele) Variationen für die genaue Definition. Für grosse nn ist der Unterschied aber vernachlässigbar. 6

8 Empirische Quantile: Beispiel ii xx ii %-Quantil: Datensatz ist schon geordnet = N und 10.8 = 11 90%-Quantil = xx 11 = %-Quantil: = 3 3 N 25%-Quantil = 1 (xx xx 4 ) =

9 Ausgewählte Quantile Median (Zentralwert): 50%-Quantil qq 0.5 Unteres Quartil: 25%-Quantil qq 0.25 Oberes Quartil: 75%-Quantil qq 0.75 Die Differenz der Quartile qq 0.75 qq 0.25 bezeichnet man als Quartilsdifferenz, bzw. Interquartile Range (IQR). Diese ist ein Streuungsmass. Bsp. ii xx (ii) nn = 11: = 2.75 qq 0.25 = xx (3) Unteres Quartil Median Oberes Quartil = 5.5 qq 0.5 = xx (6) = 8.25 qq 0.75 = xx (9) IQR = = 5.5 8

10 Arithmetisches Mittel vs. Median: Einkommen [k CHF] 7 Beobachtungen Median xx 9

11 Median xx Median Der Median und die Quartilsdifferenz sind robuste Kennzahlen für die Lage und die Streuung der Daten, d.h., sie werden nicht gross von Ausreissern beeinflusst. Mittelwert und Standardabweichung sind nicht robust xx 10

12 Arithmetisches Mittel vs. Median 11

13 Grafische Darstellungen: Überblick Wir behandeln folgende Darstellungen: Histogramm Boxplot empirische kumulative Verteilungsfunktion 12

14 Histogramm Aufteilung des Wertebereichs in Intervalle der Breite h. Zähle Anzahl Beobachtungen in jedem Intervall. Graphische Darstellung mit Balken. Höhe der Balken ist #(BBBBBBBBBBBBBBBBBBBBBBBBB iiii IIIIIIIIIIIIIIIIII) nnn Die Gesamtfläche unter dem Histogramm ist 1. Die Fläche über einem Intervall entspricht die relative Häufigkeit (vgl Dichte). 13

15 Old Faithful Geysir (Yellowstone): Daten Zeitspanne [Min] zwischen Ausbrüchen Eruptionsdauer [Min] Daten z.b. von hier 14

16 Histogramme der Zeitspanne Relative Häufigkeit von Wartezeiten im Intervall [70,80] ist etwa 0.02*(75-70) *(80-75) = 30% Histogramm ergibt oft einen guten Überblick: Symmetrie, Anzahl Gipfel, Lage, Streuung, Je breiter die Klassen, je mehr werden die Daten zusammengefasst ( Erosion ) 15

17 Boxplot: Schematischer Aufbau Ausreisser (falls vorhanden) Quartilsdifferenz (enthält 50% der Daten) Grösste «normale» Beobachtung Oberes Quartil Median Unteres Quartil Kleinste «normale» Beobachtung Ausreisser (falls vorhanden) 16

18 Boxplot: Schematischer Aufbau Die grösste normale Beobachtung ist definiert als die grösste Beobachtung, die höchstens 1.5 IIIIII vom oberen Quartil entfernt ist, wobei IIIIII die Quartilsdifferenz ist: Also grösster Datenwert xx ii mit xx ii qq 0.75 < 1.5 IIIIII Die kleinste normale Beobachtung ist entsprechend analog definiert mit dem unteren Quartil: Also kleinster Datenwert xx ii mit qq 0.25 xx ii < 1.5 IIIIII Ausreisser sind Punkte, die ausserhalb dieser Bereiche liegen. 17

19 Boxplot und Histogramm der Wartezeiten zwischen Eruptionen Wir sehen die verschiedenen Peaks im Boxplot nicht! 18

20 Mehrere Boxplots Mit mehreren Boxplots kann man einfach und schnell die Verteilung von verschiedenen Gruppen (Methoden, Produkte, ) vergleichen. 19

21 Schiefe symmetrisch rechtsschief linksschief 20

22 Boxplot: Bemerkungen Ein Boxplot ist eine grobere Zusammenfassung als ein Histogramm. Es eignet sich gut um mehrere Datensätze zu vergleichen. Im Boxplot sind ersichtlich: Lage Streuung Schiefe Man sieht aber z.b. nicht, ob eine Verteilung mehrere «Peaks» (Gipfel) hat. 21

23 Empirische kumulative Verteilungsfunktion Empirische kumulative Verteilungsfunktion ist definiert als der Anteil der Punkte, die kleiner als ein bestimmter Wert xx sind, d.h. Bild F n x Treppenfunktion: Sprunghöhe 1/nn bei Beobachtungen xx ii (bzw. ein Vielfaches davon, wenn es mehrere Beobachtungen mit dem gleichen Wert xx ii gibt) Zeitspanne 22

24 Modell ( Theorie ) nn Daten (beobachtete Stichprobe) Erwartungswert Arithm. Mittel x = 1 n nx i=1 x i Varianz Empirische Varianz s 2 = 1 n 1 nx (x i x) 2 i=1 Kumulative Verteilungsfunktion Empirische kumulative Verteilungsfunktion P[X x] x Dichte Histogramm (normiert auf Fläche 1) x f(x) x

25 Deskriptive Statistik: 2 Dimensionen Wir haben nun paarweise beobachtete Daten xx 1,, xx nn yy 1,, yy nn Zum Beispiel die Note der Basisprüfung (yy ii ) und die Note der Zwischenprüfung (xx ii ) der Studenten. Oder die Eruptionsdauer (yy ii ) und die Zeitspanne (xx ii ) zum vorangehenden Ausbruch des Old Faithful Geysir. Neue Grafiken/Kennzahlen: zweidimensionales Streudiagramm empirische Kovarianz und Korrelation 24

26 Zweidimensionales Streudiagramm Beispiel der Zwischen- und Basisprüfung (mit «jittering»): Basispruefung Zwischenpruefung 25

27 Zweidimensionales Streudiagramm Beispiel Old Faithful: Time to next eruption 26

28 Zusammenhänge gibt es viele Quelle: The New England Journal of Medicine 27

29 Empirische Kovarianz und Korrelation Empirische Kovarianz s xy = 1 n 1 nx (x i x)(y i y) i=1 Empirische Korrelation r xy = s xy s x s y 2 [ 1; 1] wobei ss xx, ss yy die empirischen Standardabweichungen sind. 28

30 Empirische Kovarianz und Korrelation Beitrag eines Datenpaares zur empirischen Kovarianz/Korrelation yy xx rr xxxx =

31 Empirische Korrelation: Bemerkungen Korrelation misst «nur» den linearen Zusammenhang. Das Zeichen von rr xxxx misst die «Richtung» der linearen Zusammenhang. Der Betrag rr xxxx misst die «Stärke» der linearen Zusammenhang. Quelle: Wikipedia Pass auf: Hier gibt es einen nichtlinearen Zusammenhang zwischen X und Y, der nicht von rr xxxx detektiert wird. 30

32 Empirische Korrelation: ein anderes klassisches Beispiel y Corr = 0.82 y Corr = x1 x2 y Corr = 0.82 y Corr = x3 x4 Man sollte die Daten immer auch anschauen, statt sich «blind» auf Kennzahlen zu verlassen. 31