Verteilungsfunktion und dquantile

Transkript

1 Statistik 1 für SoziologInnen Verteilungsfunktion und dquantile Univ.Prof. Dr. Marcus Hudec Kumulierte Häufigkeiten Hinweis: Damit die Kumulation inhaltlich sinnvoll ist, muss das Merkmal zumindest ordinal skaliert sein! Oft ist man nicht an der Häufigkeit einzelner Merkmalsausprägungen interessiert, sondern an der Häufigkeit von Intervallen. Typische Fragestellung: Wie groß ist der Anteil aller Merkmalsträger mit einem Merkmalswert größer (bzw. kleiner) als ein bestimmter Wert x? Hierzu summiert man die Häufigkeitstabelle schrittweise auf. 2 Statistik 1 - Verteilungsfunktion und Quantile 1

2 Kumulierte Häufigkeiten bei diskreten Merkmalen Beispiel: "Produktives Denken" i x i n i N i h i h i in % H i H i in % ,00 000% 0,00% 000 0,00 000% 0,00% ,00 0,00% 0,00 0,00% ,00 0,00% 0,00 0,00% ,06 5,83% 0,06 5,83% ,10 10,00% 0,16 15,83% ,32 31,67% 0,48 47,50% ,24 24,17% 0,72 71,67% ,23 22,50% 0,94 94,17% ,05 5,00% 0,99 99,17% ,01 0,83% 1,00 100,00% Gesamt 120 1,00 100,00% 3 Statistik 1 - Verteilungsfunktion und Quantile Kumulierte Häufigkeiten Die absoluten kumulierten Häufigkeiten geben die Anzahl der Beobachtungen an, die einen bestimmten Wert x nicht übertreffen. N(X x) z.b. 19 Personen haben einen Score-Wert kleiner gleich 4 Die entsprechenden relativen kumulierten Häufigkeiten bezeichnen wir mit H(X x) = N(X x)/n z.b. 15,8% der Personen haben einen Score-Wert kleiner gleich 4 Sie geben uns den Anteil der Beobachtungen mit einem Wert kleiner gleich x an. Die empirische Verteilungsfunktion F(x) ist definiert durch F(x) = H(X x) 4 Statistik 1 - Verteilungsfunktion und Quantile 2

3 Empirische Verteilungsfunktion F(x) 72% aller Testteilnehmer haben einen Wert kleiner gleich 6 erzielt 5 Statistik 1 - Verteilungsfunktion und Quantile Interpolation macht keinen Sinn Beachte: Bei diskreten Merkmalen ist eine Interpolation nicht zulässig! 6 Statistik 1 - Verteilungsfunktion und Quantile 3

4 Falls ein Linienzug gewünscht wird, gibt nur eine Treppenkurve ein korrektes Bild der Verteilung 7 Statistik 1 - Verteilungsfunktion und Quantile Kumulierte Häufigkeiten (Einzeldaten) Größe Häufigkeit rel. Häufigkeit kumul. Rel. Häufigkeit ,00 0, ,00 0, ,00 0, ,01 0, ,01 0, ,01, 0,03, ,00 0, ,01 0, ,00 0, ,00 0, ,03 0, ,01 0, ,02 0, ,01 0, ,03 0, ,03 0, ,04 0, ,03 0, ,02 0, ,02 0, ,05 0, ,03 0, ,04 0, ,07 0, ,05 0, ,04 0,56 Größe Häufigkeit rel. Häufigkeit kumul. Rel. Häufigkeit ,04 0, ,05 0, ,03 0, ,03 0, ,05 0, ,01 0, ,04 0, ,02 0, ,02 0, ,02 0, ,02 0, ,04 0, ,03 0, ,00 0, ,01 0, ,00 0, ,00 0, ,00 0, ,00 0, ,01 0, ,01 0, ,01 1, ,00 1, ,00 1, ,00 1,00 Kumulierte relative Häufigkeiten ~ Empirische Verteilungsfunktion 8 Statistik 1 - Verteilungsfunktion und Quantile 4

5 Empirische Verteilungsfunktion 1,00 0,80 0,60 0,40 0,20 Graphische Darstellung ~ Treppenfunktion 0, Statistik 1 - Verteilungsfunktion und Quantile Empirische Verteilungsfunktion (Leseprobe) % der Studenten sind 60% < 176 kleiner gleich 176 cm Statistik 1 - Verteilungsfunktion und Quantile 5

6 Eigenschaften der empirischen Verteilungsfunktion Treppenfunktion Bei jedem beobachteten Wert findet sich ein vertikaler Anstieg Die Höhe des Anstiegs beim Wert x i ist n(x=x i )/n = h(x i ) gleich der relativen Häufigkeit dieses Wertes Hohe Sprünge ~ häufiger Wert Steiler Verlauf ~ hohe Wertedichte Treten in einem Wertebereich keine Werte auf, so verläuft die empirische Verteilungsfunktion in diesem Bereich horizontal 11 Statistik 1 - Verteilungsfunktion und Quantile Unterschiedliche Sprunghöhen 1,00 0,80 0,60 0,40 h(x=174)=0.05 0,20 h(x=163)= , Statistik 1 - Verteilungsfunktion und Quantile 6

7 Konstante Bereiche ~ keine Werte Empirische Verteilungsfunktion keine Werte 158 bzw kg 13 Statistik 1 - Verteilungsfunktion und Quantile Eigenschaften der emp. Verteilungsfunktion Treppenfunktion Bei jedem beobachteten Wert findet sich ein vertikaler Anstieg Die Höhe des Anstiegs beim Wert x i ist n(x=x i )/n = h(x i ) Hohe Sprünge ~ häufiger Wert Steiler Verlauf ~ hohe Wertedichte Treten in einem Wertebereich keine Werte auf, so verläuft die emp. Verteilungsfunktion in diesem Bereich horizontal Die emp. Verteilungsfunktion ist monoton steigend Die Funktionswerte liegen zwischen 0 und 1 14 Statistik 1 - Verteilungsfunktion und Quantile 7

8 Kumulierte Häufigkeiten (klassierte Daten) Bereich n i h i N i H i 150+ bis ,03 3 0, bis ,04 7 0, bis , , bis , , bis , , bis , , bis , , bis , , bis , , bis , Gesamt Statistik 1 - Verteilungsfunktion und Quantile Verteilungsfunktion bei klassierten Daten 1 0,9 0,8 0,7 Beachte: Bei klassierten Merkmalen ist eine Interpolation als Approximation an die Treppenfunktion zulässig! 0,6 0,5 0,4 H(175)=0,56 0,3 0,2 0,1 H(170)=0,33 Klassenobergrenzen Statistik 1 - Verteilungsfunktion und Quantile 8

9 Verteilungsfunktion bei klassierten Daten Bei klassierten Daten können exakte Werte nur an den oberen Klassengrenzen bestimmt werden Ein näherungsweise Bestimmung der Werte der Verteilungsfunktion kann unter der Annahme der Gleichverteilung innerhalb der Klassen, mittels linearer Interpolation erfolgen In der Graphik bedeutet dies, dass wir die Punkte durch Geradenstücke zu einer durchgezogenen Linie verbinden Die Steigung dieser Geradenstücke entspricht der Dichte in der Klasse Man nennt diese Approximation der empirischen Verteilungsfunktion bei klassierten Daten auch die Summenkurve 17 Statistik 1 - Verteilungsfunktion und Quantile Summenkurve 1 0,9 0,8 0,7 0,6 0,5 0,4 H(175)=0,56 0,3 0,2 H(170)=0,33 0, Statistik 1 - Verteilungsfunktion und Quantile 9

10 Verteilungsfunktion bei klassierten Daten (Beispiel) Aus der Tabelle könne wir folgende Informationen ablesen 56% der Studenten sind kleiner gleich 175 cm 33% der Studenten sind kleiner gleich 170 cm Frage: Wieviel % der Studenten sind kleiner gleich 172 cm? Exakte Antwort aus klassierten Daten nicht mehr möglich Näherungsweise Lösung: Lineare Interpolation 19 Statistik 1 - Verteilungsfunktion und Quantile Interpolation Gesucht ist der Funktionswert der Summenkurve an der Stelle x: F(x)=F(u F(u i )+y F(o i ) F(u i ) x y=? F(u i ) u i oi 20 Statistik 1 - Verteilungsfunktion und Quantile 10

11 Anwendung des Strahlensatzes y : {F(o i )-F(u i )} = (x-u i ) : (o i -u i ) y : h i = (x-u i ) : b i F(x) =F(u i ) + (x-u i )/ b i *h i y=? x F(o i ) h i = F(o i )-F(u i ) F(u i ) b i = (o i -u i ) u i oi 21 Statistik 1 - Verteilungsfunktion und Quantile Im Beispiel F(x) =F(u i ) + (x-u i )/ b i *h i F(172) = 0,33 + 2/5*0,23 23 = 0,33+0,092=0,422 y=? F(u i )=0,33 x=172 F(o i )=0,56 h i = F(o i ) - F(u i )=0,23 b i = (o i -u i ) =5 u i =170 o i = Statistik 1 - Verteilungsfunktion und Quantile 11

12 Summary Die Interpolation auf der Basis der Summenkurve (klassierte Daten) hat ergeben, dass 42,2% der Studenten kleiner gleich 1,72m sind. Auf Basis der Einzeldaten (siehe Folie 8) ergab sich jedoch ein Wert von 40%. Die Abweichung begründet sich aus dem Informationsverlust, der sich durch die Klassierung ergeben hat. Solche Techniken sind für die Analyse von Sekundärdaten bedeutsam. Beachte aber dabei immer, die implizite Unschärfe. 23 Statistik 1 - Verteilungsfunktion und Quantile Konzept der Quantile Das Teilen eines geordneten Datensatz in q gleich große Teilmengen ist die Motivation für Quantile Die Quantile markieren die Grenzen zwischen aufeinanderfolgende f d Til Teilmengen Quartiles of a Distribution q(75%)=182,4 q(50%)=136,8 q(25%)=103,5 3rd Quartile (Upper Quartile) 2nd Quartile (Median) 1st Quartile (Lower Quartile) Statistik 1 - Verteilungsfunktion und Quantile 12

13 Empirisches Quantil Ausgehend von einem Anteilswert p (y-achse) wird der zugehörige Wert bestimmt, für den F(x) zum ersten mal größer als oder zumindest gleich groß wie p ist. Das bedeutet ein p-quantil ist jener möglichst kleine Merkmalswert für den gerade noch gilt, dass p-prozent der Beobachtungen kleiner gleich als eben dieser Merkmalswert sind. 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, Statistik 1 - Verteilungsfunktion und Quantile Empirisches Quantil 0 < p < 1 Datensatz: x 1,..., x n Das Empirische p-quantil x p ist dann der kleinste Wert x für den F(x) p gilt. Seien x (1),... x (n) die geordneten Werte: x p =x (k), ist also der k-te Wert in der geordneten Stichprobe, wobei k wie folgt gegeben ist: (k-1)/n < p k/n 26 Statistik 1 - Verteilungsfunktion und Quantile 13

14 Beispiele zu empirischen Quantilen Gesucht ist ein Wert, so dass 95% der Studenten kleiner gleich diesem Wert sind Datensatz Körpergröße n=100 p=0,95 x 0,95 =? (k-1)/n < p k/n (k-1) < np k (k-1) < 95 k ==> k=95 x 0,95 = 188 Datensatz produktives Denken n=120 x 0,50 =? p=0,5 (k-1) < 120*0,5 k ==> k=60 x 0,50 = 7 27 Statistik 1 - Verteilungsfunktion und Quantile Bestimmung des Quantils 1,00 0,80 0,60 F(X=188)=0,96 0,40 0,20 0, Statistik 1 - Verteilungsfunktion und Quantile 14

15 Wichtige Quantile Einige wichtige Quantile, die häufig kommuniziert werden tragen einen eigenen Namen: Terzile x 033 0,33 x 066 0,66 Quartile x 0,25 x 0,5 x 0,75 Dezile x 0,1... x 0,9 Perzentile x 0,01, x 0,02... x 0,99 Für kleine Stichproben sind Quantile nicht eindeutig definiert Beachte: Unterschiedliche Softwaresysteme verwenden leicht unterschiedliche Definitionen von Quantilen 29 Statistik 1 - Verteilungsfunktion und Quantile Anwendung von Quantilen in Einkommensstatistik Vertikale und intra-industrielle Lohn- und Gehaltsstreuung in Österreich M. Mesch, Materialien zur Wirtschaft, 2004 AK 30 Statistik 1 - Verteilungsfunktion und Quantile 15

16 Anwendung von Dezilen Quelle: Statistik Austria 31 Statistik 1 - Verteilungsfunktion und Quantile Empirische Quantile bei klassierten Daten Bei klassierten Daten ergibt sich das p-quantil durch Interpolation Ausgangspunkt ist jene Klasse, in der die kumulierten Häufigkeiten den p-wert übersteigen 32 Statistik 1 - Verteilungsfunktion und Quantile 16

17 Bestimmung des 0,5 Quantils Bereich n i h i N i H i 150+ bis ,03 3 0, bis ,04 7 0, bis , , bis , , bis , , bis , , bis , , bis , , bis , , bis , Gesamt Statistik 1 - Verteilungsfunktion und Quantile Empirische Quantile bei klassierten Daten y : b i = (p-f(u i )) : h i F(o i ) x p = u i + (p-f(u i ))/ h i *b i p y h i = F(o i )-F(u i ) F(u i ) b i = (o i -u i ) u i oi 34 Statistik 1 - Verteilungsfunktion und Quantile 17

18 Empirische Quantile bei klassierten Daten y : 5= (0,5-0,33): 0,23 F(o i )=0,56 X 0,5 = ,17/0,23*5=173,7 p=0,5 h i = F(o i )-F(u i ) =0,23 F(u i )=0,33 y b i = ( ) = Statistik 1 - Verteilungsfunktion und Quantile Empirische Quantile Beispiel: Körpergröße (Originalwerte) 1.Quartil = x Quartil = x Quartil = x 0.75 Five Digits Summary Min. 1st Qu. 2nd Qu. 3rd Qu. Max x (1) x (25) x (50) x (75) x (100) 36 Statistik 1 - Verteilungsfunktion und Quantile 18

19 Box-Plots Basierend auf den 5 zusammenfassenden Werten einer Verteilung: Minimum, 1.Quartil, 2.Quartil, 3.Quartil und Maximum lassen sich instruktive Graphiken zur Darstellung einer Verteilung entwickeln, die insbesondere zum Vergleich mehrerer Gruppen gut geeignet sind. Häufig werden die horizontal begrenzenden Linien nicht bis zum Minimum und Maximum der Daten gezogen. Die Balkenlänge wird mit der 1,5-fachen Boxhöhe begrenzt und extreme Datenwerte werden extra markiert. 37 Statistik 1 - Verteilungsfunktion und Quantile Boxplot (Box-Whisker-Plot) Maximum bzw. Obergrenze maximal 1,5-fache Boxlänge 75% Quantil Median 25% Quantil Minimum bzw. Untergrenze 38 Statistik 1 - Verteilungsfunktion und Quantile 19

20 Zur Interpretation von Boxplots 39 Statistik 1 - Verteilungsfunktion und Quantile Beispiel einer rechtsschiefen Verteilung x.r 40 Statistik 1 - Verteilungsfunktion und Quantile 20

21 Beispiel einer linksschiefen Verteilung x.l 41 Statistik 1 - Verteilungsfunktion und Quantile Vergleich von Verteilungen g g g Density Density Density

22 Vergleich von Verteilungen Pisa Studie 2000 Darstellung von E. Neuwirth 44 Statistik 1 - Verteilungsfunktion und Quantile 22

23 Pisa Studie 2000 Darstellung von E. Neuwirth 45 Statistik 1 - Verteilungsfunktion und Quantile 4 alternative Darstellungen eines Datensatzes Histogram Boxplot Fre equency Kernel Estimate Distribution Function Statistik 1 - Verteilungsfunktion und Quantile 23

24 4 alternative Darstellungen eines Datensatzes Histogram Boxplot Fre equency Kernel Estimate Distribution Function Statistik 1 - Verteilungsfunktion und Quantile Kombination von Darstellungsvarianten Die kombinierte unterschiedlicher Darstellungstypen ist durchaus empfehlenswert, um die Form der Verteilung besser zu verstehen bzw. zu kommunizieren 48 Statistik 1 - Verteilungsfunktion und Quantile 24