4. Kumulierte Häufigkeiten und Quantile

Transkript

1 4. Kumulierte Häufigkeiten und Quantile Statistik für SoziologInnen 1 4. Kumulierte Häufigkeiten und Quantile Kumulierte Häufigkeiten Oft ist man nicht an der Häufigkeit einzelner Merkmalsausprägungen interessiert, sondern an der Häufigkeit von Intervallen. Typische Fragestellung: Wie groß ist der Anteil aller Merkmalsträger mit einem Merkmalswert größer (bzw. kleiner) als ein bestimmter Wert x? Hierzu summiert man die Häufigkeitstabelle schrittweise auf. Hinweis: Sinnvolle Kumulation erfordert, dass das Merkmal zumindest ordinal skaliert ist! Statistik für SoziologInnen 2 4. Kumulierte Häufigkeiten und Quantile

2 Kumulierte Häufigkeiten (klassierte Daten) Bereich n i h i N i H i 150+ bis ,03 3 0, bis ,04 7 0, bis , , bis , , bis , , bis , , bis , , bis , , bis , , bis , Gesamt Statistik für SoziologInnen 3 4. Kumulierte Häufigkeiten und Quantile Kumulierte Häufigkeiten (klassierte Daten) Bereich ni hi Ni Hi 150+ bis ,03 3 0, bis ,04 7 0, bis , , bis , , bis , , bis , , bis , , bis , , bis , , bis , Gesamt Statistik für SoziologInnen 4 4. Kumulierte Häufigkeiten und Quantile

3 Kumulierte Häufigkeiten Die absoluten kumulierten relativen Häufigkeiten geben an, wie viele Beobachtungen einen bestimmten Wert x nicht übertreffen. N(X x) z.b. 56 Studenten sind kleiner gleich 175 cm Die entsprechenden relativen kumulierten Häufigkeiten bezeichnen wir mit H(X x)=n(x x)/n z.b. 76% der Studenten sind kleiner gleich 180 cm Sie geben uns den Anteil der Beobachtungen mit einem Wert kleiner gleich x an. Die empirische Verteilungsfunktion F(x) ist definiert durch F(x)= H(X x) Statistik für SoziologInnen 5 4. Kumulierte Häufigkeiten und Quantile Kumulierte Häufigkeiten (Einzeldaten) Größe Häufigkeit rel. Häufigkeit kumul. Rel. Häufigkeit ,00 0, ,00 0, ,00 0, ,01 0, ,01 0, ,01 0, ,00 0, ,01 0, ,00 0, ,00 0, ,03 0, ,01 0, ,02 0, ,01 0, ,03 0, ,03 0, ,04 0, ,03 0, ,02 0, ,02 0, ,05 0, ,03 0, ,04 0, ,07 0, ,05 0, ,04 0,56 Größe Häufigkeit rel. Häufigkeit kumul. Rel. Häufigkeit ,04 0, ,05 0, ,03 0, ,03 0, ,05 0, ,01 0, ,04 0, ,02 0, ,02 0, ,02 0, ,02 0, ,04 0, ,03 0, ,00 0, ,01 0, ,00 0, ,00 0, ,00 0, ,00 0, ,01 0, ,01 0, ,01 1, ,00 1, ,00 1, ,00 1,00 Kumulierte relative Häufigkeiten ~ Empirische Verteilungsfunktion Statistik für SoziologInnen 6 4. Kumulierte Häufigkeiten und Quantile

4 Empirische Verteilungsfunktion 1,00 0,80 0,60 0,40 0,20 Graphische Darstellung ~ Treppenfunktion 0, Statistik für SoziologInnen 7 4. Kumulierte Häufigkeiten und Quantile Empirische Verteilungsfunktion (Leseprobe) % < Statistik für SoziologInnen 8 4. Kumulierte Häufigkeiten und Quantile

5 Eigenschaften der empirischen Verteilungsfunktion Treppenfunktion Bei jedem beobachteten Wert findet sich ein vertikaler Anstieg Die Höhe des Anstiegs beim Wert x i ist n(x=x i )/n = h(x i ) gleich der relativen Häufigkeit dieses Wertes Hohe Sprünge ~ häufiger Wert Steiler Verlauf ~ hohe Wertedichte Statistik für SoziologInnen 9 4. Kumulierte Häufigkeiten und Quantile Unterschiedliche Sprunghöhen 1,00 0,80 0,60 0,40 h(x=174)=0.05 0,20 h(x=163)= , Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

6 Eigenschaften der emp. Verteilungsfunktion Treppenfunktion Bei jedem beobachteten Wert findet sich ein vertikaler Anstieg Die Höhe des Anstiegs beim Wert x i ist n(x=x i )/n = h(x i ) Hohe Sprünge ~ häufiger Wert Steiler Verlauf ~ hohe Wertedichte Treten in einem Wertebereich keine Werte auf, so verläuft die empirische Verteilungsfunktion in diesem Bereich horizontal Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Empirische Verteilungsfunktion keine Werte 158 bzw kg Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

7 Eigenschaften der emp. Verteilungsfunktion Treppenfunktion Bei jedem beobachteten Wert findet sich ein vertikaler Anstieg Die Höhe des Anstiegs beim Wert x i ist n(x=x i )/n = h(x i ) Hohe Sprünge ~ häufiger Wert Steiler Verlauf ~ hohe Wertedichte Treten in einem Wertebereich keine Werte auf, so verläuft die emp. Verteilungsfunktion in diesem Bereich horizontal Die emp. Verteilungsfunktion ist monoton steigend Die Funktionswerte liegen zwischen 0 und 1 Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Kumulierte Häufigkeiten (klassierte Daten) Bereich n i h i N i H i 150+ bis ,03 3 0, bis ,04 7 0, bis , , bis , , bis , , bis , , bis , , bis , , bis , , bis , Gesamt Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

8 Verteilungsfunktion bei klassierten Daten 1 0,9 Kumul. relativen Häufigkeiten 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 H(175)=0,56 H(170)=0,33 0 Klassenobergrenze Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Verteilungsfunktion bei klassierten Daten Bei klassierten Daten können exakte Werte nur an den oberen Klassengrenzen bestimmt werden Ein näherungsweise Bestimmung der Werte der Verteilungsfunktion kann unter der Annahme der Gleichverteilung innerhalb der Klassen, mittels linearer Interpolation erfolgen In der Graphik bedeutet dies, dass wir die Punkte durch Geradenstücke zu einer durchgezogenen Linie verbinden Die Steigung dieser Geradenstücke entspricht der Dichte in der Klasse Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

9 Summenkurve 1 0,9 Kumul. relativen Häufigkeiten 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 H(175)=0,56 H(170)=0, Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Verteilungsfunktion bei klassierten Daten (Beispiel) Aus der Tabelle könne wir folgende Informationen ablesen 56% der Studenten sind kleiner gleich 175 cm 33% der Studenten sind kleiner gleich 170 cm Frage: Wieviel % der Studenten sind kleiner gleich 172 cm? Exakte Antwort aus klassierten Daten nicht mehr möglich Näherungsweise Lösung: Lineare Interpolation Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

10 Interpolation Funktionswerte der Summenkurve an der Stelle x: F(x)=F(u i )+y F(o i ) F(u i ) x y=? F(u i ) u i o i Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Anwendung des Strahlensatzes y : (F(o i )-F(u i )) = (x-u i ) : (o i -u i ) F(o i ) h i = F(o i )-F(u i ) x y=? F(u i ) b i = (o i -u i ) u i o i Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

11 Anwendung des Strahlensatzes y : (F(o i )-F(u i )) = (x-u i ) : (o i -u i ) y : h i = (x-u i ) : b i F(o i ) F(x) =F(u i ) + (x-u i )/ b i *h i y=? x b i = (o i -u i ) h i = F(o i )-F(u i ) F(u i ) u i o i Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Beispiel F(x) =F(u i ) + (x-u i )/ b i *h i F(172) = 0,33 + 2/5*0,23 = 0,33+0,092=0,422 F(u i )=0,33 y=? x=172 F(o i )=0,56 h i = F(o i ) - F(u i )=0,23 b i = (o i -u i ) =5 u i =170 o i =175 Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

12 Empirische Verteilungsfunktion bei diskreten Merkmalen Beispiel: "Produktives Denken" i x i h i H(X x i ) 1 0 0,00 0, ,00 0, ,00 0, ,06 0, ,10 0, ,32 0, ,24 0, ,23 0, ,05 0, ,01 1,00 Gesamt 1 Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Empirische Verteilungsfunktion "Produktives Denken" 1,000 0,800 0,600 0,400 0,200 Beachte: Bei diskreten Merkmalen ist eine Interpolation nicht zulässig! 72% aller Testteilnehmer haben einen Wert kleiner gleich 7 erzielt 0, Hier gibt nur die Treppenkurve ein korrektes Bild der Verteilung Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

13 Empirische Quantile Ausgehend von einem Anteilswert p (y-achse) wird der zugehörige Wert bestimmt, für den F(x) zum erstenmal größer als oder zumindest gleich groß wie p ist. Das bedeutet ein p-quantil ist jener möglichst kleine Merkmalswert für den gerade noch gilt, dass p-prozent der Beobachtungen kleiner gleich als eben dieser Merkmalswert sind. 0 < p < 1 Datensatz: x 1,..., x n Das Empirische p-quantil x p ist der kleinste Wert x für den F(x) p gilt. Seien x (1),... x (n) die geordneten Werte: x p =x (k),, wobei k wie folgt gegeben ist: (k-1)/n < p k/n Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Beispiele zu empirischen Quantilen Gesucht ist ein Wert, so dass 95% der Studenten kleiner gleich diesem Wert sind Datensatz Körpergröße n=100 x 0,95 =? (k-1)/n < p k/n (k-1) < np k (k-1) < 95 k ==> k=95 x 0,95 = 188 Datensatz produktives Denken n=120 x 0, 50 =? (k-1) < 60 k ==> k=60 x 0,50 = 7 Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

14 Bestimmung des Quantils 1,00 0,80 0,60 F(X=188)=0,96 0,40 0,20 0, Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Wichtige Quantile Einige wichtige Quantile, die häufig kommuniziert werden tragen einen eigenen Namen: Terzile x 0,33 x 0,66 Quartile x 0,25 x 0,5 x 0,75 Dezile x 0,1... x 0,9 Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

15 Empirische Quantile Beispiel: Körpergröße (Originalwerte) 1.Quartil = x Quartil = x Quartil = x 0.75 Five Numbers Summary Min. 1st Qu. 2nd Qu. 3rd Qu. Max x (1) x (25) x (50) x (75) x (100) Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Empirische Quantile bei klassierten Daten Bei klassierten Daten ergibt sich das p-quantil durch Interpolation Ausgangspunkt ist jene Klasse, in der die kumulierten Häufigkeiten den p-wert übersteigen Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

16 Bestimmung des 0,5 Quantils Bereich n i h i N i H i 150+ bis ,03 3 0, bis ,04 7 0, bis , , bis , , bis , , bis , , bis , , bis , , bis , , bis , Gesamt Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Empirische Quantile bei klassierten Daten y : b i = (p-f(u i )) : h i F(o i ) x p = u i + (p-f(u i ))/ h i *b i p y h i = F(o i )-F(u i ) F(u i ) b i = (o i -u i ) u i o i Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

17 Empirische Quantile bei klassierten Daten y : 5= (0,5-0,33): 0,23 F(o i )=0,56 X 0,5 = ,17/0,23*5=173,7 p=0,5 h i = F(o i )-F(u i ) =0,23 F(u i )=0,33 y b i = ( ) = Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Box-Plots Basierend auf den 5 zusammenfassenden Werten einer Verteilung: Minimum, 1.Quartil, 2.Quartil, 3.Quartil und Maximum lassen sich instruktive Graphiken zur Darstellung einer Verteilung entwickeln, die insbesondere zum Vergleich mehrerer Gruppen gut geeignet sind. Häufig werden die horizontal begrenzenden Linien nicht bis zum Minimum und Maximum der Daten gezogen. Die Balkenlänge wird mit der 1,5-fachen Boxhöhe begrenzt und extreme Datenwerte werden extra markiert. Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

18 Boxplot Maximum Oberes Quartil Mittleres Quartil Unteres Quartil Minimum Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Boxplot Maximum bzw. Obergrenze maximal 1,5-fache Boxlänge 75% Quantil Median 25% Quantil Minimum bzw. Untergrenze Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

19 Beispiel einer rechtsschiefen Verteilung x.r Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Beispiel einer linksschiefen Verteilung x.l Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

20 Vergleich zweier Verteilungen Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Vergleich zweier Verteilungen Insbesondere beim Vergleich von Verteilungen ist der Boxplot oft übersichtlicher als das Histogramm Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile

21 Body Mass Index (BMI) distributions - SABOR participants African-American Caucasian, Non-Hispanic Frequency Hispanic Other BMI Graphs by RaceEthDesc Histogramm Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile Body Mass Index (BMI) distributions SABOR participants BMI African-American Caucasian, Non-Hispanic Hispanic Box-Plots Other Statistik für SoziologInnen Kumulierte Häufigkeiten und Quantile