Vorlesung: Statistik I für Studierende der Statistik, Mathematik & Informatik. Univariate deskriptive Statistik. Rohdaten und Datenmatrix

Transkript

1 Vorlesung: Statistik I für Studierende der Statistik, Mathematik & Informatik Univariate deskriptive Statistik Dozent: Fabian Scheipl Material: H. Küchenhoff LMU München 80 Deskriptive Statistik Rohdaten und Datenmatrix Data is merely the raw material of knowledge. Charles Wheelan Ziel: Beschreibung von Daten mit möglichst geringem Informationsverlust Eigenschaften und Strukturen sichtbar machen Graphisch und durch Kennwerte Eindimensional und mehrdimensional Zunächst keine Schlüsse auf die Grundgesamtheit oder allgemeine Phänomene (Deskription, nicht Inferenz) Daten liegen in der Regel als Datenmatrix bzw. Tabelle vor: Organisationsprinzip: tidy data (Wickham, 204): Zeilen entsprechen Untersuchungseinheiten Spalten entsprechen Merkmalen Elemente der Matrix sind die Merkmalsausprägungen Fragen mit Mehrfachnennungen als einzelne binäre Merkmale definieren Hinweise zur korrekten Eingabe u.a. auf der Stablab-Homepage 8 82

2 Beispiel: Befragung von Redakteuren Eindimensionale Häufigkeitsverteilung Ordnen der Daten nach einem Merkmal Auszählen der Häufigkeiten der einzelnen Merkmalsausprägungen Relative Häufigkeiten = Häufigkeit/Anzahl der Untersuchungseinheiten Kumulative Häufigkeiten bei ordinal oder metrisch skalierten Merkmalen sinnvoll: F (x) :=(Summe der relativen Häufigkeiten x) empirische Verteilungsfunktion Häufigkeitsverteilung: Notation Häufigkeiten I Im Weiteren: X, Y,... Bezeichnung für Merkmal n Untersuchungseinheiten x i, i {,..., n}: beobachteter Wert bzw. Merkmalsausprägung von X für i-te Beobachtung x,..., x n Rohdaten, Urliste a < a 2 <... < a k, k n der Größe nach geordnete, verschiedene Werte der Urliste x,..., x n Beispiel: Absolventenstudie Für die Variable D Ausrichtung der Diplomarbeit ist die Urliste durch die folgende Tabelle gegeben: Person i Variable D Person i Variable D Person i Variable D

3 Häufigkeiten II Absolute und relative Häufigkeiten Häufigkeitstabelle für die Variable D Ausrichtung der Diplomarbeit : Ausprägung a j absolute Häufigkeit h j relative Häufigkeit f j 2 2/36 = /36 = /36 = /36 = 0.00 h(a j ) = h j absolute Häufigkeit der Ausprägung a j, d.h. Anzahl der x i aus x,... x n mit x i = a j f (a j ) = f j = h j /n relative Häufigkeit von a j Bemerkungen: Für Nominalskalen hat die Anordnung < keine inhaltliche Bedeutung. Bei kategorialen Merkmalen k = Anzahl der Kategorien Bei stetigen Merkmalen k oft nicht oder kaum kleiner als n. h,..., h k f,..., f k absolute Häufigkeitsverteilung relative Häufigkeitsverteilung Bemerkungen: Beispiel Nettomieten I Wir greifen aus dem gesamten Datensatz des Münchner Mietspiegels die Wohnungen ohne zentrale Warmwasserversorgung (zh0 == ) und mit einer Wohnfläche kleiner als 60m 2 (wfl < 60) heraus. Wenn statt der Urliste bereits die Ausprägungen a,..., a k und ihre Häufigkeiten f,..., f k bzw. h,..., h k vorliegen, sprechen wir von Häufigkeitsdaten. Klassenbildung, gruppierte Daten: Bei metrischen, stetigen (oder quasi-stetigen) Merkmalen oft Gruppierung der Urliste durch Bildung geeigneter Klassen Die folgende Urliste zeigt, bereits der Größe nach geordnet, die Nettomieten dieser n = 6 Wohnungen: url <- " mietspiegel <- read.table(file = url, header = TRUE) klein_und_kalt <- subset(mietspiegel, zh0 == & wfl < 60) sort(klein_und_kalt[, "nm"]) ## [] ## [] ## [2] ## [3] ## [4] ## [] ## [6] Alle Werte verschieden: k = n und {x,..., x n } = {a,..., a k }; f j = 27 j =,...,

4 Beispiel Nettomieten II Grafische Darstellungen I Gruppiert man die Urliste in 6 Klassen mit gleicher Klassenbreite von 00e, so erhält man folgende Häufigkeitstabelle: gruppierung <- seq(0, 60, by = 00) klein_und_kalt[, "nm_gruppiert"] <- cut(klein_und_kalt[, "nm"], breaks = gruppierung) table(klein_und_kalt[, "nm_gruppiert"]) ## ## (0,0] (0,20] (20,30] (30,40] (40,0] (0,60] ## Ein Bild sagt mehr als tausend Worte. Klasse absolute Häufigkeit relative Häufigkeit (0,0] (0,20] (20,30] (30,40] 0.8 (40,0] (0,60] Grafische Darstellungen II Grafische Darstellungen III 93 94

5 Grafische Darstellungen IV Statistische Grafik Principles of Graphical Excellence Graphical excellence is the well-designed presentation of interesting data a matter of substance, of statistics and of design. Graphical excellence consists of complex ideas communicated with clarity, precision and efficiency. Graphical excellence is that which gives to the viewer the greatest number of ideas in the shortest time with the least ink in the smallest space. Graphical excellence is nearly always multivariate. And graphical excellence requires telling the truth about the data. Tufte, E. (200): The Visual Display of Information. Graphic Press 2nd ed Allgemeine Kriterien Wahrnehmung von Grafiken Experimente von Psychologen zeigen Hierarchie der korrekten Interpretation (Cleveland/McGill) Wahl der Skala inkl. Bereich Wahl des Prinzips (Längentreue, Flächentreue) Einbringen von anderen Visualisierungen (Piktogramme etc.) Angemessene Wahl der Variablen Angemessene Wahl der Farben. Abstände 2. Winkel 3. Flächen 4. Volumen. Farbton-Sattheit-Schwärzegrad Da Abstände am besten wahrgenommen werden, sollten diese bevorzugt verwendet werden. Cleveland, W.S., McGill, R. (984): Graphical Perception: Theory, Experimentation, and Application to the Development of Graphical Methods. JASA 79(387),

6 Typen von eindimensionalen Darstellungen Beispiel: Liniendiagramm (??) 400 Stab-, Balken- und Säulendiagramm Kreis (Torten)-Diagramm Histogramm Umsatz Jahr Beispiel: Liniendiagramm (!!) Beispiel: Streudiagramm (??) Umsatz 6000 Nettomiete Jahr Index 0 scatter plot 02

7 Beispiel: Dotplot (!?) Beispiel: Gruppierter Dotplot Nettomiete 03 (bin width = 0) Nettomiete 04 Kreisdiagramm, Tortendiagramm Tortendiagramm: Klein & Kalt Darstellung der relativen (absoluten) Häufigkeiten als Anteile Fläche eines Kreises Anwendung: Nettomiete, gruppiert (0,0] (0,20] Nominale Merkmale Ordinale Merkmale (Problem: Ordnung nicht korrekt wiedergegeben) Gruppierte Daten (20,30] (30,40] (40,0] (0,60] pie chart 0 06

8 Stabdiagramm, Säulen- und Balkendiagramm Säulendiagramm Darstellung der absoluten oder relativen Häufigkeiten als Höhen (Längen) Stabdiagramm: Trage über a,..., a k jeweils einen zur x-achse senkrechten Strich (Stab) mit Höhe h,..., h k (oder f,..., f k ) ab. Säulendiagramm wie Stabdiagramm, aber mit Rechtecken statt Strichen. Balkendiagramm: wie Säulendiagramm, aber mit vertikal statt horizontal gelegter x-achse. x-achse: Ausprägungen des Merkmals y-achse: absolute/ relative Häufigkeiten Anwendungen: Ordinale Merkmale Metrische Merkmale mit wenigen Ausprägungen Nominale Merkmale (Problem: Ordnung nicht vorhanden) Beispiel Mietspiegel: Säulendiagramm / Balkendiagramm Stapeldiagramm Darstellen der absoluten oder relativen Häufigkeiten als Länge. Die Abschnitte werden übereinander in verschiedenen Farben gestapelt. Anzahl 400 # Zimmer 4 3 Anwendungen: Ordinale Daten Gruppierte Daten Metrische Daten mit wenigen Ausprägungen Besonders geeignet für den Vergleich verschiedener Gruppen durch nebeneinander liegende Stapel. Zu beachten ist dann die Unterscheidung: relative Häufigkeit absolute Häufigkeit # Zimmer Anzahl 09 0

9 Beispiel Mietspiegel:: Stapeldiagramme Beispiel Mietspiegel: Vergleich mit Kreisdiagramm normal Anzahl rel. Häufigkeit 0.0 # Zimmer beste rel. Häufigkeit 0.0 # Zimmer normal beste Wohnlage normal beste Wohnlage 0.00 normal beste Wohnlage 2 Das Histogramm Beispiel: Nettomiete Klein & Kalt b j = b j = 20 Darstellung der relativen Häufigkeiten durch Flächen (Prinzip der Flächentreue) Vorgehen:. Aufteilung in Klassen (falls die Daten noch nicht gruppiert sind) 2. Bestimmung der relativen Häufigkeiten f j = n j n 3. Bestimmung der Höhen h j, so dass gilt b j h j = f j wobei b j : Breite der Klasse j Nettomiete b j = Nettomiete b j = Nettomiete Nettomiete 3 4

10 Histogramm Stamm-Blätter-Diagramm Anwendung bei metrischen Daten Beachte: Abhängigkeit von der Breite Klassen inhaltlich vorgeben, verschiedene Varianten ansehen Vorsicht bei Rändern Spezielles Histogramm / Balkendiagramm mit Klassen nach Dezimalsystem Einzeldaten reproduzierbar stem-and-leaf plot 6 Beispiel: Nettomiete Klein & Kalt Empirische Verteilungsfunktion stem(klein_und_kalt[, "nm"], scale = 0.) ## ## The decimal point is 2 digit(s) to the right of the ## ## 0 8 ## ## ## ## ## sort(round(klein_und_kalt$nm/0) * 0) ## [] ## [8] ## [3] ## [2] Häufigkeitsfunktion: H(x) := (Anzahl der Werte <= x) Verteilungsfunktion: F (x) = H(x)/n = (Anteil der Werte x i mit x i x) bzw. F (x) = f (a ) f (a j ) = f i, wobei a j x und a j+ > x ist. ECDF (empirical cumulative distribution function) i:a i x 7 8

11 Eigenschaften von F (x) Beispiel: F(Quadratmetermiete) für Klein & Kalt monoton wachsende Treppenfunktionen mit Sprüngen an den Ausprägungen a,..., a k Sprunghöhen: f,..., f k rechtsseitig stetig F (x) = 0 für x < a, F (x) = für x a k F(x) Nettomiete / qm 9 20 Eindimensionale statistische Kennwerte Statistische Kennwerte Lagemaßzahlen Wo liegt die Masse der Daten? Wo liegt die Mehrzahl der Daten? Wo liegt die Mitte der Daten? Welche Merkmalsausprägung ist typisch für die Häufigkeitsverteilung? Streumaßzahlen Über welchen Bereich erstrecken sich die Daten? Wie groß ist die Schwankung der Ausprägungen? 2 22

12 Lagemaß: Modus Lagemaß: Median Definition: Häufigster Wert Eigenschaften: oft nicht eindeutig nur bei gruppierten Daten oder bei Merkmalen mit wenigen Ausprägungen sinnvoll stabil bei allen eindeutigen Transformationen geeignet für alle Skalenniveaus Definition: Der Median ( x med ) ist der Wert für den gilt mindestens 0% der Daten sind kleiner oder gleich x med, mindestens 0% der Daten sind größer oder gleich x med. { x x med = (k) falls k = n+ 2 ganze Zahl ( ) 2 x(k) + x (k+) falls k = n 2 ganze Zahl x (),..., x (n) sind geordnete Werte Alternative Definition: x med [x (k), x (k+) ] falls k = n 2 ganze Zahl Eigenschaften des Medians Lagemaß: Quantil Definition: Das p-quantil ist der Wert x p für den gilt mindestens Anteil p der Daten sind kleiner oder gleich x p, mindestens Anteil p der Daten sind größer oder gleich x p. anschaulich stabil gegenüber monotonen Transformationen geeignet für ordinale Daten stabil gegenüber Ausreißern x p = { x (k) [ x (k) ; x (k+) ] falls np keine ganze Zahl und k kleinste Zahl > np falls k = np ganze Zahl Es gibt weitere Definitionen von Quantilen (in R 9 Typen!), die sich aber in der Praxis kaum unterschieden. p-quantil = (00 p)-perzentil Der Median ist das 0.-Quantil bzw. 0%-Perzentil 2 26

13 Boxplot Boxplot Einfacher Boxplot: x 0.2 = Anfang der Schachtel (Box) (= unteres Quartil) x 0.7 = Ende der Schachtel (= oberes Quartil) d Q = Länge der Schachtel (= Inter-Quartile-Range (IQR)) Der Median wird durch den Strich in der Box markiert Zwei Linien (whiskers) außerhalb der Box gehen bis zu x min und x max. Modifizierter Boxplot: whiskers werden nur bis zu x min bzw. x max gezogen, falls x min und x max innerhalb des Bereichs [z u, z o ] der Zäune liegen. Üblicherweise: z u = x 0.2.d Q, z o = x d Q Ansonsten gehen die Linien nur bis zum kleinsten bzw. größten Wert innerhalb der Zäune, die außerhalb liegenden Werte werden individuell eingezeichnet Boxplot: Beispiel Quadratmetermiete Mietspiegel Boxplot Einfacher Boxplot: Eindimensionale Darstellung auf der zugehörigen Skala Visualisieren der -Punkte-Zusammenfassung (Minimum, 2%-,0%-,7%-Perzentile, Maximum) SPSS-Output: 0 20 Nettomiete / qm Modifizierter Boxplot: 0 20 Nettomiete / qm 29 30

14 Gruppierter Boxplot: Boxplot: Vor- und Nachteile 6 +: # Zimmer 4 3 : kompakt geeignet für Vergleiche Ausreißer sichtbar Schiefe sichtbar 2 gegen Intuition (Viel Farbe wenig Daten) da Ausreißer sehr prominent Multimodale Verteilungen nicht sichtbar (Breite redundant) 0 20 Nettomiete / qm 3 32 Der Mittelwert (arithmetisches Mittel) Mittelwert bei gruppierten Daten x = n bekanntestes Lagemaß instabil gegen extreme Werte geeignet für intervallskalierte Daten Durchschnitt x i x = n x i = n (x + x x n ) = n k h j a j j= h j : Häufigkeit von a j 33 34

15 Das geometrische Mittel Das harmonische Mittel x G = n n arithmetisches Mittel auf der log-skala x g = exp ( n x i ) log(x i ) nur geeignet für positive Werte geeignet für intervallskalierte Daten Anwendung: Durchschnitt von Änderungsraten, z.b. durchschnittliche Verzinsung x H := n n x i Das harmonische Mittel entspricht dem Mittel durch Transformation t t : x H = ( n x i ) Beispiel: x,..., x n Geschwindigkeiten, mit denen jeweils Wegstrecke L zurückgelegt wird Gesamt-Geschwindigkeit: L n L x l = x H x n 3 36 Allgemeine Transformation des Mittelwerts I Allgemeine Transformation des Mittelwerts II Lineare Transformation: Für konvexe Funktionen g gilt: d.h. g(t) = a + bt y i = a + bx i ȳ = a + b x g ( n g( x) g(x) ) x i g(x i ) n (Jensen-Ungleichung) a + bx = a + b x g(x) = g( x) Allgemeine Transformation: Generell ist g(x) g( x) g konvex: Beispiel: x 2 x 2 g(λx + ( λ)y) λg(x) + ( λ)g(y) λ [0, ], x, y D g 37 38

16 Vergleich I Vergleich II Es gilt allgemein für positive x i : Beweis:. Zeige x G x: x H x G x g : t log(t) konkav, da g (t) = t < 0 2 log( x) ( log(x) ) x exp log(x) = exp ( n n log(x i) ) = ( n exp (log(x i)) ) n = x G 2. Zeige x H x G : g 2 : t exp(t) ist konvex, da g 2 (t) = exp(t) 0 Benutze ( transformierte ) Daten log(x ),..., log(x n ) ( g 2 n log(x i ) n exp(log(xi )) ) n n n x i n x i }{{} x G n x i n x i }{{} x H Getrimmtes Mittel Maße für die Streuung Um die Ausreißerempfindlichkeit von x abzuschwächen definiert man x α = n 2r n r i=r+ x (i) : geordnete x-werte r ist die größte ganze Zahl mit r nα Es wird also der Anteil α der extremsten Werte abgeschnitten: α-getrimmtes Mittel Winsorisiertes Mittel (gestutztes Mittel): Der Anteil α der extremsten Werte wird durch das entsprechende Quantil ersetzt. x (i) Spannweite Interquartilsabstand Standardabweichung und Varianz Variationskoeffizient 4 42

17 Die Spannweite (Range) Der Quartilsabstand Definition: Definition: q = x max x min Bereich in dem die Daten liegen Wichtig für Datenkontrolle: Plausibilität, Eingabe-/Codierungsfehler, etc. d Q = x 0.7 x 0.2 Größe des Bereichs in dem die mittlere Hälfte der Daten liegt Länge der Box des Boxplots Bei ordinal skalierten Daten Angabe von x 0.7 und x 0.2 : Zentraler 0%-Bereich Robust gegen Ausreißer Standardabweichung und Varianz Transformationsregel Definition: Varianz S 2 x := n Standardabweichung S x := S 2 x (x i x) 2 y i = a + bx i S y 2 = b 2 S2 x S y = b S x S x = Mittlere Abweichung vom Mittelwert Mindestens Intervallskala empfindlich gegen Ausreißer Verwende S 2 x := n n (x i x) 2 für Vollerhebungen, Division durch n nur bei Stichproben sinnvoll (Analog für S x, S y ) Varianz und Standardabweichung sind stabil mit linearen Transformationen verträglich. 4 46

18 Verschiebungssatz: Für jedes c R gilt: (x i c) 2 = (x i x) 2 + n( x c) 2 Streuungszerlegung I Seien die Daten in r Schichten aufgeteilt: x,..., x n, x n +,..., x n +n 2,..., x nr Schichtmittelwerte: c = 0 S 2 x = n S 2 x = x 2 x 2 x 2 i x 2 Schichtvarianzen: x = n x i, x 2 = +n 2 n n 2 i=n + x i, usw. Beachte: Verschiebungssatz für numerische Berechnung mit Computer nicht geeignet. 47 S x 2 = n (x i x ) 2 = n (x i x ) 2, n n S x2 2 = +n 2 (x i x 2 ) 2 = +n 2 (x i x 2 ) 2, usw. n 2 n i=n + i=n + 48 Streuungszerlegung II Variationskoeffizient Dann gilt: r Das Verhältnis von Standardabweichung und Mittelwert ist gegeben durch x = n S 2 x = n j= n j x j r n j S2 xj + n j= r n j ( x j x) 2 j= v = S x x mit x > 0 Der Variationskoeffizient hat keine Einheit und ist skalenunabhängig. Streuung Streuung Gesamtstreuung = innerhalb + zwischen der Schicht den Schichten Er ist eine Maßzahl für die relative Schwankung um den Mittelwert. 49 0

19 Mittlere absolute Abweichung (MAD) Uni- und multimodale Verteilungen Die mittlere absolute Abweichung ist definiert als unimodal = eingipflig, multimodal = mehrgipflig MAD x = n x i x MedAD x := median( x i x med ) Wegen der Jensen-Ungleichung gilt: MAD x S MAD x, MedAD x nicht so schöne theoretische Eigenschaften wie S x, klarer interpretierbar als S x weniger Ausreißer-empfindlich Das Histogramm der Zinssätze zeigt eine bimodale Verteilung. 2 Symmetrie und Schiefe I Symmetrie und Schiefe II symmetrisch Rechte und linke Häfte der Verteilung sind annähernd zueinander spiegelbildlich linkssteil Verteilung fällt nach links deutlich steiler und (rechtsschief) nach rechts langsamer ab rechtssteil Verteilung fällt nach rechts deutlich steiler und (linksschief) nach links langsamer ab Eine linkssteile (a), symmetrische (b) und rechtssteile Verteilung (c) 3 4

20 Lageregeln Maßzahlen für die Schiefe I Symmetrische und unimodale Verteilung: x x med x mod Linkssteile Verteilung: x > x med > x mod Rechtssteile Verteilung: x < x med < x mod Bei gruppierten Daten: Auch für Histogramme gültig Beachte: Form der Verteilung bleibt bei linearen Transformationen gleich. Änderung bei nichtlinearen Transformationen. Quantilskoeffizient: p = 0.2 Quartilskoeffizient Werte des Quantilskoeffizienten: g p = 0 g p > 0 g p < 0 g p = (x p x med ) (x med x p ) x p x p für symmetrische Verteilungen für linkssteile Verteilungen für rechtssteile Verteilungen 6 Maßzahlen für die Schiefe II Dichtefunktion I Momentenkoeffizient der Schiefe: g m = m 3 s 3 Werte des Momentenkoeffizienten: g m = 0 g m > 0 g m < 0 mit m 3 = n für symmetrische Verteilungen für linkssteile Verteilungen für rechtssteile Verteilungen (x i x) 3 Histogramm: - Anteil der Beob. an den Daten = Fläche unter der Kurve - Histogramm ist stückweise konstante Funktion - Problematisch: Abhängigkeit von der Wahl der Klassengrenzen - Ersetze Histogramm durch glatte Funktion f 7 8

21 Dichtefunktion II Dichte und Verteilung Verteilung, Verteilungsfunktion (distribution): Eine positive stetige Funktion heißt Dichte(-funktion) (density), wenn - f (x) 0 und - f (x)dx = Die Fläche unter der Dichte soll in etwa den relativen Häufigkeiten entsprechen, d.h. F (x 0 ) = n #{x i x i x 0 } ˆF (x 0 ) = x 0 ˆf (x)dx x 0 f (x)dx b f (x)dx n #{x i a < x i b} Quantile: Für 0 < p < ist das p-quantil x p der Wert auf der x-achse, für den gilt: a x p f (x)dx = p Der Median teilt die Fläche unter der Dichte in 2 gleich große Teile Beispiele Histogramm und Dichte Beispiele Histogramm und Dichte density 0.2 density x x 6 62

22 Beispiele Histogramm und Dichte Berechnung von Dichte-Kurven ˆf (x) = Gleitendes Histogramm n #{x i x i [x h, x + h)} 2h density 0.2 f (x) = n h K ( ) x xi h { 2 mit K(u) = für u < 0 sonst K : Kernfunktion x Kern-Dichteschätzer Bemerkungen zur Dichteschätzung K(u) sei Kernfunktion, d.h. K(u) 0 und heißt Kern-Dichteschätzer Kerne: ˆf (x) = nh ( ) x xi K h K(u)du = Epanechnikov-Kern K(u) = 3 4 ( u2 ) für u <, 0 sonst. Bisquare-Kern K(u) = 6 ( u2 ) 2 für u <, 0 sonst. Gauß-Kern K(u) = 2π exp ( 2 u2) für u R Abhängigkeit von der Bandweite h Verfahren zur Bestimmung von h aus den Daten Abhängigkeit von der Wahl des Kerns eher unbedeutend Kerndichteschätzungen sind insbesondere bei größeren Datenmengen Histogrammen vorzuziehen 6 66

23 Normalverteilung Quantile I Für x R heißt ( f (x, µ, σ) = σ 2π exp 2 ( ) ) 2 x µ Normalverteilungsdichte mit Mittelwert µ und Standardabweichung σ Für µ = 0 und σ = erhält man σ Quantile der Standardnormalverteilung: p 0% 7% 90% 9% 97.% 99% x p 0.0 (Median) ϕ(x) = exp ( 2 ) x 2 2π Quantile II Normalverteilung in der Psychologie Prozent-Regel: 68% der Beob. liegen im Interv. µ ± σ 9% der Beob. liegen im Interv. µ ± 2σ 99.7% der Beob. liegen im Interv. µ ± 3σ Skalen werden so konstruiert, dass die Verteilung in der Population einer Normalverteilung genügt. IQ : Mittelwert = 00, Standardabweichung T- Werte: Mittelwert 0, Standardabweichung 0 Sta(ndard)nine Mittelwert Standardabweichung

24 Normalverteilung in der Psychologie II Strategie zur Skalenbildung Ziehe grosse Stichprobe aus der Population Ordne Ergebnisse Zuordnung von Stanine Schema: 4% 7% 2% 7% 20% 7% 2% 7% 4% Strategie zur Skalenbildung II Normalverteilung in der technischen Statistik Ziehe grosse Stichprobe aus der Population Standardisierung (Z- Werte): z i = (x i x)/s x Reskalieren durch Multiplikation mit gewünschter Standardabweichung und Addition des gewünschten Mittelwertes. Größen in der Produktion (Längen etc.) Messfehler Größen nach geeigneter Transformation 6-Sigma 73 74

25 Überprüfung der Annahme der Normalverteilung Normal-Quantil-Plot Fragestellung: Passen die Daten zu einer Normalverteilung?. Vergleiche Histogramm, Dichteschätzer mit NV-Dichte (µ = x, σ = S) 2. Vergleiche Verteilungsfunktion, d.h. empirische Verteilungsfunktion F (x) mit Φ(t) = 3. Prüfe Schiefe = 0 4. Q-Q-Plot t f (µ, σ, t)dt Sei x (),..., x (n) die geordneten Daten. Für i =,..., n werden die (i 0.)/n-Quantile z (i) der Standardnormalverteilung berechnet. Der Normal-Quantil-Plot (Normal-Q-Q-Plot) besteht aus den Punkten im z x Koordinatensystem. (z (), x () ),..., (z (n), x (n) ) Liegen die Punkte auf einer Geraden, so passt die Normalverteilung gut zu den Daten 7 76 Q-Q-Plot I Q-Q-Plot II x x x 4 x theoretical quantiles z density theoretical quantiles z density 77 78

26 Konzentrationsmaße Lorenzkurve Motivation: Existiert eine Menge, die auf viele Individuen verteilt ist, kann es hilfreich sein zu wissen, wie diese Menge verteilt ist. Beispiele: Vermögensverteilung in einem Staat Marktanteile von Firmen in einem Segment Grundidee: Es sollen folgende Aussagen grafisch dargestellt werden: Die Ärmsten / Kleinsten x% besitzen einen Anteil von y%. Die Reichsten / Größten x% besitzen einen Anteil von y% Lorenzkurve Lorenzkurve Gestaltung: Definition: Das Merkmal darf nur positive Ausprägungen annehmen Die Gesamtsumme aller Merkmalswerte ist n j= x j = n j= x (j) Die Lorenzkurve verbindet Punktepaare bestehend aus den kumulierten Summen der nach Größe geordneten Beobachtungswerte 0 x ()... x (n) und dem relativen Anteil der Individuen, die diese kumulierte Summe besitzen. Es wird festgelegt: u (0) = 0 und v (0) = 0 Die x-achse wird in gleiche Längen aufgeteilt, deren Anzahl der der Individuen (Merkmalsausprägungen) entspricht: u i = i n, i =,..., n Die y- Werte werden wie folgt berechnet: i j= v i = x (j) n j= x, i =,..., n, (j) also dem Quotienten aus der kumulierten Summe und der Gesamtsumme. Die so errechneten Koordinatenpunkte (u i, v i ) werden in den Graphen eingetragen und mit Geraden verbunden. 8 82

27 Lorenzkurve Lorenzkurve Beispiel: Bauern teilen sich eine Ackerfläche von 00ha zu je 20ha. Beispiel: 4 Bauern besitzen nichts, besitzt alles: i x (i) u i v i i x (i) u i v i Kumulativer Anteil an Ackerfläche Kumulativer Anteil an Grundgesamtheit Kumulativer Anteil an Ackerfläche Kumulativer Anteil an Grundgesamtheit Lorenzkurve Lorenzkurve Erscheinungsbild von Lorenzkurven: Die Koordinate (u 0 ; v 0 ) ist immer (0; 0). Die Koordinate (u n ; v n ) ist immer (; ). Der konstruierte Polygonzug verläuft immer unterhalb (im Grenzfall auf) der Winkelhalbierenden. Der konstruierte Polygonzug ist (streng) monoton steigend. Die Steigung des nächsten Polygonsegments ist entweder gleich groß oder größer als die Steigung des letzten Polygonsegments. 8 86

28 Gini-Koeffizient Gini-Koeffizient Der Gini-Koeffizient bzw. das Lorenz sche Konzentrationsmaß ist eine Maßzahl, die das Ausmaß der Konzentration beschreibt. Er ist definiert als G = 2 F, wobei F die Fläche zwischen der Diagonalen und der Lorenzkurve ist. F Berechnung: Für die praktische Berechnung von G aus den Wertepaaren (u i ; v i ) stehen folgende alternative Formeln zur Verfügung: oder alternativ G = 2 n i x (i) (n + ) n x (i) n n i=i x (i) G = n Wertebereich des Gini-Koeffizienten: (v i + v i ) 0 G n n Gini-Koeffizient Herfindahl-Index Normierter Gini-Koeffizient G + : Der Gini-Koeffizient wird auf folgende Weise normiert: Er hat somit den Wertebereich G + = n n G 0 G, wobei 0 für keine Konzentration (Gleichverteilung) und für vollständige Konzentration (Monopol) steht. x,... x n seien die Daten mit x i 0. Die Anteile der Einheiten i sind wie folgt definiert: Der Herfindahhl-Index ist p i := H i := x i n j= x j \end{block} Der Wertebereich ist von $/n $ (Identische x) bis (Monopol) j= p 2 i 89 90

29 Gini-Index Einkommen weltweit Gini-Index Einkommen Deutschland - X - Einkommensverteilung (Gini-Koeffizient) 0,3 0,30 0,2 0,20 0, 0,0 0,0 0, Quelle: Berechnungen des DIW Berlin auf Basis SOEP 20. (World CIA Report 2009, Wikipedia) Ein weiteres Verteilungsmaß ist der Gini-Koeffizient. Er beschreibt auf einer Skala von null bis eins die Ungleichheit der Verteilung. Je höher der Wert, umso ungleicher ist die Verteilung. Dieses Maß zeigt eine nach 2007 rückläufige Ungleichheit der Nettoäquivalenzeinkommen auf Haushaltsebene an. Dies umfasst alle Einkommensarten (insbesondere Einkommen aus Erwerb, Renten und Pensionen, aus Vermögen und Sozialtransfers). Der Trend einer Zunahme zwischen 2000 und 200 hat sich also in der Zeit danach umgekehrt. Die Ungleichheit der Einkommen nimmt derzeit ab Reichtumsbericht 203, Bundesregierung) (Armuts- &