3 Lage- und Streuungsmaße

Transkript

1 3 Lage- und Streuungsmaße

2 3.0 Kumulierte Häufigkeiten und empirische Verteilungsfunktion Grafische Darstellungen geben einen allgemeinen Eindruck der Verteilung eines Merkmals, u.a. von Lage und Zentrum der Daten, Streuung der Daten um dieses Zentrum, Schiefe / Symmetrie und Unimodalität / Multimodalität der Daten. Oft ist (zur weiteren Informationsverdichtung) die Beschreibung einer Verteilung durch eine bzw. wenige Maßzahlen gewünscht: Lagemaße sollen die zentrale Tendenz (das Zentrum) eines Merkmals beschreiben. Streuungsmaße beschreiben die Variabilität eines Merkmals. 3 Lage- und Streuungsmaße 89

3 Lagemaße beantworten Fragen über die Häufigkeitsverteilung wie: Wo liegen die meisten Beobachtungen? Wo liegt der Schwerpunkt einer Verteilung? Wo liegt die Mitte der Beobachtungen? Was ist eine typische Beobachtung? Bemerkungen: Es gibt nicht das Lagemaß schlechthin. Die unterschiedlichen Lagemaße sind je nach Situation unterschiedlich geeignet. Die Eignung ist insbesondere abhängig von der Datensituation und dem Skalenniveau. 3 Lage- und Streuungsmaße 90

4 3.1.1 Arithmetisches Mittel Definition 3.1. Sei x 1,...,x n die Urliste eines (mindestens) intervallskalierten Merkmals X. Dann heißt n x := 1 n i=1 x i das arithmetische Mittel der Beobachtungen x 1,...,x n. Bemerkungen: Das arithmetische Mittel ist also das Lagemaß, das typischerweise als Mittelwert oder Durchschnitt bezeichnet wird. Das arithmetische Mittel muss nicht mit einer der beobachteten Ausprägungen zusammenfallen. 3 Lage- und Streuungsmaße 91

5 Beispiel: Anzahl von Statistikbüchern, die ein Student besitzt (fiktiv). Person Anzahl der Bücher i x i x = 3 Lage- und Streuungsmaße 92

6 Alternative Berechnung basierend auf Häufigkeiten: Hat das MerkmalX die Ausprägungen a 1,...,a k und die (relative) Häufigkeitsverteilung h 1,...,h k bzw. f 1,...,f k, so gilt x = 1 n k a j h j = j=1 k a j f j. j=1 Im Beispiel: Häufigkeitstabelle: bzw Lage- und Streuungsmaße 93

7 Berechnung aus den Merkmalsausprägungen: x = 1 10 ( ) = Berechnung aus der Häufigkeitsverteilung: x = 1 n = k a j h j j=1 3 Lage- und Streuungsmaße 94

8 Beispiel: Einfacher Tabellenmietspiegel Nettomiete in Euro/qm (Fallzahlen) Wohnfläche Baujahr bis 50qm 51 bis 80qm 81qm und mehr bis (45) 7.88(164) 7.52(200) 7.83(409) 1919 bis (42) 6.87(94) 6.50(52) 6.78(188) 1949 bis (129) 7.84(237) 7.95(70) 8.21(436) 1966 bis (173) 7.97(313) 7.80(156) 8.49(642) 1981 bis (45) 9.53(162) 9.72(63) 9.75(270) 1996 bis (15) 10.28(58) 9.69(35) 10.14(108) 9.43(449) 8.20(1028) 7.93(576) 8.39(2053) 3 Lage- und Streuungsmaße 95

9 Beispiel: Augenfarbe h j 0: grün 2 1: grau 2 2: rot 0 3: blau 6 x = 3 Lage- und Streuungsmaße 96

10 Bemerkungen: Das arithmetische Mittel setzt zwingend ein intervallskaliertes Merkmal voraus. Auf einem niedrigerem Skalenniveau ist die Addition nicht erlaubt, und daher sind die entsprechenden Mittelwertsbildungen sinnlos und nicht interpretierbar (auch wenn sie das Software-Paket berechnet!). Einzige Ausnahme: Binäre Merkmale (mit nur zwei Ausprägungen), deren Ausprägungen als 0/1 kodiert werden. In diesem Fall kann das arithmetische Mittel als Anteil von Beobachtungen mit Ausprägung 1 interpretiert werden. 3 Lage- und Streuungsmaße 97

11 Transformationen Die Intervallskala erlaubt lineare Transformationen der Form a + bx, die Ratioskala Transformationen der Form b X, wobei a und b feste Konstanten sind. Aus der Urliste x 1,x 2,...,x n kann man eine Urliste, nämlich der transformierten Werte y 1,y 2,...,y n mit y i = ax i +b, i = 1,...,n bestimmen. Wie verändert sich das arithmetische Mittel bei diesen oder allgemeineren Transformationen? X Y = g(x)?? x ȳ 3 Lage- und Streuungsmaße 98

12 Beispiele Lineare Transformation Y = a X +b X jährliche Ausgaben von Studenten 2009 in Euro Y jährliche Ausgaben von Studierenden 2009 in DM ohne Studiengebühren Nichtlineare Transformation Beispiel: 3 quadratische Zimmer mit den Seitenlängen 7, 4 und 10m. Sei X die Seitenlänge, dann ist und es gilt Y = g(x) = X 2 die Zimmerfläche, x = ȳ = 3 Lage- und Streuungsmaße 99

13 Satz 3.2. Arithmetisches Mittel und lineare Transformationen. Gegeben sei die Urliste x 1,...,x n eines (mindestens) intervallskalierten Merkmals X. Betrachtet wird das (linear transformierte) Merkmal Y = a X +b und die zugehörigen Ausprägungen y 1,...,y n. Dann gilt: ȳ = a x+b. Beweis: Von der Urliste x 1...x n von X zur Urliste y 1...y n von Y übergehen. Dabei gilt für jedes i: y i = a x i +b. ȳ = 1 n y i = 1 n (a x i +b) = n n = i=1 i=1 3 Lage- und Streuungsmaße 100

14 Bemerkungen: Ist X verhältnisskaliert, so geht für b 0 der natürliche Nullpunkt für Y verloren. Der Satz gilt im Allgemeinen nur, falls die Transformation von X auf Y linear ist. Z.B. ist bei Y = X 2 im Allgemeinen ȳ ( x) 2 (wie im Beispiel gezeigt). 3 Lage- und Streuungsmaße 101

15 Weitere Eigenschaften des arithmetischen Mittels: x ist derjenige Wert, den jede Beobachtungseinheit erhielte, würde man die Gesamtsumme der Merkmalsausprägungen gleichmäßig auf alle Einheiten verteilen. x ist der Schwerpunkt der x 1,...,x n, d.h. es gilt: n (x i x) = 0 i=1 Vorstellung: Für jede Beobachtung i im Punkt x i Gewicht mit 1kg hinlegen Schwerpunkt 3 Lage- und Streuungsmaße 102

16 Die Schwerpunktseigenschaft macht auch deutlich, dass extrem große und kleine Werte außerordentliche Hebelwirkung haben: lässt man die Beobachtung 12 im Beispiel weg, dann gilt: x = 13 9 = Das arithmetische Mittel ist sehr ausreißeranfällig, d.h. ein falsch gemessener Wert kann den ganzen Mittelwert zerstören. Befürchtet man Ausreißer, so weicht man gelegentlich auf das sogenannte α- getrimmte Mittel aus, bei dem man die α% größten und kleinsten Werte (z.b. α=5) weglässt, meist verwendet man den sog. Median (s.u.). 3 Lage- und Streuungsmaße 103

17 Gruppierte Daten: Häufig hat man die Daten nur in gruppierter Form vorliegen. Wie lässt sich in diesem Fall ein sinnvoller Mittelwert definieren? Typisches Beispiel: Einkommensverteilung Anzahl h l 0 x < x < x < x < x < Lage- und Streuungsmaße 104

18 Definition 3.3. Sei X ein intervallskaliertes Merkmal, das in gruppierter Form mit k Klassen [c 0,c 1 ),[c 1,c 2 ),...,[c k 1,c k ] erhoben wurde. Mit h l, l = 1,...k, als absoluter Häufigkeit der l ten Klasse, f l als zugehöriger relativer Häufigkeit und m l := c l+c l 1 2 als der jeweiligen Klassenmitte definiert man als arithmetisches Mittel für gruppierte Daten x grupp := 1 n k h lm l = l=1 k f lm l. l=1 Im Beispiel: 3 Lage- und Streuungsmaße 105

19 Bemerkungen: Bei nach oben offener letzter Kategorie (Einkommen größer als 2250), wäre die Klassenmitte nicht definiert. Im Allgemeinen gilt x x grupp ; nur in Extremfällen, z.b. wenn das Merkmal in jeder Gruppe gleichmäßig verteilt ist, erhält man die Gleichheit. x grupp hängt von der Gruppenmitte und damit von der gewählten Gruppierung ab: Fasst man z.b. die ersten drei Gruppen und die letzten beiden jeweils zusammen, so erhält man h l 0 x < x < m l und x grupp = 1 n k h lm l l=1 3 Lage- und Streuungsmaße 106

20 Im Allgemeinen ist x grupp natürlich nur eine grobe Approximation an den echten, d.h. auf ungruppierten Daten beruhenden, Mittelwert. Eigentlich kann man nur mit Sicherheit folgende Abschätzung geben: Jeder in der l-ten Gruppe verdient mindestens c l 1 und höchstens c l. Damit ergibt sich als Abschätzung für das arithmetische Mittel 1 n k h l c l 1 x 1 n l=1 k h l c l l=1 Diese Abschätzung ist oft relativ grob. Andererseits ist sie aber oft das Beste, was man ohne unüberprüfbare Zusatzannahmen aus den Daten herausholen kann. Sind die ungruppierten Daten erhältlich, so ist x vorzuziehen, da jede Gruppierung Informationsverlust mit sich bringt. Andererseits sind gruppierte Daten leichter (und oft wahrheitsgetreuer) erhebbar. 3 Lage- und Streuungsmaße 107

21 Geschichtete Daten Insbesondere bei Tertiäranalysen hat man häufig nicht die Urliste zur Verfügung, sondern nur Mittelwerte x l in einzelnenschichtenl = 1,...,z, in diedie Grundgesamtheitzerlegt ist. X: Ω R x Ω 1 Ω 2. Ω z x 1 x 2 x z }? Beachte: hier wird nicht das Merkmal sondern die Grundgesamtheit in Gruppen eingeteilt. 3 Lage- und Streuungsmaße 108

22 Beispiel: x l Durchschnittseinkommen in den einzelnen Bundesländern (l = 1,...,16) x Durchschnittseinkommen in der BRD Mittelwert der Mittelwerte 1 z z l=1 x l???? 3 Lage- und Streuungsmaße 109

23 3.1.2 Median & Quantile Wie lässt sich ein Mittelwert bei ordinalskalierten Merkmalen definieren? Das arithmetische Mittel besitzt die Schwerpunkteigenschaft n (x i x) = 0. i=1 Eine andere mögliche Schwerpunkteigenschaft: Rechts und links des Mittelwerts liegen jeweils (mindestens) 50% der Daten. Dies ergibt den Median. 3 Lage- und Streuungsmaße 110

24 Definition 3.4. Gegeben sei die Urliste x 1,...,x n eines (mindestens) ordinalskalierten Merkmals X. Jede Zahl x med mit {i x i x med } n 0.5 und {i x i x med } n 0.5 heißt Median. Beispiel: Klausurnoten 1,1,1,..., 1 2,2,2,..., 2 3,3,3,..., 3 4,4,4,..., 4 5,5,5,..., 5 } {{ } } {{ } } {{ } } {{ } } {{ } 65 mal 96 mal 91 mal 78 mal 53 mal 17% 25,1% 23,8% 20,4% 13,8% 3 Lage- und Streuungsmaße 111

25 Verallgemeinerung: Quantile Gegeben sei die Urliste x 1,...,x n eines (mindestens) ordinalskalierten Merkmals X und eine Zahl 0 < α < 1. Jede Zahl x α mit {i x i x α } n α und {i x i x α } n 1 α heißt α 100%-Quantil. Spezielle Quantile: Median: x 0.5 = x med. Quartile: x 0.25, x Dezile: x 0.1, x 0.2,..., x 0.8, x 0.9. Beispiel Klausurnoten: x 0.25 = x 0.1 = 3 Lage- und Streuungsmaße 112

26 Bemerkungen: Alternative Definition des Medians über die geordnete Urliste x (1) x (2)... x (n) : ( ) 1 2 x x med := ( n 2 ) +x ( n 2 +1 ) für n gerade x ( n+1 für n ungerade 2 ) Ähnliche Definitionen sind für andere Quantile möglich. Diese Definition ist insofern inkonsequent, als sie auf die bei ordinalen Daten (streng genommen) nicht zulässige Additionen rekurriert. Bei intervallskalierten Daten hingegen spricht vieles für diese Definition: In Grenzfällen können Quantile im Sinne der ursprünglichen Definition nicht eindeutig sein. In vielen praktisch relevanten Fällen sind beide Definitionen miteinander verträglich. Für n ungerade fallen sie stets zusammen, für n gerade stimmen sie überein, falls x ( n 2 ) = x ( n 2 +1 ). 3 Lage- und Streuungsmaße 113

27 Quantile kann man einfach an der empirischen Verteilungsfunktion ablesen: α 1 α α xα 3 Lage- und Streuungsmaße 114

28 Bei linearer Interpolation für gruppierte intervallskalierte Merkmalen definiert man die Quartile analog über den Schnittpunkt mit der Verteilungsfunktion: α x α 3 Lage- und Streuungsmaße 115

29 Transformationen: Wie ändert sich der Median bei Transformation der Daten? Satz 3.5. Sei x 1,x 2,...,x n die Urliste eines (mindestens) ordinalskalierten Merkmals X, g eine streng monoton steigende Funktion und y 1 = g(x 1 ),...,y n = g(x n ) die Urliste des Merkmals Y = g(x). Dann gilt: y med = g(x med ). Merkmal X g streng monoton Merkmal Y x med g y med 3 Lage- und Streuungsmaße 116

30 Beispiel: Drei quadratische Zimmer Für die Merkmale X (Seitenlänge) und Y = f(x) = X 2 (Fläche) galt ja mit den Daten x 1 = 7, x 2 = 4, x 3 = 10 und y 1 = x 2 1 = 49 y 2 = x 2 2 = 16 y 3 = x 2 3 = Lage- und Streuungsmaße 117

31 Der Median ist wegen seiner Invarianz gegenüber beliebigen streng monotonen Transformationen ein geeignetes Lagemaß auch in allen Situationen, in denen es trotz Intervallskala keine natürliche Maßeinheit gibt Bei vielen Einstellungsmessungen nicht klar, ob man auf einer linearen oder auf einer logarithmischen Skala messen soll. Bei Geldbeträgen ist typischerweise der Nutzen eine nichtlineare Funktion des Geldbetrags: Unterschied zwischen 1000e und 2000e ist größer als zwischen e und e. Ist X das Bruttoeinkommen und Y = lnx Geldnutzen des Bruttoeinkommens, dann gilt y med = ln(x med ). Betrachtung von sogenannten Rangstatistiken, d.h. von Verfahren, die nicht den genauen Wert einer Beobachtung an sich verwenden, sondern nur den Rangplatz. ( Verteilungsfreie Verfahren ) 3 Lage- und Streuungsmaße 118

32 3.1.3 Modus Gesucht: geeignetes Lagemaß bei auf Nominalskala gemessenen Daten Der exakte Wert der als Merkmalsausprägungen vergebenen Zahlen ist inhaltlich völlig bedeutungslos, d.h, etwas formaler: beliebige eineindeutige Transformationen verändern die inhaltliche Aussage nicht (z.b. Parteienpräferenz: ob man die Partei alphabetisch durchnummeriert oder anhand ihrer Stimmenanteile bei der letzten Wahl ändert nichts). Als Lagemaß dient der häufigste Wert: genauer die Ausprägung a j mit der größten Häufigkeit h j. Definition 3.6. Sei x 1,...,x n die Urliste eines nominalskalierten Merkmals mit den Ausprägungen a 1,...,a k und der Häufigkeitsverteilung h 1,...,h k, so heißt a j Modus x mod genau dann, wenn h j h j, für alle j = 1,...,k. 3 Lage- und Streuungsmaße 119

33 Bemerkungen: Der Modus wird auch als Modalwert bezeichnet. Existieren mehrere Ausprägungen mit der gleichen größten Häufigkeit, so ist der Modus nicht eindeutig. Der Modus unter beliebigen eineindeutigen Transformationen erhalten: Betrachtet man das Merkmal X, eine eineindeutige Transformation g und das Merkmal Y = g(x), so gilt y mod = g(x mod ). Merkmal X g eineindeutig Merkmal Y Modus x mod g Modus y mod 3 Lage- und Streuungsmaße 120

34 3.1.4 Vergleich der Lagemaße Bei intervallskalierten Daten darf man auch den Modus oder den Median anwenden, man verschenkt (bei alleiniger Verwendung) aber eventuell Information. Der Median geht nur auf die Ordnung der Beobachtungen und nicht auf die Abstände ein, der Modus gibt nur die am stärksten vertretende Ausprägung an. Anschaulich gesprochen ist der Median der mittlere Wert, was oft umgangssprachlich auch als Mittelwert bezeichnet wird. Vorsicht bei nicht statistischen Veröffentlichungen! Median und Modus sind unempfindlich gegenüber Ausreißern. 3 Lage- und Streuungsmaße 121

35 Beispiel: Einkommensverteilung Wird die größte Beobachtung verhundertfacht, so ändern sich Median und Modus nicht, das arithmetische Mittel reagiert dagegen stark. Generell ist bei der Betrachtung von Einkommen das arithmetische Mittel meist deutlich größer als der Median: Laut dem dritten Armuts- und Reichtumsbericht der Bundesregierung (2008) ist für das reale Bruttojahreseinkommen aus unselbstständiger Arbeit unter den Vollbeschäftigten für 2005 das arithmetisches Mittel der Median Lage- und Streuungsmaße 122

36 Beispiel: Statistikbücher. Häufigkeitsverteilung und zur graphischen Veranschaulichung ein maßstabtreues Pseudostabdiagramm : Häufigkeiten a 1 = 0 h 1 = 2 a 2 = 1 h 2 = 2 a 3 = 2 h 3 = 4 a 4 = 3 h 4 = 1 a 5 = 12 h 5 = Mittelwert x=2.5 x 0.25 =1 Median x med =2 x 0.75 =2 3 Lage- und Streuungsmaße 123

37 Allgemeiner gilt: Die relative Lage von x,x med,x mod zueinander kann zur Charakterisierung von Verteilungen herangezogen werden: symmetrisch: x x med x mod linkssteil: x > x med > x mod rechtssteil: x < x med < x mod x = 3.57 x med = 3 x mod = 2 3 Lage- und Streuungsmaße 124

38 x = 5 x med = 5 x mod = 5 x = 6.43 x med = 7 x mod = 8 3 Lage- und Streuungsmaße 125

39 Exkurs: Lagemaße als Lösung eines Optimierungsproblems Gegeben sei die Urliste x 1,...,x n eines intervallskalierten Merkmals X, die zu einer Zahl a zusammengefasst werden soll. Man könnte sagen, der beste Wert a ist derjenige, der den Gesamtabstand zwischen a und den Daten minimiert. Misst man den Abstand quadratisch (x a ) 2 so ergibt sich a = x linear durch den Absolutbetrag x a so ergibt sich a = x med Für alle anderen Werte a R gilt: n (x i x) 2 i=1 n (x i a) 2, i=1 n i=1 x i x med n x i a. i=1 3 Lage- und Streuungsmaße 126

40 3.1.5 Geometrisches Mittel Sei Ω = {0,...,n} eine Menge von Zeitpunkten und B(i) =: b i ein zum Zeitpunkt i erhobenes Merkmal, z.b. das Bruttosozialprodukt. Für i = 1,...,n heißt der i-te Wachstumsfaktor und x i = b i b i 1 die i-te Wachstumsrate. r i = b i b i 1 b i 1 = x i 1 Man nennt x geom := ( n i=1 x i )1 n = (x 1 x 2... x n ) 1 n das geometrische Mittel der Wachstumsfaktoren x 1,...,x n. 3 Lage- und Streuungsmaße 127

41 Beispiel : Wirtschaftwachstum gemessen zu drei Zeitpunkten. i b i x i r i Geometrisches Mittel der Wachstumsfaktoren: x geom = ( n i=1 x i )1 n = (x 1 x 2 ) 1 2 = = Lage- und Streuungsmaße 128

42 Bemerkungen: Es gilt b n = b 0 ( x geom ) n d.h. x geom ist tatsächlich ein durchschnittlicher Wachstumsfaktor, nämlich derjenige Wert, der sich aus b n und b 0 ergäbe, wenn zu allen Zeitpunkten konstantes Wachstum geherrscht hätte. Das geometrische Mittel kann auch zur Prognose (unter der Stabilitätsannahme, dass das durchschnittliches Wachstum gleich bleibt) verwendet werden: b n+q = b n ( x geom ) q, q N. 3 Lage- und Streuungsmaße 129

43 Logarithmieren liefert: ln x geom = 1 n n lnx i. i=1 Das geometrische Mittel ist also ein arithmetisches Mittel auf der logarithmierten Skala. Man kann zeigen: x geom x i.a. würde also die Angabe von x zu hohe Wachstumsraten vortäuschen. 3 Lage- und Streuungsmaße 130

44 3.1.6 Harmonisches Mittel Beispiel: Die Entfernung von A nach B sei 99 km. Herr K. humpelt von A nach B mit konstant 1 km/h und fährt zurück mit konstant 99 km/h. Wie groß ist seine Durchschnittsgeschwindigkeit? Die naive Lösung: 50 km/h ist falsch! Durchschnittsgeschwindigkeit = zurückgelegter Weg Zeit = 198 km 100 h = 1.98 km/h Allgemein: Sei x 1,...,x n mit x i 0 für alle i die Urliste eines verhältnisskalierten Merkmals X. Dann heißt 1 x har := 1 n n i=1 1 x i das harmonische Mittel der Werte x 1,...,x n. 3 Lage- und Streuungsmaße 131

45 3.2 Streuungsmaße 3.2 Streuungsmaße Eine Verteilung ist durch die Angabe von einem oder mehreren Lagemaßen nur unzureichend beschrieben. Beispiel: Häufigkeitsverteilungen mit gleicher zentraler Tendenz: geringe Variabilität mittlere Variabilität große Variabilität Lage- und Streuungsmaße 132

46 Streuungsmaße beantworten Fragen wie 3.2 Streuungsmaße Wie groß ist die durchschnittliche Abweichung vom Mittelwert? Über welchen Bereich erstrecken sich die Beobachtungen? Wie stark schwanken die Beobachtungen? Bemerkung: Von Streuung im eigentlichen Sinne kann man nur bei mindestens intervallskalierten Daten sprechen, da nur dort Abstände interpretierbar sind. (Es gibt verschiedene Versuche, ein analoges Konzept für ordinal skalierte Daten zu definieren, aber bisher hat sich keine dieser Definitionen durchgesetzt.) 3 Lage- und Streuungsmaße 133

47 3.2.1 Varianz und Standardabweichung 3.2 Streuungsmaße Sei x 1,...,x n die Urliste eines intervallskalierten Merkmals X. Dann heißt s 2 X := 1 n n (x i x) 2 i=1 die (empirische) Varianz oder Stichprobenvarianz und s X := s 2 X die empirische Streuung, Stichprobenstreuung oder Standardabweichung von X. 3 Lage- und Streuungsmaße 134

48 Bemerkungen: 3.2 Streuungsmaße Die Varianz misst die durchschnittliche quadrierte Abweichung vom Mittelwert. Vorsicht: Der Begriff Streuung wird in einem doppelten Sinne gebraucht: Allgemein als Phänomen generell ( wir suchen nach Maßzahlen zur Beschreibung der Streuung der Daten ), andererseits als eine bestimmte Maßzahl für das Problem. Durch das Quadrieren tragen negative und positive Abweichungen vom Mittelwert gleichermaßen zur Varianz bei. Die Varianz besitzt im Vergleich zum Merkmal X die quadrierte Einheit. Sie ist daher unanschaulicher zu interpretieren, besitzt aber andererseits viele mathematische Vorzüge. Die Standardabweichung wird in der gleichen Einheit gemessen wie X. 3 Lage- und Streuungsmaße 135

49 3.2 Streuungsmaße Sind die Ausprägungen a 1,...,a k mit (relativer) Häufigkeitsverteilung h 1,...,h k bzw. f 1,...,f k gegeben, so gilt s 2 X = 1 n k h j (a j x) 2 = j=1 = k f j (a j x) 2. j=1 Ist aus dem Kontext klar ersichtlich welches Merkmal betrachtet wird, so lässt man das X in der Notation auch häufig weg, schreibt also einfach s 2 und s. 3 Lage- und Streuungsmaße 136

50 Beispiel: Statistikbücher. 3.2 Streuungsmaße Häufigkeiten a 1 = 0 h 1 = 2 a 2 = 1 h 2 = 2 a 3 = 2 h 3 = 4 a 4 = 3 h 4 = 1 a 5 = 12 h 5 = Mittelwert x=2.5 x 0.25 =1 Median x med =2 x 0.75 =2 3 Lage- und Streuungsmaße 137

51 Berechnung der Varianz über die ursprüngliche Formel: 3.2 Streuungsmaße s 2 = 1 n n (x i x) 2 = i=1 = 1 10 ((0 2.5)2 +(0 2.5) 2 +(1 2.5) 2 +(1 2.5) 2 +(2 2.5) 2 +(2 2.5) 2 +(2 2.5) 2 +(2 2.5) 2 +(3 2.5) 2 +(12 2.5) 2 ) = = Lage- und Streuungsmaße 138

52 Berechnung über die Häufigkeitsverteilung: 3.2 Streuungsmaße j a j h j (a j x) (a j x) 2 (a j x) 2 h j = Summe 10 n s 2 = = s 2 = Standardabweichung: s = (Einheit: Bücher) 3 Lage- und Streuungsmaße 139

53 3.2 Streuungsmaße Transformationen: Wie ändert sich die Varianz bei (linearer) Transformation eines Merkmals? Satz 3.7. Sei x 1,...,x n die Urliste eines mindestens intervallskalierten Merkmals X mit s X > 0 und y 1,...,y n die zugehörige Urliste des Merkmals Y = a X +b. Dann gilt s 2 Y = a 2 s 2 X und s Y = a s X. 3 Lage- und Streuungsmaße 140

54 Bemerkungen: 3.2 Streuungsmaße Eine spezielle Transformation, die sogenannte Standardisierung, ist der Übergang zum Merkmal Z mit z i := x i x s X. Z besitzt arithmetisches Mittel 0 und (empirische) Varianz 1. Man erzeugt damit in gewisser Weise eine natürlich Skala. Begründung: z i lässt sich darstellen als z i = x i x s X = 1 s X x i + Anwendung der Transformationsregeln ( x ) s X 3 Lage- und Streuungsmaße 141

55 Verschiebungssatz: Es gilt 3.2 Streuungsmaße s 2 X = 1 n n x 2 i i=1 ( 1 n ) 2 n x i = x 2 ( x) 2. i=1 Achtung (sehr häufige Fehlerquelle): Der Verschiebungssatz ist sehr bequem zum Berechnen der Varianz. Allerdings können bei sehr großen Ausprägungen beim Verwenden von Taschenrechnern starke Rundungsfehler auftreten, die das Ergebnis eventuell verfälschen. Für Aufgaben von Klausurlänge aber den Verschiebungssatz verwenden! 3 Lage- und Streuungsmaße 142

56 Beispiel: Statistikbücher. Berechne die empirische Varianz mit Hilfe des Verschiebungssatzes. Anzahl Bücher: X Person i x i x 2 i Summe 25 Mittelwert 3.2 Streuungsmaße s 2 X = x 2 ( x) 2 = 17.1 (2.5) 2 = 10.85, s X = Lage- und Streuungsmaße 143

57 3.2 Streuungsmaße Varianzzerlegung / Streuungszerlegung: Varianz bei geschichteten Daten. Zur Erinnerung: Daten liegen oft in Schichten vor (v.a. bei Sekundär- und Tertiärerhebungen). Beispiel: Daten über Einkommensverteilung geschichtet nach Bundesland. Bei der Berechnung von x waren die einzelnen Besetzungszahlen sehr wichtig. Schicht 1,...,l,...,z Besetzungszahlen n 1,...,n l,...,n z ; Mittelwerte x 1,..., x l,..., x z z n l = n l=1 Varianzen s 2 1,..., s 2 l,..., s2 z Für das arithmetische Mittel gilt x = 1 n z n l x l. l=1 3 Lage- und Streuungsmaße 144

58 Seien nun sowie s 2 innerhalb := 1 z n l s 2 l n l=1 s 2 zwischen := 1 z n l ( x l x) 2 n l=1 3.2 Streuungsmaße s 2 innerhalb : durchschnittliche Varianz innerhalb der Schichten s 2 zwischen : Varianz der Durchschnittswerte zwischen den Schichten an. Wann ist s 2 zwischen = 0? s 2 innerhalb = 0? Wie setzt sich die Gesamtvarianz aus den beiden Bestandteilen zusammen? 3 Lage- und Streuungsmaße 145

59 Varianzzerlegung Es gilt 3.2 Streuungsmaße Gesamtvarianz = Varianz in. d. Schichten + Varianz zw. d. Schichten s 2 = Bemerkungen: Im Detail gilt also mit den Urlisten {x 1l,x 2l,...,x nl l} in Schicht l,l = 1,...,z, 1 n n z l ( (x il x) 2 ) = 1 n l=1 i=1 n z l (x il x l ) n l=1 i=1 z n l ( x l x) 2. l=1 Diese Zerlegungsmöglichkeit gilt nur für Varianzen, nicht aber für andere Streuungsmaße. Letztendlich ist sie der Grund für die Beliebtheit der Varianz trotz anderer Unannehmlichkeiten. Deshalb sollte man eher von der Varianzzerlegung als von der Streuungszerlegung sprechen. Bei vielen Verfahren werden Streuungszerlegungen betrachtet; dies ist ein ganz grundlegendes Prinzip in der Statistik. 3 Lage- und Streuungsmaße 146

60 Interpretation der Varianzzerlegung 3.2 Streuungsmaße Beispiel: Einkommen der einzelnen Bundesländer: Die Wichtigkeit (Erklärungskraft) der schichtbildenden Variable kann bewertet werden: je größer s 2 zwischen im Vergleich zu s2 bzw. s 2 innerhalb ist, desto mehr Variation wird durch die Schichtungsvariable erklärt. Was bedeutet: s 2 zwischen groß im Vergleich zu s2 innerhalb? 3 Lage- und Streuungsmaße 147

61 Korrigierte empirische Varianz: 3.2 Streuungsmaße Neben der empirischen Varianz existiert noch eine alternative Definition der Varianz, die korrigierte empirische Varianz. Sei x 1,...,x n die Urliste eines intervallskalierten Merkmals X. Dann heißt s 2 X := 1 n 1 n (x i x) 2 i=1 die korrigierte empirische Varianz oder korrigierte Stichprobenvarianz von X. 3 Lage- und Streuungsmaße 148

62 Bemerkungen: 3.2 Streuungsmaße 1 Der Sinn des Vorfaktors n 1 wird erst in Statistik II deutlich: s2 X schönere Eigenschaften als s 2 X. hat theoretisch Für großen Stichprobenumfang n nähern sich s 2 X und s2 X an, weil dann n 1 n. Auch für die korrigierte Varianz gilt die Aussage zu linearen Transformationen, d.h. ist x 1,...,x n die Urliste eines mindestens intervallskalierten Merkmals X mit s X > 0 und y 1,...,y n die zugehörige Urliste des Merkmals Y = a X +b. Dann gilt s 2 Y = a 2 s 2 X. 3 Lage- und Streuungsmaße 149

63 3.2.2 Weitere Streuungsmaße 3.2 Streuungsmaße Variationskoeffizient: Definition 3.8. Ist x > 0, so heißt die Größe v X := s X x Variationskoeffizient des Merkmals X. Bemerkungen: Gemessen wird hier die Streuung relativ zum Mittelwert. Insbesondere ist v X dimensionslos. Der Variationskoeffizient erlaubt beispielsweise auch den Vergleich der Streuung von Preisen, die in verschiedenen Währungen gemessen wurden. 3 Lage- und Streuungsmaße 150

64 Inter-Quartils-Abstand: Sind x 0.25 und x 0.75 das obere und das untere Quartil eines Merkmals, so heißt 3.2 Streuungsmaße d QX := x 0.75 x 0.25 der Interquartilsabstand. Median-Absolute-Deviation: Der Median der Werte x i x med, i = 1,...,n heißt Median-Absolute-Deviation von X (MAD X ). Spannweite: Die Größe heißt Spannweite von X. R X := x (n) x (1) 3 Lage- und Streuungsmaße 151

65 Bemerkungen 3.2 Streuungsmaße Alle betrachteten Streuungsmaße sind nur für (mindestens) intervallskalierte Merkmalse sinnvoll definiert, da sie auf Abständen (typischerweise dem Abstand der Beobachtungen zu einem Lagemaß) beruhen. s 2, s, s 2, s sind die gebräuchlichsten Streuungsmaße. s 2, s, s 2, s sind sehr empfindlich gegenüber Ausreißern! Das Gleiche gilt für die Spannweite R. MAD und d Q hingegen entstammen der sogenannten robusten Statistik, die sich um ausreißerresistente Methoden bemüht. Gilt x 1 = x 2 =... = x n, so weisen alle Streungsmaße den Wert 0 auf. Mit Ausnahme von d Q gilt auch die Umkehrung: Sind die Steuungsmaße (außer eben d Q ) = 0, so sind alle Werte der Urliste gleich. Eine häufige Ursache für Verwirrung und Missverständnisse liegt darin, dass der Begriff Streuung in der Statistik in einem doppelten Sinn gebraucht wird: in einem allgemeinen Sinn: Streuung als Phänomen ( Die Daten streuen stark ). in einem speziellen Sinn: als eine Maßzahl für dieses Phänomen. 3 Lage- und Streuungsmaße 152

66 Beispiel: Statistikbücher Ausprägungen h j Streuungsmaße v X = s X / x = 3.29/2.5 = Dimensionslos, normiert x 0.25 = 1 x 0.75 = 2 d QX = 1. R X = Lage- und Streuungsmaße 153

67 Ziele: 3.3 Box-Plot 3.3 Box-Plot einfache Darstellung von Verteilungen und ihrer Kennzahlen Identifikation von potentiellen Ausreißern nicht ausreißeranfällige Meßzahlen verwenden. Idee: i) markiere den Median ii) symbolisiere Lage der mittleren Werte durch eine Box iii) wie weit reichen weitere nicht atypische Werte iv) identifiziere potentielle Ausreißer: atypische (ungewöhnlich große, ungewöhnlich kleine) Werte, die genauerer Untersuchung bedürfen 3 Lage- und Streuungsmaße 154

68 3.3 Box-Plot zu ii) wähle mittlere 50%: Box hat Länge dq = x 0.75 x 0.25 zu iii) als nicht atypisch gelten alle Werte, die nicht weiter als 1.5dQ von der Box entfernt sind Also bestimme: x 0.25, x 0.50, x Interquartilsabstand: d QX = x 0.75 x 0.25 Zäune z u,z o, die am kleinsten bzw. größten Datenpunkt im Bereich x d QX ; x d QX liegen. Ausserhalb der Zäune werden alle Punkte eingezeichnet; sie sind ausreißerverdächtig. 3 Lage- und Streuungsmaße 155

69 Bemerkungen : 3.3 Box-Plot Der Box-Plot gibt einen kompakten Überblick über die Form der Verteilung (Zentrale Tendenz, Variabilität, Schiefe, extreme Werte). Vorsicht bei der Anwendung von Software! Vor allem außerhalb der Box sind auch andere Darstellungen üblich (z.b. Zäune immer bis x (1) und x (n) ). Toutenburg (2002) beispielsweise unterscheidet zwischen Ausreißern (1.5 d QX bis 3 d QX von Rändern der Box entfernt) und Extremwerten (mehr als 3 d QX vom Rand entfernt). Oft wird der Median durch einen dicken Punkt ausgedrückt. 3 Lage- und Streuungsmaße 156

70 3.3 Box-Plot Box-Plots können auch zum graphischen Vergleich von Verteilungen verwendet werden: 3 Lage- und Streuungsmaße 157