Statistik 2 für SoziologInnen. Stetige Zufallsvariable Normalverteilung & Exponentialverteilung

Transkript

1 Statistik 2 für SoziologInnen Stetige Zufallsvariable Normalverteilung & Exponentialverteilung Univ.Prof. Dr. Marcus Hudec Statistik 2 für SoziologInnen 1 Normalverteilung

2 Stetige Zufalls-Variable Erweitert man den Begriff der diskreten Zufallsvariable für stetige Merkmale gibt es einige technische Probleme Die Wahrscheinlichkeit einen bestimmten konkreten Wert zu beobachten ist null, da es ja unendlich viele unterschiedliche Wert gibt. Eine stetige Zufallsvariable liefert daher Wahrscheinlichkeitswerte immer nur für Intervalle. Man erhält Wahrscheinlichkeiten indem man eine Fläche evaluiert. Konkret betrachtet man das Integral unter der Dichtefunktion, die das stetige Analogon zur Wahrscheinlichkeitsfunktion bildet. Statistik 2 für SoziologInnen 2 Normalverteilung

3 Dichtefunktion f(x) Dichtefunktion 1) f(x) > 0 für alle x 2) Gesamte Fläche unter der Kurve ist 1 Einzelne Werte von f(x) können größer als 1 sein! f(x) ist eine Dichte aber keine Wahrscheinlichkeit Vergleiche dazu das Histogramm, wo auch die Fläche als Maß für die Häufigkeit fungiert Statistik 2 für SoziologInnen 3 Normalverteilung

4 Stetige Verteilungsfunktion Die theoretische Verteilungsfunktion einer steigen Zufallsvariablen X mit Dichtefunktion f(x) bezeichnen wir mit F(x) Die theoretische Verteilungsfunktion wird durch das Integral (stetiges Analogon zur Summe) definiert x F( x) P( X x) f ( udu ) Statistik 2 für SoziologInnen 4 Normalverteilung

5 Beziehung zwischen Dichte- und Verteilungsfunktion Dichtefunktion f(x) Verteilungsfunktion F(x) 0,45 1 0,4 0,35 0,3 0,25 0,2 0,15 0,1 0,8 0,6 0,4 0,2 0,05 0-3,5-3,0-2,5-2,0-1,5-1,0-0,5 0,0 0,5 1,0 1,5 2,0 2,5 3,0 3, Statistik 2 für SoziologInnen 5 Normalverteilung

6 Wahrscheinlichkeiten als Integral P(a X b) = P(X b) - P(X a) = F(b) - F(a) P(a X b) f (x)dx b a Statistik 2 für SoziologInnen 6 Normalverteilung

7 Erwartungswert und Varianz einer stetigen ZV E(X) x f(x)dx V(X) ² [x E(X)]² f (x)dx Var(X) = E(X 2 ) [E(X)] 2 Statistik 2 für SoziologInnen 7 Normalverteilung

8 Standardnormalverteilung 1720 erstmals von Abraham de Moivre beschrieben 1809 und 1816 grundlegende Arbeiten von Carl Friedrich Gauß 1870 von Adolphe Quetelet als "ideales" Histogramm verwendet alternative Bezeichnungen: Gaußsche Glockenkurve;Fehlerkurve Natürliche Prozesse Körpergröße, Gewicht von Lebewesen Messung von physikalischen Größen Messfehlermodell Variable, die sich aus der Summe von vielen zufälligen Einzelwerten ergeben zentraler Grenzwertsatz Statistik 2 für SoziologInnen 8 Normalverteilung

9 Dichtefunktion In der einfachsten Form: Standardnormalverteilung X~N(0; 1) E(X)=0 Erwartungswert = 0 V(X)=1 Varianz bzw. Standard-Abweichung =1 fx ( ) 1 2 e x 2 / 2 Statistik 2 für SoziologInnen 9 Normalverteilung

10 Die Standard-Normalverteilung Wendepunkte Statistik 2 für SoziologInnen 10 Normalverteilung

11 Die Standard-Normalverteilung Flaeche = 0, Die Wahrscheinlichkeit, dass die Zufallsvariable einen Wert im Bereich -1 bis +1 annimmt ist 68,27% Statistik 2 für SoziologInnen 11 Normalverteilung

12 Flaeche = 0, Die Wahrscheinlichkeit, dass die Zufallsvariable einen Wert im Bereich -2 bis +2 annimmt, ist rund 95% Allgemein: Bei einem normalverteilten Merkmal liegen rund 95% der Beobachtungen liegen im Bereich Erwartungswert plus/minus 2*Standardabweichung Statistik 2 für SoziologInnen 12 Normalverteilung

13 Varianten der Normalverteilung Im allgemeinen: Normalverteilung mit Erwartungswert und Varianz ² X~N( ; ²) E(X) = V(X) = ² fx ( ) 1 2 e 1 x ( ) 2 2 Statistik 2 für SoziologInnen 13 Normalverteilung

14 Verschiedene Normalverteilungen Standardnormalverteilung N(0; 0,25) Kleinere Varianz N(0; 1) Größere Varianz N(0; 4) Statistik 2 für SoziologInnen 14 Normalverteilung

15 Verschiedene Normalverteilungen N(-3; 0,25) Verschiebung und Stauchung N(0; 1) N(2; 1) Unterschiedlicher Erwartungswert bei konstanter Varianz Statistik 2 für SoziologInnen 15 Normalverteilung

16 Lineartransformation Wenn X eine normalverteilte Zufallsvariable ist, dann ist auch Y=a+bX normalverteilt. E(Y)=E(a+bX)=a+bE(X) V(Y)=V(a+bX)=b²V(X) Knapp formuliert: Sei X~N( ²) und Y=a+bX dann gilt Y~N(a+b ; b² ²) Änderung des Erwartungswertes: Verschiebung (Translation) Änderung der Varianz: Dehnung oder Stauchung der Verteilungsform Prinzipielle Gestalt der Glockenkurve bleibt erhalten Statistik 2 für SoziologInnen 16 Normalverteilung

17 Standardisierung Aus dem vorigen folgt: Sei X~N( ²) dann gilt für Z=(X- standardisierte Variable Z~N(0;1) Durch Anwendung der Standardisierung lässt sich jede Normalverteilung in die Standardnormalverteilung überführen. Daher reichen Tabellen für Wahrscheinlichkeiten der Standardnormalverteilung für alle Fragestellungen Statistik 2 für SoziologInnen 17 Normalverteilung

18 Standardisierung Anwendungsbeispiel: X sei die Körpergröße in cm von einer bestimmten Population Es sei X~N(175; 64) dann ist Z=(X-175)/8 Frage: P(167<X<183)=? P(167<X<183)= =P(( )/8<Z<( )/8)= =P(-1<Z<1)=0,6826 Bei Kenntnis des Mittelwertes und der Varianz lassen sich unter der Modellannahme, dass das Merkmal normalverteilt ist, die Wahrscheinlichkeit für alle denkmöglichen Fragestellungen mit der Standardnormalverteilung ermitteln. Statistik 2 für SoziologInnen 18 Normalverteilung

19 Bestimmung von Wahrscheinlichkeiten Die Verteilungsfunktion der Standardnormalverteilung ergibt sich durch Integration der Dichtefunktion Man findet Tabellen in fast allen Lehrbüchern Unterschiedliche Notation: Bleymüller: Schlittgen: F N (z) (z) 1 u F ( z) ( z) e du N 2 z Statistik 2 für SoziologInnen 19 Normalverteilung

20 Von der Dichte zur Verteilungsfunktion Dichtefunktion Verteilungsfunktion P(X<1)=0, P(X<1)=0, Statistik 2 für SoziologInnen 20 Normalverteilung

21 0,45 0,4 0,35 0,3 0,25 Dichtefunktion Verteilungsfunktion 1 0,8 0,6 0,2 0,15 0,4 0,1 0,2 0,05 0-3,5-3,0-2,5-2,0-1,5-1,0-0,5 0,0 0,5 1,0 1,5 2,0 2,5 3,0 3, Grenzwert: -1 Prob(Z<-1)= 0,15866 Dichtefunktion Verteilungsfunktion 0,45 1 0,4 0,35 0,3 0,25 0,2 0,15 0,1 0,8 0,6 0,4 0,2 0,05 0-3,5-3,0-2,5-2,0-1,5-1,0-0,5 0,0 0,5 1,0 1,5 2,0 2,5 3,0 3, Grenzwert: 0 Prob(Z<0)= 0,5 Dichtefunktion Verteilungsfunktion 0,45 1 0,4 0,35 0,3 0,25 0,2 0,15 0,1 0,8 0,6 0,4 0,2 0,05 0-3,5-3,0-2,5-2,0-1,5-1,0-0,5 0,0 0,5 1,0 1,5 2,0 2,5 3,0 3, Grenzwert: 1 Prob(Z<1)= 0,84134 Statistik 2 für SoziologInnen 21 Normalverteilung

22 Ausnützung der Symmetrie um Null P(Z < a) = 1 - P(Z < -a) oder P(Z < -a) = 1 - P(Z < a) aa aa P(Z>a) = P(Z<-a) Statistik 2 für SoziologInnen 22 Normalverteilung

23 Beispiel Wir wollen für eine Normalverteilung mit Erwartungswert 170 und Standardabweichung 16 die Wahrscheinlichkeit einen Wert kleiner als 180 zu erhalten ermitteln. P(X<180) = =P(Z<( )/16)=P(Z<0,625)=F N (0,625)= =0,734 Statistik 2 für SoziologInnen 23 Normalverteilung

24 Normalverteilung in Excel: NORMVERT Für eine Normalverteilung mit Erwartungswert 170 und Standardabweichung 16 gilt, dass die Wahrscheinlichkeit einen Wert kleiner als 180 zu erhalten 73,4% beträgt. Statistik 2 für SoziologInnen 24 Normalverteilung

25 Wahrscheinlichkeiten der Normalverteilung Statistik 2 für SoziologInnen 25 Normalverteilung

26 0,0300 0,7340 0,2660 0,0250 Erwartungswert: 170 Varianz: 256 Standardabweichung: 16,0000 0,0200 Grenzwert: 180 0,0150 Prob(X < 180) = 0,7340 Prob(X > 180) = 0,2660 0,0100 0,0050 Hinweis: 0, , , , , , , , , , , , , , , , , , , , , ,0000 Eingabefelder für die Parameter der Normalverteilung und dem gewünschten Grenzwert sind hellgrün markiert. Statistik 2 für SoziologInnen 26 Normalverteilung

27 X~N(175; 64) P(X<175)=? P(Z<( )/8) = (0)= 0, P(X<175) Koerpergroesse in cm P(Z<0) Standardeinheiten Statistik 2 für SoziologInnen 27 Normalverteilung

28 X~N(175; 64) P(X<175)=? P(Z<( )/8) = (0)= 0,5 P(X<181)=? P(Z<( )/8) = (0,75)= 0,7734 P(X>177)=? P(Z>( )/8)= =1-P(Z<0,25)= =1- (0,25)= =1-0,5987=0,4013 Beispiel zur Körpergröße E(X)= 175 V(X)= 64 (X)= 8 Grenzwert: 181 Dieser Wert kann variiert werden P(X<181)= 77, % P(X>181)= 22, % Statistik 2 für SoziologInnen 28 Normalverteilung

29 P(X<181)= Koerpergroesse in cm Statistik 2 für SoziologInnen 29 Normalverteilung

30 P(X>177)= Koerpergroesse in cm Statistik 2 für SoziologInnen 30 Normalverteilung

31 0,0600 0,7734 0,2266 0,0500 Erwartungswert: 175 Varianz: 64 Standardabweichung: 8,0000 0,0400 Grenzwert: 181 0,0300 Prob(X < 181) = 0,7734 Prob(X > 181) = 0,2266 0,0200 0,0100 Hinweis: 0, , , , , , , , , , , , , , , , , , , , , ,0000 Eingabefelder für die Parameter der Normalverteilung und dem gewünschten Grenzwert sind hellgrün markiert. Statistik 2 für SoziologInnen 31 Normalverteilung

32 Beispiel IQ-Test E(X)= 100 V(X)= 225 (X)= 15 4-Sigma Gesellschaft Personen mit einem IQ über 160 P(X>100+4* )=? 100+4*s= 160 P(X>160)= 0,00317% Bei ,17 1 von In Österreich leben: Menschen Österreicher in 4-Sigma 254 Statistik 2 für SoziologInnen 32 Normalverteilung

33 Wahrscheinlichkeiten für Intervalle P(a<X<b) = P(X<b) P(X<a) X~N(175; 64) P(177<X<181) =? P(X<181) - P(X<177) = =P(Z<( )/8) - P(Z<( )/8) = = (0,75) - (0,25) = = 0,7734-0,5987 = 0,1747 Statistik 2 für SoziologInnen 33 Normalverteilung

34 P(177<X<181)= Koerpergroesse in cm Statistik 2 für SoziologInnen 34 Normalverteilung

35 Erwartungswert: 175 Varianz: 64 Standardabweichung: 8,0000 0,0600 0,0500 0,5987 0,1747 0,2266 Untergrenze: 177 Obergrenze: 181 Prob(177< X < 181) = 0,1747 Prob( X < 177) = 0,5987 Prob( X > 181) = 0,2266 0,0400 0,0300 0,0200 0,0100 Hinweis: Eingabefelder für die Parameter der Normalverteilung und die Grenzwerte sind hellgrün markiert. 0, , , , , , , , , , , , , , , , , , , , , ,7200 Statistik 2 für SoziologInnen 35 Normalverteilung

36 Symmetrische Intervalle P(-1<Z<1)=? P(-1<Z<1)= (1) - (-1)= 0,8413-0,1587 = 0,6826 P(-a<Z<a)=P(Z<a)-P(Z<-a)= (a)-(1- (a))=2 (a)-1 P(-a<Z<a)=2 (a)-1 P(-1<Z<1)= 2* (1) -1=2*0,8413-1=0,6826 Statistik 2 für SoziologInnen 36 Normalverteilung

37 X~N(175; 64) Wie groß ist die Wahrscheinlichkeit, dass eine Person maximal 8 cm vom Erwartungswert abweicht? P(167<X<183) = (( )/8) - (( )/8) (1) - (-1) = 0,8413-0,1587 = 0,6827 P(167<X<183) = 2* (( )/8) -1= = 2* (1)-1 = 2*0, = 0,6827 Statistik 2 für SoziologInnen 37 Normalverteilung

38 Erwartungswert: 175 Varianz: 64 Standardabweichung: 8,0000 0,0600 0,0500 0,1587 0,6827 0,1587 maximale Abweichung: 8 0,0400 Prob(167< X < 183) = 0,6827 Prob(X < 167) = 0,1587 Prob(X > 183) = 0,1587 0,0300 0,0200 0,0100 Hinweis: Eingabefelder für die Parameter der Normalverteilung und die maximale Abweichung sind hellgrün markiert. 0, , , , , , , , , , , , , , , , , , , , , ,7200 Statistik 2 für SoziologInnen 38 Normalverteilung

39 Inverse Fragestellung Gesucht sind Quantilwerte z für die bestimmte Wahrscheinlichkeitsaussagen gelten: P(Z< z ) = (z ) = P(Z<z ) = z Nachschlagen in der Tabelle: ==> z Gesucht ist jene Körpergröße x für die gilt, daß die Wahrscheinlichkeit P(X<x )=0,9 Lösung: x = + z x = ,2816*8 Statistik 2 für SoziologInnen 39 Normalverteilung

40 Erwartungswert: 175 Varianz: 64 Standardabweichung: 8,0000 0,0600 0, ,2524 0,9000 0,1000 Wahrscheinlichkeit: 0,9 Quantil von Z~N(0;1): 1,2816 0,0400 0,0300 Grenzwert = 185,2524 Prob(185,25 < 0,9) = 0,9000 Prob(185,25 > 0,9) = 0,1000 0,0200 0,0100 Hinweis: Eingabefelder für die Parameter der Normalverteilung und der gewünschten Wahrscheinlichkeit sind hellgrün markiert. 0, , , , , , , , , , , , , , , , , , , , , ,7200 Statistik 2 für SoziologInnen 40 Normalverteilung

41 Normalverteilung in Excel: NORMINV Für eine Standardnormalverteilung gilt, dass die Wahrscheinlichkeit einen Wert kleiner als 1, zu erhalten 95% beträgt. Statistik 2 für SoziologInnen 41 Normalverteilung

42 Zentrale Schwankungsintervalle (Streubereiche) symmetrische Intervalle um den Erwartungswert [ -c; +c] Von Interesse sind Aussagen der Form a) P( -c < X < +c) =? b) P( -? < X < +?) = 1- Beispiel für a) Wie groß ist die Wahrscheinlichkeit, dass eine Person maximal 8 cm vom Erwartungswert abweicht? Beispiel für b) Wie groß ist das symmetrische Intervall in welchem Personen mit einer Wahrscheinlichkeit 1- liegen? Wir ordnen dem zentralen Schwankungsbereich die Wahrscheinlichkeit 1- zu. Dadurch kommt außerhalb des Bereichs an jedem Ende eine Randwahrscheinlichkeit von /2 zustande. Statistik 2 für SoziologInnen 42 Normalverteilung

43 Konzept zentraler Schwankungsintervalle alpha/2 1-alpha alpha/ Statistik 2 für SoziologInnen 43 Normalverteilung

44 Zentrale Schwankungsintervalle Sei X~N(, ²) so ergibt sich das zentrale Schwankungsintervall,welches eine Wahrscheinlichkeit von 1- abdeckt durch: [ -z 1- /2 ; + z 1- /2 ] bzw. P( - z 1- /2 < X < + z 1- /2 ) = 1- Für =0,1 ( =0,05; =0,01) ergibt sich aus der Tabelle für z 1- /2 d.h. P( - 1,6449 < Z < + ) = 0,9 P( - 1,96 < Z < + ) = 0,95 P( - 2,5758 < Z < + 2,5758) = 0,99 Statistik 2 für SoziologInnen 44 Normalverteilung

45 X~N(175; 64) Gesucht ist ein zentrales Schwankungsintervall, das eine Wahrscheinlichkeit von 0,95 aufweist P( - z 1- /2 < X < + z 1- /2 ) = 1- = 0,05 1- /2 = 0,975 P(175-1,96*8 < X < ,96*8) = 0,95 P(159,32 < X < 190,68) = 0,95 Falls man eine höhere Wahrscheinlichkeit anstrebt wird das Intervall größer: P(175-2,5758 *8 < X < ,5758 *8) = 0,99 P(154,39 < X < 195,61) = 0,99 Statistik 2 für SoziologInnen 45 Normalverteilung

46 Erwartungswert: 175 Varianz: 64 Standardabweichung: 8,0000 0,0600 0, ,32 0,95 190,68 Hinweis: Wahrscheinlichkeit des zentralen Intervalls 1- : 0,95 1- /2 Quantil von Z~N(0;1): 1,9600 Prob(159,32< X < 190,68) = 0,9500 Untergrenze: 159,32 Obergrenze: 190,68 0,0400 0,0300 0,0200 0,0100 Eingabefelder für die Parameter der Normalverteilung und die Wahrscheinlichkeit für das zentrale Intervall sind hellgrün markiert. 0, , , , , , , , , , , , , , , , , , , , , ,7200 Statistik 2 für SoziologInnen 46 Normalverteilung

47 Erwartungswert: 175 Varianz: 64 Standardabweichung: 8,0000 0,0600 0, ,39 0,99 195,61 Hinweis: Wahrscheinlichkeit des zentralen Intervalls 1- : 0,99 1- /2 Quantil von Z~N(0;1): 2,5758 Prob(154,39< X < 195,61) = 0,9900 Untergrenze: 154,39 Obergrenze: 195,61 0,0400 0,0300 0,0200 0,0100 Eingabefelder für die Parameter der Normalverteilung und die Wahrscheinlichkeit für das zentrale Intervall sind hellgrün markiert. 0, , , , , , , , , , , , , , , , , , , , , ,7200 Statistik 2 für SoziologInnen 47 Normalverteilung

48 Zentraler Grenzwertsatz Die Normalverteilung verdankt ihre universelle theoretische und praktische Bedeutung dem zentralen Grenzwertsatz. Unabhängig von der konkreten Ausgangsverteilung konvergiert nämlich die Verteilungsfunktion einer Summe gegen die Normalverteilung. (sehr grob formuliert) Ist die Anzahl der Summanden (n) hinreichend groß, so kann in der Praxis die Verteilung einer Summe durch die Normalverteilung approximiert werden. Die Frage, ab wann n hinreichend groß ist, hängt von der gewünschten Genauigkeit und der Form der Ausgangsverteilung ab. Statistik 2 für SoziologInnen 48 Normalverteilung

49 Exponentialverteilung Dauer von kontinuierlichen Vorgängen (Wartezeiten; Funktionszeiten technischer Geräte) Grenzübergang von der geometrischen Verteilung Pro Zeiteinheit sei die Eintrittswahrscheinlichkeit p P(X=k)=p(1-p) k bzw. P(X k)=(1-p) k Bei Verkleinerung der Zeiteinheiten muss sich die Eintrittswahrscheinlichkeit proportional ändern, damit die Wahl der Zeiteinheit das Ergebnis nicht beeinflusst: 1/2 Zeiteinheit ==> p/2 1/3 Zeiteinheit ==> p/3 Statistik 2 für SoziologInnen 49 Normalverteilung

50 Exponentialverteilung P(X k)=(1-p) k P(X k)=(1-p/2) 2k P(X k)=(1-p/3) 3k... P(X k)=(1-p/n) nk bei 1 Zeiteinheit bei 1/2 Zeiteinheit bei 1/3 Zeiteinheit bei 1/n Zeiteinheit Die kontinuierliche Betrachtung ergibt sich durch n : P(X k) = (1-p) k diskretes Modell ~ Geometrische V. P(X k) = exp(- k) stetiges Modell~ Exponential V. P(X x) = 1 - exp(- x) Verteilungsfunkt. (x 0) Statistik 2 für SoziologInnen 50 Normalverteilung

51 Exponentialverteilung Dichtefunktion f(x)=.exp(- x) Verteilungsfunkt. (x 0) P(X x) = 1 - exp(- x) y lambda = 1 lambda = 0.25 y lambda = 1 lambda = Statistik 2 für SoziologInnen 51 Normalverteilung

52 Exponentialverteilung Sei X eine exponentialverteilte Zufallsvariable mit Parameter, d.h. X~EX( ), so gilt E(X) = 1/ V(X) = 1/ ² Std.Abw(X) = 1/ Beachte: Bei der Exponentialverteilung gilt, dass der Erwartungswert identisch mit der Standardabweichung ist Die Exponentialverteilung hat eine no memory oder no ageing Eigenschaft: h(x) = f(x)/(1-f(x)) = const. h(x)... Hazardfunktion (instantaneous risk of mortality) Statistik 2 für SoziologInnen 52 Normalverteilung

53 Beispiel: Im Durchschnitt beträgt die Zeit zwischen den Ankünften zweier Kunden an einem Bedienungsschalter 2,5 Minuten. Unter der Modellannahme, dass die Zeit zwischen den Ankünften von zwei Kunden exponentialverteilt sei, ergibt sich für den Parameter =0,4 (E(X) = 1/ = 2,5) Man bestimme die Wahrscheinlichkeit, dafür, dass zwischen dem Eintreffen zweier Kunden mehr als 2 Minuten verstreichen. P(X k) = exp(- k) P(X>2)=1-P(X 2) =1-(1-exp(-0.4*2)) = exp(-0.8) = Statistik 2 für SoziologInnen 53 Normalverteilung

54 Beispiel: Es wird die Lebensdauer von 100 Glühbirnen in h beobachtet: mean(x)= ==> = var(x)= Std.Abw.(x)= Statistische Schätzung Statistik 2 für SoziologInnen 54 Normalverteilung

55 Histogramm und Exponentialverteilung Empirische Verteilung (rot) Theoretisches Verteilungsmodell auf Basis des aus den empirischen Daten geschätzten Parameters (schwarze Linie) x Statistik 2 für SoziologInnen 55 Normalverteilung

56 Beispiel: Wie groß ist die Wahrscheinlichkeit, dass 1 Glühbirne länger als 1 Jahr (=8760 h) brennt? P(X>8760)=1-P(X<8760)= 1-(1-exp( *8760)=exp(-3.919)= ~ 2% Wie groß ist die Wahrscheinlichkeit, dass 1 Glühbirne länger als 1000 h brennt? P(X>1000)=1-P(X<1000)= 1-(1-exp( *1000)=exp( )= ~ 64% Statistik 2 für SoziologInnen 56 Normalverteilung