Einführung in die statistische Datenanalyse

Einführung in die statistische Datenanalyse Jens Röder & Matthias Wieler 8.-12. Oktober 2007 Inhaltsverzeichnis 1 Deskriptive Statistik für die Explorative Datenanalyse 3 2 Zufallsvariablen 5 2.1 Grundlegende Begriffe.......................... 5 2.2 RechnenmitZufallsvariablen... 6 2.3 Rechnen mit Erwartungswert und Varianz............... 8 3 Verteilungen 9 4 Multivariate Verteilungen 12 4.1 Grundlegende Begriffe.......................... 12 4.2 Unabhängigkeit, Kovarianz, Korrelation................ 12 4.3 Multivariate Normalverteilung..................... 14 4.4 χ 2 -Verteilung............................... 14 5 Anwendung der Statistik auf Physikalische Messungen 16 5.1 Quadratwurzel-Gesetz... 16 5.2 Fehlerfortpflanzung............................ 16 Aufgaben zu den Abschnitten 1 bis 5 17 6 Testtheorie 22 6.1 Ein einführendes Beispiel: 50 Jahre Lotto am Samstag........ 22 6.2 Übung................................... 23 7 Lineare Regressionsanalyse 24 7.1 Einführung... 24 7.2 Das Lineare Regressionsmodell (LRM)................. 25 7.3 Schätzung im LRM: Die Kleinste-Quadrate-Methode......... 25 7.4 Beispiel: Airquality............................ 26 7.5 Übung................................... 28 7.6 Tests im klassischen LM......................... 29 8 Nichtlineare Regression 30 8.1 Einführung... 30 8.2 Einschub: Lineare Regression zum Zweiten............... 31 8.3 Schätzung im Nichtlinearen Regressionsmodell: Die Kleinste- Quadrate-Methode............................ 32 8.4 Beispiel:................................. 33 8.5 Tests im nichtlinearen Regressionsmodell................ 34 8.6 Übung................................... 35 1

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 2 Bücher Werner A. Stahel, Statistische Datenanalyse Ullrich Krengel, Einführung in die Wahrscheinlichkeitstheorie D.S. Sivia and J. Skilling, Data Analysis - A Bayesian Tutorial Mary L. Boas, Mathematical Methods in the Physical Sciences Ligges, Programmieren mit R

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 3 1 Deskriptive Statistik für die Explorative Datenanalyse x = {x 1,x 2,...,x n,...,x N } (1) sei eine Menge von Beobachtungen. In der Statistik nennt man diese Menge auch die Stichprobe und N den Stichprobenumfang. Der Einfachheit halber gehen wir im Folgenden davon aus, dass die Stichprobe geordnet ist, d.h. x 1 x 2 x n x N. (2) Wir führen einige nützliche Kennzahlen für eine Stichprobe ein. Mittelwert x = µ = 1 N N x n (3) Der Mittelwert ist die bekannteste und gebräuchlichste Kennzahl für die Lage oder Position der Stichprobe. n=1 Median { x x =median({x 1,x 2,...}) = (N+1)/2 falls N ungerade 1 2 x (4) N/2 + x N/2+1 falls N gerade In Worten: Die Hälfte der Beobachtungen liegt unter dem Median, die andere Hälfte liegt darüber. Der Median ist robuster gegen Ausreißer als der Mittelwert (siehe Übungen). Quantile Quantile sind eine Verallgemeinerung des Median. Nach Definition unterteilt das α-quantil q α ({x 1,x 2,...}) die Stichprobe im Verhältnis α :(1 α). Folgende Quantile haben einen speziellen Namen: Name α unteres Quartil 1/4 Median 1/2 oberes Quartil 3/4 Eine übersichtliche Darstellung des Mittelwertes, der wichtigsten Quantile und der Ausreißer (falls vorhanden) ist der sogenannte Boxplot. Skizze Die Quartilsdifferenz q 3/4 q 1/4 ist ein Maß recht geläufiges Maß für die Breite einer Verteilung.

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 4 Varianz Var(x) = 1 N 1 N (x n x) 2 (5) n=1 Die Varianz ist das wichtigste Maß für die Streuung einer Stichprobe. Der Nenner N 1 ist durch die Schätztheorie begründet. Eine wichtige Formel für die Varianz ist (der Einfachheit halber mit N im Nenner) Var(x) = 1 N N ( x 2 n 2xx n + x 2) (6) n=1 = 1 N x 2 n N N x n + 1 N x 2 N N n=1 n=1 n=1 (7) = x 2 2x x + x 2 (8) = x 2 x 2 (9) Standardabweichung sd(x) =σ = Var(x) (10) Die Standardabweichung ist anschaulicher als die Varianz, weil sie homogen vom Grad 1 ist (d.h. sd(a x) a sd(x)). Deshalb kann man sie sich als die Breite der Verteilung vorstellen. Histogramm Wenn die Stichprobenwerte x n nur diskrete Werte a k annehmen können, kann man die Stichprobe in einem Histogramm zusammenfassen. Im Histogramm werden die absoluten Häufigkeiten H k dargestellt. Skizze Die absoluten Häufigkeiten H k geben an wie viele der x n einen bestimmten Wert a k annehmen. H k = x n=a k 1 h k = H k N Die h k nennt man die relativen Häufigkeiten. Histogramme werden oft auch für kontinuierliche Wertebereiche verwendet. In dem Fall werden die Stichprobenwerte zuerst diskretisiert, d.h. auf ein geeignetes Gitter a k (beispielsweise die ganzen Zahlen) gerundet. Welches Gitter hier geeignet ist, muss von Fall zu Fall entschieden werden. (11) Kumulierte Häufigkeit Manchmal ist es auch sinnvoll, die kumulierten Häufigkeiten C k zu betrachten. Sie sind definiert als C k = 1= H j c k = C k N = h j (12) x n a k j k j k

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 5 2 Zufallsvariablen 2.1 Grundlegende Begriffe Zufallsvariable, Wahrscheinlichkeit Die Beobachtungen x n kann man sich vorstellen als zufällig gezogen aus einer unendlichen Menge von möglichen Beobachtungen. Diese unendliche Menge wird beschrieben durch eine Zufallsvariable X. Die Beobachtungen x n nennt man Realisierungen der Zufallsvariable X. Die Wahrscheinlichkeit, dass die Zufallsvariable X einen bestimmten Wert x annimmt, schreibt man P (X =x). (13) Betrachten man diese Wahrscheinlichkeit als Funktion von x, dann bezeichnet man sie als Wahrscheinlichkeits-Massefunktion. Verteilungsfunktion Die Verteilungsfunktion F (x) gibt die Wahrscheinlichkeit an, dass eine Realisierung x n der Zufallsvariable X kleiner als ein bestimmter Wert x ist. F (x) =P (x n x) =P (X x) (14) Die Veteilungsfunktion kann Werte zwischen 0 und 1 annehmen und sie ist monoton steigend. Wenn x n nur diskrete Werte a k annehmen kann, spricht man von einer diskreten Verteilung, ansonsten von einer kontinuierlichen Verteilung. Für diskrete Verteilungen gilt F (a) = P (X =a k ). (15) a k x Die Verteilungsfunktion F (x) wird oft auch kumulative Verteilung genannt, oder auf englisch cumulative distribution function, kurz cdf. Dichte Für kontinuierliche Wertebereiche existiert die Ableitung der Verteilungsfunktion. Diese wird dann als (Wahrscheinlichkeit-) Dichte bezeichnet, oder auf englisch probability density function, kurzpdf. f(x) = d F (x) (16) dx Die Dichte kann man sich am besten als kontinuierliche Wahrscheinlichkeit vorstellen. Im Gegensatz zur Wahrscheinlicheitsmasse kann die Dichte auch größer als 1sein. Grob gesprochen kann man mit der Dichte unendlich kleine Massen darstellen, und mit der Masse unendlich große Dichten P (X =x) =0< f(x) (17) P (X =x) > 0 f(x) =. (18)

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 6 Ein Vorteil der Verteilungsfunktion gegenüber der Masse- und Dichtefunktion ist, dass sie den diskreten und den kontinuierlichen Fall gleichzeitig darstellen kann. Skizze Wir werden im Folgenden aber meistens mit Massen oder Dichten zu tun haben. Erwartungswert und Varianz Die oben eingeführten Kennzahlen für Stichproben werden analog auch für Verteilungen definiert. Der Mittelwert von Verteilungen wird Erwartungswert genannt. Exemplarisch schreiben wir hier die Definitionen für den Erwartungswert und die Varianz von Verteilungen an. E(X) = Var(X) = xf(x) dx (19) ( ) 2f(x) x E(X) dx = E(X 2 ) E(X) 2 (20) Im diskreten Fall wird das Integral durch eine Summe und die Dichtefunktion durch die Massefunktion ersetzt. 2.2 Rechnen mit Zufallsvariablen Eine Zufallsvariable wird durch ihre Verteilung bestimmt. Wenn man auf Zufallsvariablen Rechenoperationen durchführt, verändert sich die zugehörige Verteilung. In diesem Abschnitt werden wir Regeln herleiten, wie sich die Verteilung des Rechenergebnisses ermitteln lässt. Bezeichnung: X, Y, Z sind Zufallsvariablen mit zugehörigen Dichtefunktionen f(x), g(y), h(z). a ist ein deterministischer Wert. Addition Als Einstieg betrachten wir kurz die Addition einer Zufallsvariable X mit einem deterministischen Wert a. Das Ergebnis der Addition sei durch die Zufallsvariable Z beschrieben Z = a + X. (21) Man sieht direkt, dass gilt Skizze h(z) =f(z a). (22) Multiplikation Etwas komplizierter ist die Multiplikation einer Zufallsvariable X mit einem deterministischen Wert a Z = a X. (23) Skizze Um h(z) zu berechnen, betrachten wir ein Intervall I =[z z,z+ z ]. Das Intervall J sei als das Urbild von I definiert [ z z J =, z + ] z. (24) a a

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 7 Aufgrund der (Ur-)Bild-Eigenschaft von I und J muss für die Wahrscheinlichkeiten gelten z+z h(z) dz = z z Für beliebige Intervalle ist das nur erfüllt wenn P (Z I) = P (X J) (25) z+z a z z a h(z) = 1 a f(x) =1 a f ( z a f(x) dx. (26) ). (27) Funktion einer Zufallsvariable Jetzt betrachten wir eine beliebige Funktion einer Zufallsvariable Z = φ(x). (28) Skizze Wir gehen genauso vor wie bei der Multiplikation. Da φ nicht notwendigerweise invertierbar ist, ist J im Allgemeinen eine Vereinigung von Intervallen Das ergibt z+z z z J = J 1 J 2... (29) h(z) dz = k φ 1 k (z+z ) φ 1 k (z z ) f(x k )dx, (30) wobei k die Mehrdeutigkeit der Inversion von φ berschreibt. Wenn man das Intervall I gegen einen einzigen Punkt konvergieren lässt (z 0), erkennt man, dass gelten muss h(z) = k = dφ 1 k dz x=φ 1 (z) (z) f(x k) (31) f(x) dφ. (32) dx (x) Summe zweier Zufallsvariablen Die einfachste Operation, die zwei Zufallsvariablen miteinander verknüpft, ist die Summenbildung. Die Verteilungen von X und Y seien bekannt, und wir wollen daraus die Verteilung der Summe Z = X + Y (33) ermitteln. Wir betrachten zunächst den diskreten Fall. Um die Wahrscheinlich zu berechnen, dass Z einen bestimmten Wert z k annimmt, müssen wir alle Möglichkeiten betrachten, wie dieses Ergebnis zustande kommen kann, und deren Wahrscheinlichkeiten aufaddieren. P (Z =z k ) = x k P (X =x k )P (Y =z k x k ) (34) = x k P (X =z k y k )P (Y =y k ) (35)

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 8 Skizze Wurf mit zwei Würfeln. Im kontinuierlichen Fall sieht das ganze folgendermaßen aus: h(z) = f(x)g(z x) dx (36) = f(z y)g(y) dy (37) h = f g (38) Integrale dieser Form nennt man Faltungsintegrale, die Faltung zweier Funktionen wird üblicherweise mit beschrieben. 2.3 Rechnen mit Erwartungswert und Varianz Oftmals will man nur wissen, wie sich gewisse Verteilungs-Kennzahlen verhalten, wenn mit den Zufallsvariablen gerechnet wird. Dazu muss man die transformierte Verteilung in die Definition der Kennzahl einsetzen. Das demonstrieren wir hier an drei einfachen Fällen: E(a + X) = E(Z) = z h(z) dz = z f(z a) dz (39) = (x + a) f(x) dx = x f(x) dx + a f(x) dx = a + E(X) (40) E(a X) = E(Z) = z h(z) dz = 1 ( z z f dz (41) a a) = 1 ax f(x) a dx a = a E(X) (42) E(X + Y ) = E(Z) = z f(x) g(z x) dx dz ( ) = f(x) z g(z x) dz dx = f(x) x + E(Y ) dx = E(X)+E(Y ) (43) Diese Rechenregeln kann man zusammenfassen mit der Feststellung: Der Erwartungswert ist linear E(aX + by ) = ae(x)+be(y ). (44) Für die Varianz kann man in ähnlicher Weise ausrechnen: Var(a + X) = Var(X) (45) Var(a X) = a 2 Var(X). (46)

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 9 3 Verteilungen Im Folgenden werden die wichtigsten Familien von Verteilungen vorgestellt. Gleichverteilung Die Gleichverteilung beschreibt (Zufalls-)Experimente, deren mögliche Ergebnisse symmetrisch sind (Würfel, Karten). Skizze P K (X =k) = 1 K für k =1,...,K (47) E(X) = K k=1 k=1 1 K k = 1 K K k = 1 K k=1 K(K +1) 2 k=1 (48) = K +1 (49) 2 K 1 Var(X) = K (k E(X))2 = 1 K ( k K +1 ) 2 =... (50) K 2 Bernoulli-Verteilung = K2 1 12 Die Bernoulli-Verteilung beschreibt ein Experiment mit zwei möglichen Ergebnissen: 0 und 1. Das Ergebnis 1 wird oft als Erfolg und 0 als Misserfolg bezeichnet. Skizze (51) P p (X =1) = p (52) P p (X =0) = 1 p (53) E(X) = p 1+(1 p) 0=p (54) Var(X) = p (1 p) 2 +(1 p) (0 p) 2 (55) = p (p 2 2p +1)+p 2 p 3 = p 2 + p (56) = p (1 p) (57) Binomial-Verteilung Die Binomial-Verteilung beschreibt das Ergebnis von N hintereinander ausgeführten Bernoulli-Experimenten. Hierbei wird die Anzahl der Erfolge gezählt, d.h. die Ergebnisse werden aufsummiert. Wir interessieren uns also für die Summe der N Bernoulli-Experimente Z = N X n. (58) n=1 Wir berechnen die Wahrscheinlichkeit von P (Z = k), indem wir die Faltungs-Formel für die Summe zweier Zufallsvariablen (N 1)-mal anwenden.

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 10 Der Summand der Faltung ist konstant N P (X n =x n )=p k (1 p) N k (59) n=1 und kann somit vor die Summe gezogen werden. Die Vielfach-Summe der Faltung kann man kurz schreiben, und mit Hilfe der Kombinatorik ergibt sich der Binomialkoeffizient x 1 {0,1} x 2 {0,1} x N {0,1} 1= x {0,1} N n xn=k 1= ( ) N k Die Binomialverteilung mit den beiden Parametern N N und p [0, 1] ist also Skizze (60) ( ) N P N,p (Z =k) = p k (1 p) N k (61) k ( ) E(Z) = E X n = E (X n )=N p (62) n n Var(Z) = N p (1 p) (63) Um die Formel für die Varianz herzuleiten, benutzen wir den Begriff der Korrelation, der später eingeführt wird. Poisson-Verteilung Manchmal ist es nicht angebracht, die Summe Z in eine gewisse Anzahl von Summanden aufzuspalten, sondern man hat eher eine unendliche Summe aus unendlich kleinen Summanden. Beispiel: Z beschreibe die Anzahl der Teilchen, die von einem Detektor in einem gewissen Zeitintervall I erkannt werden. Das Zeitintervall I kann man nun in kleinere Intervalle I n aufteilen, und die Anzahl der Teilchen, die in einem kleinen Intervall detektiert werden, sei X n. Z wird dann durch eine Binomialverteilung beschrieben. Will man exakt rechnen, muss man das kleine Intervall infinitesimal klein werden lassen, da ja zu jedem beliebigen Zeitpunkt ein Teilchen detektiert werden kann. Die Poisson-Verteilung entsteht als Grenzwert der Binomial-Verteilung, wenn man die Anzahl der Summanden gegen unendlich gehen lässt, den Erwartungswert (der im obigen Beispiel der Intensität der Teilchenquelle entspricht) aber konstant hält. N (64) λ = N p = const. (65)

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 11 Die Rechnung ergibt dann P λ (Z =k) = lim N N p=const ( ) N p k (1 p) N k (66) k N(N 1) (N k +1) = lim N k! = λk k! lim N = λk ( ) k ( λ 1 λ ) N k (67) N N ( 1 λ N ) N (68) k! e λ (69) E(Z) = lim N p = N p = λ (70) N N p=const Var(Z) = lim N N p=const N p (1 p) =N p = λ (71) Die Ausdrücke für den Erwartungswert und die Varianz kann man ausrechnen, indem man die Dichtefunktion in die entsprechenden Funktionen einsetzt. Einfacher ist es aber, wenn man (wie hier) die Ergebnisse der Binomial-Verteilung verwendet. Normalverteilung (Gauß) In der realen Welt entstehen zufällige Schwankungen meist dadurch, dass sich viele kleine Schwankungen aufaddieren. Wie wir gesehen haben, entspricht das Addieren von Zufallsvariablen einer Faltung der entsprechenden Dichtefunktionen. Es stellt sich heraus, dass das Ergebnis von unendlich vielen Faltungen einer beliebigen Funktion mit sich selbst gegen einen Grenzwert strebt, der ein Fixpunkt der Faltung ist. Dies wird durch den zentralen Grenzwertsatz beschrieben. Der einzige Fixpunkt der Faltung mit endlicher Varianz ist die Gauß-Funktion. Die Verteilung, deren Dichte der Gauß-Funktion entspricht nennt man Normalverteilung. Ohne Herleitung geben wir an Skizze f µ,σ (x) = 1 2πσ e 1 2( x µ σ ) 2 (72) Die abkürzende Schreibweise E(X) = µ (73) Var(X) = σ (74) X N(µ, σ 2 ) (75) (lies: X ist normalverteilt mit Mittelwert µ und Varianz σ 2 ) ist sehr gebräuchlich. Viele Verteilungsfamilien nähern sich für extreme Parameter der Normalverteilung an. Als Beispiel seien hier die Binomial-Verteilung für N,p = const und die Poisson-Verteilung für λ genannt.

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 12 4 Multivariate Verteilungen 4.1 Grundlegende Begriffe Definitionen Wenn man zwei (oder mehrere) Zufallsvariablen hat, wird die Situation im Allgemeinen durch die gemeinsame Verteilung beschrieben P (X =x Y =y) (76) f(x, y). (77) Die gemeinsame Verteilung beschreibt die Wahrscheinlichkeit dafür, dass die zwei Ereignisse X = x und Y = y gleichzeitig oder gemeinsam auftreten. Skizze Randverteilung Die Randverteilung oder Marginalverteilung ist definiert durch P (X =x) = y P (X =x Y =y) (78) f X (x) = f(x, y)dy. (79) Sie beschreibt die Situation, wenn man eine Zufallsvariable ignoriert, und nur die Verteilung der anderen Zufallsvariable betrachtet. Skizze Bedingte Verteilung Die bedingte Verteilung ist definiert durch P (X =x Y =y) P (X =x Y =y) = P (Y =y) (80) f(x, y) f(x y) = dy. f Y (y) (81) Sie beschreibt die Situation, wenn eine Zufallsvariable bekannt oder festgelegt ist, und man sich für die Verteilung der anderen Zufallsvariable unter dieser Bedingung interessiert. Skizze 4.2 Unabhängigkeit, Kovarianz, Korrelation Unabhängigkeit Eine besondere Klasse von gemeinsamen Verteilung sind die Verteilungen, die sich faktorisieren lassen, d.h. P (X =x Y =y) = P (X =x) P (Y =y) (82) f(x, y) = f X (x) f Y (y). (83)

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 13 Dies ist die Definition der stochastischen Unabhängigkeit, d.h. zwei Zufallsvariablen X und Y heißen statistisch unabhängig, wenn sich ihre gemeinsame Verteilung in der obigen Form schreiben lässt. Anschaulich gesprochen heißt statistische Unabhängigkeit, dass sich die Zufallsvariablen nicht gegenseitig beeiflussen. Das Wissen über eine Zufallsvariable ändert nicht die Verteilung für die andere Variable. Man kann auch sagen: Die Randverteilungen enthalten alle Information über die gemeinsame Verteilung. Auch formal lässt sich aus der obigen Definition herleiten, dass die bedingten Verteilungen gleich den Randverteilungen sind Skizze P (X =x Y =y) = P (X =x Y =y) P (X =x) P (Y =y) = P (Y =y) P (Y =y) (84) = P (X =x) (85) f(x y) = f X (x). (86) Kovarianz Wenn zwei Zufallsvariablen nicht unabhängig sind, ist ein einfaches Maß für deren Abhängigkeit sinnvoll. Die Kovarianz beschreibt die lineare Abhängigkeit zweier (oder mehrerer) Zufallsvariablen. Sie ist definiert als Cov(X, Y ) = [X ] [ ] E( ) E(X) Y E(Y ) (87) = E(XY ) E(X)E(Y ). (88) Die Varianz kann man als Spezialfall der Kovarianz auffassen Var(X) =Cov(X, X). (89) Im Gegensatz zur Varianz kann die Kovarianz aber sowohl positiv als auch negativ sein. Genauer gilt Var(X)Var(Y ) Cov(X, Y ) Var(X)Var(Y ). (90) Kovarianz und (statistische) Unabhängigkeit hängen auf folgenden Weise zusammen. X, Y unabhängig Cov(X, Y ) = 0 (91) (92) In Worten: Die Menge der gemeinsamen Verteilungen, die faktorisieren, ist eine echte Teilmenge der gemeinsamen Verteilungen, die Kovarianz Null haben. Oder als Merksatz, um einen häufigen Fehler zu vermeiden: Verschwindende Kovarianz impliziert nicht Unabhängigkeit! Skizze Beispiel

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 14 Korrelation Oftmals ist ein normiertes Maß für die Abhängigkeit zweier Zufallsvariablen sinnvoll. Die Korrelation ist normiert auf das Intervall [ 1, 1]. Corr(X, Y )=ρ(x, Y )= Cov(X, Y ). (93) σ X σ Y Für eine deterministische lineare Abhängigkeit zwischen X und Y gilt Y = ax + b Corr(X, Y )= a = ±1. (94) a Weitere Regeln für das Rechnen mit Erwartungswert und Varianz Mit den Begriffen der Unabhängigkeit und der Kovarianz können wir noch zwei weitere wichtige Rechenregeln für den Erwartungswert und die Varianz angeben. E(X Y ) = E(X) E(Y ) für X, Y unabhängig (95) Var(X + Y ) = Var(X)+Var(Y )+2 Cov(X, Y ) (96) 4.3 Multivariate Normalverteilung Die wichtigste multivariate Verteilung ist die Normalverteilung. Sie ist gegeben durch die mehrdimensionale Gauß-Funktion ( 1 f µ,σ (x) = (2π)d Σ exp 1 ) 2 (x µ)σ(x µ)t. (97) d ist die Anzahl der Dimensionen oder der Zufallsvariablen. x und µ sind Vektoren der Länge d, und Σ ist die Kovarianzmatrix der Größe d d.für d =2schreibenwir die Kovarianzmatrix explizit hin, für höhere Dimensionen ist sie analog definiert. Σ= ( Var(X) Cov(X, Y ) Cov(Y,X) Var(Y ) ). (98) In der Gauß-Funktion oben steht Σ für die Matrix-Determinante der Kovarianzmatrix Σ. Vorführung 4.4 χ 2 -Verteilung Die χ 2 -Verteilung ist univariat, aber zur Herleitung ihrer Dichtefunktion benutzen wir die multivariate Normalverteilung; deshalb steht sie hier im Kapitel über multivariate Verteilungen. Die χ 2 -Verteilung mit k Freiheitsgraden ist definiert als die Verteilung der quadratischen Summe von k normalverteilten Zufallsvariablen k ( ) 2 Q = Z 2 Xn µ n =. (99) n=1 Sie erlangt ihre Bedeutung durch die besonderen Eigenschaften der Normalverteilung und der daraus resultierenden Methode der kleinsten Quadrate (dazu später mehr). σ n

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 15 Die χ 2 -Verteilung könnte man straightforward mit den Regeln aus Kapitel 2 berechnen. Wir gehen hier aber einen anschaulicheren und einfacheren Weg. Dazu betrachten wir erst einmal die gemeinsame Verteilung aller X n,einemultivariate Normalverteilung. X N(0,I k ) (100) I k steht für die Einheitsmatrix der Größe k k. Man erkennt, dass alle Punkte x, die demselben z entsprechen, auf einer Kugelschale liegen Skizze. Die Verteilung von Z, d.h. die χ-verteilung (ohne quadrat) kann man also berechnen, indem man die mehrdimensionale Gauß-Funktion über Kugelschalen integriert. h(z) = = x 2 =z 1 (2π) k e x 2 dx (101) z k 1 2 2 k/2 1 Γ(k/2) e z /2. (102) Das Γ im Nenner steht für die Gamma-Funktion (kontinuierliche Verallgemeinerung der Fakultät). Der Bruch in der Dichtefunktion ergibt sich aus der allgemeinen Formel für mehrdimensionale Kugeloberflächen. Bemerkung: Für k = 3 ist die χ 2 -Verteilung gerade die Maxwell-Boltzmann- Verteilung (Wahrscheinlichkeit, dass ein Gasmolekül eine bestimmte Energie hat). Die χ 2 -Verteilung ergibt sich nun aus der Regel für das Transformieren einer Dichtefunktion (siehe Kap. 2.2). f k (q) = h(z) h( q) dφ = dz (z) 2 q (103) = 1 2 k/2 Γ(k/2) zk/2 1 e z/2 (104) E(Q) = k (105) Var(Q) = 2k (106)

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 16 5 Anwendung der Statistik auf Physikalische Messungen 5.1 Quadratwurzel-Gesetz Eine physikalische Messung kann man auffassen als die Realisierung einer Zufallsvariablen X. Als absolute Messunsicherheit x wird dann meist die Standardabweichung der zugrundeliegenden (geschätzten) Verteilung angegeben. x = Var(X) (107) Intuitiv ist klar, dass sich die Messunsicherheit sich verringern lässt, indem man eine Messung mehrere Male wiederholt und die einzelnen Messergebnisse mittelt. Diesen Effekt betrachten wir jetzt aus statistischer Sicht. Jede der N Messungen Messung wird durch eine Zufallsvariable X n, n =1,...,N beschrieben. Die X n seien unkorreliert und gehorchen alle derselbe Verteilung haben, deren Standardabweichung oder Messunsicherheit wir x nennen. Nach den Gesetzen aus Kapitel 2.3 können wir leicht die Standardabweichung oder Messunsicherheit des Mittelwertes x ausrechnen ( n x = Var X ) n 1 = N N 2 Var(X n )= n 1 N Var(X n) (108) = x N (109) (110) 5.2 Fehlerfortpflanzung Im Allgemeinen hängt die physikalische Größe,diemanineinemExperimentbestimmen will, auf eine beliebige Art und Weise von mehreren Messgrößen ab Z = φ(x 1,X 2,X 3,...). (111) Wir wollen hier ein allgemeines Gesetz angeben, wie man die Unsicherheit z der Zielgröße aus den Messunsicherheiten x j berechnen kann. Dazu nähern wir φ durch eine Taylorentwicklung um die Erwartungswerte der X j. φ(x 1,x 2,x 3...) φ(µ 1,µ 2,...)+ j φ x j (x j µ j )+... (112) Normalerweise sind die Messfehler x j klein im Vergleich zur Glattheit von φ; deshalb kann man die Taylorreihe bereits nach dem zweiten Term abbrechen. Wir nehmen an, dass die Einzelmessungen unkorreliert sind. Dann folgt aus den Regeln für das Rechnen mit der Varianz (Kap.4.2) ( ) 2 φ Var(X j ) (113) Var(Z) = j z = j x j ( ) 2 φ x j. (114) x j Dies ist das sogenannte Fehlerfortpflanzungsgesetz. Wenn die Einzelmessungen korreliert sind, dann stehen unter der Wurzel noch weitere Kovarianz-Terme.

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 17 Übungsblatt 1 Aufgabe 1 Die nebenstehende Tabelle enthält Beobachtungsdaten der Schneedecke über Eurasien im Oktober. ( Die Fläche ist in 10 6 km 2 gegeben.) GibdieDatenalsdataframeinRein. Plotte die Fläche als Funktion der Jahreszahl. Erzeuge ein Histogramm der Beobachtungen mit unterschiedlichen Bin-Breiten. Erzeuge einen Boxplot der Beobachtungen. Jahr Fläche 1970 6,5 1971 12,0 1972 14,9 1973 10,0 1974 10,7 1975 7,9 1976 21,9 1977 12,5 1978 14,5 1979 9,2 Aufgabe 2 Erzeuge 20 Zufallszahlen mit dem Befehl rnorm() und füge einen Ausreißer an der Stelle 20 hinzu. Plotte die Stichprobe. Berechne den Mittelwert, den Median, die Standardabweichung und die Quartilsdifferenz. Welche Kennzahlen beschreiben die Position bzw. die Breite der Verteilung besser? Aufgabe 3 Lade das Paket datasets in den Suchpfad (mit dem Befehl library()) und schaue dir den Datensatz morley an. Erzeuge einen Plot, in dem die Stichproben aller fünf Experimente nebeneinander zu sehen sind. Erzeuge einen entsprechenden Boxplot. Erzeuge einen entsprechenden Plot, in dem die Mittelwerte und Fehlerbalken (Standardabweichung) aufgetragen sind. Tipp: Die Funktion errbar() befindet sich in dem Paket Hmisc, das erst geladen werden muss. Aufgabe 4 Lies den Datensatz Aufgabe4 ein (load( Aufgabe4 )) und untersuche ihn genau. Was für Regelmäßigkeiten findest du? Erzeuge ein paar Plots, die die Eigenschaften der Daten möglichst gut wiedergeben. Der Datensatz ist eine Mischung verschiedener Daten. Kannst du die einzelnen Komponenten separieren?

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 18 Übungsblatt 2 Aufgabe 6 Die Verteilung von X sei durch die Dichtefunktion f(x) gegeben. Berechne die Dichtefunktionen von A = X 2, B = X 3 und C = X. Aufgabe 7 Die Zufallsvariablen X und Y seien gleichverteilt im Intervall [0, 1]. Gib die Verteilung der Zufallsvariable Z = X + Y an. Aufgabe 8 Berechne die Faltung h = f g zweier Gauß-Funktionen f(x) =e ( x σx )2 ( ) g(y) =e y 2 σy (115) Aufgabe 9 Die Wahrscheinlichkeit, bei einer Fahrt in der Straßenbahn kontrolliert zu werden, sei p = 0.01. Dies lässt sich durch eine Zufallsvariable X beschreiben, die Bernoulliverteilt ist mit Erfolgs wahrscheinlichkeit p. Berechne durch Faltung die Verteilung für die Anzahl der Kontrollen bei zwei (drei) Fahrten. Tipp: Benutze convolve(). Benutze die Binomialverteilung, um die Wahrscheinlichkeit zu bestimmen, bei 100 Fahrten höchstens zwei Mal kontrolliert zu werden. Bestimme dieselbe Wahrscheinlichkeit mit Hilfe der Poissonverteilung. Wie gut ist diese Näherung? Aufgabe 10 (Trinomialverteilung) Ein bestimmtes Elementarteilchen kann drei verschiedene Zustände annehmen mit den Wahrscheinlichkeiten p 1 =0.6, p 2 =0.3, p 3 = 0.1. Es werden 10 Messungen durchgeführt und notiert, wie oft jeder der drei Zustände beobachtet wurde (H1,H2,H3). Skizziere den Wertebereich des Ergebnisses (H1,H2,H3). Tipp: Es muss gelten H 1 + H 2 + H 3 = 10; das führt auf ein Dreiecksgitter. Bestimme die folgenden Wahrscheinlichkeiten mit Hilfe von Kombinatorik (Schreibweise: P (H1,H2,H3)). P (5, 5, 0) P (6, 3, 1) P (5, 3, 2) Schreibe eine allgemeine Formel für die Trinomialverteilung auf.

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 19 Aufgabe 11 Erzeuge die Wahrscheinlichkeits-Massefunktion einer diskreten quadratischen Verteilung P (X =x) x 2 für x =[ 10, 9,...,9, 10]. (116) Falte diese Massefunktion immer wieder mit sich selbst, bis das Ergebnis der Gauß-Funktion ähnelt. Tipp: Benutze convolve().

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 20 Übungsblatt 3 Aufgabe 12 Berechne Erwartungswert und Varianz der Dreiecks- Verteilung mit der Dichtefunktion { 2x für 0 x 1 f(x) = (117) 0 sonst. Aufgabe 13 Generiere eine Matrix M, die die Werte der Funktion exp ( x2 + y 2 ) +exp ( (x +8)2 +(y 8) 2 ) (118) 100 20 +exp ( (x 3)2 +(y +8) 2 ) (119) 5 auf dem 2d-Gitter x, y =[ 10, 9.9,...,9.9, 10] enthält. Normiere diese Matrix (Summe aller Elemente soll 1 ergeben), so dass man sie als bivariate Wahrscheinlichkeits-Massefunktion interpretieren kann. Plotte die gemeinsame Verteilung. (Tipp: image()) Plotte die beiden Randverteilungen. (Tipp: Summiere mittels Matrix- Mlutiplikation mit einem Vektor aus lauter Einsen.) Plotte die Verteilung, die sich aus Multiplikation der beiden Randverteilungen ergibt. (Tipp: Äußeres Produkt der beiden Randverteilungs-Vektoren) Plotte verschiedene bedingte Verteilungen an interessanten Positionen. Aufgabe 14 Generiere 100 normalverteilte Zufallszahlen und berechne den Mittelwert und die Varianz. Wiederhole den letzten Punkt 100 Mal und speichere jedes Mal den Mittelwert. Plotte die Stichprobe der Mittelwerte und berechne die Varianz dieser Stichprobe. Vergleiche die Varianz der Mittelwerte mit der oben ausgerechneten Varianz der einzelnen Zufallszahlen. Stimmt das mit der theoretischen Erwartung überein? Aufgabe 15 Plotte die Dichtefunktion und die kumulative Verteilungsfunktion der χ 2 -Verteilung für k =1, 2, 3, 5, 10. Aufgabe 16 Die Messung der Masse m eines Körpers ergab m = 1000kg±10kg und die Messung seiner Geschwindigkeit v ergab v = 30m/s± 1m/s. Bestimme die kinetische Energie einschließlich der Fehlerangabe.

EINFÜHRUNG IN DIE DATENANALYSE J. RÖDER / M. WIELER 21 Aufgabe 17 Schreibe ein R-Script, das Zufallszahlen erzeugt, die gemäß der Dichtefunktion { 2x für 0 x 1 f(x) = (120) 0 sonst verteilt sind. Plotte eine Stichprobe der Größe 100. Tipp: Benutze die Gleichverteilung (runif()) und überlege dir eine Funktion φ, die die Gleichverteilung in die gewünschte Verteilung transformiert (siehe Aufgabe 6). Schreibe ein R-Script, das Zufallszahlen erzeugt, die gleichverteilt im Einheitskreis liegen. Plotte eine Stichprobe der Größe 100. Tipp: Benutze die Darstellung in Polarkoordinaten: φ ist gleichverteilt in [0, 2π], und r ist Dreiecks -verteilt wie im vorigen Aufgabenteil. Aufgabe 18 Wir betrachten mögliche gemeinsame Verteilungen zweier Zufallsvariablen X, Y, die jeweils nur die Werte 0 oder 1 annehmen können. Die gemeinsame Verteilung kann also durch eine kleine Tabelle angegeben werden. X =0 X =1 Y =0 a b Y =1 c d Gib eine gemeinsame Verteilung an, in der X und Y unabhängig sind. Gib eine gemeinsame Verteilung an, in der X und Y nicht unabhängig sind. Gibt es eine gemeinsame Verteilung mit diesem Wertebereich, in der X und Y nicht unabhängig sind aber trotzdem Korrelation 0 haben? Tipp: Betrachte die Anzahl der Freiheitsgrade der gemeinsamen Verteilung und der Randverteilungen.