Verteilungen mehrerer Variablen

Transkript

1 Kapitel 3 Verteilungen mehrerer Variablen 3. Eigenschaften von Verteilungen mehrerer Variablen Im allgemeinen muss man Wahrscheinlichkeiten für mehrere Variable, die häufig auch voneinander abhängen, gleichzeitig betrachten. Beispiele: Wir hatten im letzten Kapitel bereits die Multinomial-Verteilung als Beispiel einer Verteilung, die von mehreren diskreten Variablen abhängt, kennengelernt. Die Dichte einer Ladungswolke um eine Glühkathode hat eine dreidimensionale Verteilung. Ein System von n Teilchen hat eine Wahrscheinlichkeitsdichte in dem 6n-dimensionalen Orts-Impulsraum (= Phasenraum). Zum Beispiel sind für ein ideales Gas die Ortskoordinaten gleichverteilt und die Impulsverteilung ist durch die Mawell-Verteilung mit der Temperatur als Parameter gegeben. 3.. Wahrscheinlichkeitsdichte, Verteilungsfunktion, Randverteilung Wir betrachten n Zufallsvariable, 2,..., n, die wir in einem n-tupel zusammenfassen. =(, 2,..., n ) T (3.) Wahrscheinlichkeitsdichte: Die Wahrscheinlichkeitsdichte f( ) liefert die differentielle Wahrscheinlichkeit an einem Punkt : dp( ) =f( )d d 2... d n (3.2) Die Normierung erfolgt über den n-dimensionalen Raum Ω in dem f definiert oder ungleich Null ist: f( )d d 2... d n = (3.3) Ω 33

2 34 KAPITEL 3. VERTEILUNGEN MEHRERER VARIABLEN 2 a) 2 b) 0 L H Abbildung 3.: Bedingte Wahrscheinlichkeiten: a) Definition einer Hyperebene durch = 0, b) Schnitt in der Variablen. Verteilungsfunktion: Die Verteilungsfunktion ergibt sich analog zum eindimensionalen Fall: F ( ) =... n f( ξ)dξ dξ 2... dξ n = (3.4) Umgekehrt lässt sich die Wahrscheinlichkeitsdichte aus der Verteilungsfunktion ableiten: f( ) = n 2... n F ( ). (3.5) Randverteilung: Die Randverteilung einer Variablen i ist die Projektion der Wahrscheinlichkeit auf die i-te Koordinate, das heisst man betrachtet die Verteilung von i gemittelt über alle anderen Variablen. Zum Beispiel ist die Randverteilung von : h ( )= + + d 2 d d n f( ) (3.6) Beispiel: Die Aufenthaltswahrscheinlichkeit des Elektrons in einem Wasserstoffatom wird in der Regel durch Kugelkoordinaten (r, θ, φ) angegeben. Wenn man nur an der radialen Abhängigkeit interessiert ist, erhält man die Randverteilung von r: ρ r (r) = + d cos θ 2π 0 dφ ρ(r, θ, φ) (3.7) 3..2 Bedingte Wahrscheinlichkeitsdichten, Selektionsschnitte Häufig möchte man Wahrscheinlichkeitsdichten betrachten unter der Bedingung, dass eine der Variablen einen bestimmten Wert hat, zum Beispiel = 0 (Abb. 3.a): f ( 2, 3,..., n = 0 )= f( = 0, 2,..., n ) h ( = 0 ) (3.8)

3 3.2. ERWARTUNGSWERTE 35 Das entspricht einer Umnormierung der Wahrscheinlichkeitsdichte auf eine n- dimensionale Hyperfläche, die durch = 0 festgelegt ist. Tatsächlich gibt man in der Prais meistens ein endliches Intervall L < < H vor und die Wahrscheinlichkeitsdichte für 2, 3,..., n muss auf diesen beschränkten n dimensionalen Unterraum umnormiert werden (Abb. 3.b): f ( 2, 3,..., n L < < H )= H L f(, 2,..., n )d H L h ( )d (3.9) Solche Einschränkungen von Variablenbereichen ist bei multi-dimensionalen Datensätzen ein Standardverfahren zur Bereinigung der Daten von Untergrund und zur Untersuchung von Abhängigkeiten der Variablen untereinander. Häufig versucht man Signale, die auf einem Untergrund sitzen, dadurch statistisch signifikanter zu machen, indem man Bereiche, die einen relativ hohen Untergrundbeitrag liefern wegschneidet (Selektionsschnitte). 3.2 Erwartungswerte Erwartungswert und Varianz einer Funktion: Der Erwartungswert einer Funktion g der Zufallsvariablen =(, 2,..., n ), die die Wahrscheinlichkeitsdichte f( ) haben, ist analog zum eindimensionalen Fall definiert: E (g( )) = g( ) = g( ) f( ) d d 2... d n (3.0) Ω Entsprechend ist die Varianz der Funktion g: V (g( ) =E ( (g( ) E(g( )) 2) = (g( ) g( ) ) 2 f( ) d d 2... d n (3.) Ω Momente: In Erweiterung der Definition für die Momente einer eindimensionalen Verteilung in Abschnitt.2.2 werden Momente einer mehrdimensionalen Verteilung als Erwartungswerte von Produkten von Potenzen der Zufallszahlen definiert:. Momente um den Ursprung: λ l l 2...l n = E ( ) l l ln n (3.2) 2. Zentrale Momente: μ l l 2...l n = E ( ( μ ) l ( 2 μ 2 ) l2... ( n μ n ) ln) (3.3) Dabei sind die niedrigsten Momente μ i die Mittelwerte der Zufallsvariablen i,dieden niedrigsten Momenten mit l i =,l k =0für k i entsprechen: μ i = i f( ) d d 2... d n (3.4) Ω

4 36 KAPITEL 3. VERTEILUNGEN MEHRERER VARIABLEN 3.3 Kovarianzmatri 3.3. Definition und Eigenschaften der Kovarianzmatri Die Momente mit l i = l j =; l k =0für k i, k j oder l i =2; l k =0für i = j und k i werden in einer sogenannten Kovarianzmatri V ij zusammengefasst: V ij = μ 0... }{{} i }{{} j = E (( i μ i )( j μ j )) (3.5) V ii = μ 0... }{{} = E ( ( i μ i ) 2) (3.6) i Die Kovarianzmatri hat folgende Eigenschaften:. Die Matri ist symmetrisch: V ij = V ji. (3.7) 2. Für i = j ergibt sich die Varianz von i : V ii = E ( ( i μ i ) 2) = E( 2 i ) (E( i )) 2 = σ 2 i 0. (3.8) 3. Die nicht-diagonalen Elemente, i j, sind die Kovarianzen: V ij = cov( i, j )=E (( i μ i )( j μ j )) = E( i j ) E( i ) E( j ) 0. (3.9) Beispiel: Multi-dimensionale Gaussverteilung Durch Verallgemeinerung der Varianz σ 2 auf die Kovarianzmatri wird eine mehrdimensionale Gauss- oder Normalverteilung definiert: f( ) = ( (2π)n det(v ) ep ) 2 ( μ)t V ( μ) (3.20) Bei zwei Variablen, 2 ist die Kovarianzmatri: ( σ V = 2 cov(, 2 ) cov(, 2 ) σ2 2 ) (3.2) Die inverse Kovarianzmatri ist: V = σ 2 σ2 2 cov(, 2 ) 2 ( σ2 2 cov(, 2 ) cov(, 2 ) σ 2 ) (3.22) Wenn die Kovarianzmatri und damit auch ihre inverse Matri diagonal wird, folgt für den Eponenten der Gauss-Verteilung (3.20): ( μ) T V ( μ) = ( i μ i ) 2 σ 2 i (3.23)

5 3.3. KOVARIANZMATRIX 37 Es treten also keine gemischten Terme i j mit i j auf. Deshalb lässt sich in diesem Fall die mehrdimensionale Gauss-Verteilung (3.20) in ein Produkt eindimensionaler Gauss-Verteilungen zerlegen: n n f( ) = f i ( i )= ep ( ( ) i μ i ) 2 (3.24) 2πσ 2 i 2 σi 2 Da V und V symmetrische, positiv definite Matrizen sind, lässt sich immer eine orthogonale Transformation i i finden, so dass V und V diagonal sind (Hauptachsentransformation): T V = T U UV U U (3.25) Für orthogonale Transformationen gilt U T = U. Die Transformation U wird so bestimmt, dass UV U diagonal ist. Um mehrdimensionale Gauss-Verteilungen auf dem Computer zu erzeugen, bestimmt man zunächst die Transformation U, diev diagonal macht. Die Diagonalelemente σ i 2 und die transformierten Mittelwerte μ i = U ij μ j sind die Parameter von n unabhängigen Gauss-Verteilungen. Entsprechend diesen Verteilungen erzeugt man nun n unabhängige gauss-verteilte Zufallszahlen i, die dann mittels i = U ij j = U ji j zurücktransformiert werden Kovarianzmatri unabhängiger Variabler Wenn die Zufallsvariablen i unabhängig sind, faktorisiert die Wahrscheinlichkeitsdichte: f( ) =f ( ) f 2 ( 2 )... f n ( n ) (3.26) Wie bei der Gauss-Verteilung (3.24) ist auch im allgemeinen Fall die Kovarianzmatri unabhängiger Variabler diagonal. Um die Kovarianzmatri auszurechnen, berechnen wir zunächst den Erwartungswert von i j : E( i j )= Damit ergibt sich: i f i ( i ) d i j f j ( j ) d j k i;k j f k ( k ) d k = E( i ) E( j ) (3.27) } {{ } = cov( i, j )=E (( i μ i )( j μ j )) = E( i j ) E( i ) E( j ) = 0 (3.28) Für unabhängige Variable verschwinden also die Kovarianzen: i, j unabhängig = cov( i, j ) = 0 (3.29) Die Umkehrung dieses Satzes gilt nicht unbedingt. Man sieht an (3.28), dass die Kovarianzen verschwinden, wenn sich die Terme ( i μ i )( j μ j ) im Mittel auslöschen. Das passiert genau dann, wenn die Vorzeichen der Abweichungen von den Mittelwerten voneinander unabhängig sind. Oder anders ausgedrückt: wenn die Verteilung der j um μ j unabhängig von i ist und umgekehrt. In diesem Fall kann es dann trotzdem noch eine Abhängigkeit von i und j geben, indem zum Beispiel die Breiten der Verteilungen in Abhängigkeit von den anderen Variablen variieren (Abb. 3.2b).

6 38 KAPITEL 3. VERTEILUNGEN MEHRERER VARIABLEN 2 a) ρ = 0 2 b) ρ = c) ρ > 0 2 d) ρ < e) ρ + 2 f) ρ Abbildung 3.2: Verteilungsformen mit unterschiedlichem Korrelationskoeffizienten ρ.

7 3.3. KOVARIANZMATRIX Korrelationen Wenn die Kovarianzen nicht verschwinden, nennt man die entsprechenden Variablen korreliert. Als Maß für die Stärke der Korrelation definiert man den Korrelationskoefizienten: ρ( i, j )= V ij = cov( i, j ) (3.30) Vii V jj σ i σ j Durch die Normierung auf die Standardabweichungen ergibt sich für den Wertebereich von ρ: ρ( i, j ) + (3.3) Je mehr der Korrelationskoeffizient von Null abweicht, umso besser kann man aus der Kenntnis einer Variablen die andere vorhersagen (Abb. 3.2): ρ( i, j ) + = i + j (positiv korreliert) ρ( i, j ) ±0 = i, j unabhängig (nicht korreliert) ρ( i, j ) = i j (negativ korreliert) (3.32) Beispiele:. Ein Teilchen, das wie Abb. 3.3 durch eine Materieschicht geht, wird unter einem Winkel θ gestreut und erfährt eine Ablage Δ. Streuwinkel und Ablage sind positiv korreliert Δ θ Abbildung 3.3: Streuung von Teilchen in einer Materieschicht, zum Beispiel α-teilchen in einer Goldfolie wie bei dem Rutherford-Eperiment. 2. Ein Anthropologe untersucht 5 Funde von Neanderthalerknochen. Er vergleicht die Längen der Oberarm- mit der der Oberschenkelknochen und möchte seinen naheliegenden Verdacht, dass beide korreliert sind, statistisch erhärten. Die vorliegenden Daten sind (l a, l b sind die Längen jeweils der Arm- und Beinknochen): Fund l a [mm] l b [mm] l a l b [mm 2 ] Mittel σ l

8 40 KAPITEL 3. VERTEILUNGEN MEHRERER VARIABLEN In der letzten Spalte ist das Produkt l a l b berechnet, dessen Mittelwert entsprechend Gleichung (3.9) gebraucht wird, um die Kovarianz zu bestimmen. Wenn wir (3.9) für unsere Stichprobe umschreiben, ergibt sich: cov(l a,l b )=E(l a l b ) E(l a ) E(l b )= [( 5 ) 5 li a lb i ( 5 5 li a ) ( 5 5 li b )] 5 5 (3.33) Der Faktor 5/4 korrigiert wie bei der Berechnung der Varianz einer Stichprobe darauf, dass bezüglich des Mittelwertes bereits die quadratischen Abweichungen minimiert werden. Einsetzen der Zahlen aus der Tabelle ergibt: cov(l a,l b ) = = ρ(l a,l b )= cov(la,l b ) σ a l σ b l =0.975 (3.34) Die Korrelation in der Größe der Arm- und Beinknochen ist also sehr hoch. 3.4 Lineare Funktionen von mehreren Zufallsvariablen In den folgenden Abschnitten werden Funktionen von mehreren Zufallsvariablen betrachtet. Wir interessieren uns insbesondere für die Berechnung einfacher Erwartungswerte dieser Funktionen, wie Mittelwerte und Varianzen. Die Berechnung der Varianz einer Funktion von Zufallsvariablen wird für die Fehlerfortplanzung von Messungen benutzt. Ein besonders einfacher Fall ist eine lineare Funktion von mehreren Variablen. Wir werden im folgenden häufig auch bei nicht-linearen Funktionen durch Linearisierung um einen Entwicklungspunkt die Ergebnisse für lineare Funktionen benutzen. Es sei g eine Funktion der n Zufallsvariablen =(,..., n ): g( ) = a i i (3.35) Erwartungswert: Der Erwartungswert der Funktion ist: E (g( )) = a i E ( i ) = }{{} =μ i a i μ i (3.36) Varianz: V (g( )) = E ((g( ) E (g( ))) 2 )=E ( ( i a i i i a i μ i ) 2) = E ( ( i a i ( i μ i )) 2) = i j a i a j E (( i μ i )( j μ j )) = i j a i a j V ij (3.37) Dabei ist V ij die Kovarianzmatri der Zufallsvariablen. Mit der Beziehung V ij = V ji lässt sich die Varianz von g durch die Varianzen und die Kovarianzen ausdrücken: V (g( )) = a 2 i σi 2 +2 n j=i+ a i a j V ij (3.38)

9 3.4. LINEARE FUNKTIONEN VON MEHREREN ZUFALLSVARIABLEN 4 Wenn die i unabhängig sind, ist V ij =0für i j und die Varianz von g ergibt sich nur aus den Varianzen der i : V (g( )) = a 2 i σi 2 (3.39) Beispiele:. Eine Stichprobe,..., n aus einer Verteilung mit dem Mittelwert μ und Varianz σ 2 kann man als einen Satz von n unabhängigen Zufallsvariablen interpretieren, die alle den gleichen Mittelwert μ i = μ und die gleiche Varianz σi 2 = σ 2 haben. Das arithmetische Mittel der i ist eine lineare Funktion der i : = n i (3.40) Der Erwartungswert des Mittelwertes ist dann: E ( ) = n E ( i )= nμ= μ (3.4) n Das heisst, das arithmetischen Mittel einer Stichprobe ist eine erwartungstreue Schätzung von μ. Die Varianz des arithmetischen Mittels ist (die Kovarianzen fallen weg, weil die i unabhängig sind): ( ) 2 V ( ) =σ 2 = ( ) 2 σi 2 n = nσ 2 = σ2 (3.42) n n i Damit hat man das bekannte Ergebnis, dass der Fehler des Mittelwertes von n Messungen um / n kleiner als der Fehler der Einzelmessung ist: σ = σ n (3.43) 2. Im allgemeinen hat die Varianz einer Funktion von zwei Zufallsvariablen, folgende Form: g(, y) =a+ by, (3.44) V (a+ by)=a 2 V }{{} + b 2 V yy +2ab V }{{} y = a 2 σ 2 + b 2 σy 2 +2ab σ }{{} σ y ρ(, y) (3.45) =σ 2 =σy 2 =cov(,y) Dabei kann der Korrelationskoeffizient ρ(, y) Werte von - bis + annehmen.

10 42 KAPITEL 3. VERTEILUNGEN MEHRERER VARIABLEN 3.5 Nicht-lineare Funktionen von Zufallsvariablen 3.5. Eine Funktion von einem Satz von Zufallsvariablen In diesem Abschnitt wollen wir allgemeine Funktionen g der Zufallsvariablen betrachten: g = g(,..., n ). (3.46) Um die Ergebnisse des vorigen Abschnitts benutzen zu können, linearisieren wir die Funktion in der Umgebung der Mittelwerte μ: g( ) =g( μ)+ ( i μ i ) i = μ +... (3.47) Erwartungswert: Der Erwartungswert der Funktion g ist in der linearen Näherung: E (g( )) = E (g( μ)) + = μ E ( i μ i ) = E (g( μ)) = g( μ) (3.48) }{{} i =0 Der Erwartungswert der Funktion g( ) ist also diese Funktion an der Stelle der Erwartungswerte von : E (g( )) = g( μ) (3.49) Varianz: V (g( )) = E ((g( ) E (g( ))) 2 )=E ( (g( ) g( μ)) 2) = E = i j j E (( i μ i )( j μ j )) = i j i i ( ( i ( i μ i ) i ) 2 ) j V ij (3.50) Das entspricht also genau dem Ergebnis (3.37), wenn man statt der Koeffizienten a i die partiellen Ableitungen / i einsetzt. In Matrischreibweise definiert man den Spaltenvektor: Damit ergibt sich für die Varianz: Zum Beispiel erhält man für n =2: ( σ 2 (g( )) = a =. n (3.5) V (g( )) = σ 2 (g( )) = a T V ( ) a (3.52) ) 2 ( ) 2 σ 2 + σ cov(, 2 ) (3.53) Das ist also die bekannte Formel, die auch für Fehlerfortpflanzung benutzt wird.