2.1 Gemeinsame-, Rand- und bedingte Verteilungen

Ähnliche Dokumente
Anhang aus Statistik-III-Skript: p-dimensionale Zufallsvariablen

1 (2π) m/2 det (Σ) exp 1 ]

3. Gemeinsame und bedingte Verteilung, stochastische Unabhängigkeit

Statistische Analyseverfahren Abschnitt 2: Zufallsvektoren und mehrdimensionale Verteilungen

Prof. Dr. Fred Böker

1.5 Mehrdimensionale Verteilungen

1 Multivariate Zufallsvariablen

13 Mehrdimensionale Zufallsvariablen Zufallsvektoren

Kapitel 8. Parameter multivariater Verteilungen. 8.1 Erwartungswerte

1 Erwartungswert und Kovarianzmatrix von Zufallsvektoren

6.1 Definition der multivariaten Normalverteilung

Sind f X bzw. f Y die wie auf Folie 242 definierten Dichtefunktionen zur N(µ X, σx 2 )- bzw. N(µ Y, σy 2 )-Verteilung, so gilt (genau) im Fall ρ = 0

Kapitel XII - Kennzahlen mehrdimensionaler Zufallsvariablen

Multivariate Verteilungen. Gerhard Tutz LMU München

Multivariate Verteilungen

Abhängigkeitsmaße Seien X 1 und X 2 zwei Zufallsvariablen. Es gibt einige skalare Maße für die Abhängigkeit zwischen X 1 und X 2.

oder A = (a ij ), A =

Klausur zur Vorlesung Analyse mehrdimensionaler Daten, Lösungen WS 2010/2011; 6 Kreditpunkte, 90 min

x p 2 (x )dx, Hinweis: es ist nicht erforderlich, zu integrieren!

Statistik I für Betriebswirte Vorlesung 3

Varianz und Kovarianz

Die n-dimensionale Normalverteilung

Einige Konzepte aus der Wahrscheinlichkeitstheorie (Wiederh.)

Dynamische Systeme und Zeitreihenanalyse // Multivariate Normalverteilung und ML Schätzung 11 p.2/38

Zusatzmaterial zur Vorlesung Statistik II

Statistik I für Betriebswirte Vorlesung 4

2. Ein Zufallsvektor X IR d ist multivariat normal verteilt dann und nur dann wenn seine charakteristische Funktion folgendermaßen gegeben ist:

4. Verteilungen von Funktionen von Zufallsvariablen

I Grundbegriffe 1 1 Wahrscheinlichkeitsräume Bedingte Wahrscheinlichkeiten und Unabhängigkeit Reellwertige Zufallsvariablen...

Gegenbeispiele in der Wahrscheinlichkeitstheorie

Einige Konzepte aus der Wahrscheinlichkeitstheorie (Review)

Fakultät Verkehrswissenschaften Friedrich List Professur für Ökonometrie und Statistik, insb. im Verkehrswesen. Statistik II

Unabhängige Zufallsvariablen

2.Tutorium Multivariate Verfahren

Multivariate Verteilungen und Copulas

Reelle Zufallsvariablen

Verteilungen mehrerer Variablen

Übungsrunde 10, Gruppe 2 LVA , Übungsrunde 10, Gruppe 2, Markus Nemetz, TU Wien,

8. Stetige Zufallsvariablen

Statistik III. Walter Zucchini Fred Böker Andreas Stadie

K. Eppler, Inst. f. Num. Mathematik Übungsaufgaben. 11. Übung SS 18: Woche vom

Statistics, Data Analysis, and Simulation SS 2017

Zusammenfassung: diskrete und stetige Verteilungen. Woche 4: Gemeinsame Verteilungen. Zusammenfassung: diskrete und stetige Verteilungen

K. Eppler, Inst. f. Num. Mathematik Übungsaufgaben. 11. Übung SS 13: Woche vom

Binomialverteilung. Häufigkeit, mit der Ereignis A bei n unabhängigen Versuchen eintritt. Träger von X : X = {0, 1, 2,..., n}.

K. Eppler, Inst. f. Num. Mathematik Übungsaufgaben. 12. Übung SS 18: Woche vom

7.5 Erwartungswert, Varianz

5. Spezielle stetige Verteilungen

Wichtige Begriffe und Sätze aus der Wahrscheinlichkeitsrechnung

Zufallsvariablen [random variable]

Multivariate Zufallsvariablen

Mathematische Werkzeuge R. Neubecker, WS 2018 / 2019 Optimierung Lagrange-Funktionen, Karush-Kuhn-Tucker-Bedingungen

0 für t < für 1 t < für 2 t < für 3 t < für 4 t < 5 1 für t 5

5 Erwartungswerte, Varianzen und Kovarianzen

Mathematische Werkzeuge R. Neubecker, WS 2016 / 2017

Wirtschaftsmathematik

4.2 Moment und Varianz

Teil VI. Gemeinsame Verteilungen. Lernziele. Beispiel: Zwei Würfel. Gemeinsame Verteilung

4 MEHRDIMENSIONALE VERTEILUNGEN

Folie zur Vorlesung Wahrscheinlichkeitsrechnung und Stoch. Prozesse

Beziehungen zwischen Verteilungen

Mathematik 2 Probeprüfung 1

Mehrdimensionale Zufallsvariablen

Eine Auswahl wichtiger Definitionen und Aussagen zur Vorlesung»Stochastik für Informatiker und Regelschullehrer«

Übungsblatt 11 zur Vorlesung Statistische Methoden - freiwilliger Teil

y = b 0 + b 1 x 1 x 1 ε 1. ε n b + b 1 1 x n 2) Hat die Größe x einen Einfluss auf y, d.h. gilt die Hypothese: H : b 1 = 0

Wahrscheinlichkeitsfunktion. Binomialverteilung. Binomialverteilung. Wahrscheinlichkeitshistogramme

i =1 i =2 i =3 x i y i 4 0 1

Gemeinsame Verteilung von Zufallsvariablen

a 11 a 12 a 1(m 1) a 1m a n1 a n2 a n(m 1) a nm Matrizen Betrachten wir das nachfolgende Rechteckschema:

[ 2 ] Die Zufallsvariablen X und Y haben die in der Tabelle gegebene gemeinsame Wahrscheinlichkeitsfunktion

Die Varianz (Streuung) Definition

7.2 Moment und Varianz

Wahrscheinlichkeitsrechnung und Statistik

Kapitel 6. Verteilungsparameter. 6.1 Der Erwartungswert Diskrete Zufallsvariablen

Statistik für Ingenieure Vorlesung 5

Wichtige Definitionen und Aussagen

Statistik. Sommersemester Prof. Dr. Stefan Etschberger Hochschule Augsburg. für Betriebswirtschaft und internationales Management

Wahrscheinlichkeiten. Verteilungen

Kenngrößen von Zufallsvariablen

Übung zu Empirische Ökonomie für Fortgeschrittene SS 2009

Statistik in Geodäsie, Geoinformation und Bauwesen

Formelsammlung: Statistik und Wahrscheinlichkeitstheorie

Kapitel 12 Erwartungswert und Varianz

1. Grundbegri e. T n i=1 A i = A 1 \ A 2 \ : : : \ A n alle A i treten ein. na = A das zu A komplementäre Ereignis; tritt ein, wenn A nicht eintritt.

Mehrdimensionale Verteilungen und Korrelation

Statistik. Sommersemester Stefan Etschberger. für Betriebswirtschaft, Internationales Management, Wirtschaftsinformatik und Informatik

Kapitel XIII - Funktion und Transformation mehrdimensionaler Zufallsvariablen

Institut für Statistik der LMU. FORMELSAMMLUNG 2003 zur STOCHASTIK FÜR BIOINFORMATIKER

Wahrscheinlichkeit und Statistik: Zusammenfassung

Wahrscheinlichkeitstheorie und Statistik

Übungsblatt 9 (25. bis 29. Juni)

Abhängigkeitsmaße Seien X 1 und X 2 zwei Zufallsvariablen. Es gibt einige skalare Maße für die Abhängigkeit zwischen X 1 und X 2.

Vorlesung 8a. Kovarianz und Korrelation

Eindimensionale Zufallsvariablen

Statistik für Ingenieure Vorlesung 3

Wahrscheinlichkeitsrechnung und Statistik

4. Gemeinsame Verteilung und Grenzwertsätze

4. Gemeinsame Verteilung und Grenzwertsätze

Transkript:

Kapitel Multivariate Verteilungen 1 Gemeinsame-, Rand- und bedingte Verteilungen Wir hatten in unserer Datenmatrix m Spalten, dh m Variablen Demnach brauchen wir jetzt die wichtigsten Begriffe für die Verteilung von m Zufallsvariablen Wir verweisen in diesem Zusammenhang auf das Skript zur Vorlesung Statistik III (Zucchini, Böker und Stadie, 001) Wir bezeichnen eine m-dimensionale Zufallsvariable, auch zufälliger Vektor genannt, mit Y, wobei Y t = (Y 1, Y,,Y m ) ist und Y 1, Y,, Y m sind univariate Zufallsvariablen Wir verwenden Großbuchstaben für Zufallsvariablen Wir hatten die Spalten in der Datenmatrix mit y 1,y,,y m bezeichnet, wobei yi t = (x 1i, x i,,x ni ), dh yi t besteht aus n Beobachtungen oder n Realisationen der Zufallsvariablen Y i Man sollte hier also immer genau auf Groß- und Kleinschreibung achten Ferner sei daran erinnert, dass Vektoren fettgedruckt werden, so ist zb Y ein Vektor von Zufallsvariablen,y i ein Vektor von Beobachtungen, während Y i eine einzelne Zufallsvariable ist Obwohl wir es später überwiegend mit stetigen Zufallsvariablen zu tun haben werden, beginnen wir mit dem diskreten Fall, dh wir nehmen an, dass alle Zufallsvariablen Y 1, Y,,Y m diskret sind Die Verteilung dieser m Zufallsvariablen wird dann durch eine Wahrscheinlichkeitsfunktion beschrieben: P Y1 Y Y m (y 1, y,,y m ) = P({Y 1 = y 1, Y = y,,y m = y m }) Man beachte bitte, dass hier y i klein geschrieben und nicht fett gedruckt ist, demnach ist y i eine einzelne mögliche Beobachtung der Zufallsvariablen Y i Die Wahrscheinlichkeitsfunktion gibt die Wahrscheinlichkeit an, dass die Zufallsvariable Y 1 den Wert y 1 und die Zufallsvariable Y den Wert y und und die Zufallsvariable Y m den Wert y m annimmt Die gemeinsame Wahrscheinlichkeitsfunktion beschreibt also die gemeinsame Verteilung der Zufallsvariablen Y 1, Y,,Y m Aus der gemeinsamen Verteilung lassen sich zwei weitere Arten von Verteilungen berechnen, nämlich die Rand- und bedingten Verteilungen Nehmen Sie an, wir interessieren uns für die Verteilung einer einzelnen Komponente des zufälligen Vektors Y, zb Y i Die Wahrscheinlichkeitsfunktion von Y i bekommen wir, indem wir die gemeinsame Wahrscheinlichkeitsfunktion über alle anderen Variablen summieren, dh P Yi (y i ) = P Y1 Y Y m (y 1,,y i,, y m ), 13

14 KAPITEL MULTIVARIATE VERTEILUNGEN wobei die Summation über alle m-tupel y = (y 1,, y i,,y m ) mit festem y i, dh mit anderen Worten: es wird über (y 1,,y i 1, y i+1,,y m ) summiert Die Verteilung von Y i heißt dann die Randverteilung von Y i Es sei daran erinnert, dass man (gemeinsame) Randverteilungen auch für mehr als eine Variable bestimmen kann, indem man die gemeinsame Wahrscheinlichkeitsfunktion über alle möglichen Werte der restlichenvariablen aufsummiert Schließlich sei noch an den Begriff der Unabhängigkeit erinnert Die Zufallsvariablen Y 1, Y,,Y m sind unabhängig, wenn die gemeinsame Wahrscheinlichkeitsfunktion das Produkt der Randwahrscheinlichkeitsfunktionen ist Sind die Werte von einigen der m Zufallsvariablen bereits gegeben (gleich festen Werten), so nennt man die Verteilung der übrigen Zufallsvariablen (deren Werte noch nicht bekannt sind) bedingte Verteilung Es sei daran erinnert, dass für zwei Ereignisse A und B, die bedingte Wahrscheinlichkeit des Ereignisses A, gegeben, dass das Ereignis B eingetreten ist, folgendermaßen definiert ist: P(A B) P(A B) = P(B) Für zwei Zufallsvariablen Y 1 und Y ist die bedingte Wahrscheinlichkeitsfunktion von Y 1, gegeben Y = y, definiert durch: P Y1 Y (y 1 y ) = P Y 1 Y (y 1, y ) P Y (y ) Allgemeiner ist die bedingte Wahrscheinlichkeitsfunktion von Y 1, Y,,Y k, gegeben Y k+1 = y k+1,,y m = y m definiert durch: P Y1 Y k Y k+1 Y m (y 1,,y k y k+1,,y m ) = P Y 1 Y m (y 1,,y m ) P Yk+1 Y m (y k+1,,y m ) Die gemeinsame Verteilungsfunktion der Zufallsvariablen Y 1, Y,, Y m ist definiert durch: F Y1 Y Y m (y 1, y,,y m ) = P(Y 1 y 1, Y y,,y m y m ) Diese Definition gilt auch für stetige Zufallsvariablen Die Verteilung von m stetigen Zufallsvariablen kann auch durch die gemeinsame Dichtefunktion beschrieben werden, die man durch Differentiation aus der gemeinsamen Verteilungsfunktion erhält: f Y1 Y,Y m (y 1, y,,y m ) = m F Y1 Y Y m (y 1, y,, y m ) y 1 y y m Die Begriffe Randdichte und bedingte Dichtefunktionen sind analog zum diskreten Fall definiert Man hat nur die Summenzeichen durch Integrale zu ersetzen Die Randdichte einer Komponente des zufälligen Vektors Y, zb Y i bekommen wir, indem wir über alle anderen Variablen integrieren f Yi (y i ) = f Y1 Y Y m (y 1,,y i,,y m )dy 1 dy i 1 dy i+1 dy m Stetige Zufallsvariablen sind unabhängig, wenn die gemeinsame Dichtefunktion das Produkt der Randdichtefunktionen ist Man bekommt die gemeinsame Randdichtefunktion von mehr

ERWARTUNGSWERT, VARIANZ, KOVARIANZ UND KORRELATION 15 als einer (und weniger als m) Zufallsvariablen, indem man über die möglichen Werte der restlichen Zufallsvariablen integriert Die bedingte Dichtefunktion von Y 1, gegeben Y = y ist definiert durch: f Y1 Y (y 1 y ) = f Y 1 Y (y 1, y ) f Y (y ) Allgemeiner ist die bedingte Dichtefunktion von Y 1, Y,,Y k, gegeben Y k+1 = y k+1,,y m = y m definiert durch: f Y1 Y k Y k+1 Y m (y 1,,y k y k+1,,y m ) = f Y 1 Y m (y 1,,y m ) f Yk+1 Y m (y k+1,,y m ) Erwartungswert, Varianz, Kovarianz und Korrelation Im univariaten Fall beschreibt man eine Verteilung häufig durch die ersten beiden Momente, dh durch den Erwartungswert und die Varianz, bzw durch die Quadratwurzel aus der Varianz, die Standardabweichung Bei zwei Zufallsvariablen, also im bivariaten Fall, nimmt man noch als gemeinsames Moment die Kovarianz oder die standardisierte Version, den Korrelationskoeffizienten dazu Im multivariaten Fall (m Zufallsvariablen) braucht man für eine Charakterisierung der Verteilung durch die ersten beiden Momente außer den Mittelwerten und den Varianzen noch die Korrelationskoeffizienten für jedes mögliche Paar von Variablen Wir wiederholen kurz die Definitionen: Erwartungswert: Wir bezeichnen den Vektor der Erwartungswerte mit µ t = (µ 1, µ,,µ m ), wobei µ i = E(Y i ) = yf i (y)dy der Erwartungswert der i-ten Komponente des Vektors Y t = (Y 1, Y,,Y m ) ist Diese Definition gilt für eine stetige Zufallsvariable Y i mit Randdichte f i Für eine diskrete Zufallsvariable gilt E(Y i ) = y yp i(y), wenn P i die Randwahrscheinlichkeitsfunktion von Y i bezeichnet Varianz: Die Varianz der i-ten Komponente des Zufallsvektors Y ist gegeben durch Var(Y i ) = E[(Y i µ i ) ] = E(Y i ) µ i Dies wurde bisher üblicherweise mit σi bezeichnet Um Verträglichkeit mit der Bezeichnung der Kovarianzen herzustellen, wählen wir jedoch im multivariaten Fall die Bezeichnung σ ii Kovarianz: Die Kovarianz zweier Zufallsvariablen Y i und Y j ist definiert durch: Cov(Y i, Y j ) = E[(Y i µ i )(Y j µ j )] Sie ist daher das Produktmoment zweier Zufallsvariablen um ihren Erwartungswert (siehe Skript Statistik III, 001, S10) Im Spezialfall i = j ist die Kovarianz einer Zufallsvariablen

16 KAPITEL MULTIVARIATE VERTEILUNGEN mit sich selbst einfach die Varianz Die Kovarianz von Y i und Y j wird üblicherweise mit σ ij bezeichnet Für den Fall i = j bezeichnen wir also die Varianz, wie schon oben vereinbart, mit σ ii Die Kovarianz wird oft nach der äquivalenten Formel berechnet σ ij = E(Y i Y j ) µ i µ j Kovarianzmatrix: Bei m Zufallsvariablen gibt es m Varianzen und 1 m(m 1) Kovarianzen Diese Größen werden üblicherweise in einer m m Matrix dargestellt, die mit Σ bezeichnet wird Σ = σ 11 σ 1 σ 1m σ 1 σ σ m σ m1 σ m σ mm Diese Matrix wird gelegentlich mit Dispersionsmatrix, Varianz-Kovarianzmatrix oder einfach als Kovarianzmatrix bezeichnet Beachten Sie, dass in der Diagonalen die Varianzen σ ii stehen Da die Kovarianz von Y i und Y j identisch mit der von Y j und Y i ist, gilt σ ij = σ ji, dh die Kovarianzmatrix ist symmetrisch Da (Y µ)(y µ) t = (Y 1 µ 1 ) (Y 1 µ 1 )(Y µ ) (Y 1 µ 1 )(Y m µ m ) (Y µ )(Y 1 µ 1 ) (Y µ ) (Y µ )(Y m µ m ) (Y m µ m )(Y 1 µ 1 ) (Y m µ m )(Y µ ) (Y m µ m ) und entsprechende Gleichungen auch für YY t und µµ t gelten ist: Σ = E[(Y µ)(y µ) t ] = E[YY t ] µµ t (1) Wir werden die Kovarianzmatrix später benutzen, um die Korrelationsmatrix auszurechnen Wir werden sie hier zunächst einmal benutzen, um die Varianz einer Linearkombination der Komponenten des zufälligen Vektors Y t = (Y 1, Y,,Y m ) zu berechnen Sei a t = (a 1, a,,a m ) ein Vektor von Konstanten Dann ist a t Y das Skalarprodukt aus dem konstanten Vektor a und dem zufälligen Vektor Y, also ein zufälliger Skalar, eine univariate Zufallsvariable Bezeichnen wir diese aus Y durch eine lineare Transformation hervorgegangene Zufallsvariable mit Z Z = a t Y Es gilt: Z = a 1 Y 1 + a Y + + a m Y m Daher ist E(Z) = a 1 E(Y 1 ) + a E(Y ) + + a m E(Y m )) = a 1 µ 1 + a µ + + a m µ m, dh in Vektorschreibweise: Die Varianz von Z ist gegeben durch: E(Z) = E(a t Y ) = a t µ () Var(Z) = E[{Z E(Z)} ] = E[{a t Y a t µ} ] = E[{a t (Y µ)} ]

ERWARTUNGSWERT, VARIANZ, KOVARIANZ UND KORRELATION 17 Da a t (Y µ) ein Skalar ist und daher identisch ist mit seinem Transponierten, können wir für die Varianz von Z unter Benutzung von Gleichung 1 unter Beachtung der Linearität des Erwartungswertes schreiben: Var(Z) = E[a t (Y µ)(y µ) t a] = a t E[(Y µ)(y µ) t ]a = a t Σa (3) Diese Formel bedeutet (ohne Matrizen geschrieben): m Var(Z) = Var(a t Y ) = a i σ ii + i=1 m m a i a j σ ij i=1 j=1 i j In dieser Form finden Sie diese Formel im Skript Statistik III (001, S 133) Für m= ist: a t Y = a 1 Y 1 + a Y In den Übungen zu Statistik III wurde gezeigt, dass Var(a 1 Y 1 + a Y ) = Var(a 1 Y 1 ) + Var(a Y ) + Cov(a 1 Y 1, a Y ) = a 1Var(Y 1 ) + a Var(Y ) + a 1 a Cov(Y 1, Y ) = a 1 σ 11 + a σ + a 1 a σ 1 Die letzte Zeile kann in der Form geschrieben werden: (a 1 a ) ( σ 11 σ 1 σ 1 σ ) ( a1 a ) Die Gleichungen und 3 können in der folgenden Weise verallgemeinert werden: Sei A eine m p-matrix von Konstanten Dann ist A t Y ein zufälliger p 1-Vektor, dessen Erwartungswertvektor und Kovarianzmatrix gegeben sind durch die folgenden Gleichungen: E(A t Y) = A t µ (4) Var(A t Y) = A t ΣA (5) Korrelationen: Die Kovarianz wird selten als deskriptives Maß für den linearen Zusammenhang zweier Zufallsvariablen benutzt, da sie von der Dimension abhängt, in der die Variablen gemessen werden Nur das Vorzeichen macht eine Aussage über den Zusammenhang Deshalb dividiert man die Kovarianz häufig durch das Produkt der Standardabweichungen der beiden Zufallsvariablen Y i und Y j und erhält damit den Korrelationskoeffizienten ρ ij, der definiert ist durch: ρ ij = σ ij σ i σ j, wobei σ i die Standardabweichung von Y i bezeichnet Der Korrelationskoeffizient ist ein dimensionsloses Maß für den linearen Zusammenhang zweier Zufallsvariablen und nimmt Werte zwischen -1 und 1 an Der Korrelationskoeffizient ist positiv, wenn der Zusammenhang zwischen beiden Variablen eine positive Steigung hat, dh große Werte der einen Variablen gehen mit großen Werten der anderen Variablen einher Wenn der Korrelationskoeffizient negativ ist, bedeutet dies bildlich, dass die Punktwolke eine negative Steigung hat: große Werte der einen Variablen gehen mit kleinen Werten der andern Variablen einher

18 KAPITEL MULTIVARIATE VERTEILUNGEN Wenn zwei Zufallsvariablen unabhängig sind, so ist ihre Kovarianz und damit auch der Korrelationskoeffizient Null Es ist jedoch wichtig, dass die Umkehrung nicht gilt Zwei Zufallsvariablen können unkorreliert und nicht unabhängig sein Meistens sind sie in nichtlinearer Form abhängig (Beispiel Statistik III) Für die bivariate Normalverteilung gilt jedoch die Umkehrung: Wenn zwei Zufallsvariablen gemeinsam normalverteilt sind, so folgt aus der Unkorreliertheit die Unabhängigkeit Die Korrelationsmatrix: Bei m Zufallsvariablen gibt es m(m-1)/ Korrelationen Diese werden häufig ähnlich wie die Kovarianzmatrix in einer (m m)-matrix dargestellt In der i-ten Zeile und j-ten Spalte dieser Matrix steht ρ ij, der Korrelationskoeffizient zwischen Y i und Y j Diese Matrix wird mit P bezeichnet, dem griechischen Symbol für ein großes Rho Die Diagonalelemente der Korrelationsmatrix sind 1 (in der Kovarianzmatrix standen dort die Varianzen!) Die Korrelationsmatrix ist wie die Kovarianzmatrix symmetrisch P = 1 ρ 1 ρ 1m ρ 1 1 ρ m ρ m1 ρ m 1 Um die Beziehung zwischen Kovarianzmatrix und Korrelationsmatrix in Matrizenform zu schreiben, definieren wir eine Diagonalmatrix D, in deren Diagonale die Standardabweichungen σ i = σ ii der Zufallsvariablen stehen Für den umgekehrten Zusammenhang zwischen P und Σ benötigt man die Inverse D 1, die in der Diagonale die reziproken Werte der Standardabweichungen enthält D = σ 1 0 0 0 σ 0 D 1 = 1/σ 1 0 0 0 1/σ 0 0 0 σ m 0 0 1/σ m Dann gilt: Σ = DP D (6) P = D 1 ΣD 1 (7) Rang von Σ und P: Wir hatten oben gesehen, dass a t Y eine Zufallsvariable ist Die Varianz einer Zufallsvariablen ist selbstverständlich größer oder gleich Null, dh V ar(a t Y) 0 für alle a Da V ar(a t Y) = a t Σa gilt, muss Σ positiv semidefinit sein Da die Diagonalmatrix D nichtsingulär ist, muss wegen der obigen Beziehung zwischen Σ und P, die Korrelationsmatrix P ebenfalls positiv semidefinit sein Weiterhin folgt wegen des gleichen Zusammenhangs zwischen P und Σ, dass P und Σ denselben Rang haben müssen, da für Matrizen A, B und C gilt: Rang(A)=Rang(BA)=Rang(AC), wenn B und C nichtsinguläre quadratische Matrizen sind Der Rang von Σ und daher auch P ist kleiner oder gleich m, der Anzahl der Variablen Wenn Σ und daher auch P von vollem Rang ist, dann ist Σ und daher auch P positiv definit, da dann V ar(a t Y) = a t Σa strikt größer ist als Null für jedes a 0 Ist Rang(Σ) < m,

3 MULTIVARIATE NORMALVERTEILUNG 19 so ist Σ und daher auch P singulär, dh es gibt einen linearen Zusammenhang zwischen den Komponenten von Y, dh es existiert ein Vektor a 0, so dass a t Y eine Konstante ist und somit gilt: V ar(a t Y) = a t Σa = 0 Das bedeutet: Σ ist positiv semidefinit und nicht positiv definit Mindestens eine der Variablen lässt sich als Linearkombination der übrigen darstellen und ist somit überflüssig, dh die Information, die in dieser Variablen enthalten ist, steckt auch schon in den anderen drin 3 Multivariate Normalverteilung Wir erinnern an die Dichtefunktion einer normalverteilten Zufallsvariablen Y mit Erwartung µ und Varianz σ, die gegeben ist durch (siehe Skript, Statistik III, S9): f Y (y) = 1 πσ exp[ (y µ) /σ ] für < y < (8) Wir haben dafür geschrieben: Y N(µ; σ ) Im multivariaten Fall sagen wir, dass eine m- dimensionale Zufallsvariable eine m-dimensionale Normalverteilung besitzt, wenn sie die folgende gemeinsame Dichtefunktion besitzt: f Y1 Y Y m (y 1, y,,y m ) = 1 (π) m/ det (Σ) exp[ 1 (y µ)t Σ 1 (y µ)] (9) Dabei ist Σ eine symmetrische, positiv definite m m-matrix und det (Σ) die Determinante der Matrix Σ, Σ 1 die Inverse der Matrix Σ, µ t = (µ 1, µ,,µ m ) undy t = (y 1, y,, y m ) Die Gleichung 9 reduziert sich für m = 1 auf Gleichung 8 Wenn Y 1, Y,,Y m unabhängige Zufallsvariablen mit Y i N(µ i, σi ), dann ist ihre gemeinsame Dichtefunktion das Produkt der Randdichtefunktionen: f(y 1, y,,y m ) = 1 (π) m/ m i=1 σ i exp [ 1 m ( ) ] yi µ i i=1 σ i (10) In diesem Fall hat Y t = (Y 1, Y,,Y m ) den Erwartungswertvektor µ t = (µ 1, µ,,µ m ) und die Kovarianzmatrix σ 1 0 0 0 σ Σ = 0 0 0 σm und man sieht, dass Gleichung 10 in der Form von Gleichung 9 geschrieben werden kann Im allgemeinen Fall ist Σ natürlich keine Diagonalmatrix Man kann zeigen, dass Gleichung 9 für alle µ und für alle symmetrischen und positiv definiten m m-matrizen Σ eine gemeinsame Dichtefunktion definiert Dann gilt: E(Y) = µ und V ar(y) = Σ, wobei wir mit,,var die Kovarianzmatrix bezeichnen Wir schreiben dann Y N m (µ; Σ),

0 KAPITEL MULTIVARIATE VERTEILUNGEN wobei m die Dimension von Y, µ den Erwartungswertvektor und Σ die Kovarianzmatrix bedeutet Die Definition über Gleichung 9 verlangt, dass die Matrix Σ nichtsingulär ist, damit man die Inverse Σ 1 bilden kann Damit sind lineare Abhängigkeiten zwischen den Komponenten von Y nicht erlaubt Die Bedeutung der multivariaten Normalverteilung beruht auf dem zentralen Grenzwertsatz in seiner multivariaten Form Der zentrale Grenzwertsatz (univariat) besagt, dass standardisierte Mittelwerte für große n annähernd standardnormalverteilt sind (siehe Skript, Statistik III, S 36) Wir kommen auf die multivariate Normalverteilung in einem späteren Kapitel zurück Die multivariate Normalverteilung kann in R mit der Funktion mvrnorm(n=1, mu, Sigma) aus der library MASS simuliert werden Dabei ist n die Anzahl der Simulationen, mu der Erwartungswertvektor µ und Sigma die Kovarianzmatrix 4 Bivariate Normalverteilung Die bivariate Normalverteilung ist ein wichtiger Spezialfall der multivariaten Normalverteilung In diesem Fall ist µ t = (µ 1, µ ), während die Kovarianzmatrix gegeben ist durch: Σ = ( σ11 σ 1 σ 1 σ ) ( σ = 1 ρσ 1 σ ρσ 1 σ σ ) (11) Dabei bezeichnet ρ den Korrelationskoeffizienten zwischen den beiden Zufallsvariablen (siehe Skript, Statistik III, S 18) Dort wurde auch gezeigt, dass dies mit der üblichen Darstellung f Y1 Y (y 1, y ) = 1 πσ 1 σ 1 ρ exp { [ (y1 ) 1 µ ( ) ( ) ( ) ]} 1 y1 µ 1 y µ y µ ρ + (1 ρ ) σ 1 übereinstimmt Die bivariate Normalverteilung hängt von fünf Parametern ab, den beiden Erwartungswerten µ 1 und µ, den beiden Varianzen σ1 und σ und dem Korrelationskoeffizienten ρ Die Kovarianzmatrix ist positiv definit, wenn alle Hauptabschnittsdeterminanten größer als Null sind Die erste Hauptabschnittsdeterminante ist σ1 und damit größer als Null Die zweite ist det(σ) = σ1σ ρ σ1σ = (1 ρ )σ1σ Offensichtlich ist det(σ) genau dann größer als Null, wenn ρ < 1 gilt Wenn ρ = 1 oder ρ = 1, dann sind die beiden Variablen linear abhängig und die Beobachtungen liegen auf einer Geraden Man erhält also eine ausgeartete Form der bivariaten Normalverteilung Wenn ρ = 0, dann ist die gemeinsame Dichtefunktion das Produkt zweier univariater Normalverteilungen Die beiden Zufallsvariablen sind somit unabhängig σ 1 σ σ 5 Andere multivariate Verteilungen a) Diskrete Verteilungen Die beste Quelle zur Information ist das Buch von Johnson, Kotz und Balakrishnan (1997) über diskrete multivariate Verteilungen Im Zusammenhang mit mehrdimensionalen Kontingenztafeln findet man auch viele Verteilungen bei Bishop ua (1980, Kapitel 13) Wir zählen hier nur einige Namen auf Meistens geht

5 ANDERE MULTIVARIATE VERTEILUNGEN 1 aus dem Namen schon hervor, zu welcher univariaten Verteilung eine Beziehung besteht Multinomialverteilung Negative Multinomialverteilung Multivariate Poissonverteilungen Multivariate hypergeometrische Verteilung b) Stetige Verteilungen Auch hier hier gibt es ein ganzes Buch über multivariate stetige Verteilungen von Johnson und Kotz (197) Die wichtigste Verteilung ist die bereits oben besprochene multivariate Normalverteilung Wie im univariaten Fall gibt es Verteilungen, die in enger Beziehung zur multivariaten Normalverteilung stehen, wie Wishart-Verteilung (Verallgemeinerung der χ -Verteilung) Multivariate t-verteilung Daneben findet man bei Johnson und Kotz (197) unter anderem Verallgemeinerungen der Betaverteilung (Dirichletverteilung) Gammaverteilung Exponentialverteilung Als Beispiel betrachten wir die Dirichletverteilung Zur Erinnerung sei die Dichtefunktion der Betaverteilung noch einmal gegeben: y α 1 (1 y) β 1 0 y 1 f Y (y) = B(α, β) 0 sonst Wir geben noch einmal die Definition der Betafunktion und ihre Beziehung zur Gammafunktion B(α, β) = 1 0 t α 1 (1 t) β 1 dt α > 0 β > 0 = Γ(α)Γ(β) Γ(α + β) Die Zufallsvariablen Y 1, Y, Y m besitzen eine Dirichletverteilung mit den Parametern α 1, α,,α m, wenn ihre gemeinsame Dichtefunktion gegeben ist durch: y α i 1 i Γ(C) m i=1 f(y 1,,y m ) = m Γ(α i ) Dabei muss gelten y i 0 für alle i mit der Nebenbedingung m i=1 y i = 1 Ferner ist C = m i=1 α i, α i > 0 für alle i Die Dirichletverteilung ist verwendet worden als Modell für die Kaufwahrscheinlichkeit einer bestimmten Marke eines Produkts, von dem nur genau eine Marke gekauft wird i=1