2 Multivariate Statistik

Transkript

1 MS Multivariate Statistik 21 Grundbegriffe In diesem Abschnitt sollen die ersten wichtigen Grundbegriffe der Multivariaten Statistik eingeführt werden: Mehrdimensionale Variablen, Erwartungswerte, Kovarianzmatrizen, affine Abbildungen Multivariate Daten Sehr oft liefern Versuchspersonen oder allgemeiner Untersuchungseinheiten in Untersuchungen nicht nur einen Zahlenwert als Versuchsergebnis, sondern mehrere Es wird dann also nicht nur eine Variable erhoben, sondern mehrere In solchen Fällen ist es oft angemessen und empfehlenswert, diese Werte oder einen Teil dieser Werte zu einem Vektor zusammenzufassen Gelegentlich fasst man auch zusammengehörende Gruppen von Variablen jeweils zu Vektoren zusammen Beispiele: 1 Bei der Normierung eines Intelligenztests liefern alle Probanden für jeden Untertest einen Wert Hat der Intelligenztest 3 Untertests (verbale, rechnerische, räumliche Intelligenz), so ist es sinnvoll, die Ergebnisse der Personen in einem 3-Vektor zusammenzufassen Ein Ergebnisvektor (10, 7, 9) einer Versuchsperson bedeutet dann, dass sie in dem ersten Untertest (verbale Intelligenz) 10 Punkte erzielt hat, in dem zweiten 7 und so weiter Vielleicht werden bei der Untersuchung zusätzlich Alter und Geschlecht erhoben Dann könnte man die Werte in diesen Variablen (Geschlecht geeignet als Zahl kodiert) hinzufügen und hätte nun als Ergebnis jeder Versuchsperson einen 5-Vektor Ob dies sinnvoll ist oder ob man nur die Intelligenzwerte zusammenfassen sollte, hängt von den Zielsetzungen der Untersuchung und den Auswertungsmethoden ab 2 In einer Studie zum Therapieerfolg wird bei allen Versuchspersonen die Befindlichkeit vor der Therapie, zweimal während der Therapie zu festgesetzten Zeitpunkten und nach der Therapie erhoben Hier liefert jede Person vier Werte, die man sinnvollerweise zu einem 4-Vektor zusammenfasst Ein Ergebnisvektor (4, 7, 6, 8) bedeutet dann, dass die untersuchte Person vor der Therapie einen Wert von 4 hatte, der sich im Laufe der Therapie über die Werte 7 und 6 auf 8 nach der Therapie änderte

2 21 Grundbegriffe MS Man will den Zusammenhang von Persönlichkeitseigenschaften und physiologischen Parameter untersuchen Für die Persönlichkeit liegen 5 Variablen vor (Extraversion, Gewissenhaftigkeit, ), an physiologischen Maßen wurden 4 erhoben (Herzrate, Atemfrequenz, ) Hier ist es angemessen, die Persönlichkeitswerte jeder Versuchsperson zu einem 5-Vektor zusammenzufassen und die physiologischen Maße zu einem 4-Vektor Jede Versuchsperson liefert dann zwei Vektoren, darüber hinaus vielleicht auch noch weitere Variablen wie Alter, Geschlecht etc Die einfachste Situation ist die, dass man alle interessierenden Variablen zu einem Vektor zusammenfasst Sind p solche Variablen zu untersuchen, so ist das Ergebnis für jede Versuchsperson ein p -Vektor Als Beispiel seien an 5 Probanden je drei Intelligenzwerte erhoben worden, die Ergebnisse seien in der üblichen Weise in der folgenden Datenmatrix (Zeilen: Personen, Spalten: Variablen) zusammengefasst: Bezeichnet man diese Datenmatrix mit X, so erhält der Ergebnisvektor der i- ten Versuchsperson üblicherweise den Namen x i Dieser Ergebnisvektor ist die transponierte i-te Zeile der Datenmatrix (man rechnet ja nach Möglichkeit mit Spaltenvektoren, daher die Transposition) Hier ist beispielsweise das Ergebnis der dritten Versuchsperson der Vektor x 3 = (2, 3, 3) Es ist nicht ganz einfach, für solche Situationen eine in jeder Hinsicht befriedigende Notation zu finden Von der univariaten Statistik her würde es naheliegen, Variablen (hier im informellen Sinn) mit großen Buchstaben zu bezeichnen und auf diese Weise eine Variable X von einem möglichen Wert x oder dem Wert x i einer Versuchsperson zu unterscheiden Nun möchte man jedoch Variablen auch zu Vektoren von Variablen zusammenfassen, und hier müsste man folgerichtig für einen solchen Variablenvektor das Symbol X gebrauchen, das jedoch schon für die Datenmatrizen reserviert und ganz ungebräuchlich ist Man kann also nicht alle Wünsche an die Notation befriedigen, und daher werden im folgenden Text unterschiedliche Konventionen benutzt, wobei die leitenden

3 21 Grundbegriffe MS13 3 Gesichtspunkte die sind, dass einerseits die Sachverhalte möglichst deutlich werden sollen, und dass andererseits die Diskrepanz zu üblichen Notationen nicht zu groß werden darf Konkret bedeutet dies, dass zur Bezeichnung von Einzelvariablen gelegentlich große und gelegentlich kleine Buchstaben verwendet werden; werden solche Variablen jedoch zu Variablenvektoren zusammengefasst, so sollen nur kleine Buchstaben gebraucht werden Die Bedeutungskollision bei der Verwendung kleiner Buchstaben, dass damit nämlich einerseits Variablen oder Variablenvektoren und andererseits mögliche Werte solcher Variablen oder Variablenvektoren bezeichnet werden, wird sich immer durch die Beachtung des Kontexts auflösen lassen Statt von Variablenvektoren redet man dabei auch von p-dimensionalen Variablen In dem Beispiel sollen die drei Variablen hier den früheren Konventionen folgend mit X 1, X 2 und X 3 bezeichnet werden, der zugehörige Variablenvektor jedoch mit x; es gilt dann x = (X 1, X 2, X 3 ), und man kann dieses x dann auch eine dreidimensionale Variable nennen Die mögliche Kollision ist die, dass das Symbol x sowohl den Variablenvektor als auch einen möglichen Wert dieses Vektors bezeichnen kann Die wichtigsten deskriptiven Kennwerte in einer multivariaten Datensituation sind die Mittelwerte der Variablen und die Varianzen und Kovarianzen Die Mittelwerte fasst man dabei auch wieder zu einem Vektor zusammen, der den Namen x erhält, und die Varianzen und Kovarianzen stellt man zu der Kovarianzmatrix zusammen, die oft den Namen S bekommt In dem Beispiel ergibt sich dann x = 9 und S = Wenn man n Personen unabhängig aus einer Population gezogen hat und sich für die Varianzen und Kovarianzen in der Population interessiert, so erhält man dafür bekanntlich erwartungstreue Schätzer mit den korrigierten Stichprobenvarianzen und -kovarianzen, bei deren Bildung man nicht durch n, sondern durch n 1 teilt Die analog aufgebaute Matrix der korrigierten Varianzen und Kovarianzen soll hier korrigierte Stichprobenkovarianzmatrix heißen und mit S u abgekürzt werden Der Index u steht dabei für unbiased, die englische Bezeichnung für erwartungstreu Es gilt natürlich S u = (n/(n 1))S

4 21 Grundbegriffe MS13 4 Im Beispiel ergibt sich S u = Die Matrix ns = (n 1)S u, die gewissermaßen die Vorstufe zur Bildung der beiden Kovarianzmatrizen ist, bei der nur noch nicht durch n bzw n 1 dividiert wurde, trägt auch den Namen SSCP-Matrix, wobei SSCP für Sum of Squares and Cross Products steht Der Name weist auf die Rechnung hin, mit der man einen Eintrag dieser Matrix erhält Für das (i, j)-element bildet man zunächst für die zugehörigen Variablen i und j personenweise die Abweichungen vom jeweiligen Mittelwert Dann multipliziert man entsprechende (zur gleichen Person gehörende) Abweichungen miteinander ( Squares and Cross Products, Squares steht für den Fall i = j, in dem einfach zu quadrieren ist) und summiert schließlich auf Im Beispiel ist die SSCP-Matrix gleich Neben den Kovarianzmatrizen ist oft auch die analog aufgebaute Korrelationsmatrix interessant, bei der die Kovarianzen durch Korrelationen ersetzt sind, und die daher in der Diagonalen aus Einsen besteht Die Korrelationsmatrix des Beispiels ist Zentriermatrizen In diesem Abschnitt sollen verschiedene deskriptive Berechnungen mit Hilfe von Matrizenmultiplikationen dargestellt werden Diese Darstellungsmöglichkeit ist für theoretische Zwecke interessant und wichtig Für konkrete Berechnungen beispielsweise von Kovarianzmatrizen sind sie allerdings meist zu aufwendig, hier benutzt man besser die bekannten Formeln aus der Elementarstatistik Ein weiterer Zweck des Abschnitts ist das Einüben des Umgangs mit Matrizen

5 21 Grundbegriffe MS13 5 Zunächst soll eine univariate Situation betrachtet werden, in der an n Versuchspersonen eine Variable X erhoben worden ist Die Werte der Versuchspersonen fasst man dann oft in einem sogenannten Datenvektor zusammen, der hier x heißen soll Sind beispielsweise bei 5 Personen die Werte 10, 8, 7, 6 und 14 erhoben worden, so ist x = (10, 8, 7, 6, 14) Um Verwirrungen vorzubeugen sei hier darauf hingewiesen, dass Vektoren in unterschiedlichen Situationen unterschiedlich verwendet werden In univariaten Situationen wie hier fasst man mit Vektoren meist die Daten vieler Versuchspersonen in einer Variablen zusammen In multivariaten Situationen werden dagegen Vektoren oft auch verwendet, um die Werte einer Versuchsperson in mehreren erhobenen Variablen zusammenzufassen Als erstes soll der Mittelwert berechnet werden Bezeichnet man mit 1 n den Vektor aus n Einsen (den Index n lässt man meist weg, wenn keine Unklarheiten auftreten können), so kann der Mittelwert auch wie folgt dargestellt werden (links steht die allgemeine Form, rechts das konkrete Beispiel): x = 1 n 1 x x = (1, 1, 1, 1, 1) = 45 5 = 9 Eigentlich ist hier das Ergebnis keine Zahl, sondern eine (1 1)-Matrix Diese wird jedoch hier wie üblich mit ihrem einzigen Element identifiziert Beim Berechnen der Varianzen und Kovarianzen ist meist der erste Schritt der, dass man von allen Datenpunkten den Mittelwert abzieht Man spricht hier auch vom Zentrieren der Daten Die Differenzen fasst man dann wieder zu einem Vektor zusammen, den man den zentrierten Datenvektor nennt, und der hier mit ẋ bezeichnet werden soll Den zentrierten Vektor erhält man also, indem man von dem Datenvektor x den Vektor abzieht, dessen Komponenten alle gleich x sind Diesen Vektor kann man auch schreiben als 1( x), wobei ( x) die (1 1)-Matrix mit Element x bezeichnet

6 21 Grundbegriffe MS ẋ = x 1 ( x ) 8 1 ( ) ẋ = = 7 9 = Hier kann man nun für ( x) den gerade berechneten Ausdruck einsetzen und erhält nach einigen Umformungen ( ) 1 ẋ = x 1( x) = x 1 n 1 x = x 1 n 1 (1 x) = x 1 n (11 ) x = Ix 1 ( n (11 ) x = I 1 ) n (11 ) x = Z n x, wobei mit Z n (oder, wenn n aus dem Kontext zu erschließen ist, kurz Z) die Matrix I (1/n)11 abgekürzt wird, die auch Zentriermatrix heißt Für den Spezialfall n = 5 sieht diese Matrix so aus: Z 5 = = Man bemerkt dabei, dass 11 die (n n)-matrix aus lauter Einsen ist Im Gegensatz dazu ist das sogleich benötigte Produkt 1 1 die (1 1)-Matrix (n), die auch mit der Zahl n identifiziert wird Die Zentriermatrix Z hat die beiden wichtigen Eigenschaften wobei Z 2 für ZZ steht Einerseits ist nämlich Z = ( I 1 n 11 ) = I Z = Z und Z 2 = Z, ( 1 n 11 ) = I 1 n (11 ) = I 1 n 1 1 = I 1 n 11 = Z

7 21 Grundbegriffe MS13 7 und andererseits wegen Z 2 = (I 1n 11 ) (I 1n 11 ) = II I ( ) ( ) ( ) ( ) n 11 n 11 I + n 11 n 11 = I 1 n 11 1 n n 2 (11 )(11 ) = I 1 n 11 = Z 1 n 2 (11 )(11 ) = 1 n 2 1(1 1)1 = 1 n 2 1(n)1 = n n 2 1(1)1 = 1 n 11, womit beide Behauptungen gezeigt sind Die beiden genannten Eigenschaften haben auch Namen Erfüllt eine quadratische Matrix A die Bedingung A 2 = A, so nennt man A auch idempotent Gilt für ein quadratisches A die Bedingung A = A, so heißt A auch symmetrisch Die gerade gezeigte Behauptung über Z lässt sich also auch mit den Worten formulieren, dass Z symmetrisch und idempotent ist Die Klasse der symmetrischen und idempotenten Matrizen spielt eine sehr wichtige Rolle in der multivariaten Statistik es ist die Klasse der sogenannten orthogonalen Projektionen Die Zentriermatrix ist also ein Beispiel für eine orthogonale Projektion Viele Argumente lassen sich durch die folgende Beobachtung vereinfachen: Eine quadratische Matrix A ist genau dann symmetrisch und idempotent, wenn sie der Bedingung A A = A genügt Genügt nämlich A der Bedingung A A = A, so folgt einerseits durch einfache Anwendung der Rechenregeln andererseits damit sofort A = (A A) = A A = A A = A, A 2 = AA = A A = A,

8 21 Grundbegriffe MS13 8 insgesamt also Symmetrie und Idempotenz Ist andererseits A symmetrisch und idempotent, so gilt A A = AA = A, wobei die erste Gleichung aus der Symmetrie und die zweite aus der Idempotenz folgt Die behauptete Äquivalenz ist damit gezeigt Insbesondere kann man die oben gezeigte Idempotenz und Symmetrie von Z nun auch alternativ formulieren als Z Z = Z Für Z gilt außerdem Z1 = 0, da der Vektor 1, als konstante Datenreihe interpretiert, zu einem Mittelwert von 1 führt, von dem alle Komponenten die Abweichung 0 besitzen Man macht sich dies auch leicht formal klar: Z1 = (I 1 n 11 )1 = I1 1 n (11 )1 = 1 1 n 1(1 1) = 1 n n 1 = 0 Die Zentriermatrix kann nun dazu benutzt werden, die Bildung von Varianzen und Kovarianzen in der Matrizensprache zu beschreiben Da die Varianz ein Spezialfall der Kovarianz ist, soll gleich die Kovarianz behandelt werden Dazu seien zwei Variablen X und Y an denselben n Versuchspersonen erhoben worden Die Ergebnisse werden wieder in zwei Datenvektoren x und y zusammengefasst, die dann insbesondere gleiche Länge haben Die Kovarianz Kov X,Y von X und Y berechnet sich dann bekanntlich nach der Formel Kov X,Y = 1 n n (x i x)(y i ȳ) i=1 Hier werden zunächst die Abweichungen vom jeweiligen Mittelwert miteinander multipliziert und dann die Produkte aufsummiert und durch n geteilt Die Abweichungen vom jeweiligen Mittelwert stehen jedoch auch in den zentrierten Datenvektoren ẋ und ẏ, so dass man die Kovarianz auch als Kov X,Y = 1 nẋ ẏ

9 21 Grundbegriffe MS13 9 schreiben kann Sind beispielsweise die Werte für die Variable X wie oben 10, 8, 7, 6, 14 und die von Y in der gleichen Reihenfolge 4, 6, 5, 3, 7, so gilt x = 7, y = 5, ẋ = 2, ẏ = und 1 5ẋ 1 ẏ = 1 ( ) = 1 14 = 28, was in der Tat gerade die Kovarianz von X und Y ist Die Operation des Zentrierens kann man auch mit der Zentriermatrix ausdrücken, es gilt daher ẋ ẏ = (Zx) (Zy) = x Z Zy = x Zy wegen der Eigenschaften der Zentriermatrix Insgesamt erhält man die Darstellung Kov X,Y = 1 n x Zy Ein Spezialfall ist die Varianz von X, die man auch als (1/n)x Zx schreiben kann Nun soll der Fall betrachtet werden, dass bei den untersuchten n Personen nicht nur 2, sondern allgemein p Variablen erhoben worden sind Die Ergebnisse seien in einer Datenmatrix X zusammengefasst, die dann n Zeilen und p Spalten besitzt Man überlegt sich leicht, dass man beispielsweise den Mittelwertvektor in der folgenden Weise schreiben kann: x = 1 n X 1 n Das Produkt X 1 ist nämlich gerade die Summe der (als Vektoren aufgefassten) Spalten von X, also die Summe der Ergebnisvektoren aller Versuchspersonen, und mit Division durch n erhält man daraus komponentenweise die Mittelwerte Will man alle Spalten einer Datenmatrix zentrieren, so erhält man das Ergebnis, das hier naheliegenderweise zentrierte Datenmatrix genannt und mit Ẋ bezeichnet werden soll, auch mit der Formel Ẋ = ZX,

10 21 Grundbegriffe MS13 10 wie man sofort sieht, wenn man sich vergegenwärtigt, dass die Spalten von ZX gerade die Produkte von Z mit den Spalten von X sind Die SSCP-Matrix kann man nun schreiben als Ẋ Ẋ Man erhält nämlich das (i, j)-element der Matrix Ẋ Ẋ als Produkt der i-ten Zeile von Ẋ und der j-ten Spalte von Ẋ, also als Produkt der zentrierten Datenreihen der i-ten und der j-ten Variable Dieses Produkt ist aber gerade das (i, j)-element der SSCP-Matrix, die daher mit Ẋ Ẋ in allen Elementen übereinstimmt, woraus die Gleichheit folgt Die Kovarianzmatrix S und die korrigierte Stichprobenkovarianzmatrix S u sind dann S = 1 nẋ Ẋ und S u = 1 n 1Ẋ Ẋ Die SSCP-Matrix kann man nun auch mit Hilfe der Zentriermatrix und der Originaldatenmatrix als X ZX schreiben: Ẋ Ẋ = (ZX) ZX = X Z ZX = X ZX Da man die beiden Versionen der Kovarianzmatrix dadurch erhält, dass man die SSCP-Matrix durch n bzw n 1 teilt, gilt entsprechend S = 1 n X ZX und S u = 1 n 1 X ZX Wegen (Ẋ Ẋ) = Ẋ Ẋ = Ẋ Ẋ erhält man übrigens auch sofort die ohnehin bekannte Tatsache, dass Kovarianzmatrizen und SSCP-Matrizen symmetrisch sind Abschließend sei noch einmal darauf hingewiesen, dass die angegebenen Matrizenformeln eine für theoretische Zwecke elegante Darstellung geben, dass man beim Berechnen von Varianzen und Kovarianzen in den meisten Fällen besser nach den aus der Elementarstatistik bekannten Formeln vorgeht Affine Abbildungen In der multivariaten Statistik spielen die sogenannten affinen Abbildungen eine ganz zentrale Rolle Sie sind Verallgemeinerungen der Abbildungen, die man in der univariaten Statistik oft lineare Transformationen nennt, auf die multivariate Situation

11 21 Grundbegriffe MS13 11 Eine affine Abbildung ist eine Abbildung f von einem R p in einen R q, die die Form f(x) = Ax + b besitzt Dabei ist A eine (q p)-matrix und b ein q-vektor Die Matrix A heißt auch der lineare Anteil der affinen Abbildung und der Vektor b auch der Verschiebungsvektor Als Beispiel sei eine Situation betrachtet, in der man zwei Vordiplomsnoten mit Hilfe von drei Schulnoten in der aus der multiplen Regression bekannten Weise vorhersagen möchte Diesen Fall kann man multivariat so behandeln, dass man zunächst die drei Schulnoten zu einem 3-Vektor x und die beiden vorhergesagten Vordiplomsnoten zu einem 2-Vektor ŷ zusammenfasst Die Vorhersagegleichungen kann man dann in die Form ŷ = Ax + b mit einer geeigneten (2 3)-Matrix A und einem 2-Vektor b bringen, also auf die Form einer affinen Abbildung Schreibt man nämlich die Gleichung ŷ = Ax + b aus, so erhält man ) ( ) 1 ( ) (ŷ1 a11 a = 12 a 13 x x 2 b1 + ŷ 2 a 21 a 22 a 23 b 2 x 3 ( ) a11 x = 1 + a 12 x 2 + a 13 x 3 + b 1 a 21 x 1 + a 22 x 2 + a 23 x 3 + b 2, was man in der Tat als zwei übereinandergeschriebene regressionsartige Gleichungen lesen kann, in denen beispielsweise die erste Vordiplomsnote durch die drei Schulnoten mit den Regressionsgewichten a 11, a 12 und a 13 und der additiven Konstante b 1 vorhergesagt wird, also durch Koeffizienten, die in der ersten Zeile von A zusammengefasst sind und durch die erste Komponente von b Entsprechend enthält die zweite Zeile von A die Koeffizienten der zweiten Regressionsgleichung und die zweite Komponente von b die zugehörige additive Konstante Eine Bemerkung zur Notation: Die Gleichung ŷ = Ax+b kann wegen der Ambiguität der Verwendung der Symbole auf zwei Arten gedeutet werden Einerseits kann man ŷ und x als Bezeichnung von Variablenvektoren lesen; dann gibt die Gleichung symbolisch an, wie der Variablenvektor ŷ aus dem Variablenvektor x hervorgeht Andererseits kann man ŷ und x als Bezeichnungen von möglichen Werten lesen; dann sagt die Gleichung, wie man für einen Wert x den zugehörigen Wert ŷ berechnet Da hier beide Interpretationen denselben Grundgedanken ausdrücken, ist diese Uneindeutigkeit nicht nur harmlos, sondern geradezu nützlich

12 21 Grundbegriffe MS13 12 Ein Spezialfall einer affinen Transformation einer p-dimensionalen Variablen x, die aus den Einzelvariablen X 1,, X p besteht, ist der, in dem q = 1 gilt, in dem also nur eine neue Variable Y gebildet wird Die Matrix A besteht dann aus nur einer Zeile und anstelle eines Vektors b hat man eine Zahl b Hier zieht man es vor, die Koeffizienten in der Zeile der Matrix A zu einem Spaltenvektor zusammenzufassen, der hier a heißen möge es gilt dann also A = a Die entstehende Gleichung Y = a x+b kann man ausschreiben zu Y = a j X j +b, und es folgt, dass dieser Spezialfall gerade das ist, was im Univariaten als eine Linearkombination der Variablen X j bezeichnet wurde Das Ergebnis dieser Überlegungen ist einerseits, dass man Linearkombinationen Y = a j X j +b von Variablen X j auch als Y = a x+b schreiben kann, wobei man die Koeffizienten a j zu einem Spaltenvektor a zusammenfasst, und andererseits, dass solche Linearkombinationen Spezialfälle von affinen Abbildungen sind, wobei die Matrix A aus der allgemeinen Definition durch a ersetzt ist und der Vektor b durch b Will man beipielsweise nur eine Vordiplomsnote mit Hilfe von drei Schulnoten vorhersagen, so fasst man die Regressionsgewichte in einem 3-Vektor a zusammen und schreibt die Vorhersagegleichung ŷ = 3 a j x j + b j=1 auch kurz als ŷ = a x + b ; der lineare Anteil der zugehörigen affinen Abbildung ist hier also a, das dann als Matrix mit einer Zeile und drei Spalten betrachtet wird Ein wichtiges Beispiel einer affinen Transformation ist diejenige Transformation, bei der man alle Variablen z-transformiert, wie nun gezeigt werden soll Zunächst ist es sinnvoll, einige Bezeichnungen einzuführen Ist x der betrachtete p-variablenvektor, so soll mit V x die Diagonalmatrix mit den Varianzen der Komponenten von x bezeichnet werden Mit Vx 1/2 und Vx 1/2 sollen entsprechend die Diagonalmatrizen mit den Streuungen und den Kehrwerten der Streuungen benannt werden (wobei bei der letzten vorauszusetzen ist, dass alle Streuungen von 0 verschieden sind)

13 21 Grundbegriffe MS13 13 Ist zum Beispiel S = die Kovarianzmatrix einer dreidimensionalen Variable x, so gilt /2 0 0 V x = , Vx 1/2 = und Vx 1/2 = 0 1/ /4 Die Verwendung der Exponenten 1/2 und 1/2 soll andeuten, dass bei V x aus den Diagonalelementen die Wurzeln bzw die Kehrwerte der Wurzeln gebildet werden sollen Man kann übrigens für gewisse Matrizen das Potenzieren auch mit nicht ganzzahligen Exponenten definieren, und die hier verwendeten Bezeichnungen lassen sich dann in diesem Sinne interpretieren Oft rechnet man statt mit Varianzen und Kovarianzen mit den entspechenden korrigierten Stichprobenvarianzen und -kovarianzen, also statt mit S mit S u Auch dann ist die Einführung entsprechender Diagonalmatrizen sinnvoll, für die eigentlich eigene Bezeichnungen zu wählen wären Da man jedoch sinnvollerweise nie die beiden Versionen von Varianzen und Kovarianzen in Rechnungen mischt, ist dies nicht nötig, da das jeweils Gemeinte aus dem Kontext deutlich werden sollte Da die z-transformation darin besteht, von den Daten den Mittelwert abzuziehen und das Ergebnis durch die Streuung zu teilen, erkennt man sofort, dass bei einem Datenvektor x diese komponentenweise durchgeführten Operationen zu dem Ergebnis z = Vx 1/2 (x x) = Vx 1/2 x Vx 1/2 x führen Die z-transformation aller Komponenten von x lässt sich also durch die affine Abbildung mit linearem Anteil Vx 1/2 und Verschiebung Vx 1/2 x beschreiben Kennwerte bei affinen Transformationen In diesem Abschnitt soll untersucht werden, wie sich Mittelwertsvektor und Kovarianzmatrix verhalten, wenn man Daten einer affinen Abbildung unterwirft, oder sie, wie man auch sagt, affin transformiert An dieser Stelle ist zu bemerken, dass die üblichen Terminologien im Univariaten und im Multivariaten leider nicht harmonieren: Eine lineare Transformation

14 21 Grundbegriffe MS13 14 im Univariaten heißt multivariat betrachtet nicht mehr linear, sondern affin Die multivariate Bezeichnung ist deshalb sinnvoll, weil der Begriff der linearen Abbildung in der Linearen Algebra etwas anders besetzt ist Allerdings ist hier die Terminologie der multivariaten Statistik in der Literatur auch nicht einheitlich Es soll nun also eine Situation betrachtet werden, in der an n Versuchspersonen Daten einer p-dimensionalen Variable x erhoben worden sind, die in einer (n p)- Datenmatrix X zusammengefasst sind Die p-dimensionale Variable x soll affin zu einer neuen q-dimensionalen Variablen y = Ax+b transformiert werden, wobei A eine (q p)-matrix ist und b ein q-vektor Gefragt ist nach dem Mittelwertvektor und der Kovarianzmatrix von y Bei der Transformation werden also für alle Versuchspersonen deren Datenvektoren x in neue Datenvektoren y = Ax + b umgewandelt; nach dieser Umformung gehören dann zu jeder Versuchsperson nicht mehr p, sondern q Werte Die transformierten Daten sollen wieder in einer neuen Datenmatrix Y zusammengefasst werden, die dann eine (n q)-matrix sein muss Es soll sogleich gezeigt werden, dass man die Matrix Y als erhält Y = XA + 1 n b, Zuvor ein Beispiel zur Veranschaulichung: In dem Beispiel mit den Schulnoten und den vorhergesagten Vordiplomsnoten könnten die Schulnoten von 20 Studierenden als (20 3)-Matrix vorliegen Wendet man dann die Vorhersage auf jede einzelne Person an, so erhält man für alle 20 Personen je zwei Vorhersagewerte für die beiden Vordiplomsnoten, die man in einer neuen (20 2)-Datenmatrix zusammenfassen kann Zur Begründung der Formel für Y transponiert man zunächst die Matrix X, so dass die Datenvektoren der einzelnen Personen nun die Spalten bilden Die Matrix AX ist dann spaltenweise das Produkt von A mit den Datenvektoren der Personen; die Spaltenvektoren sind also bis auf eine Addition des Vektors b bereits die gesuchten transformierten Datenvektoren Die Addition von b zu allen Spalten bewirkt man jedoch, indem man zur Matrix AX die Matrix addiert, die aus der n mal wiederholten Spalte b besteht Die zu addierende Matrix kann man als b1 n schreiben (man interpretiere die beiden Faktoren als Matrizen und wende b auf die Spalten von 1 n an) Als Ergebnis der Addition erhält man so spaltenweise die neuen Datenvektoren für die Versuchspersonen, also die Matrix

15 21 Grundbegriffe MS13 15 Y Aus folgt aber durch Transponieren Y = AX + b1 Y = (AX + b1 ) = (AX ) + (b1 ) = X A + 1 b = XA + 1b, wobei 1 natürlich für 1 n steht Nachdem so die Matrix Y der transformierten Daten bestimmt ist, kann nach dem Mittelwertvektor und der Kovarianzmatrix dieser Daten gefragt werden Eine mögliche Lösung dieser Frage erhält man mit Hilfe der Zentriermatrizen Da die Datenmatrix Y der transformierten Daten gleich XA + 1b ist, errechnet sich der Mittelwertvektor ȳ als ȳ = 1 n Y 1 = 1 n (XA + 1b ) 1 = 1 n A X n b 1 1 ( ) 1 = A n X b(n) = A x + b n Der Mittelwertvektor wird also genauso transformiert wie der Ergebnisvektor jeder einzelnen Versuchsperson Zur Vorbereitung der Formeln für die Kovarianzmatrix gilt zunächst wegen ZX = Ẋ und Z1 = 0 Ẏ = ZY = Z(XA + 1b ) = ZXA + Z1b = ẊA Nun kann die Kovarianzmatrix der transformierten Daten bestimmt werden Zur Unterscheidung soll hier die Kovarianzmatrix der Originaldaten mit S x und die der transformierten Daten mit S y bezeichnet werden Es gilt dann S y = nẏ 1 Ẏ = 1 n (ẊA ) (ẊA ) = 1 ( ) 1 n A Ẋ ẊA = A nẋ Ẋ A = AS x A Man überzeugt sich sofort, dass eine analoge Formel auch für die SSCP-Matrix und die korrigierte Stichprobenkovarianzmatrix gilt Das Ergebnis soll wegen seiner zentralen Bedeutung für alle multivariaten Rechnungen noch einmal ausführlich festgehalten werden:

16 21 Grundbegriffe MS13 16 Feststellung 1 Sind x und S x Mittelwertsvektor und Kovarianzmatrix einer Datenmatrix, und werden die Daten aller Versuchspersonen der affinen Transformation y = Ax + b unterworfen, so gelten für den Mittelwertvektor ȳ und die Kovarianzmatrix S y der transformierten Daten die Formeln ȳ = A x + b und S y = AS x A Da die Korrelationsmatrix gleichzeitig die Kovarianzmatrix der komponentenweise z-transformierten Daten ist, ergibt sich aus der Formulierung der z-transformationen mit Hilfe der affinen Abbildung Vx 1/2 x Vx 1/2 x unmittelbar die Formel Vx 1/2 S x Vx 1/2 für die Korrelationsmatrix von x; hierbei ist noch zu berücksichtigen, dass wegen der Symmetrie von Vx 1/2 das Transponieren des letzten Faktors unterbleiben kann Es soll nun noch der Sonderfall behandelt werden, dass man die Kovarianz von zwei Linearkombinationen (im Sinne der univariaten Statistik) der Daten einer Datenmatrix X mit Kovarianzmatrix S berechnen will Sind also neue Variablen U und V durch die Vorschrift U = a x + b und V = c x + d definiert, so gilt für die zentrierten Datenvektoren der neuen Variablen u = Ẋa und v = Ẋc (man beachte, dass die linearen Anteile der Transformationen hier durch die transponierten Koeffizientenvektoren gegeben sind) Die Kovarianz bestimmt sich dann zu Kov U,V = 1 n u v = 1 n (Ẋa) (Ẋc) = 1 ( ) 1 n a Ẋ Ẋc = a nẋ Ẋ c = a Sc Feststellung 2 Ist S die Kovarianzmatrix einer Datenmatrix X und sind die Variablen U = a x+b und V = c x+d zwei Linerarkombinationen der gegebenen Variablen, so gilt Kov U,V = a Sc Als Spezialfall kann man hier für V auch U einsetzen, und erhält für die Varianz S 2 U der Linearkombination U = a x + b die Formel S 2 U = a Sa Der Mittelwert von U ergibt sich leicht zu a x + b Man hat also

17 21 Grundbegriffe MS13 17 Feststellung 3 Ist S die Kovarianzmatrix einer Datenmatrix X und ist U = a x + b eine Linearkombination der gegebenen Variablen, so gilt ū = a x + b und S 2 U = a Sa Die Teilaussage über die Varianz hat eine wichtige Konsequenz: Da man für a jeden beliebigen Vektor einsetzen kann und mit der Formel dann die Varianz der durch a gegebenen Linearkombination erhält, und da andererseits Varianzen nicht negativ sein können, folgt, dass für eine Kovarianzmatrix S der Ausdruck a Sa für alle Vektoren a nichtnegativ ist Für Matrizen mit dieser Eigenschaft gibt es eine besondere Bezeichnung: Eine symmetrische Matrix A mit der Eigenschaft, dass für alle Vektoren x die Beziehung x Ax 0 gilt, heißt auch positiv semidefinit Die positiv semidefiniten Matrizen sind in gewisser Weise Verallgemeinerungen der nichtnegativen Zahlen im Bereich der Matrizen Da Kovarianzmatrizen symmetrisch sind, folgt die Feststellung 4 Kovarianzmatrizen sind symmetrisch und positiv semidefinit Hier schließen sich interessante Fragen an Zunächst kann man fragen, ob jede positiv semidefinite Matrix eine mögliche Kovarianzmatrix ist, oder ob Kovarianzmatrizen noch weitere einschränkende Eigenschaften haben (man stelle sich jemanden vor, der eine Aufgabe entwirft, in der eine Kovarianzmatrix vorkommt genügt es hier, sich irgendeine positiv semidefinite Matrix auszudenken, oder könnte es sein, dass diese Matrix aus noch nicht bekannten Gründen doch keine Kovarianzmatrix sein kann?) Es wird sich herausstellen, dass tatsächlich jede positiv semidefinite Matrix eine mögliche Kovarianzmatrix ist, genauso, wie jede nicht negative Zahl eine mögliche Varianz ist Nahe verwandt mit der ersten Frage ist dann das Problem, wie man bei einer gegebenen Matrix feststellen kann, ob sie positiv semidefinit ist Die Antwort auf die erste Frage soll schon hier angedeutet werden Es wird sich später zeigen, dass man jede positiv semidefinite (p p)-matrix K schreiben kann als K = AA mit einer geeigneten (p p)-matrix A Wenn es dann in einer untersuchten Situation möglich ist, p unkorrelierte Variablen zu finden,

18 21 Grundbegriffe MS13 18 die die Varianz 1 besitzen, so haben diese Variablen als Kovarianzmatrix die Einheitsmatrix I Fasst man diese Variablen zu einem Vektor x zusammen und definiert man y als affine Transformation y = Ax, so ist die Kovarianzmatrix von y gerade AIA = AA = K Dies ergibt die Feststellung 5 Gibt es in einer Situation p unkorrelierte Variablen der Varianz 1, so ist jede positiv semidefinite (p p)-matrix K eine mögliche Kovarianzmatrix Die Voraussetzung, dass es p unkorrelierte Variablen der Varianz 1 gibt (was nicht heißt, dass sie konkret vorliegen müssen, sondern nur, dass man derartige Variablen finden kann), dürfte in den meisten Situationen harmlos sein, so dass die Begriffe positiv semidefinite Matrix und mögliche Kovarianzmatrix im Wesentlichen zusammenfallen Man kann sie also (wenn man an der Voraussetzung nicht zweifelt) auch synonym gebrauchen, was in Zukunft geschehen soll Gesamtvarianz In einer Situation mit p Variablen gibt die Kovarianzmatrix eine sehr gute Beschreibung der Variabilität der Daten Sie enthält nicht nur die Einzelvarianzen in der Diagonale, sondern auch Informationen über den linearen Zusammenhang der Variablen Ein Nachteil der Kovarianzmatrix ist, dass sie besonders bei großem p nicht leicht überschaubar ist Hier kann der Wunsch entstehen, die Information über die Variabilität in einer einzigen Zahl zusammenzufassen natürlich unter Informationsverlust Eine erste naheliegende Möglichkeit, eine solche Zahl zu definieren, ist es, einfach die Summe der Einzelvarianzen zu bilden Diese Summe soll auch die Gesamtvarianz der gegebenen Variablen genannt werden Da die Varianzen der einzelnen Variablen gerade die Diagonale der Kovarianzmatrix bilden, ist die Gesamtvarianz gleich der Spur der Kovarianzmatrix In dem Beispiel vom Anfang war die Kovarianzmatrix gleich S = , so dass sich die Gesamtvarianz der drei betrachteten Variablen zu = 36 errechnet

19 21 Grundbegriffe MS13 19 Die Eigenschaften der so definierten Gesamtvarianz werden später noch genauer untersucht werden Es ist jedoch klar, dass eine solche Definition in unterschiedlichen Situationen unterschiedlich sinnvoll sein wird Wenn die Variablen inhaltlich viel miteinander zu tun haben und die Skalen, auf denen sie gemessen werden, miteinander harmonieren, so ist das Konzept der Gesamtvarianz sicher angemessener, als wenn man es mit heterogenen Variablen zu tun hat, oder mit solchen, deren Skalen nicht in einem für diese Zwecke geeigneten Zusammenhang stehen Die Problematik wird vielleicht deutlicher, wenn man sich vor Augen führt, dass die Änderung einer der Skalen durch eine Transformation, die die Werte lediglich mit einer großen Zahl multipliziert, dazu führt, dass diese Variable in der Gesamtvarianz nach dieser Transformation ein erheblich größeres Gewicht erhält als vorher und womöglich schließlich die Gesamtvarianz völlig dominiert, obwohl die Transformation an sich so harmlos ist wie die Umrechnung von Kilometern in Millimeter Zufallsvektoren und ihre Kennwerte Sind p eindimensionale Zufallsvariablen x i auf demselben Wahrscheinlichkeitsraum definiert, so kann man sie auch zu einem Zufallsvektor x zusammenfassen, dessen Komponenten dann die einzelnen Variablen sind Man schreibt auch x = x 1 x 2 x p Zur Notation: Es wäre besser, wenn man Zufallsvariablen im Gegensatz zu konkreten Messwerten mit Großbuchstaben bezeichnen würde Dies geht hier jedoch deshalb nicht, weil die Großbuchstaben schon zur Bezeichnung von Matrizen verbraucht sind Es ist daher üblich, Zufallsvariable und konkrete Messwerte mit den gleichen Symbolen zu bezeichnen, wobei sich aus dem Kontext ergibt, was jeweils gemeint ist Es folgen zwei typische Beispiele: Immer wenn eine Versuchsperson (allgemeiner eine Untersuchungseinheit) in einem noch durchzuführenden Experiment mehrere Werte (zb Werte verschiedener physiologischer Variablen) liefern soll, kann man die Zufallsvariablen, die die Einzelergebnisse modellieren, zu einem Zufallsvektor zusammenfassen

20 21 Grundbegriffe MS13 20 Ist in einer Datenerhebung eine Person durch ihre Werte in mehreren Variablen gekennzeichnet (zb Persönlichkeitsvariablen), so fasst man diese Werte auch zu einem Zufallsvektor zusammen (beachte: hier sind nicht die konkreten Werte einer konkreten Person gemeint, sondern die Werte, die eine noch zu ziehende Person liefern wird; der Wahrscheinlichkeitsraum wird dann meist die Population sein, aus der gezogen wird, und das W-Maß wird ein Modell für die Ziehung sein) Sofern nichts anderes gesagt wird, soll von Zufallsvariablen generell vorausgesetzt werden, dass sie einen Erwartungswert und eine Varianz besitzen Als Erwartungswert oder Erwartungswertvektor E(x) des Zufallsvektors x bezeichnet man den Vektor, der als Komponenten die Erwartungswerte der x i besitzt Man bildet sozusagen den Erwartungswert komponentenweise Als Symbole für Erwartungswertvektoren werden meist fette griechische Buchstaben wie µ mit Komponenten µ i verwendet Man schreibt also E(x) = E( x 1 x 2 x p ) = E(x 1 ) E(x 2 ) E(x p ) oder E(x) = µ = µ 1 µ 2 µ p Als Kovarianzmatrix V(x) eines p dimensionalen Zufallsvektors x bezeichnet man diejenige (p p)-matrix, die als (i, j)-element die Kovarianz von x i und x j enthält: V(x) = Kov(x 1, x 1 ) Kov(x 1, x 2 ) Kov(x 1, x p ) Kov(x 2, x 1 ) Kov(x 2, x 2 ) Kov(x 2, x p ) Kov(x p, x 1 ) Kov(x p, x 2 ) Kov(x p, x p ) Wenn x ein Zufallsvektor mit mehr als einer Komponente ist, bezeichnet V(x) also eine ganze Matrix, und nicht etwa nur eine Zahl Nur im Spezialfall einer eindimensionalen Variable x ist V(x) eine Zahl, nämlich die Varianz von x; hier identifiziert man (1 1)-Matrizen wie üblich mit ihrem einzigen Element Als Abkürzung werden oft Symbole wie Σ (mit Elementen σ ij ) verwendet in diesem Zusammenhang ist dann σ ii die Varianz und nicht etwa die Streuung der i-ten Komponente