Ein Index für die Adäquatheit der Pearson-Korrelation

Transkript

1 Ein Index für die Adäquatheit der Pearson-Korrelation Rainer Alexandrowicz & Oliver Vitouch Es wird eine Kennzahl vorgestellt, welche über einen Jackknifing-Algorithmus die Adäquatheit der Anwendung der Produkt-Moment-Korrelation auf einen gegebenen Datensatz beschreibt. Anhand simulierter Datensätze wird die hohe Sensibilität des Index auf Scheinkorrelationen dargestellt. Weiters erlaubt eine Referenztabelle die Orientierung bei modellkonformen Daten. Idealerweise sollte dieser Index vergleichbar der Standardabweichung (bzw. dem Standardfehler) beim arithmetischen Mittel zu jeder Angabe einer Korrelation hinzugefügt werden, um so auch Rezipienten die Möglichkeit zu geben, korrelationsbasierte Erkenntnisse kritisch nachvollziehen zu können. Schlüsselwörter: Korrelation, Ausreißer, robuste Statistik, breakdown point 1 Fragestellung Der Korrelationskoeffizient nach Pearson, auch Produkt-Moment-Korrelation, beschreibt den linearen stochastischen Zusammenhang zweier intervallskalierter Variablen und zählt zu den in der Psychologie wohl am häufigsten eingesetzten deskriptiven Kennzahlen. Um den im geschlossenen Intervall [ 1, +1] befindlichen Koeffizienten korrekt interpretieren zu können ist bivariate Normalverteilung erforderlich. Ist diese nicht gegeben, so erlaubt der Korrelationskoeffizient weder hinsichtlich Vorzeichen noch Betrag eine schlüssige Aussage bezüglich des vorliegenden Datensatzes. Praktisch jedes einführende Lehrbuch der Statistik liefert Beispiele für Datenkonstellationen, welche zu irreführend hoher oder niedriger Korrelation führen können (z. B. Bortz, 2005 S. 214f, Lehmann, 2002, S. 92f; Rasch & Kubinger, 2005, S. 250ff.). Diese Voraussetzung wäre optisch-intuitiv mittels Scatterplot leicht überprüfbar, dennoch finden sich in publizierten Artikeln selten Hinweise auf eine explizite Überprüfung. Damit soll keineswegs notwendigerweise unterstellt werden, dass diese Überprüfung nicht durchgeführt würde der Mangel liegt vielmehr an der Schwierigkeit, eine solche kompakt darzustellen. Dies umsomehr, wenn eine Serie von Korrelationen untersucht wird, wie beispielsweise im Rahmen von Faktorenanalysen oder Strukturgleichungsmodellen. Abhilfe könnte hier ein Gütekriterium schaffen, welches die Adäquatheit der Pearson-Korrelation zur Beschreibung des Zusammenhanges angibt ein solches soll hier vorgeschlagen werden. 2 Methode Ausgehend vom Fall einer sog. Scheinkorrelation d. h. einem betragsmäßig hohen Korrelationskoeffizienten, welcher durch wenige bivariate Ausreißer bei mehrheitlich Rainer Alexandrowicz Abteilung für Angewandte Psychologie und Methodenforschung, Institut für Psychologie, Alpen-Adria-Universität Klagenfurt rainer.alexandrowicz@uni-klu.ac.at

2 Ein Index für die Adäquatheit der Pearson-Korrelation 493 unkorrelierten Beobachtungen zustandekommt soll ermittelt werden, wieviele der vorliegenden n Beobachtungen für die hohe Korrelation maßgeblich verantwortlich waren. Zur Ermittlung eines summativen (und damit kompakt darstellbaren) Index der Adäquatheit der Pearson-Korrelation wird folgender iterative Algorithmus vorgeschlagen: (i) berechne den Korrelationskoeffizienten r 0 für die vorliegende Stichprobe vom Umfang n 0 ; (ii) nimm ein Messwertpaar (x i, y i ) heraus und berechne den Korrelationskoeffizienten r (i) über die verbleibenden n 1 Beobachtungen und lege das eliminierte Messwertpaar anschließend wieder zurück; (iii) führe diesen Vorgang für alle n Messwertpaare durch und ermittle den betragsmäßig kleinsten Wert r 1 = min(r (i) ). Berechne für diesen das Bestimmtheitsmaß B 1 = r1 2. (iv) Jenes Messwertpaar, dessen Weglassung zu diesem Minimum geführt hat lösche dauerhaft und setze n 1 = n 1; (v) wende (i) (iv) solange auf den jeweils reduzierten Datensatz an, bis nur mehr drei Beobachtungen übrig sind. Man erhält auf diese Weise einen Vektor von n 3 Werten des Bestimmtheitsmaßes, welches jeweils den größtmöglichen Abfall, also das Ausscheiden des am wenigsten typischen Wertes darstellt. Liegt nun ein modellkonformer Datensatz vor, d. h. handelt es sich tatsächlich um einen linearen Zusammenhang basierend auf bivariat normalverteilten Daten, dann wird kein Schritt zu einem im Vergleich zu den anderen atypischen Abfall führen. Liegt hingegen eine Scheinkorrelation vor, dann wird nach der Elimination des letzten Ausreißerpaares das Bestimmtheitsmaß deutlich einbrechen. Als skalare Kenngröße bietet sich dann der relative Anteil jener Werte an, welche wegzulassen waren, bis das Bestimmtheitsmaß auf die Hälfte (bzw. einen anderen wählbaren Wert) des Ausgangswertes reduziert wurde. In Anlehnung an die Absicht, die Adäquatheit der Anwendung der Pearson-Korrelation auszudrücken wird, die Bezeichnung r ad50 (bei Verwendung der 50 %-Grenze) vorgeschlagen. Der Index wird an unterschiedlichen Datensätzen demonstriert, wo seine Eigenschaften unter verschiedenen Annahmen untersucht werden sollen. Es werden drei bivariat normalverteilte Datensätze mit fast perfektem (r 0 =.99), hohem (r 0 =.90), mittlerem (r 0 =.70) und geringem (r 0 =.50) Zusammenhang untersucht. Zur Simulation wurde der im Compiler der Programmiersprache Delphi angebotene LCG( , 1, 2 32 ) verwendet. Die Herstellung eines korrelativen Zusammenhanges erfolgte in Anlehnung an den von Zimmerman, Zumbo & William (2003) dargestellten Algorithmus 1. Die Auswertungen wurden mit einem vom Erstautor in Delphi-Pascal erstellten Programm durchgeführt. 3 Ergebnisse Das Verhalten des Index bei modellkonform simulierten Datensätzen lässt sich gut aus Abb. 1 ablesen. Bei extrem hoher Korrelation (Abb. 1a: r 0 =.99) können etwas mehr als drei Viertel (78.4 %) der Beobachtungen gezielt entnommen werden, bis das Be- 1 Im Gegensatz zum dort dargestellten Algorithmus war es jedoch notwendig, die Variable U ebenfalls N(0, 1) anzunehmen und den Koeffizienten c über den Ausdruck c = sqrt(r/(1 r)) zu bestimmen. Mit den Originalangaben konnten keine Korrelationen erzeugt werden.

3 494 Rainer Alexandrowicz & Oliver Vitouch Abb. 1. Scatterplots und Verlaufsdiagramme für unterschiedlich starke Zusammenhänge (n = 250): a) r 0 =.9916, b) r 0 =.9008, c) r 0 =.7047, d) r 0 = (Die strichlierten Linien in der oberen Reihe kennzeichnen die Lage der Mittelwerte; in den Verlaufsdiagrammen kennzeichnet die obere Linie die Korrelationen bei Entnahme von Beobachtungen, die untere das zugehörige Bestimmtheitsmaß). stimmtheitsmaß auf die Hälfte des Ausgangswertes abgesunken ist (sogar 84.8 % bis es auf 25 % sinkt). Bei immer noch sehr hoher Korrelation (Abb. 1b: r 0 =.90) sind nur mehr ein Drittel (33.6 %) der Beobachtung korrelationsbegründend (immerhin 44.4 % bis zum Abfall des Bestimmtheitsmaßes auf ein Viertel des Ausgangswertes). Bei in praktischen Anwendungen wohl noch immer als hoch bezeichneten Korrelationen von.70 sind nur mehr 17.2 % Entnahmen möglich, bis sich das Bestimmtheitsmaß halbiert (27.2 % bis zum Abfall auf ein Viertel). Und bei einer Ausgangskorrelation von.50 halbiert sich das Bestimmtheitsmaß bereits nach Ausschluss von nur 5.6 % der Beobachtungen (d. s. bei n = 250 gerade einmal 15 Personen), nach 11.8 % (d. s. 27 Beobachtungen) sinkt das Bestimmtheitsmaß auf ein Viertel des Ausgangswertes ab. Betrachtet man die Verlaufsdiagramme zu den vier dargestellten Beispielen (Abb. 1, untere Zeile), so fällt der konvexe (d. h. erst bei zunehmendem Ausschluss abfallende) bzw. linear-ähnliche (gleichmäßige) Verlauf auf. Dies ist, wie systematische Simulationen gezeigt haben, typisch für modellkonforme (d. h. bivariat normalverteilte) Daten. Tabelle 1 gibt für den gesamten (positiven) Wertebereich des Korrelationskoeffizienten deskriptivstatistische Kennzahlen des Index für modellkonform simulierte Datensätze wieder. Es wurden jeweils zwei Stichproben pro Korrelationskoeffizient von.00 bis.99 für Stichprobenumfänge von n = 100 bis n = 1000 in Schritten von 100 untersucht. Da der Algorithmus unabhängig vom Vorzeichen mit dem Betrag der Korrelation arbeitet, sind die Kennwerte unverändert auch für negative Werte anzuwen-

4 Ein Index für die Adäquatheit der Pearson-Korrelation 495 den. Die unterschiedlichen Häufigkeiten der Kategorien sind die Folge von geringfügigen Schwankungen bei der Simulation eines vorgegebenen Zusammenhanges. Weiters gibt es bei besonders hohen Korrelationen den Fall, dass bis zum letzten Schritt das Bestimmtheitsmaß nicht unter die Schranke von 50 % des Ausgangswertes fällt; dies war bei 47 der insgesamt 2000 simulierten Datensätzen der Fall. Der Index zeigte in einer Kovarianzanalyse keinen Unterschied beim Vergleich der Stichprobenumfänge (Varianzhomogenität über Box-M-Test: F (9, 1943) =.077, p >.999; Haupteffekt Stichprobenumfang: F (1, 1942) =.134, p =.999). Tab. 1. Deskriptivstatistische Kennzahlen des vorgeschlagenen Index r ad50 in Abhängigkeit von der Ausgangskorrelation (n = 100..(100)..1000; r 0 = Ausgangskorrelation, MW = Mittelwert, Md = Median, Std.Abw. = Standardabweichung, Min = Minimum, Max = Maximum). r 0 n MW Md Std.Abw. Min. Max < < Nun soll ein Fall inadäquater Anwendung der Produkt-Moment-Korrelation nämlich jener einer Scheinkorrelation untersucht werden. Zu diesem Zweck wurden drei Datensätze modellkonform generiert und ein bestimmter Anteil von Beobachtungen per Zufall ausgewählt und linear (x i = x i + 10, y i = y i + 10) transformiert, sodass bivariate Ausreißer entstehen. Scatterplots und Verlaufsdiagramme sind in Abb. 2 wiedergegeben. Ausgehend von jeweils einer wahren Korrelation von.20 (n = 100) wurden (a) ca. 2 %, (b) ca. 20 % und (c) ca. 40 % der Beobachtungen der genannten Transformation unterworfen, wodurch jeweils ein Zusammenhang in der Höhe von.79,.96 und.97 entstand. Deutlich ist in den Verlaufsdiagrammen (Abb. 2 unten) zu erkennen, dass diese Werte sofort eliminiert wurden: die entsprechenden Indices betrugen.02,.16 und.41 d. h. zwei, 16 und 41 der 100 Beobachtungen waren jeweils korrelationsbegründend. 4 Diskussion Der hier vorgestellte Ansatz einer Überprüfung der Adäquatheit der Anwendung der Korrelation nach Pearson beruht auf einem Jackknifing-Algorithmus, bei welchem

5 496 Rainer Alexandrowicz & Oliver Vitouch Abb. 2. Scatterplot und Verlaufsdiagramm einer Scheinkorrelation (a) r 0 =.7932, (b) r 0 =.9616, (c) r 0 =.9744 sukzessive jene Werte ausgeschieden werden, welche die Korrelation maximal vermindern. Dies wird solange fortgesetzt, bis das anfängliche Bestimmtheitsmaß auf einen zuvor definierten Wert (z. B. 50 %) gesunken ist. Der relative Anteil bis dahin ausgeschiedener und damit korrelationsbegründender Werte wird als Maß für die Adäquatheit interpretiert: je geringer dieser Anteil im Vergleich zu den in Tabelle 1 als Referenz angeführten typischen Werten ist, desto ungeeigneter ist die Pearson- Korrelation zur Beschreibung des Zusammenhangs. Dieses Verfahren reagiert damit sensibel auf Scheinkorrelationen, welche durch wenige Ausreißer zustandekommen. Der Ausreißerproblematik als solcher kann man sich auf mehrere Arten nähern: zum einen ist über genaue Dateninspektion (data screening) auszuschließen, dass es sich nicht um einen Erfassungsfehler (Messfehler, Eingabefehler o. dgl.) handelt. Ein solcher wird korrigiert oder von der weiteren Analyse ausgeschlossen was vom Regen in die Traufen führt: höchst unterschiedliche Auswertungsstrategien sind indiziert, je nachdem, ob derartige fehlende Werte als missing completely at random (MCAR), missing at random (MAR) oder not missing at random (NMAR) anzusehen sind (vgl. z. B. Allison, 2002; Little und Rubin, 1987). Es existieren (a) zahlreiche Methoden zur Entdeckung von Ausreißern (Hawkins, 1980), für multivariate Normalverteilung siehe Mardia (1970, 1980), von Eye und Bogat (2004), von Eye und Gardiner (2004) oder Wilks (1963); für andere multivariate Verteilungstypen siehe Barnett und Lewis (1994) oder die minimum volume el-

6 Ein Index für die Adäquatheit der Pearson-Korrelation 497 lipsoid method nach Rousseeuw und van Zomeren (1990) mit Modifikationen nach Hadi (1992, 1994). Als graphisches Verfahren wäre beispielsweise das bagplot (Rousseeuw, Ruts & Tukey, 1999) zu nennen. Liegt hingegen nach allen verfügbaren Überprüfungen ein gültiger (aber dennoch gemessen an den übrigen atypischer) Wert vor, so kann (b) versucht werden, (i) über robuste Methoden den Einfluss eines solchen Wertes zu mindern (z. B. M-Schätzer, etwa trimmed mean, Winsorized mean, Tukey s biweight oder Hampel-Schätzer; Kernel-Schätzer für Dichten; z. B. Huber, 1981; für multiple/multivariate Problemstellungen: Robuste Regression, Davies, 1993; Robuste PCA, Campbell, 1980). Oder es kann (ii) mittels einer Clusteranalyse (z. B. Bacher, 1994; Moosbrugger & Frank, 1992) versucht werden, ohne Modellannahmen bzw. Unterteilung in un/abhängige Variablen charakteristische Partitionen im höherdimensionalen Raum zu identifizieren. Weiters kann (iii) über ein Mischverteilungsmodell ein komplexer Zusammenhang für mehrere Populationen mit unbekannten Eigenschaften und unbekanntem Mischungsverhältnis beschrieben werden (vgl. z. B. Everitt & Hand, 1981; McLachlan & Peel, 2000; Rost, 2004). Will man nicht den Pfad der Ausreißersuche beschreiten, dann bietet sich (c) auch die Möglichkeit, das geplante Verfahren anzuwenden und ex post den Einfluss jeder einzelnen Beobachtung auf das Gesamtergebnis zu ermitteln (wie beispielsweise leverage values oder Cook s distance bei Regressionsmodellen). Will man ohne Bezug zu einem bestimmten Datensatz die Sensibilität eines Verfahrens auf Ausreißer beschreiben, so bieten sich Robustheitsmaße, wie etwa der breakdown point (Hampel, 1971; siehe auch Davies & Gather, 2005; Donoho & Huber 1983; Huber, 1981) oder die sensitivity curve (Tukey, 1977), an. Ersterer beschreibt für eine gegebene Kennzahl (etwa ein Lagemaß) den Anteil an Beobachtungen, welcher beliebig verzerrt sein kann, ohne die Kennzahl selbst zu verfälschen (z. B. arithmetisches Mittel: Null; Median:.5; x % getrimmtes Mittel: 0.x). Letztere gibt die Veränderung eines Schätzers an, wenn eine andere zugrundeliegende Verteilung der untersuchten Zufallsvariable angenommen wird. Bei Rousseeuw und Leroy (2003) findet sich auch das breakdown plot, welches dem hier verwendeten Verlaufsdiagramm ähnlich ist. Bei jenem werden jedoch (a) geschätzte Regressionskoeffizienten dargestellt und (b) entnommene Werte durch Zufallszahlen einer gegebenen Verteilung ersetzt. Damit dient diese Darstellung der Analyse der grundsätzlichen Empfindlichkeit eines Schätzers auf contamination (Rousseeuw & Leroy, 2003, S. 69). Der vorgeschlagene Index füllt daher insofern eine Lücke, als er für eine gegebene Stichprobe und ein gegebenes Modell (lineares Modell realisiert als Korrelationskoeffizient) in einer Kennzahl quantifiziert, wie sehr die Eigenheiten der Stichprobe mit den Voraussetzungen des Modells korrespondieren. Er wäre daher als Gütekriterium zu sehen, inwiefern das Modell eben die Pearson-Korrelation zur Beschreibung dieses untersuchten Datensatzes geeignet ist. Dies scheint auch insofern von großer Bedeutung, als der Korrelationskoeffizient in praktisch allen Fachgebieten psychologischer Forschung häufig angewandt wird. Als Vorteil dieses Index ist vor allem die Möglichkeit zu sehen, ihn leicht und kompakt in eine wissenschaftliche Arbeit einbinden zu können im Gegensatz etwa zu einem Scatterplot. Weiters ist er im Gegensatz zu Signifikanztests für Korrelatio-

7 498 Rainer Alexandrowicz & Oliver Vitouch nen vom Stichprobenumfang völlig unabhängig. Vielmehr stellt er eine wesentliche Ergänzung zur Angabe der Korrelation dar, nämlich wieviele der Beobachtungen tatsächlich zum Zustandekommen des Wertes maßgeblich beitragen. Damit sind vor allem Scheinkorrelationen unmittelbar als solche erkennbar. Ein für die Autoren durchaus überraschendes Phänomen war jenes, wie wenige Beobachtungen eigentlich bei erfüllten Modellvoraussetzungen tatsächlich korrelationsbegründend sind vor allem bei vielfach als mittelstark qualifizierten Koeffizienten von.60 (12 %) oder.70 (17 %). Dies steht im Einklang mit der beispielsweise bei Rasch & Kubinger (2005) (erneut) propagierten Vorgangsweise, zur Interpretation eines Korrelationskoeffizienten das Bestimmtheitsmaß r 2 heranzuziehen. Gegenwärtig in Vorbereitung ist eine entsprechende Standardisierung des Index, sodass er unabhängig von der Ausgangskorrelation zu interpretieren ist. Weiters ist auch das Verhalten des Index bei unterschiedlichen Formen von Abweichungen von der Linearität bzw. bivariaten Normalverteilung Gegenstand weiterer Untersuchungen. Die hohe Sensibilität auf wenige bivariate Ausreißer konnte bereits demonstriert werden. Weitere Simulationen zeigten, dass das Verlaufsdiagramm auch bei hohen nichtlinearen Zusammenhängen charakteristische Verläufe erkennen lässt eine Systematisierung dieser und weiterer Formen der Modellverletzungen ist in Arbeit. Von besonderem Interesse kann der vorgeschlagene Index bei der Anwendung multivariater statistischer Verfahren sein, welche auf einer Korrelationsmatrix (wie etwa die Hauptkomponentenanalyse/explorative Faktorenanalyse) bzw. auf einer Kovarianzmatrix (wie etwa lineare Strukturgleichungsmodelle) aufbauen dort bleiben Ausreißer leichter unentdeckt. Es soll dazu beigetragen werden zu verhindern, dass das Ergebnis einer solchen Analyse maßgeblich auf wenigen atypischen Messwerten beruht. Das Verfahren kann aufgrund seiner Einfachheit auch leicht programmtechnisch realisiert werden. Vom Erstautor ist ein Programm für das Betriebssystem Windows, welches SPSS-Datensätze verarbeiten kann, auf Anfrage erhältlich. Darüber hinaus ist beispielsweise eine Implementierung in R ( oder auch eine Lösung als Makro der Statistikpakete SPSS, STATA oder SAS ohne größere Probleme realisierbar. Keinesfalls soll mit der hier vorgeschlagenen Methode dazu eingeladen werden, atypische Beobachtungen zum Zwecke des unreflektierten Ausschlusses von der Analyse zu identifizieren. Vielmehr soll ein Hinweis gegeben werden, dass eine andere Form der methodischen Herangehensweise eben adäquater wäre, der Korrelationskoeffizient nach Pearson ist es dann jedenfalls nicht. So bleibt zu wünschen, dass der vorgeschlagene Index standardmäßig (vergleichbar der Angabe einer Standardabweichung zu einem Mittelwert) Eingang in wissenschaftliche Literatur findet, und so auch Rezipienten in der Lage sind, die Adäquatheit einer Korrelationsangabe kritisch nachvollziehen zu können.

8 Ein Index für die Adäquatheit der Pearson-Korrelation 499 Literatur Allison, P. D. (2002). Missing data. Thousand Oaks, CA: Sage. Bacher, J. (1994). Clusteranalyse: Anwendungsorientierte Einführung. München: Oldenbourg. Bortz, J. (2005). Statistik für Human- und Sozialwissenschaftler (6. Aufl.). Berlin: Springer. Campbell, N. A. (1980). Robust procedures in multivariate analysis. 1: Robust covariance estimation. Applied statistics, 29, Caroni, C. (2000). Outlier detection by robust principal component analysis. Communications in Statistics and Simulation, 29, Croux, C. & Haesbroeck, G. (2000). Principal component analysis based on robust estimators of the covariance or correlation matrix: Influence functions and efficiencies. Biometrika, 87, Davies, P. L. (1993). Aspects of robust linear regresseion. The Annals of Statistics, 21, Davies P. L. & Gather U. (2005). Discussion paper: Breakdown and groups. The Annals of Statistics, 33, Donoho, D. L. & Huber, P. J. (1983). The notion of breakdown point. In P. J. Bickel, K. Doksum & J. L. Hodges Jr. (Eds.), A Festschrift for Erich L. Lehmann (S ). Belmont, CA: Wadsworth. Hadi, A. (1992). Identifying multiple outliers in multivariate data. Journal of the Royal Statistical Society B, 54, Everitt, B. S. & Hand, D. J. (1981). Finite mixture distributions. London: Chapman & Hall. Fahrmeir, L., Hamerle, A. & Tutz, G. (Hrsg.) (1996). Multivariate statistische Verfahren (2. Aufl.). Berlin: de Gruyter. Hadi, A. (1994). A modification of a method for the detection of outliers in multivariate samples. Journal of the Royal Statistical Society B, 56, Hawkins, D. M. (1980). Identification of outliers. London: Chapman & Hall. Hampel, F. R. (1971). A general qualitative definition of robustness. Annnals of Mathematical Statistics, 42, Huber, P. J. (1981). Robust statistics. New York: Wiley. Lehmann, G. (2002). Statistik. Eine Einführung. Heidelberg: Spektrum. Little, R. J. A. & Rubin, D. B. (1987). Statistical analysis with missing data. New York: Wiley. Mardia, K. V. (1970). Measures of multivariate skewness and kurtosis with applications. Biometrika, 36, Mardia, K. V. (1980). Tests of univariate and multivariate normality. In S. Kotz et al. (Eds.), Handbook of statistics (vol. 1, pp ). New York: Wiley. McLachlan, G. & Peel, D. (2000). Finite mixture models. New York: Wiley. Moosbrugger, H. & Frank, D. (1992). Clusteranalytische Methoden in der Persönlichkeitsforschung. Bern: Huber. Rasch, D. & Kubinger, K. D. (2005). Statistik für das Psychologiestudium. Mit Softwareunterstützung zur Planung und Auswertung von Untersuchungen sowie zu sequentiellen Verfahren. Heidelberg: Spektrum. Rost, J. (2004). Lehrbuch Testtheorie Testkonstruktion. Bern: Huber.

9 500 Rainer Alexandrowicz & Oliver Vitouch Rousseeuw, P. J. & Leroy, A. M. (2003). Robust Regression and Outlier Detection. Hoboken, NJ: John Wiley & Sons. Rousseeuw, P. J., Ruts, I. & Tukey, J. W. (1999). The bagplot: A bivariate boxplot. The American Statistician, 53, Rousseeuw, P. J. & van Zomeren, B. C. (1990). Unmasking multivariate outliers and leverage points. Journal of the American Statistical Association, 85, Tukey, J. W. (1977). Exploratory data analysis. Reading, MA: Addison-Wesley von Eye, A. & Bogat, G. A. (2004). Testing the assumption of multivariate normality. Psychology Science, 46, von Eye, A. & Gardiner, J. C. (2004). Locating deviations from multivariate normality. Understanding Statistics, 3, Wilks, S. S. (1963). Multivariate statistical outliers. Sankhya A, 25, Zimmerman, D.W., Zumbo, B.D. & Williams, R.H. (2003). Bias in estimation and hypothesis testing of correlation. Psicológica, 24,