Univariate/ multivariate Ansätze. Klaus D. Kubinger. Test- und Beratungsstelle. Effektgrößen

Transkript

1 Univariate/ multivariate Ansätze Klaus D. Kubinger Effektgrößen

2 Rasch, D. & Kubinger, K.D. (2006). Statistik für das Psychologiestudium Mit Softwareunter-stützung zur Planung und Auswertung von Untersuchungen sowie zu sequentiellen Verfahren. Heidelberg: Spectrum.

3 Unterschied univariat/multivariat: an Personen (einer Stichprobe aus der fraglichen Population) nicht nur 1 Merkmal (Variable), sondern mindestens 2 z.b. Körpergröße und Körpergewicht z.b. Patienten mit amnestischen Syndrom: Testleistung in a) Kurzzeitgedächtnis b) semantische Interferenz c) proaktive Interferenz d) Recall Wortliste e) Retrieval Wortliste Untersuchungsfrage: Gibt es Unterschiede zwischen Patienten mit bestimmtem Krankheitsbild (Virus) und Gesunden?

4 wir könnten je Variable den passenden Test anwenden; hier t-test. 3 Probleme verbieten das aus wissenschaftlicher Sicht (belegt durch die Erkenntnisse der Statistik):

5 i) Multipel angewandte univariate statistische Tests können artifizielle Konsequenzen nach sich ziehen Vielleicht korrelieren nämlich die 5 Variablen Reflexion: was ist eine Korrelation? wenn ich Personen mit immer größerem Testwert in a) betrachte, dann wird auch deren Testwert in b) [c), d), e)] immer größer. z.b. bei Personen mit immer mehr Größe, wird auch das Gewicht im Großen und Ganzen immer größer! so kann passieren:

6 wenn nun in a) ein Unterschied zwischen Kranken und Gesunden besteht muss ja auch ein Unterschied in b) [c), d), e)] bestehen. Signifikante Ergebnisse im t-test sind dann nur duplizierte Ergebnisse, keine phänomenologisch neuen Ergebnisse! Allfällige Konsequenzen (Förderprogramme) bedeuten dann einen therapeutischen Over-kill Multipel angewandte univariate statistische Tests berücksichtigen nicht die Zusammenhänge der Variablen.

7 ii) Multipel angewandte univariate statistische Test bergen eine große Gefahr: Bei jeder Anwendung gehe ich ein Risiko ein: α = 0,05; dadurch vergrößert sich das Gesamtrisiko, irgend eine Entscheidung fälschlich zu treffen, nämlich Unterschiede zwischen Kranken und Gesunden fälschlich festzustellen. Reflexion, was heißt Risiko 1. Art (type-i-risk)? Haben wir also k Variablen, dann beträgt die Wahrscheinlichkeit, dass ich insgesamt einen Fehler 1. Art (type-i-error) mache:??? Dazu gehen wir aus von: Wie wahrscheinlich ist es, dass ich keinen solchen Fehler mache: (1- α)(1- α)(1- α) = (1- α) k. Also Wahrscheinlichkeit, dass ich insgesamt einen Fehler 1. Art = 1- (1- α) k, das ergibt z.b. bei k = 5: 1-0,7737, also fast 23%, fast ein Viertel.

8 D.h., in der Karriere als Wissenschafter, der in seinem Leben etwa 100 solche ähnliche Studien macht, muss man davon ausgehen, dass er 23 mal für signifikante Unterschiede entscheidet, obwohl es gar keine gibt. Er hat die Welt mit falschen Ergebnissen bereichert. Multipel angewandte univariate statistische Tests überhöhen das Risiko 1. Art (und zwar zumeist in nicht kalkulierter Weise). Wir brauchen statistische Tests, die immer das Risiko 1. Art einhalten, 5% wollen wir z.b. akzeptieren, 23% sicher nicht. sog. Alpha-Adjustierungen sind ein Weg, methodisch aber nicht eindeutig, weil die Stärke der Abhängigkeit der Variablen wieder nicht berücksichtigt wird.

9 iii) Multipel angewandte univariate statistische Test bergen ein Handikap: Vielleicht korrelieren nämlich die 5 Variablen. Wenn dann relevante Unterschiede zwischen Kranken und Gesunden bestehen, kann passieren: Die Stichprobengröße war zu klein gewählt. Dann könnte der Wert des t-tests bei a) nicht signifikant sein und bei b) nicht signifikant sein [und bei c), d), e)]. Reflexion: Was heißt signifikant, wie hängt das mit der Stichprobengröße zusammen? Würde ich aber berücksichtigen können

10 dass die Variablen (hoch) korrelieren, hätte ich quasi den Effekt: Jedes der 5 Ergebnisse (im t-test) ist ein dupliziertes, das bedeutet statistisch, als ob wir etwa den 5-fachen Stichprobenumfang hätten. Im Sinn: ein steter Tropfen höhlt den Stein, erkennt ein multivariates statistisches Verfahren bei mehr als einer Variablen und recht kleiner Stichprobe bereits die Signifikanz. Multipel angewandte univariate statistische Tests können nicht den kumulierten Effekt erfassen.

11 Selbstverständlich sind multivariate Tests viel komplizierter theoretisch, voraussetzungsbezogen, nicht immer SPSS/SAS-anwendungsbezogen. Allerdings verleitet das SPSS oft zu völlig unstatistischen Anwendungen! Die wichtigste Voraussetzung ist die Multi-Normalverteilung

12 sie ist aber weder theoretisch (mit Formeln fundiert), noch praktisch (mit Computerprogrammen) prüfbar! Es spricht aber viel dafür, dass die multivariaten Verfahren in Analogie zum t-test sehr robust sind, also Abweichungen von der Normalverteilung praktisch keinen Effekt haben s. jüngst: Kubinger, Rasch & Moder (2009).

13 So ist wichtiger: Die Voraussetzung der sog. Varianz-Kovarianz- Matrix:

14 Öder entsprechende statistische (Vor-) Test ist aber im SPSS nicht obligat! Daher werden multivariate statistische Tests sehr oft völlig unberechtigt angewendet, die Ergebnisse artifiziell interpretiert.

15 Wichtige multivariate statistische Tests sind: Multivariate Varianzanalyse (inkl. multivariater t-test) Achtung: multivariater t-test ist ungleich multipel angewandter t-test Diskriminanzanalyse d.i. eine Fortsetzung der Multivariaten Varianzanalyse: Die Multivariate Varianzanalyse prüft, ob sich bestimmte Gruppen im Mittelwert (über alle Variablen) unterscheiden; die Diskriminanzanalyse bestimmt, welche Variablen wie zum Unterschied beitragen bzw.: wie in Zukunft auf Grund der Kenntnis konkreter Werte einer Person man diese einer der Gruppen zuordnen kann.

16 für Daten, für die die Voraussetzungen nicht erfüllt sind - insbesondere Varianz-Kovarianz-Homogenität - Intervallskalierte Daten Reflexion: was sind rang- (ordinal-) skalierte Daten? gibt es nur ausnahmsweise multivariate statistische Tests

17 Ende Teil I Effektgrößen

18 Was ist eine Effektgröße, wozu braucht man sie? Forschungsfrage (als Beispiel): Sind Frauen intelligenter als Männer? Wie geht man (völlig unpraktisch) üblicher Weise vor? - Man erhebt eine Stichprobe von Männern und Frauen (zufällig?), - testet sie in unserem Fall mit einem Intelligenztest, - bestimmt den Mittelwert bei Männern und bei Frauen und wendet den t-test an: Wenn dieser zu einem signifikanten Ergebnis führt, weiß man, die einen oder die anderen sind intelligenter und hört zumeist auf. Aber

19 um wieviel unterscheiden Sie sich? Nun ja, z.b. IQ = 98 vs. IQ = 102, macht 4 ist das viel, bedeutet das etwas, und zwar: was bedeutet das? Betrachten wir konkrete empirische Ergebnisse: Viele, viele, viele Studien belegen: Erstgeborene sind intelligenter als Viertgeborene! Und da gibt es nichts zu rütteln, das ist in Schottland an Rekruten, in Holland an Rekruten, und und und festgestellt worden! oder doch?

20 betrachtet man die Egebnisse genauer, dann war die Differenz zwischen Erst- und Letztgeborenen nur 1/10 der Standardabweichung! Reflexion: was gibt die Standardabweichung an? [da wir sehr oft normalverteilte Messwerte haben: zwischen Mittelwert minus Standardabweichung und Mittelwert plus Standardabweichung liegen 2/3 der Population!]

21 Die berechnete Differenz sagt nichts aus, wir müssen sie auf die Standardabweichung beziehen; 1/10 der Standardabweichung ist nichts, wie wir in der Grafik sehen. In unserem Beispiel: 4/15 = 0,2667; also ein Viertel der Standardabweichung: auch fast nichts! Nichts im Sinn von: wohl nicht relevant! Beim t-test (und fast immer auch sonst) ist also die Effektgröße: Differenz der Mittelwerte durch Standardabweichung eigentlich die geschätzte Effektgröße! Die Angabe dieser Effektgröße wird in medizinischen Journals immer verlangt. Dabei eine Unsitte: den möglichen Wertebereich zu kategorisieren in niedrig-mittel-hoch; WIR HABEN EIN ABSOLUT INTERPRETIERBARES MASZ!

22 Aber: Das ganze beschriebene Vorgehen ist unstatistisch Viel besser, ich PLANE eine Untersuchung! 1) Untersuchungshypothese = Alternativhypothese zur: Null-Hypothese: H0: µ1 = µ2 [Alternativhypothese: H1: µ1 µ2 ] 2) Genauigkeitsparameter festlegen: a) Risiko 1. Art (z.b. 5%) b) Risiko 2. Art (z.b. 20%) in 20% meiner Studien entdecke ich einen gegebenen Unterschied nicht! und

23 3) Welche Differenz erscheint mir relevant? Ich lege also die Effektgröße selbst fest! Warum? i) Ich will keine Studie machen, bei der ein signifikantes Ergebnis herauskommt, aber der Effekt irrelevant ist ii) Ich will keine Studie machen, bei der ein nicht signifikantes Ergebnis herauskommt, aber der Effekt relevant ist. Also muss ich natürlich schon vor einer Studie wissen, wie groß der Effekt ist, damit ich ihn als relevant bezeichne.

24 In unserem Beispiel könnte ich der Meinung sein: Relevant wäre, wenn Frauen und Männer sich (mindestens) um 6-7 IQ-Punkte unterscheiden d.i. um 2/3 der Standardabweichung [weil dann die Männer dort ihren Mittelwert haben, wo 25% der Frauen (noch) schlechter abschneiden, aber 75% besser]. U.U. muss man dann den Lehrplan für Buben und Mädchen anders konzipieren.

25 Noch immer haben wir keine einzige Person untersucht; wir PLANEN noch die Untersuchung. Wir wissen aber: - Wenn der wahre Effekt 2/3 der Standardabweichung beträgt, übersehen wir diesen nur in 20% aller unserer Studien. - Und wenn gar kein Effekt in Wahrheit besteht, entdecken wir doch einen in 5% aller unserer Studien. [wenn uns das alles zu unsicher ist: müssen wir es bleiben lassen] Wie muss nun die (Größe) der Stichprobe aussehen, dass diese beiden Risiken halten?

26 Planung heißt, aus Genauigkeitsangaben den Stichprobenumfang bestimmen! z.b. mit CADEMO

27

28 wenn uns das alles zu unsicher ist: z.b. Risiko 1. Art = 1%, Risko 2. Art = 1%

29 viel Spaß beim Forschen mit Hilfe der Statistik!