Komplexe statistische Verfahren Übersicht. Komplexe statistische Verfahren Übersicht Varianzanalyse

Transkript

1 Komplexe statistische Verfahren Übersicht Wiederholung statistischer Grundbegriffe Regressionsanalyse Multiple lineare Regression Quasilineare Regression Nicht-lineare Regression Ordinale Regression Logistische Regression Mehrkategorielle logistische Regression Komplexe statistische Verfahren Übersicht Varianzanalyse Multivariate Varianzanalyse Multivariate Kovarianzanalyse Varianzanalyse für Messwiederholungen Diskriminanzanalyse Multidimensionale Skalierung Clusteranalyse 1

2 Population und Stichprobe Jeder statistischen Analyse muss die Definition der Population (auch Grundgesamtheit genannt), auf die sich die statistischen Aussagen beziehen sollen, vorangehen. Eine Stichprobe ist eine Teilmenge der Grundgesamtheit. In der Statistik wird vorausgesetzt, dass die Stichprobe eine Zufallsstichprobe darstellt, d.h. dass jede n-teilmenge die gleiche Chance haben muss, als Stichprobe gezogen zu werden. Man kann das auch so auffassen, dass jedes Element der Grundgesamtheit die gleiche Chance haben muss, in der Stichprobe vorzukommen. Zufallsvariable Gedachter oder tatsächlich durchgeführter Prozess der Auswahl aus einer gegebenen Menge, bei der das Ergebnis der Auswahl nicht von vorneherein eindeutig bestimmt werden kann. Eine veränderliche Größe, d.h. eine Größe, die zumindest zwei Werte annehmen kann. Vereinbarung: Wir bezeichnen Zufallsvariable mit großen lateinischen Buchstaben, z.b. X,Y,Z. Bestimmte Ausprägungen einer Zufallsvariablen bezeichnen wir mit den jeweiligen kleinen Buchstaben, z.b. x,y,z 2

3 Stichprobenstatistik Unter einer Stichprobenstatistik (Stichprobenfunktion) versteht man eine Funktion der Zufallsvariablen. Eine Stichprobenstatistik ist selbst eine Zufallsvariable! Eine konkrete Realisierung einer Stichprobenstatistik nennt man konkrete Stichprobenstatistik. Beispiele: n i, max(x 1,X 2,...,X n ) i 1 konkrete Stichprobenstatistik: n xi, max(x 1,x 2,...,x n ) 1 X i Parameter Häufig kann man plausible Annahmen über die Verteilung eines Merkmals in der Population treffen. Die Ausprägungen des Merkmals ergeben eine Zufallsvariable. Die Verteilungsfunktion der Zufallsvariablen hängt im Allgemeinen von einer oder mehreren Variablen ab. Diese Variablen nennt man Parameter der Verteilung. Bestimmte Parameter werden besonders bezeichnet: Lageparameter (oder allgemeiner: Verschiebungsparameter), Streuungsparameter (Formparameter) usw. 3

4 Schätzfunktion Als Schätzfunktion (für den Parameter θ) bezeichnet man eine konkrete Stichprobenstatistik T(x), die einen Schätzwert ˆ für den unbekannten Parameter darstellt. Population F(X;µ) Lageparameter Stichprobe F(x; x) Stichprobenstatistik (Mittelwert) Erwartungswert Der Erwartungswert einer Zufallsvariablen X, E(X), mit der Verteilungsfunktion F(x) ist definiert durch: + E(X) = xdf(x) für diskrete Zufallsvar.--> E(X) = x i p i dabei ist p i =P(X=x i ) E(a)=a (a konstant) E(aX)=aE(X) E(X+Y)=E(X)+E(Y) Sind X und Y unkorreliert, dann gilt E(XY)=E(X)E(Y) i 4

5 Erwartungstreue Eine Schätzfunktion T für den Parameter θ heißt erwartungstreu (unverzerrt, unbiased), wenn E(T)=θ θ Konsistenz Eine Schätzfunktion T für den Parameter θ heißt konsistent, wenn T---> θ (fast sicher) für n---> Konsistent und erwartungstreu Konsistent und nicht erwartungstreu 5

6 Effizienz Effizienz (Wirksamkeit) einer Schätzfunktion kann nur in Bezug auf eine andere Schätzfunktion definiert werden. Sie gibt das Verhältnis der Varianzen der Schätzfunktionen an. Eine erwartungstreue Schätzfunktion ist effizient, wenn sie eine nicht größere Varianz als die anderen Schätzfunktionen hat. Beispiel: Der arithmetische Mittelwert und der Median sind beide erwartungstreue Schätzfunktionen des Lageparameters einer Verteilungsfunktion, aber der Median hat eine niedrigere Effizienz. (Der Mittelwert hat unter allen Schätzfunktionen des Lageparameters die niedrigste Varianz!) Statistische Hypothesenprüfung Wissenschaftliche Problemstellung (z.b. Entwicklung der Raumwahrnehmung) Präzisieren der Fragestellung (z.b. Entwickelt sich die Raumwahrnehmung durch einen Reifungsprozess oder ist Lernen notwendig?) Formulierung der Forschungshypothese (z.b. Bei höheren Wirbeltieren ist die Raumwahrnehmung durch die Organisation des Nervensystems programmiert und bedarf nur eines Reifungsprozesses, Lashley & Russel, 1934) 6

7 Statistische Hypothesenprüfung Operationalisierung (z.b. Lernprozesse zur Raumwahrnehmung müssen ausgeschlossen werden --> nur im Tierversuch möglich --> mit/ohne Lernen --> Ratten in normaler Umgebung/in vollständiger Dunkelheit. Prüfung der Raumwahrnehmung mittels Sprungversuch von Plattform) Operationale Hypothese (z.b. Nach 100 Tagen Reifungszeit ist die Leistung von Ratten gemessen anhand der Anpassung der Absprungkraft an die Entfernung mit und ohne räumlich-visuelle Erfahrungen im Sprungversuch gleich) Statistische Hypothesenprüfung Statistisches Modell 1. Skalenniveau der Untersuchungsvariablen 2. Annahmen über die Population, aus der die Beobachtungen stammen 3. Formulierung einer Stichprobenstatistik 4. Ableitung der Verteilung der Stichprobenstatistik Statistische Hypothese Nullhypothese: Hypothese, die der Ableitung in Punkt 4 zugrunde liegt Alternativhypothese: Negation der Nullhypothese 7

8 Statistische Hypothesenprüfung Statistisches Modell 1. UV: nominal (mit/ohne visuelle Erfahrung), AV: rational 2. NV(µ1, σ), NV(µ2, σ) 3. T=(m 1 -m 2 )/s m1-m2 4. Unter der Annahme aus Punkt 2 mit µ 1 =µ 2 hat T eine Student t-verteilung Statistische Hypothese Nullhypothese: µ 1 =µ 2 Alternativhypothese: µ 1 µ 2 Statistische Hypothesenprüfung Formulierungen wie Es gibt keinen Unterschied in der Raumwahrnehmung zwischen den Versuchsgruppen sind keine korrekten statistischen Hypothesen Solche Formulierungen sind nur (unzulängliche) Aussagen über das erwartete Ergebnis Merke: formuliere die Forschungsfragen so präzise wie möglich gib die Untersuchungsvariablen und ihre operationale Definition so genau an, dass ein anderer Forscher die Untersuchung in allen Details wiederholen kann stelle die statistischen Verfahren dar, die zur Hypothesenprüfung herangezogen werden, und formuliere die statistischen Hypothesen nur, falls sie nicht dem Standard entsprechen 8

9 Statistische Hypothesenprüfung Zur Entscheidung einer statistischen Hypothese ist es notwendig, den Annahme- bzw. Verwerfungsbereich festzulegen. Verteilung der Stichprobenstatistik unter der Nullhypothese Annahmebereich Verwerfungsbereich Statistische Hypothesenprüfung Durch Festlegung des Signifikanzniveaus (und allenfalls ob ein- oder zweiseitig getestet wird) wird zugleich der Annahme- und Verwerfungsbereich für die Stichprobenstatistik festgelegt Bei Hypothesen, die in der Form f(µ)=0 dargestellt werden können, ist eine einseitige oder zweiseitige Formulierung möglich Voraussetzung für eine einseitige Formulierung ist das Vorliegen von Voruntersuchungen bzw. theoretischen Ableitungen, die eine bestimmte Richtung nahe legen oder ergeben, dass nur eine bestimmte Richtung von Interesse ist z.b. Ho: µ1 µ2 H1: µ1<µ2 9

10 Statistische Hypothesenprüfung Das Ergebnis der statistischen Hypothesenprüfung ist Die Nullhypothese wird beibehalten. Man sagt auch: Die Nullhypothese konnte nicht verworfen werden. falsch sind die Formulierungen: Die Alternativhypothese wird verworfen. Die Nullhypothese wurde bewiesen. Die Nullhypothese wird verworfen. Man sagt auch: Die Alternativhypothese wird angenommen. falsch sind die Formulierungen: Die Alternativhypothese wurde bewiesen. Die Nullhypothese ist falsch. Statistische Hypothesenprüfung Die statistische Prüfung der Nullhypothese geht von deren Richtigkeit aus und ermittelt die bedingte Wahrscheinlichkeit, das beobachtete oder ein noch extremer gegen die Nullhypothese sprechendes Resultat zu erhalten, obwohl sie gilt. Dies ist die sog. Irrtumswahrscheinlichkeit. H 0 Statistischer beibehalten Test H 0 verwerfen Signifikanzniveau (unbekannte) Wirklichkeit H 0 richtig H 1 richtig 1-α Fehler 2.Art ß Fehler 1.Art α 1-ß Power des Tests 10

11 Darstellung der Verfahren Allgemeine Problemstellung Formulierung des Modells Schätzung der Modellparameter Prüfung der statistischen Hypothesen Prüfung der Modellvoraussetzungen Erläuterungen anhand von mittels SPSS durchgerechneter Beispiele Regressionsanalyse Problemstellung AV UV 1 UV2... UVj... UV k 11

12 Regressionsanalyse Problemstellung Die Regressionsanalyse untersucht die Beziehung zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen. Abhängige Variable Typ der Funktion Regressionsmodell metrisch linear Lineare Regression linearisierbar Quasilineare Regression nicht linearisierbar Nichtlineare Regression ordinal linear/linearisierbar Ordinale Regression polychotom linear/linearisierbar Polychotome logistische Regression dichotom linear/linearisierbar Logistische Regression (Logit/Probit Regression) Fragestellung Abhängige Variable Unabhängige Variable(n) Hängt die Reaktionszeit vom Alkoholkonsum und der Schlafdeprivation ab? Reaktionszeit Um wieviel nimmt die Lautheitsempfindung zu, wenn sich die Schallintensität verdoppelt? Ist das Risiko für ein Aggressionsdelikt vom Alter, Geschlecht, Bildungsgrad und Alkoholkonsum abhängig? Wie hängt die Aufmerksamkeitsleistung mit dem Aktivierungsniveau zusammen? Hängt die Einstufung der Attraktivität von Frauen vom Taillen- Hüften Verhältnis ab? Regressionsanalyse Lautheitseinstufung Aggressionsdelikt Leistung in einem Aufmerksamkeitstest Attraktivitätsurteil Blutalkoholspiegel, Dauer des Schlafentzugs Schallintensität Alter, Geschlecht, Bildungsgrad, Alkoholismustyp Pulsfrequenz Taillen-Hüften Verhältnis 12

13 Regressionsanalyse Problemstellung abhängige Variable (y) metrisch y=f(x) unabhängige Variable(n) (x) metrisch Die einfachste mögliche Funktion ist die lineare Funktion: y = ß + ß x + ß x ß o k x k Multiple lineare Regression Formulierung des Modells Intercept Parameter (y-achsenabschnitt) Slope Parameter (Anstiege) y i = ß o + ß x 1 1,i + ß 2 x 2,i ß k x k,i + ε i abhängige Variable unabhängige Variable Residuum Intercept- und Slope-Parameter bezeichnet man auch als Regressionskoeffizienten 13

14 Multiple lineare Regression Schätzung der Modellparameter Unter der Voraussetzung, dass die unabhängigen Variablen (auch Prädiktoren genannt) eine Varianz>0 haben keine der unabhängigen Variablen von den anderen linear abhängig ist die Anzahl der unabhängigen Variablen kleiner ist als die Zahl der Beobachtungsvektoren (y i,x 1i,...,x ki ) minus 1 können die Parameter (Regressionskoeffizienten) mittels kleinster Quadrate geschätzt werden. Multiple lineare Regression Schätzung der Modellparameter Die vorher angegebenen Voraussetzungen reichen aus, um eine kleinste Quadratschätzung zu ermöglichen. Die folgenden Voraussetzungen garantieren, dass die Schätzungen sogenannte BLUE (Best Linear Unbiased Estimators) sind. D.h. sie sind dann unverzerrt und effizient (=kleinstmögliche Varianz). E(ε i )=0 (die Residuen haben Erwartungswert 0) cov(ε i,x ji )=0 (es besteht keine Korrelation zwischen den Prädiktoren und den Residuen) var(ε i )=σ² (Homoskedastizität, gleiche Varianz der Residuen) cov(ε i, ε i+k )=0 (k 0) (keine Autokorrelation der Residuen) 14

15 Multiple lineare Regression Schätzung der Modellparameter Die Methode der kleinsten Quadrate schätzt die Parameter so, dass die Summe der Quadrate der Residuen ein Minimum wird. Residuum ε i Schätzwert ŷi Multiple lineare Regression Schätzung der Modellparameter Erweiterung des Korrelationsbegriffs: Die Produktmomentkorrelation ist bekanntlich: ρ = cov(x, Y) var(x) var(y) Das Quadrat der Produktmomentkorrelation wird als Bestimmtheitsmaß bezeichnet, denn das Quadrat der Korrelation lässt sich folgendermaßen umformen: βyxσ x βxyσy erklärtevarianz ρ² = = = 2 2 σ σ Gesamt var ianz y x Dies lässt sich verallgemeinern. Man bezeichnet R² als multiples Bestimmtheitsmaß. Es ist definiert als das Verhältnis der erklärten zur Gesamtvarianz, die Wurzel wird als multiple Korrelation bezeichnet. 15

16 Multiple lineare Regression Schätzung der Modellparameter Interpretation der Regressionskoeffizienten: Die Regressionskoeffizienten geben an, um wie viel sich die AV verändert, wenn die jeweilige UV sich um eine Einheit verändert. Deshalb verändert sich ß, wenn sich die Einheit der jeweiligen UV verändert, in folgender Weise: wird x ->x*a, dann wird ß ->ß/a (z.b. sei x die Körpergröße in cm und der zugehörige Regressionskoeffizient 1,17. Wenn die Körpergröße in m umgerechnet wird, dann ergibt sich als Regressionskoeffizient 117) Standardisierte Regressionskoeffizienten: Zur Erleichterung der Interpretation werden die standardisierten Regressionskoeffizienten berechnet: σ (st ) xj Sie geben an, um das Wievielfache der β j = β j σy Standardabweichung sich die AV verändert, wenn sich die UV um eine Standardabweichung verändert. Multiple lineare Regression Schätzung der Modellparameter Standardfehler des Schätzers Gibt an, wie groß die durchschnittliche Abweichung des geschätzten vom beobachteten Wert ist. se = i ε 2 i n k 1 Anzahl Beobachtungen Anzahl UV 16

17 Multiple lineare Regression Prüfung statistischer Hypothesen Im Allgemeinen werden die folgende Ho zu prüfen sein: 1. Ho: ß 1 =ß 2 =...=ß k =0 oder äquivalent R=0 2. sofern die Ho von 1. verworfen werden kann ß 1 =0 ß 2 =0... ß k =0 Prüfung der einzelnen Regressionskoeffizienten Unter der Voraussetzung, dass die Residuen NV sind, erfolgt die Prüfung unter 1. mittels F-Test (es wird die erklärte mit der nicht-erklärten Varianz verglichen). Die Prüfung unter 2. erfolgt einzeln mittels t-test. Multiple lineare Regression Prüfung der Modellvoraussetzungen - 1.Linearität 17

18 Multiple lineare Regression Prüfung der Modellvoraussetzungen - Vollständigkeit Werden nicht alle relevanten UV in die Regression eingeschlossen, dann kann das zu verzerrten Schätzungen führen! Fall 1: Mindestens eine UV korreliert mit der nicht berücksichtigten UV --> Schätzungen sind verzerrt, weil die Voraussetzung der Unkorreliertheit von UV und Residuen verletzt wird Fall 2: Keine der UV korreliert mit der nicht berücksichtigten UV --> Schätzungen sind nicht verzerrt, aber der erklärte Varianzanteil reduziert Multiple lineare Regression Prüfung der Modellvoraussetzungen - Overfitting Werden zu viele UV einbezogen, dann bleiben zwar die Schätzungen der Regressionskoeffizienten unverzerrt, aber sie sind nicht mehr effizient. Merke! Nur theoretisch begründbare UV einschließen, eine lineare Kombination der UV muss eine sinnvolle Deutung zulassen. 18

19 Multiple lineare Regression Prüfung der Modellvoraussetzungen - Homoskedastizität Die Varianz der Residuen muss über den gesamten Bereich der Schätzwerte gleich sein! var(ε i )=σ Falls die UV diskrete Stufen haben und pro Stufe (bzw. Kombination von Stufen bei mehreren UV) mehrere Beobachtungen vorliegen, dann kann diese Voraussetzung z.b. mittels Bartlett-Test geprüft werden. Für praktische Zwecke reicht aber meistens eine optische Prüfung, indem man die Residuen als Funktion der Schätzwerte in einem Streudiagramm darstellt. Multiple lineare Regression Prüfung der Modellvoraussetzungen - Homoskedastizität Beispiel für Verletzung der Homoskedastizität 19

20 Multiple lineare Regression Prüfung der Modellvoraussetzungen - Autokorrelation Es wird vorausgesetzt, dass die Residuen keine Autokorrelation aufweisen (cov(ε i,ε i+r )=0). Autokorrelation kann auftreten: Wenn die Regressionsfunktion eigentlich nicht-linear ist. Bei Zeitreihenuntersuchungen (d.h. wenn die UV die Zeit ist). Wenn die Beobachtungen nicht voneinander unabhängig sind. Merke! Es ist nicht zulässig für Regressionsanalysen Daten zu verwenden, wo jeweils mehrere Beobachtungen von derselben Person stammen. ε Multiple lineare Regression Prüfung der Modellvoraussetzungen - Autokorrelation Besonders bei Zeitreihenuntersuchungen kann die Durbin-Watson Statistik verwendet werden, um auf Autokorrelationen 1.Ordnung zu prüfen 2 ( εi εi+ 1) i d = 2 i Besteht keine Autokorrelation, dann ist d=2. Besteht eine positive Autokorrelation, dann ist d<<2. Besteht eine negative Autokorrelation, dann ist d>>2. i 20

21 Multiple lineare Regression Prüfung der Modellvoraussetzungen - Autokorrelation Eine optische Prüfung der Residuen kann Hinweise auf die Ursache einer Autokorrelation liefern. Multiple lineare Regression Prüfung der Modellvoraussetzungen - Multikollinearität Perfekte Multikollinearität kommt dann vor, wenn unter den UV mindestens eine ist, die von den anderen linear abhängig ist (z.b. wenn die Werte der Subtests eines Intelligenztests sowie der Gesamtwert, der durch die Summe oder den Durchschnitt der Subtestwerte ausgedrückt wird, als UV eingeschlossen werden) Bei perfekter Multikollinearität ist eine Schätzung der Regressionskoeffizienten nicht möglich und fällt daher sofort auf, weil man kein Ergebnis bekommt. Merke! In SPSS werden Variablen, die (fast) perfekte Multikollinearität aufweisen, aus der Regression ausgeschlossen. 21

22 Multiple lineare Regression Prüfung der Modellvoraussetzungen - Multikollinearität Probleme bei (nicht perfekter) Multikollinearität die Varianz der Regressionskoeffizienten nimmt zu daher kann es sein, dass die Regression insgesamt signifikant ist, ohne dass ein einzelner Regressionskoeffizient als signifikant beurteilt werden kann die Interpretation der Regressionskoeffizienten wird schwierig, weil nur der Beitrag der jeweiligen UV, der nicht schon von den anderen UV abgedeckt wird, beurteilt werden kann die Schätzungen sind instabil und ändern sich stark, wenn UV hinzugefügt oder entfernt werden Multiple lineare Regression Prüfung der Modellvoraussetzungen - Multikollinearität Zur Beurteilung der Kollineariät der einzelnen UV verwendet man den sogenannten Toleranzwert oder dessen Kehrwert (VIF= variance inflating factor ) T = 1 = 2 j R j 1 VIF j Tj ist also das Unbestimmtheitsmaß der UV j bzgl. aller anderen UV. Es ist 0 bei perfekter Multikollinearität und 1 bei linearer Unabhängigkeit. 22

23 Multiple lineare Regression Prüfung der Modellvoraussetzungen - Normalverteilung Für die Eigenschaften der Schätzungen der Parameter (Regressionskoeffizienten) ist die Annahme der NV der Residuen nicht erforderlich! Für die Signifikanzprüfung der Regressionskoeffizienten und der Regression insgesamt ist die Annahme der NV der Residuen aber entscheidend! Sind die Residuen nicht NV, dann sind die Signifikanztests ungültig. Die Abweichung von der NV kann aber auch auf ein nicht adäquates Regressionsmodell hindeuten. Multiple lineare Regression Prüfung der Modellvoraussetzungen - Normalverteilung Die Prüfung soll optisch erfolgen und kann durch Signifikanzprüfung mittel K-S-Test ergänzt werden. 23

24 Multiple lineare Regression Beispiel 1: Reaktionszeit BeispielRegRZ.sav Quasilineare Regression Allgemeine Problemstellung Unter bestimmten Umständen kann eine nicht-lineare Beziehung zwischen AV und UV durch eine linearisierende Transformation auf eine lineare Beziehung gebracht werden. Sofern der Funktionstyp aus theoretischen Erwägungen oder früheren Untersuchungen bekannt ist, kann die Transformation abgeleitet werden. Eine visuelle Inspektion der Beziehung zwischen UV und AV mittels eines Streudiagramms liefert Hinweise auf den Funktionstyp. 24

25 Quasilineare Regression Allgemeine Problemstellung Manchmal sind Transformationen auch aus anderen Gründen erforderlich. Bedingung Rechtsschiefe Verteilung der Residuen Y sind Prozentwerte (0<Y<100) Y ist nach unten beschränkt (z.b. Y>0) Transformation ln(y) oder Y arcsin( Y/100) log(y) nach log(y) Quasilineare Regression Formulierung des Modells Funktionstyp Transformation der AV Transformation der UV Exponentialfunktion ln(y) keine Potenzfunktion log(y) log(x) Wurzelfunktion keine X Logarithmusfunktion keine log(x) Polynomiale Funktion keine X², X³,... Inverse Funktion keine 1/X Y i = e β +β X β o 1 1i k ki Beispiel: Exponentialfunktion Durch die oben angegeben Transformation Y =ln(y) ergibt sich: Y' = β + β X β X i o 1 1i k ki X 25

26 Quasilineare Regression Weitere Schritte Nach Durchführung der linearisierenden Transformation sind alle anderen Schritte gleich der linearen Regression Schätzung der Modellparameter bei der Interpretation muss man jedoch die Transformation berücksichtigen Prüfung statistischer Hypothesen Prüfung der Modellvoraussetzungen Nicht-lineare Regression Allgemeine Problemstellung Es gibt Fälle, bei denen entweder aus theoretischen Gründen oder nach Untersuchung der Beziehung zwischen AV und UV eine nicht-lineare Beziehung untersucht werden muss, die durch eine Transformation nicht linearisierbar ist. Durch Angabe der Funktion der UV und der zu schätzenden Parameter sowie der sogenannten Verlustfunktion ist das Problem festgelegt. ŷ i = f (x 1,i, x 2,i,...,x Verlust = g( ŷ,..., ŷ 1 ; θ, θ,..., θ k,i 1 2 ; y,..., y n 1 n ;...) m ) 26

27 Nicht-lineare Regression Formulierung des Modells Zu den nicht linearisierbaren Funktionen gehören zyklische Funktionen wie z.b. die Winkelfunktionen. Funktionen dieser Art treten z.b. bei Zeitreihen auf. Beispiel: Cosinor Methode Yi = α cos( νxi + ϕ) + µ Mesor Amplitude Frequenz Phasenlage Nicht-lineare Regression Schätzung der Modellparameter Zur Schätzung der Modellparameter muss eine sogenannte Verlustfunktion definiert werden. Die Verlustfunktion ist zumindest eine Funktion der AV und der Schätzwerte. Es muss sich um eine Funktion handeln, die den Grad der Anpassung der Schätzwerte an die Beobachtungswerte widerspiegelt. Bei der linearen Regression wird als Verlustfunktion die 2 quadratische Funktion (y ŷ verwendet. i i i) 27

28 Nicht-lineare Regression Schätzung der Modellparameter Da die Werte der AV und der UV als gegeben angenommen werden können, ist die Verlustfunktion lediglich in Abhängigkeit von den zu schätzenden Parametern zu betrachten. Es gibt verschiedene Algorithmen, die schrittweise die Parameter in geeigneter Weise variieren, um diejenigen Parameterwerte zu bestimmen, bei denen die Verlustfunktion ein Minimum wird. Quadratische Verlustfunktion Andere Verlustfunktionen Levenberg-Marquardt Sequentiell quadratische Optimierung Nicht-lineare Regression Schätzung der Modellparameter Levenberg-Marquardt ein Algorithmus, der nur bei der quadratischen Verlustfunktion angewendet werden kann er konvergiert im Allgemeinen sehr rasch da bei diesem Algorithmus die Matrix der 2.Ableitungen nach den Parametern berechnet wird, ergibt sich die Varianz der Schätzwerte unmittelbar aus dem Schätzprozess Sequentiell quadratische Optimierung ein Algorithmus, bei dem sequentiell in der Umgebung von Stützpunktion die zu suchende Funktion quadratisch angepasst und so das Minimum angenähert wird die Varianz der Parameterschätzung kann nicht direkt aus dem Schätzprozess erhalten werden, sie muss durch Bootstraping geschätzt werden 28

29 Nicht-lineare Regression Prüfung der statistischen Hypothesen Unter sehr allgemeinen Voraussetzungen haben die Schätzwerte der Parameter eine asymptotische Normalverteilung. Die Hypothesen θ=0 (für die Parameter der Funktion) können durch Bezug auf die Standardabweichung des Schätzwertes geprüft werden: θ Z = sˆ θ Ist der Betrag von Z größer als der kritische Wert der NV bei dem gewählten Alpha, dann kann die Nullhypothese verworfen werden. Nicht-lineare Regression Prüfung der Modellvoraussetzungen Je nach Verlustfunktion und Eigenschaften der Funktion der UV, die angepasst werden soll, kann es sein, dass keine Lösung oder eine falsche Lösung erhalten wird. Ist eine Funktion nicht korrekt definiert, dann konvergieren die Schätzalgorithmen nicht ŷ i = αe ß o + ß x 1 Parameter nicht unabhängig i 29

30 Nicht-lineare Regression Prüfung der Modellvoraussetzungen Bei der nicht-linearen Regression sind Anfangswerte für die Parameter zu wählen. Ist diese Wahl ungeschickt, dann kann es sein, dass das Minimum der Verlustfunktion nicht erreicht wird. Wird der Anfangswert hier gewählt, dann wird der Algorithmus u.u. gegen das lokale Min. konvergieren. Wird der Anfangswert hier gewählt, dann bricht der Algorithmus ab, weil die Änderung des Verlusts zu klein ist. Nicht-lineare Regression Beispiel 2: Cosinor BeispielNLRCosinor.sav 30

31 Logistische Regression Allgemeine Problemstellung Falls die AV dichotom ist (also nur zwei Werte - z.b. krank/gesund) annehmen kann, dann ist es nicht sinnvoll die gewöhnliche Regressionsanalyse zu verwenden, weil dadurch von vorneherein die Modellannahmen bzgl. der Residuen verletzt werden. Man kann aber annehmen, dass die Wahrscheinlichkeit der Ausprägung der AV eine lineare Funktion von UV ist. P(y i = a) = f (x1,i, x 2,i,...,x k, i;ß) 0/1 Logistische Regression Formulierung des Modells Sofern die Wahrscheinlichkeit der Ausprägung der AV (0/1) nicht 1 oder 0 ist, kann sie logistisch transformiert werden. u e Logistische Transformation: p =,0 < p < 1 < u < u 1+ e Bei der logistischen Regression wird u als lineare Funktion der AV aufgefasst. u nennt man auch Logit von p: u=ln(p/(1-p)) 31

32 Logistische Regression Formulierung des Modells x j lineare logistische u p(y Transformation i ) Funktion unabhängige Variable Logit Eintrittswahrscheinlichkeit Die logistische Funktion spielt in diesem Fall die Rolle einer sogenannten Link-Funktion. Sie stellt die Verbindung zwischen dem funktionalen Modell der Verknüpfung der UV (hier linear) und der AV her. Bei der normalen linearen Regression ist diese Link-Funktion die identische Funktion. Logistische Regression Schätzung der Modellparameter Bei der logistischen Regression werden die Parameter nicht mittels der Methode der kleinsten Quadrate, sondern mittels Maximum-Likelihood-Verfahren geschätzt. Unter der Annahme der Unabhängigkeit der y i (0/1) ist die Wahrscheinlichkeit der Daten unter der Bedingung der UV und Parameter: (y1, y2,..., yn x1, x 2,...,x k;ß) = p(yi) y (ß + ß x ßx ) i i o 1 1,i k,i P e = ßo + ß1x1,i ßx 1+ e i k,i 32

33 Logistische Regression Schätzung der Modellparameter Diese Wahrscheinlichkeit der Daten als Funktion der Parameter wird Likelihood genannt. An der Stelle ihres Maximums haben also die beobachteten Daten die höchste Wahrscheinlichkeit. Tatsächlich wird der Logarithmus der Likelihood maximiert. Da es sich dabei um eine monotone Transformation handelt, hat die log- Likelihood das Maximum an derselben Stelle wie die Likelihood. Unter der Voraussetzung, dass die Zahl unterschiedlicher Vektoren x mindestens so groß ist wie die Zahl der zu schätzenden Parameter, keine vollkommene Abhängigkeit unter den UV besteht und jede UV mindestens zwei Ausprägungen besitzt, hat die Likelihood ein eindeutiges Maximum. Logistische Regression Schätzung der Modellparameter Als UV können sowohl metrische wie kategorielle Daten eingesetzt werden. Wenn mehr als 2 Kategorien vorhanden sind, sollen Dummy-Variablen benutzt werden. Typ der Dummy-Variablen Indikator Abweichung Einfach Differenz Helmert Wiederholt Bedeutung Jede Kategorie wird auf die Referenzkategorie bezogen (deren Parameter wird 0 gesetzt) Jede Kategorie wird mit der Referenzkategorie verglichen Jede Kategorie (außer Referenzkategorie) wird mit dem Gesamteffekt verglichen Jede Kategorie wird mit dem Durchschnitt der vorangegangenen Kategorien verglichen Jede Kategorie wird mit dem Durchschnitt der nachfolgenden Kategorien verglichen Der Durchschnitt aller Kategorien bis zur jeweiligen Kategorie wird mit dem Durchschnitt aller nachfolgenden Kategorien verglichen 33

34 Logistische Regression Schätzung der Modellparameter Logistische Regression Schätzung der Modellparameter Odds(y=1) = p/(1-p)=e u log(odds)=logit=u Odds (y = 1) = e ß o e ß x e ß x k k Odds (y(x = ß ) = 1) = Odds(y(x1) 1) e Die Parameter ß können so interpretiert werden: Eine Zunahme der UV x i um eine Einheit führt zu einer Multiplikation der Odds für y=1 um e ßi. Es folgt sofort: negatives ß reduziert, positives ß erhöht die Odds. 34

35 Logistische Regression Prüfung statistischer Hypothesen Die Hypothese, dass alle Koeffizienten (außer ß o ) gleich Null sind, wird mittels einer chi²-verteilten Prüfgröße beurteilt Jeder Koeffizient kann über die Wald-Statistik, die chi²-verteilt (df=1) ist, auf Signifikanz geprüft werden Die Anpassung des Modells kann (falls die Stichprobe nicht kleiner als etwa n=100 ist) mittels Hosmer-Lemeshow-Test geprüft werden Logistische Regression Prüfung statistischer Hypothesen Beurteilung der Modellanpassung mittels Likelihood- Kriterium: das absolute Maximum der Likelihood ist 1 und daher der log-likelihood gleich 0. Der negative Logarithmus des Quadrats der Likelihood (-2logL) ist ein Maß für die Güte der Anpassung. Je größer dieser Wert, umso schlechter die Modellanpassung. -2logL ist asymptotisch chi²-verteilt mit n-k-1 Freiheitsgraden. Wegen der Mehrdeutigkeit im Falle von Wiederholungen der Vektoren der UV wird in SPSS auf die Signifikanz- Berechnung verzichtet. 35

36 Logistische Regression Prüfung statistischer Hypothesen Beurteilung der Modellanpassung mittels Pseudo-R²: Cox-Snell R²: kann nur Werte kleiner 1 annehmen. 1-R² nach Cox- Snell wird als die n-te Wurzel des Quadrats der Likelihoodratio (Verhältnis der Likelihood des Nullmodells zu der des vollständigen Modells) berechnet Nagelkerkes R²: der Maximalwert 1 kann erreicht werden. Definiert als das Verhältnis von R² nach Cox-Snell zu dessen Maximum. Werte von R² größer als 0,5 weisen auf eine gute Modellanpassung hin. Logistische Regression Prüfung der Modellvoraussetzungen Die technischen Voraussetzungen (Anzahl unterschiedlicher Vektoren von UV, nicht konstante UV) brauchen nicht geprüft zu werden, weil ein Ergebnis nur bei deren Zutreffen erhalten wird. Ist eine UV eine lineare Funktion der übrigen UV, dann wird die redundante Variable ausgeschieden. Die Prüfung auf Linearität der logistischen Funktion ist unter der Voraussetzung, dass die Zahl gleicher Vektoren der UV groß genug ist, um die Wahrscheinlichkeit der AV abzuschätzen, möglich. 36

37 Logistische Regression Prüfung der Modellvoraussetzungen Logistische Regression Beispiel 3: Aggressionsdelikte BeispielLogRegAggr.sav 37

38 Ordinale Regression Allgemeine Problemstellung Ist die abhängige Variable nicht metrisch, sondern ordinal, dann würde eine lineare Regression diese Eigenschaft nicht angemessen widerspiegeln, da jede monotone Transformation zulässig ist und die (standardisierten) Regressionskoeffizienten nur invariant gegenüber linearen Transformationen sind. Sei Y eine ZV, die m (>1) Ausprägungen annehmen kann, wobei die i-te Ausprägung mit Wahrscheinlichkeit p i auftritt, dann ist die Wahrscheinlichkeit in n unabhängigen Versuchen r 1 mal die 1., r 2 mal die 2. usw. bis r m mal die m-te Ausprägung zu beobachten, durch die Multinomialverteilung gegeben: r1 r2 P ( r1, r2,..., rm n; p1, p2,..., pm) = p1 p2... r1! r2!... rm! n! p r m m Ordinale Regression Allgemeine Problemstellung Ist Y ordinal, dann können die Stufen von Y so den m Kategorien zugeordnet werden, dass die Abfolge der Kategorien 1 bis m die Rangordnung von Y widerspiegelt. Die Multinomialverteilung geht dann in die geordnete Multinomialverteilung über, bei der die p i die Ableitungen der Verteilungsfunktion von Y sind. x j lineare u p(y Transformation i ) Funktion Link- Logit/Probit unabhängige log-log Eintrittswahrscheinlichkeit Variable C-log-log Cauchit 38

39 Ordinale Regression Formulierung des Modells Sei P(a)=P(Y a) die Verteilungsfunktion von Y, dann gilt p j=p(j)-p(j-1). Wir betrachten nun P(a) als abhängig von k UV X 1,...,X k, wobei der i-te Fall die Realisierung x 1i,...,x ki haben möge, dann ist die ordinale Regression durch die folgende Modellgleichung spezifiziert: Schwellenparameter für Kategorie a Link( P( y Linkfunktion i θa ( β1x1 i βk x = a)) = σ ( τ δ x τ δ x 1 1 1i Lokationsmodell Skalierungsmodell (ohne Skalierung = 1) k k ki ki ) ) Ordinale Regression Formulierung des Modells Linkfunktion Logit C-log-log log-log Probit Chauchit Ausdruck ln(p(a)/(1-p(a))) ln(-ln(1-p(a))) -ln(-ln(p(a))) Θ -1 (P(a)) tan(π(p(a)-0,5)) Die Linkfunktion bildet den Bereich 0<P(a)<1 auf die gesamte reelle Achse - <Link(P(a))<+ ab. 39

40 Ordinale Regression Formulierung des Modells Ordinale Regression Schätzung der Modellparameter Die Schätzung der Modellparameter erfolgt mittels Maximum-Likelihood-Verfahren. Es gibt immer eine eindeutige Lösung, wenn folgende Voraussetzungen erfüllt sind: Die Anzahl zu schätzender Parameter ist kleiner als die Anzahl unterschiedlicher Muster der UV Keine UV ist konstant Es gibt keine perfekte Multikollinearität unter den UV 40

41 Ordinale Regression Prüfung statistischer Hypothesen wie bei logistischer Regression Prüfung der Zuordnung erfolgt in SPSS nicht direkt m 2 ri PZW = i= 1 n Ausgabe der geschätzten Zuordnung Kreuztabelle beobachtete/erwartete Zuordnung Anteil korrekter Zuordnungen mit Proportionaler Zufallswahrscheinlichkeit vergleichen Ordinale Regression Prüfung der Voraussetzungen Chi² für Anpassung kann nur dann benutzt werden, wenn die Zahl der unterschiedlichen Muster der UV viel kleiner als n ist die Residuen werden in SPSS nicht ausgegeben, man muss sie selber aus der Differenz der tatsächlichen zur vorhergesagten Kategorie ermitteln sind genügend Beobachtungen pro Muster der UV (mindestens 20), dann sollte man die beobachteten Kategorienhäufigkeiten grafisch den vorhergesagten gegenüberstellen (prüft auch die Linkfunktion) 41

42 Ordinale Regression Beispiel 4: Waist-Hip Ratio BeispielOrdRegWHip.sav Mehrkategorielle logistische Regression Allgemeine Problemstellung Ist die abhängige Variable mehrkategoriell aber nominal, dann kann nicht das Konzept der ordinalen Regression angewendet werden. In diesem Fall müssen für alle m-1 unabhängige Stufen der AV die Regressionskoeffizienten bestimmt werden (eine Stufe ist immer redundant, wie auch bei der gewöhnlichen logistischen Regression) m Logit-Link Linearkombination der UV 42

43 Mehrkategorielle logistische Regression Formulierung des Modells P( y i βa e = a x1 i,..., xki ) = m e j= β x j 0 a1 1i β + β x β x j1 1i ak ki β x jk ki Da die Summe der P(a) gleich 1 ist, sind nur m-1 der Parametervektoren ß unabhängig. SPSS setzt alle Parameter der letzten Kategorie gleich Null. Link ( P( a)) = ln( P( a) /(1 P( a)) Mehrkategorielle logistische Regression Parameterschätzung wie bei logistischer Regression Prüfung statistischer Hypothesen Likelihoodquotienten-Test prüft die Hypothese: ß 1j =ß 2j =...=ß m-1,j =0 Die einzelnen Parameter werden wie bei der logistischen Regression mittels der chi²-verteilten Wald Statistik geprüft Alle anderen Prüfungen erfolgen wie bei der gewöhnlichen logistischen Regression 43

44 Mehrkategorielle logistische Regression Beispiel 5: Minimal Cerebral Dysfunction BeispielMLogRegMCD.sav Block- und schrittweise Regression Bei der multiplen Regressionsanalyse und bei der logistischen Regression bietet SPSS zusätzlich zur Standardanalyse, bei der alle Variablen simultan analysiert werden, zwei Methoden, die für eine explorative Datenanalyse genutzt werden können Bei der blockweisen Regression können die UV in verschiedene Blöcke aufgeteilt werden, SPSS fügt jeden Block Schritt für Schritt zum Modell hinzu. Das erlaubt die blockweise Beurteilung der zusätzlich erklärten Varianz. Bei der schrittweisen Regression werden die UV schrittweise aufgenommen, sofern sie das Einschlusskriterium erfüllen und schrittweise ausgeschlossen, sofern sie das Ausschlusskriterium erfüllen. 44

45 metrisch Varianzanalyse Problemstellung nominal AV 1... AV m metrisch ff 1... nominal... cv 1 fixe Faktoren ff a rf 1... rf b Zufallsfaktoren cv c Kovariablen Varianzanalyse Problemstellung Im einfachsten Fall haben wir eine metrische AV, die wir auf ihre Abhängigkeit von einer nominalen UV untersuchen wollen. Im Kontext der Varianzanalyse nennt man die nominalen UV auch Faktoren. Eine einfache Varianzanalyse nennt man daher auch einfaktoriell. Die Bezeichnung kommt aus der experimentellen Forschung, bei der die im Experiment kontrollierten Variablen auch Versuchsfaktoren genannt werden. 45

46 Fragestellung Welche Eigenschaften bestimmen die Qualität von Mutterattrappen? (Rhesusaffen) Hängt der Lernerfolg von der Art des Unterrichts und Persönlichkeitsmerkmalen der Schüler ab? Gehorsamkeit und räumliche Nähe des Opfers Abhängige Variable(n) Faktor(en) Aufenthaltsdauer an der Draht / Plüsch Attrappe Punktesumme im Test Anzahl (fiktiver) maximaler E-Schocks Hängt die intrinsische Aufgabenpersistenz Arbeitszufriedenheit von Aufgabeninteresse der Arbeitsaufgabe und Arbeitszufriedenheit dem Führungsverhalten ab? Operantes Konditionieren in Abh. der Anzahl und Rate verstärkter Durchgänge Varianzanalyse Problemstellung Anzahl konformer Verhaltensweisen Unterricht: Entdeckungslernen / rezeptives Lernen Persönlichkeit: extra- / introvertiert Nähe: nur Lichtsignal, nur akustisch, Opfer in anderem Raum, Opfer in selbem Raum Führung: mitarbeiterzentriert / aufgabenzentriert Aufgabe: repetitiv / komplex Verstärkerrate: 100% / 75% / 50% / 25% / 0% Durchgänge: 1-21/ /41-60 /61-80 Varianzanalyse Problemstellung Gruppe A Gruppe B Gruppe C Effekt Gr. B α B Residuum Gesamtmittel µ Effekt Gr. A α A Effekt Gr. C α c 46

47 Varianzanalyse Problemstellung Modellgleichung der einfachen Varianzanalyse: AV yij Gruppenmittel µ j = µ + α + ε j ij Residuum Gesamtmittelwert Effekt der Bed. j Zerlegung der Abweichungsquadratsumme: 2 2 yij µ ) = ( yij µ j ) + n ( α j i j i j AQS T = AQS I + AQS Z 2 j Varianzanalyse Problemstellung Weil bei der AQS I mit insgesamt n*k Summanden k Mittelwerte (µ j ) festgehalten werden, besitzt sie nur nk k=k(n-1) Freiheitsgrade. MQS I =AQS I /k(n-1). Bei der AQS Z ist der Gesamtmittelwert festgehalten, daher besitzen die k Summanden k-1 Freiheitsgrade: MQS Z =AQS Z /(k-1) Unter der Voraussetzung, dass Y aus NV(µ,σ) und unter der Nullhypothese: α 1 = α 2 =...= α k =0 (oder äquivalent: µ 1 =µ 2 =...=µ k =µ) schätzt sowohl die MQS I wie die MQS Z die Populationsvarianz σ² und daher besitzt das Verhältnis MQS Z /MQS I eine F-Verteilung mit k-1 df im Zähler und k(n-1) df im Nenner! 47

48 Varianzanalyse Problemstellung Bei der mehrfachen (mehrfaktoriellen) Varianzanalyse wird das Modell zunehmend komplexer, weil zusätzlich zu den sogenannten Haupteffekten Wechselwirkungseffekte (Interaktionen) mit schrittweise höherer Ordnung berücksichtigt werden müssen (sofern es sich um vollständige Designs handelt). y = µ + α + β + ( αβ ) + ε zweifache ANOVA y ijl ijlm j = µ + α + β + γ j l l m jl ijl + ( αβ ) dreifache ANOVA jl + ( αγ ) jm + ( βγ ) lm + ( αβγ ) jlm + ε ijlm Varianzanalyse Problemstellung A k a B k b Ein vollständiges varianzanalytisches Design enthält alle Kombinationen der Stufen der UV als distinkte Gruppen. 48

49 Varianzanalyse Problemstellung Der Wechselwirkungseffekt der Ordnung k ist jener Effekt, der über die Wirkung der Haupteffekte und Wechselwirkungseffekte bis zur Ordnung k-1 hinaus geht. Effekt Schätzer µ x.. α j x j. - x.. ß l x.l - x.. (αβ) jl x jl (x.. + (x j. - x.. ) + (x.l - x.. )) analog für mehr als 2 Faktoren Varianzanalyse Problemstellung Kein Effekt A Effekt von B keine WW Effekt von A Effekt von B keine WW Kein Effekt A Kein Effekt B WW-Effekt Effekt von A Effekt von B WW-Effekt 49

50 Varianzanalyse Problemstellung Ist die Wechselwirkung k-ter Ordnung signifikant, dann müssen die Haupteffekte sowie die Wechselwirkungen bis zur Ordnung k-1 auf ihre Aussagekraft spezifisch geprüft werden. Es kann sein, dass ein signifikanter Effekt wegen einer signifikanten Wechselwirkung bedeutungslos wird. Der signifikante Effekt der Art der Tätigkeit auf die Arbeitszufriedenheit kann nicht allgemein aufrecht erhalten werden, denn die Analyse der signifikanten WW zeigt, dass dieser Effekt ausschließlich beim mitarbeiterorientierten Führungsstil auftritt. Varianzanalyse Formulierung des Modells Vektor der AV y = Αθ + ε Parameter- Matrix Designvektor Vektor der Residuen 50

51 Varianzanalyse Formulierung des Modells Komplett faktorielles Design (z.b. 3 x 2 x 3) Schultyp HS AHS Typ1 AHS Typ2 Gebiet Stadt Land Stadt Land Stadt Land Stufe Vp 1.. Vp i.. Vp n Teilweise genestetes (verschachteltes) Design (z.b. 3 x 6 (innerh.3) x 3) Schultyp HS AHS Typ1 AHS Typ2 Schule A B C D E F Stufe Vp 1.. Vp i.. Vp n Varianzanalyse Formulierung des Modells Komplett genestetes Design (z.b. 3 x 6 (innerh.3) x 18 (innerh. 3 x 2)) Schultyp HS AHS Typ1 AHS Typ2 Schule A B C D E F Klasse a b c d e f g h i j k l m n o p q r Vp 1.. Vp i.. Vp n Lateinisches Quadrat (z.b. 4 x 4 x 4) Schule Klasse Material A B C D B A D C C D A B D C B A Vp 1.. Vp i.. Vp n 51

52 Varianzanalyse Formulierung des Modells fixe Faktoren (Effekte) dabei handelt es sich um solche nominale unabhängige Variablen, deren Stufen von vorneherein im Design festgelegt sind (z.b. Schultyp: HS/AHS) Zufallsfaktoren (-effekte) dabei handelt es sich um nominale unabhängige Variablen, deren Stufen durch (Zufalls)auswahl aus einer größeren Zahl möglicher Stufen festgelegt werden (z.b. Schulen innerhalb eines Bundeslandes) Varianzanalyse Formulierung des Modells Design mit Messwiederholungen ( Within- Subjects-Design ) kann als multivariates Design aufgefasst werden in diesem Fall werden die Unterschiede zwischen den Stufen, die den/die Messwiederholungsfaktor/en enthalten, multivariat geprüft (d.h. basierend auf Hypothesen- und Residualmatrizen) multivariate Prüfung ist aber nur möglich, wenn die Zahl der Vpn (allgem.: Messobjekte) größer ist als die Zahl der Freiheitsgrade kann als univariates Design aufgefasst werden in diesem Fall werden die Vpn (allgem.: Messobjekte) als Stufen eines Zufallsfaktors aufgefasst es muss die Voraussetzung der Sphärizität geprüft werden 52

53 Varianzanalyse Schätzung der Modellparameter Es gibt zwei methodische Ansätze: das überparametrisierte Modell: das ist der klassische Ansatz, bei dem für jede Stufe eines Faktors ein eindeutiger Designvektor angesetzt wird. Das führt in der Matrix der Kreuzprodukte zu Redundanzen, sodass diese Matrix nicht invertierbar ist. Die Analyse basiert auf der Zerlegung der Abeichungsquadrate. Diese Methode wird von SPSS verwendet. das sigmabeschränkte Modell: bei dieser Methode erfolgt eine Parametrisierung nach der Zahl der Freiheitsgrade und dadurch wird das Modell schätzbar analog dem Regressionsmodell. Varianzanalyse Schätzung der Modellparameter Zerlegung der Abweichungsquadratsumme Typ I: Methode der hierarchischen Zerlegung ausgeglichene ANOVA-Modelle mit Haupteffekten vor WW- Effekten (1.Ordnung vor 2.Ordnung usw.) polynomiale Regressionsmodelle rein verschachtelte Modelle Typ II: Quadratsumme angepasst an alle Effekte, die den jeweiligen Effekt nicht enthalten wie oben Haupteffektmodelle 53

54 Varianzanalyse Schätzung der Modellparameter Zerlegung der Abweichungsquadratsumme Typ III: Orthogonale Zerlegung bzgl. Effekten, die den jeweiligen Effekt enthalten und bereinigt um die, die ihn nicht enthalten (Voreinstellung bei SPSS) alle Modelle außer solche mit designbedingt leeren Zellen Typ IV: wie III außer wenn ein Effekt in anderen Effekten enthalten ist: dann werden die Kontraste gleichmäßig auf alle Effekte höherer Ordnung verteilt alle Modelle insbesondere solche mit leeren Zellen Varianzanalyse Prüfung statistischer Hypothesen Univariat Die Residuen sind normalverteilt Die Varianzen sind über alle Kombinationen der Stufen der UV homogen (=gleich) Mittelwert und Streuung sind über alle Stufen der UV unkorreliert Bei Faktoren mit mehr als zwei Stufen von Messwiederholungen ist die Voraussetzung der Sphärizität erfüllt Voraussetzungen der Hypothesenprüfung Multivariat Die Residuen sind multivariat normalverteilt Die Varianz-Kovarianzmatrizen sind über alle Kombinationen der Stufen der UV homogen (=gleich) Die AV sind voneinander nicht perfekt linear abhängig Die Zahl der Freiheitsgrade ist kleiner als die Zahl Messobjekte (Vpn) 54

55 Varianzanalyse Prüfung statistischer Hypothesen Die Grundlage der Hypothesenprüfung bei der Varianzanalyse bilden sogenannte Kontrastvektoren. Nehmen wir an, wir haben 3 Gruppen, deren Mittelwertsunterschiede wir prüfen wollen. Wir bezeichnen die 3 Erwartungswerte mit µ1, µ2 und µ3. Ein Kontrastvektor ist ein Vektor, dessen Länge gleich der Anzahl bei der Prüfung zu berücksichtigender Erwartungswerte ist (hier 3) und dessen Elementensumme Null ergibt. Es gibt so viele unabhängige Kontrastvektoren, wie es Freiheitsgrade für eine Hypothese gibt. Varianzanalyse Prüfung statistischer Hypothesen In dem Beispiel mit der Nullhypothese: µ1=µ2=µ3 gibt es 3-1=2 Freiheitsgrade, weil der Gesamtmittelwert µ festgehalten wird. Daher gibt es zwei unabhängige Kontrastvektoren. Es gibt für jede Hypothese unendlich viele Möglichkeiten die zugehörigen Kontrastvektoren zu bestimmen. Es wird lediglich vorausgesetzt, dass sie voneinander linear unabhängig sind. Beispiel Jeder Kontrastvektor Kontrast 1: 1 1 µ 1 wird mit dem Vektor µ1-µ2 1 0 der zugehörigen µ 2 Erwartungswerte Kontrast 2: 0 1 multipliziert. µ µ1-µ3 3 55

56 Varianzanalyse Prüfung statistischer Hypothesen Dass es in diesem Beispiel nur zwei Freiheitsgrade gibt, sieht man auch deshalb leicht ein, weil jeder andere Kontrast als Linearkombination der beiden angegebenen Vektoren ausgedrückt werden kann. Z.B. ergibt sich µ2-µ3 aus (µ1-µ3)-(µ1-µ2) also Kontrast 2 minus Kontrast 1. Beispiel 2 0 Gleichgültig welche Kontrastvektoren gewählt werden. Jede gültige Wahl führt zur selben 1 1 Abweichungsquadratsumme und damit zum selben 1 1 Ergebnis der Hypothesenprüfung. Konkret werden bei der Hypothesenprüfung aus der Vielzahl der möglichen Kontrastvektoren solche gewählt, die zueinander orthogonal sind (d.h. deren inneres Produkt verschwindet = Null wird). Varianzanalyse Prüfung statistischer Hypothesen Da die Zusammenstellung der Kontrastvektoren mühsam und bei komplexeren Hypothesen schwierig ist, bieten die meisten Programme (und auch SPSS) bereits die Prüfung der im Allgemeinen auftretenden Hypothesen bzgl. aller Haupt- und Wechselwirkungseffekte an, ohne dass man spezielle Angaben machen muss Haupteffekthypothesen sind von der Form: α 1 =α 2 =...=α k Wechselwirkungshypothesen sind von der Form: (αß..) 11.. =(αß..) 12.. =...=(αß..) kl.. was auch so µ 11 =µ 1. +µ.1 - µ..... µ kl =µ k. +µ.l -µ.. ausgedrückt werden kann 56

57 Varianzanalyse Prüfung statistischer Hypothesen Spezielle Hypothesen müssen aber durch die Angabe von Kontrasten geprüft werden. Z.B. wenn nicht der Vergleich aller Gruppen interessiert, sondern nur die Frage, ob sich die Untersuchungsgruppen gegenüber einer Kontrollgruppe unterscheiden, kann man das durch lineare Kontraste schärfer prüfen als durch den Haupteffekt Z.B. wenn geprüft werden soll, ob die Erwartungswerte mit den Stufen der UV linear oder nicht-linear ansteigen oder abfallen, kann man polynomiale Kontraste einsetzen Varianzanalyse Prüfung statistischer Hypothesen SPSS bietet einige vorgefertigte Kontraste an, sie entsprechen teilweise den Dummycodes bei der logistischen Regression Kontrast Abweichung Einfach Differenz Helmert Wiederholt Polynomial Bedeutung Jede Kategorie wird mit der Referenzkategorie verglichen Jede Kategorie (außer Referenzkategorie) wird mit dem Gesamteffekt verglichen Jede Kategorie wird mit dem Durchschnitt der vorangegangenen Kategorien verglichen Jede Kategorie wird mit dem Durchschnitt der nachfolgenden Kategorien verglichen Der Durchschnitt aller Kategorien bis zur jeweiligen Kategorie wird mit dem Durchschnitt aller nachfolgenden Kategorien verglichen Lineare, quadratische, kubische usw. orthogonale Kontraste werden stufenweise erzeugt (bis Anz. df erreicht) 57

58 Varianzanalyse Prüfung statistischer Hypothesen Hat ein Faktor mehr als zwei Stufen, dann kann man aus der Verwerfung der Nullhypothese für den Haupteffekt nur schließen, dass - bei der gegebenen Irrtumswahrscheinlichkeit - mindestens einer der Erwartungswerte von den anderen abweicht. Man weiß aber nicht welcher. Um das zu untersuchen, gibt es sogenannte post-hoc-tests auch a posteriori Tests genannt. Sie prüfen unter der Voraussetzung der Signifikanz des Haupteffekts, ob es homogene Untergruppen gibt, die sich voneinander unterscheiden bzw. prüfen sie alle (oder spezielle) Paare von Unterschieden zwischen den Stufen. Varianzanalyse Prüfung statistischer Hypothesen - Post Hoc Tests Test Erläuterung paarweise Vergleiche LSD Least significant difference, paarweise t-tests Bonferroni Korrektur des Signifikanzniveaus nach Anz. Tests Sidak Ähnlich wie Bonferroni Games-Howell Anwendbar bei heterogenen Varianzen, schwach Tamhane T2 Konservativer Test Dunnett T3 Basierend auf studentisiertem Maximalmodul Dunnett C Basierend auf studentisiertem Range Dunnett Vergleich mit Kontrollgruppe homogene Untergruppen SNK Student-Newman-Keuls Test Tukey B Basiert auf studentisierter Spannweite Duncan Wie SNK + Sicherheitsniveau für Fehlerrate F nach R-E-G-W F-Test nach Ryan-Einot-Gabriel-Welsh Q nach R-E-G-W Spannweitentest nach Ryan-Einot-Gabriel-Welsh Waller-Duncan Verwendet eine Bayes-Methode multiple Vergleiche+Spannweitentest Tukey Studentisierter Spannweitentest (HSD-Test) GT2 nach Hochberg Ähnlich Tukey aber meist schwächer Gabriel Geeignet bei ungleicher Stichprobengröße Scheffé Konservativer Test aller Untergruppen 58

59 Varianzanalyse Prüfung statistischer Hypothesen Anwendungsempfehlungen multipler Vergleichstests Liegen vor Untersuchung bereits bestimmte Detailhypothesen vor, immer den a priori Tests mittels linearer Kontraste den Vorzug geben! Sollen homogene Untergruppen gebildet werden ist meist Tukey s HSD Test am geeignetsten, außer wenn die Gruppengrößen unterschiedlich sind, dann den Test nach Gabriel verwenden Sollen alle paarweisen Vergleiche vorgenommen werden, dann keinesfalls den LSD Test, sondern Tukey s HSD Test oder bei heterogenen Varianzen Dunnett s T3 Test durchführen Soll gegen eine einzelne Gruppe (z.b.kontrollgruppe) getestet werden, dann Dunnett s Test verwenden. Varianzanalyse Prüfung statistischer Hypothesen Im univariaten Fall erfolgt die Prüfung (wie das schon von der einfachen ANOVA bekannt ist) mittels F-Test dabei wird die Varianz in Komponenten zerlegt: eine oder mehrere die der/den Hypothese/n zugeordnet ist/sind und jeweils zugeordneten Residualkomponenten. Im multivariaten Fall erfolgt die Prüfung mittels unterschiedlicher Kriterien Wilk s Lambda, Pillai s Spur, Hotelling s Spur und Roy s charakteristische Wurzel: Alle Basieren auf den Eigenwerten der Differenz der zerlegten Varianz-Kovarianzmatrizen Wilk s Lambda ist am einfachsten zu interpretieren und entspricht am ehesten der Vorgangsweise beim F-Test 59