Evaluation und Forschungsmethodik

Transkript

1 Evaluation und Forschungsmethodik Wozu gibt es Disparitäten? Was für Effektstärken gibt es? Metaanalyse woher kommen sie? CHI-Quadrat bei Faktoranalyse stat. Regression partielle Korrelation MR was ist eine Implementierungskontrolle (Evaluation) Hedges g, Rosenthals r Experiment Quasi-Experiment generelle Fragen was macht LISREL wann gruppiert man in der Metaanalyse Kontrastgewichte was sind Effektstärken? welche gibt es? Welche 3 Hypothesen gibt es beim fixed effect model? fixed effect model von Hedges Konfidenzintervall: was braucht man dazu? Codierung: warum? Trendcodierung Quasi-Experiment: was kann man wie kontrollieren? 2faktorielle Varianzanalyse Signifikanztest beim LISREL Regressionsanalyse: F-Test, t-test Multikollinearität 2 Möglichkeiten R 2 zu berechnen Faktorenanalyse: Rotation, 4 Kennwerte Regressionsanalyse: Unterschied zwischen den 3 Regressionsarten was sind Betagewichte Unterschied zwischen beta und B setwise-regression Metaanalyse: wie, was was soll gegeben sein Vergleich: diffuse und fokusierte Tests fixed effect model Evaluation: Unterschied zwischen Experimenten und Quasiexperimenten interne Validität des Quasiexperimentes erhöhen Einstieg: Metaanalyse focisierte Tests: wozu, wieso macht man eine z- Transform., wie wählt man die Konraste, was besagt das p- level

2 multiple Regression: wozu braucht man die hierarische Regression, bei der man Prädiktorsets einführt? MANOVA: was besagt Ho und H1 wie teste ich diese? wieso gibt es so viele Teststatistiken? welches sind die stat. Voraussetzungen für die MANOVA? LISREL: wie prüfe ich mein Modell? was bedeutet im chi-quadrattest ein (nicht) signifikantes Ergebnis? was bedeuten die Pfadkoeffizienten? Einstieg: multiple Regression gibts eine Theorie zur Reihung der UVs bei der hierarchischen Regression? wie ist der Zshg. von r, beta, sr? MANOVA: Hypothesen formulieren wann sind unspez. Hypothesen sinnvoll? Anschlusstests bezogen auf AV/UV Evaluation: Unterschied von formativer und summativer Evaluation? probleme theoretischer art bei der formativen Eva? metaanalsyse: was macht man, wenn man nur die p-level hat? was ist überhaupt ein p? Konfidenzintervalle für Effektgrössen - was für Grössen gehen in die Berechnung ein? Einstieg: MDS Datenverdichtungskoeffizient wie bessere Interpretation? Rotation Vergleich zu Rotation bei Faktorenanalyse MANOVA: Prüfgrössen was sagt mir der F-Test wie kann ich dann weitermachen? -herauspartialisieren - was ist denn das genau? Metaanalyse: Homogenitätstests Konfidenzintervalle für Effektgrössen - was geht da in die Formel ein?

3 Evaluation und Forschungsmethodik Prof.Westermann WS 2001/2002 Einstieg: Faktorenanalyse o Was gibt es Ähnliches? LISREL, X 2 Test Metaanalyse o Effektstärken Was ist das? Welche gibt es? o Hedges (H 0, H 1, H 2 ) o Regression Was ist das? Wie werden Prädiktoren eingeführt? F-Test MANOVA MDS Evaluation und Forschungsmethodik Prof.Westermann WS 2001/2002 Einstieg: Clusteranalyse (musste alles dazu erzählen) MDS o Woher kommen die Ähnlichkeitsurteile? Faktorenanalyse o Warum rotiert man?, varimax Statistische Regression: 3 Arten erklären Was ist Partialkorrelation? Metaanalyse: o Welche Effektgrößen gibt es? o Wie heißt die Effektgröße bei ANOVA? (Eta) fixed effect model Konfidenzintervall (Wie wird es berechnet?) Evaluation: multiattributive Nutzentechnologie kurz erklären Evaluation und Forschungsmethodik Prof.Westermann WS 2001/2002 Einstieg: Multiple Regression o Signifikanztests; Multikollinearität MANOVA: o Vor- und Nachteile o wenn signifikant, wie weitermachen? o Nachteile von Bonferroni Korrektur o Statistische Vorraussetzungen der MANOVA Warum Multiple Regression statt ANOVA?

4 Was macht man mit nominalen Variablen? Kodierung Gemeinsamkeiten von LISREL und Multipler Regression Gemeinsamkeiten von LISREL und Faktorenanalyse Faktorenanalyse: o Wie groß ist die Gesamtvarianz? o Rotation Varimax Kriterium Metaanalyse: fixed effect model o fokussierte Tests o Konfidenzintervall von Effektstärken o Wie berechnet man den Standardfehler? Evaluation und Forschungsmethodik Prof. Westermann SS 02 Einstieg: Clusteranalyse o Was ist ward? o Wie kann man sie mit MDS kombinieren? o Wie interpretiert man die Cluster? Manova: o Hypothesen o Probleme bei Interpretation o Anschlusstests Hierarchische Regression: o Signifikanztests Metaanalyse: o Was ist das Fixed effect model? o Wie erfolgt Klassifikation? Evaluation: o Formative, Summative, Globale, Analytische Evaluation und Forschungsmethodik Prof. Westermann SS 02 Einstieg: MDS o Ähnlichkeiten o Distanzmodelle Formel des Minkowskimodells Was erhält man, wenn man die Formel mit 2 potenziert? (-> Euklid) o Konfiguration Was geht in die Formel für das Stressmaß ein? o Was wird interpretiert? o Wie kann man die Clusteranalyse in der MDS verwenden? o Wie kann man die Interpretation verbessern? MR o hierarchische/ sequentielle R. erklären o Was ist R/R 2? (Formel, QS-Zerlegung) o Was sind -Gewichte? o Was ist der Unterschied zw. B und?

5 ALM o Was macht man mit nominal skalierten Variablen in der MR? (kodieren) o Codierungsarten o Wie viele Indikatorvariablen? o Was ist der Vorteil der Effektkodierung? Evaluation o Unterschied zw. Wirkung u. Wirksamkeit? o Unterschied zw. Experiment u. Quasi-Experiment? o Wie kann man die interne Validität in Quasi-Exr. erhöhen? Partialkorr. genauer Metaanalyse o Was? o Wie macht man das? o Was sind Effektstärken? Welche gibt es? o Was ist das BESD? (Beispiel + erklären) o Vgl. diffuse + fokussierte Tests? o Ablauf fokussierter Test Evaluation und Forschungsmethodik Prof. Westermann SS 02 Einstieg: Clusteranalyse o Ablauf o Untersch. Ähnl./ Distanz bei metr. o Untersch. Fusionierungsalgorithmen MDS o Bezug zu CA, Interpret. o Rotation o FA Varimax Hierarch. Regression o Quasiexp. o Kontrolle Störfaktoren -> wie genau? Semipartialkorr., Sygn. Überprüfung, experimentell -> Formel MA Moderatorvar. o Welcher Einfluss? o wie ausfindig machen? CI o Formel o Formel f. Berechnung (d) Evaluation und Forschungsmethodik Prof. Westermann SS 02 Einstieg: FA MANOVA MDS

6 Regressionsanalyse Evaluation und Forschungsmethodik Prof. Westermann SS 03 Einstieg: Clusteranalyse Interpretation t, F, Doppelkreuzvalidierung FA und CA Gemeinsames? Faktoren Wie kommt man dazu? Rotation: Varimax, Einfachstruktur CFA LISREL Modelle, HYP., Spezifikation, Identifikation Auspartialisieren bei der MANOVA Prüfgrößen der MANOVA, Unterschiede Was macht die Q-Statistik Evaluation und Forschungsmethodik Prof. Westermann SS 03 Einstieg: Faktorenanalyse Interpretation t, F, Doppelkreuzvalidierung FA und CA Gemeinsames? was ist das Problem bei der obliquen Rotation mit den Kommunalitäten? das theoretische Modell erklären (Linearkombination) Unterschiede der Gleichungen zwischen FA & MR? (Korreliertheit der Varis) bei hierarchischer MR wie die Prädiktoren einführen? gibt es eine Theorie dazu? (Scheinkorrelationen aufdecken) wie rauskriegen welchen Beitrag jede einzelne UV leistet und wie hoch (sr², F inc.) MA was, wie? fixed effects modell v. Hedges? wie passiert Gewichtung der Effektstärken invers zur Varianz? wie Populationsvarianz schätzen? Evaluation und Forschungsmethodik Prof. Westermann WS 04/05 Was sind die Pfadkoeffizienten bei LISREL? ANOVA als Regression Codierungsarten, Vorteile, Interaktionseffekte wie codieren? ß-Gewichte bei verschiedenen Regressionsarten gleich groß? Metaanalyse: Homogenitätstests, Kennwertevarianz erklären Faktoranalyse: Varianzaufklärung bei Varimax im Vergleich zur Hauptkomponentenanalyse

7 Evaluation und Forschungsmethodik Prof. Westermann 2005 Einstieg: Kovarianzanalyse Was bedeutet die die Reduzierung der externen Validität im Zusammenhang mit der Betrachtung einer Kovariaten? Wie kann die Voraussetzung der Homogenität der Fehlervarianzen zur Bereinigung der Fehlervarianz überprüft werden? Wenn die Voraussetzung verletzt ist, welche Konsequenzen folgen daraus? Wenn Voraussetzungen verletzt sind und die Kovarianzanalyse trotzdem durchgeführt werden soll, wie Überprüft man die Robustheit eines Verfahrens? Wie werden Monte-Carlo-Studien durchgeführt und wie erkennt man, ob das Verfahren robust ist? Warum ist die Kovarianzanalyse ein Spezialfall der MR? Multiple Regression: Was haben MR und Varianzanalyse gemeinsam? Warum ist es sinnvoll, hierbei die Effektkodierung zu verwenden? Warum ist die Kontrastkodierung am beliebtesten und wie lässt sich die Orthogonalität der Gruppen feststellen? Wenn der Stichprobenumfang zunimmt, wie verändert sich das Signifikanzniveau und wie die Größe der Korrelation? Was ist der Unterschied zwischen B und? Was sagen die B- Gewichte aus. Wie interpretiert man die -Gewichte? LISREL: Was verdeutlichen die Pfadkoeffizienten? Wie kann man eine Korrelation zwischen einer Indikatorvariable und der latenten Variable errechnen, obwohl die latente Variable eine hypothetische Größe ist und keine eigenen Werte hat? Was ist Analogie zur Faktorenanalyse? Wie werden die Faktorwerte interpretiert? Wie lassen sich die Kausalaussagen auf Richtigkeit überprüfen? Wie stellt man indirekte Zusammenhänge fest? Metaanalyse: Was bedeutet eine Effektgröße? Was ist eine Stichprobenkennwerteverteilung und welche Voraussetzungen müssen erfüllt sein? Was bedeutet in diesem Zusammenhang Approximität der Normalverteilung?

8 Wie kann man die Streuung einer Effektgröße bei einer einzelnen Studie ermitteln und welche Bestimmungsstücke sind hierbei relevant? Evaluation und Forschungsmethodik Prof. Westermann SS 2006 Einstieg Kovarianzanalyse MANOVA: - warum Anschlusstests? - Prüfgrößen nennen: wann welche? warum werden sie anders berechnet? - wie heißt die Linearkombination? (Diskriminanzfunktion) - Voraussetzungen? Metaanalyse: - diffuse Tests? (Gleichung nennen) - Vorteile von r gegenüber d? Multiple Regression: - Berechnung von R2 - was sind b und ß? wie sind sie zu interpretieren? Faktorenanalyse: - was ist ein Eigenwert? wie interpretiert man den? - Was sagt ein Faktorwert aus? Im Zusammenhang mit IQ. was sagt da ein Faktorwert von 2,3? (etwas 2 SD entsprechen bei IQ 30 Punkte, also IQ 130) Evaluation und Forschungsmethodik Prof. Westermann SS 2006 Einstieg: Multiple Regression - was sind b und ß? was sagt ein b-wert aus? - Berechnung von R2 MANOVA: - H0, H1 - welche Verteilung? ANOVA: - Voraussetzungen? - Wie unterscheiden sich Voraussetzungen von ANOVA und MANOVA? LISREL: - was ist das? was macht man da? Faktorenanalyse: - Varimax: warum? wie funktioniert das? - Faktorladung? - Faktorwert? - Eigenwert? einen Eigenwert von wie interpretieren? - Verbindung von Eigenwert und Faktorwert Evaluation und Forschungsmethodik Prof. Westermann SS 2006 Einstieg: LISREL - wozu? Modell? Ablaufschritte grob - chi2-test: was macht man da? - Effektgröße? GFI? welche Werte können die annehmen? - Messmodelle und Strukturmodell als Übergang zu den nächsten 2 Themen Faktorenanalyse:

9 - manchmal darf man nicht rotieren.. wann? Varimax erklären Multiple Regression: - b und ß? wie zu interpretieren? - b=2, was sagt mir das? bei IQ, was würde das da bedeuten? - statistische Regression? Basics: - was ist eine Stichprobenkennwerteverteilung? - was ist der Standardfehler des Effekts? - KOnfidenzintervall? (Def. und Formel) Evaluation und Forschungsmethodik Prof. Westermann SS 2006 Einstieg: multiple Regression - was sagt mir ein b-wert von 5? - Signifikanztests (F, Finc) Faktorenanalyse: - was bedeutet ein Eigenwert von 15? - was ist der Zusammenhang zwischen Faktorwert und Eigenwert? Metaanalyse: - welche Größen fließen in den chi2-test mit ein? (Hedges und Olkin) MANOVA: - Hypothesen - was prüft man? - Anschlusstests Evaluation und Forschungsmethodik Prof. Westermann WS 2006 Einstieg: Faktorenanalyse --> welche 2 großen Arten der FA werden unterschieden (explorative, konfirmatorische) --> welche Extraktionsmethoden gibt es innerhalb der explortiven FA (Achtung: es gibt nicht nur die PCA und FA, sondern auch noch weitere--> siehe Tabachnick& Fidell) --> was ist problematisch bei der Anwendung der FA (es gibt kein mathematisches Kriterium, an dem man die Validität einer FA messen kann!) --> wie werden Faktoren extrahiert (nach dem Kriterium der max. Varianzaufklärung) --> wie groß ist die Gesamtvarianz? (wir rechnen mit standardisierten Variablen! deshalb immer so groß wie die Zahl der Variablen) --> mathematisches Modell (kurz) --> Rotation: warum, wie, Varimax --> oblique Rotation: Vor- und Nachteile * Übergang zur Kanonischen Korrelationsanalyse --> was wird da gemacht, worum geht es überhaupt? --> was genau ist eine kanonische Korrelation, wie wird sie auf Signifikanz geprüft (Wilks Lambda-->BartlettsV, Raos F --> warum sind viele Verfahren Spezialfälle der Kanonischen Korrelationsanalyse (z.b. MR und Manova--> schaut Euch die Grundgleichung der KK und die der beta- Gewichtsberechnung

10 der MR an!) --> Redundanzen: was, wie berechnen, was sagen sie aus (Achtung: ist nicht in beide Richtungen identisch!) --> Ähnlichkeiten zur FA * Übergang zu den Strukturgleichungsmodellen --> worum geht es überhaupt --> kann man Korrelationen kausal interpretieren (nein!! eine Korrelation ist notwendige, aber keine hinreichende Bedingung für kausale Abhängigkeiten--> ich brauche ein randomisiertes experimentelles Design (interne Validität!), um Kausalaussagen machen zu können! --> Chi ² Test, Fit Indizes --> Beispiel für ein Quasi-Experimentelles Design --> wie könnte ich das mit LISREL auswerten? (stellt Euch das grafisch vor! die Zugehörigkeit zur Experimental- und Kontrollgruppe sind die Indikatorvariablen für die latente exogene Variable (z.b. eine bestimmte Lehrmethode) --> Problem der Verifizierung meiner Hypothesen (eigentlich kann ich meine Kausalhypothesen nicht verifizieren, sondern nur falsifizieren--> berechne ich aber mehrere mögliche Modelle und keines der Modelle hat eine bessere Passung als meines, ist das schon eine Art Verifizierung) --> kurz Mehrgruppenmodelle und Modifikation des Modells Ich kann Euch den Tipp geben, Euch wirklich in Ruhe auf die Prüfung vorzubereiten. Versucht die Verfahren wirklich zu verstehen, lernt sie nicht nur auswendig. Stellt Euch Fragen und versucht vor allem Beziehungen zwischen den Verfahren herzustellen (Gemeinsamkeiten, Unterschiede--> nicht vergessen: alle beruhen auf dem Prinzip der Linearkombination, haben aber unterschiedliche Gewichtungskriterien). So schwer ist das alles gar nicht und vor allem macht es, wenn man ein paar AHA- Effekte hatte, auch Spaß sich'reinzudenken'. Herr Westermann führt so toll durch die Prüfung! Keine Angst haben und toi, toi, toi! Evaluation und Forschungsmethodik Prof. Westermann WS Einstieg: Faktorenanalyse (Ziel - Bartlett t-test-pca- Kriterien, Varimaxrotation --> Eigenwerte, Varianzaufklärung) - Regression: R², Unterschied b und beta, Kriterien der hierarchischen Regression mehrfaktorielle Anova als Regression - Metaanalyse: Berechnung SE+ CL von Effektgröße, Homogen.test (Welche Hs gg. Hs?)

11 !! #! #! % && ( ) +,./, 012# 3 4 3,! 02#!,! 3! 02#! 02# + 5,, &&! 6 &! ) &! )! 7+/! 78 9!!! ) ) : 9,! ; : 1 ; :!, / :,,!!! 6/ &3 < &<!!! = #!!., 02# : ( +:>,, / ) 02#! &<, &! # & & # :!? + : 0 ) + ) : && :,,! : 7, 3,,! :! 8 &&,! : 6!!&! :!, 9 &<! 3! : /, Α / : Β Χ 3! &<,! : :!! :6 : /,! ( 6! &<!! &,, 8,!!!!,! &!,, &, > /!,!! > / Ε Φ

12 6 /&,,!!!!!! =Α Ε =Γ!!,!!! Η,! = ),!! 7!, 8 9 &< 9!!,! ;! &!! 9,! &&,,,!!!! 6/ Α ( <, 8 9,! Α // //,! 9 ; 9 Ε &&,, 6 )# /!!!&, = 0!!!!& &<!! 7!,, 6!!& &< &&,,!,,! ),! Β! &! 6/ & <& ( +! ),, 3,, + )!,!,!, 6/! 6 // 0 Α / &<!! &< 02#! <& (! (! )! 7! 2! 1 ; 9,!

13 / & Α #! > 7, / ) &< & # Ι:ϑ ) :0 : + ) && Κ! ) : 3 0 #! Ι:ϑ :ϑ! :ϑ 6 :ϑ! ;;, 0 ; Ε : + #! ),, : && ( &<! 1!! 6 ) &! && :, / &<, ) &&!!! #! 3 ) //!,!! : 02#,,!,!,,,, : +! + : 7, 3 : 6! &! && : ::ϑ & :! : / : / :!,! : ) :0 : + ::ϑ ) ) : & 3 : 6 & ::ϑ 0 / ; :,,! : 7 3,, # & <!! /!! Λ Λ!! &! : ) ) & 3.! ) # Β /!!!,! 6 & : 5,, ) )! Β,! #!!, / Μ % Μ 3!! > # &< : 6, 6 ) < 1 Μ:9!!! :Β! Ν 1 Μ:9 3 Α <! &< & Α <!!& : ) :0 : +

14 ! 6 +/ / <&! # & =, & # &! &! &&! /.,,:!:! 4!!, 8:; 63! 1 Μ:9 3 Ν!!!!, ( 6 &< 6 4! 4! : ( Β < Β &!,, Μ,! Μ!, 6 66:!,! Ο,, &<! :! 6 66! > :Α &!!!!,! 0 :=> 3 Χ 3!, 6 Π!!! :./,! 6 Θ && !? 2,,,! 7+/ =9 Β,,! Α,, 9?! && 9 &!! & 9?! && 9 &<!!! 6!!&! && 7!? 2, 6 %! & (, / 9!! 6!!& 8= 0:Ε,! :5 &, &< #!!,,! <& &!!! # &, (!,,,!, &, &,! &!,!, ( 6,,! Κ!, / # :! 0! Θ 3! Χ!!!,, + &&! 7!? 2, 7+/ 3 7+/!! ,, 6! Α,,

15 /,! &! && > :Α Ν 2 : :# 3! 6 : ( /!! 6 &! & &,! & :! & : 5 ) +/ # & & : 6 &,! & :!! # &!! &! && : &! + :, 6,! ) Η # Η 3! Η # Η ), &! &&!! >! Κ ) : &, +,!! 6,!,! Η! +! :! /!! / <& 1 Μ :Β! : Β / 1 Μ & Α, &! / 0!,! &! && &< :, > / :!! >! : 6!!!, 3! 3 Μ :,,./, 6 /, > &< : Μ &<!! 3! &! 6 66 : ) :0 : +, 3 : 3, 0 /!, : 2!!, > / 3 2!! : :! :,, Α //, :! #= # : <&! /,.,,!! # % & # + : 5!! & :! &&! :,,,,! 6 &, # :! 4!!! ) / :! 6!! :! #! 6 6 6!! 6 / : 7, 3 7? 2 5 # & (! 7 :9! &&! && ::ϑ.!!, : 7, 3 & ( (! &&! & 9! 6! : : &,, Ρ ::ϑ, Κ 9 / : & &<, 3!!! :! : ( /

16 :!! :! & : > ; ::ϑ >! Β / : Β &<, Β 6 :! & : ),! :,,! :! &! &&!