Aufbau des Referats Synthese von empirischen Befunden

Transkript

1 Aufbau des Referats Sythese vo empirische Befude 1. Kurze Stadortbestimmug. Ei ituitiver Eistieg: vote-coutig 3. Effektstärke/Effektgröße - Überblick: Aalyse vo Effektstärke i der Metaaalyse - Umgag mit Effektstärke 4. Exkurs: Statistische Kewerte 5. Ei Beispiel - Eileitug - Tabelle I: Kozepte der Studie - Tabelle II: Werte der Studie - Tabelle III: Ergebisse 6. Homogeitätstest 7. 75%-Regel 8. Sigifikaztest für de Gesamteffekt 1

2 1. Kurze Stadortbestimmug Die füf Schritte eier Metaaalyse 1. Problemformulierug. Literaturrecherche 3. Datevercodug 4. Dateaalyse Prüfug der Vergleichbarkeit der Date Befuditegratio durch: - Vote Coutig (Auszählug sigifikater Testergebisse) - Aggregatio vo Teststatistike (p-, t- oder z-werte) - Schätzug der mittlere gewichtete Effektstärke - Heterogeitätsaalyse 5. Ergebispräsetatio

3 . Ei ituitiver Eistieg: vote-coutig Zusammehäge zwische uabhägige ud abhägige Variable werde sortiert ach - sigifikat (positiv/egativ) vs. icht sigifikat - Der Modalwert wird da als Schätzug für die Richtug des Zusammehags gewählt. Vote-coutig weist mehrere Schwäche auf: - Die Stärke des Zusammehags wird icht erfasst. - Die statistische Aussagekraft ist gerig ud es besteht eie hohe Wahrscheilichkeit für das Eitrete eies β-fehlers. 3

4 3. Effektstärke/Effektgröße - Effektstärke oder Effektgröße (egl.: effect size, ES) sid die Statistike, die i de Metaaalyse itegriert werde solle. - Bortz fasst Effektgröße als Größe eies Effekts bzw. eier Parameterdifferez [Bortz, Dörig 1995: 614] auf ud Effekt als Differez zwische Parameter aus uterschiedliche Populatioe [Bortz, Dörig 1995: 614] - Da die Effekte, auf dee die Effektgröße beruhe, uterschiedlich sei köe (z.b. Korrelatio r, Mittelwertdiffereze, Regressioskoeffiziet b), sid sie uter Umstäde icht direkt miteiader vergleichbar bzw. köe icht ohe weiteres metaaalytisch itegriert werde. - Deshalb: Kostruktio eier eiheitliche Effektgröße, i die die Effektgröße der eizele Studie umgerechet werde köe. - Bei Bortz ist dies das -Maß, es hadelt sich dabei um eie Korrelatioskoeffiziete. 4

5 Überblick: Aalyse vo Effektstärke i der Metaaalyse Die Aalyse teilt sich i vier Schritte [Lipsey, Wilso 000:11]: 1. Etwurf eies Sets vo uabhägige Effektstärke.. Errechug eies geeigete gewichtete arithmetische Mittels dieser Effektstärke. 3. Teste der Verteilug auf Homogeität. 4. Bestimmug des Kofidezitervalls dieses Mittels. Ist das Kriterium der Homogeität icht erfüllt, da ka eie Zerlegug i Subgruppe erfolge. 5

6 Umgag mit Effektstärke Beim Umgag mit Effektstärke ist auf folgede Pukt zu achte: Problem fehleder Agabe. Statistische Uabhägigkeit Ist diese icht gewährleistet, muss ma mit folgede Probleme reche [Lipsey, Wilso 000: 105]: - N wird küstlich vergrößert. - Die Schätzug des Stadardfehlers wird verzerrt. - Studie, die mehr Effektstärke beisteuer sid i der Aalyse überrepräsetiert. Uterschiedliche Stichprobegröße der erhobee Effekte als Gütekriterium. Dies wird durch Gewichtug i die Metaaalyse eibezoge. 6

7 4. Exkurs: Statistische Kewerte Stichprobe vs. Populatio - Populatio (Grudgesamtheit): alle potetiell utersuchbare Eiheite, die ei gemeisames Merkmal aufweise. [Bortz 1999: 748] - Grudsätzlich ist zwische eier gezogee Stichprobe ud der Populatio, der sie etstammt, zu uterscheide. Währed die statistische Kewerte eier Stichprobe (z.b. das arithmetische Mittel, Variaz, etc.) leicht errechet werde köe, sid die Populatiosparameter i de meiste Fälle ubekat ud müsse aus de Kewerte der Stichprobe geschätzt werde. Arithmetisches Mittel: x i= = 1 x i 7

8 8 Exkurs (Fortsetzug): Statistische Kewerte 1 ) ( 1 = = = x x s s i i Stadardabweichug/Streuug: 1 ) ( 1 = = x x s i i Variaz: Stadardfehler des Mittelwerts: mit σ : Populatiosvariaz x σ σ = Sythese vo empirische Befude

9 Exkurs (Fortsetzug): Statistische Kewerte - Pearsos Korrelatio: r cov( x, y) 1 xi x = = ( s s s x y yi s i= 1 x y y ) Wertebereich: 1 r +1 - Puktbiseriale Korrelatio (r pbis ): Diet zur Erfassug des Zusammehages wische eiem dichotome Merkmal (z.b. weiblich/mälich) ud eiem itervallskalierte Merkmal. - Biseriale Korrelatio (r bis ): Diet zur Erfassug des Zusammehages zwische eiem küstlich dichotomisierte, ursprüglich itervalskalierte ud eiem itervallskalierte Merkmal. Uter der Voraussetzug der Normalverteilug beider Merkmale diet r bis als Schätzer der Produkt- Momet Korrelatio r. 9

10 5. Ei Beispiel: Eileitug Beispiel für die recherische Durchführug eier Metaaalyse: Thema der Metaaalyse: Es geht um die Prüfug der Hypothese, dass die Erwartugshaltug vo Lehrer gegeüber de Leistuge ihrer Schüler das Lehrerurteil beeiflusst bzw. [...] um die Voreigeommeheit vo Lehrer bei der Bewertug ihrer Schüler. [Bortz, Dörig 1995: 599] Das Beispiel wird a füf fiktive Utersuchuge geführt, die jeweils auf adere Effektstärke beruhe. Das Beispiel beihaltet: - Umrechug der eizele Effektstärke i das -Maß. - We die Rohdate es ermögliche, Korrektur des -Maßes ahad der Reliabilität (Berechug corr ). - Berechug eier gewichtete, durchschittliche Effektstärke für. - Homogeitätstest ud 75%-Regel. - Sigifikazprüfug. 10

11 U1 U U3 U4 Test Korrelatiostest t-test uab. t-test abhägig Variazaalyse (ANOVA) r Ei Beispiel: Tabelle I (Kozepte der Studie) Effektstärke d = µ A B µ σ µ µ d = σ 1 D mit σ D : Streuug η = QS QS D( A) D( A) + QS Fehler Awedugsbeispiel Misst de (lieare) Zusammehag zweier itervallskalierter Merkmale. [Bortz, Dörig : 618] Vergleicht die Mittelwerte vo Stichprobe zweier verschiedeer Populatioe [Bortz, Dörig: 67] Stichwort: Experimetal- vs. Kotrollgruppe. Vergleicht die Mittelwerte eier Variable eier Stichprobe, die zu zwei verschiedee Zeitpukte erhobe wurde. [Bortz, Dörig: 67] Diet der Überprüfug vo Mittelwertsuterschiede. Eifaktorielle Variazaalyse: UV kategorial, AV itervallskaliert. [Bortz, Dörig: 69] U5 Test für Uterschied zweier uab. Ateilwerte P A ud P B e e d d Überprüft, ob eie Merkmalsausprägug i eier Stichprobe A sigifikat häufiger vorkommt als i eier Stichprobe B. 11

12 U1 Sythese vo empirische Befude UV Zuordug fiktiver IQ AV Aufsatzbeurteilug Ei Beispiel: Tabelle II (Werte der Studie) 100 ES i Studie r xy =0,4 Korrelatio zw. fiktive IQ ud Aufsatzbewertug Zusätzliche Iformatioe Reliabilität IQ-Test r xx =0,9 Reliabilität Aufsatzbewertug r yy =0,6 U U3 Zuordug hoher / iedriger IQ Zeitugslese r / Zufall Schätzug Durchschittsote Beurteilug Testprotokolle 1 =43 =43 =86 60 y x+ y x σˆ =1,1 Durchschitt x + Durchschitt x - Streuug r AB =0,63 Korrelatio Lehrerurteil x Zeitug x Zufall =,5 = 3,1 = 7, = 7,9 σˆ xzeitug ˆ σ xzufall = 4,8 = 4,0 Variaz Variaz Reliabilität IQ-Test r xx =1,0 Reliabilität Noteschätzug r yy =0,7 U4 Gymasialempfehlug Durchschittswert Lehrerbeurteilug 1 =60 =60 =10 F B =7, df Zähler = df Neer =174 BGym _ ja =, BGym _ ohe = 3, 4 Das sid die Mittelwerte aber auch Faktore für Berechug der ES Faktor Geschlecht der Lehrer sowie Kategorie Gymasialempfehlug fraglich sid für Fragestellug irrelevat U5 Iformatio über Geschwister Veräderug 1. zu. Halbjahr 00 Nächste Seite Nächste Seite 1

13 ES i Studie Ei Beispiel: Tabelle II (Fortsetzug) Zusätzliche Iformatioe U5 Leistug verbessert verschlechtert keie Äderug Σ verbessert verschlechtert positive Ifo (+30) 40 (+30) 60 egative Ifo (+0) 30 (+0) 70 Origial Zusammefassug Die Kotigeztafel wird zusammegefasst, weil die Kategorie keie Äderug der Hypothese der Metaaalyse eher widerspreche. Um diese Fälle zu eutralisiere werde sie getret für die Spalte positive ud egative Iformatioe zu gleiche Teile auf verbessert ud verschlechtert aufgeteilt. 13

14 Ei Beispiel: Tabelle III (Ergebisse) i corr i i i i i ( ) i i ( i ) U1 0,4 0, U 0,33 0, ,38 U3 0,36 / 60 1,6 U4 0,8 / 10 33,6 U5 0,10 / 00 1 Σ 566=N 143,58 = k i i i= 1 = = N 143, ,5 Dies ist das gewichtete arithmetische Mittel vo 14

15 6. Homogeitätstest De berechete -Maße (Effektstärke der eizele Studie, deshalb studiespezifisch) wird, we ma sie zusammefasse will, uterstellt, dass sie als Schätzuge eies gemeisame Populatiosparameters δ (griech.: delta) azusehe sid. [Bortz, Dörig 1995: 595] Diese Aahme ka mit dem Homogeitätstest überprüft werde. Das Prizip: - Ist die Verteilug der Effektgröße homoge, da darf die Variaz ur aus de Stichprobefehler resultiere. - Deshalb wird bei de Homogeitätstests die H 0 : Homogeität gege die H 1 : Heterogeität getestet. - Wird die H 0 (Homogeität) zurückgewiese, de ist die Variaz größer als durch de Stichprobefehler alleie ageomme werde dürfte. Die berechete -Maße schätze keie gemeisame Populatiosparameter. 15

16 7. 75%-Regel - Eie Daumeregel, die sich zusätzlich oder alterativ zum Homogeitätstest abietet, um über die Homogeität der -Maße zu befide. - Die Regel: sid midestes 75% der Variaz auf Stichprobefehler zurückzuführe, da liegt Homogeität vor. σˆ - Die Formel lautet: e 75% (Fehlervariaz / Variaz vo ) ˆ σ 16

17 8. Sigifikaztest für de Gesamteffekt - We ach dem Homogeitätstest ud/oder der 75%-Regel davo ausgegage werde ka, dass die berechete -Werte homoge sid, da ist ei Schätzwert für die wahre Effektgröße δ. - Es verbleibt die Frage, ob δ sigifikat vo Null verschiede ist. Deshalb wird ei Test auf Sigifikaz vorgeomme. - Sigifikaztest: Es wird ei Kofidezitervall für berechet. Umschließt das Kofidezitervall Null, da ist die Gesamteffektgröße δ icht sigifikat, liegt Null außerhalb, ka auf Sigifikaz geschlosse werde. - Das Kofidezitervall berechet sich ach der Formel: wobei der Stadardfehler vo δ ist. σˆδ ±1,96 σˆδ 17