Versuchsplanung Tutorat

Transkript

1 Versuchsplanung Tutorat Im folgenden findet ihr die Fragen der letzten beiden Wochen, nach Thema (Vorlesung) sortiert und jeweils passenden Folien zugeordnet. Ich hoffe, dass das die Arbeit möglichst einfach macht. Die Frage bzw. das Stichwort aus der Frage sind jeweils fett gesetzt, meine Antwort darunter eingerückt. Thema 1 Experimente und verallgemeinerbare Kausalschlüsse Folie 49 Was versteht man unter Fallzahlbestimmung und Rekrutierung? Fallzahlbestimmung bedeutet, vor der Durchführung der Studie zu planen, wie viele Versuchspersonen in der Studie verwendet werden sollen. Dabei müssen die gewünschten Alphaund Betafehlerniveaus sowie der erwartete Effekt und die angenommene Streuung des Effekts berücksichtig werden. Davon wird die statistische Validität beeinflusst. Rekrutierung bedeutet, wie die Versuchspersonen für die Studie gewonnen wurden und hat Einfluss darauf, ob die Probanden als repräsentativ für eine bestimmte Population angesehen werden können (und damit auf die externe Validität). Thema 2 Validität - Statistische Validität / Interne Validität Folie 6 Was ist mit "Validität ist graduell, nicht absolut" gemeint? Folie 19 Aussagen wie "XY ist valide" machen keinen Sinn. Validität muss differenziert betrachtet werden, in Abstufungen (=graduell). Es geht also darum, dass Studien mehr oder weniger valide werden, wenn bestimmte Kriterien beachtet werden (oder nicht). Wozu soll man ein Konfidenzintervall angeben? Folie 21 Konfidenzintervalle veranschaulichen zusätzlich zum Mittelwert auch die Streuung eines Wertes: sie machen kenntlich, mit welcher Wahrscheinlichkeit ein Wert (z.b. ein Mittelwertsunterschied) in einem bestimmten Bereich liegt. Wie auch auf den Folien steht lassen sich daraus die Zuverlässigkeit (wie verlässlich ist der Wert statistisch gesehen) und Messgenauigkeit ablesen. Mikroskopanalogie Keine Ahnung, taucht in der Literatur nicht auf. Dazu muss in der Vorlesung etwas gesagt worden sein. Es handelt sich aber sicherlich eine Illustration und ist kein eigener Inhalt, den man anders nicht verstehen könnte. Statistische Trennschärfe Aus meinem Tutorat 2: Frage: Sind statistische Trennschärfe und Power dasselbe? Trennschärfe bezeichnet allgemein, wie geeignet Versuchsaufbau, Messmethode und statistischer Test sind, um zu entscheiden ob in der Population ein Unterschied vorliegt oder nicht.

2 Da in statistischen Tests in der Regel das alpha-niveau von vornherein festgesetzt wird äußert sich eine geringe Trennschärfe praktisch in einer geringen Teststärke Power erhöhen: Signalstärke rauf (Effekt); Rauschen runter (Meßfehler). Mehr oder weniger direkt setzen alle Tests die Varianz, die durch den betrachteten Effekt erklärt werden kann, ins Verhältnis zur restlichen Varianz (ganz offensichtlich bei der Varianzanalyse). Ein "stärkeres Signal", also ein stärkerer Effekt, erhöht die erklärte Varianz, ein geringeres "Rauschen" (also weniger Fehlervarianz) reduziert die restliche Varianz. Beides trägt dazu bei, ein Ergebnis leichter (also z.b. mit weniger VPs) signifikant zu bekommen. Wichtiger Einfluss: Aggregation (Rauschen mittelt sich raus). Stichprobengröße Folie 22 Bei gegebenen Varianzen (s.o.) hängt die Signifikanz entscheidend von der Stichprobengröße ab: auch ein relativ kleiner Effekt kann als unzufällig bezeichnet werden, wenn er im Mittelwert von sehr vielen Personen auftritt. Denn von je mehr Personen ich den Mittelwert berechne, desto geringere zufällige Abweichungen vom Populationsmittelwert erwarte ich. Was hat "Metaanalyse" hier verloren? Warum gibt es bei geringer Power mehr Konfidenzintervalle? Folie 23 Es gibt nicht mehr, sondern größere Konfidenzintervalle, die Aussagen die man machen kann werden also ungenauer. Das liegt daran, dass bei viel Fehlervarianz und kleinen Stichproben der Zufall viel Einfluss hat. Metaanalysen sind ein Weg, indirekt größere Stichproben zu betrachten (indem mehrere Studien zusammengefasst werden) und haben damit eine bessere statistische Validität gegenüber den Einzelstudien. was sind latente Merkmalsanalysen und wieso erhöhen sie die Reliabilität Ein statistisches Verfahren, mit dem aus mehreren Messungen auf den wahren (latenten, nicht direkt beobachtbaren) Wert eines Merkmals geschlossen wird und damit Fehlervarianz reduziert werden kann. Was ist ein trade-off Folie 28 Eine Abwägung: Ich bekomme das eine auf Kosten des anderen und muss mich entscheiden, wie wichtig oder nützlich mir die beiden Alternativen sind. Hier ist konkret gemeint, dass sowohl eine Kovariate zu erheben als auch die Stichprobe zu vergrößern Geld kosten, und man sich überlegen muss wie man das Geld am sinnvollsten verwendet. Was bedeutet "Attenuation"? Folie 29 "Abschwächung" - im bivariaten Fall erscheinen also Zusammenhänge schwäche als sie eigentlich sind, wenn ich unreliable Messungen habe. Können Sie bitte den Begriff "restriction of range" noch einmal erklären? Eine Einschränkung der Bandbreite eines Merkmals. Dadurch ist weniger Varianz vorhanden, in der sich Effekte zeigen können. Fehlervarianz bleibt im Allgemeinen trotzdem ähnlich hoch, so

3 dass statistische Aussagen schwächer werden. Wichtige Arten der Restriction of Range sind (1) zu geringe Treatmentunterschiede, (2) ungeeignete Datenerhebung (d.h. Reduzierung des Skalenniveaus der Daten, also z.b. von Intervall- auf Nominalniveau) und (3) Decken- bzw. Bodeneffekte, also Messungen nur an einem Ende des Spektrums. Klassisches Beispiel dafür ist der Zusammenhang von Abinote und Studiennote bei Psychologiestudierenden: Es liegt ein starker Deckeneffekt vor, d.h. alle Psychos haben gute Abiturnoten. Auch wenn in der Gesamtpopulation die Abinote die Studiennoten möglicherweise sehr gut vorhersagt findet sich dieser Zusammenhang bei Psychos nur schwach. Was sind Pilottest? Folie 48 Vorstudien, in denen z.b. überprüft werden kann, ob die erhobenen Maße genügend streuen. bei Quasi-Experimenten wird die Interpretation schwierig, wenn die Prä-Werte von Kontrollund Experimentalgruppe sich signifikant unterscheiden Aus meinem Tutorat 2: Testwerte setzen sich aus einem wahren Wert und einem Messfehler zusammen. Bei einem Testergebnis, das weit vom Mittelwert entfernt liegt, ist es wahrscheinlich dass auch ein großer Messfehler in die entsprechende Richtung zum Ergebnis beigetragen hat. Der Fehler tritt bei der nächsten Messung wahrscheinlich nicht mehr so ausgeprägt auf. Das bedeutet, der Testwert entwickelt sich auch ohne Behandlung in Richtung Mittelwert. Das kann einen fälschlich einen Behandlungseffekt annehmen lassen. Zusätzlich zum Messfehler können vorübergehende Schwankungen dazu beitragen, dass Testwerte, die sehr extrem sind, sich in Richtung Mittelwert verändern. So ist etwa bekannt, dass Personen häufig in Therapie kommen, wenn sie besonders belastet sind. Eine spätere Messung würde auch ohne Therapie eine geringere Belastung ergeben. Der Effekt ist besonders problematisch, wenn auf Basis der ersten Messung Gruppen (mit Extremwerten) gebildet werden, wenn also etwa besonders belastete mit weniger belasteten Patienten verglichen werden. Denn in diesem Fall wirkt die Regression in einer Gruppe stärker als in der anderen, und es lässt sich nicht klären, welche Anteile des gefundenen Effekts auf das Treamtent und welche auf die Regression zurückgehen. Regressionseffekte wirken auch rückwärts und simultan. (Was ist bei der Regression zur Mitte mit rückwärts und simultan gemeint?) Das bedeutet, dass die statistische Regression auch dann zu beachten ist, wenn ich rückwärts schaue (also z.b. Gruppen anhand von Posttest-Werten bilde), oder wenn ich die Werte von verschiedenen Maßen vergleiche, die gleichzeitig (simultan) erhoben werden. Die Regression zur Mitte lässt erwarten, dass jemand, der auf einem Maß extreme Messungen erzielt, auf einem anderen Instrument nicht so extrem ist, selbst wenn die zwei Maße eigentlich zusammenhängen. könntest du die Folie erläutern? Folie 51 Was noch zu ergänzen wäre: Dieser Effekt ist nicht nur mathematisch (also in quantitativen Messungen) sondern zeigt sich auch bei qualitativen Einschätzungen. Das erklärt sich daraus, dass nicht nur Messfehler, sondern auch echte Schwankungen in Richtung der Regression zur Mitte arbeiten. (s.o.) Was ist Attrition? Abnahme, Verlust (von Versuchspersonen), synonym für experimental mortality. In Studien passiert es oft, dass Versuchspersonen die Studie anfangen, aber nicht beenden. Dies ist oft nicht zufällig, sondern hängt mit Merkmalen der Probanden und der Versuchsbedingungen zusammen,

4 Folie 56 was problematisch sein kann. Wenn z.b. eine Therapieform dazu führt, dass viele schwer belastete die Therapie abbrechen, und ich dann nur mit den verbliebenen Personen den Erfolg analysiere, kann ich ein positives Ergebnis finden, obwohl die Therapie für schwer belastete Menschen gar nicht gut ist. Kannst du die Folie erklären? Folie 59 Durch Selection-Effekte kommen Personen in die Versuchsbedingungen, die sich systematisch unterscheiden (z.b. Fähigere bekommen ein Stipendium). Diese können sich auch in ihrer maturation unterscheiden, also in dem natürlichen (nicht durch die Versuchsbedingungen verursachten) Reifungs- und Veränderungsprozess (z.b. die Fähigeren lernen auch schneller). Das kann wie ein Effekt des Treatments aussehen und gefährdet somit die interne Validität. Inwiefern stellt unterschiedliches Testung in verschiedenen Treatmentgruppen eine Gefährdung der internen Validität dar? (Falls damit gemeint ist, dass z.b. die unterschiedlichen Instruktionen oder eine unterschiedliche Interaktion mit dem VL zu unvorhergesehenen Gruppen- Unterschieden führen, die nicht durch das eigentliche Treatment bedingt sind, ist alles klar.) Es kann manchmal Versuchspraktisch nötig sein, die Gruppen unterschiedlich zu testen, z.b. weil man der Kontrollgruppe nicht so aufwändige Tests zumuten kann. Damit ist aber wie Du sagst eine unterschiedliche Behandlung gegeben, die einen Effekt haben kann der fälschlicherweise als Treatmenteffekt interpretiert wird. Thema 3 Externe Validität - Konstruktvalidität weitere Arten von Validitäten - Zusammenhänge zwischen den Validitäten Folie 9 Inwiefern schränkt statistische Power zur Entdeckung von Interaktionen die Generalisierbarkeit ein? Folie 10 Es geht um Interaktionen zwischen dem eigentlichen Treatment und äußeren Faktoren, etwa dem Setting. Wenn ich diese in den Studien prüfen und finden kann, kann ich genauere Aussagen über die Generalisierbarkeit machen. Das möchte ich gerne. Je mehr Einflüsse ich allerdings berücksichtige (je mehr verschiedene äußere Faktoren ich als Faktoren in den Versuchsplan aufnehme) desto geringer wird die VP-Anzahl pro Gruppe, und damit wird die Teststärke (Power) kleiner. Oder die Studie müsste riesengroß werden, um eine vernünftige Teststärke realisieren zu können, und damit sehr teuer. Warum ist die Effektgröße bei der Anzahl der Todesfälle wichtig? Folie 21 Ich weiß nicht, auf was für ein Beispiel da Bezug genommen wird, scheint mir aber auch nicht so wichtig. Passt das Bsp. in Folie 21 wirklich zum Mono-Operation-Bias?

5 Folie 24 Es wurde schon in der Vorlesung gesagt, dass es nicht so gut ist. In meinem Tutorat 3 findet sich folgendes besser Beispiel: Beispiel: Ich will die Wirksamkeit einer bestimmten Therapieform (Konstrukt) untersuchen. Wenn ich die Therapie in der Studie nur von Therapeuten durchführen lasse, die alle im selben Institut ausgebildet wurden, besteht die Gefahr, dass sie alle auf die selbe Weise von dem Konstrukt abweichen, das eigentlich vorgesehen ist (z.b. im Therapiemanual). Deshalb ist es besser, ich habe Therapeuten aus verschiedenen Instituten (idealerweise in verschiedenen Städten,...). Ich kann dann hoffen, dass die Abweichungen vom eigentlichen Konstrukt sich im Mittel aufheben (bzw. bei großen Stichproben kann ich die Abweichungen sogar berechnen). "Posttest kann für Intervention sensibilisieren"? (Was heißt: "Posttest kann für Intervention sensibilisieren"?) Der Posttest kann mit der Intervention interagieren bzw. selbst eine Art Intervention darstellen. Wenn ich z.b. durch den Posttest dazu angeregt werde, über ein Treatment nochmal nachzudenken, was ich bekommen habe, kann das Treatment einen Effekt haben, den es sonst nicht gehabt hätte. Warum ist das eine Gefährdung für die Konstruktvalidität? Folie 25 Ich messe dann nicht wirklich das, was ich messen möchte und annehme zu messen, nämlich den Effekt des Treatments. Was sind situative demand Characteristics (Orne) Folie 30 Hinweise, die die Versuchspersonen interpretieren um herauszufinden, was von ihnen erwartet wird, was sich der Versuchsleiter von ihnen wünscht. Oft neigen sie dazu, diesen Wünschen nachzukommen und sich so zu verhalten, dass der Versuchsleiter seine Ergebnisse bekommt - mehr oder weniger bewusst. Thema: kompensatorische Rivalität. Was bringen die Lösungsvorschlöge? Möglicherweise erfahre ich in offenen, qualitativen Interviews, was die Erwartungen und Absichten der Beteiligten im Experiment sind. Wenn ich Daten habe, wie die Leistungen vor dem Experiment waren kann ich Schlüsse ziehen, ob sich die Kontrollgruppe besonders angestrengt hat. Thema 4 Einfache quasi-experimentelle Designs Folie 12 Warum muss das Muster vorher festgelegt werden? Was für ein Muster überhaupt?, was bringt das? Es geht um das Muster der verschiedenen Maße von abhängigen Variablen. Ich kann damit detaillierte Vorhersagen machen und mich so besser gegen Zufällige Effekte absichern. Wenn ich also z.b. begründet erwarte, dass ein Treatment nur einen bestimmten Aspekt von Depressivität

6 Folie 24 verbessert und einen anderen nicht, und ich finde dieses Muster, spricht das viel stärker für meine Theorie als wenn ich nur global Depressivität erhoben hätte. Andere Erklärungen für das Ergebnis sind viel unplausibler. Diese Erwartungen muss ich aber vorher festlegen, sonst macht es erstens inhaltlich keinen Sinn und zweitens besteht dann die Gefahr der alpha-fehler-kumulierung. Ist Produkt B in diesem Fall nicht (fast) eine Kontrollgruppe? Ab wann ist eine andere Gruppe eine eigenen Population? Die Population sind ja die Menschen in dem Gebiet, in dem Werbung gemacht wird, das hat mit dem Eis nichts zu tun. Die Eisverkaufszahlen sind zwei Messungen an dieser einen Population. Eigene Populationen könnten vorliegen (sehr an den Haaren herbeigezogen), wenn ich plausibel machen kann, dass die Eissorten von verschiedenen Leuten gekauft werden, und sich die Menschen niemals umentscheiden. Es also A-Käufer und B-Käufer gäbe. In welchem Zusammenhang steht hier Regression? Folie 26 Es muss beachtet werden, ob Regressionseffekte vorliegen - wenn das eine Produkt gerade schlecht verkauft und ich deshalb dafür Werbung mache, kann die Verbesserung eine Regression zur Mitte sein. Natürlicher Einsatz: ist das gut oder schlecht? (Selbstselektion ist doch immer eher kritisch) Folie 28 Von der Versuchsplanung (und Validität) her ist es natürlich schlecht. Kann aber die praktische Durchführbarkeit der Studie erhöhen, und damit unter Umständen sinnvoll sein. Warum spielen hier Deckeneffeckte eine Rolle? Es gibt doch keinen noch größeren Anstieg, sondern den selben wie zu O1 und O2?! Folie 31 Ich bin nicht ganz sicher, aber ich denke es geht um das Zusammenwirken von Tägheit und Deckeneffekt: Wenn der Effekt beim Absetzen nicht komplett zurückgeht (träge ist) kann es passieren, dass ich an die Decke stoße, und beim zweiten Mal keinen so starken Anstieg mehr finden kann, obwohl das Treatment wirkt. Randomisierte Zuweisung zu Zeitabschnitten: Könntest du uns bitte dafür ein Beispiel geben? Wann wird das eingesetzt? Ist das dasselbe wie Zeitstichproben (VL Randomisierung)? Ja, ist das selbe wie Zeitstichproben aus Thema 9 (Randomisierung). Ich kann z.b. die Wirksamkeit eines Medikaments dadurch testen, dass ich einer Person jeweils zufällig für eine Zeit das Medikament oder ein Placebo gebe und messe, wie es ihr geht (z.b. Schlafmittel). Könntest du den letzten Punkt "optimal..." erläutern? Folie 39 Es ist optimal, weil ich dann schon in die Nähe eines randomisierten Experimentes komme, mit allen Vorteilen der internen Validität. Ich bestimme zufällig Zeitabschnitte, in denen ein Treatment angewendet wird oder nicht (bzw. ein Placebo, s.o.) Was bedeutet (in diesem Fall) Trennschärfe?

7 Folie 40 Bedeutet hier (wie meistens) eigentlich Teststärke. Ich habe hier mehr Fehlervarianz (bzw. Restvarianz) als in einem echten Prä-Post-Design, wo ich Messwerte paarweise zuordnen kann, und damit eine geringere Teststärke. Ist Matching nur eine Methode um Designs ohne Prämessung zu verbessern oder noch mehr? Folie 42 Matching kann auch in randomisierten Experimenten verwendet werden. Warum vergleicht man hier schlechte Hochbegate und sehr gute Normalbegabte, und nicht nur Normalbegabte mit ähnlichen Werten? Folie 45 Hier geht es um ein Beispiel, in dem die Begabung dafür entscheidend ist, ob jemand gefördert wird. Wenn ich also z.b. Hochbegabte speziell fördern will, und den Effekt dadurch schätzen, dass ich sie mit Normalbegabten matche, kann ich vermutlich nur Hochbegabte vom unteren Ende ihres Messspektrums mit Normalbegabten vom oberen Ende deren Messspektrums matchen. Wenn in beiden Gruppen eine Regression zur Mitte der jeweiligen Verteilung passiert kann das wie ein Treatmenteffekt aussehen. Was ist die systematic variation? Folie 47 Wenn sich verschiedene Gefährdungen der internen Validität nicht in einer Kontrollgruppe ausschließen lassen können mehrere Kontrollgruppen verwendet werden, die verschiedene Gefährdungen systematisch variieren. "Vorhersage der kognitiven Entwicklung durch Regression auf das Alter anhand der Prätestdaten"; für uns klingt der Satz so, als ob mit den Prätestdaten das Alter vorhergesagt werden soll; im Shadish steht aber, dass das Alter die Prätestdaten vorhersagt Shadish hat recht, das ist auch das einzig sinnvolle. Indem ich aus dem Alter die Testwerte vorhersage (da geht es mir ja nicht nur um Prätestwerte, auch wenn ich die zur Berechnung verwende) bestimme ich den natürlichen Zuwachs der kognitiven Leistungen. Dann kann ich bestimmen, ob die Sesamstraße darüber hinaus zu einer Verbesserung führt. Thema 5 Quasi-experimentelle Designs mit Kontrollgruppe und Prä- Messung Folie 7 Wieso sind Selektion-Regression und Selektion-Geschichte hier besondere Probleme und wie können Selektion und Regression bzw. Geschichte überhaupt interagieren? (Könntest du erklären, warum Selektion-Regression hier ein Problem ist?) Ein Beispiel für Selektion-Regression findet sich oben (Thema 4, Folie 47): Gleiche Prätestwerte können unterschiedliche Regressionen zur Mitte haben, wenn sie aus unterschiedlichen Populationen kommen. Interaktion mit Geschichte ist einfacher: Die verschiedenen Gruppen unterliegen möglcherweise

8 Folie 23 verschiedenen Einflüssen und haben deshalb unterschiedliche Entwicklungen, die durch äußere Einflüsse verursacht werden. Warum ist Selektion-Instrumentierung eine mögliche Erklärung? Folie 25 Tests messen unterschiedlich genau in unterschiedlichen Abschnitten der Skala, und sind damit z.b. unterschiedlich sensitiv für Veränderungen. Sobald sich die Gruppen in den Prä-Werten unterscheiden (wie hier im Beispiel) muss man diese Möglichkeit erwägen. warum steht das in der Klammer "Fall3: niedrige Werte positiv", da ja das SV der Schüler abnimmt? Das ist schlampig, es müsste auch meiner Meinung nach anders herum sein (Fall 3: hohe Werte positiv, Fall 4: niedrige Werte positiv). Ändert aber nichts an der grundsätzlichen Aussage. Folie 31, 32, 33 Wenn man das Treatment in der ersten Gruppe wegnimmt müsste der Effekt doch wieder weg gehen, aber im Schaubild daneben wird davon ausgegenagen, dass der Effekt erhalten bleibt, dann ist doch klar, dass wie in Folie 33 beschrieben, etwas vom Treatment übrig bleibt?! Eigentlich ist das doch auch das Ziel oder? Folie 37 Ob das das Ziel ist hängt vom Treatment ab, bei psychologischen Interventionen in der Regel schon, bei Medikamenten z.b. erwartet man ja nicht, dass es weiter wirkt. Ansonsten hast Du Recht. Warum gibt es keinen Effekt der Veränderung? Wenn ich den Tätigkeitsbereich erhöhe oder verringere ist das doch jedes mal eine Veränderung! Folie 40 Ja genau! Ich habe also den Veränderungseffekt in beiden Gruppen und damit vermeide ich das Problem, dass ich Veränderungs- und Treatmenteffekt nicht trennen kann. Geschwister als Kohorte? Ist da Familie eine Kohorte, oder alle jüngeren Geschwister eine Kohorte, und alle Älteren? In der Studie sind es ja so, dass die älteren Geschwister mit den Jüngeren verglichen werden, als sie im selben Alter waren Folie 43 Personengruppe eines Durchlaufs ist ziemlich logisch für Schulklassen oder z.b. Semester (Jeder Jahrgang an der Uni ist eine Kohorte). Im Fall Familie ist das zunächst immer nur ein Kind. Nur bei Zwillingen wären wirklich zwei Personen in einer Kohorte. Dann kann (und muss, um auswerten zu können) man das aber über verschiedene Familien zusammenfassen, also wie im Beispiel die Älteren als eine Kohorte und die Jüngeren als eine andere Kohorte betrachten. wie wurden ältere Geschwister bei der Sesamstaßen studie genau als KG eingesetzt. Bräuchte man da nicht Daten, welchen Leistungsstand die älteren Geschwister in jüngeren Jahren hatten oder vergleicht man die beiden dann erst, wenn auch die jüngeren so alt sind wie die älteren zu Beginn der Studie oder wie?

9 Folie 44 Richtig, man braucht Messungen an beiden Kohorten im selben Alter, in der Regel sind das bereits vorliegende vergangene Messungen der älteren Kohorte. Was bedeuted hier nicht äquivalente av, wo ist der Zusammenhang? Folie 49 Der Zusammenhang ist nicht ganz spezifisch. Wie in Designs ohne Kontrollgruppe können auch hier mehrere nicht-äquivalente AVs helfen, mögliche Gefährdungen auszuräumen. Besonders wirksam gegen History- und Reifungseffekte. wieso gibts bei multiplen Prätests Intrumentierungsprobleme? Folie 51 Ich verstehe das so, dass multiple Prätests gegen Instrumentierungsprobleme helfen! Designs mit verzögerter Behandlung: am besten mit mulitplen Gruppen und zu unterschiedlichen Zeiten. Was soll das sagen, also wieso zu unterschiedlichen Zeiten, versteht sich bei "verzögert" doch von selbst? Folie 56 Ja. Multipel meint hier aber mehr als zwei, was die Sache natürlich noch besser macht. binär logistische Regression: Matching erfolgt über die aufgrund der Matchingvariablen vorhergesagten Wahrscheinlichkeit der Zugehörigkeit zur EG für jede Person (EG +KG?) wird p für Gruppenzugehörigkeit (EG?) bestimmt? Was wird dann gemacht? Matching von Personen mit ähnlichen Werten? Sieht das so aus, dass Personen der KG mit hoher p zur EG mit Personen der EG mit niedriger p zur EG gematched werden? Es wird zuerst aus der Gesamtstichprobe eine binärlogistische Regression gerechnet, die die Wahrscheinlichkeit angibt zur EG zu gehören. Dann matcht man aus der KG Personen, die jeweils gleiche oder sehr ähnliche Wahrscheinlichkeiten haben, zur EG zu gehören, wie die Personen, die wirklich in der EG sind, und ihnen deshalb ähnlich sein müssen. Was ist der Überlappungsbereich? Flapsig gesagt: Die Regression darf nicht zu gut sein. Wenn ich wirklich vorhersagen kann, ob jemand in der EG oder KG ist, dann finde ich ja offensichtlich keine Personen mit ähnlichen Eigenschaften. Ich brauche also EG-Leute mit relativ geringer Wahrscheinlichkeit, zur EG zu gehören, und KGler mit relativ hoher Wahrscheinlichkeit. Thema 6 Zeitreihen: Einführung Und, denkst du man muss ARIMA verstanden haben? Folie 12 Ich glaube schon. Ist natürlich ein Thema von vielen, aber immerhin eine ganze Vorlesung dazu. warum ist Stationarität wichtig? Es ist eine statistische Bedingung von vielen Verfahren. Genauer muss man das glaube ich nicht wissen.

10 Folie 14 beim Thema Zeitreihen, ist die Differenzbildung dasgleiche wie die Autokorrelation? Beide dienen doch irgendwie zur Verflachung der Kurve, aber ist das dasselbe? Nein. Differenzbildung bildet neue Werte, indem die Differenz aus den bestehenden Werten berechnet wird, und verflacht damit tatsächlich die Kurve. Autokorrelation bestimmt den Zusammenhang von Werten mit einem bestimmten Abstand zueinander, bildet aber keine neuen Werte und verflacht auch nichts. Thema 7 Unterbrochene Zeitreihen-Designs Folie 22 Was genau ist kompensatorische Variabilität? Folie 27 Kann ich gerade nicht sagen, ist hoffentlich nicht so wichtig :-) bei den ARIMA Modellen kommen SPSS Tabellen vor, bei denen immer gezeigt wird, welches AR (also welcher lag) signifikant wird. In der VL "unterbrochene Zeitreihen" auf einer Folie mit der Überschrift "Zeitreihenanalyse zum Einfluss von Intervention 2" (leider hat die VL keine Seitenzahlen) ist eine SPSS Tabelle, die zeigt, dass einige ARs signifikant werden und einige nicht. Nach AR6 wird nichts mehr signifikant. Trotzdem wird das ARIMA Modell anschließend mit (7,0,2) angegeben. D.h. das nicht signifikante AR7 wurde auch noch eingeschlossen. Warum? Was bedeuten diese Signifikanzen, bzw. wie geht man praktisch mit denen um? Ich denke, hier ist der Einschluss eine inhaltliche (theoretische) Entscheidung, weil man von einer Wochen-Zyklizität ausgeht. Zu genau muss man das glaube ich nicht wissen. Thema 8 Diskontinuierliche Regressionsdesigns Folie 8 wieso führt viel Varianz zu höherer statischer Trennschärfe? Folie 19 Zu wenig Varianz entspricht einer restriction of range -> siehe dort. Selektion ist hier ja kein Problem, weil, wie du sagst, die systematischen Unterschiede statistisch berücksichtigt werden. Wie ist das mit Variablen, die mit der Zuordnungsvariablen korrelieren also kann es nicht sein, dass sich die Gruppe der hoch depressiven von den leicht Depressiven systematisch unterscheidet und der Effekt darauf zurückzuführen ist (z.b. generelle Empfänglichkeit für Hilfe) Folie 20 Insofern der Effekt einer dritten Variablen mit der Zuordnungsvariablen zusammenhängt (und das ist ja der entscheidende Teil) finde ich ihn auch in der Regression, die ich rechne, genau wie den Effekt der Zuordnungsvariablen selbst. wieso steigt die Trennschärfe wenn keine Korrelation mit AV?

11 Folie 35 Eine Korrelation mit der AV bedeutet im Endeffekt eine Reduktion der Varianz der AV (ich rechne ja den Effekt der Zuordnungsvariablen heraus) und hat damit einen Effekt ähnlich dem restriction of range (siehe dort). Wieso randomisiert man erst und führt dann einen Cut-Off Wert ein?? Nimmt man dann wieder Leute aus den vorher randomisiert gebildeten Gruppen raus und steckt sie in eine andere Gruppe? Folie 37 Das macht Sinn, wenn man die Randomisierung auf der einen Seite des Cut-Offs bestehen lässt, wie auf dem Beispiel in der Folie 37. Was bedeutet "Randomisierung für Personen oberhalb des Cut-Offs"? Wie randomisiert man wenn man schon aufgrund des Cut-Offs Gruppen gebildet hat? Man macht folgende Zuordnungsregel: Personen unterhalb des Cut-Offs in die KG. Personen oberhalb des Cut-Offs mit 50% Chance in KG oder EG. Die Cut-Off Gruppen sind damit also (teilweise) einfach nur ein Zwischenschritt. Thema 9 Randomisierung Folie 4 Der Selektionsprozess ist bekannt und kann modelliert werden. Bedeutet, dass ich genau weiß und theoretisch und statistisch berücksichtigen kann, wie die Personen in den Gruppen sich unterscheiden, nämlich nur zufällig, nicht systematisch. Fehler und Treatmentbedingungen sind nicht korreliert. Folie 7 Andere Einflüsse auf die AV (die es ja immer gibt) haben keinen Zusammenhang zur UV (Treatmentbedingung), und können deshalb nicht mit ihr verwechselt werden. wieso ist ein Zufallsstichprobe nicht dasgleiche wie eine randomisierte Zuweisung? Wo liegt da der Unterschied und wieso hat der Zufall "weder Gedächtnis noch Gewissen"? (Wie wirkt Randomisierung auf die externe Validität?) Folie 20 Großer Unterschied!!! Zufallstichprobe: Die Personen, die in die Studie aufgenommen werden, sind zufällig aus der Population gezogen. Dadurch sind sie repräsentativ für die Population => Externe Validität Zufällige Zuweisung: Die Personen, ich in der Studie habe, verteile ich zufällig auf die Bedingungen. Dadurch haben sie keine anderen systematischen Unterschiede als das Treatment => interne Valididtät. Frage: Was ist mit "unbewusste Manipulation" und "Eingangsdiagnostik" gemeint? Eingangsdiagnostik ist Datenerhebung vor Studienbeginn, in der festgestellt wird, ob jemand zur Studie zugelassen wird. Dabei sollte noch nicht bekannt sein, welcher Gruppe er angehören

12 Folie 31 würde. Unbewusste Manipulation liegt vor, wenn der Versuchsleiter ohne es zu wollen die Studienteilnahme einer Person beeinflusst, aus dem Wissen um die spätere Gruppenzugehörigkeit. Er könnte beispielsweise schwer kranken Menschen die Studie weniger attraktiv darstellen, wenn er weiß dass sie nur in die Kontrollgruppe kämen und sich die Studie für sie damit nicht so lohnen würde. Was sind "Zeitstichproben"? ("Bei kurzfristik wirksamen Treatments: Zeitstichproben" Was soll das sagen?) Folie 32 Es wird eine Population von Zeitspannen gebildet und daraus zufällig manche ausgewählt, in denen das Treatment angewendet wird. Was ist mit "Einhaltung von Quoten" gemeint? Die Zuordnungsquoten müssen eingehalten werden, also die Personen mit der bestimmten Wahrscheinlichkeit in die jeweiligen Gruppen kommen. Thema 10 Experimentelle Designs - Faktorielle Designs Folie 44 kannst du nochmal den Unterschied zwischen Dreifaktoriellen Plänen und teilhierarchischen, faktoriellen Plänen erklären? Wenn Du genau hinschaust siehst Du, dass die Bs im dreifaktoriellen Design für jedes A die selben sind, im teilhierarchischen Design verschieden. Das bedeutet, dass im teilhierarchischen Design bestimmte B-Stufen nur mit bestimmten A-Stufen kombiniert sind und nicht mit den anderen. Bei einem normalen faktoriellen Design sind alle Faktorstufen jedes Faktores bei allen Faktorstufen der anderen Faktoren vorhanden. Thema 11 Meta-Analysen und Reviews Folie 6 Was bedeuted auf Folie 6: "Prüfung der Grenzen" (Moderatorvariablen)? Folie 10 Durch Vergleich verschiedener Studien (=Meta-Analyse) kann ich herausfinden, ob der Effekt nur unter bestimmten Bedingungen auftritt, also von diesen moderiert wird. Wieso kann box score Hinweise auf potentielle Moderatorvariablen geben? soll das sagen, dass wenn die Bilanz null ist, sich man fragen soll, warum es manchmal wirkt und manchmal nicht? Folie 11 Genau diese Frage. Aber nicht nur wenn die Bilanz 0 ist. Narrative Reviews: Warum gibt es eine Überforderung bei großer Anzahl von Moderatorvariablen?

13 Folie 13 Die Darstellung wird unübersichtlich, es ist also eher eine Überforderung des Lesers als der Methode selbst. Meta-Analyse: Was sind Untergruppenanalysen? Folie 16 Ich untersuche nur einen bestimmten, inhaltlich begründeten Teil der Studien. Was ist der Unterschied zwischen Publication bias und file-drawer-problem oder ist es dasselbe? (beschreibt das "file-drawer Poblem" einfach die Tatsache, dass manche Studien schwer erhältlich sind) Folie 21 Es sind sehr ähnliche Dinge. File-Drawer-Problem ist spezieller, weil es beinhaltet, dass bestimmte Ergebnisse gar nicht publiziert werden (in der Schublade bleiben), während der publication bias auch beinhaltet, dass sie schwerer zugänglich sind, z.b. weil sie nur in unbekannteren Journalen veröffentlicht werden können. d Maß: wie wirds denn nun bei mehreren Gruppen berechent, oder ist es eben das Problem, dass man nicht weiß, wie mans berechnet udn wie verhält es sich dann mit der praktischen Bedeutung des d Werts? Ist hier einfach nur gemeint: mit Vorsicht genießen? Folie 25 Doch, es wird schon berechnet, aber vermutlich kompliziert und ihr müsst es nicht genau wissen. Bezüglich der praktischen Bedeutung ist das ein Hinweis: nicht einfach die Größeneinteilung nach Cohen nachplappern, sondern begründen, bzw. wenn man es liest (wie Du sagst) mit Vorsicht genießen. Was ist mit "transparenter Darstellung aller deskriptiven Kennwerte und der berücksichtigten Streuung" beim Berichten über das Effektgrößenmaß d gemeint, bzw. was bringt das? Folie 32 Man kann das Zustandekommen des d-wertes nachvollziehen und sich ein eigenes Bild machen, wie groß der Effekt ist. Was sind Testmanuale? Folie 36 Die Anleitungen zu psychologischen Tests sowie die Ergebnisse ihrer Validierung (was immer Teil der Entwicklung eine Tests ist). Da steht also drin, wie Reliabel ein Test ist. Warum ist capitalization of chance eine Bedrohung? Capitalization of Chance hat doch etwas mit der überschätzten Varianzaufklärung zu tun? Ich sehe den Zusammenhang hier nicht, eigentlich müsste da doch alpha-kumulierung stehen? Die Alpha-Fehler-Kumulierung ist ein Capitalizing on Chance (wenn sie nicht korrigiert wird). In Metaanalysen werden möglicherweise viele Tests durchgeführte, um mögliche Moderatoren zu finden, die die Effektgröße vorhersagen.

14 Folie 39 Was versteht man unter approximierten Daten? Folie 40 Angenäherte, also aus anderen Daten geschätzte Daten. Was ist mit statistischer Unabhängigkeit gemeint, auf was bezieht sich diese Unabhängigkeit? Folie 42 Ist kompliziert, muss man nicht so genau wissen. Im Kern geht es darum, dass aus den selben Daten verschiedene Effektgrößen berechnet werden, die dann natürlich zusammenhängen, was wiederum statistisch ein Problem ist. Die komplette Folie 42 ist mir ein Rätsel Folie 46 Es geht um Homogenitätstests, also Tests die entscheiden, ob die Studien ähnliche oder unähnliche Effekte finden. Davon hängt einiges ab, z.b. ob Moderatoranalysen sinnvoll sind. Die Homogenitätstests können schlechte Power haben und damit falsche Entscheidungen fürs weitere Vorgehen nach sich ziehen. Was ist mit Robustheitsanalysen gemeint, wie hängt das hier mit den anderen Punkten zusammen? Robustheitsanalysen untersuchen, ob der gefundene Effekt durch die fehlenden Werte beeinflusst wurde. was bedeutet "garbage-in, garbage-out" Folie 47 Wenn die Primärstudien methodisch schwach ( Müll ) sind, kann ich keine methodisch hochwertigen Ergebnisse in der Metaanalyse erwarten. Was sind konfundierte Variablen? Variablen, die mit einer anderen Variablen zusammenhängen (kovariieren), so dass ich nicht trennen kann, zu welchen Teilen ein Effekt auf die eine oder andere zurückzuführen ist. "der einfluss mancher konfundierter Variablen kann konstant gehalten werden durch Analysen innerhalb einer Studie" Was soll das sagen, ist das gut oder ein Problem? Folie 48 Manche Konfundierungen kann ich auf der Ebene der Primärstudien auflösen, d.h. ich kann die Effekte der zu untersuchenden und der konfundierten Variablen trennen. Das ist gut :-) wieso mangelnde repräsentation typischer Konstrukteigenschaften? ist bei vielen studien nicht die Wahrscheinlichkeit größer, dass alle Facetten des Konstrukts berücksichtigt sind, und was soll das Bespiel darunter erklären? Doch, viele Studien sind besser als eine, aber noch keine Garantie. Oft verwenden Forscher ähnliche Anordnungen und vernachlässigen die selben Aspekte. Das Beispiel darunter bezieht sich darauf, dass in einer Untersuchung zu ethnisch gemischter Beschulung nur Studien waren, in denen die Ethnien erst seit kurzem zusammen unterrichtet wurden.

15 was bedeutet "rater drift"? Folie 49 Der Rater ratet mit der Zeit anders, aus verschiedenen Gründen (Müdigkeit, mehr Erfahrung,...) Was ist mit "Zu abstrakte Charakterisierung des Konstrukts" gemeint? Folie 50 Das Konstrukt wird mehr abstrahiert (verallgemeinert) als man eigentlich dürfte. (Siehe auch Folie 48). Was ist mit "Eingeschränkte Heterogenität der Studiencharakteristika" gemeint? Strenge Ausschlusskriterien, eigentlich ja ein Qualitätsmerkmal von Metaanalysen, können zu einer zu wenig vielfältigen Menge von Studien führen und damit die Verallgemeinerbarkeit reduzieren. was bedeutet "sampling bias"? Verzerrung dadurch, dass nur bestimmte Studien in die Analyse aufgenommen werden. Folie 54 (32) wie wirkt sich die Verwendung unreliabler Instumente auf die Höhe der Effektgrößen bei Meta- Analysen aus? Reduziert sie, was teilweise korrigiert werden kann. Prüfungsfragen Was ist möglicherweise das Ergebnis einer Studie mit zu geringer statistische power? Ist das richtig? Antwort: große Konfidenzintervalle, viele ß-Fehler Richtig. Welchen Einfluss hat eine nicht reliable Messung auf die Effektgröße? Aus meinem Tutorat 2: Grundsätzlich haben unreliable Messungen mehr Fehlervarianz, deshalb verringern sich bivariate Zusammenhänge. Bei mehr als zwei Variablen können unvorhersehbare Interaktionen auftreten. Das Lehrbuch verweist hier aber auch nur auf Originalstudien (S. 49). Wichtig ist, diese Tatsache zu kennen und Maßnahmen zur Erhöhung der Reliabilität Welchen Einfluss kann die Regression zur Mitte haben? Bei welchen Untersuchungen ist mit diesem Einfluss besonders zu rechnen? siehe oben, Thema 2, Folie 48. Und die letzte Prüfungsfrage (mit der klinischen Untersuchung) Ist das Phänomen Experimental Mortality? Und was muss bei der Auswertung beachtet werden, welche zusätzlichen Analysen sind notwendig? Ich finde die Frage leider nicht, auf die Du Dich beziehst. Viel Erfolg!