Evaluationsparadigmen und Kontrolle

Transkript

1 sp Sozialpsychologie und Politische Psychologie HBM6: (051105) Sitzung 9: Wirksamkeirschiedshypothesen, sparadigmen und Kontrolle

2 sp Lernziele: 1. Verständnis der Bedeutung der internen Validität von en 2. Verständnis der Wichtigkeit des Prinzips der Kontrolle und seiner Umsetzung 3. Verständnis der sparadigmen (isoliert vs. vergleichend)

3 sp Überblick über die heutige Sitzung Das Prinzip der Kontrolle Versuchspläne und Vergleichsgruppen Wirksamkeirschiedshypothesen Das Paradigma der isolierten Das Paradigma der vergleichenden Konsequenzen der Unterscheidung der Paradigmen Versuchspläne und Vergleichsgruppen (neu bewertet)

4 sp Allgemeine Vorüberlegungen sforschung: = wissenschaftlich fundierte, empirische und hypothesenorientierte Forschung unter systematischer Anwendung sozialwissenschaftlicher Forschungsmethoden, deren Ergebnisse die wesentliche Grundlage einer wissenschaftlichen der Konzeption, Ausgestaltung, Umsetzung und des Nutzens sozialer und psychologischer Interventionsprogramme darstellen Untersuchungen zur Prüfung von auf bezogenen Hypothesen in der sforschung sind nach gleichen Prinzipien plan-, durchführ- und auswertbar wie sonstige Untersuchungen zur Prüfung von psychologischen Hypothesen Validitätskonzeptionen: befassen sich mit methodologischen Grundlagen des Experimentierens, v.a. mit Konsequenzen der Tatsache, dass es Störfaktoren gibt und wie diese zu kontrollieren sind 4

5 sp Allgemeine Vorüberlegungen Möglichkeit des Auftretens von Störfaktoren Grundproblem: Sind die auf der Seite der Abhängigen Variablen beobachtbaren Veränderungen durch die experimentelle Manipulation (wie z.b. ein Programm) zustande gekommen oder durch andere Faktoren? Wenn keine beobachtbaren Veränderungen aufgetreten sind: Ist dies eine Folge der fehlenden Beziehung zwischen UV und AV oder sind Faktoren aufgetreten, die das Fehlen einer Beziehung vortäuschen? Je wirkungsvoller die Kontrolle möglicher Störfaktoren (durch versuchs- planerische Maßnahmen), desto intern valider (experimentelle oder Untersuchungsvalidität) ist ein empirischer Versuch. Das Auftreten von potenziellen Störfaktoren ist nur dann problematisch, wenn sie in den verschiedenen Versuchsbedingungen unterschiedlich wirksam werden. 5

6 sp Allgemeine Vorüberlegungen Theoriebezug (wie in Grundlagenforschung) besteht in dieser Form in der sforschung nicht => Frage nach der eines Programms liegt außerhalb der ein Programm fundierenden Theorien ABER: Frage nach eines Programms = komplexe Variante der Überprüfung der Durchschlagskraft der UV (Manipulation Check) Überprüfung dahingehend, inwiefern die eingesetzte UV (Programm) in der Tat von den Versuchspersonen in der Weise aufgenommen wurde, wie es beabsichtigt gewesen ist Planung, Durchführung und Auswertung eines Versuchs (süberprüfung) so, dass hinreichend eindeutige Schlüsse dahingehend möglich werden, dass das Programm die festgestellten Änderungen erzielt hat und nicht ander(e) Faktor(en) 6

7 sp Das Prinzip der Kontrolle Im Sinne der Sicherung der internen Validität und damit einer hinreichend eindeutigen Interpretierbarkeit sind alle nicht mit der Hypothese verbundenen und daher potenziell störenden Faktoren zu kontrollieren, während die mit der Hypothese verbundenen oder hypothesenrelevanten Faktoren variiert werden sollten. (Im Folgenden: Gewicht auf solchen potenziell störenden Variablen, die durch das der Kontrolle von unbekannten Störfaktoren dienende Verfahren der Randomisierung nicht zu kontrollieren sind ) Auftreten von Störvariablen, deren differenzielle Wirkungen nicht durch Randomisieren verhindert werden können, v.a. Konfundierung von Programmwirkungen mit Wirkungen der Interventions- situation als solcher = Variablenkonfundierung im engeren Sinne (z.b. wenn Vergleichsgruppe keiner Intervention unterzogen wird) Wichtig: Wahl geeigneter Vergleichsgruppen 7

8 sp Das Prinzip der Kontrolle Gestaltung/Design der Vergleichsgruppen Grundsätzliche Orientierung an den Hypothesen, die die leiten bzw. ihr vorangestellt sind: 1) grundsätzliche eines Programms = isolierte = shypothesen 2) eines Programms relativ bzw. im Vergleich zu der eines alternativen oder Konkurrenzprogramms = vergleichende = sunterschiedshypothesen 8

9 sp Versuchspläne und Vergleichsgruppen Grundlegende Empfehlung eines Vortest-Nachtest-FollowUp- Vergleichsgruppen-Planes generelle Unterscheidung von suntersuchungen 1) ohne explizite Kontrollbedingungen 2) mit expliziten Kontrollbedingungen Unterscheidung nach Art der Kontrollbedingung ohne Beantwortung der Frage: Was ist zu kontrollieren und wie kann diese Kontrolle am besten erreicht werden? - Unterschiedliche der Kontrolle dienende Maßnahmen kontrollieren unterschiedliche Aspekte - Sicherung der internen Validität entscheidend davon abhängig, was mit den Vergleichsgruppen angestellt wird Kontrolle immer nur relativ zu einer bestimmten Hypothese 9

10 10 Wirksamkeirschiedshypothesen, sppen und Kontrolle

11 sp Versuchspläne und Vergleichsgruppen 1) Vergleichsgruppen ohne explizite Kontroll- bzw. Vergleichsbedingung die Wirkungen der Interventionssituation als solcher, des zwischenzeitlichen Geschehens, der Erinnerung, usw. sind von den möglichen Wirkungen des zu evaluierenden Programmes nicht zu trennen. außerdem: statistisch signifikante Verbesserungen bei gewählten Kriteriumsmaßen ohne des Programms möglich, daher: Gefahr fälschlich positiver Entscheidungen bezüglich der eines Programms = substanziell erhöht Versuchspläne ohne explizite Vergleichsgruppe erfassen nur Bruttowirkungen im weiteren Sinne ( Gesamtpakete ) 11

12 sp Versuchspläne und Vergleichsgruppen 2) Vergleichsgruppen mit expliziter Kontroll- bzw. Vergleichsbedingung Spezialfall: Versuchsgruppe, die ihre eigene Vergleichsgruppe darstellt - keine Kontrolle des Zeitfaktors (besonders problematisch bei Spontanremissionen) Wartelistengruppen (Vergleichsgruppen, in denen keine Intervention stattfindet) - nur für Feststellung der Bruttowirkungen im engeren Sinne, da interventionsgebundene Wirkungen nicht kontrolliert werden können 12

13 Paradigma zur Hypothesenüberprüfung: Paradigma der nichtvergleichenden oder isolierten sp Wirksamkeirschiedshypothesen shypothese (WH): Das Programm EP ist hinsichtlich seiner Ziele wirksam bzw. EP erreicht seine Ziele. sunterschiedshypothese (WUH): Das Programm EP ist unter spezifischen Bedingungen wirksamer als ein Programm AP, das die gleichen Ziele verfolgt wie EP, sich dazu aber anderer Methoden und Vorgehensweisen bedient. Paradigma der Hypothesenüberprüfung: Paradigma der vergleichenden 13

14 sp Paradigma der isolierten Frage, ob eine Interventionsmaßnahme überhaupt wirksam ist (ob sie etwas bewirkt, das über normale Reifungsprozesse, den Einfluss der Interventionssituation, etc. hinausgeht) = Nettowirkungen eines Programms Kontrolle aller Faktoren über die Versuchsbedingungen hinweg, die eine des Programms vortäuschen oder maskieren könnten Vergleichsgruppe, die bis auf das spezifische Programm die gleiche Intervention erfährt wie die Versuchsgruppe mit dem zu evaluierenden Programm gleiche Intervention : Programm mit anderen Zielen als EP (andere Auswirkungen auf Zielbereich des EP) aber den Randbedingungen seiner Durchführung angeglichenen Randbedingungen (z.b. # und Dauer der Interventionssitzungen, etc.) 14

15 sp Paradigma der isolierten Unterscheiden sich die Versuchsgruppen nur hinsichtlich der Tatsache, dass die eine das zu evaluierende Experimentalprogramm (EP) enthält und die andere ein gut vergleichbares Programm mit anderen spezifischen Zielen, dann ist diese Ver- gleichsgruppe eine echte Kontrollgruppe (KP) im Rahmen einer isolierten. Isolierte en können sich auf Nah- (proximale) oder Fernziele (distale) beziehen, wobei das ausgewählte Kontrollprogramm genau diese spezifischen Ziele nicht verfolgen darf, die Gegenstand des EPs sind. Wartegruppen nur dann vollwertige Kontrollgruppen, wenn die Bruttowirkungen im engeren Sinne ( Nettowirkungen) von Interesse sind Durchführung des KPs von denselben Personen, die auch das EP anwenden; zur Gewährleistung einer annähernd gleichen Qualität der Beziehung zwischen Durchführenden und Betroffenen 15

16 sp Paradigma der isolierten Kriteriumsmaße: Einsatz nur der Kriteriumsmaße, die mit Blick auf die Ziele des EP relevant sind (optional: zusätzliche Maße zur Erfassung der Ziele des KP) Zulässige Interpretationen: Die zulässigen Interpretationen beziehen sich in isolierten en auf die grundsätzliche des evaluierten Programmes: Das Programm EP ist unter den und den Randbedingungen (nicht) wirksam. ( svergleich, da KP gänzlich andere Ziele verfolgt) 16

17 sp Paradigma der vergleichenden Frage, ob ein Programm EP genauso wirksam ist, wie ein alternatives Programm AP Voraussetzung: Alternativ- oder Konkurrenzprogramm AP verfolgt die gleichen Nah-, Fern- oder externen verbindlichen Ziele wie Programm EP (bei meist anderen Vorgehensweisen = Randbedingungen) Experimental- und Alternativprogramm fungieren wechselseitig als Alternativen. mindestens eines der Programme sollte seine (isolierte) bereits (mehrfach und unter verschiedenen Randbedingungen) nachgewiesen haben 17

18 sp Paradigma der vergleichenden Frage nach erwarteten sunterschieden sunterschiedshypothesen (WUH): Nicht-Unterlegenheits-Hypothese: Ein Programm EP ist mindestens so wirksam wie das Alternativprogramm AP. Überlegenheits-Hypothese: Ein Programm EP ist wirksamer als das Alternativprogramm AP. Äquivalenz-Hypothese: Zwischen dem Programm EP und dem Alternativprogramm AP bestehen keine sunterschiede. 18

19 sp Paradigma der vergleichenden Konstanthaltung der Ziele der Interventionsmaßnahmen (mögliche Unterscheidung in Nah- und Fernziele, Forderung nach Gleichheit der Ziele kann Nahziele, Fernziele oder beide gleichzeitig betreffen) zwei Programme können zu Alternativprogrammen gemacht werden, indem ihnen gemeinsame Ziele von außen auferlegt werden, die sich nicht mit den programmspezifischen Zielen decken müssen Variation der Randbedingungen der Interventionsmaßnahmen (keine Angleichung der Randbedingungen des Vergleichsprogramms an das Experimentalprogramm) Festgestellte sunterschiede = empirische Grundlage für Konstruktion einer Effektivitätsrangfolge der Programme, die wiederum als Aspekt zur Konstruktion einer Effizienzrangfolge der Programme dienen kann 19

20 sp Paradigma der vergleichenden Quasi-Kontrolle Situation: zwei Programme haben einige Ziele gemeinsam und unterscheiden sich bezüglich anderer = Alternativprogramme in Hinblick auf gemeinsame Ziele = Kontrollprogramme in Hinblick auf unterschiedliche Ziele Bei Nichtangleichung der Randbedingungen (= vergleichende ) unterscheiden sich die Programme sowohl in Zielen als auch in Randbedingungen voneinander => schwache Form der wechselseitigen Kontrolle = Quasi-Kontrolle Klassifikation von IM als Kontroll- oder Alternativprogramm kann stets nur im Hinblick auf die internen und externen Ziele des Experimentalprogramms und damit für die Kriteriumsmaße erfolgen, mit denen diese Ziele erfasst werden sollen! 20

21 sp Paradigma der vergleichenden Repräsentativität der Programme: Die alternativen Programme müssen in der von den Autor_innen vorgesehenen oder einer in der Praxis verbreiteten Form durchgeführt werden (keine Angleichung der Randbedingungen) Programme selbst Dauer bzw. Länge Erfahrungen der Durchführenden (spezifische Kompetenzen); Voraussetzung: vergleichbare allgemeine Kompetenz programmspezifische Randbedingungen usw. = Vergleich der der Gesamtpakete EP und AP 21

22 sp Paradigma der vergleichenden Kriteriumsmaße: Einsatz in EP und AP von allen Kriteriumsmaßen, die unter beiden Programmen von Bedeutung sind Zulässige Interpretationen: relative der beiden evaluierten Alternativprogramme Frage danach, ob ein Programm überhaupt wirksam gewesen ist, kann nicht beantwortet werden! 22

23 sp Kombination von vergleichender und isolierter Einsatz einer Kontrollgruppe (bzw. Kontrollprogramm) für jedes der beiden Alternativprogramme Konstanthaltung der Ziele für beide Alternativprogramme programmabhängige Variation der Randbedingungen unter beiden Programmen Konstruktion je eines Kontrollprogramms mit den gleichen Randbedingungen wie dasjenige Alternativprogramm, zu dessen Kontrolle es eingesetzt wird Erfassung der gemeinsamen Ziele mit Kritierumsmaßen, die für beide Alternativprogramme relevant sind (zusätzlich können die für die möglichen Ziele der Kontrollprogramme vorgesehenen Maße erhoben werden) 23

24 sp Kombination von vergleichender und isolierter EP AP Eine vergleichende KG KG Zwei isolierte en 24

25 Konsequenzen der Unterscheidung der E-Paradigmen 25 Wirksamkeirschiedshypothesen, sppen und Kontrolle

26 Konsequenzen der Unterscheidung der E-Paradigmen 26 Wirksamkeirschiedshypothesen, sppen und Kontrolle

27 Konsequenzen der Unterscheidung der E-Paradigmen 27 Wirksamkeirschiedshypothesen, sppen und Kontrolle

28 Konsequenzen der Unterscheidung der E-Paradigmen 28 Wirksamkeirschiedshypothesen, sppen und Kontrolle

29 Konsequenzen der Unterscheidung der E-Paradigmen 29 Wirksamkeirschiedshypothesen, sppen und Kontrolle

30 sp Versuchs- und Vergleichsgruppen In suntersuchungen = mindestens 6 Versuchsgruppen und 5 Vergleichsgruppen

31 Versuchs- und Vergleichsgruppen Experimental- und Vergleichsgruppen bei der sevaluation 31 Wirksamkeirschiedshypothesen, sppen und Kontrolle

32 Versuchs- und Vergleichsgruppen 32 Wirksamkeirschiedshypothesen, sppen und Kontrolle

33 Versuchs- und Vergleichsgruppen 33 Wirksamkeirschiedshypothesen, sppen und Kontrolle

34 sp Versuchsplan einer isolierten Experimental -programm (EP) Vortest Intervention Nachtest Follow-up Zielspezifische Kriteriumsmaße für EP EP Kontrollprogramm (KP) Zielspezifische Kriteriums- maße für EP KP unter dem EP angepassten Randbedingungen Zielspezifische Kriteriumsmaße für EP Zielspezifische Kriteriums- maße für EP Zielspezifische Kriteriumsmaße für EP Zielspezifische Kriteriums- maße für EP 34

35 sp Versuchsplan einer vergleichenden Experimental -programm (EP) Vortest Intervention Nachtest Follow-up Alternativprogramm (AP) Zielspezifische Kriteriums- maße für EP und für AP EP unter seinen Randbedingungen AP unter seinen Randbedingungen Zielspezifische Kriteriums- maße für EP und für AP Zielspezi- fische Kriteriumsmaße für EP und für AP Zielspezi- fische Kriteriumsmaße für EP und für AP Zielspezi- fische Kriteriumsmaße für EP und für AP Zielspezifische Kriteriums- maße für EP und für AP 35

36 sp Relevante Begriffe Prinzip der Kontrolle interne Validität (experimentelle Validität) Vergleichsgruppen shypothese sunterschiedshypothese isolierte vergleichende Quasi-Kontrolle Quasi-Alternativprogramm 36