11. Wirksamkeits- und Wirksamkeitsunterschiedshypothesen, Evaluationsparadigmen, Vergleichsgruppen und Kontrolle

Transkript

1 11. Wirksamkeits- und Wirksamkeitsunterschiedshypothesen, Evaluationsparadigmen, Vergleichsgruppen und Kontrolle Willi Hager 11.1 Das Prinzip der Kontrolle In allen empirischen Vergleichen muss das grundlegende Prinzip der Kontrolle umgesetzt werden, da sonst keine hinreichend validen und interpretierbaren Untersuchungen resultieren können. Es besagt, dass alle nicht mit der Hypothese verbundenen und daher potentiellen Störfaktoren zu kontrollieren sind, während die mit der Hypothese verbundenen oder hypothesenrelevanten Faktoren variiert werden sollen. Eine Möglichkeit der Kontrolle wäre die Randomisierung: Zufallszuteilung der Vp Jedoch ist die interne Validität oder Interpretierbarkeit der emp. Befunde weniger von der Umsetzung dieser Kontrolltechnik als Aspekt der Versuchsplanung habhängig als vielmehr von den zur Erklärung herangezogenen Hypothesen Es können trotzdem immer noch Störfaktoren auftreten 11.2 Versuchspläne und Vergleichsgruppen Man unterscheidet zwischen 1. ohne explizite Kontrollbedingungen und 2. mit expliziten Kontrollbedingungen. Ob und ggf. wie weit die interne Validität in einer konkreten Studie tatsächlich gesichert ist, hängt in erster Linie davon ab, was man mit den Vergleichsgruppen anstellt (Hager, 1998a). Solange nicht geklärt ist, was tatsächlich kontrolliert werden kann und ob Kontrolle notwendig ist, spricht man von Versuchsgruppen, die der Experimentalgruppe gegenüberstellt werden. Im folgenden werden einzelne Kontrollmöglichkeiten diskutiert (s. Tabelle 11.1 auf Seite 184): 1. Placebo-Intervention : hierbei kann die interne Validität gemindert sein, wenn sich die Häufigkeit und Intensität der Kontakte in den beiden Versuchsgruppen voneinander unterscheiden. 2. Nachtesterhebung: alle Informationen werden retrospektiv erbracht. Dies hat zu folge, dass die Daten individuellen Erinnerungsstrategien unterliegen. Es fehlt ein Mindestmaß an Kontrolle. 3. Vortest Nachtest Plan: besteht aus mindestens zwei Versuchsgruppen, einer Gruppe mit dem zu evaluierenden Programm und einer Vergleichsgruppe. Dieser Plan kann dann alternativ mit einer 1

2 Parallelisierung oder Blockbildung, mit einer Messwiederholungs- oder einer Kovarianzanalyse verbunden werden. Spezialfall: die Versuchsgruppe konstruiert ihre eigne Vergleichs- bzw. Kontroll Gruppe. Vor der tatsächlichen Intervention finden mehrere Erhebungen statt, die einen Aufschluss über die Veränderungen ohne eine systematische Einflussnahme geben sollen und mit denen man die unmittelbar vor und nach der Intervention erhobenen Daten vergleichen kann. Die Differenz der Werte des ersten zum vorletztem Erhebungszeitpunktes vor der Intervention kann dann als Vergleichsgrundlage für die Veränderungen während der Intervention dienen. 4. Wartelistengruppen: bei dieser Gruppe findet keine Intervention statt. Hier können die interventionsgebundenen Faktoren der sozialen Interaktion zwischen Intervenierenden und Betroffenen nicht wirksam werden, die in der Experimentalgruppe auftreten können. Baumann und Reinecker-Hecht (1998) unterscheiden zwischen einer Wartelistengruppe und einer Vergleichsgruppe. Die Vergleichsgruppe wird nach der Studie ebenfalls einer Behandlung unterzogen. Dieses hat keinen Einfluss auf die experimentelle Validität. 5. Vortestdaten: dienen zur Erfassung diagnostischer Daten, die für die Auswahl angemessener Interventionsmaßnahmen erforderlich sind. Kontrolle kann auf dem Wege der Konstanthaltung, der Elimination und der systematischen Variation gegenüber bekannten Störfaktoren erfolgen. Alle Faktoren, die nicht Gegenstand der Evaluationshypothese sind, sollten möglichst über die Versuchbedingungen annährend konstant gehalten werden. Ist man an der Nettowirkung einer Interventionsmaßnahme interessiert, sind alle zu den Bruttowirkungen beitragenden Faktoren konstant zu halten. Dieses gilt umgekehrt genauso. Die Kontrolle bezieht sich somit immer auf eine ganz bestimmten Hypothese. Möchte man in der Praxis nur erfahren, ob eine Intervention erfolgreich war, reicht es mit einer mit einer nicht kontrollierten Versuchsgruppe, bzw. auch mit Ein Gruppen- Versuchsplänen zu operieren. Aus der wissenschaftlichen Perspektive ist es interessant zu wissen, ob eine Wirkung auf eine Intervention zurückzuführen ist oder auf das Geschick des Durchführenden oder beides. Varianz: aus der wissenschaftlichen Perspektive soll es eine möglichst geringe geben, jedoch ist diese in der Praxis infolge der Verschiedenheit der Betroffenen vergleichsweise groß. Hinweis zu (Parametermodifikation...)in Tabelle 11.1: was hier mit dem statistischen Ausdruck Parameter belegt wird, heißt üblicherweise Komponente eines Programms. Der auf Komponenten oder Bestandteilen des Programms bezogene Typ der Evaluation heißt Komponentenevaluation, die als isolierte oder vergleichende Evaluation durchgeführt werden kann. In ihrem Rahmen kann auch geprüft werden, welcher Einfluss zu erwarten ist, wenn man eine Komponente des Programms ändert, eine weitere hinzufügt oder entfernt. 2

3 11.3 Wirksamkeitshypothesen und Wirksamkeitsunterschiedshypothesen und zwei Evaluationsparadigmen Wirksamkeitshypothesen und Wirksamkeitsunterschiedshypothesen - Beantwortung der Frage, ob und ggf. wie eine Interventionsmaßnahme wirksam ist, erfolgt in Form von prüfbaren Wirksamkeits- und Wirksamkeitsunterschiedshypothesen (= inhaltliche Hypothesen) - Wirksamkeitshypothese (WH): kann besagen: Das Experimentalprogramm EP ist hinsichtlich seiner Ziele wirksam, es erreicht diese Ziele. - Wirksamkeitunterschiedshypothese (WUH): kann behaupten: Das Programm EP ist unter spezifischen Bedingungen wirksamer als das Alternativprogramm AP, das die gleichen Ziele wie EP verfolgt, dazu aber andere Methoden und Vorgehensweisen verwendet Zwei Evaluationsparadigmen - Scriven schlägt zwei Paradigmen zur Überprüfung der inhaltlichen Hypothesen vor: 1. das Paradigma der isolierten (nicht-vergleichenden) Evaluation (zur Prüfung von WH) 2. das Paradigma der vergleichenden Evaluation (zur Prüfung der WUH) Das Paradigma der isolierten Evaluation - Frage: Ist eine Interventionsmaßnahme überhaupt wirksam? - die Nettowirkung eines Programms wird untersucht - zur Beantwortung ist die Kontrolle der Faktoren nötig, die eine Wirksamkeit des Programmes entweder vortäuschen oder maskieren könnten Vergleichsgruppe - je nach Ziel entweder eine Kontrollgruppe oder eine Wartegruppe - Ausnahmefall: Wenn die Bruttowirkung im engeren Sinn von Interesse ist (Wirkungen des Programmes und der Interventionssituation) stellt die Wartegruppe eine vollwertige Kontrollgruppe dar. Kriteriumsmaße - In einer isolierten Evaluation müssen die im Hinblick auf die (internen und/oder externen) Ziele des Experimentalprogrammes relevanten Kriteriumsmaße eingesetzt werden. - Zusätzlich können die für die möglichen Ziele des Kontrollprogrammes vorgesehenen Maße benutzt werden. In diesem Fall fungiert das Experimentalprogramm als Kontrolle für das modifizierte Kontrollprogramm. isolierte Evaluation: - Variation der Ziele der Interventionsmaßnahmen - Konstanthalten der Randbedingungen unter beiden Programmen - Kontrollprogramm andere Interventionsziele als EP 3

4 Zulässige Interpretationen In isolierten Evaluationen beziehen sich die zulässigen Interpretationen auf die grundsätzliche Wirksamkeit des evaluierten Programmes: Das Programm EP ist unter diesen bestimmten Randbedingungen (nicht) wirksam. Das Paradigma der vergleichenden Evaluation - Frage: Ist das Programm EP genauso wirksam wie das alternative Programm AP? - Dabei verfolgt das Alternativprogramm AP die gleichen Nah-, Fern- oder externen Ziele wie das Experimentalprogramm EP, benutzt aber eine andere Vorgehensweise. vergleichende Evaluation: - Konstanthalten der Ziele der Interventionsmaßnahmen - programmabhängige Variation der Randbedingungen unter beiden Programmen Effizienzrangfolge Die festgestellten Wirksamkeitsunterschiede dienen als empirische Grundlage für die Konstruktion einer Effektivitätsrangfolge der Programme, aus der wiederum eine Effizienzrangfolge abgeleitet werden kann. Dabei betrifft die Effizienz vor allem Kosten- Nutzen-Analysen (inklusiv der Wirtschaftlichkeitsfaktoren). Quasi-Kontrolle Situation: Zwei Programme haben einige Ziele gemeinsam und unterscheiden sich in anderen. hinsichtlich a) der gleichen Ziele: AP und b) der unterschiedlichen Ziele: Kontrollprogramm (KP) Bezeichnung Quasi-Kontrolle : nur schwache Form der wechselseitigen Kontrolle darstellend, Analogie zur Wartegruppe in der isolierten Evaluation Repräsentativität der Programme Zur Gewährleistung der Repräsentativität der Programme müssen die alternativen Programme in der von ihren Autor(inn)en vorgesehenen oder einer in der Praxis verbreiteten Form durchgeführt werden. in der Praxis: oft Angleichung der Randbedingungen der Programme Paket einer Intervention: die Programme, die Erfahrung der Durchführenden und die Randbedingungen Kriteriumsmaße Die Kriteriumsmaße müssen im Hinblick auf die Erfassung der internen und externen Ziele des EPs und des APs erhoben werden, wobei sie sich trotz gleicher Ziele häufig unterscheiden. Zulässige Interpretationen In vergleichenden Evaluationen beziehen sich die zulässigen Interpretationen auf die relative Wirksamkeit der beiden evaluierten APs: Die Wirksamkeit der beiden Programme EP und AP unterscheidet sich nicht oder zugunsten des EPs (oder des APs). 4

5 Kombination von vergleichender und isolierter Evaluation - Konstanthalten der Ziele beider AP bei programmabhängiger Variation der Randbedingungen beider Programme - Pro AP ein Kontrollprogramm mit den gleichen Randbedingungen des AP, das es kontrollieren soll. - Quasi-Alternativprogramm (QAP) : die Randbedingungen des AP oder das Programm selbst werden aus Gründen der Kontrolle den Randbedingungen des EP angeglichen = Verminderung der Repräsentativität des AP 11.4 Einige Konsequenzen der Unterscheidung zweier Evaluationsparadigmen Für die Psychotherapieforschung gilt: Therapeutische Kompetenz: In isolierten Evaluationen sollten die gleichen Therapeut(inn)en die Experimental- und die Kontrolltherapie durchführen die therapeutische Kompetenz soll somit über die Versuchsbedingungen zumindest annähernd konstant gehalten werden interne Validität In vergleichenden Evaluationen sollte die spezifische Kompetenz der Therapeuten konstant gehalten werden gleiche subjektive Erfahrung des Therapeuten mit der von ihm durchgeführten Therapieform soll verhindern, dass Unterschiede auf die unterschiedliche Erfahrung des Therapeuten zurückgeführt werden können interne Validität Therapierepräsentativität: Für jede Experimental- und für jede Alternativtherapie ist die Therapierepräsentativität zu sichern bei Kontrolltherapien nicht, diese müssen meistens hinsichtlich ihrer Randbedingungen der ET angepasst werden, was die Therapierepräsentativität herabsetzt Statistische Effekte: In einer isolierten Evaluation kommt es auf den Nachweis möglichst großer statistischer Effekte an, also etwa δ krit = 0,80 (0,8 Standardabweichungen). Zum Nachweis dieses Effektes sind pro Bedingung n = 20 Personen erforderlich. In vergleichenden Evaluationen kommt es auf den Nachweis mittlerer bzw. kleiner Effekte an, also bspw. δ krit = 0,50 für einen mittleren Effekt (Überlegenheitshypothese) und δ krit = 0,20 für einen kleinen (Äquivalenzhypothese). Zum Nachweis des mittleren Effektes sind bei unabhängigen Stichproben n = 50 Personen erforderlich und für den kleinen Effekt n = 310 Personen. 5

6 11.5 Versuchs- und Vergleichsgruppen In Wirksamkeitsuntersuchungen kommen damit insgesamt sechs Versuchsgruppen und fünf Vergleichsgruppen in Frage (s. Tabelle 2). Tabelle 2: Übersicht über die grundlegenden Arten von Versuchs- und Vergleichsgruppen A A.1. Isolierte Evaluation Versuchs- bzw. Experimentalgruppe mit Experimentalprogramm (EP):zu evaluierendes EP mit seinen spezifischen Zielen und Randbedingungen A.2.1. Vergleichsgruppe ohne Intervention (Wartegruppe; WG), d.h. andere Ziele und andere Randbedingungen als das EP A.2.2. Vergleichsgruppe mit Intervention, aber andere Ziele und andere Randbedingungen als das EP (Quasi-Kontrollgruppe) A.3. B B.1. B.2. Vergleichsgruppe mit Kontrollprogramm (Kontrollgruppe; KP), d.h. andere Ziele als das EP, aber dem EP angeglichene Randbedingungen Vergleichende Evaluation Vergleichsgruppe mit Alternativprogramm (AP), d.h. gleiche Ziele wie EP, aber programmspezifische Randbedingungen, die anders sind als beim EP Vergleichsgruppe mit Quasi-Alternativprogramm, das zwar die gleichen Ziele wie das EP verfolgt, das aber dem EP bzgl. der Randbedingungen angeglichen wurde, also aus dem echten Alternativprogramm hervorgegangen ist. Eine Vergleichsgruppe als Wartegruppe ermöglicht es nicht, festgestellte Wirkungen eindeutig auf die Interventionsmaßnahme zurückzuführen die Wirkungen in der Experimentalgruppe setzen sich stets aus denen der Programmwirkung und denen der Interventionsmaßnahme zusammen Bei der Placebogruppe bleibt oft unklar, ob die Behandlung tatsächlich als Kontrollbehandlung angesehen werden kann (was geschieht mit den Betroffenen?) Auch die Routinebehandlung kann nur als Kontrollbehandlung angesehen werden, wenn sie die an eine Kontroll-Interventionsbehandlung zu stellenden Forderungen erfüllt. Eine Vergleichsgruppe mit spezifischer Behandlung dient dann als Kontrollgruppe, wenn mit ihr andere Programmziele verfolgt werden als mit der Experimentalbehandlung und wenn ihre Randbedingungen denen der Experimentalgruppe angeglichen werden. Bei einer Vergleichsgruppe mit alternativen Behandlung (strebt die gleichen Ziele an) findet keine Angleichung der Randbedingung statt. 6

7 Der Vortest-Nachtest-Follow-up-Vergleichsgruppen-Plan setzt sich aus mindestens drei Erhebungszeitpunkten und zwei Interventionsmaßnahmen zusammen, nämlich einem Experimental- und einem Vergleichsprogramm. in der isolierten Evaluation handelt es sich dabei um ein Kontrollprogramm (KP) in der vergleichenden Evaluation handelt es sich dabei um ein Alternativprogramm (AP) Tabelle 3: Versuchsplan mit drei Erhebungszeitpunkten für eine isolierte Intervention Vortest Intervention Nachtest Follow-up EP zielspezifische EP zielspezifische zielspezifische Kriteriumsmaße Kriteriumsmaße Kriteriumsmaß für EP für EP für EP KP zielspezifische KP unter dem EP zielspezifische zielspezifische Kriteriumsmaße angepassten Kriteriumsmaße Kriteriumsmaß für EP Randbedingung für EP für EP Tabelle 4: Versuchsplan mit drei Erhebungszeitpunkten für eine vergleichende Evaluation Vortest Intervention Nachtest Follow-up EP zielspezifische EP unter seinen zielspezifische zielspezifische Kriteriumsmaße Randbedingungen Kriteriumsmaße Kriteriumsmaß für EP und AP für EP und AP für EP und AP AP zielspezifische AP unter seinen zielspezifische zielspezifische Kriteriumsmaße Randbedingungen Kriteriumsmaße Kriteriumsmaß für EP und AP für EP und AP für EP und AP 7