Transkript

1 Methods of Psychological Research Online 1998, Vol.3, No.1 Internet: Therapieevaluation: Begriæsbildung, Kontrolle, Randomisierung und statistische Auswertung. Einige Anmerkungen und Ergíanzungen zu Metzler und Krause è1997è Willi Hager Zusammenfassung Das Fehlen von akzeptablen oder allgemein akzeptierten Standards in der Psychotherapieforschung ist beklagenswert. Von daher ist es verdienstvoll, dass sich Metzler und Krause è1997è dieses Themas annehmen und solche Standards vorschlagen. Aber ihre Vorschlíage greifen in mancher Hinsicht zu kurz und sind in anderer Hinsicht zu undiæerenziert. Einige Punkte èfragen der Begriæsbildung, der zentralen Unterscheidung von vergleichenden und nichtvergleichenden Evaluationen, der Kontrolle, der Randomisierung und der statistischen Auswertungè werden aufgegriæen und problematisiert. Abstract The lack of methodological and methodical standards for the evaluation of psychotherapies is indeed deplorable. Metzler and Krause è1997è proposed some standards, but their recommendations partly are debatable. Some aspects concerning the diæerentiation between comparative and non-comparative evaluations, the necessity of control, the use of randomiziation, and the statistical handling of data, are discussed. íuber so vielfíaltige methodische Standards wir in der Psychologie allgemein und in ihren Teilgebieten im speziellen verfíugen, so wenig ist es bisher gelungen, diese allgemeinen Standards in gewinnbringender oder akzeptabler Weise auch auf die Evaluation von Príaventiv- und Fíorderprogrammen im píadagogisch-psychologischen Bereich und auf die Evaluation von Therapieformen im klinischen Bereich zu íubertragen. Zwar gibt es zu diesen Themen eine schier uníuberschaubare Vielfalt von Veríoæentlichungen, aber diese scheinen nur von geringer Relevanz fíur die tatsíachlich stattændende Forschung zu sein oder íuber sie setzt man sich mit dem Hinweis hinweg, dass die Einschríankungen der Praxis oder der Forschung ëim Felde" es ëleider" unmíoglich machten, den Standards oder Vorschlíagen im einzelnen zu folgen í nach meiner Erfahrung stellt dies nur allzu oft eine Schutzbehauptung dar. Um so begríuçenswerter ist es, dass sich Metzler und Krause è1997è mit einigen míoglichen Standards in íuberschaubarer und damit fíur die Nicht-Spezialistèinnèen im Bereich der Methodenlehre vermutlich eher zusagender Form befassen. Obwohl ich ihrem Anliegen und auch den meisten ihrer Ausfíuhrungen ausdríucklich zustimme, scheinen mir doch einige ihrer íuberlegungen der Vertiefung bzw. Diæerenzierung zu bedíurfen.

2 W. Hager: Therapieevaluation 70 1 Begriæsbildung Zuníachst einmal ænde ich es bedauerlich, dass sich die Autoren nicht des im Bereich der Evaluationsforschung íublichen Begriæsinventars bedienen. So kíonnte man die Phase 1 und die Phase 2 ès. 57è der formativen Evaluation zuordnen und die Phasen 3 und 4 der summativen Evaluation èvgl. etwa Scriven, 1991; Hager, 1995è. Denn im Rahmen einer formativen Evaluation ænden die ersten Erprobungen der Anwendbarkeit, der Brauchbarkeit, der Wirksamkeit, míoglicherweise auch der Akzeptanz usw. einer neuen Interventionsform statt, und zwar mit dem Ziel, das neue Produkt zu optimieren. Dabei kommen noch nicht notwendigerweise strenge experimentelle oder quantitative Techniken zur Anwendung; auch reichen oft wenige Probandèinnèen aus, um wichtige Fragen beantworten zu kíonnen. Dagegen liegt der summativen Evaluation das èwenn auch míoglicherweise nur vorlíauægè fertige Produkt ëtherapie" zugrunde, dessen Wirksamkeit zu bewerten ist. Allerdings: Ob die Príufung einer neuen Therapieform, die ja in aller Regel auf bestimmte Stíorungsbilder hin konzipiert wird, an Personen mit ëminimalen psychischen Stíorungen" Sinn macht èanalog-studieè, mag dahingestellt bleiben. Es kommt ja nicht darauf an, dass die neue Therapie bei ëminimalen psychischen Stíorungen" und bei Studierenden wirkt, sondern bei denjenigen Stíorungen und bei denjenigen Personen, auf die sie zugeschnitten ist bzw. die zu ihrem intendierten Anwendungsbereich gehíoren. Eine Grundannahme der kognitiven Therapie nach Beck èbeck, Rush, Shaw & Emery, 1996è besteht gerade darin, dass bestimmte kognitive Prozesse bei Vorliegen einer Depression ëanders" ablaufen als bei in dieser Hinsicht ëgesunden" Personen. Wenn man dann die Therapie an in diesem Sinne gesunden Studierenden erprobt, erlauben die Ergebnisse kaum Ríuckschlíusse auf die Wirkungen der Therapie bei Personen, die zu ihrem Zielbereich gehíoren. Und: Ob tatsíachlich in Phase 2 das als Beispiel genannte ëtherapeutèinnèenverhalten", das ja als hinlíanglich untersucht angesehen werden kann, besondere Aufmerksamkeit verdient, sei ebenfalls mit einem Fragezeichen versehen. Des weiteren: Mit èëgroçen" oder zulíassigerweise auch ëkleinen"è Studien kann man nicht die ëwirkungsweise" einer Therapieform erproben, sondern nur ihre Wirksamkeit. Auskunft íuber die Wirkungsweise der Therapie sollte eine entsprechende Therapietheorie geben, die ihrerseits wiederum in grundlagenwissenschaftlichen Theorien verankert sein sollte, ohne deshalb gleich auf logisch striktem Wege aus diesen ëableitbar" zu sein èvgl. etwa Brandtstíadter, 1990; Perrez, 1998è. Wenn man diese Theorie íuber die Wirkungsweise príufen will, muss man andere Studien konzipieren als solche zur Evaluation der Wirksamkeit: Erweist sich níamlich die Therapie als wirksam hinsichtlich bestimmter Ziele undèoder Variablen, so heiçt das noch nicht, dass dieser Wirksamkeit auch tatsíachlich die postulierte Wirkung zugrunde liegt. Andererseits bedeutet das Ausbleiben der Wirksamkeit auch nicht, dass die postulierten Wirkungen nicht eingetreten sind: Sie kíonnen zu schwach ausgefallen sein, um sich bei den ausgewíahlten Erfolgsmaçen zu zeigen. Also: Man sollte sehr sorgfíaltig zwischen der Wirksamkeit als empirisch feststellbare Veríanderungen oder als Grad der Zielerreichung im Verlauf der oder im Anschluss an die Therapie und der Wirkung als theoretischem Konstrukt zur míoglichen Erklíarung der Wirksamkeit trennen. Und: Die englische Bezeichnung ëeæciency", die sich im Abstract von Metzler und Krause ændet, entspricht im Deutschen die Eæzienz, die íublicherweise als Bezeichnung fíur alle íuberlegungen genutzt wird, die sich mit der relativen Wirksamkeit oder Eæektivitíat èëeæcacy", ëeæectiveness", míoglicherweise auch ëeæectivity"è und den Kosten und dem Nutzen von Interventionsmaçnahmen befassen èvgl. etwa Mittag & Hager, 1998; Rossi, Freeman & Hofmann, 1988è.

3 W. Hager: Therapieevaluation 71 2 Kontrolle Metzler und Krause fordern im Zusammenhang mit ihrer Phase 3 ès. 57è, dass zum Vergleich stets eine Kontrollgruppe erforderlich ist. So formuliert, gibt diese Aussage eine ganz grundlegende Forderung fíur alle sinnvoll interpretierbaren empirischen Versuche wieder. Die Frage ist nur: Was soll èin der Psychotherapieforschungè kontrolliert werden? Um diese Frage beantworten zu kíonnen, muç ich etwas ins Detail gehen. Sowohl in der Evaluationsforschung allgemein als auch in der Psychotherapieforschung speziell unterscheidet man zwischen vergleichenden und nichtvergleichenden oder isolierten Evaluationen èsiehe etwa Hager, 1995; 1998; Kazdin, 1986; Scriven, 1991è. Kurz gesagt, bedeutet isolierte Evaluation, dass man die Wirksamkeit einer Interventionsform grundsíatzlich feststellen míochte. Es geht also m.a.w. um die Beantwortung der Frage, ob Therapie A íuberhaupt wirkt. In einer entsprechenden Untersuchung muç daher im allgemeinen kontrolliert werden: aè die Tatsache, dass eine Intervention stattændet, d.h. die oft der Heilung zutríaglichen sog. ëunspeziæschen Faktoren" èvgl. dazu Baumann & Reinecker-Hecht, 1998è sollen in beiden Versuchsgruppen anníahernd gleichermaçen auftreten kíonnen. Dies ist im íubrigen nicht míoglich, wenn man eine sog. ëunbehandelte Kontroll- oder Wartegruppe" heranzieht, denn diese erlaubt gerade die Kontrolle der meist fíorderlichen interventionsgebundenen Wirkungen nicht, so dass ein positiver Wirksamkeitsnachweis immer als eine Folge der Tatsache der Intervention als solcher interpretiert werden kann, ohne zwingend auf die Wirkungen der Therapie zuríuckfíuhrbar zu sein, also als Folge von interventionsgebundenen Wirkungen; bè die Randbedingungen der Intervention einschlieçlich ihrer Dauer, des allgemeinen Therapeutèinnèenverhaltens usw. Das heiçt, dass die Behandlung der ëunspeziæsch behandelten" Versuchsgruppe ècè der der Experimentalgruppe ètherapie Aè in allen als wesentlich erachteten Belangen angeglichen wird èdauer der Intervention, Art des allgemeinen therapeutischen Kontaktes usw.è, und im allgemeinen sollten diejenigen Therapeutèinnèen die ëunspeziæsche Behandlung" in der Kontrollgruppe durchfíuhren, die auch die in Frage stehende Therapie A durchfíuhren èkontrolle des Faktors ëallgemeine therapeutische Kompetenz"è. Wenn aber verschiedene Faktoren kontrolliert werden, was wird dann variiert? In einer isolierten Evaluation werden die Ziele der Interventionen variiert: Die Therapie A strebt ihre therapeutischen Ziele an und die Kontrolltherapie C andere, die entweder mit denen der Therapie A nicht in Verbindung stehen oder aber die unspeziæsch sind, ohne dabei den Bereich der Therapieziele von A zu beríuhren. èin einer ëunbehandelten Gruppe", die ich i.a. nicht als Kontroll gruppe ansehe, ist sichergestellt, dass dort die Ziele von A nicht verfolgt werden, in einer ëechten" Kontrollgruppe kann sich dieser Nachweis wesentlich schwieriger gestalten.è Dies wird zuweilen bedeuten, dass man aus einer verfíugbaren Therapieform aus Gríunden der Kontrolle und zulíassigerweise gerade diejenigen Komponenten entfernt, die eine Wirkung auf den Zielbereich von A ausíuben kíonnten. Da Therapie A bestimmte Ziele verfolgt, die die Kontrolltherapie C gerade nicht anstrebt, kann man in isolierten Evaluationen von relativ groçen statistischen Eæekten ausgehen, zu deren Nachweis man mit kleineren Stichprobenumfíangen auskommen kann als in den im Anschluss anzusprechenden vergleichenden Evaluationen. Bei einer Mindestteststíarke von 1, æ = :90 reichen fíur einen einseitigen t-test bei æ = :05 i.a. weniger als 30 Probandèinnèen pro Gruppe aus, um einen Eæekt der Gríoçe von.8 Standardabweichungen nachzuweisen èvgl. Cohen, 1988, S. 54; Hsu, 1989; Kazdin, 1986; Kazdin & Bass, 1989; Kraemer, 1981è; allerdings kann die erwartete Anzahl der Abbrecherèinnenè dazu fíuhren, entsprechend híohere Fallzahlen vorzusehen èvgl. Metzler & Krause, 1997, S. 63è. Im íubrigen ist í entgegen dem, was die Ausfíuhrungen von Metzler und Krause è1997, S. 64è nahelegen kíonnten í auch hier eine Teststíarkenanalyse oder eine Vorab-Bestimmung des Stichproben-

4 W. Hager: Therapieevaluation 72 umfanges erforderlich èëtestplanung"; vgl. Hager, 1987è, um auf diese Weise auch das Risiko zu kontrollieren, sich fíalschlich gegen die Wirksamkeit der Therapie A zu entscheiden èunter der Voraussetzung, dass die Hypothese der Wirksamkeit von Therapie A íuber eine statistische Alternativhypothese gepríuft wird.è. Wie verhíalt es sich in vergleichenden Evaluationen mit der Kontrolle und der Variation? Vergleichende Evaluationen zielen auf die Frage ab, ob eine neue Therapie èbè wirksamer als oder nicht so wirksam oder gleich wirksam wie eine herkíommliche èaè ist. Sie bilden die empirische Grundlage fíur die im gegenwíartigen Gesundheitssystem sicherlich unverzichtbaren Kosten-Nutzen-Analysen èvgl. Metzler & Krause, 1997è. Eine der Evaluationshypothesen, die in vergleichenden Evaluationen gepríuft werden kíonnen èvgl. Hager, 1998è, betriæt die íaquivalenz verschiedener alternativer Therapieformen èa ist genauso wirksam wie Bè èmetzler & Krause, 1997, S. 58, 64è. Eine Therapie B ist aber nur dann eine Alternativtherapie zu A, wenn sie die gleichen therapeutischen Ziele wie A verfolgt undèoder wenn sie sich bei dem gleichen Stíorungsbild wie A als wirksam erwiesen hat. Kontrolliert durch Konstanthaltung werden hier also die Ziele der Therapien. Dagegen werden die Wege zum Erreichen dieser Ziele, níamlich die unterschiedlichen Therapien, variiert. Dies bedeutet aber, dass man die Therapien mit der fíur sie vorgesehenen Dauer, unter ihren speziæschen Randbedingungen usw. durchfíuhren muç, also sie nicht modiæzieren darf wobei die Vergleichsgruppe sich in vielerlei Hinsicht von der Experimentalgruppe èaè unterscheiden kann, ohne dass dies zu die Interpretationsmíoglichkeiten einschríankenden Konfundierungen fíuhrt: Die Alternativtherapien und die Randbedingungen ihrer Durchfíuhrung stellen jeweils ein ëpaket" dar, das nicht aufgeschníurt wird èwas man aber tun kann, wenn man í etwa in Komponentenevaluationen í anderen Fragen und Hypothesen nachgehen willè. Variiert wird ferner der Faktor ëallgemeine therapeutische Kompetenz", weil die Therapien nur von solchen Therapeutèinnèen durchgefíuhrt werden sollten, die erfahren im Umgang mit der jeweiligen Therapie sind, denn íublicherweise strebt man ja Aussagen fíur die modale Praxis an, und in dieser díurften die Therapeutèinnèen erfahren sein. Dies bedeutet, dass die Erfahrung der Therapeutèinnèen mit der jeweiligen Therapie zu Lasten des Faktors ëallgemeine therapeutische Kompetenz" so gut es geht konstant gehalten wird. í Da in vergleichenden Evaluationen Therapien mit den gleichen Zielen miteinander verglichen werden, kann man im allgemeinen nur mit geringen statistischen Eæekten rechnen. Um sie nachzuweisen, bedarf es bedeutend gríoçerer Stichproben als in isolierten Evaluationen èvgl. dazu auch Metzler & Krause, 1997, S è. In ëíaquivalenzstudien" èalso in vergleichenden Evaluationenè dient die Vorab-Bestimmung der Stichprobengríoçe vor allem der Kontrolle der Wahrscheinlichkeit, sich fíalschlich fíur die Hypothese zu entscheiden, dass die Therapien gleich wirksam sind èunter der Voraussetzung, dass die Hypothese der íaquivalenz der Wirksamkeiten beider Therapien íuber eine statistische Nullhypothese gepríuft wirdè. Auch hier ist daher eine Testplanung erforderlich, aufgrund derer man sagen kann, dass selbst zum Nachweis eines Eæektes von einer halben Standardabweichung bei einem zweiseitigen t-test bei æ = :05 und æ = :20 n =64Personen pro Versuchsgruppe erforderlich sind ècohen, 1988, S. 55è, also mindestens doppelt soviel wie in einer isolierten Evaluation. Diese íuberlegungen zu einer in der Evaluationsforschung zwar bekannten, aber weder dort noch in der Therapieforschung hinsichtlich ihrer Konsequenzen besonders beachteten Unterscheidung zeigen, dass bei den verschiedenen Evaluationsarten unterschiedliche Faktoren kontrolliert und unterschiedliche Faktoren variiert werden míussen. Die Kontrollgruppe in einer isolierten Evaluation dient vor allem der Kontrolle und Konstanthaltung von Randbedingungen der Durchfíuhrung der Intervention, wíahrend die therapeutischen Ziele variiert werden. Die Vergleichsgruppe mit Alternativtherapie B in einer vergleichenden Evaluation dient der Kontrolle und Konstanthaltung der Therapieziele unter Variation der Randbedingungen èvgl.

5 W. Hager: Therapieevaluation 73 dazu auch Hager, Leichsenring und Schiæer, 1999è. Von daher greift das allgemeine Diktum ëgefordert wird stets der Vergleich zu wenigstens einer Kontrollgruppe..." èmetzler & Krause, 1997, S. 57è zu kurz, wenn nicht speziæziert wird, welche Faktoren kontrolliert und welche variiert werden sollten. Die Verwendung von Placebos reicht in der medizinischen Forschung unter der Voraussetzung oft aus, dass in den Versuchsgruppen sonst das Gleiche geschieht í und eine ëdoppelblindstudie" èmetzler & Krause, 1997, S. 59è kann auch dazu beitragen, dass tatsíachlich das Gleiche geschieht. In der Psychotherapieforschung ist jedoch allein die Konstruktion einer ëplacebo-behandlung", aber auch ihre Durchfíuhrung mit dem Ziel der Herstellung gleicher Randbedingungen èin einer isolierten Evaluationè wesentlich komplizierter, so dass diese ëeinfache" íubertragung von in einem Kontext bewíahrten Vorgehensweisen auf einen anderen seit einiger Zeit nicht mehr vorgenommen wird èsiehe Baumann & Reinecker-Hecht, 1991, S ; 1998, S è. Also: Es herrscht Einigkeit íuber die Bedeutung des Prinzips der Kontrolle fíur die psychologische Forschung, aber keinesfalls íuber seine Umsetzung im Bereich der Evaluation von Psychotherapien. 3 Randomisierung Metzler und Krause è1997, S. 59è fordern des weiteren, dass die Zuteilung der Patientèinnèen zu einer Versuchsgruppe randomisiert zu erfolgen habe, dass also ëechte" Experimente durchzufíuhren seien. Zwar ermíoglicht ein randomisiertes Vorgehen i.a. die best-abgesicherten Interpretationen, aber die Randomisierung ist nicht immer durchfíuhrbar. Soll man deswegen auf die Durchfíuhrung einer Studie verzichten? Ich denke nicht. Die Randomisierung dient der Kontrolle und anníahernden Gleichverteilung von unbekannten Stíorfaktoren auf die Versuchsbedingungen, um auf den Stíorfaktoren aufbauende Alternativinterpretationen der Befunde unplausibel werden zu lassen. Ist die Randomisierung zur Sicherung der sog. internen Validitíat í wie es in Psychotherapieevaluationen híauæg aus den verschiedensten Gríunden der Fall zu sein scheint èvgl. Rief, 1994, S. 18è í nichtmíoglich, dann muss zumindest den plausibelsten oder den fíur eine abgesicherte Interpretation wichtigsten potentiellen Stíorfaktoren bzw. Stíorungshypothesen nachgegangen und gezeigt werden, dass die Anwendungsvoraussetzungen fíur die letzteren nicht vorgelegen haben: Eine... ëschwache" quasi- oder gar príaexperimentelle Studie kann also durchaus hohe interne Validitíat besitzen, wenn die Beobachtungsbefunde nur auf eine Weise erklíart werden kíonnen..., und umgekehrt bleibt ein ëechtes" Experiment schwach, solange es fíur das Zustandekommen der Befunde gleichermaçen plausible konkurrierende Erklíarungen gibt èwas in den Verhaltens- und Sozialwissenschaften selbst bei Anwendung randomisierter Versuchsplíane eher die Regel als die Ausnahme istè. èbrandtstíadter, 1990, S. 218è. Gelingt der Ausschluss von plausiblen Alternativerklíarungen nicht, so kann allerdings auf die Studie getrost verzichtet werden, weil ihre Ergebnisse nicht interpretierbar sein werden. Nota bene: Auch ich halte die Randomisierung fíur erstrebenswert, ænde aber, dass man auch íuber Vorgehensweisen nachdenken kíonnen muss, die zur Anwendung gelangen kíonnen, wenn eine Randomisierung nicht míoglich ist. Also: íuber die Bedeutung der Randomisierung fíur die psychologische Forschung herrscht ebenfalls Einigkeit, aber nicht daríuber, was man machen kann, wenn die Randomisierung aus irgend welchen Gríunden nicht durchfíuhrbar ist.

6 W. Hager: Therapieevaluation 74 4 Statistische Auswertung è1è Metzler und Krause è1997, S. 60è unterscheiden zu Recht zwischen ëziel"- und ësurrogatkriterien", die deutlich voneinander zu trennen sind. Diese Meinung wird bspw. auch von Schulte è1993, S. 378, 380è vertreten. Therapien sollten grundsíatzlich in erster Linie am Ausmaç des Erreichens ihrer therapiespeziæschen Ziele gemessen werden, wozu es des Einsatzes von im Sinne Schultes è1993, S è ëtherapieèschulèspeziæschen", aber ggf. auch von ëstíorungsspeziæschen" Kriterien èabhíangigen Variablenè bedarf. Von diesen speziæschen und verbindlichen Zielen und Maçen sind die allgemeinen fakultativen Ziele und Maçe èësurrogatkriterien"è wie die Zufriedenheit mit einer Therapie usw. deutlich abzugrenzen. í Krause und Metzler beklagen auch zu Recht, dass híauæg sehr viele ëeinzelmerkmale" erhoben werden, von denen anschlieçend nur diejenigen in den Bericht eingehen, die bei der univariaten Auswertung statistisch signiækant geworden sind. Diese unschíone Praxis ist zweifellos zu verurteilen. Aber mindestens genauso verfehlt ist es, die Tatsache, dass man mehr als ein Maç erhebt, zum Anlass zu nehmen, die Evaluatorèinnèen dazu zu verpæichten, auf multivariate Auswertungen zuríuckzugreifen, weil ein anderes Vorgehen ëgegen die Philosophie des Signiækanztests" verstoçe ès. 60è. Ganz so einfach verhíalt sich dies níamlich nicht. Zuníachst gibt es den Signiækanztest nicht, sondern èmindestensè zwei verschiedene Arten des statistischen Tests, níamlich den auf R.A. Fisher zuríuckgehenden ësigniækanztest" und den von J. Neyman und E.S. Pearson stammenden ëtest statistischer Hypothesen". Und daneben gibt es eine ëhybride" Praxis èvgl. etwa Gigerenzer, 1993è, die sich einiger Elemente aus beiden Theorien bedient, und zwar vornehmlich aus der Fisher-Theorie. Die Theorien sind teilweise miteinander kompatibel und teilweise inkompatibel èz.b. wird der Entscheidungsgedanke bei Neyman und Pearson von Fisher strikt abgelehnt, dem statt dessen Inferenzen wichtig sindè. Gemeinsam ist beiden Theorien aber, dass sie sich nur auf die Durchfíuhrung je eines Tests beziehen. Sobald man jedoch mehr als eine unabhíangige èuvè undèoder mehr als eine abhíangige Variable èoder Erfolgsmaçe; AVè vorliegen hat, kíonnte man versucht sein, mehr als nur einen Test durchzufíuhren. Die den statistischen Tests zugrunde liegenden Theorien bieten allerdings keine Philosophien an, wie der Test bei mehrfacher Anwendung zu modiæzieren sein kíonnte: Das Testrationale bleibt bei wiederholter Anwendung von statistischen Tests fíur jeden einzelnen Test gleich. íuberlegungen zur mehrfachen Tests íuber das gleiche Datenmaterial wurden erst Jahre nach der Entwicklung der Grundgedanken statistischen Testens angestellt, im íubrigen erneut von R.A. Fisher und von J. Neyman èvgl. Miller, 1981, S. 1è. Denn bei mehrfachen Tests ergeben sich vor allem zwei Probleme, und zwar das der Abhíangigkeit der Tests voneinander und das der Kumulation der bedingten Fehlerwahrscheinlichkeiten èæ undèoder æè bei nicht vollstíandig voneinander abhíangigen Tests. Dass diese Probleme entstehen, kann man fíur beide Theorien mit den Mitteln der Wahrscheinlichkeitsrechnung zeigen èvgl. Miller, 1981è; es handelt sich also nicht um theoriespeziæsche, sondern um theorieíubergreifende Probleme, fíur die im íubrigen ja auch theorieíubergreifende Líosungen angeboten werden ès.u.è. Ich unterstelle zuníachst einmal, dass Metzler und Krause è1997, S. 60è das míogliche Auftreten von mindestens einem der Probleme als Begríundung dafíur angesehen haben, bei der Untersuchung von mehreren AVn grundsíatzlich multivariate Auswertungen zu empfehlen. Man kann angesichts mehrerer AVn die Anzahl der Tests und damit auch das Anwachsen der Fehlerwahrscheinlichkeiten minimieren, indem man èggf. pro UVè nur einen multivariaten Test íuber alle linear miteinander kombinierten AVn durchfíuhrt. Dadurch eliminiert man die Abhíangigkeit zwischen den Tests í es wird ja nur einer durchgefíuhrt -, und dadurch beríucksichtigt man zudem die Korrelationen zwischen den einzelnen AVn systematisch. Diese elegante und von statistischer Seite gern propagierte Líosung unterschlíagt lediglich, dass die multiva-

7 W. Hager: Therapieevaluation 75 riaten Testkriterien íublicherweise dann statistisch signiækant werden, wenn sich die Werte von mindestens einer der AVn statistisch bedeutsam in zwei oder mehr Versuchsgruppen unterscheiden. An dieser Art von unspeziæscher Information ist man aber in der Regel gar nicht interessiert, wie nicht zuletzt die verbreitete Anwendung von èunivariatenè Folgetests im Anschluss an eine multivariate Analyse zeigt, wobei die Signiækanz der èvoneinander abhíangigenè univariaten Tests nur bis zu einem gewissen Grade unabhíangig von der Signiækanz des multivariaten Kriteriums ist. Im íubrigen hat m.w. noch niemand das in diesem Zusammenhang ebenfalls naheliegende Vorgehen propagiert, die bei der traditionellen varianzanalytischen Auswertung mehrfaktorieller Versuchsplíane resultierenden mehreren F -Tests, mit denen ja auch eine Kumulation verbunden ist, durch nur einen F -Test íuber die gesamte Zwischen-Quadratsumme zu ersetzen, um die Kumulation zu vermeiden. Des weiteren schíutzt auch die íubliche Konditionalisierung der univariaten Folgetests auf ein signiækantes multivariates Kriterium keinesfalls vor einer Kumulierung der Fehlerwahrscheinlichkeiten èvgl. dazu Harris, 1985, S ; Ramsey, 1980, S è. Demzufolge kann man auch unter Umgehung der multivariaten Analyse von vornherein jede AV einzeln univariat analysieren í vorausgesetzt, man verfíugt a priori íuber entsprechende Evaluationshypothesen èvgl. dazu auch Marascuilo & Levin, 1983, S , 337; Thompson, 1994è. Dies aber sollte der Fall sein, u.a. weil aufgrund der íuberlegten Auswahl der Ziel- und der von Metzler und Krause so genannten ësurrogatkriterien" und aufgrund des Anspruches einer Therapie genau vorhergesagt werden kann, bei welchen Erfolgsmaçen letztere zu Veríanderungen fíuhren sollte und bei welchen nicht. Ein Beispiel dafíur ist die Therapiestudie von Brom, Defares und Kleber è1989è. Sie erwarteten bei den von ihnen durchgefíuhrten Therapien keine Persíonlichkeitsveríanderungen, wohl aber therapiebedingte Verbesserungen bei den allgemeinen Symptomen, den Traumata und den íangsten, die als mit den diagnostizierten Stíorungen im Zusammenhang stehend gesehen wurden èbrom et al., 1989, S. 608è. Diese diæerenzierten Vorhersagen aber híatten mit einer multivariaten Analyse nicht adíaquat gepríuft werden kíonnen. Also: Die Wahl der statistischen Analyse sollte nicht von der Anzahl der AVn abhíangig gemacht werden, sondern nur von den Evaluationshypothesen, die man príufen will. Verzichtet man dagegen auf inhaltliche A-priori-Hypothesen, dann kann man leicht in Gefahr geraten, ëin Analogie zu den Blind- und Doppelblindstudien in der Medizin" èmetzler & Krause, 1997, S. 59è einen ëdreifachblindversuch" durchzufíuhren, bei dem auch die Evaluatorèinnèen nicht mehr wissen, was sie nach dem Versuch eigentlich mehr wissen wollten. Es bleibt allerdings die Frage, wie man angesichts dieses Plíadoyers fíur gezielt geplante univariate Analysen èvgl. dazu ausfíuhrlich Hager, 1992è die kumulierenden Fehlerwahrscheinlichkeiten in den Griæ bekommen kann. Miller è1981, S è stellt dazu fest, dass in der Literatur alle míoglichen Haltungen bzgl. der Kumulation vertreten werden: Die beiden Extrempositionen sind dadurch gekennzeichnet, dass keinerlei Adjustierung zum Ausgleich der Kumulation vorgesehen wird oder dass auf jeden Test adjustiert wird, den man in seinem Leben durchfíuhrt. Dazwischen liegen dann verschiedene Positionen, bei denen auf eine jeweils unterschiedliche sog. ëfamilie von Tests" adjustiert wird, wie dies auch mit den vielfíaltigen Techniken der multiplen Vergleiche geschieht èvgl. etwa Kirk, 1995è. Westermann und Hager è1986; vgl. auch Hager, 1987, 1992, 1995è haben vorgeschlagen, als ëfamilie von Tests" alle diejenigen Tests anzusehen, die mit Blick auf eine einzige èinhaltliche oder Evaluations-è Hypothese und die in ihr enthaltene Behauptung íuber einen Sachverhalt erforderlich, aber auch hinreichend sind. Durch diesen Vorschlag resultiert íublicherweise eine wesentlich geringere Adjustierungsgríoçe, als wenn man auf alle Tests oder auf alle AVn in einer Studie adjustieren wíurde. Er fíuhrt ferner dazu, dass bei mehreren in einer Studie zu analysierenden AVn dann keine Kumulation resultiert, wenn die AVn sich auf verschiedene inhaltliche oder Evaluationshypo-

8 W. Hager: Therapieevaluation 76 thesen beziehen. Und selbst dann, wenn die AVn verschiedene Operationalisierungen desselben Konstruktes darstellen, so dass die interessierende Hypothese unter Verwendung mehrerer unterschiedlicher Operationalisierungen gepríuft wird, resultiert keine Kumulation, wenn das Zutreæen der Hypothese fíur jede dieser Operationalisierung separat beurteilt wird èvgl. ausfíuhrlich dazu Hager, 1992, Abschn. 6.5è. í Unabhíangig davon, welche Adjustierungseinheit man auch wíahlt: Man kann die Kumulation der Fehlerwahrscheinlichkeiten auch anders als durch multivariate Analysen in den Griæ bekommen, ohne dabei der Logik oder der Philosophie der statistischen Tests zuwider zu handeln. Eine Míoglichkeit stellt die Korrektur der Fehlerwahrscheinlichkeiten pro Test nach Bonferroni dar, bei der auf die Anzahl der tatsíachlich durchzufíuhrenden Tests und nicht auf eine hypothetisch míogliche ëfamilie von Tests" wie bei den multiplen Vergleichen adjustiert wird èetwa Marascuilo & Levin, 1988; Miller, 1981è. í Auch invalidiert die Abhíangigkeit der AVn voneinander die univariaten Tests als solche nicht, und sie beeintríachtigt auch nicht die Míoglichkeit der Anwendung der Bonferroni-Ungleichung èoder einer ihrer moderneren Variantenè. Man sollte allerdings die Interkorrelationen zwischen den AVn mitteilen und sie bei der Hypothesenbeurteilung oder der Dateninterpretation beríucksichtigen. Nun gingen die vorstehenden íuberlegungen von einer bestimmten Rekonstruktion míoglicher Gríunde fíur Metzlers und Krauses Empfehlung fíur multivariate Analysen aus. Sollten hinter ihrer Empfehlung dagegen andere Gríunde gestanden haben als die der Vermeidung der Kumulation von statistischen Fehlerwahrscheinlichkeiten, etwa kritikwíurdiges Verhalten der Evaluatorèinnèen beim Bericht ihrer Ergebnisse, so gilt auch hier, dass eine bestimmte statistische Vorgehensweise nicht deshalb zu kritisieren ist, weil sie falsch angewendet wird, sondern dass in diesem Falle die Kritik gegen die Anwenderèinnenè zu richten ist. Im íubrigen: Da die Interpretation der Ausgíange multivariater Tests mindestens ebenso beliebig erfolgen kann wie die Auswahl univariater Testergebnisse, wíare letztlich durch multivariate Analysen nichts gewonnen í einmal abgesehen davon, dass es einem Zeitgeist entspricht, der behaupteten ëmultivariaten Natur der Psychologie" auch mit ebensolchen Verfahren ëzu Leibe zu ríucken". Nur: Unsere Hypothesen íuber das Erleben und Verhalten des Menschen sind selten ëmultivariat", und selbst wenn sie es sind, sollte man íuber die statistischadíaquate Auswertung der Daten dochnoch nachdenken èdíurfenè èvgl. Hager, 1992è. Unabhíangig von den míoglichen, aber líosbaren Probleme mit mehr als einer AV pro Versuch sollte man im íubrigen die Gíute einer Studie nicht an der Zahl der erhobenen Erfolgsmaçe èavnè festmachen, wie es Metzler und Krause è1997, S. 60è m.e. zu Recht an Grawe, Donati und Bernauer è1994è kritisieren: Die Anzahl der erhobenen AVn muss sich immer an den Zielen der untersuchten Therapieformen und den Zielen der Evaluationsuntersuchung orientieren, so dass in wenigen Fíallen eine oder zwei AVn ausreichen kíonnen und in anderen Fíallen 50 oder mehr AVn als zu wenig beurteilt werden míussen, weil sie mit beiden Zielvorstellungen nicht zur Deckung zu bringen sind. 5 Statistische Auswertung è2è Metzler und Krause è1997, S. 59è fordern, dass in jeder Psychotherapiestudie eine ëkonærmatorische statistische Analyse" durchzufíuhren sei. Es entspricht erneut einem Zeitgeist, dass man sich seit einigen Jahrzehnten darauf geeinigt hat, die Beurteilung von Forschungs- und anderen Hypothesen auf der Grundlage von statistischen Tests erfolgen zu lassen. Dafíur gibt es zahlreiche gute Gríunde, aber auch zahlreiche Gegengríunde, wie die immer wieder auæammenden Debatten um ëden Signiækanztest", zuletzt etwa im ëamerican Psychologist", in den ëpsychological

9 W. Hager: Therapieevaluation 77 Methods" und in ëtheory and Psychology", zeigen. Die Entscheidung íuber Evaluationshypothesen kíonnte grundsíatzlich auch anders als íuber einen statistischen Test herbeigefíuhrt werden, etwa allein aufgrund der ermittelten Eæektgríoçen. Dafíur wíurde man lediglich Kriterien fíur die erforderlichen èmindest- oder Híochst-è Werte beníotigen, also Kriterien, die fíur statistische Tests bereits in Gebrauch sind, die aber deshalb keineswegs weniger willkíurlich sind als die míoglichen Kriterien fíur Effektgríoçen. Letztere gibt es bislang noch nicht, und es kann sie auch nicht allgemeinverbindlich geben í trotz der von Cohen è1988è vorgeschlagenen Konventionen, auf die leider zunehmend Bezug genommen wird. Denn die Beurteilung der Gríoçe eines statistischen Eæektes muss im Einzelfall je nach Untersuchung und gewíahlter AV usw. gesondert erfolgen: So kann ein ëkleiner" statistischer Eæekt in einer vergleichenden Evaluation als ësehr bedeutsam" interpretiert werden, wíahrend ein Eæekt gleicher Gríoçe in einer isolierten Evaluation als ëohne substantielle Bedeutung" beurteilt werden kann. í Ich sage nicht, dass man auf statistische Tests verzichten sollte, sondern nur, dass es keine Verpæichtung gibt, ihn durchzufíuhren í es sei denn, man híalt íubliche Gepæogenheiten, bezíuglich derer ein fast uneingeschríankter, aber doch míoglicherweise passagerer Konsens besteht, fíur verpæichtend. Also: Es herrscht wohl Einigkeit íuber die grundsíatzliche Anwendung von statistischen Tests, aber keine Einigkeit íuber die Art der Anwendung in ëproblemfíallen". 6 Therapieevaluation: Mehr als nur versuchsplanerische und statistische íuberlegungen Krause und Metzler è1997è verzichten darauf, íuberlegungen zu príasentieren, welche Nah-, welche Zwischen- und welche Endziele Therapien verfolgen kíonnten èvgl. etwa Perrez, 1998; Schulte, 1993è und auf welcher Ebene sie Veríanderungen bewirken sollen: Sollen nur Performanzen, also beobachtbares Verhalten, geíandert werden, oder auch Kompetenzen, also Verhaltensbereitschaften, und wird Transfer oder Generalisierung angestrebt usw.? Wenn man diesen Fragenkomplexen inhaltlich nachgegangen ist und wenn man dabei auch die Frage beantwortet hat, welche Anspríuche an Therapien gestellt werden èsollten oder kíonnenè, und zwar sowohl von ihren Erænderèinneèn als auch von Praktikerèinnèen als auch von Evaluatorèinnèen, und wenn man grundsíatzlich inhaltlich geklíart hat, wie man diesen Anspríuchen empirisch nachgehen kann, erst dann macht es Sinn, sich der Frage nach Versuchsplíanen zuzuwenden, die geeignet sind, zu hinreichend validen Príufungen der entsprechenden Hypothesen zu gelangen. Denn in Abhíangigkeit von den Antworten auf diese Fragen ergeben sich bestimmte Folgerungen hinsichtlich des erforderlichen Vorgehens, des Versuchsplanes und der Kriteriumsmaçe, die etwa die Notwendigkeit mindestens eines Follow-ups oder einer Katamnese beinhalten oder íuberlegungen zur Wahl geeigneter Kriterien zur Erfassung der Generalisierung des Therapieerfolges èvgl. Hasselhorn & Hager, 1999; Kern, 1994è. Der Verweis auf Versuchsplíane, ëdie in der Epidemiologie entwickelt worden sind" èmetzler & Krause, 1997, S. 57è, greift hier viel zu kurz und hilft kaum weiter. Im íubrigen kann man der Auæassung zuneigen, dass diejenigen Versuchsplíane, die in der Psychologie entwickelt oder die sich in der Psychologie als erfolgreich anwendbar erwiesen haben, auch geeignet sind, um auf ihrer Grundlage Hypothesen valide zu príufen, die den Bereich der Therapieevaluation betreæen. Und man kann sicherlich in Frage stellen, ob der Therapieerfolg grundsíatzlich ëvon einem neutralen Dritten" èmetzler & Krause, 1997, S. 59è eingeschíatzt werden muss und nicht èevtl. zusíatzlichè von der oder dem Therapeutenèin und der therapierten Person selbst; die verschiedenen Einschíatzungen vermitteln unterschiedliche Informationen, auf die man nicht grundlos verzichten sollte, wenn man sie erlangen kann, zumal nur auf dem We-

10 W. Hager: Therapieevaluation 78 ge der subjektiven Einschíatzungen der Betroæenen etwas íuber ihre Zufriedenheit mit der Therapie in Erfahrung zu bringen ist èhollon, 1996è. Die Zufriedenheit wiederum kann als eine wichtige Voraussetzung fíur die als erforderlich geltende ëèpatientèinnèen-è Compliance" angesehen werden èbaumann & Reinecker-Hecht, 1998, S. 351; vgl. auch Schulte, 1993è. í Also: Es herrscht Einigkeit, dass ohne einen Versuchsplan, der es grundsíatzlich erlaubt, das allgemeine Prinzip der Kontrolle umzusetzen, kaum sinnvolle Forschung betrieben werden kann, aber weniger Einigkeit herrscht oæensichtlich daríuber, welche Art von Versuchsplíanen bei der Therapieevaluation im Hinblick auf welche Evaluationshypothesen ëgeeignet" sind. 7 Schlussbemerkungen Metzler und Krause è1997è haben angesichts der Diskussion um das neue Psychotherapeutèinnèengesetz und angesichts der èinhaltlichen und methodischenè Díurftigkeit allzu vieler Psychotherapiestudien gíanzlich zu Recht angemahnt, dass nur unter Einhaltung bestimmter Mindeststandards fíur die Evaluation der Wirksamkeit von Therapien Aussagen dahingehend míoglich sind, dass unterschiedliche Therapien auch unterschiedlich wirken í oder nicht. Allerdings leidet diese Mahnung unter einer teilweise wenig diæerenzierten Herangehensweise der Autoren an die allgemeinen und die speziæschen Probleme in Psychotherapiestudien, und es ist immerhin auæíallig, dass sie keine einschlíagige èauchè methodisch-orientierte Publikation aus dem Bereich der Psychotherapieforschung zitieren èwie etwa Bergin & Garæeld, 1994; Perrez & Baumann, 1991; Schulte, 1993è, wohl aber mehrere aus dem Bereich der medizinisch-klinischen Wirksamkeitsforschung. Wie recht aber Metzler und Krause mit ihrer Mahnung grundsíatzlich haben, zeigt ein anderer Umstand. Die Frage nach der èdiæerentiellenè Wirksamkeit verschiedener Therapieformen hinsichtlich psychischer Krankheiten oder Stíorungen ist nach wie vor oæen. Denn die ëeinzigartige und sehr verdienstvolle Arbeit" von Grawe et al. è1994è èmetzler & Krause, 1997, S. 56è tríagt bei genauerem Hinsehen mehr zur Verwirrung bei als zur Klarstellung: Nicht nur die ihr zugrunde liegenden Arbeiten sind vielfach zu wenig valide, um die Schlussfolgerungen zu rechtfertigen, die aus den Daten gezogen wurden und werden, sondern auch das methodische Vorgehen von Grawe und seinen Mitarbeiterinnen selbst, das von Metzler und Krause è1997è zu Recht, wenn auch verhalten kritisiert wird èvgl. auch Fíah & Fischer, 1998; Hager, Leichsenring & Schiæer, 1999; Hargens, 1994, sowie Tschuschke et al., 1998è. Man kann sagen, dass die Untersuchung von Grawe et al. è1994è von der gleichen Art von Konfession gepríagt ist, die sie èvermutlich nicht ganz zu Unrechtè vielen anderen Psychotherapieforscherèinneèn unterstellt haben, aber ist es nicht so, dass unsere gesamte Profession letztlich irgendwo auf Konfessionen begríundet ist? èdabei muss man im íubrigen gar nicht einmal sehr in die Tiefe gehen: Schon viele Hilfshypothesen, auf die wir uns beim Experimentieren verlassen, stellen nichts anderes dar als ënotwendige Konfessionen".è Auf jeden Fall: Grawe et al. bemíanteln ihre Konfessionen nur geschickter mit ihrem Ríuckgriæ auf angeblich ëobjektive" èstatistischeè Vorgehensweisen und den Verweis auf die ëfíur sich sprechenden" Originalstudien. Keine der von ihnen reanalysierten Untersuchungen, die ich nochmals reanalysiert habe èbrandler, 1998; Hager, Leichsenring & Schiæer, 1999è, fíuhrt zu selbst-evidenten Schlíussen, sondern líasst viel Raum fíur die verschiedenartigsten Interpretationen, und die von Grawe et al. bevorzugten Interpretationen stellen jeweils nur eine der Míoglichkeiten dar. Nicht nur deshalb míochte ich das Anliegen von Metzler und Krause è1997è grundsíatzlich voll und ganz unterstíutzt wissen èvgl. auch Hager, Patry & Brezing, 1999è, obwohl ich einigen ihrer Ausfíuhrungen und Empfehlungen in der vorliegenden Arbeit widersprochen und andere zu ergíanzen versucht habe. Also: Es herrscht

11 W. Hager: Therapieevaluation 79 Einigkeit íuber die grundsíatzliche Notwendigkeit von Empfehlungen der von Metzler und Krause gegebenen Art, aber Uneinigkeit daríuber, ob diese in der Tat in der príasentierten Form auf das Gebiet der Therapieevaluation ohne weiteres anwendbar sind oder angewendet werden sollten. Literatur ë1ë Baumann, U. & Reinecker-Hecht, C. è1991è. Methodik der klinisch-psychologischen Interventionsforschung. In: Perrez, M. & Baumann, U. èhrsg.è, Intervention èlehrbuch Klinische Psychologie, Bd. 2, S è. Bern: Huber. ë2ë Baumann, U. & Reinecker-Hecht, C. è1998è. Methodik der klinisch-psychologischen Interventionsforschung. In: Baumann, U. & Perrez, M. èhrsg.è, Lehrbuch Klinische Psychologie - Psychotherapie è2. Auæ., S è. Bern: Huber. ë3ë Beck, A.T., Rush, A.J., Shaw, B.F. & Emery, G. è1996è. Kognitive Therapie der Depression è5. Auæ.è. Weinheim: Psychologie Verlags Union. ë4ë Bergin, A.E. & Garæeld, S.L. èeds.è è1994è. Handbook of psychotherapy and behavior change è4th ed.è. New York: Wiley. ë5ë Brandler, S. è1998è. Die Wirksamkeit der Kognitiven Therapie nach Beck. Eine Reanalyse der Daten in Grawe, Donati und Bernauer è1994è. Gíottingen: Georg-August- Universitíat, Georg-Elias-Míuller-Institut fíur Psychologie, unveríoæentlichte Diplomarbeit. ë6ë Brandtstíadter, J. è1990è. Evaluationsforschung: Probleme der wissenschaftlichen Bewertung von Interventions- und Reformprojekten. Zeitschrift fíur Píadagogische Psychologie, 4, ë7ë Brom, D., Kleber, R.J. & Defares, P.B. è1989è. Brief psychotherapy for posttraumatic stress disorder. Journal of Consulting and Clinical Psychology, 57, ë8ë Cohen, J. è1988è. Statistical power analysis for the behavioral sciences è2nd ed.è. Hillsdale, NJ: Erlbaum. ë9ë Fíah, M. & Fischer, G. èhrsg.è. è1998è. Sinn und Unsinn in der Psychotherapieforschung. Gieçen: Psychosozial Verlag. ë10ë Gigerenzer, G. è1993è. The Superego, the Ego, and the Id in statistical reasoning. In: Keren, G. & Lewis, C. èeds.è: A handbook for data analysis in the behavioral sciences: Methodological issues èpp è. Hillsdale, NJ: Erlbaum. ë11ë Grawe, K., Donati, R. & Bernauer, F. è1994è. Psychotherapie im Wandel. Von der Konfession zur Profession. Gíottingen: Hogrefe. ë12ë Hager, W. è1987è. Grundlagen einer Versuchsplanung zur Príufung empirischer Hypothesen der Psychologie. In: Líuer, G. èhrsg.è: Allgemeine experimentelle Psychologie ès è. Stuttgart: G. Fischer. ë13ë Hager, W. è1992è. Jenseits von Experiment und Quasi-Experiment. Zur Struktur psychologischer Versuche. Gíottingen: Hogrefe. ë14ë Hager, W. è1995è. Planung und Durchfíuhrung der Evaluation von kognitiven Fíorderprogrammen. In: Hager, W. èhrsg.è: Programme zur Fíorderung des Denkens bei Kindern: Konstruktion, Evaluation und Metaevaluation ès è. Gíottingen: Hogrefe. ë15ë Hager, W. è1998è. Vergleichsgruppen bei der Evaluation von Fíorderprogrammen. In: Beck, M. èhrsg.è, Evaluation als Maçnahme der Qualitíatssicherung: Píadagogischpsychologische Interventionen auf dem Príufstand ès è. Tíubingen: dgvt. ë16ë Hager, W., Leichsenring, F. & Schiæer, A. è1999è. Wann ermíoglicht eine Therapiestudie direkte Wirksamkeitsvergleiche zwischen verschiedenen Therapieformen? PPmP - Psychotherapie, Psychosomatik und medizinische Psychologie, im Druck. ë17ë Hager, W., Patry, J.-L. & Brezing, H. èhrsg.è. è1999è. Evaluation psychologischer Interventionsmaçnahmen: Auf der Suche nach Standards und Kriterien. Bern: Huber èim Druckè.

12 W. Hager: Therapieevaluation 80 ë18ë Hargens, J. è1994è. Psychotherapie wirkt í aber was erfasst die empirische Psychotherapieforschung ènichtè? Report Psychologie, 19 è10è, ë19ë Harris, R.J. è1985è. A primer of multivariate statistics è2nd ed.è. New York: Academic Press. ë20ë Hasselhorn, M. & Hager, W. è1999è. Psychologische Interventionsmaçnahmen: Was sollen sie bewirken kíonnen? In: Hager, W., Patry, J.-L. & Brezing, H. èhrsg.è, Evaluation psychologischer Interventionsmaçnahmen: Auf der Suche nach Standards und Kriterien èim Druckè. Bern: Huber. ë21ë Hollon, S. è1996è. The eæcacy and eæectiveness of psychotherapy relative to medication. American Psychologist, 51, ë22ë Hsu, L.M. è1989è. Random sampling, randomization, and eqivalence of contrasted groups in psychotherapy outcome research. Journal of Consulting and Clinical Psychology, 57, ë23ë Kazdin, A.E. è1986è. Comparative outcome studies of psychotherapy: Methodological issues and strategies. Journal of Consulting and Clinical Psychology, 54, ë24ë Kazdin, A.E. & Bass, D. è1989è. Power to detect diæerences between alternative treatments in comparative psychotherapy outcome research. Journal of Consulting and Clinical Psychology, 57, ë25ë Kern, H.J. è1994è. Therapie- und Trainingserfolge: Wie werden Generalisation und Permanenz erreicht? Verhaltensmodiækation und Verhaltensmedizin, 15, ë26ë Kirk, R.E. è1995è. Experimental design. Procedures for the behavioral sciences è3rd ed.è. Paciæc Grove, CA: BrooksèCole. ë27ë Kraemer, H.C. è1981è. Coping strategies in psychiatric research. Journal of Consulting and Clinical Psychology, 49, ë28ë Marascuilo, L.A. & Levin, J.R. è1983è. Multivariate statistics in the social sciences: A researcher's guide. Monterey, CA: BrooksèCole. ë29ë Metzler, P. & Krause, B. è1997è. Methodische Standards bei Studien zur Therapieevaluation. Methods of Psychological Research, 2, ë30ë Miller, R.G. è1981è. Simultaneous statistical inference è2nd ed.è. New York: Springer. ë31ë Mittag, W. & Hager, W. è1998è. Entwurf eines integrativen Konzeptes zur Evaluation píadagogisch-psychologischer Interventionen. In: Beck, M. èhrsg.è, Evaluation als Maçnahme der Qualitíatssicherung: Píadagogisch-psychologische Interventionen auf dem Príufstand ès è. Tíubingen: dgvt. ë32ë Perrez, M. è1998è. Wissenschaftstheoretische Grundlagen der klinisch-psychologischen Intervention. In: Baumann, U. & Perrez, M. èhrsg.è, Lehrbuch Klinische Psychologie - Psychotherapie è2. Auæ., S è. Bern: Huber. ë33ë Perrez, M. & Baumann, U. èhrsg.è. è1991è. Intervention èlehrbuch Klinische Psychologie, Bd. 2è. Bern: Huber. ë34ë Ramsey,P.H. è1980è. Choosing the most powerful pairwise multiple comparison procedure in multivariate analysis of variance. Journal of Applied Psychology, 65, ë35ë Rief, W. è1994è. Ein Plíadoyer fíur eine praxisorientierte Psychotherapieforschung. Report Psychologie, 19 è1è, ë36ë Rossi, P.H., Freeman, H.E. & Hofmann, G. è1988è. Programm-Evaluation. Stuttgart: Enke. ë37ë Schulte, D. è1993è. Wie soll der Therapieerfolg gemessen werden? Zeitschrift fíur Klinische Psychologie, 22, ë38ë Scriven, M. è1991è. Evaluation thesaurus è4th ed.è. Newbury Park, CA: Sage. ë39ë Thompson, B. è1994è. Planned versus unplanned and orthogonal versus nonorthogonal contrasts: The neo-classical perspective. In: Thompson, B. èed.è, Advances in social science methodology èvol. 3, pp. 3-27è. Greenwich, CT: Jai Press.

13 W. Hager: Therapieevaluation 81 ë40ë Tschuschke, V., Bíanninger-Huber, E., Faller, H., Fikentscher, E., Fischer, G., Frohburg, L., Hager, W., Schiæer, A., Lamprecht, F., Leichsenring, F., Leutzinger- Bohleber, M., Rudolf, G., Kíachele, H. è1998è. Psychotherapieforschung í Wie man es ènichtè machen sollte. Eine Expertenèinnen-Reanalyse von Vergleichsstudien bei Grawe et al. è1994è. PPmP - Psychotherapie, Psychosomatik, Medizinische Psychologie èim Druckè. ë41ë Westermann, R. & Hager, W. è1986è. Error probabilities in educational and psychological research. Journal of Educational Statistics, 11,