Adaptives Testen in der Psychotherapie: Das Rasch-basierte Adaptive Depressionsscreening

Transkript

1 Adaptives Testen in der Psychotherapie: Das Rasch-basierte Adaptive Depressionsscreening (A-DESC) Thomas Forkmann 1, Maren Boecker 1, Markus Wirtz 2, Christian Frey 2, Christine Norra 3 und Siegfried Gauggel 1 Zusammenfassung Computergestütztes adaptives Testen (CAT) ist in den Bereichen der Leistungs- und Intelligenzmessung bereits seit vielen Jahren eine etablierte Methode der Testdiagnostik. Aufgrund der mit dem Verfahren verbundenen, viel versprechenden messtheoretischen sowie praktischen Vorteile für Diagnostiker und Patient eröffnet CAT auch für die klinisch-psychologische Diagnostik wichtige Perspektiven zur Optimierung und Weiterentwicklung von Assessmentstandards. Dieser Beitrag stellt mit dem Rasch-basierten adaptiven Depressionsscreening (A-DESC) ein neu entwickeltes Verfahren zur Diagnostik depressiver Symptomatik vor und verdeutlicht anhand dieses Verfahrens die mit dem CAT-Ansatz verbundenen Möglichkeiten und Grenzen für die klinisch-psychologische Diagnostik. Schlüsselwörter A-DESC Adaptives Testen Depression Psychotherapie Abstract Adaptive Testing in Psychotherapy: The Rasch-Based Adaptive Depression Screening (A-DESC) In the assessment of performance and intelligence Computer-adaptive Testing (CAT) has been a well-established and appreciated diagnostic method for many years. However, considering its promising theoretical and practical advantages compared to paper-and-pencil-tests, CAT may be of interest for clinical diagnosticians as well. This article presents a new instrument for the diagnostic of depression, the Rasch-based adaptive depression screening (A-DESC). Furthermore, on the basis of this instrument the potentials and constraints of the CAT-approach for the clinical and psychotherapeutic practice are discussed. 1 Institut für Medizinische Psychologie und Medizinische Soziologie, Universitätsklinikum der RWTH Aachen University. 2 Abteilung Forschungsmethoden, Institut für Psychologie, Pädagogische Hochschule Freiburg i. Br. 3 Psychiatrie Psychotherapie Psychosomatik Präventivmedizin, LWL-Universitätsklinikum, Ruhr-Universität Bochum. Klin. Diagnostik u. Evaluation, 3. Jg., 59 75, ISSN Vandenhoeck & Ruprecht GmbH & Co. KG, Göttingen

2 60 Thomas Forkmann et al. Keywords A-DESC Computer-adaptive test Depression Psychotherapy Einleitung Die Grundidee des adaptiven Testens, die Testaufgaben so auszuwählen und zu gestalten, dass der Informationsgewinn durch den Test so groß und valide wie möglich ausfällt, ist sicherlich bereits so alt wie die formalisierte Testdiagnostik selbst (für eine detaillierte Einführung in die Methode des adaptiven Testens s. van der Linden & Glas, 2000; Frey, 2007). So enthielt bereits der Binet-Simon Intelligenztest (Binet & Simon, 1905) verschiedene Itemsets, die entsprechend des durch den Testleiter geschätzten mentalen Alters des Testanden selektiv vorgegeben und im weiteren Testverlauf weiter adaptiert werden sollten. Im Bereich der Leistungs- und Intelligenztestung ist adaptives Testen nicht zuletzt aufgrund seiner günstigen Testökonomie bereits seit Jahrzehnten verbreitet (z. B. Verguts & De Boeck, 2000; Young, 1990; Tinsley, 1972; Tinsley & Dawis, 1977; Ireland, 1977), wenngleich die Entwicklung von Computer-gestützten adaptiven Testverfahren (CATs) mit einem hohen Konstruktionsaufwand einhergeht. Das Testkonzept wurde zunächst in Form von eindeutig definierten Entscheidungsregeln für die Auswahl und Reihenfolge der Itemvorgabe durch den Testleiter ( branched testing ) innerhalb von Papier-und-Bleistift-Tests realisiert (z. B. Adaptives Intelligenz Diagnostikum AID-2; Kubinger & Wurst, 2001; Adaptiver Matrizentest, Hornke et al., 2000). Insbesondere in Bezug auf die Zuverlässigkeit der Entscheidungsregeln und den administrativen Aufwand des Testleiters wird das adaptive Testen seit dem zunehmenden Einzug von Computern in die psychologische Diagnostik deutlich erleichtert. Das Grundprinzip von CAT besteht darin, im Sinne einer individualisierten Testung das Testverfahren soweit wie möglich an die individuellen Eigenschaften des Testkandidaten anzupassen. Grundlage ist hierfür eine kalibrierte Itembank, deren Items einen eindeutigen Rückschluss auf das zu diagnostizierende Merkmal ermöglichen. Items einer Itembank erfassen somit einen eindeutig definierten zugrunde liegenden Informationsaspekt (latente Merkmalinformation) und können entsprechend ihrer Schwierigkeit in eine Rangreihe gebracht werden. Die Kalibrierung einer solchen Itembank kann durch moderne Messmodelle der Familie der Item Response Theorie erfolgen: In diesen Modellen wird der funktionale Zusammenhang der Wahrscheinlichkeit, bei einem bestimmten Item eine bestimmte Antwortkategorie zu wählen und der Ausprägung des Befragten auf der zugrunde liegenden Merkmalsdimension mathematisch eindeutig beschrieben. Für die diagnostische Anwendung erweist sich neben anderen das einparametrige Rasch-Modell als günstig (Embretson & Reise, 2000; Linacre, 2000; Rost, 1999).

3 Adaptives Testen in der Psychotherapie 61 Das Rasch-Modell wurde ursprünglich von dem dänischen Mathematiker Georg Rasch in den 60er Jahren des letzten Jahrhunderts für Items mit dichotomem Antwortformat (z. B. ja vs. nein ) entwickelt (Wright & Stone, 1979; Lord & Novick, 1968). Ausgehend vom dichotomen Rasch-Modell wurden in den letzten 40 Jahren verschiedene Modelle entwickelt, die auch auf Items mit mehrstufigen Antwortformaten (z. B. Likert-Skalen) anwendbar sind (Masters, 1982; Andrich, 1978). Dem mathematischen Modell, welches die Grundlage für die Rasch-Analyse bildet, liegt die Annahme zugrunde, dass die Antwort einer Person auf ein Item eines Tests oder Fragebogens von der Ausprägung der zu messenden Merkmalsdimension (z. B. ihrer Depressivität) und von der Schwierigkeit des zu bearbeitenden Items abhängt. Je depressiver also eine Person im Vergleich zur Schwierigkeit eines Items ist, umso wahrscheinlicher ist es, dass diese Person einen hohen Wert bei diesem Item ankreuzen wird. Der Begriff Schwierigkeit entstammt dem klassischen Anwendungsbereich probabilistischer Testmodelle, der Leistungsdiagnostik. Für klinische Verfahren wird der Begriff üblicherweise beibehalten, wobei er in Bezug auf Fragebögen mit Wahrscheinlichkeit, eine hohe Antwortoption auszuwählen übersetzt werden kann. Eine weitere zentrale Eigenschaft des Rasch-Modells ist, dass die Merkmalsausprägung der Person und die Schwierigkeit des Items als numerische Ausprägungen auf der gleichen Dimension geschätzt werden. Ein Item ist für eine Testperson umso informativer und umso besser in der Lage, die Merkmalsausprägung der Person präzise abzubilden, je ähnlicher Itemschwierigkeit und Merkmalsausprägung der Person (auch Measure oder Personenkennwert genannt) sind (für eine ausführliche Einführung in das Rasch Modell, s. Bond & Fox, 2001). Bei einem Computer-adaptiven Testverfahren wird anhand eines Computer-Algorithmus aus den kalibrierten Items in Abhängigkeit vom Antwortverhalten des Testkandidaten das informativste Item ausgewählt. Nach jeder gegebenen Antwort wird die Merkmalsausprägung des Testkandidaten auf der zu messenden Merkmalsdimension erneut geschätzt und das nächste Item vorgegeben, solange bis ein definiertes Abbruchkriterium (z. B. hinreichende Genauigkeit oder Zuverlässigkeit der Merkmalsmessung) erreicht wird (Gershon, 2005). Abbildung 1 verdeutlicht exemplarisch den ablaufenden Prozess. Die Verbreitung von CAT in der klinisch-psychologischen Diagnostik ist noch gering. In den letzten Jahren ist aber aufgrund der zahlreichen Vorteile des CAT steigendes Interesse an dieser Methode zu verzeichnen (Gibbons et al., 2008; Gardner et al., 2004; Fliege et al., 2005). So konnten beispielsweise Gardner und Kollegen (2004) zeigen, dass ein adaptiv vorgegebenes Beck Depressionsinventar (BDI; Beck & Steer, 1987) im Vergleich zur üblichen statischen Variante eine vergleichbare Validität im Hinblick auf die Diagnose einer depressiven Episode zeigte, aber die Testung aufgrund weniger vorgegebener Items zeitlich deutlich verkürzt werden konnte. Somit verringert CAT die Testbelastung des Testanden (Gibbons et al., 2008), was insbesondere bei

4 62 Thomas Forkmann et al. Abbildung 1: Schematischer Ablauf eines Computer-adaptiven Testalgorithmus. θ: Ausprägung des zu messenden Merkmals (hier: Depressivität); SM: Standardmessfehler Patienten mit psychischen Störungen von großer Bedeutung ist. Der adaptive Algorithmus zum BDI wurde allerdings ausschließlich in Form einer Simulationsstudie post hoc an einem psychiatrischen Patientenkollektiv anhand von in anderen Studien gesammelten Daten kalibriert. Es ist daher unklar, inwieweit diese Kalibrierung auch auf spezifische Patientengruppen, wie z. B. primär körperlich Erkrankte, übertragbar ist, bei denen Depression auch einen wichtigen Prädiktor für Morbidität und Mortalität darstellt (Bush et al., 2001;

5 Adaptives Testen in der Psychotherapie 63 Di Benedetto et al., 2006). Außerdem ist die Anzahl der in den adaptiven Algorithmus eingehenden Items mit 21 eher gering, was bei Personen mit extremeren Merkmalsausprägungen von Nachteil sein kann. Im Folgenden soll die Entwicklung des Rasch-basierten adaptiven Depressionsscreening (A-DESC) vorgestellt werden. Das A-DESC wurde mit dem Ziel entwickelt, anhand einer umfangreichen kalibrierten Itembank ein valides Screeninginstrument für Depression bei psychisch und somatisch (kardiologisch bzw. HNO) erkrankten Patienten zu entwickeln. Die Vorteile, Möglichkeiten und Risiken des CAT für die klinische Diagnostik werden anhand dessen exemplarisch skizziert. Entwicklungsschritte eines Computer-adaptiven Testverfahrens Bei der Entwicklung eines CAT müssen mindestens drei große Entwicklungsschritte vollzogen werden, die in Abbildung 2 skizziert sind. Initialer Itempool. Zunächst muss für das zu messende Konstrukt (z. B. Depression ) ein umfassender, möglichst erschöpfender initialer Itempool zusammengestellt werden. Die Zusammenstellung eines solchen Pools kann anhand verschiedener Quellen erfolgen, die in der Regel miteinander kombiniert werden: bereits existierende diagnostische Inventare zu dem zu messenden Konstrukt: Ist die Erfassung des zu messenden Konstrukts bereits in anderen diagnostischen Verfahren realisiert, so können die Items dieser Verfahren adaptiert werden und in den Itempool Eingang finden. Durchsicht relevanter Publikationen: Eine sorgfältige Durchsicht relevanter Publikationen gibt Aufschluss darüber, welche Facetten des zu messenden Konstrukts als relevant diskutiert werden und daher im Itempool Berücksichtigung finden sollten. Befragung ausgewiesener Experten: Erfahrene klinische Experten sollten danach befragt werden, welche Aspekte des zu messenden Konstrukts insbesondere für die klinische Praxis von Bedeutung sind (z. B. differentialdiagnostisch, hinsichtlich ihrer prädiktiven Validität oder Schweregradeinschätzung) und daher zusätzlich aufgenommen werden sollten. Formulierung zusätzlicher Items: Auf Basis der Ergebnisse der Literaturdurchsicht und der Expertenbefragung sollten zusätzliche Items formuliert werden. Hierbei ist insbesondere darauf zu achten, dass im initialen Itempool möglichst alle diagnostisch relevanten Itemschwierigkeiten vertreten sind. Alle Items des initialen Itempools sollten hinsichtlich Antwortformat und Polung vereinheitlicht und in ihrer Reihenfolge randomisiert werden. Kalibirierung der Itembank. Ausgehend von dem initialen Itempool wird das Herzstück eines adaptiven Testverfahrens, die Itembank, kalibriert. Voraussetzung hierfür ist, dass die Items von einer hinreichend großen, für die

6 64 Thomas Forkmann et al. Zielpopulation repräsentativen Stichprobe beantwortet wurden. Kalibrierung ist in diesem Zusammenhang so zu verstehen, dass die Passung der Items zu der zu diagnostizierenden latenten Merkmalsdimension geprüft wird und anschließend für jedes Item die Itemschwierigkeit und der zugehörige Standardfehler empirisch geschätzt werden (Lai et al., 2005; Wright & Bell, 1984). Hierzu bieten sich insbesondere Verfahren aus der Familie der Item-Response-Modelle, z. B. das Rasch-Modell, an (Embretson & Reise, 2000; Linacre, 2000). Generierung des adaptiven Algorithmus. Im dritten Schritt wird der adaptive Algorithmus entwickelt, der auf die kalibrierte Itembank zugreift, die Items den Testanden präsentiert und nach einem definierten Kriterium abbricht. Diese drei zentralen Schritte beziehen sich ausschließlich auf die Entwicklung eines CAT. Selbstverständlich sollten sich eine sorgfältige Validierung des Verfahrens an einer hierzu gewonnenen Validierungsstichprobe sowie gegebenenfalls die Erstellung von Normen anschließen, bevor das Verfahren Einzug in die klinische Praxis findet. Entwicklung des A-DESC Die Entwicklung des Rasch-basierten adaptiven Depressionsscreenings (A- DESC) folgte im Wesentlichen den oben skizzierten Entwicklungsschritten (vgl. Abb. 2). Initialer Itempool Zur Erstellung des initialen Itempools wurden englisch- und deutschsprachige Depressionsfragebögen, Beschwerdelisten sowie diesbezügliche Publikationen nach Items durchsucht, Experten befragt und auf Basis dessen weitere Items konstruiert. Die zusammengestellten Items wurden auf ein einheitliches Format gebracht, randomisiert und einer Gruppe von 49 erfahrenen Psychiatern und Klinischen Psychologen zur Beurteilung ihrer Relevanz hinsichtlich der Diagnose einer depressiven Episode vorgelegt. Die Experten (mindestens 2 Jahre Berufserfahrung, mittlere Berufserfahrung 13 Jahre, SD = 8.7) zeigten eine hohe Übereinstimmung in ihren Relevanzurteilen. Hierzu wurde der unjustierte Intraklassenkorrelationskoeffizient (ICC unjust ) bestimmt. Dieser ermittelt die Übereinstimmung der Raterurteile simultan über alle Items und alle Rater in einem einer zweifaktoriellen Varianzanalyse ähnlichen Vorgehen (für eine ausführliche Darstellung s. Wirtz & Caspar, 2002). Der ICC unjust,mw betrug.97 (Konfidenzintervall.96 bis.98; F 183,8784 = 44.29, p <.001). 157 Items wurden von den Experten als mindestens teilweise relevant eingestuft, diese Items bilden den Aachener Depressions-Itempool (ADIP). Items zu somatischen Symptomen wurden übereinstimmend als nicht relevant beurteilt. Da die Relevanz somatischer Items für die Depressionsdiagnostik in der Literatur kontrovers diskutiert wird (z. B. Abdel-Khalek, 2004; Simon et al., 1999), wurden diese Items für die weiteren Analysen dennoch zum Itempool hinzugefügt, um untersuchen zu können, inwieweit sie sich gemeinsam mit Items

7 Adaptives Testen in der Psychotherapie 65 Abbildung 2: Die drei zentralen Schritte bei der Entwicklung eines Computeradaptiven Testverfahrens.

8 66 Thomas Forkmann et al. zu kognitiv-emotionalen Aspekten der Depression in einer eindimensionalen Rasch-kalibrierten Itembank abbilden lassen. Die Basis für die weiteren Analysen waren somit 181 Items. Kalibrierung der Itembank Stichprobe. Zur Kalibrierung der Itembank wurden Daten von insgesamt 367 Patienten erhoben (161 Patienten, die sich aufgrund einer depressiven Erkrankung in stationär psychiatrischer Behandlung befanden, 103 Patienten aus der Kardiologie und 103 HNO-Patienten). Das durchschnittliche Alter der Patienten betrug 44.1 Jahre (SD = 14.0), 44.7 % waren Frauen. Körperlich erkrankte Patienten wurden in die Stichprobe aus zweierlei Gründen eingeschlossen: Zum einen zeigen kardiologische Patienten generell eine hohe Prävalenz für komorbide Depression (MacMahon & Lip, 2002). Diese Patientengruppe stellt daher ein primäres Einsatzgebiet für ein neues adaptives Depressionsdiagnostikum dar. HNO-Patienten wurden neben kardiologischen Patienten eingeschlossen, um ein Klientel zu berücksichtigen, das ebenfalls aufgrund einer körperlichen Erkrankung in stationärer Behandlung ist allerdings geringere Komorbiditätsraten mit Depression aufweist (Chandra et al., 2009). Von einem diagnostischen Verfahren, das in beiden somatisch erkrankten Gruppen gleichermaßen gute psychometrische Eigenschaften zeigt, kann angenommen werden, dass es bei somatisch erkrankten Patienten unabhängig von ihrer Primärdiagnose valide und reliabel zu messen in der Lage ist. Zum anderen sollte über diese Stichprobenzusammensetzung die Varianz der Depressionsschwere in den Daten erhöht werden. Rasch-Analyse. Mittels der Rasch-Analyse wurden die Items des ADIP auf ihre psychometrische Qualität hin überprüft. Die Analysen wurden mit dem Computerprogramm WINSTEPS durchgeführt. Es wurden folgende Aspekte untersucht: 1. die Personentrennung (wie gut verschiedene Ausprägungen in der untersuchten Eigenschaftsdimension in der Population durch die Items der Itembank dargestellt werden können), 2. die Itemtrennung (wie gut die gewählten Items unterschiedliche Ausprägungen der untersuchten Eigenschaftsdimension erfassen können), 3. der Itemfit (das Ausmaß, in dem die Stichprobe als Gesamtheit unerwartet auf bestimmte Items der Itembank reagiert), 4. die Eindimensionalität (wie viel Varianz erklärt das zu messende Merkmal und finden sich in der Residualvarianz Hinweise auf eine weitere Dimension?), 5. das Differential Item Functioning (DIF; das Ausmaß, in dem Items geeignet sind, Merkmalsausprägungen fair, d. h. unabhängig von der Zugehörigkeit des Patienten zu Subpopulationen, abzubilden) sowie 6. der Item Spread (die Breite des Bereichs der Merkmalsdimension, der von der Itembank präzise gemessen werden kann).

9 Adaptives Testen in der Psychotherapie 67 Die Itemtrennung war mit einem Wert von 5.84 (Reliabilität.97) ebenso wie die Personentrennung mit einem Wert von 7.68 (Reliabilität.98) sehr gut. Als Kriterium für einen ausreichenden Itemfit wurde Infit < 1.3 festgelegt (Bond & Fox, 2001). Von den ursprünglich 181 Items wurden aufgrund mangelhaften Modelfits 98 Items ausgeschlossen. Hierunter waren die entgegen der Experteneinschätzung in die Analyse eingeschlossenen somatischen Items (s. o.). Die Überprüfung der Eindimensionalität ergab, dass die Primärdimension (Depression) 93.2 % (Eigenwert 55.9), eine etwaige Sekundärdimension 0.5 % der Varianz erklärt. Dies spricht laut McDonald (1999) für die Eindimensionalität der Itembank. Von den nach Ausschluss aufgrund unzureichenden Itemfits verbleibenden Items zeigten sieben geschlechtsbezogenes und sechs altersbezogenes DIF: Die Itemschwierigkeiten bildeten die Unterschiede zwischen männlichen und weiblichen Patienten bzw. zwischen jungen und alten Probanden (getrennt nach Mediansplit) nicht modellkonform ab. Da beiden DIFs allerdings mit geschlechts- bzw. altersabhängigen Itemschwierigkeiten im Rahmen der Algorithmuserstellung begegnet werden kann, wurden diese Items in der Itembank belassen. Nachdem mittels separater DIF-Analyse sichergestellt wurde, dass die Itemschwierigkeiten die Unterschiede zwischen kardiologischen und HNO-Patienten fair abbilden, wurde darüber hinaus untersucht, inwieweit es DIF für somatische vs. wegen eines depressiven Syndroms behandelte Patienten gab. Es zeigte sich DIF für zehn Items, wobei sechs dieser Items für somatische Patienten im Vergleich zu wegen eines depressiven Syndroms behandelten Patienten modellinkonform erhöhte Itemschwierigkeiten zeigten. Da eine weitere Analyse allerdings zeigte, dass die Itemschwierigkeiten für somatisch erkrankte Patienten, die zusätzlich eine depressive Symptomatik zeigten (BDI > 10) und ausschließlich depressiven Patienten Unterschiede, die auf der latenten Dimension vorliegen, fair abbildeten, wurden diese Items in der Itembank belassen. Die Schwierigkeiten der übrigen vier Items waren größer für somatisch erkrankte Patienten als für wegen eines depressiven Syndroms behandelte Patienten; diese Items wurden ausgeschlossen. Die endgültige Itembank umfasst 79 Items, die mit einem Standardmessfehler (SM) von 0.5 in einem Bereich von 5.35 bis 5.20 Depression präzise erfassen und damit 90 % der Entwicklungsstichprobe umschließen. Tabelle 1 zeigt 15 Beispielitems aus der Itembank (je fünf Items mit großer, mittlerer und geringer Itemschwierigkeit) mit dazugehörigen Itemcharakteristiken (Forkmann et al., 2009). Generierung des adaptiven Algorithmus Der adaptive Algorithmus, der auf die kalibrierten Items der Itembank zugreift, muss im Wesentlichen drei Aufgaben erfüllen: (1) Berechnung des Personenkennwertes θ und des zugehörigen Standardmessfehlers (SM) anhand der bisherigen Antworten des Patienten; (2) Auswahl und Präsentation von Items auf Basis der bisher gegebenen Antworten des Patienten; (3) Abbruch

10 68 Thomas Forkmann et al. der Testung wenn ein zuvor definiertes Abbruchkriterium erreicht ist. Der dem A-DESC zugrunde liegende Algorithmus ist in Abbildung 1 schematisch dargestellt. Tabelle 1: Exemplarische Itemcharakteristiken von je fünf Items der Itembank mit großer, mittlerer und geringer Itemschwierigkeit. Rasch Parameter Item δi SM Item-Infit Wie oft in den letzten 2 Wochen machten Sie genaue Pläne, wie Sie sich umbringen würden? dachten Sie daran, mit dem Leben Schluss zu machen? hatten Sie das Gefühl, Ihr Interesse an anderen Menschen verloren zu haben? fühlten Sie sich unerwünscht? dachten Sie, Ihr Leben sei ein einziger Fehlschlag? fühlten Sie sich als völliger Versager? konnten Sie aus nichts mehr Befriedigung ziehen? fühlten Sie sich ideenlos? fühlten Sie sich leer? hatten Sie weniger Selbstvertrauen als früher? waren Sie traurig? konnten Sie Aktivitäten nicht mehr so genießen wie früher? nahmen Sie die Dinge schwer? fühlten Sie sich einsam? bereiteten Ihnen die Dinge, die Sie früher gerne getan hatten, keine Freude mehr? δi: Delta, Itemschwierigkeit; SM: Standardmessfehler Der Algorithmus startet mit der Präsentation eines Items mittlerer Schwierigkeit. Auf Basis der Antwort des Patienten auf dieses Item wird durch den Algorithmus mittels Expected a Posteriori (EAP) Schätzung der für diese Antwort wahrscheinlichste Wert für den Personenkennwert ermittelt (s. auch Bock & Mislevy, 1982). Anschließend wird die Maximum posterior weighted information -Methode (MPWI) angewendet, um das nächste Item auszuwählen (van der Linden & Pashley, 2000). Durch die MWPI-Methode wird stets

11 Adaptives Testen in der Psychotherapie 69 dasjenige Item ausgewählt und präsentiert, das relativ zu dem auf Basis der bisherigen Antworten ermittelten Personenkennwert θ die bestmögliche zusätzliche Information zu liefern verspricht (van der Linden & Pashley, 2000). Für den Abbruch des Algorithmus sind verschiedene Kriterien möglich, von denen der Standardmessfehler (SM) das derzeit gängigste darstellt (Gershon, 2005). Hierbei ermittelt der Algorithmus nach jeder Antwort des Patienten auf ein Item, mit welcher Messpräzision der Personenkennwert bestimmbar ist. Ist diese Messpräzision ausreichend hoch, d. h., sinkt der Standardmessfehler unter einen zuvor definierten Kriteriumswert, so bricht der Algorithmus ab und berichtet das Ergebnis der Testung. Abbildung 3 visualisiert, wie sich mit zunehmender Anzahl präsentierter Items die Schätzung des Personenkennwertes θ auf dem Niveau des wahren (in der Praxis aber natürlich unbekannten) Wertes für θ einpendelt bei gleichzeitig abnehmendem Standardmessfehler. Eine Validierung des Algorithmus des A-DESC steht noch aus. Abbildung 3: Schematische Darstellung des Verlaufs der Schätzung der Ausprägung des Personenmerkmals in Computer-adaptiven Testverfahren (Daten simuliert). Mit zunehmender Anzahl an präsentierten Items nähert sich der geschätzte Wert des Personenmerkmals dem wahren Wert an, bei gleichzeitig schmaler werdenden Konfidenzbändern (SEM-Band).

12 70 Thomas Forkmann et al. Diskussion Mit dem Rasch-basierten Adaptiven Depressionsscreening (A-DESC) wurde für die Depressionsdiagnostik ein neues Verfahren entwickelt, das diesem Bereich der klinischen Diagnostik die Vorteile des CAT-Ansatzes zu eröffnen verspricht. Das Herzstück des A-DESC, die kalibrierte Itembank, besteht größtenteils aus Items zu kognitiv-emotionalen Aspekten der Depression (Forkmann et al., 2009). Items zu somatischen Symptomen mussten im Rahmen der Rasch-Analyse erwartungsgemäß ausgeschlossen werden. Bereits frühere Untersuchungen zeigten unzureichenden Modelfit oder Verletzungen der Eindimensionalität bei Depressionsinventaren, die somatische Items enthalten (Licht et al., 2005; Moeller, 2001). Bisherige Studien zeigten zudem, dass somatische Symptome in Fragebögen eher zu einer artifiziell erhöhten Anzahl falsch positiver Klassifikationen führen, insbesondere bei komorbid somatisch erkrankten Patienten sowie Personen höheren Lebensalters (Alexopoulos et al., 2002; Möller, 2001; Gauggel et al., 1994). Daher verspricht ein eher kognitiv-emotional orientiertes Verfahren wie der A-DESC vielmehr, realistischere Klassifikationen zu ermöglichen. Eine depressive Stimmung kann mithilfe des A-DESC weitestgehend unabhängig von der Primärdiagnose des Patienten präzise über ein breites Ausprägungsspektrum hinweg gemessen werden (Lai et al., 2005). Insbesondere im Bereich mittlerer bis schwerer Depressivität kann das A-DESC den Ausprägungsgrad der Depressivität aller Personen der Entwicklungsstichprobe präzise messen. Die Entwicklung des A-DESC auf der Grundlage von Daten kardiologischer und HNO-Patienten sowie von Patienten, die wegen eines depressiven Syndroms in stationärer Behandlung sind, ermöglicht zudem den Einsatz des Verfahrens in ganz unterschiedlichen Settings. Zudem ist die Ersparnis an auszufüllenden Items und damit notwendiger Zeit, die durch die adaptive Prozedur erreichbar ist, von großem Vorteil für den Einsatz als Screeninginstrument in Settings, in denen Zeit sehr knapp, gleichzeitig aber die Prävalenz von Depression relativ hoch ist, wie es z. B. in kardiologischen Kliniken der Fall ist (MacMahon & Lip, 2002). Eine mögliche Limitierung des adaptiven Ansatzes besteht darin, dass sich durch die reduzierte Itemanzahl nicht alle ICD-10 Kriterien abdecken lassen. Daher bleiben eine fundierte klinische Anamnese und die Durchführung eines strukturierten Interviews für die Diagnosestellung und Behandlungsplanung unersetzlich. Vorteile, Möglichkeiten und Risiken des CAT-Ansatzes für die klinische Diagnostik Computer-adaptives Testen eröffnet eine Vielzahl von Vorteilen und neuen Möglichkeiten, die herkömmliche statische, aber auch adaptive Papier-Bleistift-Verfahren nicht zu realisieren in der Lage sind. Das hervorstechendste Merkmal von CATs ist die deutliche Reduktion der notwendigen Itemzahl,

13 Adaptives Testen in der Psychotherapie 71 die direkt zu reduzierter Testbelastung auf Seiten des Patienten, aber auch zu eingesparten Ressourcen auf Seiten des Testleiters führt. Der Aufwand des Testleiters reduziert sich hierbei nicht nur im Vergleich zu statischen Instrumenten (klassischer Papier-Bleistift-Test bzw. Fragebogen) sondern auch zu adaptiven Papier-Bleistift-Instrumenten, da CAT die Möglichkeit eröffnet, Auswertung, Rückmeldung und Archivierung der Testergebnisse weitestgehend zu automatisieren. Da für den Testleiter keinerlei Aufwand bei der Auswertung des Testes entsteht, erleichtert sie zudem die zeitnahe Rückmeldung von Testergebnissen und damit deren direkte Berücksichtigung im therapeutischen Prozess. Wenngleich noch keine diesbezüglichen Studien existieren, so ist doch zu vermuten, dass sich die Testmotivation auf Seiten des Patienten durch CAT tendenziell erhöht. Dies ist zum Einen auf die deutliche Verkürzung des Testes zurückzuführen, zum Anderen darauf, dass der Patient wegen der an seinem eigenen Antwortverhalten orientierten Auswahl der Items das berechtigte Gefühl hat, dass die Items besser auf ihn passen. Effekte aus der Leistungsdiagnostik, die in einer adaptiven Prozedur aufgrund der relativ zum Personenmeasure durchweg mittleren Schwierigkeit der Items eine Abnahme der Testmotivation insbesondere bei leistungsstarken Probanden zeigten (Eggen, 2004; Ponsoda et al., 1999), sind in der klinischen Anwendung und insbesondere bei reinen Selbstbeurteilungsverfahren nicht zu erwarten. Darüber hinaus werden beim CAT Decken- und Bodeneffekte minimiert. In einem herkömmlichen Fragebogen muss z. B. ein nicht-depressiver Klient auch alle Fragen zu Suizidalität ausfüllen. Diese vor allem mit schwerer Depression verbundenen Items messen aber gar nicht in seinem Ausprägungsbereich des Konstrukts. Daher entsteht der Effekt, dass zum einen mehr Items nötig sind. Zum anderen nimmt die Messpräzision in den Extremen ab. Insbesondere für wiederholte Messungen, wie sie z. B. für die Feststellung von Veränderungen im Verlauf einer psychotherapeutischen Behandlung zum Einsatz kommen, ist Reduzierung von Decken- und Bodeneffekten mittels CAT von großem Vorteil (Tennant et al., 2004). Insbesondere für den ambulanten psychotherapeutischen Bereich kann die Möglichkeit der Web-basierten Implementierung eines CATs weitere spürbare Erleichterungen ermöglichen. So könnten Patienten etwa in der probatorischen Phase der Therapie ausführliche diagnostische Inventare über einen vom Therapeuten vergebenen Passwort-geschützten Zugang zu Hause am eigenen PC ausfüllen. Die Ergebnisse würden dem Therapeuten direkt nach dem Ausfüllen und somit bereits vor der nächsten Therapiesitzung vorliegen und könnten sofort berücksichtigt werden. Web-basierte Plattformen für die CAT-Implementierung existieren bereits für den Bereich der Leistungsdiagnostik (Milbradt et al., 2007). Für den klinischen Einsatz ist allerdings noch unklar, inwieweit eine solche Praxis die Validität der Testergebnisse beeinträchtigt. Es ist allerdings zu vermuten, dass die web-basierte Fragebogenadministration vergleichbar sein sollte mit der bereits vielerorts gängigen Praxis

14 72 Thomas Forkmann et al. des Versendens von Papier-Bleistift-Fragebögen an den Patienten zu Beginn einer Therapie. Mit der Intensivierung der Entwicklung von CATs für die verschiedensten klinisch-diagnostischen Fragestellungen ist zu erwarten, dass die Tendenz hin zu größtenteils technikunterstützter Diagnostik weiter beschleunigt wird. Bisherige Untersuchungen, die sich mit dieser Entwicklung beschäftigten, fokussierten vor allem auf die Frage, inwieweit ein am PC administriertes diagnostisches Instrument mit seinem Papier-Bleistift-basierten Äquivalent hinsichtlich der psychometrischen Qualität vergleichbar ist. Hierbei konnte weitestgehend gezeigt werden, dass auch bei psychisch erkrankten Personen computer-gestützte Diagnostik ohne weiteres valide einsetzbar ist (Eisen et al., 2004; Kurt et al., 2004; Schmitz et al., 2000). Inwieweit eine zunehmende Technisierung der klinisch-psychologischen Diagnostik Auswirkungen auf die Art und evtl. Qualität der therapeutischen Beziehung haben kann, ist allerdings unklar. Gerade die diagnostische Phase einer Psychotherapie ist für die Schaffung von Grundlagen für eine tragfähige therapeutische Beziehung allerdings wichtig, so dass Studien zu den Auswirkungen von computerisierter Diagnostik auf diesen Teil des therapeutischen Prozesses wünschenswert erscheinen. Zusammenfassung und Ausblick CAT ist eine vielversprechende Methode, um eine bessere Individualisierung standardisierter diagnostischer Verfahren zu ermöglichen, die mit vielen testtheoretischen sowie praktischen Vorteilen für Diagnostiker und Patienten einhergehen kann. Eine Ausweitung auf andere psychische Konstrukte ist wünschenswert. Insbesondere der Versuch, ein multidimensionales Verfahren zu entwickeln, das die zentralen Dimensionen psychischen Erlebens simultan adaptiv erfasst und damit eine Alternative zu bisherigen derartigen Verfahren wie z. B. der SCL90-R (Derogatis, 1992) darstellen kann, sollte ermutigt werden. Zusammenfassend kann der Ansatz des adaptiven Testens mithilfe moderner leistungsfähiger Computer unter Berücksichtigung der diskutierten Argumente generell als vielversprechende neue Methode, insbesondere für die psychotherapeutische und psychiatrische Praxis, eingestuft werden. Mit dem Rasch-basierten Adaptiven Depressionsscreening (A-DESC) wurde für die Depressionsdiagnostik ein neues Verfahren vorgestellt, dass diesem Bereich der klinischen Diagnostik die Vorteile des CAT-Ansatzes zu eröffnen verspricht. Literatur Abdel-Khalek, A. M. (2004). Can somatic symptoms predict depression? Social Behavior and Personality, 32, Alexopoulos, G. S., Borson, S., Cuthbert, B. N., Devanand, D. P., Mulsant, B. H., Olin, J. T., & Oslin, D. W. (2002). Assessment of late life depression. Biological Psychiatry, 52,

15 Adaptives Testen in der Psychotherapie 73 Andrich, D. (1978). Rating formulation for ordered response categories. Psychometrica, 43, Beck, A. T. & Steer, R. A. (1987). Beck Depression Inventory. San Antonio: The Psychological Corperation Inc. Binet, A. & Simon, T. A. (1905). Méthodes nouvelles pour le diagnostic du niveau intellectual des anormaux. l Anneé Psychologie, 11, Bond, T. G. & Fox, C. M. (2001). Applying the Rasch model: Fundamental measurement in the human sciences. Mahwah, New Jersey: Lawrence Erlbaum. Bush, D. E., Ziegelstein, R. C., Tayback, M., Richter, D., Stevens, S., Zahalsky, H. et al. (2001). Even minimal symptoms of depression increase mortality risk after acute myocardial infarction. American Journal of Cardiology, 88, Chandra, R. K., Epstein, V. A., & Fishman, A. J. (2009). Prevalence of depression and antidepressant use in an otolaryngology patient population. Otolaryngology Head & Neck Surgery, 141, De Bonis, M., Lebeaux, M. O., de Boeck, P., Simon, M., & Pichot, P. (1991). Measuring the severity of depression through a self-report inventory. A comparison of logistic, factorial and implicit models. Journal of Affective Disorders, 22, Derogatis, L. R. (1992). The Symptom Checklist-90-revised. Minneapolis, MN: NCS Assessments. Di Benedetto, M., Lindner, H., Hare, D. L., & Kent, S. (2006). Depression following acute coronary syndromes: a comparison between the Cardiac Depression Scale and the Beck Depression Inventory II. Journal of Psychosomatic Research, 60, Eggen, T. J. H. M. (2004). Contributions to the theory and practice of computerized adaptive testing. Enschede: Print Partners Ipskamp. Eisen, S. V., Toche-Manley, L. L., & Grissom, G. R. (2004). Computer-administered versus paper-and-pencil mental health surveys. Psychiatric Services, 55, Embretson, S. E. & Reise, S. P. (2000). Item response theory for psychologists. Mahwah, NJ: Erlbaum. Fliege, H., Becker, J., Walter, o. B., Bjorner, J. B., Klapp, B. F., & Rose, M. (2005). Development of a computer-adaptive test for depression (D-CAT). Quality of Life Research, 14, Forkmann, T., Boecker, M., Norra, C., Eberle, N., Kircher, T., Schauerte, P., Mischke, K., Westhofen, M., Gauggel, S., Wirtz, M. (2009). Development of an item bank for the assessment of depression in persons with mental illnesses and physical diseases using Rasch analysis. Rehabilitation Psychology, 54, Frey, A. (2007). Adaptives Testen. In H. Moosbrugger & A. Kelava (Eds.), Testtheorie und Fragebogenkonstruktion (S ). Berlin: Springer. Gardner, W., Shear, K., Kelleher, K. J., Pajer, K. A., Mammen, O., Buysse, D., & Frank, E. (2004). Computerized adaptive measurement of depression: a simulation study. BMC Psychiatry, 4, Gauggel, S., Schmidt, A., & Didié, M. (1994). Körperliche Beschwerden und deren Einfluss auf die Erfassung depressiver Störungen bei jüngeren und älteren Menschen. Zeitschrift für Gerontopsychologie und Gerontopsychiatrie, 7, Gershon, R. C. (2005). Computer adaptive testing. Journal of Applied Measurement, 6, Gibbons, R. D., Weiss, D. J., Kupfer, D. J., Frank, E., Fagiolini, A., Grochocinski, V. J., Bhaumik,D. K., Stover, A., Bock, R. D., & Immekus, J. C. (2008). Using computer-

16 74 Thomas Forkmann et al. ized adaptive testing to reduce the burden of mental health assessment. Psychiatric Services, 59, Hornke, L. F., Küppers, A., & Etzel, S. (2000). Konstruktion und Evaluation eines adaptiven Matrizentests. Diagnostica, 46, Ireland, C. M. (1977). An application of the Rasch one parameter logistic model to individual intelligence testing in a tailored testing environment. Dissertation Abstracts International, 37, Kubinger, K. D. & Wurst, E. (2001). Adaptives Intelligenz Diagnostikum 2. Göttingen: Hogrefe. Kurt, R., Bogner, H. R., Straton, J. B., Tien, A. Y., & Gallo, J. J. (2004). Computer-assisted assessment of depression and function in older primary care patients. Computer Methods and Programs in Biomedicine, 73, Lai, J.-S., Dineen, K., Reeve, B. B., Von Roenn, J., Shervin, D., McGuire, M., Bode, R. K., Paice, J., & Cella, D. (2005). An item response theory-based pain item bank can enhance measurement precision. Journal of Pain and Symptom Management, 30, Licht, R. W., Qvitzau, S., Allerup, P., & Bech, P. (2005). Validation of the Bech-Rafaelsen Melancholia Scale and the Hamilton Depression Scale in patients with major depression; is the total score a valid measure of illness severity? Acta Psychiatrica Scandinavica, 111, Linacre, J. M. (2000). Computer-adaptive testing: a methodology whose time has come. In S. Chae, U. Kang, E. Jeon, & J. M. Linacre (Eds.), Development of computerized middle school achievement test. Seoul: Komesa Press. Lord, F. M. & Novick, M. R. (1968). Statistical Theories of Mental Test Scores. Reading MA: Addison-Wesley. MacMahon, K. M. & Lip, G. Y. (2002). Psychological factors in heart failure: a review of the literature. Archives of Internal Medicine, 162, Masters, G. N. (1982). A Rasch model for partial credit scoring. Psychometrika, 47, McDonald, R. P. (1999). Test theory: a unified treatment. Mahwah, NJ: Lawrence Erlbaum. Milbradt, A., Zimmerhofer, A., & Hornke, L. F. (2007). TestMaker a software for web-based assessments [Computer software]. Aachen: RWTH Aachen University, Department of Industrial and Organizational Psychology. Möller, H. J. (2001). Methodological aspects in the assessment of severity of depression by the Hamilton Depression Scale. European Archives of Psychiatry and Clinical Neuroscience, 251, Suppl 2, II/13-II/20. Ponsoda, V., Olea, J., Rodriguez, M. S., & Revuelta, J. (1999). The effects of test difficulty manipulation in computerized adaptive testing and self-adapted testing. Applied Measurement in Education, 12, Reeve, B. B., Hays, R. D., Bjorner, J. B., Cook, K. F., Crane, P. K., Teresi, J., Thissen, D., Revicki, D. A., Weiss, D. J., Hambleton, R. K., Liu, H., Gershon, R., Reise, S. P., Lai, J. S., & Cella, D. (2007). Psychometric evaluation and calibration of health-related quality of life item banks: plans for the Patient-Reported Outcomes Measurement Information System (PROMIS). Medical Care, 45, Rost, J. (1999). Was ist aus dem Rasch-Modell geworden? Psychologische Rundschau, 50, Schmitz, N., Hartkamp, N., Brinschwitz, C., Michalek, S., & Tress, W. (2000). Comparison of the standard and the computerized versions of the Symptom Check List (SCL-90-R): a randomized trial. Acta Psychiatrica Scandinavica, 102,

17 Adaptives Testen in der Psychotherapie 75 Simon, G. E., VonKorff, M., Piccinelli, M., Fullerton, C., & Ormel, J. (1999). An international study of the relation between somatic symptoms and depression. The New England Journal of Medicine, 341, Tennant, A., Penta, M., Tesio, L., Grimby, G., Thonnard, J. L., Slade, A., Lawton, G., Simone, A., Carter, J., Lundgren-Nilsson, A., Tripolski, M., Ring, H., Biering-Sorensen, F., Marincek, C., Burger, H., Phillips, S. (2004). Assessing and adjusting for cross-cultural validity of impairment and activity limitation scales through differential item functioning within the framework of the Rasch model: the PRO-ESOR project. Medical Care, 42, I37-I48. Tinsley, H. E. (1972). An investigation of the Rasch simple logistic model for tests of intelligence or attainment. Dissertation Abstracts International, 32, Tinsley, H. E. & Dawis, R. V. (1977). Test-free person measurement with the Rasch simple logistic model. Applied Psychological Measurement, 1, van der Linden, W. J. & Pashley, P. J. (2000). Item selection and ability estimation in adaptive testing. In W. J. van der Linden & C. A. W. Glas (Eds.), Computerized adaptive testing: Theory and practice (S. 1 26). Dordrecht: Kluwer. van der Linden, W. J. & Glas, C. A. W. (2000). Computerized adaptive testing: theory and practice. Dordrecht: Kluwer. Verguts, T. & De Boeck, P. (2000). A Rasch model for detecting learning while solving an intelligence test. Applied Psychological Measurement, 24, Walter, o. B., Becker, J., Bjorner, J. B., Fliege, H., Klapp, B. F., & Rose, M. (2007). Development and evaluation of a computer adaptive test for Anxiety (Anxiety-CAT). Quality of Life Research, 16, Suppl 1, Wirtz, M. & Caspar, F. (2002). Beurteilerübereinstimmung und Beurteilerreliabilität. Göttingen: Hogrefe. Wright, B. D. & Bell, S. R. (1984). Item banks: what, why, how. Journal of Educational Measurement, 21, Wright, B. D. & Stone, M. H. (1979). Best test design. Chicago: Mesa Press. Young, J. W. (1990). Adjusting the cumulative GPA using item response theory. Journal of Educational Measurement, 27, Danksagung Franziska Both, Eva Meier, Thomas Vehren, Theresa Hykel, Stephanie Frauenrath, Tanja Mager, Patricia Brockmann, Sheila Malik, Dr. Markus Pawelzik, Dr. Klaus Greven, Prof. Dr. Patrick Schauerte, Prof. Dr. Martin Westhofen, Prof. Dr. Tilo Kircher. Diese Arbeit wurde vom START-Programm der Medizinischen Fakultät der RWTH Aachen University und der Deutschen Forschungsgemeinschaft (DFG, WI3210/2-1) gefördert. Korrespondenzadresse: Dr. Dipl.-Psych. Thomas Forkmann, Institut für Medizinische Psychologie und Medizinische Soziologie, Universitätsklinikum der RWTH Aachen University, Pauwelsstraße 30, Aachen; tforkmann@ukaachen.de