Projektskizze der Validierung des Computer Adaptiven Tests zur Angstmessung ( Angst-CAT )

Transkript

1 Projektskizze der Validierung des Computer Adaptiven Tests zur Angstmessung ( Angst-CAT ) 1. Projektbezeichnung Validierung des Computer Adaptiven Tests zur Angstmessung ('Angst-CAT') 2. Kurztitel Validierung des 'Angst-CAT' 3. Zusammenfassung Geplant ist die Validierung des Computer Adaptiven Tests zur Angstmessung ('Angst-CAT'). Dieser von der Forschungsgruppe innerhalb des letzten Jahres auf der Grundlage der Item Response Theorie ( IRT ) entwickelte Test zeichnet sich durch eine hohe Meßpräzision bei einer Reduzierung des Itemumfangs mittels eines individuell 'adaptiven' Vorgehens aus. Nachdem erste Simulationsexperimente darauf hindeuten, dass das entwickelte Angst-CAT gegenüber herkömmlichen Verfahren hinsichtlich seiner Ökonomie und Meßpräzision überlegen ist, kann jetzt eine prospektive Validierungsuntersuchung durchgeführt werden. Als Validierungsinstrumente sollen ein klinisch strukturiertes Interview (CIDI), zwei Angstfragebögen (HADS, BAI) und zwei Persönlichkeitsinventare (NEO-FFI, GTS) an N = 200 stationären Patienten der Medizinischen Klinik mit Schwerpunkt Psychosomatik und Psychotherapie innerhalb des nächsten halben Jahres eingesetzt werden. 4. Stand der Forschung Während in der Schuleignungsdiagnostik im angloamerikanischen Raum bereits Computer Adaptive Tests eingesetzt werden (z.b. der Scholastic Aptitude Test, SAT oder das Graduate Record Examination; GRE; Educational Testing Service, ETS, 2001) und im medizinischen Bereich ein amerikanischer Computer Adaptive Tests erstmals zur Messung von Kopfschmerzen entwickelt wurde (HIT, Headache Impact Test, (Ware, Jr., Bjorner, & Kosinski, 2000)) entwickelt wurde, fehlen bislang Computer Adaptive Tests im klinisch-psychologischer Bereich. Mit dem Angst-CAT wurde somit einer der ersten deutschsprachigen Computer Adaptiven Tests (CAT) auf der Grundlage der Item Response Theorie (IRT) entwickelt. Unsere Forschungsgruppe verfolgt seit Jahren das Ziel, die Psychodiagnostik durch verschiedene psychometrische Ansätze zu verbessern (Hörhold & Klapp, 1993; Rose, Hess, Hoerhold, Braehler, & Klapp, 1999) (Fliege, Rose, Arck, Levenstein, & Klapp, 2001; Rose, Fliege, Walter, Hörhold, & Klapp, 2002; Schoeneich et al., 2000; Scholler, Fliege, & Klapp, 1999). In letzter Zeit steht hier die Entwicklung von sogenannten Computer Adaptiven Tests (CAT) im Rahmen eines DFG-Projekts (M. Rose) im Vordergrund. Diese Tests unterscheiden sich von herkömmlichen paper&pencil Fragebögen einerseits durch den Computereinsatz, andererseits durch die zugrundeliegende Testtheorie. Während konventionelle psychometrische Verfahren auf der Klassischen Testtheorie (KTT) basieren, werden Computer Adaptive Tests auf der Grundlage einer Testtheorie, welche die Item Response Theory (IRT) genannt wird, entwickelt. Bei den herkömmlicher (KTT basierter) Fragebögen, erhält jeder Patient die gleichen umfangreichen Itemmengen, um Ergebnisse interindividuell vergleichbar zu machen. Dies führt dazu, dass Patienten im Rahmen einer Testbatterie mit sehr großen Itemmengen konfrontiert werden, welche oft Items beinhalten, die für einzelne Patienten keine Relevanz haben bzw. sinnlos sind. Hingegen vermögen Computer Adaptive Tests den Patienten durch einen flexiblen, logischen Abfolgealgorithmus nur diejenigen Items vorzulegen, welche individuell zu ihnen passen (=adaptiv). Dadurch werden Patienten mit erheblich weniger Items konfrontiert, während die Meßpräzision und die interindividuelle Vergleichbarkeit der Daten aufgrund der Anwendung der IRT erhalten bleibt. Da nur ein Drittel der Itemmenge von herkömmlichen Fragebögen in einer Computer adaptiven Erhebung benötigt wird, verringert sich die psychodiagnostische Belastung des Patienten und Diagnostikers, Ermüdungserscheinungen und Motivationsprobleme, die mit herkömmlichen Testbatterien einhergehen, werden reduziert, so dass letztendlich die Datenqualität verbessert wird. Trotz der signifikanten Reduzierung der Itemanzahl auf ein Drittel der Itemmenge der herkömmlichen Fragebögen, ermöglicht die CAT-Testung eine hohe Meßpräzision sowie interindividuelle Vergleichbarkeit. Im letzten Jahr wurde in der Arbeitsgruppe ein Computer Adaptiver Test zur Angstmessung (Angst- CAT) auf der Grundlage der Item Response Theorie (IRT) entwickelt. Dazu wurden psychodiagnostische Daten aus 13 etablierten klinisch-psychologischen Fragebögen von N = 2348

2 Patienten, welche zwischen 1995 und 2001 in der Medizinischen Klinik mit Schwerpunkt Psychosomatik der Charité, Humboldt-Universität Berlin, behandelt wurden, analysiert. Statistische Itemanalysen, welche Unidimensionalitäts-überprüfungen, Residuale Kovarianzanalysen, Analysen von Testgraphiken und Itemparametern umfassten, erfolgten mit den Computerprogrammen SPSS, SAS, Mplus, TestGraf und Parscale. Diese wurden durchgeführt, um diejenigen Items mit den besten psychometrischen Eigenschaften auszuwählen, welche als Itembank dem Angst-CAT zugrunde liegen sollen. Das Angst-CAT greift während einer Computer Adaptiven Messung auf eine Itembank von 50 psychometrisch hochwertigen, angstrelevanten Items zurück, von denen im Durchschnitt 7+/-2 Items (Arithmetisches Mittel +/- 2 Standardabweichungen) den Patienten vorgelegt werden, um eine hoch reliable Messung zu erzielen (Reliabilität r.90). In ersten Simulationsexperimenten zeigt sich, dass der itemreduzierte Angst-CAT mit einem Summenscore aller Items (N=50) sehr hoch korreliert (r=.97). Dies deutet daraufhin, dass die durch das Computer Adaptive Verfahren ermöglichte Itemreduzierung zu keinem nennenswerten Informationsverlust führt. Desweiteren korreliert das Angst-CAT mit einer konventionellen Angstskala (STAI-State) hoch (r=.85), ein Zeichen für eine wünschenswerte konvergente Validität. Zudem zeigte sich gegenüber dieser Angstskala eine bessere Diskriminationsfähigkeit zwischen Patienten mit sehr hoher bzw. sehr niedriger Angstausprägung. Während erste Simulationsexperimente darauf hindeuten, dass das entwickelte Angst-CAT gegenüber herkömmlichen Verfahren hinsichtlich der Ökonomie und Meßpräzision überlegen ist, bleibt eine Replikation dieses Befunds durch eine Validierungsuntersuchung abzuwarten. Zu den wesentliche Veröffentlichungen über die Item Response Theorie und Computer Adaptives Testen zählen: 1) (Embretson & Reise, 2000) 2) (Hambleton, Swaminathan, & Rogers, 1991) 3) (Linden & Hambleton, 1996) 4) (Ware, Jr. et al., 2000) 5. Bisherige bzw. themenverwandte Projekte DFG Forschungsprojekt von Dr. M. Rose mit dem Titel: 'Anwendung der Item Response Theory (IRT) zur Entwicklung computerassistierter, adaptiver psychometrischer Tests in der klinischen Medizin'. Projektkurztitel ProjektleiterIn Gesamtfördersumme Förderzeitraum Computer Adaptives Testen M. Rose 7106,96 Euro + Personalstellen 08/01 08/03 6. Ziele Die Validierungsuntersuchung verfolgt das Ziel die psychometrische Qualität des entwickelten Computer Adaptiven Tests ( Angst-CAT ) zu untersuchen. Durch die Erhebung verschiedener Außenkriterien (Diagnosen mittels des klinisch strukturierten Interviews, Globale Angstwerte aus den Angstinventaren und Persönlichkeitsvariablen) wird die konvergente und diskriminante Validität überprüft, so dass schließlich Aussagen über die Meßgenauigkeit und Güte des Instruments getroffen werden können. 7. Arbeitsprogramm Die beantragte Anschubfinanzierung soll der prospektiven Validierung des entwickelten Angst-CAT und der anschließenden Präsentation der Ergebnisse auf einer internationalen Tagung dienen. Zur Validierung wurden nach einer umfassenden Testrecherche und Beratung (durch die Testothek der Freien Universität Berlin) ein strukturiertes klinisches Interview in Form einer PC-Version (CIDI) (Wittchen & Pfister, 1997), zwei Angstinventare (Hospital Anxiety and Depression Scale: HADS; (Hermann, Buss, & Snaith, 1995) und Beck Angst Inventar: BAI; (Margraf & Ehlers, 2002)) und zwei Persönlichkeitsinventare (Gießen-Test: GTS; (Beckmann, Braehler, & Richter, 1991) und NEO-Fünf- Faktoren-Inventar: NEO-FFI; (Borkenau & Ostendorf, 1993)) ausgewählt. Das international verbreitete strukturierte Interview CIDI soll einer gesicherten Diagnosefindung gemäß ICD-10 und DSM-IV dienen, um als ein Außenkriterium (z.b. Diagnose: Angststörung) die Validierung des Angst-CAT zu ermöglichen. Als weitere Außenkriterien werden Angstsummenscores aus den o.g. Angstfragebögen, welche ebenfalls einen relativ großen Verbreitungsgrad aufweisen und als kurze Selbstbeurteilungsverfahren zur Erfassung von allgemeiner Angst im klinischen Alltag angemessen erscheinen, fungieren. Die Untersuchung der diskriminanten Validität erfolgt mit dem

3 NEO-FFI, einem etablierten faktorenanalytisch entwickelten Persönlichkeitsinventar, welches auf den psycho-lexikalischen Ansatz zurückgeht und dem GTS, einem psychoanalytischen Persönlichkeitsinventar, welches einen besonderen Schwerpunkt auf die Erfassung psychosozialer Variablen legt. Die Instrumente sollen im Rahmen der stationären Behandlung in der Medizinischen Klinik mit Schwerpunkt Psychosomatik und Psychotherapie an N = 200 Patienten innerhalb des nächsten halben Jahres erhoben werden. Um die Validierungsuntersuchungen entsprechend internationalem Forschungsstandard durchführen zu können, wird eine Fortbildung in der Anwendung des klinisch strukturierten Interviews (CIDI) von Wittchen und Mitarbeitern an der Universität Dresden nötig. Zudem ist nachdem das Angst-CAT (Becker et al., 2002) und das Depressions-CAT (Rose et al., 2002) auf der neunten Konferenz der International Society of Quality of Life (ISOQOL) Ende Oktober 2002 in Orlando (Florida) erfolgreich vorgestellt und diskutiert wurde, eine Teilnahme an der kommenden Konferenz in Prag (Tschechische Republik) geplant, um den internationalen wissenschaftlichen Forschungsaustausch weiter auszubauen, zukünftige Validierungsergebnisse zu diskutieren und sich weiter auf dem Gebiet des Computer Adaptiven Testen fortzubilden. 7.1 Zeitplan 01/03 Schulung der Anwendung der PC-Version des strukturierten klinischen Interviews 'CIDI' bei Prof. Dr. H.U. Wittchen an der Technischen Universität Dresden. 02/03-06/03 Validierungsuntersuchung des Angst-CAT s an N = 200 psychosomatischen Patienten mit folgenden Instrumenten: 1. die PC-Version des strukturierten klinischen Interviews 'CIDI' (Wittchen et al., 1997), 2. die folgenden Angstinventare: die Hospital Anxiety and Depression Scale: 'HADS' (Hermann et al., 1995) und das Beck Angst Inventar: 'BAI' (Margraf et al., 2002), 3. die folgenden Persönlichkeitsinventare: Der Gießen-Test: 'GTS (Beckmann et al., 1991) und das NEO-Fünf-Faktoren-Inventar: 'NEO-FFI' (Borkenau et al., 1993). 07/03-09/03 Statistische Datenanalyse der Validierungsstudie Präsentation der Ergebnisse der Validierungsstudie auf der 10. Konferenz der 'International Society of Quality of Life Research' ('ISOQOL ) in Prag (Tschechische Republik). 12/03 Publikation der Ergebnisse der Validierungsstudie. 8. Zusammenarbeit mit anderen Wissenschaftlern Prof. John E. Ware Jr. PhD, Executive Director des Health Assessmnet Lab am Health Institute des New England Medical Center und Leiter der Firma QualityMetric Inc., die er für die Entwicklung und Implementierung moderner psychometrischer Methoden in der Patientenversorgung gründete. Dr. Jakob B. Bjorner, MD PhD, National Institute for Occupational Health in Kopenhagen, er entwickelte in Zusammenarbeit mit Prof. Ware und Dr. Marc Kosinski den Headache Impact Test (HIT), einen Computer Adaptiven Test zur Messung von Kopfschmerzen. 9. Förderdauer zunächst ein Jahr 10. Beantragte Mittel und Begründung 10.1 Fortbildung zur Anwendung des CIDI bei Prof. Dr. H.U. Wittchen an der Technischen Universität Dresden Geplante Ausgaben Zweck (in Euro) tägige Fortbildung 100 Hotelkosten 90 Bahnkosten 440 Insgesamt

4 10.2 Teilnahme an der zehnten Konferenz der International Society of Quality of Life Research ( ISOQOL ) vom in Prag (Tschechische Republik) Geplante Ausgaben Zweck (in Euro) 300 Kongreßgebühr 400 Hotelkosten 60 Bahnkosten 760 Insgesamt 10.3 Begründung für die beantragte Gesamtfördersumme Es werden 1200,- Euro Anschubfinanzierung beantragt um: 1. eine Anwendung des klinisch strukturierten Interviews 'CIDI' entsprechend dem internationalen Forschungsstandard im Rahmen o.g. Fortbildung zu lernen, um eine fundierte Diagnosefindung gemäß ICD-10 und DSM-IV sicherzustellen. 2. eine Teilnahme an der 10. ISOQOL Konferenz zu ermöglichen, um die Validierungsergebnisse zu präsentieren, sich weiter fortzubilden und mit den kooperierenden Wissenschaftlern (s.o.) zu diskutieren. 11. Förderdauer Die beantragte Regelförderzeit beträgt zunächst ein Jahr.

5 Literatur Becker, J., Walter, O. B., Fliege, H., Bjorner, J., Ravens-Sieberer, U., Walter, M., Klapp, B. F., & Rose, M. (2002). Using the item response theory to develop a computer adaptive test for anxiety. Quality of Life Research, Volume 11, Number 7, 670. Beckmann, D., Braehler, E., & Richter, H. E. (1991). Der Gießen-Test (GT). Ein Test für Individualund Gruppendiagnostik. Bern: Verlag Hans Huber. Borkenau, P. & Ostendorf, F. (1993). NEO-Fünf-Faktoren Inventar (NEO-FFI). Göttingen: Hogrefe. Embretson, S. E. & Reise, S. P. (2000). Item Response Theory for Psychologists. London: Lawrence Erlbaum Associates. Fliege, H., Rose, M., Arck, P., Levenstein, S., & Klapp, B. F. (2001). Validierung des "Perceived Stress Questionnaire" (PSQ) an einer deutschen Stichprobe Validation of the Perceived Stress Questionnaire (PSQ) in a German sample. Diagnostica, 47, Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of Item Response Theory. Newbury Park, California: Sage Publications, Inc. Hermann, Ch., Buss, U., & Snaith, R. P. (1995). Hospital Anxiety and Depression Scale: HADS. Bern: Verlag Hans Huber. Hörhold, M. & Klapp, B. F. (1993). Testungen der Invarianz und der Hierarchie eines mehrdimensionalen Stimmungsmodells auf der Basis von Zweipunkterhebungen an Patienten- und Studentenstichproben. Zeitschrift für Medizinische Psychologie, 2 (1), Linden, W. J. & Hambleton, R. K. (1996). Handbook of Modern Item Response Theory. Berlin: Springer. Margraf, J. & Ehlers, A. (2002). Beck Angst Inventar: BAI. Frankfurt: Swets & Zeitlinger B.V. Rose, M., Fliege, H., Walter, O. B., Becker, J., Bjorner, J., Ravens-Sieberer, U., & Klapp, B. F. (2002). Using the item response theory to develop a computer adaptive test for depression. Quality of Life Research, Volume 11, Number 7, 626. Rose, M., Fliege, H., Walter, O. B., Hörhold, M., & Klapp, B. F. (2002). Erfassung verschiedener Stimmungsdimensionen mit dem Berliner Stimmungsfragebogen (BSF). in press. Rose, M., Hess, V., Hoerhold, M., Braehler, E., & Klapp, B. F. (1999). Mobile computergestuetzte psychometrische Diagnostik. Ökonomische Vorteile und Ergebnisse zur Teststabilität. Psychotherapie, Psychosomatik, Medizinische Psychologie, 49, Schoeneich, F., Rose, M., Danzer, G., Thier, P., Weber, C., & Klapp, B. F. (2000). Narzissmusinventar-90 (NI-90). Empiriegeleitete Itemreduktion und Identifikation veraenderungssensitiver Items des Narzissmusinventars zur Messung selbstregulativer Parameter. Psychotherapie, Psychosomatik, Medizinische Psychologie, 50, Scholler, G., Fliege, H., & Klapp, B. F. (1999). Fragebogen zu Selbstwirksamkeit, Optimismus und Pessimismus Restrukturierung, Itemselektion und Validierung eines Instrumentes an Untersuchungen klinischer Stichproben. Psychotherapie, Psychosomatik, Medizinische Psychologie, 49, Ware, J. E., Jr., Bjorner, J. B., & Kosinski, M. (2000). Practical implications of item response theory and computerized adaptive testing: a brief summary of ongoing studies of widely used headache impact scales. Medical Care, 38, II73-II82.

6 Wittchen, H. U. & Pfister, H. (1997). M-CIDI. PC-Version des Diagnostisches Expertensystem für Psychische Störungen DIA-X. Frankfurt: Swets & Zeitlinger B.V. 12.