Erste Ergebnisse einer Äquivalenzprüfung zwischen SCL-90 -S und SCL-90-R

Transkript

1 Erste Ergebnisse einer Äquivalenzprüfung zwischen SCL-90 -S und SCL-90-R Janina Hergert 1, Gabriele Helga Franke 1 & Katja Petrowski 2 1 Fachbereich AHW, Hochschule Magdeburg-Stendal, Osterburger Straße 25, Stendal 2 Universitätsklinikum Dresden Carl Gustav Carus, Klinik & Poliklinik für Psychotherapie & Psychosomatik j.hergert@gmx.de; gabriele.franke@hs-magdeburg.de; katja.petrowski@tu-dresden.de Einleitung: Die Symptom-Checkliste-90 gehört zu den weltweit am häufigsten eingesetzten Verfahren zur Erfassung der psychischen Belastung im Selbstbeurteilungsmodus [HGM01]. Die aktuelle Version, die SCL-90 -S, wurde sprachlich leicht überarbeitet; weiterhin wurden aus Gründen der internationalen Vergleichbarkeit drei Items der Skalen Zwanghaftigkeit und Ängstlichkeit verändert. Zur Prüfung der Äquivalenz zwischen der neuen und der bisherigen Version des Verfahrens wurde in einer größeren studentischen Stichprobe eine experimentelle Studie durchgeführt. Methodik: Die Grundgesamtheit von N = 417 Studierenden teilte sich in 251 Studierende der Hochschule Magdeburg-Stendal sowie 166 der Universität Potsdam. Von den 46 (18,2%) männlichen sowie 341 (81,8%) weiblichen Teilnehmern studierten 83,2 % (n = 347) einen Studiengang der (Rehabilitations-)Psychologie. Per Zufall wurden die gleichgroßen Gruppen A und B gebildet und es wurden soziodemographische Daten sowie weitere Fragebogendaten erhoben. Die Gruppe A (n = 208) beantwortete die neue (SCL-90 -S) und die Gruppe B (n=209) die alte (SCL-90-R) Version. Es kamen X²-Tests sowie varianzanalytische Modelle und t-tests in Bezug auf Roh- sowie auf transformierte Testwerte zur Prüfung von Gruppenunterschieden zum Einsatz (IBM SPSS 20); die Bonferroni-Korrektur wurde berücksichtigt. Ergebnisse: Die deskriptive Statistik zeigte, bezogen auf die Verteilung und Zusammensetzung der Stichprobe, keine auffälligen Werte. Die Prüfung mittels Kolmogorov-Smirnov- Anpassungstest ergab, dass einzig der PST-Wert normalverteilt war. Auf Rohwert-Ebene zeigte sich die Gruppe A bei drei Skalen höher belastet als die Gruppe B: "Aggressivität (t = 2,3, p <,02), Phobische Angst (t = 2,08, p <,04) sowie Zwanghaftigkeit (t = 2,19, p <,03). Auf T-Wert-Ebene berichtete Gruppe A höhere Mittelwerte als Gruppe B bei: Phobische Angst (T SCL-90 -S = 54, T SCL-90-R = 52, p <,04), Unsicherheit im Sozialkontakt (T SCL- 90 -S = 55, T SCL-90-R = 53, p <,02) sowie Zwanghaftigkeit (T SCL-90 -S = 54, T SCL-90-R = 52, p <,02). Die Mittelwertunterschiede ließen sich multivariat nicht finden und sie konnten der nachgeschalteten Bonferroni Korrektur nicht standhalten. Weiterhin konnte ein Stichprobeneffekt belegt werden: die Gruppe A berichtete auch in anderen Selbstbeurteilungsverfahren höhere Belastungen sowohl bei Depressivität als auch bei allgemeiner Stressbelastung. Diskussion: Ziel der Arbeit war die Äquivalenzprüfung zwischen der SCL-90 -S und der SCL-90-R. Insgesamt führten diese Analysen zu der Erkenntnis, dass sich die neue SCL-90 - S nicht substantiell von der alten SCL-90-R unterscheidet. Dies wird weiterhin dadurch gestützt, dass sich die Mittelwerte der vorliegenden Untersuchung durchgehend innerhalb der Spannweiten der Normstichprobe befanden. Weiterhin konnte die Vermutung eines Stichprobeneffekts durch systematische Unterschiede der Stichproben in Bezug auf weitere Depressivitäts- und Stresssymptome bestätigt werden. Dennoch ist zu betonen, dass die Belastungen im Normbereich der T-Werte zwischen 40 bis 60 lagen. Im Schnitt lagen über die verschiedenen Skalen T-Werte zwischen 52 und 55 vor. In weiteren Analysen sind Aspekte der Reliabilität und Konstruktvalidität zu betrachten. 1

2 1. Hintergrund Die Symptom-Checklist-90 (SCL-90) ist ein Selbstbeurteilungsfragebogen und dient der Erfassung der subjektiv empfundenen Beeinträchtigung durch 90 vorgegebene körperliche und psychische Symptome [Fr14] in einem Zeitfenster von sieben Tagen. Das Verfahren kann ab dem 12. Lebensjahr eingesetzt werden und bietet die Möglichkeit von wiederholten Messungen. Die 90 Items werden auf den folgenden neun Skalen erfasst: Aggressivität/Feindseligkeit, Ängstlichkeit, Depressivität, Paranoides Denken, Phobische Angst, Psychotizismus, Somatisierung, Unsicherheit im Sozialkontakt und Zwanghaftigkeit. Auf einer Likert-Skala 1 wird die Symptombelastung durch unauffällige bis hin zu psychopathologisch relevanten Symptomen gemessen. Zusätzlich lassen sich aus den drei globalen Kennwerten Rückschlüsse auf das Antwortverhalten ziehen. So misst der globale Kennwert GSI (global severity index) die psychische Belastung bei allen Items, PSDI (positive symptom distress index) erfasst die Intensität im Antwortverhalten und PST (positive symptom total) gibt Auskunft über die Anzahl der Symptome, bei denen eine Belastung vorliegt. Die bald 100jährige Geschichte der psychometrisch fundierten Selbstbeurteilung begann mit Woodworth (1919), der den ersten, aus 116 Fragen bestehenden, Selbstbeurteilungsfragebogen, das Personal Data Sheet erarbeitete [Gr67]. Im Jahr 1954 entwickelten Parloff, Kelman und Frank die unmittelbare Vorgängerin [PKF54], die HSCL (Hopkins Symptom Check List) mit 31 Items. In den 60er Jahren wurden Erweiterungen und Modifikationen vorgenommen, um die Effektivität von Psychotherapie [St00] oder von Psychopharmaka nachzuweisen [Fr14], [Fi64]. Derogatis [De71] vertiefte die faktorenanalytische Prüfung und 1973 etablierten sich die bis heute aktuellen Bezeichnungen SCL-90 oder auch SCL-90-R. Die Verbreitung im deutschsprachigen Raum wurde seit 1992 durch Franke vorangetrieben [Fr92], [RGF91] und führte 1995 zur Etablierung im klinischen Kontext. Basierend auf dieser Version entwickelte Franke die heutige Folgeversion der SCL-90 -S ( S steht für Standard ). Die Änderungen umfassen sprachliche Anpassungen vor allem bei drei Items der Skalen Zwanghaftigkeit sowie Ängstlichkeit, die in der Formulierung der HSCL-90 bzw. SCL-90 angeglichen wurden [Fr14]. Darüber hinaus wurden kleinere sprachliche Veränderungen vorgenommen 2 sowie die Reihung der Skalen alphabetisiert (siehe Tab. 01). Tabelle 01: Dokumentation der zentralen Änderungen von der SCL-90-R zur SCL-90 -S Item 3 Item 80 Item 86 Item SCL-90-R Immer wieder auftauchende unangenehme Gedanken, Worte oder Ideen, die Ihnen nicht aus dem Kopf gehen Dem Gefühl, dass Ihnen etwas Schlimmes passieren wird Schreckenerregende Gedanken und Vorstellungen Item SCL-90 -S Immer wieder auftauchenden unerwünschten Gedanken, Worte oder Ideen, die Ihnen nicht aus dem Kopf gehen Dem Gefühl, dass Ihnen schlimme oder eigenartige Dinge passieren werden Vorstellungen und Gedanken, die Ihnen Angst einflößen Die vorliegende Arbeit stellt Teilergebnisse einer Äquivalenzprüfung zwischen der SCL-90-R und der SCL-90 -S dar. Das experimentelle Studiendesign fokussierte auf eine studentische Stichprobe, die per Zufall in zwei gleichgroße Gruppen getrennt wurde: der einen Gruppe wurde die SCL- 90 -S und der anderen die SCL-90-R vorgelegt. Weiterhin wurden fünf Verfahren zur Erfassung von Teilaspekten der psychischen Belastung eingesetzt. Das Ziel der Äquivalenzprüfung besteht im Allgemeinen darin, verschiedene Darbietungsformen eines Tests auf Gleichartigkeit zu prüfen. 1 Die Likert-Skala definiert den Bereich von null bis vier, wobei null die Ausprägung überhaupt nicht und vier die Ausprägung sehr stark repräsentiert. Vergleiche grundlegend zur Likert-Skala [BD06]. 2 Beispielsweise wurde in der Einleitung die ehemalige Formulierung während der vergangenen sieben Tage [Fr02] verändert in in den letzten 7 Tagen [Fr14]. 2

3 Im Fokus steht die Überprüfung von psychometrischen Eigenschaften [Kl02]. Hier gilt es zu belegen, dass zwischen den beiden Versionen keine substantiellen Unterschiede bestehen. Grundlegend gilt, dass unterschiedliche Wortlaute herangezogen und im Bedarfsfall sogar veränderte Darstellungen genutzt werden können, solange das gleiche Konstrukt angesprochen wird [LR98]. 2. Methodik Die experimentelle Studie wurde zwischen November 2012 bis Anfang Februar 2013 als Paper- Pencil Erhebung an der Hochschule Magdeburg-Stendal sowie der Universität Potsdam durchgeführt. Die Gesamtstichprobe von N = 417 wurde per Zufall in die gleichgroßen Gruppen A und B getrennt. Die Gruppe A (n = 208) beantwortete die neue (SCL-90 -S) und die Gruppe B (n = 209) die alte (SCL-90-R) Version. Des Weiteren kamen folgende Testverfahren zum Einsatz: STAXI: Erfasst die Intensität von Ärger mit den je 10 Items umfassenden Skalen Ärger-Zustands- (State-Anger) und Ärger-Dispositionsskala (Trait-Anger) [SHS92]. STAI: Das State-Trait-Angstinventar (STAI) erfasst die Intensität von Angst. Es wurde die Skala Zustands-Angst (State-Anxiety) mit 20 Items eingesetzt [Ll81]. BDI-II: Das Becks Depressionsinventar dient der Erfassung des Schweregrades einer Depression, es besteht aus 21 Symptomgruppen wie Schuldgefühle und Isolation [HG08]. SOMS: Das Screening für Somatoforme Störungen erfasst körperliche Störungen, die nicht auf organischen Erkrankungen basieren. Zur Erhebung wurden Kriterien des DSM-IV in 14 Items zugrunde gelegt [RH08]. TICS: Das Trierer Inventar zum chronischen Stress erfasst verschiedene Arten von chronischem Stress. Es wurde die Screening-Skala mit 12 Items eingesetzt [SSB04]. Die Auswertung erfolgte mittels IBM SPSS Statistics 20. Grundlegend muss eine psychometrische Äquivalenzprüfung die Kriterien Äquivalenz der Reliabilität, der Validität, der Verteilungskennwerte sowie der Häufigkeitsverteilung erfüllen. Im Speziellen impliziert dies Prüfungen [Kl02] [BHK93] von Mittelwertunterschieden auf Roh- und T-Wert-Ebene; von metrischen Veränderungen der Verteilungsform sowie der Standardabweichung und von itemspezifischen Unterschieden. Die vorliegende Darstellung bezieht sich lediglich auf einige Aspekte dieser Verfahrensweise. 3. Ergebnisse 3.1. Deskriptive Analyse Die deskriptive Analyse zeigte eine Aufteilung der N = 417 in 251 Probanden aus Stendal und 166 aus Potsdam mit einem durchschnittlichen Alter von 23,5 Jahren (SD = 4,7, Spannweite 18 53); es fanden sich keine signifikanten Gruppenunterschiede (Χ² = 0,41, p <,52). Die Analyse der Geschlechterverteilung ergab mit 46 (18,2%) männlichen sowie 341 (81,8%) weiblichen Teilnehmern zwischen den Gruppen mit Χ² = 0,28 und p <,60 ebenfalls keine signifikanten Unterschiede. Folgende Einzelanalysen zeigten sich ebenfalls nicht signifikant: Bezüglich des Studiengangs 3 studierte mit 347 (83,2%) der Großteil (Rehabilitations-)Psychologie (Χ² = 1,05, p <,31) Der Zweifachvergleich der Studiengänge setzt die Fachbereiche Rehabilitationspsychologie/Psychologe mit BWL/andere in Zusammenhang. 3

4 T-Werte (20-80) (61,2%) Studierende befanden sich in einer Beziehung (Χ² = 0,318, p <,57) und lebten zu 48,9% in einer WG 4 (Χ² = 2,05, p <,56). Die Prüfung der Rohwerte auf Normalverteilung mit dem Kolmogorov-Smirnov-Anpassungstest zeigte, dass PST sowohl in der SCL-90 -S (p =,183, Z = 1,09, Schiefe =,66, Kurtosis =,16) als auch in der SCL-90-R (p =,149, Z = 1,14, Schiefe =,39, Kurtosis = -,63) normalverteilt war. Alle anderen Skalen sowie GSI und PSDI zeigten keine Normalverteilung p <,04 p <, SCL-90 NEU -S SCL-90-R ALT 20 Abbildung 01: Spannweite der Skalen und Globalen Kennwerte der SCL-90 -S 3.2. Prüfung von Mittelwertunterschieden auf der Basis von Rohwerten Die multivariate, varianzanalytische Prüfung auf Mittelwertunterschiede zwischen den Gruppen A und B hinsichtlich der neun Rohwerte-Skalen (F = 1,36, p <,21) sowie der drei Globalen Kennwerte (F = 1,13, p <,34) ergab keinen statistisch signifikanten Effekt. Nachgeschaltet wurden t- Tests für unabhängige Stichproben zur Prüfung der Einzelunterschiede auf Rohwert-Ebene durchgeführt. Im Ergebnis zeigten sich auf Basis des 5%-Signifikanzniveaus insgesamt drei Skalen als auffällig: Skala 1 Aggressivität (t = 2,3, p <,02), Skala 5 Phobische Angst (t = 2,08, p <,04) sowie Skala 9 Zwanghaftigkeit (t = 2,19, p <,03). In allen drei Fällen berichtete die Gruppe A leicht höhere Belastungswerte als die Gruppe B. Die Aussagekraft des t-tests auf Basis von Rohwerten ist jedoch eingeschränkt. Da bei der T- Transformation die Antworten der Stichprobe in Bezug auf Alter und Geschlecht an der Norm abgeglichen wird, besteht hier eine deutlich höhere Aussagekraft [Fr14]. Die multivariate, varianzanalytische Prüfung auf Mittelwertunterschiede zwischen den Gruppen A und B hinsichtlich der neun T-Skalen (F = 1,38, p <,20) sowie der drei Globalen Kennwerte (F = 1,70, p <,17) ergab keinen statistisch signifikanten Effekt. In Abbildung 01 werden die entsprechenden T-Werte dargestellt. Es zeigten sich im t-test auf T-Wert-Ebene die folgenden Skalen signifikant: Skala Phobische Angst (t = 2,07, p <,04), Skala Unsicherheit im Sozialkontakt (t = 2,06, p <,02) sowie Skala Zwanghaftigkeit (t = 1,86, p <,02); auch hier waren die Werte der Gruppe A höher als die der Gruppe B. In Bezug auf die drei globalen Kennwerte fanden sich weder multi- noch univariat statistisch signifikante Unterschiede. Um die Alpha-Fehler-Kumulierung bei paarweisen Vergleichen zwischen Gruppenmittelwerten mit t-tests zu reduzieren, wurde die Bonferroni Korrektur angewendet. Das beobachtete Signifi- 4 Mögliche Ausprägungen: allein, WG, Bei den Eltern, Mit dem (Ehe-)Partner. 4

5 kanzniveau wurde an die Mehrfachvergleiche angepasst, in dem das ursprüngliche Signifikanzniveau durch die Anzahl der Tests geteilt wird [Ho79]. Dies ist ein konservatives Verfahren, d. h., dass die Unterschiede zwischen beiden Gruppen stark sein müssen, um als bedeutsamer und mit nur sehr geringer Wahrscheinlichkeit als zufallsbedingter Effekt interpretiert zu werden [St04]. In dem vorliegenden Fall führte dies zu einem Signifikanzniveau von p <,00417 (0,05 / 12), also 0,4% statt 5% und das bedeutet, dass sich sowohl auf Rohwert- als auch auf T-Wert-Ebene keine signifikanten Unterschiede mehr finden ließen. Die ehemals signifikanten Mittelwertunterschiede zwischen SCL-90 -S und SCL-90-R hielten der Bonferroni Korrektur nicht stand. Die signifikanten Unterschiede waren folglich nicht durch die unterschiedlichen SCL-90 Versionen zustande gekommen, sondern lagen vermutlich in Auffälligkeiten der Stichproben, als sog. Stichprobeneffekt begründet. Der Summenwert des BDI-II (t = 2,05, p <,04) sowie der Summenwert des TICS- Screening (t = 2,10, p <,04) wiesen ebenfalls signifikante Mittelwertunterschiede auf (Tab. 02), d.h. auch hier berichtete die Gruppe A über höhere Werte als die Gruppe B. Tabelle 02: T-Test zur Abklärung eines Stichprobeneffekts SCL-90 -S Papier-und-Bleistift SCL-90-R Papier-und-Bleistift t-test Verfahren M SD SF M SD SF t df p STAXI Ärger-Zustandsskala 12,90 3,93,27 12,40 3,43,24 1,40 407,16 STAXI Ärger-Dispositionsskala 17,86 4,60,32 17,56 4,32,30,70 415,48 STAI Zustands-Angst (State Anxiety) 43,85 5,63,40 43,80 4,70,33,10 415,92 BDI-II Depressivität 7,80 6,46,45 6,56 5,87,41 2,05 415,04 SOMS-Somatoforme Belastung 4,31 2,74,19 4,00 2,78,19 1,16 415,25 TICS-Screening Stressbelastung 16,31 9,07,63 14,43 9,19,64 2,10 415,04 4. Diskussion Ziel dieser Arbeit war die Äquivalenzprüfung zwischen SCL-90 -S und SCL-90-R. Auf Basis der studentischen Stichprobe zeigten sich auf Rohwertbasis signifikante Mittelwertunterschiede. Diese fanden sich nach der T-Wert Transformation der Skalen nur teilweise wieder. Bereits diese Veränderung legte die Vermutung nahe, dass die Äquivalenz der beiden SCL-90 Verfahren nicht von vornherein infrage zu stellen ist. Um die Alpha-Fehler-Kumulierung zu vermeiden wurde die Bonferroni Korrektur durchgeführt. Die zu Anfang signifikanten Mittelwertunterschiede hielten dieser Korrektur nicht stand. Insgesamt führten diese Analysen zur Erkenntnis, dass sich die neue SCL- 90 -S nicht substantiell von der alten SCL-90-R unterscheidet. Dies wird weiterhin dadurch gestützt, dass sich die Mittelwerte der vorliegenden Untersuchung durchgehend innerhalb der Spannweiten der Normstichprobe befinden. Ein ähnlicher methodischer Ansatz findet sich bei Wentura [We13] bzw. Schwenkmezger und Hank [SH93]. Demnach ist zu vermuten, dass es sich um einen Stichprobeneffekt handeln könnte. Die weitere Prüfung der anderen Testverfahren auf Mittelwertunterschiede ergab bei den Summenwerten des BDI-II sowie des TICS-Sreening signifikante Unterschiede. Dennoch ist zu betonen, dass die Belastungen im Normbereich der T-Werte zwischen 40 bis 60 lagen. Im Schnitt lagen über die verschiedenen Skalen T-Werte zwischen 52 und 55 vor. 5

6 In weiteren Analysen wäre vertiefend zu untersuchen, welchen Ursprung und welche möglichen, bislang evtl. verdeckten Wirkungen der Stichprobeneffekt haben könnte. Im diesem Rahmen könnten Alternativverfahren zu der Bonferroni-Korrektur getestet werden, da diese als konservativ und streng diskriminierend bekannt ist [Ab07]. Es müsste jedoch geprüft werden, ob sich grundlegend andere Ergebnisse bei der Äquivalenzprüfung sowie dem Stichprobeneffekt ergeben. Bezüglich der Stichprobe wäre es von Vorteil, diese einerseits zu vergrößern sowie andererseits eine Ausweitung auf einen nicht-studentischen Anteil umzusetzen. In weiteren Analysen sind Aspekte der Reliabilität und der Konstruktvalidität zu betrachten. Literaturverzeichnis [Fr02] [Ab07] Abdi, H.: The Bonferonni and Šidák Corrections for Multiple Comparisons. In (Salkind, N. Hrsg.): Encyclopedia of Measurement and Statistics, Sage, Thousand Oaks, 2007; S [BD06] Bortz, J.; Döring, N.: Forschungsmethoden und Evaluation: Für Human- und Sozialwissenschaftler. Springer Medizin Verlag, [Be06] Beck, A. T. et al.: Beck-Depressionsinventar, Hogrefe, [BHK93] Bader, P.; Hofmann, K.; Kubinger, K. D.: Zur Brauchbarkeit der Normen von Papier- Bleistift- Tests für die Computer-Vorgabe: Ein Experiment am Beispiel des Gießen-Tests. In (Zeitschrift für Differentielle und Diagnostische Psychologie), 1993; 14, S [De71] Derogatis, L. R. et al.: Neurotic symptom dimensions. As perceived by psychiatrists and patients of various social classes. In (Archives of the General Psychiatry), 1971; 24, S [Fi64] Fisher, S. et al.: Drugset interaction: The effect of expectations on drug response in outpatients. In (Neuropsychopharmacology), Nature Publishing Group, London, 1964; 3, S [Fr92] Franke, G. H.: Eine weitere Überprüfung der Symptom-Chek-Liste (SCL 90-R) als Forschungsinstrument. In (Diagnostica), 1992; 38 (2), S Franke, G.H.: SCL-90-R. Symptom Checkliste von L.R. Derogatis Deutsches Manual (2., überarb. und neu norm. Aufl.). Beltz, [Fr14] Franke, G. H.: SCL-90 -S Symptom-Checklist-90 - Standard. Hogrefe, [Gr67] Graham, C.H.: Robert Sessions Woodworth : A Biographical Memoir by Clarence H. Graham, National Academy of Sciences, Washington D.C., [HGM01]Hessel A.; Geyer, M.; Brähler, E.: Symptomcheckliste SCL90-R: Normierung an einer bevölkerungsrepräsentativen Stichprobe. In (Diagnostica), 2001; 47, S [HG08] Herzberg, P.Y., Goldschmidt, S.: Beck Depressions-Inventar (BDI-II). Revision. In (Psychologische Rundschau), 2007; 58, S [Ho79] Holm, S.: A simple sequentially rejective multiple test. In (Scandinavian Journal of Statistics), Wiley, Hoboken, 1979; Vol. 6, No. 2, S [Kl02] Klinck, D.: Computergestützte Diagnostik. Hogrefe, [Ll81] Laux, L. et al.: State-Trait-Angstinventar, Hogrefe, [LR98] Lienert, G.A.; Raatz, U.: Testaufbau und Testanalyse (6. Aufl.). Psychologie Verlags Union, [RGF91] Rief, W.; Greitemeyer, M.; Fichter, M.: Die Symptom Check List SCL-90 R : Überprüfung an 900 psychosomatischen Patienten. In (Diagnostica), 1991; 37, S [RH08] Rief, W.; Hiller, W.: Screening für Somatoforme Störungen, Hogrefe [PKF54] Parloff, M. B., Kelman, H. C., Frank, J. D.: Comfort, effectiveness, and self-awareness as criteria of improvement in psychotherapy. In (American Journal of Psychiatry), 1954; 3, S [SHS92] Schwenkmezger, P.; Hodapp, V.; Spielberger, D.: State-Trait-Ärgerausdrucks-Inventar, Hogrefe, [SH93] Schwenkmezger, P.; Hank, P.: Papier-Bleistift- versus computerunterstützte Darbietung von State- Trait-Fragebogen: eine Äquivalenzüberprüfung. In (Diagnostica), 1993; 39, S [SSB04] Schulz, P.; Schlotz, W.; Becker, P.: Trierer Inventar zum chronischen Stress, Hogrefe, [St00] Stieglitz, R. D.: Diagnostik und Klassifikation psychischer Störungen, Hogrefe, [St04] Stühlmeyer, T.: Veränderung des Textverständnisses durch Bibliodrama, Eine empirische Studie zu Mk 4,35 41, Verlag Ferdinand Schönigh, [We13] Wentura, D. et al.: Bundesweite Befragung der Absolventinnen und Absolventen des Jahres 2011 im Studiengang BSc Psychologie. In (Psychologische Rundschau), 2013, 64,