Stellungnahme zu Veröffentlichungen über das Neue Begutachtungsassessment (NBA) Institut für Pflegewissenschaft an der Universität Bielefeld Medizinischer Dienst der Krankenversicherung Westfalen Lippe Bielefeld und Münster, 16. November 2012 Seit Anfang des Jahres 2011 werden Hinweise auf vermeintliche Schwachstellen des Neuen Begutachtungsassessments (NBA) in die Öffentlichkeit getragen. Sie stammen aus den Arbeiten von Prof. Dr. Albert Brühl, Inhaber des Lehrstuhls für Statistik und standardisierte Verfahren der Pflegeforschung an der Philosophisch Theologischen Hochschule Vallendar (PTHV), und einigen seiner Studierenden. Hierzu wurden wir als die Personen bzw. Institutionen, die das Neue Begutachtungsassessment entwickelt und mehrfach getestet haben, um eine Stellungnahme gebeten. Gegenstand der Arbeiten aus Vallendar ist nicht das NBA bzw. das NBA Original Der erste und wichtigste Punkt besteht darin, dass sich die Arbeiten aus Vallendar nicht auf das NBA (bzw. die Module 1 und 2 des NBA) beziehen, sondern auf eine von Studierenden der Hochschule Vallendar veränderte Version des Instruments. Die Studierenden haben eine vom Original erheblich abweichende Definition der NBA Kriterien vorgenommen. Die Einzelheiten der Umdefinition sind in einem Handbuch dargelegt, das die Studierenden selbst erstellt und später zur Schulung von Mitarbeitern ambulanter Pflegedienste eingesetzt haben (abgedruckt in Bensch 2011, S. 297ff). Diese Mitarbeiter haben dann häuslich versorgte Pflegebedürftige eingeschätzt, später wurden die Erhebungen auf Heimbewohner ausgedehnt. Dabei wurden sowohl Inhalte als auch das methodische Vorgehen bei der Einschätzung verändert. So wurde beispielsweise die Beurteilung bestimmter kognitiver Fähigkeiten von der Reaktionszeit der Pflegebedürftigen bei der Beantwortung von Fragen abhängig gemacht (Bensch 2011, S. 305). Dies steht im Widerspruch zum NBA, das explizit nicht als psychometrisches Testverfahren angelegt ist. Das NBA kann daher nicht, wie in den Arbeiten aus Vallendar, mit Testverfahren wie den Instrumenten der PISA Studie verglichen werden (Brühl 2012, S. 16). Die Beurteilung eines Instruments durch die Testung einer modifizierten Version mit veränderten Definitionen verbietet sich. Dass in den Arbeiten aus Vallendar dennoch mit Datenmaterial, das auf dem Einsatz eines veränderten NBA beruht, Thesen über vermeintliche Schwachstellen des NBA begründet werden, ist aus wissenschaftlicher Sicht unhaltbar. Vor diesem Hintergrund erübrigt sich streng genommen jede weitere Diskussion über diese Thesen. Datenmaterial und Stichproben Das von den Studierenden erarbeitete Handbuch wurde bei der Schulung von Pflegenden in der ambulanten Versorgung verwendet, um sie zur Nutzung des NBA zu befähigen. Wir kennen Schilderungen über den Verlauf dieser Schulungen, die zeigen, dass die teilnehmenden Pflegenden ebenfalls zahlreiche Irrtümer über das NBA entwickelten 1. Dementsprechend sind die erhobenen Daten feh 1 Es gab erhebliche Verständnisschwierigkeiten hinsichtlich wesentlicher Grundannahmen und anliegen des NBA auf Seiten der Pflegekräfte. Ein Teil davon wurde dokumentiert in Bensch 2011, S. 323ff.
lerhaft. Das ist in den Arbeiten der beteiligten Studierenden gut dokumentiert. Es gab u. a. in sich widersprüchliche Ergebnisse: Personen beispielsweise, die sich weder mitteilen noch verbale Botschaften verstehen können, wurden als fähig beurteilt, an einem Gespräch teilzunehmen 2. Außerdem gab es unter den erhebenden Pflegekräften offenbar eine Tendenz, immer die gleichen Bewertungen bei unterschiedlichen Fähigkeiten vorzunehmen, auch wenn sie mit einem erheblich abweichenden Schwierigkeitsgrad verknüpft sind (siehe z.b. Franken 2010, S. 150). Diese Tendenz ist zumeist Ausdruck von Zeitmangel oder fehlender Bereitschaft (oder Fähigkeit) zu differenzierter Einschätzung; der Anwender kreuzt dann einfach durch und wählt immer oder fast immer dieselbe Kategorie (z.b. immer die Beurteilung Fähigkeit ist in geringem Maße vorhanden ). Zum Teil erklärt sich diese Tendenz aber auch aus der Stichprobenkonstellation: Wenn eine Stichprobe gewählt wird, in der überwiegend Personen ohne Mobilitätsbeeinträchtigungen vertreten sind, so fällt das Einschätzungsergebnis zur Mobilität zwangsläufig sehr homogen aus. Diese Homogenität ist dann Eigenschaft der Stichprobe, nicht des Instruments. In den Arbeiten der Studierenden klingt dies an, löste aber nicht die nötige selbstkritische Reflexion aus 3. Vielmehr wird die Homogenität der Daten als Beleg für die These verwendet, das NBA habe ein unzureichendes Differenzierungsvermögen. Interpretation der Bewertungssystematik Bei den Studien wurde nicht nur ein vom Original abweichendes Manual verwendet, sondern auch eine veraltete Bewertungssystematik. Die aufgrund von Erprobungserfahrungen angepassten Bewertungsregeln wurden falsch interpretiert bzw. missverstanden 4. Fehleinschätzungen Diese und andere Fehler führten zu gravierenden Irrtümern. So wird die These vertreten, dass die NBA Bewertungssystematik zu einer systematischen Unterbewertung kognitiver Beeinträchtigungen führt (Franken 2010, S. 13). Das Gegenteil ist der Fall, was zu der oben erwähnten Anpassung der Bewertungssystematik veranlasst hat. Neue Ungerechtigkeiten in der Pflegeversicherung wären die Folge, wenn Fehleinschätzungen dieser Art in praktische Schritte umgesetzt würden. Inzwischen hat 2 Unter den ( ) Datensätzen zeigen sich jedoch ( ) unvereinbare Muster. Der völlige Verlust, sich mitteilen und bzw. oder andere zu verstehen, führt so nicht zu einem Verlust der Fähigkeit, an einem Gespräch teilzunehmen; Einschränkungen in den Fähigkeiten, sich mitzuteilen und andere zu verstehen, beeinträchtigen im Vergleich nur zu einem geringeren Ausmaß die Teilnahme an einem Gespräch, während umgekehrt die Fähigkeit, an Gesprächen teilzunehmen, eingeschränkt bis hin zu völlig verloren sein kann, ohne daß die Fähigkeiten, sich mitzuteilen oder andere zu verstehen, beeinträchtigt sind (Franken 2010, S. 147). Weitere Fehler bei den Erhebungen sind in der Dissertation von S. Bensch dokumentiert, aber inhaltlich nicht interpretiert bzw. ausgewertet worden (Bensch 2011, S. 331ff). 3 Dieses Antwortverhalten könnte möglicherweise auf einen sog. selection bias zurückzuführen sein, d.h. auswahlabhängig sein (Schröder 2010, S. 83). Dies wurde am Lehrstuhl Brühl bislang jedoch nicht geklärt. 4 Unter Bezugnahme auf den Umsetzungsbericht des BMG Beirat wird behauptet: Die Kategorie überwiegend selbständig, die mit dem numerischen Wert 1 verbunden ist, soll nicht in die Bewertung einfließen. In der Konsequenz bedeutet dies, dass ein Pflegebedürftiger, für den der Gutachter in allen fünf Items des Moduls Mobilität ( ) überwiegend selbständig attestiert, zwar fünf Punkte in diesem Modul erzielt, aber aufgrund der fehlenden Wertung dieser Kategorie 1 bei der Transformation der Itemwerte in den Modulwert leer ausgeht und mit null Modulpunkten als selbständig eingeschätzt wird (Brühl 2012, S. 63f Hervorhebungen von uns). Dies ist sachlich falsch. Die Bewertung überwiegend selbständig fließt in jedem einzelnen NBA Modul in die Bewertung ein. Im geschilderten fiktiven Beispiel wäre der Score 5 und damit die Modulbewertung erhebliche Beeinträchtigung der Selbständigkeit bei der Mobilität das Ergebnis. 2
sich das aktuelle NBA Modul 2 in einigen tausend Fällen bewährt, und es wurde nachgewiesen, dass die Erfassung kognitiver Beeinträchtigungen zu den besonderen Stärken des NBA gehört. Gesamtbeurteilung des NBA? Es ist wichtig zu verstehen, dass das NBA dazu dient, Leistungsansprüche zu klären 5. Die fünf neuen Stufen der Pflegebedürftigkeit, die das Instrument vorsieht, sollen in Abhängigkeit vom Grad der Beeinträchtigung Zugang zu Leistungen der Pflegeversicherung erschließen. Deshalb lässt sich das NBA schon aus systematischen Gründen nicht beurteilen, wenn man wie in Vallendar isoliert nur zwei von sechs maßgeblichen Bestandteilen des Instruments betrachtet 6. Zur Beurteilung des NBA muss u. a. die Frage berücksichtigt werden, wie die Module gewichtet werden und wie sich die Wechselwirkung der sechs Module auf die Zuordnung einer Stufe der Pflegebedürftigkeit auswirkt (vgl. z.b. Windeler et al. 2008). Dies blieb in den Arbeiten aus Vallendar unberücksichtigt bzw. konnte auch gar nicht berücksichtigt werden, weil die Module 3, 4, 5 und 6 nicht untersucht wurden. Darstellung der Berichte zum NBA Mehrere Passagen in den Schriften aus Vallendar geben die Arbeit des BMG Beirats und die Projekte, die im Zuge der NBA Entwicklung durchgeführt wurden, nicht korrekt wieder. Ein Beispiel hierfür ist die Behauptung, dass die Kriteriumsvalidität des NBA anhand des derzeit gültigen Pflegebedürftigkeitsbegriffs bzw. der aktuellen Pflegestufen geprüft worden sei (Brühl 2012, S. 65). Diese Behauptung ist schlicht falsch 7. Meinungsstreit der Methodenschulen um das Skalenniveau Abschließend sei noch auf die Diskussion um das sog. Skalenniveau der NBA Merkmale hingewiesen. Angesprochen ist damit ein Jahrzehnte alter Meinungsstreit unter Statistikern um die Frage, ob man ordinale Merkmale wie intervallskalierte Merkmale interpretieren kann, wenn man nach Korrelationen fragt oder Summenscores bilden will. Dieser Meinungsstreit ist schon so alt wie die Sozialforschung selbst. A. Brühl vertritt in diesem Meinungsstreit eine ganz bestimmte Richtung. Daraus resultieren verschiedene Hinweise auf vermeintliche Schwachstellen des NBA im Zusammenhang mit dem Thema Skalenniveau. Damit verbunden sind aber auch sachliche Fehler. So wird auf Modelle der 5 Teilweise wird das NBA als Instrument für eine gute Pflege im Pflegealltag missverstanden: Ob das NBA ein valides Abbild einer Theorie über Pflegebedürftigkeit ist, die erklären soll, was man differenzieren muss, um gut pflegen zu können, ist mit statistischen Methoden prüfbar (Brühl 2012, S. 7). 6 Auch hierzu ein Beispiel: Die im NBA Ansatz enthaltene Hypothese, man müsse verschiedene Subskalen isoliert für sich summieren und deren Summen dann wiederum gewichtet erneut summieren, muss in der vorliegenden Struktur verworfen werden (Brühl 2012, S. 8). Die Summenscores des NBA konnten überhaupt nicht geprüft werden, weil ja nur zwei der sechs Module eingesetzt wurden. 7 Die Verfasser berufen sich dabei auf den gemeinsamen Bericht des MDS und der Universität Bremen (Windeler et al. 2008, Ausführungen auf S. 52). An dieser Stelle wird die Validität des NBA bei der Erfassung bestimmter Beeinträchtigungen dargestellt, wobei aber nicht die heutigen Pflegestufen als Referenz dienen, sondern die Kriterien zur Feststellung einer eingeschränkten Alltagskompetenz nach 45a SGB XI sowie der Test zur Früherkennung von Demenzen mit Depressionsabgrenzung (TFDD). Im Bericht wird ausgeführt, dass ein Goldstandard zur Ermittlung der echten Pflegebedürftigkeit weder für den derzeitigen noch für den neuen, noch zu konzipierenden Pflegebedürftigkeitsbegriff bzw. für die dazu gehörigen Assessmentverfahren existiert. Die vergleichende Bewertung der Ergebnisse des neuen Begutachtungsverfahrens im Verhältnis zu den aktuellen Begutachtungsergebnissen diente zur Abschätzung individueller, antragstellerbezogener Verschiebungen und möglicher finanzieller Folgen auf die Pflegeversicherung. 3
probabilistischen Testtheorie zurückgegriffen, deren Annahmen auf Instrumente wie das NBA gar nicht zutreffen. Andere Statistiker vertreten andere Meinungen, und fast alle renommierten Einschätzungsinstrumente im Gesundheitswesen arbeiten mit ordinalen Skalen, die metrisch interpretiert werden. Beispiele sind der Barthel Index oder das Functional Independence Measure (FIM). In der medizinischen, der gesundheitswissenschaftlichen und auch der pflegewissenschaftlichen internationalen Forschung gilt es als zulässig und ist es üblich, bei Instrumententestungen entsprechend vorzugehen. Fazit Die Daten, auf die sich die angeführten Arbeiten von Prof. Brühl und seinen Studierenden stützen, wurden mit einem abgewandelten NBA erhoben. Bei näherer Betrachtung zeigen sich außerdem gravierende Missverständnisse und Fehler, die das Instrument und die dazugehörigen Berichte betreffen. Für die Beurteilung des NBA sind die Arbeiten aus Vallendar daher irrelevant. Wir hoffen sehr, dass sich die maßgeblichen Entscheidungsträger von Initiativen dieser Art nicht irritieren lassen und sich auch weiterhin auf die Lösung der komplizierten Sachfragen konzentrieren, die bei der Einführung des neuen Pflegebedürftigkeitsbegriffs zu lösen sind. Verfasser: NBA Entwicklungsteam Dr. Klaus Wingenfeld Geschäftsführer des Instituts für Pflegewissenschaft an der Universität Bielefeld Dr. Barbara Gansweid Leiterin des Fachreferates Pflege, Medizinischer Dienst der Krankenversicherung Westfalen Lippe Leiterin der Sozialmedizinischen Expertengruppe 2 Pflege der MDK Gemeinschaft Prof. Dr. Andreas Büscher Professor für Pflegewissenschaft an der Hochschule Osnabrück und wissenschaftlicher Leiter des Deutschen Netzwerks für Qualitätsentwicklung in der Pflege Projektleitungen Prof. Dr. Doris Schaeffer Lehrstuhl Versorgungsforschung/Pflegewissenschaft der Universität Bielefeld, Direktorin des Instituts für Pflegewissenschaft an der Universität Bielefeld Dr. Ulrich Heine Geschäftsführer des Medizinischen Dienstes der Krankenversicherung Westfalen Lippe 4
Zitierte Schriften Bensch, S. (2011): Konstruktvalidität der Module Mobilität und Kognitive und kommunikative Fähigkeiten des Neuen Begutachtungsassessment zur Feststellung von Pflegebedürftigkeit. Dissertation zur Erlangung des Doktorgrades der Pflegewissenschaft an der Pflegewissenschaftlichen Fakultät der Philosophisch Theologischen Hochschule Vallendar Brühl, A. (Hg.) (2012): Pflegebedürftigkeit messen? Herausforderungen bei der Entwicklung pflegerischer Messinstrumente am Beispiel des Neuen Begutachtungsassessments (NBA). Bericht des Lehrstuhls für Statistik und standardisierte Verfahren der Pflegeforschung, Juli 2012 Franken, G. (2010): Konstruktvalidität der Subskala Kognitive und kommunikative Fähigkeiten des Neuen Begutachtungsassessment zur Feststellung von Pflegebedürftigkeit (NBA). Masterarbeit zur Erlangung des akademischen Grades Master of Science im Masterstudiengang Pflegewissenschaft der Pflegewissenschaftlichen Fakultät an der Philosophisch Theologischen Hochschule Vallendar Schröder, M. (2010): Konstruktvalidität der Subskala Mobilität des Neuen Begutachtungsassessment für Pflegebedürftigkeit (NBA). Masterarbeit zur Erlangung des akademischen Grades Master of Science im Masterstudiengang Pflegewissenschaft der Pflegewissenschaftlichen Fakultät an der Philosophisch Theologischen Hochschule Vallendar Windeler, J./Görres, S./Thomas, S./Kimmel, A./Langner, I./Reif, K./Wagner, A. (2008): Abschlussbericht der Hauptphase 2 der Maßnahmen zur Schaffung eines neuen Pflegebedürftigkeitsbegriffs und eines neuen bundesweit einheitlichen und reliablen Begutachtungsinstruments zur Feststellung der Pflegebedürftigkeit nach dem SGB XI. Essen: MDS/IPP 5