Erfassen beruflicher Kompetenz in der Pflegeausbildung europäischer Länder

Transkript

1 Erfassen beruflicher Kompetenz in der Pflegeausbildung europäischer Länder Joy Schumacher* Ursel Hauschildt**, Renate Fischer***, Lars Heinemann**, * aib Arbeitswissenschaftliches Institut Bremen, Universität Bremen, Hochschulring 40, Bremen ** FG Berufsbildungsforschung (i:bb), Universität Bremen, Leobener Straße / NW2, Bremen *** Schule für Gesundheits- und Krankenpflege am Katholischen Klinikum Koblenz- Montabaur, Thielenstr. 13, Koblenz Zusammenfassung: Zwei Projekte zum Thema Messen beruflicher Kompetenz in Berufen der Gesundheits- und Krankenpflege laufen derzeit in Europa. Zum einen ein nationales Projekt in der Schweiz, zum anderen ein europäisches Vergleichsprojekt (COMCARE) mit Länderbeteiligungen aus Deutschland, Norwegen, Polen und Spanien. Während im Falle des schweizerischen Projekts bereits erste Messergebnisse vorliegen, werden im Projekt COMCARE Mitte 2014 erste Ergebnisse erwartet. Der vorliegende Beitrag bezieht sich daher im Wesentlichen auf die im Rahmen dieser Projekte durchgeführten Maßnahmen zur Sicherstellung internationaler Vergleichbarkeit, sowohl in Bezug auf die Entwicklung des Testinstrumentariums als auch auf die Besonderheiten bei der Durchführung internationaler Schulungen. Stichworte: Europa, Deutschland, Gesundheitsberufe, Norwegen, Polen, Pflegeausbildung, Ratertraining, Schweiz, Spanien Pflegeausbildung in Europa ein heterogenes Bild Die Ausbildung in den Gesundheitsberufen ist ein noch relativ neues Feld der COMET-Kompetenzdiagnostik. Während es ursprünglich in den COMET-Projekten um die Kompetenzdiagnostik in gewerblich-technischen und kaufmännischen Berufen ging, werden seit 2012 auch Projekte in den Pflegeberufen bzw. in der Pflegeausbildung durchgeführt. Die Pflegeausbildung findet in Deutschland in 1

2 Fachschulen des Gesundheitswesens und in anderen europäischen Ländern überwiegend an Universitäten und Fachhochschulen statt. Die Frage, ob sich der Kompetenzerwerb im Rahmen von akademischer bzw. nicht-akademischer Ausbildung unterscheidet, ist gerade für die zukünftige Verortung der Pflegeausbildung in Deutschland ausgesprochen interessant. Das Thema der grundständigen akademischen Pflegebildung wird seit Jahren intensiv und kontrovers diskutiert. Dies gilt auch für die Schweiz, da dort Fachhochschulen und Höhere Fachschulen um Bewerber für die Pflegeausbildung konkurrieren. 1 Dass es prinzipiell möglich ist, die berufliche Handlungskompetenz von Auszubildenden oder Studierenden in verschiedenen Ländern und damit ebenso verschiedenen Ausbildungssystemen zu vergleichen, begründet sich im Ansatz des COMET-Modells: Die COMET-Kompetenzdiagnostik orientiert sich nicht an den Lehrbzw. Bildungsplänen einzelner Länder, sondern an den beruflichen Handlungsfeldern der Berufe bzw. Berufsfelder. Es kann davon ausgegangen werden, dass die beruflichen Anforderungen an das Pflegefachpersonal europaweit vergleichbar sind auch wenn deren Tätigkeitsfeld in den einzelnen Ländern im Detail variiert. Unter anderem ist dies auf die EU-Richtlinie zur gegenseitigen Anerkennung beruflicher Qualifikationen (Richtlinie 2005/36/EG vom , Art. 31, 3) zurückzuführen, die auch der Schweizer Ausbildung zugrunde liegt. Darin sind sowohl die Dauer der Ausbildung als auch das Theorie-Praxis-Verhältnis der Allgemeinen Pflegeausbildung festgelegt: 2 (3) Die Ausbildung zur Krankenschwester und zum Krankenpfleger für allgemeine Pflege umfasst mindestens drei Jahre oder Stunden theoretischen Unterricht und klinisch-praktische Unterweisung; die Dauer der theoretischen Ausbildung muss mindestens ein Drittel und die der klinisch-praktischen Unterweisung mindestens die Hälfte der Mindestausbildungsdauer betragen. Eine weitere Basis für die internationale Vergleichbarkeit beruflicher Handlungskompetenz ist die Form des Ratertrainings, das in diesem Beitrag am Beispiel der Pflegeausbildung näher erläutert wird. Das Gesamtprojekt COMET-Pflege bezieht sich auf Auszubildende bzw. Studierende aus insgesamt fünf europäischen Ländern und beinhaltet zwei Forschungsprojekte: zum einen das Projekt KOMET Pflegeausbildung Schweiz, 1 In der Schweiz werden pro Jahr mindestens diplomierte Pflegefachpersonen zu wenig ausgebildet. Die Gruppe der potenziellen Kandidaten bzw. Kandidatinnen ist daher stark umworben. 2 Bei der EU-Richtlinie handelt es sich um Mindeststundenzahlen. In der Schweiz umfasst die Ausbildung an der Höheren Fachschule insgesamt Stunden, die je zur Hälfte der theoretischen und praktischen Ausbildung zugerechnet werden. In Deutschland schreibt die Ausbildungs- und Prüfungsverordnung mindestens Stunden theoretische und mindestens Stunden praktische Ausbildung vor (vgl. 1, AUSBILDUNGS- UND PRÜFUNGSVERORDNUNG FÜR DIE BERUFE IN DER KRANKENPFLEGE 2003). 2

3 das 2012 anlief (vgl. dazu Gäumann/Hofer in diesem Band), und zum anderen das Leonardo-da-Vinci EU-Projekt Erheben und Vermitteln beruflicher Kompetenz, beruflicher Identität und beruflichen Engagements in den Pflegeberufen in Spanien, Norwegen, Polen und Deutschland (COMCARE), das im November 2012 gestartet wurde und bis Ende 2014 läuft. Pflegeausbildung in den beteiligten Projektländern Schweiz In der Schweiz gibt es eine duale Ausbildung (mit Zugang nach Abschluss der Sekundarstufe II) sowie eine Pflegeausbildung auf Tertiärniveau. Es gibt dort zwei Möglichkeiten, eine Berufszulassung in der Pflege zu erwerben: das dreijährige Studium an einer Höheren Fachschule (HF), welches mit einem Diplom abschließt, und das ebenfalls dreijährige Bachelor-Studium an einer Fachhochschule (FH). Für ein Studium an Höheren Fachschulen ist neben einer bestandenen Aufnahmeprüfung ein Berufs- oder Schulabschluss der Sekundarstufe II erforderlich, während das Fachhochschulstudium eine Maturität (Hochschulreife) voraussetzt. 3 Die sechs teilnehmenden Bildungseinrichtungen des KOMET-Projektes sind allesamt Höhere Fachschulen und kommen aus den Kantonen Aargau, Basel, Bern, Luzern, Solothurn und Zürich. Die Schulen aus Aargau, Bern und Zürich gehören zu einem Curriculum-Verbund, die drei anderen Kantone arbeiten in einer offenen Kooperation zusammen. Spanien Die spanische Pflegeausbildung findet in Form eines vierjährigen Bachelor-Studiums mit dem Abschluss BSc Nursing statt, für den 240 ECTS (European Credit Transfer System) benötigt werden. Projektpartner ist die Privatuniversität Ramon Llull in Barcelona bzw. die Fakultät Blanquerna, an der neben dem Fach Pflege noch zahlreiche weitere Fächer des Gesundheitswesens studiert werden können. Norwegen Auch in Norwegen ist die Pflegeausbildung grundständig akademisch organisiert. Das Studium dauert hier drei Jahre. Der Abschluss ist wie in Spanien der BScN, der in Norwegen jedoch schon mit 180 ECTS zu erreichen ist. Norwegischer Projektpartner ist die Oslo and Akershus Universität, College of Applied Sciences (HiOA) in Oslo. Polen Projektpartner in Polen ist das Cardinal August Hlond Upper Silesian College of Pedagogical Education in Myslowice. Testteilnehmer des COMCARE-Projektes sind 3 Für weitere Details zur Pflegeausbildung in der Schweiz vgl. den Beitrag von Karin Gäumann und Daniel Hofer in diesem Band. 3

4 dort Auszubildende zweier jeweils einjähriger Ausbildungen ( Medical Carer und Assistenten/in für Menschen mit Behinderung ) sowie Auszubildende der zweijährigen Ausbildung zum Altenhilfeassistenten. Voraussetzung für diese Ausbildungsgänge ist mindestens ein mittlerer Bildungsabschluss. Darüber hinaus beteiligen sich in Polen Studierende eines dreieinhalbjährigen Bachelor- Studienganges für Pflege am Projekt COMCARE. Deutschland In Deutschland ist die Gesundheits- und Krankenpflegeausbildung eine dreijährige Berufsausbildung, die an staatlich anerkannten Fachschulen im Gesundheitswesen angesiedelt ist. Zugangsvoraussetzung der Ausbildung ist ein mittlerer Bildungsabschluss. Daneben ist auch der Zugang über einen Hauptschulabschluss in Verbindung mit einer abgeschlossenen Berufsausbildung möglich. Darüber hinaus existieren bereits erste primärqualifizierende Pflege-Studiengänge. An dem Leonardo-Projekt COMCARE nehmen für Deutschland zwei Schulen für Gesundheits- und Krankenpflege in Trägerschaft der BBT-Gruppe 4 an den Standorten Paderborn und Koblenz teil. Zusammenfassend lässt sich festhalten, dass sich für die Pflegeausbildung der teilnehmenden Bildungseinrichtungen ein durchaus heterogenes Bild ergibt. Das wiederum macht die COMET-Forschung im Pflegebereich so interessant: Es geht z. B. um die Frage, ob und wie sich die Kompetenzausprägung der Studierenden eines vierjährigen Studiengangs, wie z. B. in Spanien, von der der Auszubildenden in Deutschland unterscheidet. Ebenso vielversprechend sind die Untersuchungen zur Entwicklung beruflicher Identität und des beruflichen Engagements angehender Pflegefachkräfte in den unterschiedlichen Bildungsgängen der beteiligten Länder. Testaufgaben und Messinstrumente Im Vorfeld der Testung wurden vier berufliche Handlungsfelder der Pflegetätigkeit identifiziert: Pflege im Rahmen des Pflegeprozesses Durchführung veranlasster Maßnahmen Schulung, Anleitung und Beratung Verwaltungs- und Führungsaufgaben Testaufgaben Zu jedem der pflegerischen Handlungsfelder wurden zunächst im Rahmen des Schweizer Projekts neun offene Testaufgaben entwickelt und in einem Pretest den 4 BBT= Barmherzige Brüder von Maria-Hilf. Die BBT-Gruppe ist einer der großen kirchlichen Träger im deutschen Gesundheitswesen. 4

5 COMET-Kriterien entsprechend überprüft. Ergänzend dazu wurden offene Lösungsräume entwickelt, mithilfe derer die Lösungen bewertet ( geratet ) werden. Der Pretest in der Schweiz umfasste standardmäßig eine Befragung der teilnehmenden Auszubildenden über den Schwierigkeitsgrad und die Praxisrelevanz der Testaufgabe. Die für eine Testung geeignetsten vier Aufgaben wurden im Schweizer Haupttest verwendet, die verbleibenden Aufgaben stehen heute als Lernaufgaben für den Unterricht zur Verfügung. Testaufgabenentwicklung war zugleich zentraler Bestandteil der Projektarbeit im Projekt COMCARE. Da mithilfe solcher Aufgaben die beruflichen Kompetenzen von SchülerInnen und StudentInnen in den beteiligten Ländern international verglichen werden sollten, kam der Qualität der Aufgaben eine entscheidende Rolle zu. Pretest COMCARE: Aufgabenentwicklung/ Durchschnittliche Kompetenzprofile Aufgabe (1) Testort 1) K1 K2 K3 K4 K5 K6 K7 K8 FK PK GK GPW VAR Aufgabe 1 (Testort 2) K1 K2 K3 K4 K5 K6 K7 K8 FK PK GK GPW VAR

6 Analyse Schwierigkeitsgrad Aufgabe 1 nach Items (COMCARE Pretest 2013) A1 A2 A3 A4 A5 A6 A7 A8 A9 A % 65.8% 72.5% 68.3% 52.5% 63.3% 55.8% 71.7% 57.3% 74.2% A11 A12 A13 A14 A15 A16 A17 A18 A19 A % 60.0% 65.8% 26.3% 58.1% 75.8% 75.0% 80.0% 45.8% 44.2% A21 A22 A23 A24 A25 A26 A27 A28 A29 A % 65.8% 72.5% 68.3% 52.5% 63.3% 55.8% 71.7% 57.3% 74.2% A31 A32 A33 A34 A35 A36 A37 A38 A39 A % 60.0% 65.8% 26.3% 58.1% 75.8% 75.0% 80.0% 45.8% 44.2% Abb. 1: Beispiel für Pretestergebnisse im Projekt COMCARE. Hier: Durchschnittliche erreichte Kompetenzprofile in Bezug auf eine Testaufgabe an zwei verschiedenen Testorten und Analyse des Schwierigkeitsgrads in Bezug auf alle 40 Items COMET-Aufgaben müssen nach Möglichkeit alle acht Kriterien des Kompetenzmodells abdecken, demgemäß komplex und dabei gleichzeitig eindeutig beschrieben sein. Darüber hinaus sollte aber auch das Ausbildungsniveau der teilnehmenden Testpersonen entsprechend berücksichtigt werden, sodass unter den beteiligten Testpersonen eine vergleichbare Chance für eine erfolgreiche Bearbeitung der Aufgaben gegeben sein würde. Dies erforderte unter den Projektbeteiligten vor allem wegen der unterschiedlichen Bildungssysteme und - strukturen der Länder besonders detaillierte Abstimmungsprozesse. Vor diesem Hintergrund wurden zunächst die vier Testaufgaben des Schweizer Projekts für die teilnehmenden Ausbildungseinrichtungen in Norwegen, Polen und Spanien übersetzt und dort sowie auch in Deutschland hinsichtlich ihrer Relevanz und Anwendbarkeit überprüft. Gleichzeitig wurde der vorhandene Testaufgabenpool im Verlauf des Projektes durch weitere Aufgaben aus den Teilnehmerschulen ergänzt, welche ihrerseits dem standardisierten Pretest unterzogen wurden (vgl. Abb. 1 zu Pretest-Ergebnissen COMCARE und Qualitätssicherung bei der Aufgabenentwicklung). Im anschließenden Haupttest wurden sowohl zwei ursprüngliche Aufgaben aus der Schweiz als auch zwei der neu konzipierten Aufgaben verwendet. Erst diese Vorgehensweise ermöglichte eine vergleichende, länderübergreifende Kompetenzdiagnostik. Übertragbarkeit des COMET-Kompetenzmodells Während es bei der Frage nach der Anwendbarkeit und direkten Übertragbarkeit des COMET-Messmodells auf die Berufe der Gesundheits- und Krankenpflege im schweizerischen Projekt abgesehen von einer Angleichung der Kompetenzkriterien keinerlei Anpassungsbedarf gegeben hat, bestand im Projekt COMCARE im Sinne 6

7 des pflegerischen Vokabulars ein zusätzlicher, sprachlicher Anpassungsbedarf bei den 40 Items die diesen Kriterien zugeordnet werden ohne dass dabei die originäre Bedeutung der Kompetenzkriterien im Rahmen des Modells verändert wurde (Abb. 2). Abb. 2: Kriterien des COMET-Kompetenzmodells nach Anpassung für den Bereich Gesundheits-/Krankenpflege (Projekte COMCARE und KOMET Pflege Schweiz) Das Ratertraining: Gewährleistung der internationalen Vergleichbarkeit von COMET-Kompetenztests Wie bereits dargestellt, orientieren sich die COMET-Testaufgaben ausschließlich an den Anforderungen der beruflichen Praxis. Der Paper & Pencil-Test konfrontiert die Lernenden mit authentischen Aufgabenstellungen. Alle Testaufgaben erfordern ein berufstypisches Vorgehen und sollen die Probanden herausfordern, Probleme zu lösen, zu begründen und zu dokumentieren (vgl. HAASLER u. a. 2009, ). Bewertet werden die Aufgabenlösungen der SchülerInnen und Studierenden wie auch in allen anderen COMET-Projekten in Form eines Ratings durch geschulte Lehrkräfte. In den Bewertungsformularen sind die acht Kriterien des Kompetenzmodells in insgesamt 40 Items operationalisiert. Jede Schülerlösung wird in Bezug auf alle 40 Items von jeweils zwei der am Ratingprozess beteiligten Lehrkräften (Rater) bewertet. Diese Bewertung erfolgt in vier Abstufungen von vollständig (erfüllt) bis nicht erfüllt und auf anonymisierter Basis. Entscheidend für die Qualität des Messinstrumentes ist daher der Grad der Übereinstimmung der einzelnen Rater-Bewertungen, die Interraterreliabilität. So war 7

8 es eine der wichtigsten Aufgaben der COMET-Pflege-Projekte, diese auf hohem Niveau sicherzustellen. Mit einer spezifischen Form des mittlerweile vielfältig erprobten Ratertrainings (RAUNER u. a. 2011, Kap. 4.2, 97 ff.) ist es möglich, die große Bandbreite höchst unterschiedlicher Lösungen, die bei offenen und komplexen Testaufgaben zu erwarten sind, mit großer Genauigkeit und weitgehend übereinstimmend zu bewerten. Da es aufgrund sprachlicher Hürden nicht möglich war, in den jeweiligen nationalen Teams direkt auch Lösungen von SchülerInnen und StudentInnen anderer Teilnehmerländer zu beurteilen, kam auch der Vorbereitung des Ratertrainings im COMCARE-Projekt eine besondere Bedeutung zu. Um eine möglichst große Übereinstimmung hinsichtlich der Bewertung von Aufgabenlösungen zu erzielen, wurden Beispiellösungen von SchülerInnen in mehrere Sprachen übersetzt, sodass jedes Team mindestens auch auf der Grundlage zweier Aufgabenlösungen aus anderen Teilnehmerländern geschult werden konnte. Der Ablauf einer Raterschulung erfolgt nach festgelegten Regeln (vgl. Abb. 3). Zunächst wird das COMET-Verfahren der Kompetenzdiagnostik in seinen wesentlichen Elementen vorgestellt. Das ist insbesondere dann ein notwendiger Schritt, wenn die Teilnehmer mit dem Testverfahren noch nicht vertraut sind. Im Projekt COMCARE wurden die internationalen Partner bereits im Vorfeld des Trainings so eng in das Projekt und in die zugrunde liegende Methodik eingebunden, dass der Einstieg in das Training damit erleichtert wurde. Im zweiten Schritt folgt das Proberating. Dabei ist wichtig, dass jeder Schulungsteilnehmer seine Bewertung ohne Diskussion oder Absprache mit anderen TeilnehmerInnen vornimmt. Nach einem solchen ersten Rating liegen die Beurteilungen der einzelnen Rater oft noch sehr weit auseinander. Daher muss im Anschluss daran genügend Zeit eingeräumt werden, um inhaltliche Fragen zur Bedeutung der ggf. noch unklaren Items zu beantworten. Das Ziel ist hier, sich unter Bezugnahme auf den Lösungsraum über gemeinsame Bewertungsmaßstäbe zu verständigen, soweit sich diese nicht aus der Sache selbst ergeben. Erst dann folgt das erste Gruppenrating in Kleingruppen mit 3 bis 5 Ratern. Alle individuellen Ratings und auch die Gruppenratings werden über ein Excel- Tool sichtbar für alle TeilnehmerInnen in eine entsprechende Datenmaske eingegeben, sodass im Anschluss daran begründete Diskussionen im Plenum ermöglicht werden. Was den zeitlichen Aufwand des Ratertrainings anbelangt, so bietet Abb. 3 einen annähernden Überblick. Dabei nimmt vom 1. bis zum 4. oder 5. oder 6. Proberating der Zeitaufwand deutlich ab, z. B. von anfangs ca. 2 Stunden bis zu ca. 30 Minuten im letzten Rating. 8

9 Programm Ratertraining 1. Einführung (Plenum): - das KOMET-Kompetenzmodell - das KOMET-Messmodell - die Items der Raterskala 2. Proberating anhand ausgewählter Lösungen zu allen vier Testaufgaben in folgenden Schritten: - Vorstellen der ersten Testaufgabe und des Lösungsraumes - Vorstellen der zu bewertenden ein bis zwei Schülerlösungen Zeitlicher Umfang 3 5 Std., je nach Vorkenntnissen der Teilnehmer Min. (Plenum) 3. Bilden von Arbeitsgruppen von 5 bis 6 Personen (nach Zufallsprinzip); Proberating in den Arbeitsgruppen in vier Schritten: - Jeder Rater bewertet die Lösung individuell. - Die Raterergebnisse werden miteinander in den Gruppen verglichen, unterschiedliche Bewertungen werden analysiert. 1,5 2 Std. - Es wird ein Gruppenrating durchgeführt. Die Schwierigkeiten beim Finden gemeinsamer Bewertungen werden in einem Kurzprotokoll festgehalten. - Ist eine zweite Aufgabenlösung für das erste Proberating vorgesehen, wird ebenso verfahren wie mit der ersten Lösung. - Die Ergebnisse des Ratings (individuell und Gruppe) werden in den Laptop (Plenum) eingegeben. 4. Plenum: - Präsentation der Ratingergebnisse der Arbeitsgruppen und der beim Rating aufgetretenen Schwierigkeiten. - Analyse aller Ratingergebnisse zur ersten und ggf. zweiten Lösung im Vergleich zu den 1 2 Std. Ratingergebnissen erfahrener/ausgebildeter Rater. Dabei werden auffällige Ratingwerte (von einzelnen Ratern bzw. zu einzelnen Items) analysiert. - Vorstellen der zweiten Testaufgabe sowie der zwei Lösungen. 5. Rating in Gruppen (wie bei Aufgabe 1) 1 1,5 Std. 6. Präsentation und Auswertung der Gruppenergebnisse im Plenum 1 2 Std. 7. Das Rating zur dritten und vierten Testaufgabe erfolgt in denselben Schritten wie bei der ersten und zweiten Testaufgabe 8. Abschließendes individuelles Rating aller Lösungen Abb. 3: Ablauf eines KOMET-Ratertrainings. Quelle: RAUNER u. a. 2011, 103 pro Testaufgabe ca. 2 3 Std. ca Min. pro Lösung Das Ratertraining im Rahmen des Projekts COMCARE wurde in Deutschland an zwei Tagen durchgeführt, da es dabei auch noch darum ging, die Lösungsräume der einzelnen Aufgaben weiter auszudifferenzieren. Diese wiederum waren für das international vergleichende Projekt eine entscheidende Grundlage für das Erreichen einer hohen Interraterreliabilität. Da während der Raterschulungen ohne den Einfluss sprachlicher Hürden frei diskutiert werden konnte, war es relativ leicht, sich über eine detaillierte Beschreibung der Lösungsräume zu verständigen. Im Ergebnis wurden daher in Deutschland insbesondere die Lösungsräume aller neuen Testaufgaben ergänzt und inhaltliche Fragen der ins Deutsche übersetzten zusätzlichen Aufgaben geklärt. Für alle Ratertrainings wurden dieselben Studierendenlösungen verwendet, um die Vergleichbarkeit der Testergebnisse sicherzustellen. 9

10 Für jedes Proberating der für alle Projektgruppen gleichermaßen verwandten Lösungsbeispiele wird als Maß für die Interraterreliabilität der Finn-Koeffizient ermittelt. Der Verlauf in Abbildung 4 zeigt anhand des in Deutschland durchgeführten Ratertrainings beispielhaft, dass im Laufe des Ratertrainings der Übereinstimmungsgrad der Beurteilungen zwischen den Teilnehmenden deutlich zunahm. Hier kann man auch deutlich erkennen, dass es nach dem ersten Proberating in Bezug auf Aufgabe 1 noch einen erheblichen Klärungsbedarf gegeben hat, der aber im folgenden Rating weitestgehend ausgeräumt werden konnte (Steigerung des Wertes finnjust von 0,64 auf 0.73) beim Raten von Aufgabe 2. Danach stabilisierten sich die Werte auf einem hohen Niveau von 0,78 und 0,79. Abb. 4: Entwicklung der Interraterreliabilität während des Ratertrainings im Projekt COMCARE (Projektgruppe Deutschland), ermittelt über die Berechnung des Finn- Koeffizienten (finnjust) Zu berücksichtigen ist, dass mit jeder neuen Aufgabe, die geratet wird, auch die Bedeutung der Items neu diskutiert werden muss und dass sich ein gutes Ergebnis eines vorhergehenden Proberatings nicht zwingend auch für das Folgerating einstellen muss. Die Beispiele des Ratertrainings spiegeln daher auch eine unterschiedliche Reihenfolge der Lösungsbeispiele und damit auch des Aufgabentypus wider. In manchen Fällen hielten es die Schulungsteilnehmenden selbst für erforderlich, ein Rating in Bezug auf eine der verwandten Testaufgaben anhand einer weiteren SchülerInnenlösung erneut durchzuführen. 10

11 Abbildung 5 gibt die Ergebnisse des Ratertrainings in Spanien und in Polen wieder, die insgesamt auch einen positiv ansteigenden Verlauf wie in Deutschland nahmen. Ratertraining Spanien - COMCARE 2013 Ratertraining Polen COMCARE 2013 Abb: 5: Verläufe des Finn-Koeffizienten bei den Raterschulungen in Spanien und Polen Lediglich in Norwegen kam es beim Ratertraining in Bezug auf den Verlauf der Interraterreliabilität zu einer etwas anderen Entwicklung. Hier bewegte sich der Grad der Übereinstimmung von Rating zu Rating nur minimal und hielt sich nahezu konstant zwischen Werten von 0,69 bis 0,75. Werte ab 0.65 gelten als gute Grundlage für das Ratingverfahren. Abb. 6: Verlauf Finn-Koeffizient beim Ratertraining COMCARE in Norwegen Um zu überprüfen, dass auch nach dem Ratertraining zwischen den 4 Teilnehmerländern unter den Ratern international ein hohes Maß an Übereinstimmung bei der Bewertung von SchülerInnenlösungen besteht, bewerten derzeit Lehrkräfte aus allen Ländern auch übersetzte Beispiellösungen von SchülerInnen/ StudentInnen der jeweils anderen Teilnehmerländer. Da sich die meisten Länderteams zum Redaktionsschluss dieses Buches noch mitten im Ratingprozess befanden, stehen die Ergebnisse der Vergleichsuntersuchung allerdings noch aus. 11

12 Zwischenbilanz über Ratertrainings in international vergleichenden Projekten Bei der Planung eines Ratertrainings im internationalen Kontext sollte man so erste Schlussfolgerungen aus dem EU-Projekt die folgenden Punkte berücksichtigen: 1. SPRACHE Eine entscheidende Determinante für den Erfolg einer Raterschulung ist die Sprache. Sollte der Moderator des Ratertrainings nicht die Landessprache beherrschen, so ist es unabdingbar, einen guten (Fach-)Übersetzer zu beteiligen, der mit dem Ausbildungsgang bzw. mit dem entsprechenden Beruf/Berufsfeld vertraut ist. Gerade im Pflegebereich ist es nicht nur eine Frage der fachlichen Termini, die beherrscht werden müssen, sondern es ist auch sehr wichtig, zwischen den Zeilen lesen zu können. Ein Ratertraining, das zweisprachig durchgeführt werden muss, benötigt in etwa die doppelte Zeit. Zudem sollten immer die kulturellen Gepflogenheiten des Teilnehmerlandes bei der Tagesplanung berücksichtigt werden. 2. MOTIVATION Wesentlich für ein erfolgreiches Ratertraining ist neben einer guten Vorbereitung die Motivation der Teilnehmer sicherzustellen. Bei größeren Ratergruppen muss gewährleistet werden, dass bei der Bildung von Kleingruppen für das Gruppenrating (4 bis 5 Teilnehmer) für jede Gruppe (zumindest zeitweise) ein COMET-Experte zur Verfügung steht. Dies gilt vor allem für das erste Gruppenrating. 3. MODERATION Die Zusammensetzung der Teilnehmenden spielt beim Rating eine nicht zu unterschätzende Rolle. Dabei ist es nicht so entscheidend, welches spezielle Fachgebiet eines Berufes die Teilnehmenden repräsentieren. Man könnte annehmen, dass es einer Gruppe, die sich aus dem Arbeitsalltag bereits kennt, leichter fällt, sich auf eine gemeinsame Bewertung eines Kriteriums zu einigen. Die Erfahrung aus dem COMCARE-Projekt zeigte jedoch, dass davon nicht unbedingt ausgegangen werden kann. Viele Teilnehmende sind vor allem beim ersten Proberating verunsichert, wenn sie das Gefühl entwickeln, dass ihr bisheriges Fachverständnis infrage gestellt wird. Es erfordert viel Fingerspitzengefühl und Moderationskompetenz, alle Teilnehmenden gleichermaßen an das Konzept der holistischen Aufgabenlösung heranzuführen, denn viele der teilnehmenden Lehrkräfte werden während des Ratertrainings herausgefordert, in einer sehr kurzen Zeit eingefahrene Problemlösemuster und Werteschemata zu hinterfragen und eine gemeinsame Vorstellung von guten und schlechten Lösungen zu entwickeln. 4. INTERPRETATIONSSPIELRÄUME 12

13 Essenziell für das Verständnis und die Bewertung einer Aufgabenlösung ist die Auseinandersetzung mit den Items und Kriterien des COMET-Kompetenz- und Messmodells. Die Interpretation eines Items und die Relevanz eines Kriteriums für jede Aufgabe sind am Beginn des Ratertrainings noch sehr unterschiedlich. Nur wenn die Teilnehmenden jedes Item nicht nur inhaltlich verstanden, sondern auch in seiner Bedeutung für die einzelne Aufgabe verinnerlicht haben, ist eine weitgehend übereinstimmende Bewertung möglich. Der Prozess, um das zu erreichen, verläuft in allen COMET-Projekten ähnlich. Im Laufe des Trainings, wenn die Teilnehmenden ein Verständnis für alle Items entwickelt haben, kann man sich in der Diskussion auf diejenigen Items beschränken, deren Bewertung auffällige Unterschiede aufweisen. Deutliche Unterschiede in der Bewertung bedürfen der Diskussion, um im Sinne einer diskursiven Validität ein wesentliches Gütekriterium für dieses anspruchsvolle Testverfahren einzulösen. In der Regel bieten detailliert ausgearbeitete Lösungsräume das Potenzial, den Prozess hin zu gemeinsamen Bewertungsmaßstäben zu verkürzen. 5. HETEROGENITÄT Für die Bewertung einer Lösung spielt der fachliche Hintergrund der Rater eine wichtige Rolle. Gruppen, die sich aus unterschiedlichen Fachrichtungen innerhalb der Pflege zusammensetzen, haben den Vorteil gegenüber Gruppen aus einem Fachgebiet, dass die unterschiedlichen Sichtweisen auf eine Lösung besser berücksichtigt werden können. Aufgrund der verschiedenen Blickwinkel ergeben sich zwar mehr Reibungspunkte und vielseitige Diskussionen, das hat aber den positiven Effekt, dass die Teilnehmenden dadurch einen Einblick in andere Fachrichtungen des Berufes erhalten und so ein besseres Verständnis für die zentralen Merkmale, die eine gute Lösung enthalten sollten, entwickeln. Ein Nachteil ist der zeitliche Faktor: Homogene Gruppen finden schneller einen Konsens im Ratingverfahren. Der Verlauf der Pilotphase des COMCARE-Projekts und die Erfahrungen anderer internationaler COMET-Projekte haben gezeigt, dass es darauf ankommt, das standardisierte Verfahren für Raterschulungen konsequent anzuwenden. Ebenso wichtig ist auch die Berücksichtigung von länderspezifischen Besonderheiten der Ausbildungstraditionen sowie der fachlichen und methodischen Kompetenz von Moderatoren und Übersetzern als wichtige Voraussetzungen für das Gelingen des Ratertrainings und das anschließende Rating der Aufgabenlösung der durchgeführten Tests. Fazit Die COMET-Projekte Pflege und COMCARE bilden einen neuen Schritt der COMET- Forschung in Bezug auf die Überprüfung und Anwendbarkeit des Messinstrumentariums auf Berufe der Gesundheits- und Krankenpflege. Der bisherige Projektverlauf hat gezeigt, dass sich das COMET-Kompetenzmodell sowie das Messinstrumentarium abgesehen von einigen sprachlichen Angleichungen ohne 13

14 weiteren Anpassungsbedarf auf die Berufe der Pflege übertragen lassen. Die Sicherstellung internationaler Vergleichbarkeit erforderte insbesondere im Projekt COMCARE einen hohen organisatorischen Abstimmungsaufwand ein Faktor, der insbesondere auch bei der Erstellung von international verwendbaren Test- bzw. Lernaufgaben in dem Berufsfeld Pflege deutlich wurde. Der Erfolg dieses europäischen Projekts hängt darüber hinaus auch ganz entscheidend vom Engagement der beteiligten Lehrenden, DozentInnen und WissenschaftlerInnen ab. Nur so konnten die zu knapp bemessenen Ressourcen ausgeglichen werden. Die Testergebnisse des Projekts COMCARE werden mit einer gewissen Spannung erwartet. Sie werden so die Hoffnung der Projektbeteiligten dazu beitragen könnten, die Bedingungen der Kompetenzentwicklung von Auszubildenden und Studierenden der Pflegewissenschaften genauer zu verstehen. Dies ist besonders interessant, da die Ausbildung in den beteiligten Ländern unterschiedlichen Rahmenbedingungen unterliegt und daher wertvolle Erkenntnisse hinsichtlich der künftigen Ausgestaltung von nationenübergreifenden Ausbildungsstrukturen im Pflegesektor gewonnen werden können. Literatur Ausbildungs- und Prüfungsverordnung für die Berufe in der Krankenpflege (KrPflAPrV) vom In: (letzter Zugriff ). Haasler, B.; Heinemann, L.; Rauner, F.; Grollmann, P.; Martens, T. (2009): Testentwicklung und Untersuchungsdesign. In: Rauner, F.; Haasler, B.; Heinemann, L.; Grollmann, P.: Messen beruflicher Kompetenzen. Band 1: Grundlagen und Konzeption des KOMET-Projekts. 2. Auflage. LIT. Berlin Rauner, F.; Heinemann, L.; Maurer, A.; Ji, L.; Zhao, Z. (2011): Messen beruflicher Kompetenzen. Band III. Drei Jahre KOMET-Testerfahrung. LIT. Berlin, Münster. Richtlinie 2005/36/EG des Europäischen Parlaments und des Rates vom 7. September 2005 über die Anerkennung von Berufsqualifikationen. In: developments/legislation/index_de.htm (letzter Zugriff ). 14