Online-Prüfung zum Ultraschallscreening im 2. Trimenon Ergebnisse der Prüfungen 7. QS-Konferenz des G-BA, 1. Oktober 2015

Transkript

1 Online-Prüfung zum Ultraschallscreening im 2. Trimenon Ergebnisse der Prüfungen 7. QS-Konferenz des G-BA, 1. Oktober 2015 Dr. med. Henning Thole Abteilung Qualitätssicherung, Dezernat 2

2 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 2 von 24 HINTERGRUND, PLANUNG & UMSETZUNG

3 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 3 von 24 Mutterschafts-RiLi, Anlage 1a, Punkt 2b

4 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 4 von 24 Validierung der Fallsammlung - Durchführung Mehr-Augen- und Konsens-Prinzip, fachliche Entscheidung durch Gynäkologen 1. Sichtung von Teilpaketen der Fälle durch je 1 Experten grds. Geeignetheit des Falls KBV 2. Sichtung aller Fälle durch alle Experten Konsens: Geeignetheit des Falls, Fragen, Antwort Beantwortung aller Fälle durch alle Experten Einheitliche Antwort in Prüf-Situation KBV Klärung unklarer Fälle, erneute Sichtung, finaler Ein- oder Ausschluss Endabnahme

5 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 5 von 24 Übersicht Fallsammlung aus ca eingesendeten, gesichteten und nachbearbeiteten Ultraschallbildern und 96 eingesendeten und größtenteils bearbeiteten Videos wurden 273 Ultraschallbilder und 58 Ultraschallvideos für die Fallsammlungsprüfung ausgewählt.

6 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 6 von 24 Einzelergebnisse mit Bestehensgrenze (mindestens 50 Punkte) ca. 20% Durchfaller

7 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 7 von 24 Unterschied Prüfung vs. Untersuchung in der Praxis Die Bilderstellung in der Praxis ist dynamisch und veränderbar, der Untersucher sieht den ganzen Feten und kann Einstellungen optimieren Die Prüfungssituation war künstlich, die Bilder nicht veränderbar und dadurch u.u. schwierig zu interpretieren, der Prüfling sah nur Teile der Untersuchung Falsch beantwortete Fragen können hindeuten auf Probleme des Prüflings (Wissen / Nichtwissen) Probleme der Frage (Schwer / missverständlich / falsch)

8 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 8 von 24 Eckpunkte der Prüfung 3 Versuche je Arzt 60 min pro Prüfung 30 Fragen pro Prüfung Antwortoption: JA NEIN Weiß ich nicht Antwortbewertung: Bestehensgrenze: 50 von max. 60 erreichbaren Punkten Kolloquium, wenn Arzt 3 mal nicht besteht Genehmigung für neuen AB 9.1a ZIEL: Ärzte sind geprüft, bevor neue Mutterschafts-RiLi in Kraft Richtig: 2 Punkte Weiß nicht: 1 Punkte Falsch: 0 Punkte

9 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 9 von 24 Begriffe und Definitionen Die folgenden Definitionen ergeben sich aus der Ultraschallvereinbarung oder Prüfungs-Programmen der KVen AB 9.1: Gynäkologen mit Genehmigung zum Basisultraschall AB 9.2: Gynäkologen mit Genehmigung zur weiterführenden Differentialdiagnostik des Feten ( Feinscreening ) SonoBaby: Prüfungsprogramm der KVen Bayern und Baden-Württemberg

10 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 10 von 24 ERGEBNISSE PRÜFLINGE & VERSUCHE

11 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 11 von 24 Qualifizierende Effekte rund um die Änderung der Mutterschafts-Richtlinie Diskussion & Bekanntmachung der Änderungen in Fachkreisen Angebot von Screening-Refresher- und Schwerpunktkursen durch KVen und Ärztekammern durch Berufsverbände und Einzelfachleute Verbreitung u.a. einer Screening-Trainings-CD durch engagierte Fachärzte und das alles unabhängig von den Maßnahmen der Partner des Bundesmantelvertrages

12 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 12 von 24 Wichtiges Fragenzahl Die Anzahl der im System hinterlegten Prüfungsfragen ( Prüfungsfälle ) unterschiedet sich je nach Organgebiet Zufallsziehung (geschichtet) Bedingt durch die Zufallsziehung der jeweiligen Fragen pro Prüfung können die Ergebnisse nicht direkt verglichen werden Fachliche Analyse Eine exakte Analyse der Ergebnisse mit Bezug auf die Fragen muss durch gynäkologisch-fachliche Analyse der Fragen und Bilder vorgenommen werden

13 Relative Häufigkeiten (%) 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 13 von 24 Prüfungsergebnis / Versuch Nr. Versuch bis <5 5 bis <10 10 bis <15 15 bis <20 20 bis <25 25 bis <30 30 bis <35 35 bis <40 40 bis <45 45 bis <50 50 bis <55 55 bis <60 60 Ergebnis

14 Anzahl Prüfungsteilnehmer (%) 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 14 von 24 Teilnehmer & Versuche Anerkennungen (AB 9.2, SonoBaby) und Abbrecher > Delta TN-Zahl 120% % 80% 100% 87,9% 95,3% % 40% 44,7% % % Anzahl insgesamt Prüfungsber echtigte Anzahl Teilnehmer mit begonnener Prüfung im 1. Versuch bestanden 6,9% 0,5% im 2. Versuch bestanden im 3. Versuch bestanden Summe Bestandene durchgefalle ne % 100% 44,7% 87,9% 6,9% 0,5% 95,3% 4,7% Summe ,7% 0

15 Anzahl Prüfungsteilnehmer (%) 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 15 von 24 Punktverteilung & Anzahl Bestandene 5 Abs. 7: 3 x durchgefallen; 6 Abs. 1: Kolloquium direkt beantragt 90% 80% 70% 77,8% % % % 30% 41,9% 44,7% 35,2% % % 0% Punkte Punkte 8,6% 60 Punkte Summe Genehmigun gen Sono-Baby oder Genehmigun g für AB 9.2 vorliegend 0,1% 0% Anzahl Kolloquien ( 5 Abs. 7 Anlage VI US-V) Anzahl Kolloquien ( 6 Abs. 1 Anlage VI US-V) % 41,9% 44,7% 8,6% 77,8% 35,2% 0,1% 0% Summe

16 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 16 von 24 Ergebnisse & Bewertung Von rund Berechtigten haben rund eine Genehmigung erhalten Mehr als 30% der Zugangsberechtigten Ärzte haben eine Genehmigung via Anerkennung erhalten Die beobachtete Rate an Durchfallern war mit durchschnittlich 12% im ersten Versuch niedriger als die mit 20% erwartete Das Verhältnis der Ärzte mit Prüfung und derer mit Anerkennung entsprach den erwarteten Zahlen (ca. 50/50) Es gibt Ärzte, die weder eine Genehmigung erhalten wollten (keine Anträge) als auch solche, die nach Durchfallen kein Kolloquium beantragt haben und deswegen keine Genehmigung bekommen

17 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 17 von 24 Unterschied Prüfung vs. Untersuchung in der Praxis Die Bilderstellung in der Praxis ist dynamisch und veränderbar, der Untersucher sieht den ganzen Feten und kann Einstellungen optimieren Die Prüfungssituation war künstlich, die Bilder nicht veränderbar und dadurch u.u. schwierig zu interpretieren, der Prüfling sah nur Teile der Untersuchung Falsch beantwortete Fragen können hindeuten auf Probleme des Prüflings (Wissen / Nichtwissen) Probleme der Frage (Schwer / missverständlich / falsch)

18 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 18 von 24 ERGEBNISSE FRAGEN

19 Häufigkeit (%) 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 19 von 24 Antworten nach Antwortoption & Versuch auffällig, nicht korrekt, ungeeignet unauffällig, korrekt, geeignet, richtig, möglich, eindeutig, exakt 0 Versuch 1 Versuch 2 Versuch 3 Versuch 1 Versuch 2 Versuch 3 Versuch 1 Versuch 2 RICHTIG FALSCH Weiß ich nicht Antwortart und Versuch Versuch 3

20 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 20 von 24 Beobachtung zu Antwortoption & Versuch Die Verteilung der gewählten Antwortoptionen verändert sich über die Versuche Abnahme der Anzahl für Richtig mit zunehmenden Versuchen Zunahme der Anzahl für Falsch und Weiß ich nicht mit zunehmenden Versuchen Es gibt offensichtliche Unterschiede zwischen Fragen, die in Richtung Auffälligkeit und solchen, die in Richtung Nicht auffällig formuliert waren Beeinflusst der Charakter des Screenings, Auffälligkeiten zu suchen, die Wahrnehmung der Frage bzw. die Auswahl der Antwort?

21 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 21 von 24 Interpretation zu Antwortoption & Versuch Vermehrte Auswahl v.a. von weiß ich nicht über die Versuche könnte als Zeichen der Unsicherheit oder als taktisches Ausweichen gewertet werden Der Effekt, zunehmend weiß ich nicht zu nutzen, kann nicht sicher möglichen Wissenslücken oder der Fragenauswahl zugeordnet werden > weitere Analyse notwendig Das Item weiß ich nicht deckt diese Beobachtung aber zuverlässig auf > Analyse dieser Antwortgruppe könnte Fokus auf Bereiche der Unsicherheit legen

22 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 22 von 24 Ausblick Derzeit in Vorbereitung Ziel Statistische Analyse der Ergebnisse, darauf basierend Analyse der Prüfungsfälle (Bild / Video, Frage, Antwortrichtung) getrennt nach Antwortoption (Ja, Nein, Weiß ich nicht), weitere Faktoren Identifizierung sehr schwerer oder falscher Fragen Identifizierung von Verbesserungspotenzial an der Prüfung Identifizierung von Bereichen mit Schulungsbedarf der Zielgruppe

23 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 23 von 24 Zusammenfassung Mit der Online-Prüfung konnte eine methodisch korrekt geplante Prüfung angeboten werden Eine wesentliche Zahl von Ärzten wurde geprüft bzw. anerkannt Die Sicherstellung einer qualifizierten Versorgung wurde bürokratieund aufwandsarm erreicht Die Ergebnisse der Prüfung zeigen Effekte, die in Bezug auf die Fragen betrachtet werden müssen > Die Fragen und Prüfungsfälle, die häufig falsch beantwortet wurden, werden fachlich und methodisch einzeln analysiert Falls die Fragenanalyse systematische Wissensdefizite der Prüflinge zeigt, werden diese innerärztlich thematisiert mit dem Ziel der Behebung

24 7. QS-Konferenz des G-BA 2015 Ergebnisse der Online-Prüfung gemäß Mu RiLi Seite 24 von 24