Anforderungskonformes Kalibrieren aus Sicht eines Medizinprodukte-Herstellers

Anforderungskonformes Kalibrieren aus Sicht eines Medizinprodukte-Herstellers Munich Calibration Day 19.10.2016, Dr. Udo Feldhoff, Dr. Angelika Kinder, Dr. Lena Novikova, Gerd Matzke ver2.2

Inhalt 1. Kurzvorstellung 2. Ausgangssituation normative Anforderungen 3. Konformität 4. Festlegung von Rahmenbedingungen für Werkskalibrierscheine 5. Langzeitauswertung - Trend 6. Kalibrierintervalle 7. Fazit 2 Metrologie Dr. U. Feldhoff 2016-08-22

Dräger im Überblick Weltweite Präsenz Amerika Pittsburgh Telford Andover São Paulo Europa Plymouth Blyth Hagen Lübeck Svenljunga Chomutov Afrika King William s Town Rettungswesen Krankenhaus Industrie Bergbau Asien Peking Shanghai Staatliche Institutionen Headquarters Vertriebs- und Serviceorganisationen Produktionsstandorte Logistikzentren 3 Metrologie Dr. U. Feldhoff 2016-08-22

Drägerwerk AG Kalibrierlabor Kalibrier Zeitstrahl Durchfluss, Druck, Narkosegase, el. Größen, Drehmoment, Temperatur, Feuchte, Volumen, Länge 1978 Erstakkreditierung Kalibrierlabore Druck & Durchfluss 1984 Zusammenfassung aller Labore im TestCenter 2005 Druck Durchfluss 30 Jahre Akkreditierung Druck & Durchfluss 2014 DKD-K-04801 1980: Mobile Kalibrierung vor Ort ab 2007: externe Dienstleister 2014: erfolgreiche Reakkreditierung

Prüfmittel Die Ausgangslage zur Prüfmittel-Kalibrierung (Dräger Standort Lübeck): Standort Lübeck: Dräger interne Kalibrierlabore ~700 Anwender ~15.000 aktive Prüfmittel (PM) Prüfmittel- Management Externe Kalibrierlabore A akkred. Prüflabore Entwicklung Produktion Prüfmittelbau Service 10% DAkkS 90% WKS Externe Kalibrierlabore B 95% der PM 5 Labore 5% der PM ~100 Labore 5 Metrologie Dr. U. Feldhoff, Dr. A. Kinder 18.11.2014

1 normative Anforderungen an einen Medizinprodukte-Hersteller prüfen / kalibrieren Standard Konformität Intervall Rückführung Justieren Verfahren ISO 13485:2016 Die Organisation muss die erforderlichen Überwachungsund Messmittel zum Nachweis der Konformität des Produkts mit festgelegten Anforderungen bestimmen. in festgelegten Abständen kalibriert und/oder verifiziert werden: Kalibrierstatus erkennbar Messnormalen, die auf internationale oder nationale Messnormale zurückgeführt werden können. Justierungen aufzeichnen Nachjustierungen müssen aufgezeichnet werden Bei fail Mesungen Maßnahmen für Produkte und Messmittel Die Organisation muss Verfahren dokumentierten die mit den Anforderungen an die Überwachung und Messung vereinbar ist. 21 CFR 820.72 Calibration procedures shall include specific directions and limits for accuracy and precision. to ensure that equipment is routinely calibrated and maintained shall be traceable to national or international standards. activities shall be documented activities shall be documented ISO 9001:2015 um die Konformität von Produkten und Dienstleistungen mit festgelegten Anforderungen nachzuweisen. in bestimmten Abständen oder vor der Anwendung gegen Normale kalibriert, verifiziert werden. auf internationale oder nationale Normale rückgeführt sind; Ressourcen bereitstellen, die für die Sicherstellung gültiger und zuverlässiger Überwachungs- und Messergebnisse benötigt werden, DAkkS-DKD-5 12-2010 Wenn die Einhaltung von Fehlergrenzen bescheinigt wird, müssen die gemessenen Werte unter Einschluss der Messunsicherheit innerhalb der Fehlergrenzen liegen. 7 Metrologie Dr. U. Feldhoff 2016-08-22

ILAC G8 3-2009 Guidelines on the Reporting of Compliance with Specification Konformität der Ergebnisse nach ILAC G8 3-2009 ILAC G8 3-2009 Non- compliance Fail Pass It is not possible to state compliance or non-compliance Nach ILAC gibt es einen Bereich, der individuell vom Prüfmittelnutzer beurteilt werden muss (Case 2&3). Compliance 8 Metrologie Dr. U. Feldhoff 2016-08-22 ILAC = International Laboratory Accreditation Cooperation

IEC GUIDE 115 Ed. 1.0 2007-09 Application of uncertainty of measurement to conformity assessment activities in the electrotechnical sector Konformität der Ergebnisse nach IEC GUIDE 115 Ed. 1.0 2007-09 IEC GUIDE 115 Ed. 1.0 2007-09 prüfen... is used when calculation of uncertainty of measurement is required by IEC/ISO 17025, Pass Pass Fail Fail Limit..The measurement complies with the requirement if the probability of its being within the limit is at least 50 %. Test Methods used may have a precision statement expressing the maximum permissible uncertainty (4.3.1) 9 Metrologie Dr. U. Feldhoff 2016-08-22 IEC International Electrotechnical Commission

Was ist nicht konkret genug? Zu regelnde Punkte Stichwort Lösungsansatz ILAC G8 3-2009 konkretisieren Konformität Festlegung zur Konformitätsaussage Doku gemäß ISO 17025 - Anforderung an die Dokumentation Werkskalibrierungen festlegen Inhalte von Kalibrierscheinen DAkkS Scheine mit Konformitätsaussage Werkskalibrierungen für k=2 mit erweiterter Messunsicherheit festlegen Auswertungshilfen von Ergebnissen Grafische Darstellung grafische Darstellung von Ergebnissen unter Berücksichtigung der Spezifikationsgrenzen auch für DAkkS-Kalibrierungen Langzeitauswertungen der Kalibrierergebnisse Trend Trendanalyse und Historienkennzahl Risikobetrachtung zur Kalibrierintervall Kalibrierintervall Auswahl-Tabelle 10 Metrologie Dr. U. Feldhoff 2016-08-22

Machen ist ähnlich wie wollen, nur viel intensiver. 11 5 Metrologie Dr. U. Feldhoff 2016-08-22

Festlegung zur Konformitätsaussage Beurteilung von Kalibrier- und Prüfergebnissen Eine klare, einheitliche Festlegung zur Konformitätsbeurteilung lässt sich nicht allein aus den normativen Anforderungen ableiten. Diese Festlegungen wurde für Checks, Prüfungen und Kalibrierungen hausintern gemacht: 13 Metrologie Dr. U. Feldhoff 2016-08-22

Festlegung zur Konformitätsaussage Beurteilung von Kalibrier- und Prüfergebnissen Man unterscheidet vier verschiedene Fälle in der Lage der Messwerte und der Messunsicherheit zur Spezifikations- / Toleranzgrenze: Fall Messwert Messunsicherheit 1 innerhalb innerhalb 2 innerhalb außerhalb 3 außerhalb innerhalb 4 außerhalb außerhalb 14 Metrologie Dr. U. Feldhoff 2016-08-22

Festlegung zur Konformitätsaussage Konformität der Ergebnisse nach ILAC G8 3-2009 & DAkkS-DKD 5 Festlegung für Kalibrierung: kalibrieren case 1 case 2 case 3 case 4 SG U U Messwert 100% der SG (oberer Grenzwert) Normal (Sollwert) Ergebnis ist: Pass als Fail zu bewerten als Fail zu bewerten Fail U 100% SG 15 Metrologie Dr. U. Feldhoff 2016-08-22

Festlegung zur Konformitätsaussage Konformität der Ergebnisse nach ILAC G8 3-2009 & IEC GUIDE 115 09-2007 Festlegung für Prüfung (gemäß Vorgaben IEC Guide 115): prüfen & kalibrieren checken case 1 case 2 case 3 case 4 Messwert SG U U 100% der SG (oberer Grenzwert) Normal (Sollwert) Ergebnis ist: Pass als Pass zu bewerten als Fail zu bewerten Fail TUR = SG/U TUR 3 oder U 133% SG Dräger Festlegung 16 Metrologie Dr. U. Feldhoff 2016-08-22 TUR = SG / U

Werkskalibrierungen Werkskalibrierungen - free style für Labore und akkreditierte Kalibrierlabore? Es gibt im wesentlichen drei Arten von Werkskalibrierungen: 1. Werks-Kalibrierung mit Nennung der Messunsicherheit, ohne Berücksichtigung - WKS 2. Werks-Kalibrierung mit der Berücksichtigung der erweiterten Messunsicherheit WKS* und 3. Werks-Kalibrierung mit einer Magic - Formel, wobei die Messunsicherheit berücksichtigt wird. In einem Rechen-Beispiel sollen die drei Methoden vorgestellt und verglichen werden: 18 Metrologie Dr. U. Feldhoff 2016-08-22

Vergleich: WKS <> WKS Werkskalibrierungen Rechnen Beispiel - Was wird ein Werkskalibrierschein dokumentieren? N = 100 ml/min KG = 100 ml/min + x mal 0,75 ml/min SG = ± 3,0 % vom Messwert U = ± 1,0 % vom Messwert SG ABW WKS SG ABW +U WKS SG sqr( ABW ²+U²) WKS ( magic ) ohne U mit U mit U und Spezial-Formel 19 Metrologie Dr. U. Feldhoff 2016-08-22

Umstellung von WKS auf WKS von Modell WKS / WKS ( magic ) auf Modell WKS - geht das? - was würde das kosten? Ausgewertet wurden Kalibrierungen der letzten drei Jahre von einem extern beauftragten Kalibrierlabor insgesamt 90.000 Datensätze. Anm.: Das Kalibrierlabor ist akkreditiert nach ISO 17025 und hält TUR>3 ein. Eine erneute Bewertung von pass Werks- Kalibrierungen nach Modell 1/3 (ohne Messunsicherheit) nach den Kriterien von Modell 2 (mit erweiterter Messunsicherheit) bestätigte das pass mit >99%. Modell WKS muss bei der Beauftragung (nur) vereinbart werden! - scheint machbar - WKS WKS WKS ( magic ) mit U 20 Metrologie Dr. U. Feldhoff 2016-08-22

Vorteile WKS* Welches metrologische Modell ist aus Sicht eines Medizinprodukte-Hersteller geeignet? Modell WKS : Werkskalibrierungen nach ISO 17025 Die erweiterte Messunsicherheit (k=2) wird wie im akkreditierten Bereich berücksichtigt. Der Vertrauensbereich der Kalibrierung wird mit 95% beschrieben. Die verwendeten Normale werden DAkkS-kalibriert und sind rückführbar auf nationale Normale. Die Kalibrierung ist bestanden, wenn der Messwert und die erweiterte Messunsicherheit innerhalb der Spezifikation liegen. Der Aufbau des Werkskalibrierscheins entspricht den Vorgaben für DAkkS-Kalibrierscheine natürlich ohne Logo - Nur das Modell WKS erfüllt aus Sicht der Drägerwerk AG alle Anforderungen für Werkskalibrierungen 21 Metrologie Dr. U. Feldhoff 2016-08-22

Verteilung: DAkkS zu WKS* Kalibrierungen Anteil der Prüfmittel-Kalibrierung : DAkkS vs WKS* 100% 75% 50% DAkkS WKS* 25% 0% akk. Labs Labs Prod 22 Standort Lübeck Mittel 2012-2015; Quelle: DCS 8020 A9

Spezifikationsgrenzen Hinweise zur Festlegung von Spezifikationsgrenzen Für Spezifikationsgrenzen gilt: Es wird nur die Spezifikationsgrenze beurteilt, die für die weitere Anwendung nötig ist. Unnötige Sicherheits-Zuschläge sind zu vermeiden. Sie erhöhen den Kalibrieraufwand und damit auch die Kalibrierkosten. Nicht immer ist die Angabe - Kalibrierung nach Hersteller - sinnvoll. Häufig erhält man dadurch unnötige Fail -Ergebnisse bei meist nicht benötigten Messgrößen. Die Aufstellungen von Messunsicherheits-Budgets helfen bei der Priorisierung der zu berücksichtigen Einflussgrößen (Muss eine Stoppuhr auf 1 sec pro 24 h kalibriert werden oder reicht auch 1 sec pro Stunde?). Standard-Kalibrierungen mit Gebrauchsnormalen sind meist kostengünstiger und reichen für die meisten Anforderungen. 23 Metrologie Dr. U. Feldhoff 2016-08-22

Spezifikationsgrenzen Festlegungen zu Spezifikationsgrenzen gemäß internem Standard Empfehlung für Spezifikationsgrenzen: kalibrieren Messgröße Prüfmittel Standardkalibrierung (Gebrauchsnormale) Kalibrierung mit Bezugsnormal Gaskonzentration Narkosemittel- Messgeräte ±3,0% v.m. ±1,0% v.m. Druck diverse ±0,2% v.m. ±0,05% v.m. Durchfluss Flow-Röhre Digital Kl 2,5 ±2,0% v.e. Kl 1,5 ±1,0% v.m. Elektrische Größen diverse laut Hersteller laut Hersteller Temperatur Temperatur- Messgeräte ±0,5 C ±0,02 C Temperatur vor Ort Temperatur- Messgeräte ±0,5 C ±0,1 C Feuchte Hygrometer 4% r.f. 1% r.f. Länge Messschieber Bügelschrauben ±0,08 mm ±0,01 mm ±0,03 mm ±0,005 mm Kraft Kraft-Messgeräte ±1,0% v.m. ±0,1% v.m. Drehmoment Schlüssel Schrauber ±4,0% v.m. ±6,0% v.m. ±1,0% v.m. 24 Metrologie Dr. U. Feldhoff 2016-08-22 Masse Gewichte M1 F1 Zeit Stoppuhren ±1s / 1h ±1s / 24h

Zur Bewertung der Ergebnissen notwendig Spezifikationsgrenze [SG] Erweiterte Messunsicherheit [U] Messwerte Normal [µn] Messwerte Kalibriergegenstand [µkg] Eine grafische Darstellung, einheitlich für alle Messgrößen, mit der Angabe zur Ausnutzung der Spezifikationsgrenze in Prozent, erleichtert die Beurteilung des Kalibrierscheins wesentlich. 25 Metrologie Dr. U. Feldhoff 2016-08-22

Grafische Darstellung von Kalibrierergebnissen Darstellung der Messwerte normiert auf die Spezifikationsgrenze - Beispiel 1: Kalibrierung von ~200 Sensoren über 8 Monate Abb.1: Messwerte in ml/min Abb.2: Messwerte relativ zur Spezifikationsgrenze in % 26 Metrologie Dr. U. Feldhoff 2016-08-22

Kalibrierergebnisse in Langzeitauswertungen Langzeitauswertung von Kalibrierergebnissen U ABW 100% der SG Messwert Normal 100% der SG 2013 2015 2017 Langzeitauswertung: WKS*-Kalibrierung Spezifikationsgrenze von 1,0% vom Messwert (20 ml/min bis 200 ml/min; 200405) Verwendete Abkürzungen: U = erweiterte Messunsicherheit SG =Spezifikationsgrenze ABW = Abweichung 28 Metrologie Dr. U. Feldhoff 2016-08-22

Kalibrierergebnisse in Langzeitauswertungen Vorhersage aus der Historie der Kalibrierergebnisse Nach der Darstellung ist dieser Sensor stabil es sind keine Probleme bis zur nächsten Kalibrierung in 2017 zu erwarten. 2011 2013 2015 2017 Spezifikationsgrenze: 0,25%vM (400hPa). (400866; S12) Maßnahme: weiterhin 18 Monate Intervall Ein baugleicher Drucksensor, wurde zur Risiko- Minimierung vorsorglich ausgetauscht 2011 2013 2015 2017 Maßnahme: weiterhin 18 Monate Intervall Spezifikationsgrenze: 0,25%vM (400hPa). (400868; S12) 29 Metrologie Dr. U. Feldhoff 2016-08-22

Kalibrierergebnisse in Langzeitauswertungen Langzeitauswertung von Kalibrierergebnissen 2011 2013 2015 2017 Langzeitauswertung (G-Normal; 140 mbar 200 mbar; SG: 0,04% vom Messwert; 100023). Akkreditierte Kalibrierung. Prüfmittel um ca. +0,02% vom Messwert justiert - fällt weiter. Maßnahme: zwischen den DAkkS-Kalibrierungen (alle 12 m, gelb) werden die Werks- Kalibrierungen (grün) beibehalten, um ein mögliches, zukünftiges fail zu vermeiden. 30 Metrologie Dr. U. Feldhoff 2016-08-22

Kalibrierergebnisse in Langzeitauswertungen Beispiele aus der Praxis Umzug eines Prüfmittels Zwischen-Checks vor / nach Umzug zwischen WKS*-Kalibrierungen: Check nach dem Umzug mit Pass Check vor dem Umzug mit Pass Durch den Umzug wird das Prüfmittel nicht beeinträchtigt. Die Einsatzfähigkeit nach dem Wiederaufbau dokumentiert der zweite Check in der Fertigung (Flow-Prüfstand, 42920, 10-100 L/min; SG: 1%vM). 31 Metrologie Dr. U. Feldhoff 2016-08-22

Kalibrierergebnisse in Langzeitauswertungen Historien-Kennzahlen (HZ) Zwei Regeln zur Prüfmittel-Historie 1. Jede Kalibrierung mit Pass x erhöht einen Zähler um +1. 2. Ein Fail führt immer zu x x dem neuen Startwert -1. 12 m 12 m P HZ=1 P HZ=2 P F P HZ=2 HZ= -1 HZ= 0 Anm.: Ein HZ-Wert von +3 kann zur Verlängerung des Kalibrierintervalls um 50% genutzt werden. 32 Metrologie Dr. U. Feldhoff 2016-08-22

Kalibrierergebnisse in Langzeitauswertungen Vorhersage aus der Historie der Kalibrierergebnisse 2002 2007 2012 HZ=1 HZ=2 HZ=3 Langzeitauswertung der Kalibrierdaten eines Bezugsnormals, kalibriert bei der PTB. Das Kalibrierintervall von 5 Jahren kann beibehalten bleiben; keine Maßnahme nötig. Spezifikationsgrenze: 0,01%vM (11212) 33 Metrologie Dr. U. Feldhoff 2016-08-22

einfach mal festlegen! aber nie ohne U 34 5 Metrologie Dr. U. Feldhoff 2016-08-22

Anteil in Prozent Kalibrierintervalle typische Verteilung ein Überblick 70% Basis: 15.000 Prüfmittel 60% 50% 40% 30% 20% 10% 0% 0 6 12 18 24 30 36 42 48 54 60 Intervall in Monaten 36 Metrologie Dr. U. Feldhoff 2016-08-22

Risikobewertung von Kalibrierintervallen Einflussgrößen Einflussgrößen Bemerkung Herstellerangaben Informativ oder Vorgabe Normative Anforderungen mandatorisch Kundenanforderungen mandatorisch Spezifikation vs Messunsicherheit (TUR) GLP: Normal 3x besser (TUR >3) Erfahrung der Nutzer zur Stabilität Verschleiß / Drift Einsatzort - Umgebungseinflüsse Fertigung - Labor Nutzungshäufigkeit selten - permanent Konsequenzen von Fehlmessungen geringe - sehr hohe Erfahrungen mit ähnlichen Prüfmitteln Langzeitauswertung.. 37 Metrologie Dr. U. Feldhoff 2016-08-22

Kalibrierintervalle nach IECEE-Regeln Aber - keine Historie - keine Empfehlung für eine Verlängerung des Kalibrierintervalls. 8.3 intervals may be extended when there is sufficient data from prior calibrations. It is recommended that the extension of calibration intervals not be more than 50% of the prior calibration interval. Historical calibration data may be used to support longer calibration intervals where stability of the instrument is demonstrated. z. Beispiel für die Wahl von X/Y: X = 80 % der Spezifikationsgrenze (im WKS*-Schein:! ) und Y= 87 % der Spezifikationsgrenze (im WKS*-Schein.!! ) wird nicht überschritten dann ist Verlängerung möglich. IECEE-OD-5011: 2015 38 IEC Metrologie System Dr. U. of Feldhoff Conformity 2016-08-22 Assessment Schemes for Electrotechnical Equipment and Components (IECEE System)

Risikobewertung von Kalibrierintervallen Kosten Nutzen Bewertung Über ein hausinternes Punktesystem können Empfehlungen zur Größe von Kalibrierintervalle gegeben werden. Verwendung, Historie, Produkt-Risiko, normative Anforderungen werden berücksichtig. Diese Punktesystem versteht sich als eine Empfehlung für Fälle, wo keine Informationen zu Kalibrierintervallen verfügbar sind. Die endgültige Entscheidung trifft der Prüfmittel- Anwender. 39 Metrologie Dr. U. Feldhoff 2016-08-22

Risikobewertung von Kalibrierintervallen Hilfestellung zur Auswahl eines Kalibrierintervalls Kriterium 0 1 2 3 Punkte Nutzungshäufigkeit selten normal oft Dauereinsatz Einsatzort Erfahrung der Nutzer zum Verschleiß Konsequenzen bei Fehlmessungen Labor klimatisiert Kaum Verschleiß Labor Messraum VV-Labor WE-Eingang Produktion gering hoch sehr hoch kaum gering hoch sehr hoch 1 0 0 3 Bezugsnormal Druckwaage 5a Messergebnisse außerhalb der Spezifikation nie Grenzlage zur Speck 1x 2x 0 Bonus aus Historie der Prüfmittel 0-1 -2-3 Punkte Historienkennzahl HZ = 0 HZ = 1 HZ =2 HZ = 3-3 Spezifikationsgrenze erweitert gleich ±50% ±100% ----- 0 Summe 1 1 entspricht 48 Monate 40 Metrologie Dr. U. Feldhoff 2016-08-22

Monate nächste Kalibrierung Risikobewertung von Kalibrierintervallen Hilfestellung zur Auswahl eines Kalibrierintervalls Kalibrierintervall aus Nutzen-Risikobewertung 60 48 5a 36 24 12 0 0 2 4 6 8 10 12 14 Punkte aus der Risikoabschätzung 41 Metrologie Dr. U. Feldhoff 2016-08-22

Risikobewertung von Kalibrierintervallen Hilfestellung zur Auswahl eines Kalibrierintervalls Kriterium 0 1 2 3 Punkte Nutzungshäufigkeit selten normal oft Dauereinsatz Einsatzort Erfahrung der Nutzer zum Verschleiß Konsequenzen bei Fehlmessungen Messergebnisse außerhalb der Spezifikation Labor klimatisiert Kaum Verschleiß Labor Messraum VV-Labor WE-Eingang Produktion gering hoch sehr hoch kaum gering hoch sehr hoch nie Grenzlage zur Speck 1x 2x 3 3 0 1 0 Drehmoment Schlüssel Wunsch: 3a Bonus aus Historie der Prüfmittel 0-1 -2-3 Punkte Historienkennzahl HZ = 0 HZ = 1 HZ =2 HZ = 3 0 Spezifikationsgrenze erweitert gleich ±50% ±100% ----- 0 Summe 7 7 entspricht 12 Monate 42 Metrologie Dr. U. Feldhoff 2016-08-22

Monate nächste Kalibrierung Risikobewertung von Kalibrierintervallen Hilfestellung zur Auswahl eines Kalibrierintervalls Kalibrierintervall aus Nutzen-Risikobewertung 3a 60 48 36 24 12 0 0 2 4 6 8 10 12 14 Punkte aus der Risikoabschätzung 43 Metrologie Dr. U. Feldhoff 2016-08-22

Risikobewertung von Kalibrierintervallen Fazit Generelle, einheitliche Aussagen für Kalibrierintervalle sind nicht möglich. Die Anwendungen der Prüfmittel haben einen zu großen Einfluss auf das mögliche Intervall. Mit 12 Monaten liegt man meist richtig. Trendanalysen / Historienkennzahlen unterstützen Vorhersagen zu Anwendungen. Durch Zwischen-Checks oder Zwischen-Kalibrierungen kann bei Fehlkalibrierungen der Umfang des dann neu zu bewertenden Risikos minimiert werden. Mehr 1 ist manchmal doch weniger²! 1 = Kalibrierungen ; ² = an Kosten für Rückholaktionen 45 Metrologie Dr. U. Feldhoff 2016-08-22

Vielen Dank für Ihre Aufmerksamkeit. Kontakt: Dr. Udo Feldhoff udo.feldhoff@draeger.com Lübeck 0451 882 3095 46 Metrologie Dr. U. Feldhoff 2016-08-22