A White Paper from FOSS Vergleich der globalen NIR ANN-Kalibration von FOSS mit Referenzmethoden: Eine fünfjährige europaweite Studie Von: Tomas Nilsson, FOSS Dedicated Analytical Solutions
Vergleich der globalen NIR ANN-Kalibration von FOSS mit Referenzmethoden: Eine fünfjährige europaweite Studie Von: Tomas Nilsson, FOSS Einleitung Eine fünfjährige Ringstudie unter europäischen Getreidenetzwerken zeigt die hohe Genauigkeit und Stabilität der ANN-Kalibration des FOSS Infratec 1241 Getreide-Analysators für Weizen und Gerste. Nachdem Daten mit saisonalen und regionalen Variationen über einen Zeitraum von 25 Jahren gesammelt wurden, hat die Kalibration sich als Plattform für fortgeschrittene Getreideanalysen etabliert. Die NIR-Kalibration ist nun europäischer Standard zur Analyse von Proteinen und Feuchtegehalt im Vollkorn von Weizen und Gerste und erweist sich gegenüber Referenzmethoden überlegen. Umfang der Ringstudie FOSS führt seit mehr als fünfzehn Jahren jährliche Gemeinschaftsstudien für EGN (European Grain Network) durch. Ursprünglich sollten damit die verschiedenen lokalen und regionalen Getreidenetzwerke harmonisiert werden, es sollten Unterschiede zwischen Master-Referenzlabors untersucht werden, notwendige Anpassungen der Kalibration sollten durchgeführt werden und Mitglieder sollten darüber informiert werden. Die Ringstudie wurde 2006 verstärkt, indem der Informationsfluss für die Mitglieder verbessert wurde und eine standardisierte jährliche Bewertung der ANN-Kalibration gemäß EN ISO 12099 erfolgte. Bei der Bewertung werden Proben von der tatsächlichen Ernte aus verschiedenen Ländern verwendet, wobei die geltenden Referenzmethoden aus den verschiedenen Ländern zum Einsatz kommen. An den jährlichen Ringtests der letzten fünf Jahre haben 24 Unternehmen aus 17 Ländern mit dieser erfolgreichen Bewertung teilgenommen. Die Ergebnisse wurden in Berichten veröffentlicht und bei den EGN- Jahresversammlungen präsentiert (siehe Tabelle 1). Tabelle 1: Die 5 letzten EGN-Versammlungen. EGN-Versammlung Ort Land Jahr 13 Budapest Ungarn 2007 14 Berlin Deutschland 2008 15 Prag Tschechische Republik 2009 16 Dijon Frankreich 2010 17 Krakau Polen 2011 1
Bei dem Ringtest werden etwa zehn Proben Weizen und Gerste unterschiedlicher Herkunft untersucht. Wenn genügend Proben aus verschiedenen Netzwerken zusammengetragen wurden, werden sie gereinigt, homogenisiert, aufgeteilt und an die Teilnehmer zur Analyse verschickt. Die Ergebnisse der lokalen Analyse mit Infratec 1241 und der Referenzmethode zur Bestimmung von Proteinen und Feuchtegehalt werden an FOSS zur Bewertung geschickt. Jedes Jahr nehmen zwischen zehn und 20 Netzwerke am Ringtest teil und bieten eine zuverlässige Grundlage für die Ergebnisse. Ergebnisse Die Ergebnisse des Ringtests von 2011 sind in Tabelle 2 zusammengefasst. Es ist besonders interessant, dass die Wiederholbarkeit der ANN-Methode von FOSS besser als die Referenzmethode für Protein ist und die Methoden beim Feuchtegehalt annähernd gleich sind. Tabelle 2: Ergebniss des EGN-Ringtests 2011. Alle Proben (Ernte 2010) Ref. methoden aktuelle Modelle a) FOSS ANN Ref. methoden aktuelle Modelle a) FOSS ANN Parameter Protein Feuchtegehalt Bereich 8.3 % - 15.3 % 12.2 % - 15.0 % Mittel (%) 11.87 11.92 11.88 13.87 13.69 13.74 Abweichung vom Mittel 0.05 0.01-0.18-0.13 SD-Wiederholbarkeit 0.21 0.21 0.12 0.11 0.15 0.12 RSD-Wiederholbarkeit % 1.9 1.9 1.1 0.8 1.1 0.9 a)lokal angepasste ANN-Kalibrationen, die aktuell in den Netzwerken verwendet werden. Aus Tabelle 2 ist ersichtlich, dass die lokal angepassten ANN-Kalibrationen mehr von den Referenzmethoden abweichen als die globale ANN-Kalibration für die Prädiktionswerte und die Wiederholbarkeit. Offenbar weichen einige nationale Referenzmethoden vom Referenzmittel ab, was eine entsprechende Anpassung der Kalibrationen erforderlich macht. In einigen Fällen handelte es sich bei der lokal verwendeten ANN-Kalibration um eine andere Version oder sie wurde nur anhand einer einzigen Getreideart entwickelt. Die Ergebnisse der globalen ANN-Kalibration lassen vermuten, dass die Robustheit und Genauigkeit im Durchschnitt erreicht werden kann, indem man sich nicht auf eine bestimmte Getreideart spezialisiert oder Anpassungen an die nationale Referenzmethode vorgenommen werden. Demzufolge geht es bei dem Ringtest vorrangig darum, die Referenzmethoden auszurichten und anzuzeigen, ob die lokalen ANN-Kalibrationen tatsächlich angepasst werden müssen oder ob die Anpassung stattdessen bei der Referenzmethode erfolgen muss. Die ANN-Kalibration von FOSS basiert auf einer großen Datenbank mit einem breiten Spektrum an Protein- und Feuchtewerten sowie mit breiten Variationen bei anderen Aspekten, u.a. Lage, Getreidetyp, Gerät und Temperatur. Dank der Einbeziehung all dieser Variablen ist die ANN-Kalibration äußerst robust. Der Kalibrationssatz für WB003034 ist in Tabelle 3 aufgeführt.. Tabelle 3: Anzahl der enthaltenden Proben (N) und Bereiche im WB003034. Parameter N Min. Max. Feuchtegehalt 10 572 6.2 % 30.0 % Protein (d.m.) 30 092 6.7 % 23.7 % 2
Die Kalibration wurde gemäß EN ISO 12099 bewertet, dabei wurden unabhängige Testsätze von Weizen- und Gerstenproben aus verschiedenen Teilen der Welt verwendet, die verschiedene Klassen, Sorten und Wachstumsbedingungen repräsentieren. Um die optimierte ANN-Kalibration zu erhalten, kamen mehr als 50 unabhängige Bewertungssätze aus 14 Ländern zum Einsatz. Ziel war es, in den folgenden Bereichen gut abzuschneiden: Genauigkeit, Wiederholbarkeit, Übertragbarkeit zwischen verschiedenen Geräten und die Möglichkeit, mit Getreidetemperaturvariationen umzugehen. Dabei sollten so wenig wie möglich Schwächen in diesen Bereichen zu Tage kommen. Die allgemeine Leistung ist in Tabelle 4 zusammengefasst. Tabelle 4: Bewertungsleistung des WB003034 im Vergleich zu einem normalen Testsatz. Parameter Getreidetyp N Genauigkeit Min Max RSQ Feuchtegehalt Alle 4 600 0.24 7.8 % 29.9 % 0.99 Protein (d.m.) Alle 11 822 0.27 6.9 % 24.0 % 0.99 Feuchtegehalt Gerste 2251 0.22 8.6 % 27.9 % 0.99 Protein (d.m.) Gerste 3963 0.30 7.3 % 17.7 % 0.97 Feuchtegehalt Weizen 2349 0.25 7.8 % 29.9 % 0.99 Protein (d.m.) Weizen 7857 0.27 6.8 % 24.0 % 0.99 N: Anzahl der Proben im unabhängigen Bewertungsdatensatz. Genauigkeit: Allgemeine Genauigkeit in SEP als Komponente % w/w. Min: Mindestwert im Bewertungssatz. Max: Höchstwert im Bewertungssatz. RSQ: Allgemeiner linearer Korrelationskoeffizient zwischen ANN- Kalibrationsergebnissen und Analyseergebnissen der chemischen Ref erenz. Hinweis: Die Werte für Genauigkeit und Korrelation in Tabelle 4 sind von der Genauigkeit der Referenzwerte abhängig. Die Kalibrationen mit diesem Modell erfolgen ohne Biaskorrekturen. In den unabhängigen Testsätzen sind insgesamt 4.600 Proben für den Feuchtegehalt und 11.822 Proben für Protein enthalten. Wenn derart große Datenmengen verwendet werden, ist es nicht zu vermeiden, dass die Wiederholbarkeit in den einzelnen Labors beeinflusst wird, da die Variation zwischen den verschiedenen Referenzlabors eine Rolle spielt. Einzelne kleinere unabhängige Testsätze, die auf Daten eines einzelnen Labors basieren, zeigen im Allgemeinen bessere Resultate als der Durchschnitt des gesamten Testsatzes. Bei dem Beispiel in Tabelle 5 wurden alle Referenztests mithilfe eines einzigen Labors durchgeführt. Tabelle 5: Bewertungsleistung von WB003034 im Vergleich zu einem einzelnen Testsatz (Weizen, Ernte 2007, ein Land, ein Referenzlabor). Parameter N Genauigkeit Min Max RSQ Feuchtegehalt 75 0.14 1.12% 23.70% 0.999 Protein (d.m.) 67 0.16 9.70% 16.30% 0.991 3
Diskussion Die Robustheit der ANN-Kalibration zeigt sich in ihrer langfristigen Stabilität. Abbildung 1 zeigt die Stabilität der Proteinkalibration in den letzten fünf Jahren. Abbildung 2 zeigt den Stabilitätsgraph für die Kalibration des Feuchtegehalts. Abbildung 1: Durchschnittliche Abweichungen der vorausberechneten Proteinergebnisse aus dem besten Schätzwert des tatsächlichen Werts in den letzten fünf Jahren. Pink = globale ANN und dunkelblau = lokale ANN. Abbildung 2: Durchschnittliche Abweichungen der vorausberechneten Feuchtegehaltsergebnisse aus dem besten Schätzwert des tatsächlichen Werts in den letzten fünf Jahren. Pink = globale ANN und dunkelblau = lokale ANN. Der Schlüssel zu einer außergewöhnlichen Stabilität ist einerseits die extrem große Kalibrationsdatenbank, in der so gut wie alle möglichen Variationen enthalten sind, und zum anderen die ANN-Technologie, die alle Variationen optimal erfasst. Wie bereits erwähnt, tendieren die lokal angepassten Kalibration dazu, von den Referenzwerten weiter abzuweichen als die globale ANN-Kalibration. Das zeigt sich beim Protein und Feuchtegehalt in den Abbildungen 1 und 2. Anpassungen der Kalibrationen sollten nur dann vorgenommen werden, wenn das Referenzlabor auf andere zugelassene Labors ausgerichtet ist 4
Abschluss Die gute Leistung der ANN-Kalibration zeigt sich in den Ergebnissen der fünf Jahre dauernden europaweiten Studie. Besonders deutlich wird dies bei der Ringstudie von 2011 zur Bestimmung von Protein und Feuchtegehalt im Vollkorn, bei der zwölf Weizen- und neun Gerstenproben von der Ernte 2010 verwendet wurden. Das ANN-Modell WB003034 von FOSS wurde für die gleichzeitige Bestimmung von Protein und Feuchtegehalt in Weizen und Gerste verwendet. Die Ergebnisse in Tabelle 2 zeigen deutlich, dass bei der Verwendung der ANN-Kalibration von FOSS keinerlei Beeinträchtigungen der Genauigkeit und Leistungsfähigkeit auftreten. Die ANN-Kalibration WB003034 von FOSS ist als europäischer Standard für die gleichzeitige Bestimmung von Protein und Feuchtegehalt im Vollkorn von Weizen und Gerste genehmigt. Genauere Erläuterungen dazu siehe EN 15948:2012. Die FOSS-Lösung des Infratec 1241 Getreide-Analysators ist derzeit zusammen mit der ANN-Kalibration WB003034 die optimale Wahl zur Bestimmung des Protein- und Feuchtegehalts im Vollkorn von Weizen und Gerste. Die Stabilität des Modells ist auch vielversprechend, um diese Plattform in der Zukunft für effektive Getreideanalysen zu nutzen. Literaturnachweise 1. EN ISO 12099:2010, Animal feeding stuffs, cereals and milled cereal products Guidelines for the application of near infrared spectrometry (ISO 12099:2010). 2. EN 15948:2012, Cereals Determination of moisture and protein Method using Near-Infrared Spectroscopy in whole kernels (to be published). FOSS Slangerupgade 69 DK-3400 Hilleroed Denmark Tel.: +45 7010 3370 Fax: +45 7010 3371 E-mail: info@foss.dk www.foss.dk 5