11. Approche par validation dite de laboratoire unique

11.5. Exemple pratique : détermination de la teneur en acrylamide dans des casse-croutes par LC-MS

https://sisu.ut.ee/measurement/105-practical-example-uncertainty-estimation-using-nordtest-approach

 

L'approche Nordtest en pratique : Détermination de l'acrylamide dans des en-cas par LC-MS

http://www.uttv.ee/naita?id=18163


 Let us look now how the single lab validation approach for the Nordtest approach works in practice. And we will look at that on the example of determination of acrylamide in snacks by liquid chromatography mass spectrometry. Acrylamide is a toxic contaminant sometimes found in foods which are produced by heated processing: for example potato snacks, crisp bread, etc… And since it's a toxic compound and occasionally it's content in the snacks can reach quite high levels, its determination in such foods is very important. As I've said previously in the single lab validation approach, the uncertainty is calculated rather for the procedure for the analytical method than for the particular result. And what we will do now, we also will calculate it for the procedure and afterwards, apply it to this result. So the laboratory has found concentration level 998 micrograms per kilogram and this is our result for which we will eventually assign the uncertainty. Now for finding the bias and in fact also the reproducibility component of uncertainty, laboratory has two certified reference materials. One of them is potato chips and the other one is crisp bread. And for both of these there are reference values available and in the case of crisp bread this also has been used as a control sample by the laboratory. Meaning the laboratory has a sufficient amount of it and it has been analyzed many times over a long time period. And let us see now what are the data of these crms (Certified Reference Materials) and we can see the data here. These are the reference values of acrylamide. And these are the expanded uncertainties at k2 level. Let us look now at the data that the laboratory has for these certified reference materials. With crisp bread, a number of determination has been carried out on different days and all these values together lead to the laboratory mean value which can be compared with the certified reference value, and therefore used for bias determination. On the other hand since determination has been carried out during a long time, more than one year, these values also can be used for determining within lab long term reproducibility or the component accounting for the random effects. So that this certified reference materials can be used for both of these purposes. The other certified reference material has also been analyzed several times, leading to again this mean value. Meaning, we can use this value for bias determination. But for within lab long term reproducibility, we cannot use these results because all the determinations were done during a relatively short time period and only on two different days. Our uncertainty evaluation will proceed according to the roadmap that we have seen already earlier, which is given here.So from one of the CRM analysis we can get this uncertainty due to the random effects: within lab long term reproducibility, and secondly from both of them we can get the bias value. So both of them give us one single bias value which, there after, we average, both of them, also have, u(C ref) values meaning uncertainties on the reference values which we also average and then calculate u(bias). And finally u(Rw) and u(bias) are combined together into combine standard uncertainty estimate. How exactly these calculations are carried out we will look at the real calculation example with real data using Microsoft Excel. I have prepared here a calculation sheet where I have introduced already several things that we will need to calculate. And also I have introduced here the measurement result value. And secondly we have here the sheet where all the data are given: both the reference values and the uncertainties of both of the reference materials and also all the parallel determinations and the values that the laboratory has obtained. And we will now look at how these data that we have here on this sheet will be used for calculating the measurement uncertainty in the sheet. And we will start with the reproducibility component. As I said, we can use only the first certified reference material for reproducibility evaluation. And the reproducibility will be evaluated simply as the standard deviation of those within lab long-term measurements. So that the u(Rw) is actually equal to the standard deviation of the laboratory measurement. And of course we have to put here the units. So it's µg/kg. Now in this case, we will be using relative quantities for uncertainties calculation as we, as we saw, in one of the slides previously. If we work at medium or relatively high concentration, relative quantities are better than absolute and these concentrations roughly around 1 000 µg/kg are quite high in terms of acrylamide determination. So that we now need to calculate the relative u(Rw) and this is done by dividing the absolute u(Rw) by the average value. And the average value of course?? Cause! is this one here. And also, in order to present this value in percentages, it is useful to multiply by 100. So it's 2,7 % relative. And the calculations that I just performed in Microsoft Excel are also presented here in this slide. Let us look now how to find the bias component of measurement uncertainty and again I will start with Microsoft Excel. For bias component, we need to do more calculations than for the reproducibility component. First of all, we have two certified reference materials. So we need two reference values here. And we go and get these reference values from the data sheet. So, secondly we need the measurement uncertainties of those reference values, and the expanded uncertainties at k2 level are also given in this sheet. Most of the time the measurement uncertainties of the certified values of certified reference materials come as k2 uncertainty. However, for calculating our measurement uncertainty we will need standard uncertainties. Therefore, both of these we will need to divide by 2. So that now we have the standard uncertainties or, to be more exact, combined standard uncertainties of the reference values, which we can also call as in fact u (Cref). Now the laboratory result here, we have to use the mean values obtained at our laboratory. And the mean value, we get from here. So that here we now have all the data in absolute terms. Now, this Uc we also need to calculate as relative because afterwards we will use it in relative terms. And this is done very easily. We divide the uncertainty by the value and multiply by 100. Just the same is done also. So, now we can find the bias and the bias is found as laboratory result minus the reference value. And also here, in the laboratory result minus the reference value. And these bias values also now are absolute values not relative values, but we need to calculate relative values. And for calculating relative bias values, we divide these absolute values by the reference values and multiply by 100. So, now we have calculated 2 bias estimates and now we can start combining them. And combining goes via the roadmap that we have looked at, and let us take a brief look at it again. So we will first average the bias values themselves using this RMS bias formula and secondly we will also average the u(C ref) values as seen here. So we do 2 mean squares averaging operations now. So let us start by RMS bias is equal to sqrt (sum of squares of the relative bias values divided by the number of bias estimate. And the number of bias estimates in our case is 2. So that we can find very easily and it will also be in percent, as it was the case with the bias values themselves. And now, u (C ref) relativ, we find it in a similar way: square root of sum of squares of these relative values. and again we divide by 2 because we have t2 estimates. And eventually we calculate now the u( bias) relative according to this formula here. Square root of sum of squares of these values, and again in percentages. The bias data that we just calculated in Excel are now presented here in this slide. And if we look at these data we see that u(bias) which is composed of two component: the uncertainty of the reference values and the RMS bias. In this case has those components at rather similar levels. So they contribute quite similarly to the bias uncertainty. It's in fact more usual that the RMS bias component is larger than the u(C ref) but here the difference is quite small. This means the laboratory has done quite good job in determining acrylamide of it in these reference materials. Now, since we have both the reproducibility and the bias component of uncertainty calculate, we can now calculate the combined standard uncertainty and then the expanded uncertainty of the result. And again, I will first show this in Microsoft Excel. So, we now have the u(Rw) component relative and we now have the u(bias) component relative. And we are going to combine them using this formula here. So this is our formula for calculating the combined standard uncertainties. And first this combined standard uncertainty will be calculated in relative terms because all our calculations were done in relative terms. And again sqrt, square root sum of squares of the bias value and the relative reproducibility. And this of course will be in percentage, this uncertainty. Now if we want to assign this measurement uncertainty to this measurement value, and let's remember: in the Nordtest approach we always assign the uncertainties that we calculate to the measured values, then all we have to do is to multiply this uncertainty given in percentage by this value here and then divide by 100, let's do that. Multiplied by this value and divided by 100. So 48. And this value now already is in µg/kg. So. And the expanded uncertainty we can now find easily by multiplying the combined standard uncertainty with the coverage factor which in our case is 2. Again this 9.5 is the relative expanded uncertainty. And now the absolute expanded uncertainty, we can calculate by multiplying the relative combined standard uncertainty by the same coverage factor: 2. And of course the unit here will again be µg/kg. So we have now managed to find the uncertainty for our result. This slide now summarized is our measurement uncertainty calculation. We have here, the same uncertainties as they were calculated in Microsoft Excel, presented in different ways. And finally the result presentation is here: expanded uncertainty, value, unit, the recoverage factor and also I have written here norm. It is now we're thinking: can we assume normal distribution here or not? It turns out that if we look at the components of the uncertainty, the way they are found here, we discover that in broad terms we again have three components which are roughly comparable by the magnitude. Let's see, we see that u(C ref) rel and RMS bias rel, they are both very similar as I already mentioned previously. But also not too different is the relative reproducibility term. So that since we have three roughly similarly important uncertainty sources, we can assume the normal distribution. In fact, when we do measurement uncertainty calculation by the Nordtest approach, then even if those components are not so similar, which often happens, then usually still we can assume normal distribution because in fact, all of these components inturn come from different kinds of data. So that eventually, we actually have many different influences and uncertainty sources taking into account, because long time periods are used also several reference materials which all have uncertainties and all laboratory determinations have uncertainties. So combining all these effects together usually leads to a sufficiently large number of different effects to enable them as saying that the distribution is roughly normal. So that in the case of the Nordtest measurement uncertainty calculation, if there are sufficient data available, then usually normal distribution can be assumed.    Regardons maintenant comment l'approche de validation par un laboratoire unique pour l'approche Nordtest fonctionne en pratique. Et nous étudions cela sur l'exemple de la quantification de l'acrylamide dans des en-cas par LC-MS. L'acrylamide est un composé toxique qui peut, parfois, être présent dans la nourriture produite par processus chauffant par exemple les chips, le pain croustillant, etc… Puisque c'est un composé toxique et que sa teneur, dans les en-cas, peut atteindre des niveaux assez élevés, la quantification de l'acrylamide dans de tels aliments est très importante. Comme je l'ai dit précédemment dans l’approche de validation par un laboratoire unique, l'incertitude est plutôt calculée sur la procédure de la méthode analytique que sur le résultat en particulier. Et ce que nous allons maintenant faire, c'est calculer l'incertitude sur la procédure et ensuite l'appliquer au résultat. Le laboratoire a trouvé une teneur de 998 µg/kg et c'est notre résultat pour lequel nous allons, finalement, assigner l'incertitude. Maintenant, pour trouver le biais ainsi que la composante de reproductibilité de l'incertitude, le laboratoire a deux matériaux de référence certifiés. L'un d'entre eux est un paquet de chips et l'autre du pain croustillant. Pour ces deux aliments, il y a des valeurs de références disponibles et dans le cas du pain croustillant, ce dernier a également été utilisé comme un échantillon de référence par le laboratoire. Cela veut dire que le laboratoire possède une quantité suffisante d'échantillon et qu'il a été analysé de nombreuses fois sur une longue période. Regardons maintenant quelles sont les données de ces CRM (Matériaux de Référence Certifiés) et nous pouvons les voir ici. Ce sont les valeurs de référence de l'acrylamide. Et ce sont les incertitudes élargies à k=2. Regardons maintenant les données que le laboratoire a pour ces matériaux de référence certifiés. Avec le pain croustillant, un certain nombre de quantification a été réalisé sur différents jours et toutes ces valeur réunies conduisent à la valeur moyenne du laboratoire qui peut-être comparée à la valeur de référence du certificat et donc être utilisée pour la détermination du biais. D'autre part, puisque la quantification a été réalisée sur une longue période de temps, plus d'une année, les valeurs peuvent aussi être utilisées pour déterminer la reproductibilité intra- laboratoire à longue terme ou la composante tenant compte des effets aléatoires. Ce matériau de référence certifié peut donc être utilisé simultanément pour ces deux objectifs. L'autre matériau de référence certifié a également été analysé plusieurs fois, ce qui mène, à nouveau, à cette valeur moyenne. Cela signifie que nous pouvons utiliser cette valeur pour la détermination du biais. Mais, pour la reproductibilité intra- laboratoire à long terme, nous ne pouvons pas utiliser ces résultats car toutes les quantifications ont été réalisées durant une période de temps relativement courte et sur deux jours uniquement. Notre évaluation de l'incertitude sera effectuée selon la feuille de route que nous avons déjà vu précédemment et qui est donnée ici. Donc, de l'analyse d'un MRC, nous pouvons obtenir cette incertitude due aux effets aléatoires, c'est la reproductibilité intra-laboratoire. Et deuxièmement, de ces deux CRM, nous pouvons obtenir la valeur de biais. Ces deux CRM nous donnent donc une seule valeur de biais, que nous moyennons. Ces deux CRM possèdent également une valeur u(C ref) chacun, ce qui correspond à une incertitude sur chacune des valeurs de référence, incertitudes que nous moyennons également, puis nous calculons le u(biais). Enfin, u(Rw) et u(bias) sont combinés ensemble pour former l'estimation de l'incertitude-type composée. Pour savoir plus précisément comment ces calculs sont réalisés, nous allons étudier un exemple concret avec de vraies données en utilisant Microsoft Excel. J'ai préparé une feuille de calcul où j'ai déjà rentré plusieurs paramètres dont nous aurons besoin pour les calculs. Et également, j'ai mis, ici, la valeur du résultat de la mesure. De plus, nous avons ici la feuille où toutes les données sont fournies: à la fois sur les valeurs de références et les incertitudes associées aux deux matériaux de référence, mais aussi toutes les mesures en parallèles et les valeurs que le laboratoire a déterminées. Et, nous allons maintenant regarder comment les données que nous avons ici, sur cette feuille, seront utilisées pour calculer l'incertitude de mesure dans cette feuille là. Nous allons commencer avec la composante de reproductibilité. Comme je l'ai dit, nous pouvons seulement utiliser le premier matériau de référence certifié pour l'évaluation de la reproductibilité. Et celle-ci, sera évaluée simplement comme étant l'écart-type de ces mesures intra-laboratoire (réalisées sur une longue période). Donc ce u(Rw) est en fait égal à l'écart-type des mesures faites au laboratoire. Et, bien sur, nous devons indiquer les unités. Donc ce sont des µg/kg. Maintenant, dans ce cas, nous allons utiliser des grandeurs relatives pour le calcul d'incertitudes comme nous l'avons vu dans une des diapos précédentes. Si nous travaillons à moyenne ou relativement hautes teneurs, alors des grandeurs relatives sont plus adaptées que les grandeurs absolues et, ces teneurs aux alentours de 1 000 µg/kg, sont assez élevés en terme de teneur en d'acrylamide. Nous avons maintenant besoin, de calculer le u(Rw) relatif et ceci est réalisé en divisant le u(Rw) absolu par la valeur moyenne. Et la valeur moyenne, bien sur, est celle-ci ici. De plus, dans le but de présenter ce résultat en pourcentage, il est utile de multiplier par 100. Donc ça fait 2,7 % en relatif. Et les calculs que je viens juste de réaliser dans Microsoft Excel sont également présentés, ici, dans cette diapositive. Regardons maintenant comment trouver la composante de biais de l'incertitude de mesure et, à nouveau, je vais démarrer avec Microsoft Excel. Pour la composante de biais, nous avons besoin de faire plus de calculs que pour la composante de reproductibilité. Tout d'abord, nous avons deux matériaux de référence certifiés. Donc nous avons besoin de deux valeurs de référence. Et nous allons obtenir ces valeurs de référence à partir de cette feuille de calcul là. Ensuite, nous avons besoin des incertitudes de mesures de ces valeurs de référence là et les incertitudes élargies à k=2 sont également données dans cette feuille ci. La plupart du temps, les incertitudes de mesures des valeurs de référence des matériaux de référence certifiés sont indiquées pour k=2. Cependant, pour calculer notre incertitude de mesure, nous aurons besoin des incertitudes-types. Par conséquent, ces deux incertitudes devront être divisées par 2. Donc maintenant, nous avons les incertitudes-types ou, pour être plus exact, les incertitudes-types composées des valeurs de référence qui peuvent, en fait, être aussi notée u(Cref). Maintenant, pour la case résultat de laboratoire, nous devons utiliser la valeur moyenne obtenue pour notre laboratoire. Et la valeur moyenne, nous l'obtenons à partir d'ici. Donc maintenant nous avons toutes les données en termes absolus. Maintenant ces Uc ici, nous devons aussi les calculer en relatif parce qu'ensuite, nous les utiliserons comme termes relatifs. Et cela se fait assez facilement. Nous divisons l'incertitude par la valeur de référence et nous multiplions par 100. La même chose est également réalisée ici. Maintenant, nous pouvons trouver le biais et ce dernier est obtenu à partir du résultat de laboratoire - la valeur de référence. De même, ici, résultat du laboratoire - valeur de référence. Et ces valeurs de biais sont maintenant aussi des valeurs absolues et non des valeurs relatives, or, nous avons besoin de calculer des valeurs relatives. Et, pour calculer des valeur de biais relatives, nous divisons ces valeurs absolues par les valeurs de références et nous multiplions par 100. Maintenant, nous avons calculé deux estimations de biais et nous pouvons commencer à les combiner. Et leur association se fait à l'aide de la feuille de route que nous avons observé, et jetons-y, à nouveau, un rapide coup d'œil. Donc, dans un premier temps nous moyennerons les valeurs de biais ensemble en utilisant la formule du RMS biais et ensuite nous moyennerons aussi les valeurs de u(Cref) comme indiqué ici. Donc, nous calculons maintenant 2 moyennes quadratiques pondérés. Démarrons avec le RMS biais qui est égal à Racine carrée (Somme des carrés des biais relatifs divisée par le nombre de biais estimé). Le nombre de biais estimé dans notre cas est à 2. Ce qui fait que nous pouvons trouver très facilement le RMS biais et il sera également en pourcentage, comme c'était le cas avec les valeurs de biais. Maintenant u(C ref) relatif , nous pouvons le trouver de manière similaire: Racine carrée (Somme des carrés de ces valeurs relatives) et à nouveau nous divisons par 2 car nous avons deux estimations. Finalement, nous calculons le u(biais) relatif selon cette formule ici : Racine carré (Somme des carrés de ces valeurs) et à nouveau, en pourcentage. Les valeurs de biais que nous venons juste de calculer dans Excel sont maintenant présentées sur cette diapo. Et si nous regardons ces données, nous voyons que u(biais) est composé de deux morceaux d'incertitude: l'incertitude sur les valeurs de référence et le RMS biais. Ici, ces composantes ont un poids similaire. Donc ils contribuent de manière assez similaire à l'incertitude du biais. En fait, il est plutôt habituel que la composante du RMS biais contribue davantage que le u(C ref) mais ici la différence entre ces 2 composantes est plutôt faible. Cela veut dire que le laboratoire a bien travaillé lors de la quantification de l'acrylamide dans ces matériaux de référence. Maintenant, puisque que nous avons calculé à la fois l'incertitude de la composante de reproductibilité et de biais, nous pouvons maintenant calculer l' incertitude-type composée et ensuite l'incertitude élargie du résultat. Et à nouveau, je vais montrer ceci dans Microsoft Excel. Donc nous avons maintenant la composante u(Rw) relative ainsi que la composante u(biais) relative. Et nous allons les combiner en utilisant la formule juste là. Voici notre formule pour calculer les incertitudes-types composées. Et, dans un premier temps, ces incertitudes-types composées seront calculées en valeurs relatives car tous nos calculs ont été faits en valeurs relatives. A nouveau Racine carrée (Somme des carrés des biais et des reproductibilités relatives). Et, bien sur, ceci sera en pourcentage, cette incertitude. Maintenant, si nous voulons assigner cette incertitude de mesure à ce résultat de mesure et souvenons nous : dans l'approche Nordtest, nous attribuons toujours l'incertitude que nous calculons aux valeurs mesurées. Alors tout ce que nous avons à faire, c'est de multiplier cette incertitude donnée en pourcentage par cette valeur ici et ensuite diviser par 100, faisons le. Multipliée par cette valeur et divisée par 100. Ce qui fait 48. Cette valeur est déjà en µg/kg. Et l'incertitude élargie, nous pouvons la trouver facilement en multipliant l'incertitude-type composée par le facteur d'élargissement qui, dans notre cas, vaut 2. A nouveau ce 9,5 est une incertitude élargie relative. Maintenant l'incertitude élargie absolue, nous pouvons la calculer en multipliant l'incertitude-type composée relative par le même facteur d'élargissement: 2. Et bien sur l'unité ici est encore des µg/kg. Nous avons maintenant réussi à trouver l'incertitude pour notre résultat. Cette diapo récapitule nos calculs d'incertitude de mesures. Nous retrouvons, ici, les mêmes incertitudes qui ont été calculées dans Microsoft Excel, présentées de manière différente. Et finalement la présentation du résultat est ici: incertitude élargie, valeur, unité, facteur de recouvrement et aussi j'ai écrit, ici, norm. Réfléchissons maintenant: pouvons-nous présumer une distribution normale dans ce cas là ou non? Il s'avère que si nous regardons les composantes de l'incertitude, la manière dont elles ont été trouvées, ici, nous remarquons, qu'en manière générale, nous avons à nouveau 3 composantes qui sont plus ou moins semblables de part leurs valeurs. Observons, nous constatons que u(C ref) rel et RMS biais rel sont tout les deux très similaires comme je l'ai déjà évoqué précédemment. De plus, la reproductibilité relative n'est pas non plus très différente de ces deux termes. Donc puisque nous avons approximativement trois importantes sources d'incertitude similaires, nous pouvons supposer que la distribution est normale. En fait, quand on fait des calculs d'incertitude de mesures par l'approche Nordtest, même si les composantes ne sont pas très semblables, ce qui arrive souvent, alors nous pouvons quand même, assez souvent, présumer une distribution normale car, en fait, toutes les composantes proviennent de différents types de données. Donc, en réalité, nous avons de nombreuses influences et sources d"incertitudes différentes prises en compte car de longues périodes de temps sont utilisées ainsi que plusieurs matériaux de référence qui ont tous des incertitudes et tous les résultats de laboratoire possèdent des incertitudes. Donc, la combinaison de tous ces effets conduit souvent à un nombre suffisamment important d'effets différents, ce qui nous permet de dire que la distribution est à peu près normale. Donc dans le cas des calculs d'incertitude de mesure de l'approche Nordtest, s'il y a suffisamment de données disponibles, alors souvent la distribution normale peut être supposée.

 

Quelques commentaires sur cet exemple :

1- Nous utilisons des incertitudes relatives dans cet exemple. La raison en est que les teneurs dans ces échantillons sont assez élevées et en analyse par LC-MS, la variabilité des résultats est souvent plus ou moins proportionnelle à la valeur de ces résultats.

2- Dans cet exemple, nous présumons que les matrices des CRMs utilisées, le paquet de chips et le pain croustillant, sont suffisamment similaires. Cela veut donc dire que la reproductibilité et le biais obtenus avec ces matrices sont également semblables. Dans ce cas, l’incertitude calculée est valable pour les deux matrices. Si, par la suite, nous analysons des matrices différentes de celles des chips et du pain croustillant alors nous ne pourrons pas appliquer, pour ce résultat-là l’estimation d’incertitude obtenue avec les chips et le pain croustillant. Pour évaluer si une nouvelle matrice est suffisamment proche de celle utilisée pour l’évaluation du biais, il faut généralement se baser sur l’expérience pratique du manipulateur.

3- L’incertitude estimée Ucrel que nous avons obtenu est une incertitude relative, donc elle est associée à un résultat CA par la formule suivante :

 

En principe, cette incertitude peut être assignée à un résultat de n’importe quelle valeur, mais, en pratique, il ne serait pas correct d’appliquer cette incertitude à des résultats analytiques qui sont très différents de ceux présentés ici. En termes de différence, il ne devrait pas y avoir plus qu’un facteur 3 voir 4 entre les résultats.

Quand nous utilisons l’approche Nordtest pour l’estimation d’incertitude, alors, en général, nous pouvons supposer que le nombre de degrés de liberté est suffisamment grand pour que l’incertitude élargie (k=2) soit supposée représenter un intervalle de confiance au seuil de 95 % de probabilité.

 

***

[1] Veuillez noter que dans les tableaux de la diapositive « Measurements with the CRMs » les unités de mesures doivent être en µg/kg et non en mg/l.

 

Les diapositives de cet exemple et les fichiers de calcul (initial et résolu) sont disponibles ci-dessous :

nordtest_uncertainty_example_acrylamide_lc-ms.pdf

nordtest_uncertainty_example_acrylamide_lc-ms_initial.xls

nordtest_uncertainty_example_acrylamide_lc-ms_solved_0.xls