Chapitre 6 - Stratégie du CQ interne, détection d’un processus « Hors contrôle »

Une fois que le dispositif médical de diagnostic in vitro a été validé et/ou vérifié, que sa capacité sigma-métrique est connue, le but du contrôle qualité interne est de détecter lorsque le système passe d’une situation où il est « sous contrôle », d’une situation où il est « hors contrôle ». Un processus « hors contrôle » est un processus dont l’erreur aléatoire ou systématique est augmentée par rapport à son statut d’équilibre établit lors de la procédure de vérification.

Dysfonctionnement transitoire

Il faut noter que le contrôle qualité interne ne permet de détecter que les dysfonctionnements persistants. Un dysfonctionnement transitoire est très difficile, voire impossible à détecter. Certains les appellent « flying error » que j’ai traduit par « erreurs papillons ». Les erreurs papillons sont produites par exemple lors de surtension électriques, des problèmes de valve, ou de joints de pistons qui s’usent, par exemple.

Chapitre_6_-_Validation_de_méthode_Strat

Les dysfonctionnements transitoires sont parfois détectés lors de la validation biologique. Si le résultat obtenu chez un patient ne correspond pas au contexte (antériorité, correspondance avec d’autres examens). En cas de suspicion de ce type d’erreurs, il vaut mieux réaliser les examens de patients à double jusqu’à la résolution complète de ce dysfonctionnement.

Dysfonctionnement persistant

Exemple d'erreur aléatoire médicalement pas critique

Au mois de février, la situation est sous contrôle pour l’ASAT. La capacité sigma-métrique de la méthode vaut 8 sigma, ce qui est excellent. Le biais est inférieur à 1% et le CV vaut 2% pour une erreur totale admissible de 18%.

Une situation hors contrôle se produit ci-dessous du 3 mars au 7 avril. Un incident a lieu sur le DIV et une augmentation du CV se produit. C’est un dysfonctionnement persistant. Le CV passe de 2 à 7%. Le premier triangle orange indique le début du dysfonctionnement et le 2ème triangle indique résolution du dysfonctionnement qui a provoqué une augmentation de l’erreur aléatoire.

Le diagramme des erreurs en % de la valeur cible montre que malgré ce gros problème de fidélité durant plus d’un mois, dans aucun cas l’erreur totale a été dépassée (au niveau des contrôles mais au niveau des patients aussi), même si les alarmes 1-3s et 2-2s ont été activées de multiples fois (à chaque fois.)… A mes yeux cela signifie qu’une bonne stratégie de contrôle qualité ne doit pas bloquer le rendu des résultats patients, car cette augmentation de l’erreur aléatoire ne provoque pas une erreur assez grande pour dépasser l’erreur totale admissible chez les patients. Cela vient du fait que la méthode a une capacité sigma métrique excellente qui peut donc supporter un défaut de fidélité sur une longue période sans impact sur l’interprétation des résultats de patients.

Exemple d'erreur systématique médicalement pas critique

Dans le deuxième cas ci-dessous, c’est l’erreur systématique qui est augmentée avec un biais soudain, le 3 mars, de +10%, repéré par le premier triangle. Mais là aussi, bien que tous les résultats des contrôles soient au delà de la limite 3s, aucun patient n’aura une erreur qui va dépasser l’erreur totale admissible de 18%.
Intuitivement (nous allons le démontrer plus loin…) il faut donc comprendre que les règles traditionnellement utilisées au laboratoire, soit 2-2s et 1-3s ne sont pas toujours adaptées selon la capacité sigma-métrique de la méthode.

Exemple d'erreur aléatoire médicalement critique

Ci-dessous, situation sous contrôle pour l’ALAT, la capacité de la méthode est de 3,6 sigma.
Cette configuration pourrait générer 2 résultats de patients faux par jour si un décalage de 1.5s se produisait et 0 erreurs de patients s’il est bien stable. Les 5 alarmes 1-2s qui se produisent seraient de faux rejets si le processus devait être arrêté.

Le 3 mars, il se produit un incident qui augmente le CV à 10% au lieu de 5%. De multiples alarmes sont produites, deux résultats de contrôles dépassent l’ETa. Durant cette période hors contrôle, 2 résultats de contrôles ont dépassé l’erreur totale admissible de 18%. Les alarmes générées étaient donc parfaitement justifiée. Il faut toutefois noter qu’il a fallut attendre le 12 janvier pour avoir l’alarme 2-2s qui s’active alors que le début du problème a eu lieu le 3 mars.
L’erreur 1-3s s’est produite la première fois le 27 mars et l’erreur ETa le 5 avril, soit plus d’un mois après le début du problème.

Exemple d'erreur systématique médicalement critique

Dans cette nouvelle situation, c’est cette fois un incident qui introduit un biais de 5% entre le 3 mars et

le 16 avril. Cette fois l’alarme 1-3s est produite dès le 1er jour de l’incident. L’alarme ETa se produit, elle, le 9 mars, 6 jours après l’incident. Ces alarmes sont activées à bon escient cette fois car plusieurs résultats de patients vont dépasser l’erreur totale admissible de 18%.

Choisir des objectifs en fonction de la qualité requise

Fausses alarmes et vraies alarmes

L'objectif de toute procédure de CQ est d'optimiser les chances de détecter des situations hors contrôle tout en minimisant la quantité d'indicateurs de faux rejets. Chaque laboratoire doit choisir les objectifs qu'il souhaite utiliser pour satisfaire aux exigences de qualité, le niveau acceptable de Pde (probabilité de détection des erreurs) et de Pfr (probabilité de faux rejets).

Lorsqu’un système analytique est stable, c’est à dire s’il est sous contrôle, il est facile de déterminer le taux de faux rejets. Cela correspond aux probabilités liées à la courbe de Gauss. Ainsi, si une limite est fixée à 1-2s, par définition ce sont 5% des résultats qui seront en dehors de ces limites ±2s. Mais il s’agit de faux rejets car le processus est sous contrôle, c’est à dire que le biais et le CV sont constants et correspondent à ceux qui ont été acceptés lors de la vérification de méthode. Le rejet n’est dû qu’à la variabilité analytique considérée comme acceptable de la méthode. Sur un automate de chimie il y a souvent 50 méthodes d’analyses différentes. En comptant 2 niveaux de contrôles par méthode d’analyse, cela signifie que 5 contrôles vont générer une alarme alors que le système est stable et sous contrôle. Mais la personnes en charge de l’instrument ne peut pas savoir avec certitude que son instrument est stable et que tout est sous contrôle. Elle va donc retenir les résultats, éventuellement revoir tous les résultats des patients produits depuis le dernier contrôle correct, entreprendre des actions qui vont s’avérer inutiles comme changer de contrôle, utiliser du réactif frais, voire étalonner une méthode. Il est aussi tentant de répéter les contrôles et si le deuxième résultat est dans les normes ne rien entreprendre. Cela sème le doute et la confiance dans le système s’effrite. C’est pour toutes ces raisons que la seule alarme 1-2s ne devrait produire aucune inquiétude ni aucune action. La règle 1-3s, elle ne s’active que dans 0.3 (1-0,997) des cas sur 100. Mais comme nous l’avons vu dans le chapitre précédent, cette règle n’est pas non plus la plus adaptée lorsque la méthode a une excellente capacité sigma-métrique. Il est nécessaire de trouver un bon équilibre entre un taux de fausses alarmes qui doit être le plus faible possible et un taux de détection d’erreurs le plus élevé possible. Une vraie alarme signifie que notre système d’analyses produit une erreur médicale importante qui peut avoir des conséquences sur le diagnostic ou le suivi du patient.

La probabilité de faux rejets (Pfr) décrit la probabilité de rejeter une série d’analyses alors qu’il n'y a pas de dysfonctionnement dans notre système de mesure, que seule l’erreur aléatoire inhérente au système de mesure est présente. Idéalement, Pfr devrait être égale à 0,00, ce qui signifie qu’aucune série de mesures ne serait faussement rejetée. En pratique, un taux de Pfr de 0,01 est considéré comme idéal et des valeurs allant jusqu’à 0,05 ou 5% peuvent être pratiques.

La probabilité de détection d’erreur (Pde) décrit la probabilité de rejeter une analyse en présence d'une erreur, en plus de l'imprécision inhérente à la procédure de mesure. Idéalement, Pde vaut 1,00, ce qui signifie qu'une erreur est détectée à 100% du moment où elle se produit. En pratique, une Pde de 0,90, ou 90%, peut être considérée comme une performance idéale car il sera généralement beaucoup plus coûteux d’atteindre des valeurs plus élevées de 0,95, 0,99 ou 1,00.

Qu'est-ce qu'un graphe de fonction de puissance ?

Un graphique de la fonction de puissance indique la probabilité de rejet sur l’axe des y par rapport à la taille de l’erreur sur l’axe des x. Il tire son nom du concept statistique de puissance qui fait référence à la probabilité de détecter un changement.

La puissance d’une procédure de contrôle qualité dépend de la taille du changement ou de l’erreur survenue. Il est donc utile de connaître la probabilité de rejet en fonction de la taille de l’erreur systématique ou aléatoire survenue. Une courbe de probabilité de rejet en fonction de la taille de l'erreur est appelée courbe de puissance. Les performances de différentes règles de contrôle et de différents nombres de mesures de contrôle sont décrites par différentes courbes de puissance. En affichant plusieurs courbes de puissance à la fois, il est facile de comparer les performances de différentes procédures de CQ et de sélectionner celles qui offrent les meilleures performances.

Par exemple, les courbes de puissance pour les règles de contrôle 1-2s, 1-3s et 1-4s avec N = 1 sont présentées ici. Ce sont les règles de contrôle qui seraient obtenues si les limites de contrôle sur un graphique de Levey-Jennings étaient définies comme la moyenne plus ou moins 2s, 3s ou 4s. Notez que la règle des 1-2s donne toujours une probabilité de rejet plus élevée que les règles des 1-3s ou 1-4s. Pour des décalages systématiques équivalant à 2 à 4 fois l'écart type de la méthode, les différences de détection d'erreur sont très grandes.

La probabilité de détection d'erreur (Pde) dépend de la taille de l'erreur qui se produit. Par exemple, si un décalage systématique équivalent à 3 fois l'écart type de la méthode était important sur le plan médical, le Pde attendu est obtenu en localisant le 3 sur l'axe des x, puis en lisant la valeur y correspondante pour la courbe de puissance qui nous intéresse.

Par exemple, la probabilité de détecter un décalage de 3s serait de 16% par une règle de 1-4s, de 50% par une règle de 1-3s et de 83% pour une règle de 1-2s. Les faux rejets seraient presque nuls pour les règles des 1-4s et 1-3s et d'environ 5% pour la règle des 1-2s. La modification des limites de contrôle modifie à la fois le taux de détection d'erreurs et les faux rejets de la procédure de contrôle.

Comment sont déterminés les graphes de fonctions de puissance ?

La puissance statistique d’une procédure de contrôle qualité peut être déterminée à partir de la théorie. Les informations nécessaires peuvent être obtenues par des calculs de probabilité ou par des simulations sur ordinateur.

Pour une règle de contrôle unique N égal à 1, il suffit d'un tableau d'aires sous une courbe normale. Il existe aussi de sites internet qui effectuent le calcul. L’estimation devient plus difficile lorsque N augmente et que plusieurs règles de contrôle sont appliquées simultanément. Des compétences en mathématiques sont alors nécessaires ou un programme de simulation sur ordinateur peut également être utilisé pour générer des centaines d'ensembles de séries de données comportant différentes quantités d'erreurs, tester ces ensembles de données pour voir si les règles de contrôle spécifiées sont violées, et estimer les proportions de séries refusées sous chaque condition d'erreur.

Grâce à la théorie des probabilités, pour comprendre les concepts de puissance statistique de courbes de puissance et de graphes de fonctions de puissance, considérons un cas simple où N est égal à 1 et où les limites de contrôle sont définies comme la moyenne plus et moins 3s. La courbe de puissance pour cette procédure de contrôle qualité peut être déterminée à partir du tableau ci-dessous, qui indique le nombre de s (multiple d’écart-type) de la moyenne, la surface de l’extrémité au-dessus de ce nombre de s (zone de la queue supérieure) et la surface restante en dessous de ce nombre de s (zone sous la queue).

Quelle est la probabilité de rejet si les performances sont stables ? La distribution stable des résultats de contrôle attendus est indiquée par la distribution la plus élevée dans la figure ci-jointe. La zone de la queue qui dépasse la limite de contrôle de 3s est de 0,0013, soit 0,13% de chance d’observer une mesure de contrôle ou un point au-dessus de la limite de contrôle supérieure. Dans des conditions stables, il y aurait une chance égale de dépasser la limite de contrôle inférieure, ce qui donnerait une probabilité totale de 0,0026 ou 0,26% de chance d'un faux rejet.

Quelle est la probabilité de rejet en cas de décalage de 2s ? Comme le montre la deuxième distribution à partir du haut, la zone de la queue qui dépasse la limite de contrôle est maintenant de 0,1587, ce qui correspond à une chance de 15,87% de détecter une erreur systématique de 2s.

Quelle est la probabilité de rejet en cas de décalage de 3s? La moyenne de la troisième distribution est maintenant située juste à la limite de contrôle. La moitié des valeurs attendues pour les mesures de contrôle serait supérieure à 3s, ce qui correspond à 50% de chance de détecter une erreur systématique de 3s.

Erreur médicale importante

Il existe une relation entre l’écart-type de la méthode, son bais et l’erreur totale admissible. Un processus qui a une très grande capacité sigma-métrique pourra se permettre une plus grande erreur systématique ou aléatoire qu’une méthode qui a une capacité sigma-métrique proche de 3, voire au dessous. James O. Westgard a démontré cette relation.

Ainsi, pour une probabilité donnée (ici 95%), il est possible de calculer l’erreur systématique critique et l’erreur aléatoire critique que le système doit être capable de détecter.

Comme l’erreur totale est exprimée en valeur relative (10%) il faut utiliser les valeurs relatives, soit le CV exprimé en % et le biais en%.
Pour l’erreur systématique critique la formule est
- Δ SE crit = ((ETa%- |biais%|)/ CV%) - z soit ((10%-|-0,36%|)/ 1,63%) - 1,65 = 4,3
Comme l’écart-type s vaut 0,07 mmol/l, le système doit pouvoir détecter une erreur de 4,3 x 0,07 mmol/l = 0,3 mmol/l.
Pour l’erreur aléatoire critique la formule est
- Δ RE crit = (ETa- |biais|)/zs
- donc (10%-|-0,36%|)/ (1,65x1,63%)= 3,6
Comme le CV vaut 1,63%, le système doit être capable de détecter une augmentaient du CV de 3,6 fois, soit un CV à 5,9%

Choix des règles à appliquer pour détecter une erreur médicale importante

Méthode 6 sigma

Dans l’expérience précédente, pour une méthode 5,9 sigma, il faut trouver une règle qui permette de détecter un biais de 4,3s.

La règle 1-2s a une probabilité de détection de 100% mais sa probabilité de faux rejets est trop importante comme nous l’avons déjà vu (5%). La règle 1-3s semble bien adaptée avec une probabilité de 90% pour détecter une erreur de biais de 4,3s, erreur médicalement importante pour notre méthode à 5,9 sigma. Pour augmenter encore le taux de détection d’erreur il est possible d’ajouter la règle 2-2s d’effectuer 2 contrôles (par exemple 2 niveaux différents).

Méthode 10 sigma

Exemple d’erreur systématique critique pour une méthode 10 sigma.

Dans ce cas le système doit pouvoir détecter un biais de 8,4s.

Dans ce cas il sera très facile de détecter une erreur de plus de 8s avec la seule règle 1-4s ou 1-5s .Comme on le voit ci-dessous la probabilité de détecter ce type d'erreur est de 100% avec cette règle.

Méthode 3 sigma

La règle 1-3s n’a qu’une probabilité de 4% détecter un tel biais. Evidemment, la règle 1-4s est complètement inutile avec un taux de détection inférieur à 1%.
Dans ce cas, Westgard propose à la fois d’augmenter le nombre de contrôles, par exemple 3 niveaux de contrôles différents et de combiner plusieurs règles fines comme 2-2s , 4-1s , 10-x par exemple. La combinaison de ces règles et l’augmentation du nombre de contrôles permet d’augmenter le taux de détection d’erreurs, mais c’est au prix d’augmenter d’autant les faux rejets. Ces combinaisons de règles doivent donc être réservées aux méthodes dont la capacité sigma-métrique est inférieure à 3 ou 4 sigma.

Capacité sigma-métrique et mise en place d'une stratégie de contrôle qualité

La capacité sigma-métrique de la méthode est utile pour orienter la conception de la stratégie de contrôle qualité. Pour un processus à haut sigma (plus de 6 sigma) une règle unique comme 1-4s ou1-5s peut être utilisée tout en assurant une forte capacité à détecter des dysfonctionnements qui peuvent engendrer des erreurs médicament importantes.

Approche selon J.O. Westgard

D'autre part, pour un processus à faible sigma, une condition hors de contrôle relativement petite peut présenter un risque trop élevé de produire des résultats non fiables pour le patient. Dans ce cas, Westgard propose de multiplier le nombre de contrôles et d’appliquer des règles (de Westgard) de plus en plus strictes pour détecter des situations où les erreurs systématiques ou aléatoires sont légèrement augmentées. Mais c'est souvent au prix d'une augmentation du nombre de faux rejets. Il est donc nécessaire de bien peser les avantages et inconvénients des règles à appliquer.