MSA aux attributs : fiabiliser les décisions OK / non OK

Un contrôleur regarde une pièce sous une lampe et la déclare bonne. Un calibre entre ou n'entre pas. Un banc de test affiche OK. Aucune valeur numérique n'est produite, et pourtant chaque décision engage la qualité livrée au client. Deux contrôleurs jugeraient-ils la même pièce de la même façon ? Le même contrôleur, demain ?

Le cours MSA/R&R ou VDA 5 traite les mesures variables. Celui-ci le prolonge pour les contrôles par attributs. Il suit le chapitre III, section C, du manuel MSA de l'AIAG (4e édition) et reprend son exemple chiffré. Nous signalons ce qui vient du manuel et ce qui relève de nos conseils.

Un système de mesure par attributs donne un résultat parmi un nombre fini de catégories. Le cas le plus courant est le calibre passe / passe pas, qui n'en a que deux. Une grille d'aspect visuel peut en compter cinq à sept, de « très bon » à « très médiocre ». Un système variable, lui, fournit une valeur sur une échelle continue.

Point important : un calibre ne dit pas si la pièce est bonne. Il dit seulement si elle est acceptée ou rejetée. Comme tout moyen de mesure, il présente une zone grise autour de chaque limite, où la même pièce peut être acceptée une fois et rejetée la suivante. Le manuel découpe ainsi l'étendue des pièces :

Deux erreurs sont possibles. Accepter une pièce non conforme est un raté : le défaut part chez le client. Rejeter une pièce conforme est une fausse alarme : elle coûte du rebut ou du retri. Toute l'étude vise à estimer ces deux risques.

L'exemple du manuel part d'un procédé dont les indices Pp et Ppk valent 0,5, soit environ 13 % de non-conformes attendus. Un calibre est installé pour trier les pièces, et l'équipe doit d'abord prouver qu'il trie correctement. Son plan d'essai :

• 50 pièces, dont environ 25 % à la limite inférieure ou près d'elle, et 25 % à la limite supérieure ou près d'elle. Si ces pièces sont difficiles à obtenir, un pourcentage plus faible est admis, au prix d'une variabilité plus grande des résultats.
• 3 évaluateurs, qui jugent chacun 3 fois chaque pièce, soit 450 décisions codées 1 (acceptée) ou 0 (rejetée).
• Une décision de référence pour chaque pièce, obtenue avec un moyen variable de variabilité acceptable, par exemple une machine à mesurer tridimensionnelle. Pour un vrai attribut, sans grandeur mesurable, des experts établissent à l'avance quelles pièces sont bonnes ou défectueuses.

Combien de pièces faut-il ? Le manuel répond : « suffisamment ». Ce qui compte, ce sont les pièces de la zone II. Plus le procédé est capable, moins un tirage aléatoire en contient : il faut alors un échantillon plus grand, ou un échantillon « salé », complété par des pièces choisies exprès près des limites.

Première question : les évaluateurs sont-ils d'accord entre eux ? On construit pour chaque paire un tableau croisé. Pour les évaluateurs A et B, sur 150 couples de décisions (50 pièces, 3 essais), le manuel compte 44 rejets communs, 97 acceptations communes et 9 désaccords.

Une partie de cet accord est due au hasard : deux personnes qui acceptent presque tout finissent forcément par être souvent d'accord. Le kappa de Cohen retire cette part :

\(p_o\) est la proportion d'accords observés, \(p_e\) la proportion d'accords attendus par le seul hasard, calculée à partir des taux de rejet de chacun. Pour A et B : \(p_o = (44 + 97)/150 = 0{,}94\) et \(p_e = (15{,}7 + 68{,}7)/150 = 0{,}563\), d'où \(\kappa \approx 0{,}86\).

Dans l'exemple, les trois paires obtiennent 0,86, 0,79 et 0,78 : bon accord. Mais attention à ce que le kappa ne dit pas. Il ne tient pas compte de l'ampleur d'un désaccord, seulement de son existence. Et surtout, trois évaluateurs peuvent très bien être d'accord entre eux et se tromper ensemble. Pour savoir si le système trie correctement, il faut une référence.

Avec la décision de référence, on refait les tableaux croisés, cette fois évaluateur contre référence. Les kappas valent 0,88 pour A, 0,92 pour B et 0,77 pour C. On calcule ensuite trois indicateurs :

• Efficacité : nombre de décisions correctes divisé par le nombre de possibilités de décision. Dans le tableau du manuel, une pièce compte comme correcte si l'évaluateur donne la même réponse aux trois essais et que cette réponse est celle de la référence.
• Taux de ratés : décisions « acceptée » portées sur des pièces non conformes, divisées par le nombre de décisions portées sur des pièces non conformes.
• Taux de fausses alarmes : décisions « rejetée » portées sur des pièces conformes, divisées par le nombre de décisions portées sur des pièces conformes.

Vérifions avec l'évaluateur A. La référence compte 16 pièces non conformes, soit 48 décisions : A en a accepté 3, d'où un taux de ratés de 3/48 = 6,3 %. Elle compte 34 pièces conformes, soit 102 décisions : A en a rejeté 5, d'où un taux de fausses alarmes de 5/102 = 4,9 %. A est cohérent avec la référence sur 42 pièces sur 50 : efficacité de 84 %.

Critères proposés par le manuel MSA pour son exemple, évaluateur par évaluateur.

Aucun évaluateur n'est acceptable sur les trois critères, aucun n'est inacceptable sur les trois. Les trois laissent passer trop de pièces non conformes. Le système complet, où les trois évaluateurs doivent être d'accord entre eux et avec la référence, atteint 78 % d'efficacité (39 pièces sur 50).

Chaque score s'accompagne d'un intervalle de confiance à 95 %, large avec 50 pièces : de 71 % à 93 % pour A. Les scores des trois évaluateurs se recouvrent, et le manuel conclut qu'on ne peut pas affirmer qu'ils diffèrent.

Le manuel est lui-même prudent sur cette méthode, et ses mises en garde méritent d'être connues avant de présenter des résultats.

• Les seuils sont heuristiques. Le manuel les présente comme des repères, pas comme des limites démontrées. La décision finale doit reposer sur l'impact d'une erreur pour les processus suivants et pour le client : c'est une décision métier, pas statistique.
• Les résultats dépendent de l'échantillon. Avec un procédé à Pp = Ppk = 1,33, aucune pièce ne tomberait en zone II : tous les évaluateurs paraîtraient parfaits, sans que le calibre ait changé.
• Les pourcentages trompent. L'évaluateur B rejette 93,8 % des pièces mauvaises. Mais si le procédé s'améliore jusqu'à 0,27 % de non-conformes, le théorème de Bayes montre qu'une pièce rejetée par B n'a qu'environ une chance sur dix d'être réellement mauvaise. Les fausses alarmes l'emportent quand les défauts deviennent rares.
• L'information variable est perdue. La méthode n'utilise ni les valeurs de référence mesurées, ni même leur ordre.

Pour ces raisons, le manuel précise que les méthodes qui ne quantifient pas la variabilité du système de mesure ne devraient être utilisées qu'avec l'accord du client. Les questions à se poser ensuite sont concrètes : ces risques sont-ils acceptables, les évaluateurs ont-ils besoin de formation, le poste de contrôle peut-il être amélioré, qu'attend le client ?

Si chaque pièce de l'étude a été mesurée avec un moyen variable, on peut aller plus loin et estimer la largeur de la zone grise. Les étapes du manuel :

1. Classer les pièces par valeur de référence.
2. Coder chaque pièce : acceptée par tous, rejetée par tous, ou désaccord.
3. À chaque limite, mesurer la distance \(d\) entre la dernière pièce acceptée par tous et la première pièce rejetée par tous : c'est la largeur de la zone II.
4. Faire la moyenne des deux distances : elle estime l'étendue GRR, soit \(6\,\sigma_{GRR}\).
5. Comparer cette valeur à la tolérance si Ppk < 1, à la dispersion du procédé si Ppk > 1 : on retient la comparaison la plus restrictive.

Dans l'exemple, la tolérance va de 0,450 à 0,550, soit 0,100. On trouve \(d_{LSL} \approx 0{,}0241\) et \(d_{USL} \approx 0{,}0234\), d'où \(d \approx 0{,}0238\) et un %GRR d'environ 24 %. Les données de l'exemple ayant été simulées avec un %GRR réel de 25 %, l'estimation conduit à la même conclusion. Sa justesse dépend de la taille de l'échantillon et de sa représentativité.

La méthode analytique, adaptée par le manuel de McCaslin et Gruska, estime la répétabilité et le biais d'un calibre à partir de sa probabilité d'acceptation. Elle s'applique à un calibre à une ou deux limites ; dans le second cas, on étudie une seule limite en supposant l'erreur identique de part et d'autre.

• Choisir 8 pièces de valeur de référence connue, espacées aussi régulièrement que possible.
• Passer chaque pièce 20 fois dans le calibre et noter le nombre d'acceptations \(a\).
• La plus petite pièce doit donner \(a = 0\), la plus grande \(a = 20\), et les six autres entre 1 et 19. Sinon, ajouter des pièces aux milieux des intervalles jusqu'à remplir ces conditions.
• Calculer la probabilité d'acceptation ajustée de chaque pièce, la reporter sur un graphique de probabilité normale et tracer la droite d'ajustement.

Le biais est l'écart entre la limite et la valeur de référence acceptée une fois sur deux. La répétabilité se déduit de l'écart entre les valeurs acceptées à 99,5 % et à 0,5 %, divisé par 1,08. Un test \(t\) indique si le biais diffère significativement de zéro. Dans l'exemple du manuel, une jauge automatique en fin de ligne, le biais vaut 0,0023 pour une tolérance de ± 0,010, et \(t = 9{,}84\) dépasse nettement la valeur critique de 2,093 : le biais est significatif.

Cette méthode demande des pièces de valeur connue et beaucoup de passages. Elle se justifie pour un calibre automatique ou un poste critique, moins pour un contrôle visuel ponctuel.

Le manuel recommande de réduire les sources de variation des systèmes par attributs en s'appuyant sur les facteurs humains et l'ergonomie. Il demande aussi de surveiller la stabilité dans le temps, par exemple en suivant sur une carte de contrôle les résultats d'un échantillon constant. Concrètement, voici ce que nous conseillons quand une étude est décevante :

Quand c'est possible, la solution la plus efficace reste souvent de remplacer le jugement par une mesure. Une valeur numérique se prête aux études R&R classiques et à une règle de décision explicite.

Un contrôle OK / non OK est un système de mesure comme un autre : il a une zone grise, et ses erreurs coûtent. Une étude aux attributs bien préparée, avec des pièces limites et une référence fiable, montre qui se trompe, dans quel sens et à quelle fréquence. Elle ne dit pas à elle seule si ce risque est acceptable : cette décision se prend avec le client, en connaissant l'impact d'un défaut qui passe. Pour aller plus loin, la vidéo Les études aux attributs reprend la démarche en six minutes.

• AIAG, Measurement Systems Analysis – Reference Manual, 4e édition, 2010, chapitre III, section C : étude des systèmes de mesure par attributs (exemple, tableaux et critères repris dans ce cours).
• J. Cohen, A coefficient of agreement for nominal scales, 1960, cité par le manuel pour le kappa.
• J. A. McCaslin et G. F. Gruska, Analysis of Attribute Gage Systems, ASQC, 1976, source de la méthode analytique adaptée par le manuel.
• Atelier de la Mesure, Les études aux attributs, MSA : comment valider vos contrôles OK / non OK ?, vidéo, décembre 2025.

Ce cours reformule le manuel et en reprend les résultats chiffrés de l'exemple ; il ne reproduit pas son texte. Seul le manuel fait foi.