L'analyse du système de mesure des attributs de type 2 est utilisée pour évaluer l'adéquation d'un système d'évaluation lorsque les résultats sont enregistrés sous forme de catégories plutôt que de mesures continues.
Des exemples typiques sont des évaluations telles que bon/mauvais, i. O./n. i. O., réussi/non réussi, ou Chaud/Tiede/Froid.
L'accent est mis sur la répétabilité et la reproductibilité des évaluations. La répétabilité signifie que le même inspecteur classe la même pièce de la même manière lors d'une évaluation répétée. La reproductibilité signifie que différents inspecteurs évaluent la même pièce de la même manière.
Si une évaluation standard ou experte est disponible, il est en outre vérifié si les évaluations des inspecteurs correspondent à cette référence.
Ainsi, l'attribut MSA de type 2 répond à trois questions centrales :
- Un inspecteur évalue-t-il de la même manière lors d'une répétition ?
- Différents inspecteurs évaluent-ils de la même manière ?
- Les évaluations correspondent-elles à la norme techniquement correcte ?
Pour l'attribut MSA Type 2, l'inspection visuelle des étiquettes sur les bocaux de tomates remplis est examinée. Plusieurs employés évaluent si l'étiquette est correctement appliquée.
L'évaluation est effectuée en deux états :
| État | Signification |
|---|---|
| g | L'étiquette est correctement positionnée, lisible et non endommagée |
| s | L'étiquette est de travers, endommagée, illisible, manquante ou mal appliquée |
Pour l'analyse, 50 bocaux de tomates de la production en cours sont sélectionnés. Trois inspecteurs évaluent chaque bocal deux fois. De plus, un inspecteur qualité expérimenté établit une évaluation de référence comme standard pour chaque bocal.
Les données sont ensuite évaluées dans AlphadiTab avec l'attribut MSA Type 2.
Interprétation :
L'analyse montre si l'inspection des étiquettes est cohérente et répétable. Un accord élevé signifie que les inspecteurs appliquent les critères pour g et s de manière comparable. Si l'accord global est inférieur à 95 %, les critères d'inspection doivent être affinés, les cas limites définis, et les inspecteurs calibrés ensemble.
Image de gauche
Le graphique de gauche montre l'accord au sein des examinateurs.
- Chaque barre représente un examinateur ou un opérateur.
- La hauteur de la barre montre la proportion de parties où l'examinateur a donné la même note dans ses répétitions.
- Les barres d'erreur montrent l'intervalle de confiance à 95 %.
Un accord élevé signifie que l'examinateur peut répéter de manière fiable sa propre évaluation. Des valeurs faibles indiquent des critères d'évaluation incertains, des cas limites difficiles ou un besoin de formation.
Image du milieu
Si une évaluation standard ou experte a été fournie, le graphique du milieu montre l'accord de chaque examinateur avec le standard.
- Chaque barre représente un examinateur comparé au standard.
- La hauteur de la barre montre la proportion de parties où toutes les notes de cet examinateur correspondent au standard.
- Les barres d'erreur montrent l'intervalle de confiance de cet accord.
Ce graphique est particulièrement important lorsqu'il est connu quelle évaluation est techniquement correcte. Un examinateur peut être très répétable en interne mais dévier systématiquement du standard.
Image de droite
Le graphique de droite montre le résumé global de l'accord sous forme de feu tricolore.
- Avec standard : Accord global de tous les examinateurs avec le standard.
- Sans standard : Accord global entre les examinateurs.
- Vert : Accord global d'au moins 95 %.
- Rouge : Accord global inférieur à 95 %.
Le feu tricolore est une aide à la décision rapide. Cependant, il ne remplace pas l'analyse détaillée des examinateurs individuels et les statistiques kappa.
AlphadiTab présente les résultats dans plusieurs tableaux. Selon les paramètres, le Kappa de Fleiss et le Kappa de Cohen peuvent également être affichés.
Intra-opérateur – Accord
Ce tableau évalue la répétabilité au sein de chaque inspecteur. Il montre combien de pièces ont été inspectées, combien de pièces les répétitions correspondent, et quel est le pourcentage incluant l'intervalle de confiance à 95 %.
Chaque opérateur vs Standard – Accord
Ce tableau est affiché lorsqu'une colonne standard ou expert est présente. Il montre pour chaque inspecteur à quelle fréquence leurs évaluations correspondent complètement au standard.
Chaque opérateur vs Standard – Désaccord
Ce tableau montre le type de déviations par rapport au standard. Dans une évaluation g/s, cela signifie :
- s vs g : Une bonne pièce est évaluée comme mauvaise.
- g vs s : Une mauvaise pièce est évaluée comme bonne.
- Mixte : Un inspecteur évalue la même pièce différemment dans les répétitions.
Entre opérateurs – Accord
Ce tableau montre la proportion de pièces où tous les inspecteurs arrivent à la même évaluation. Il est également calculé lorsqu'aucun standard n'est présent.
Tous les opérateurs vs Standard – Accord
Ce tableau résume l'accord de tous les inspecteurs avec le standard. Si un standard est présent, il forme la base pour le feu tricolore.
Kappa de Fleiss et Kappa de Cohen
Dans AlphadiTab, en plus des pourcentages d'accords, les statistiques Kappa peuvent également être affichées. Les statistiques Kappa prennent en compte que partie de l'accord peut également se produire par hasard.
Des valeurs proches de 1 indiquent un très bon accord. Des valeurs proches de 0 signifient que l'accord n'est guère meilleur que le hasard. Des valeurs négatives indiquent un accord pire que ce qui serait attendu par hasard.
Le Kappa de Fleiss est principalement utilisé lorsqu'il y a plusieurs évaluateurs ou plusieurs évaluations par élément. Le Kappa de Cohen est utilisé pour les comparaisons entre deux évaluations. Dans AlphadiTab, le Kappa de Cohen n'est affiché que si les conditions de données nécessaires sont remplies.
Les valeurs Kappa doivent être considérées en plus des valeurs en pourcentage, surtout lorsque les catégories sont inégalement réparties.
Préparation
- Sélectionnez une caractéristique d'évaluation d'attribut, par exemple, pièce bonne/mauvaise.
- Définissez clairement les catégories de réponses autorisées.
- Sélectionnez plusieurs pièces qui couvrent la gamme d'évaluation pertinente.
- Si possible, établissez une norme techniquement correcte par décision d'expert.
- Sélectionnez plusieurs inspecteurs qui effectuent également l'évaluation dans la vie quotidienne.
- Déterminez le nombre de répétitions par inspecteur, généralement deux répétitions.
- Gardez les conditions d'évaluation, les instructions d'inspection et les outils constants.
- Créez la feuille de calcul pour le type d'attribut MSA 2. Cela peut être fait directement dans AlphadiTab.
- Effectuez les évaluations : L'ordre des pièces doit être aléatoire si possible ; les répétitions d'un inspecteur doivent être séparées dans le temps.
Utilisation dans AlphadiTab
- Dans la Phase de Mesure, appelez la fonction Attribut MSA Type 2.
- Dans la colonne Opérateur, spécifiez l'inspecteur.
- Dans la colonne Pièce, spécifiez le numéro de pièce ou de cas.
- Dans la colonne Mesures, sélectionnez l'évaluation de l'attribut.
- Optionnellement, dans la colonne Expert, sélectionnez la norme connue ou l'évaluation d'expert.
- Définissez le niveau de confiance, généralement 0,95.
- Optionnellement, affichez le Kappa de Fleiss et/ou le Kappa de Cohen.
- Confirmez avec Mettre à jour.
Interprétation
- Accord total ≥ 95 % : Le système d'évaluation est généralement acceptable.
- Accord au sein de l'inspecteur : Les inspecteurs évaluent la même pièce de manière égale.
- Accord inspecteur vs. expert : Les inspecteurs évaluent techniquement correctement par rapport à la norme.
- Accord entre inspecteurs : Les inspecteurs parviennent aux mêmes évaluations entre eux.
- Vérifiez également les valeurs de Kappa : Particulièrement important avec une distribution déséquilibrée des catégories.
Inspection visuelle de la sauce tomate - Machine A, Machine B et Machine C
En production, les produits emballés sont inspectés après scellage. Il convient d'examiner si plusieurs inspecteurs évaluent de manière cohérente les mêmes soudures de scellage.
L'évaluation est effectuée dans deux états :
| État | Signification |
|---|---|
| i. O. | La soudure est complètement fermée, uniforme et sans défauts visibles |
| n. i. O. | La soudure est ouverte, endommagée, sale, froissée ou incomplètement fermée |
Pour l'attribut MSA Type 2, trois inspecteurs évaluent les mêmes emballages deux fois chacun. De plus, un inspecteur qualité expérimenté établit une évaluation de référence comme standard pour chaque emballage.
Informations sur la feuille de travail
La feuille de travail a été préparée dans AlphadiTab. Les valeurs standard pour le nombre de pièces, le nombre d'inspecteurs et les répétitions ont été adoptées, puis une feuille de travail a été créée avec "Nouveau". Dans cette feuille de travail, les évaluations des inspecteurs sont documentées.
Ensuite, l'analyse est effectuée dans AlphadiTab. Les colonnes pour Pièce, Opérateur, Mesure, et Expert sont automatiquement reconnues si la feuille de travail a été préalablement créée dans AlphadiTab.
Interprétation :
L'attribut MSA Type 2 montre que l'inspection des soudures n'est pas suffisamment fiable. L'accord global n'est que de 42 % et est donc nettement inférieur au seuil requis de 95 %.
Le système d'évaluation n'est pas adapté sous cette forme. Les inspecteurs n'appliquent pas les critères pour i. O. et n. i. O. de manière suffisamment cohérente ou s'écartent de la norme.
Comme mesures, des modèles d'erreurs typiques devraient être définis, des échantillons limites établis, et les inspecteurs formés ou calibrés ensemble. Ensuite, le MSA devrait être répété.
Classification des tickets dans le service d'assistance
Dans le service d'assistance informatique, les tickets entrants sont classés, par exemple, comme incidents, demandes de service ou demandes d'accès. Il convient de vérifier si plusieurs employés du service d'assistance classent les mêmes tickets de manière cohérente.
Plusieurs employés du service d'assistance évaluent les mêmes échantillons de tickets deux fois chacun. Un coordinateur informatique expérimenté établit la classification standard pour chaque ticket.
Interprétation :
L'évaluation montre que les employés peuvent en grande partie répéter leur propre classification. Cependant, l'accord avec la norme est trop faible pour un évaluateur.
Cela signifie : L'évaluateur évalue relativement de manière cohérente mais n'attribue pas certains tickets à la catégorie techniquement correcte.
En tant que mesure, les critères de décision pour les types de tickets devraient être affinés et les cas limites typiques inclus dans les instructions de travail.
Évaluation de la qualité des prospects
Dans les ventes, les prospects entrants sont évalués par plusieurs représentants commerciaux. Il convient de vérifier si les employés classent les mêmes prospects de manière uniforme selon leur qualité.
L'évaluation est effectuée en trois classes :
| Condition | Signification |
|---|---|
| Chaud | Besoin spécifique, forte probabilité d'achat, budget ou proximité de décision reconnaissable |
| Tiède | Intérêt présent, mais besoin, budget ou timing pas encore clairement clarifiés |
| Froid | Pas de besoin spécifique, faible adéquation ou actuellement aucune intention d'achat reconnaissable |
Pour le MSA Type 2 attributif, trois représentants commerciaux évaluent chacun les mêmes prospects deux fois. De plus, un responsable commercial établit une évaluation de référence comme standard pour chaque prospect.
Interprétation :
L'attributif MSA Type 2 montre si l'évaluation des prospects est cohérente et répétable.
Un accord élevé parmi les représentants commerciaux signifie que les employés peuvent répéter de manière cohérente leur propre évaluation. Un accord élevé avec le standard montre que la classification en Chaud, Tiède ou Froid est également techniquement correcte.
En cas de faible accord, les critères pour les trois classes de prospects devraient être décrits plus en détail. Surtout avec les prospects Tièdes, des cas limites peuvent survenir, car l'intérêt est présent, mais le besoin, le budget ou le timing sont encore flous.
Inspection de prélèvement au centre logistique
Dans la logistique, les commandes des clients sont vérifiées après prélèvement. Les inspecteurs évaluent si une commande est o.k. ou n.o.k. Une commande est n.o.k. si un article présente des dommages visibles.
Plusieurs inspecteurs évaluent les mêmes commandes préparées deux fois chacune. Une norme est établie par une inspection de référence préliminaire.
Interprétation :
L'accord global de tous les inspecteurs avec la norme est inférieur à 95 %. Par conséquent, le feu est rouge.
La table détaillée montre que des écarts g vs s se produisent en particulier. Cela signifie que des commandes défectueuses sont parfois évaluées comme bonnes.
Ce type d'écart est critique car des envois défectueux peuvent atteindre le client. Avant toute utilisation ultérieure des données d'inspection, les instructions d'inspection, la liste de contrôle et la formation doivent être améliorées.
Inspection des marchandises entrantes des pièces fournisseurs
Dans l'achat ou la réception de marchandises, les composants de plusieurs fournisseurs sont évalués visuellement et fonctionnellement. Les inspecteurs décident si une pièce est acceptée ou bloquée.
Pour l'attribut MSA Type 2, des pièces avec des motifs de défaut connus et des pièces sans défaut sont sélectionnées. L'évaluation standard est déterminée par l'assurance qualité et le département technique.
Interprétation :
Les inspecteurs montrent une bonne répétabilité, mais l'accord avec la norme est trop faible pour un inspecteur.
La table Chaque opérateur vs Standard – Désaccord montre que de bonnes pièces ont été à plusieurs reprises évaluées comme mauvaises.
Cette déviation ne conduit généralement pas directement à un risque client, mais elle peut causer des blocages inutiles, des réinspections et des plaintes fournisseurs.
Comme mesure, les échantillons limites et les motifs de défaut devraient être discutés et calibrés avec les inspecteurs.
Evaluation des écarts de prévision
Dans la planification de la production, les prévisions sont évaluées rétrospectivement. Les planificateurs attribuent chaque cas à une classe de feu tricolore :
- vert = écart acceptable
- jaune = critique
- rouge = non acceptable
Étant donné que cette évaluation est effectuée par des personnes, il convient de vérifier si les planificateurs classent les cas de manière cohérente. Une norme peut être établie par des seuils fixes ou par un panel d'experts.
Interprétation :
La MSA montre que les cas clairement verts et rouges sont largement évalués de manière cohérente. Cependant, des écarts se produisent plus fréquemment dans les cas limites jaunes.
La logique du feu tricolore devrait donc être précisée, par exemple, par des seuils clairs et des exemples supplémentaires pour les cas limites. Par la suite, la MSA devrait être répétée.
L'attributif de type 2 MSA est principalement basé sur les proportions d'accord et sur les statistiques kappa.
Les intervalles de confiance affichés dans AlphadiTab montrent l'incertitude des proportions d'accord estimées. Pour les petits échantillons ou la distribution déséquilibrée des catégories, les intervalles deviennent plus larges.