El análisis del sistema de medición de atributos Tipo 2 se utiliza para evaluar la idoneidad de un sistema de evaluación cuando los resultados se registran como categorías en lugar de mediciones continuas.
Ejemplos típicos son evaluaciones como bueno/malo, i. O./n. i. O., aprobado/no aprobado, o Caliente/Tibio/Frío.
El enfoque está en la repetibilidad y reproducibilidad de las evaluaciones. La repetibilidad significa que el mismo inspector clasifica la misma parte de la misma manera en una evaluación repetida. La reproducibilidad significa que diferentes inspectores evalúan la misma parte de la misma manera.
Si hay disponible una evaluación estándar o de experto, se verifica adicionalmente si las evaluaciones de los inspectores coinciden con esta referencia.
Por lo tanto, el MSA Tipo 2 de atributo responde a tres preguntas centrales:
- ¿Evalúa un inspector lo mismo en una repetición?
- ¿Evalúan lo mismo diferentes inspectores?
- ¿Coinciden las evaluaciones con el estándar técnicamente correcto?
Para el atributo MSA Tipo 2, se examina la inspección visual de las etiquetas en los frascos de tomate llenos. Varios empleados evalúan si la etiqueta está correctamente aplicada.
La evaluación se lleva a cabo en dos estados:
| Estado | Significado |
|---|---|
| g | La etiqueta está correctamente posicionada, legible y sin daños |
| s | La etiqueta está torcida, dañada, ilegible, falta o está incorrectamente aplicada |
Para el análisis, se seleccionan 50 frascos de tomate de la producción en curso. Tres inspectores evalúan cada frasco dos veces. Además, un inspector de calidad experimentado establece una evaluación de referencia como estándar para cada frasco.
Luego, los datos se evalúan en AlphadiTab con el atributo MSA Tipo 2.
Interpretación:
El análisis muestra si la inspección de etiquetas es consistente y repetible. Un alto acuerdo significa que los inspectores aplican los criterios para g y s de manera comparable. Si el acuerdo general es inferior al 95 %, se deben afinar los criterios de inspección, definir casos límite y calibrar a los inspectores juntos.
Imagen Izquierda
El gráfico de la izquierda muestra el acuerdo dentro de los examinadores.
- Cada barra representa a un examinador u operador.
- La altura de la barra muestra la proporción de partes donde el examinador dio la misma calificación en sus repeticiones.
- Las barras de error muestran el intervalo de confianza del 95%.
Un alto acuerdo significa que el examinador puede repetir de manera confiable su propia evaluación. Valores bajos indican criterios de evaluación inciertos, casos límite difíciles o una necesidad de capacitación.
Imagen del Medio
Si se proporcionó una evaluación estándar o de experto, el gráfico del medio muestra el acuerdo de cada examinador con el estándar.
- Cada barra representa a un examinador comparado con el estándar.
- La altura de la barra muestra la proporción de partes donde todas las calificaciones de este examinador coinciden con el estándar.
- Las barras de error muestran el intervalo de confianza de este acuerdo.
Este gráfico es particularmente importante cuando se sabe cuál evaluación es técnicamente correcta. Un examinador puede ser muy repetible internamente pero aún así desviarse sistemáticamente del estándar.
Imagen Derecha
El gráfico de la derecha muestra el resumen general del acuerdo como un semáforo.
- Con estándar: Acuerdo general de todos los examinadores con el estándar.
- Sin estándar: Acuerdo general entre los examinadores.
- Verde: Acuerdo general al menos del 95%.
- Rojo: Acuerdo general por debajo del 95%.
El semáforo es una ayuda rápida para la toma de decisiones. Sin embargo, no reemplaza el análisis detallado de los examinadores individuales y las estadísticas kappa.
AlphadiTab presenta los resultados en varias tablas. Dependiendo de la configuración, también se pueden mostrar el Kappa de Fleiss y el Kappa de Cohen.
Dentro del operador – Acuerdo
Esta tabla evalúa la repetibilidad dentro de cada inspector. Muestra cuántas partes fueron inspeccionadas, cuántas partes coinciden las repeticiones y cuál es el porcentaje incluyendo el intervalo de confianza del 95%.
Cada operador vs Estándar – Acuerdo
Esta tabla se muestra cuando hay una columna estándar o de experto presente. Muestra para cada inspector con qué frecuencia sus calificaciones coinciden completamente con el estándar.
Cada operador vs Estándar – Desacuerdo
Esta tabla muestra el tipo de desviaciones del estándar. En una calificación g/s, significa:
- s vs g: Una buena parte se califica como mala.
- g vs s: Una mala parte se califica como buena.
- Mixto: Un inspector califica la misma parte de manera diferente en las repeticiones.
Entre operadores – Acuerdo
Esta tabla muestra la proporción de partes donde todos los inspectores llegan a la misma calificación. También se calcula cuando no hay un estándar presente.
Todos los Operadores vs Estándar – Acuerdo
Esta tabla resume el acuerdo de todos los inspectores con el estándar. Si hay un estándar presente, forma la base para el semáforo.
Kappa de Fleiss y Kappa de Cohen
En AlphadiTab, además de los acuerdos porcentuales, también se pueden mostrar las estadísticas de Kappa. Las estadísticas de Kappa tienen en cuenta que parte del acuerdo también puede ocurrir por casualidad.
Valores cercanos a 1 indican un acuerdo muy bueno. Valores cercanos a 0 significan que el acuerdo es apenas mejor que al azar. Valores negativos indican un acuerdo peor de lo que se esperaría por casualidad.
El Kappa de Fleiss se utiliza principalmente cuando hay múltiples evaluadores o múltiples evaluaciones por ítem. El Kappa de Cohen se utiliza para comparaciones entre dos evaluaciones. En AlphadiTab, el Kappa de Cohen solo se muestra si se cumplen las condiciones de datos necesarias.
Los valores de Kappa deben considerarse además de los valores porcentuales, especialmente cuando las categorías están distribuidas de manera desigual.
Preparación
- Seleccione una característica de evaluación de atributo, por ejemplo, parte buena/mala.
- Defina claramente las categorías de respuesta permitidas.
- Seleccione múltiples partes que cubran el rango de evaluación relevante.
- Si es posible, establezca un estándar técnicamente correcto a través de la decisión de un experto.
- Seleccione múltiples inspectores que también realicen la evaluación en la vida cotidiana.
- Determine el número de repeticiones por inspector, típicamente dos repeticiones.
- Mantenga constantes las condiciones de evaluación, las instrucciones de inspección y las herramientas.
- Cree la hoja de trabajo para el atributo tipo 2 de MSA. Esto se puede hacer directamente en AlphadiTab.
- Realice las evaluaciones: El orden de las partes debe ser aleatorio si es posible; las repeticiones de un inspector deben estar separadas temporalmente.
Uso en AlphadiTab
- En la Fase de Medición, llame a la función Atributo Tipo 2 de MSA.
- En la columna Operador, especifique el inspector.
- En la columna Parte, especifique el número de parte o caso.
- En la columna Mediciones, seleccione la evaluación de atributo.
- Opcionalmente, en la columna Experto, seleccione el estándar conocido o la evaluación del experto.
- Establezca el nivel de confianza, típicamente 0.95.
- Opcionalmente, muestre el Kappa de Fleiss y/o el Kappa de Cohen.
- Confirme con Actualizar.
Interpretación
- Acuerdo total ≥ 95 %: El sistema de evaluación es generalmente aceptable.
- Acuerdo dentro del inspector: Los inspectores evalúan la misma parte de manera igual.
- Acuerdo inspector vs. experto: Los inspectores evalúan técnicamente correcto en comparación con el estándar.
- Acuerdo entre inspectores: Los inspectores llegan a las mismas evaluaciones entre ellos.
- Verifique adicionalmente los valores de Kappa: Especialmente importante con distribución desequilibrada de categorías.
Inspección visual de salsa de tomate - Máquina A, Máquina B y Máquina C
En producción, los productos empaquetados se inspeccionan después del sellado. Se debe investigar si varios inspectores evalúan las mismas costuras de sellado de manera consistente.
La evaluación se lleva a cabo en dos estados:
| Estado | Significado |
|---|---|
| i. O. | La costura de sellado está completamente cerrada, uniforme y sin defectos visibles |
| n. i. O. | La costura de sellado está abierta, dañada, sucia, arrugada o incompletamente cerrada |
Para el atributo MSA Tipo 2, tres inspectores evalúan los mismos paquetes dos veces cada uno. Además, un inspector de calidad experimentado establece una evaluación de referencia como estándar para cada paquete.
Información de la hoja de trabajo
La hoja de trabajo fue preparada en AlphadiTab. Se adoptaron los valores estándar para el número de partes, número de inspectores y repeticiones, y luego se creó una hoja de trabajo con "Nuevo". En esta hoja de trabajo, se documentan las evaluaciones de los inspectores.
Posteriormente, el análisis se lleva a cabo en AlphadiTab. Las columnas para Parte, Operador, Medición y Experto se reconocen automáticamente si la hoja de trabajo fue creada previamente en AlphadiTab.
Interpretación:
El atributo MSA Tipo 2 muestra que la inspección de la costura de sellado no es suficientemente confiable. El acuerdo general es solo del 42% y, por lo tanto, está significativamente por debajo del umbral requerido del 95%.
El sistema de evaluación no es adecuado en esta forma. Los inspectores no aplican los criterios para i. O. y n. i. O. de manera suficientemente consistente o se desvían del estándar.
Como medidas, se deben definir patrones típicos de error, establecer muestras límite y capacitar o calibrar conjuntamente a los inspectores. Posteriormente, se debe repetir el MSA.
Clasificación de tickets en el Helpdesk
En el servicio de asistencia de TI, los tickets entrantes se clasifican, por ejemplo, como incidentes, solicitudes de servicio o solicitudes de acceso. Se debe verificar si varios empleados del helpdesk clasifican los mismos tickets de manera consistente.
Varios empleados del helpdesk evalúan los mismos tickets de muestra dos veces cada uno. Un coordinador de TI experimentado establece la clasificación estándar para cada ticket.
Interpretación:
La evaluación muestra que los empleados pueden repetir en gran medida su propia clasificación. Sin embargo, la concordancia con el estándar es demasiado baja para un revisor.
Esto significa: El revisor evalúa de manera relativamente consistente pero no asigna algunos tickets a la categoría técnicamente correcta.
Como medida, se deben afinar los criterios de decisión para los tipos de tickets e incluir casos límite típicos en las instrucciones de trabajo.
Evaluación de la Calidad de los Leads
En ventas, los leads entrantes son evaluados por varios representantes de ventas. Se debe verificar si los empleados clasifican los mismos leads de manera uniforme según su calidad.
La evaluación se lleva a cabo en tres clases:
| Condición | Significado |
|---|---|
| Caliente | Necesidad específica, alta probabilidad de compra, presupuesto o proximidad de decisión reconocible |
| Templado | Interés presente, pero necesidad, presupuesto o tiempo aún no claramente aclarados |
| Frío | No hay necesidad específica, baja adecuación o actualmente no hay intención de compra reconocible |
Para el MSA Tipo 2 atributivo, tres representantes de ventas evalúan los mismos leads dos veces cada uno. Además, un gerente de ventas establece una evaluación de referencia como estándar para cada lead.
Interpretación:
El MSA Tipo 2 atributivo muestra si la evaluación de los leads es consistente y repetible.
Un alto acuerdo entre los representantes de ventas significa que los empleados pueden repetir consistentemente su propia evaluación. Un alto acuerdo con el estándar muestra que la clasificación como Caliente, Templado o Frío también es técnicamente correcta.
En caso de bajo acuerdo, los criterios para las tres clases de leads deben describirse con más detalle. Especialmente con los leads Templados, pueden ocurrir casos límite, ya que el interés está presente, pero la necesidad, el presupuesto o el tiempo aún son inciertos.
Inspección de Picking en el Centro Logístico
En logística, los pedidos de los clientes se verifican después del picking. Los inspectores evalúan si un pedido está o.k. o n.o.k. Un pedido es n.o.k. si un artículo tiene daños visibles.
Varios inspectores evalúan los mismos pedidos preparados dos veces cada uno. Un estándar se establece mediante una inspección de referencia preliminar.
Interpretación:
El acuerdo general de todos los inspectores con el estándar está por debajo del 95%. Por lo tanto, el semáforo está en rojo.
La tabla detallada muestra que las desviaciones g vs s ocurren en particular. Esto significa que los pedidos defectuosos a veces se califican como buenos.
Este tipo de desviación es crítico porque los envíos defectuosos pueden llegar al cliente. Antes de un uso posterior de los datos de inspección, se deben mejorar las instrucciones de inspección, la lista de verificación y la capacitación.
Inspección de Bienes Entrantes de Piezas del Proveedor
En la compra o recepción de bienes, los componentes de varios proveedores son evaluados visual y funcionalmente. Los inspectores deciden si una pieza es aceptada o bloqueada.
Para el atributo MSA Tipo 2, se seleccionan piezas con patrones de defectos conocidos y piezas sin defectos. La evaluación estándar es determinada por el aseguramiento de calidad y el departamento técnico.
Interpretación:
Los inspectores muestran buena repetibilidad, pero el acuerdo con el estándar es demasiado bajo para un inspector.
La tabla Cada operador vs Estándar – Desacuerdo muestra que las piezas buenas fueron repetidamente calificadas como malas.
Esta desviación generalmente no conduce directamente a un riesgo para el cliente, pero puede causar bloqueos innecesarios, reinspecciones y quejas de proveedores.
Como medida, las muestras límite y los patrones de defectos deben ser discutidos y calibrados con los inspectores.
Evaluación de Desviaciones de Pronóstico
En la planificación de producción, los pronósticos se evalúan retrospectivamente. Los planificadores asignan cada caso a una clase de semáforo:
- verde = desviación aceptable
- amarillo = crítico
- rojo = no aceptable
Dado que esta evaluación la realizan personas, se debe verificar si los planificadores clasifican los casos de manera consistente. Se puede establecer un estándar a través de umbrales fijos o por un panel de expertos.
Interpretación:
El MSA muestra que los casos claramente verdes y rojos son evaluados en gran medida de manera consistente. Sin embargo, las desviaciones ocurren con más frecuencia en casos límite amarillos.
Por lo tanto, la lógica del semáforo debe especificarse, por ejemplo, a través de umbrales claros y ejemplos adicionales para casos límite. Posteriormente, se debe repetir el MSA.
El MSA Tipo 2 atributivo se basa principalmente en proporciones de acuerdo y en estadísticas kappa.
Los intervalos de confianza que se muestran en AlphadiTab indican la incertidumbre de las proporciones de acuerdo estimadas. Para muestras pequeñas o distribución desequilibrada de categorías, los intervalos se amplían.