A análise do sistema de medição de atributos do Tipo 2 é usada para avaliar a adequação de um sistema de avaliação quando os resultados são registrados como categorias em vez de medições contínuas.
Exemplos típicos são avaliações como bom/ruim, i. O./n. i. O., aprovado/não aprovado, ou Quente/Morno/Frio.
O foco está na repetibilidade e reprodutibilidade das avaliações. Repetibilidade significa que o mesmo inspetor classifica a mesma peça da mesma forma em avaliações repetidas. Reprodutibilidade significa que diferentes inspetores avaliam a mesma peça da mesma forma.
Se uma avaliação padrão ou de especialista estiver disponível, verifica-se adicionalmente se as avaliações dos inspetores correspondem a essa referência.
Assim, o atributo MSA Tipo 2 responde a três questões centrais:
- Um inspetor avalia da mesma forma em repetições?
- Diferentes inspetores avaliam da mesma forma?
- As avaliações correspondem ao padrão tecnicamente correto?
Para o atributo MSA Tipo 2, é examinada a inspeção visual dos rótulos em potes de tomate cheios. Vários funcionários avaliam se o rótulo está corretamente aplicado.
A avaliação é realizada em dois estados:
| Estado | Significado |
|---|---|
| g | O rótulo está corretamente posicionado, legível e sem danos |
| s | O rótulo está torto, danificado, ilegível, ausente ou aplicado incorretamente |
Para a análise, são selecionados 50 potes de tomate da produção em andamento. Três inspetores avaliam cada pote duas vezes. Além disso, um inspetor de qualidade experiente define uma avaliação de referência como padrão para cada pote.
Os dados são então avaliados no AlphadiTab com o atributo MSA Tipo 2.
Interpretação:
A análise mostra se a inspeção do rótulo é consistente e repetível. Um alto nível de concordância significa que os inspetores aplicam os critérios para g e s de forma comparável. Se a concordância geral for inferior a 95 %, os critérios de inspeção devem ser aprimorados, casos limítrofes definidos e os inspetores calibrados juntos.
Imagem à Esquerda
O gráfico à esquerda mostra o acordo entre os examinadores.
- Cada barra representa um examinador ou operador.
- A altura da barra mostra a proporção de partes onde o examinador deu a mesma classificação em suas repetições.
- As barras de erro mostram o intervalo de confiança de 95%.
Um alto acordo significa que o examinador pode repetir sua própria avaliação de forma confiável. Valores baixos indicam critérios de avaliação incertos, casos limítrofes difíceis ou necessidade de treinamento.
Imagem do Meio
Se uma avaliação padrão ou de especialista foi fornecida, o gráfico do meio mostra o acordo de cada examinador com o padrão.
- Cada barra representa um examinador comparado ao padrão.
- A altura da barra mostra a proporção de partes onde todas as classificações deste examinador coincidem com o padrão.
- As barras de erro mostram o intervalo de confiança deste acordo.
Este gráfico é particularmente importante quando se sabe qual avaliação é tecnicamente correta. Um examinador pode ser muito repetível internamente, mas ainda assim desviar-se sistematicamente do padrão.
Imagem à Direita
O gráfico à direita mostra o resumo geral do acordo como um semáforo.
- Com padrão: Acordo geral de todos os examinadores com o padrão.
- Sem padrão: Acordo geral entre os examinadores.
- Verde: Acordo geral de pelo menos 95%.
- Vermelho: Acordo geral abaixo de 95%.
O semáforo é uma ajuda rápida para decisão. No entanto, não substitui a análise detalhada de examinadores individuais e as estatísticas kappa.
O AlphadiTab apresenta os resultados em várias tabelas. Dependendo das configurações, o Kappa de Fleiss e o Kappa de Cohen também podem ser exibidos.
Dentro do operador – Concordância
Esta tabela avalia a repetibilidade dentro de cada inspetor. Mostra quantas peças foram inspecionadas, quantas peças as repetições coincidem e qual é a porcentagem, incluindo o intervalo de confiança de 95%.
Cada operador vs Padrão – Concordância
Esta tabela é exibida quando uma coluna padrão ou de especialista está presente. Mostra para cada inspetor com que frequência suas avaliações coincidem completamente com o padrão.
Cada operador vs Padrão – Discordância
Esta tabela mostra o tipo de desvios do padrão. Em uma classificação g/s, significa:
- s vs g: Uma peça boa é classificada como ruim.
- g vs s: Uma peça ruim é classificada como boa.
- Misturado: Um inspetor classifica a mesma peça de forma diferente em repetições.
Entre operadores – Concordância
Esta tabela mostra a proporção de peças onde todos os inspetores chegam à mesma classificação. Também é calculada quando nenhum padrão está presente.
Todos os Operadores vs Padrão – Concordância
Esta tabela resume a concordância de todos os inspetores com o padrão. Se um padrão estiver presente, ele forma a base para o semáforo.
Kappa de Fleiss e Kappa de Cohen
No AlphadiTab, além dos percentuais de concordância, as estatísticas de Kappa também podem ser exibidas. As estatísticas de Kappa levam em consideração que parte da concordância também pode ocorrer por acaso.
Valores próximos de 1 indicam uma concordância muito boa. Valores próximos de 0 significam que a concordância é dificilmente melhor do que aleatória. Valores negativos indicam uma concordância pior do que seria esperado por acaso.
O Kappa de Fleiss é usado principalmente quando há múltiplos avaliadores ou múltiplas avaliações por item. O Kappa de Cohen é usado para comparações entre duas avaliações. No AlphadiTab, o Kappa de Cohen é exibido apenas se as condições de dados necessárias forem atendidas.
OS valores de Kappa devem ser considerados além dos valores percentuais, especialmente quando as categorias estão distribuídas de forma desigual.
Preparação
- Selecione uma característica de avaliação de atributo, por exemplo, parte boa/ruim.
- Defina claramente as categorias de resposta permitidas.
- Selecione várias partes que cubram a faixa de avaliação relevante.
- Se possível, estabeleça um padrão tecnicamente correto através de decisão de especialista.
- Selecione vários inspetores que também realizam a avaliação no dia a dia.
- Determine o número de repetições por inspetor, tipicamente duas repetições.
- Mantenha as condições de avaliação, instruções de inspeção e ferramentas constantes.
- Crie a planilha para o atributo MSA tipo 2. Isso pode ser feito diretamente no AlphadiTab.
- Conduza as avaliações: A ordem das partes deve ser aleatória, se possível; repetições de um inspetor devem ser separadas temporalmente.
Uso no AlphadiTab
- Na Fase de Medição, chame a função Atributo MSA Tipo 2.
- Na coluna Operador, especifique o inspetor.
- Na coluna Parte, especifique o número da parte ou caso.
- Na coluna Medições, selecione a avaliação de atributo.
- Opcionalmente, na coluna Especialista, selecione o padrão conhecido ou avaliação de especialista.
- Defina o nível de confiança, tipicamente 0,95.
- Opcionalmente, exiba o Kappa de Fleiss e/ou o Kappa de Cohen.
- Confirme com Atualizar.
Interpretação
- Concordância total ≥ 95 %: O sistema de avaliação é geralmente aceitável.
- Concordância dentro do inspetor: Os inspetores avaliam a mesma parte de forma igual.
- Concordância inspetor vs. especialista: Os inspetores avaliam tecnicamente correto em comparação com o padrão.
- Concordância entre inspetores: Os inspetores chegam às mesmas avaliações entre si.
- Verifique adicionalmente os valores de Kappa: Especialmente importante com distribuição desequilibrada de categorias.
Inspeção Visual Molho de Tomate - Máquina A, Máquina B e Máquina C
Na produção, os produtos embalados são inspecionados após a selagem. Deve-se investigar se vários inspetores avaliam as mesmas costuras de selagem de forma consistente.
A avaliação é realizada em dois estados:
| Estado | Significado |
|---|---|
| i. O. | A costura de selagem está completamente fechada, uniforme e sem defeitos visíveis |
| n. i. O. | A costura de selagem está aberta, danificada, suja, enrugada ou incompletamente fechada |
Para o atributo MSA Tipo 2, três inspetores avaliam os mesmos pacotes duas vezes cada. Além disso, um inspetor de qualidade experiente define uma avaliação de referência como padrão para cada pacote.
Informações da Planilha
A planilha foi preparada no AlphadiTab. Os valores padrão para o número de peças, número de inspetores e repetições foram adotados e, em seguida, uma planilha foi criada com "Novo". Nesta planilha, as avaliações dos inspetores são documentadas.
Subsequentemente, a análise é realizada no AlphadiTab. As colunas para Peça, Operador, Medição e Especialista são reconhecidas automaticamente se a planilha foi previamente criada no AlphadiTab.
Interpretação:
O atributo MSA Tipo 2 mostra que a inspeção da costura de selagem não é suficientemente confiável. O acordo geral é de apenas 42% e, portanto, significativamente abaixo do limite exigido de 95%.
O sistema de avaliação não é adequado nesta forma. Os inspetores não aplicam os critérios para i. O. e n. i. O. de forma consistente o suficiente ou se desviam do padrão.
Como medidas, padrões típicos de erro devem ser definidos, amostras limite estabelecidas e os inspetores treinados ou calibrados em conjunto. Subsequentemente, o MSA deve ser repetido.
Classificação de tickets no Helpdesk
No balcão de serviço de TI, os tickets recebidos são classificados, por exemplo, como incidentes, solicitações de serviço ou pedidos de acesso. Deve-se verificar se vários funcionários do helpdesk classificam os mesmos tickets de forma consistente.
Vários funcionários do helpdesk avaliam os mesmos tickets de amostra duas vezes cada. Um coordenador de TI experiente define a classificação padrão para cada ticket.
Interpretação:
A avaliação mostra que os funcionários podem, em grande parte, repetir sua própria classificação. No entanto, a concordância com o padrão é muito baixa para um revisor.
Isso significa: O revisor avalia de forma relativamente consistente, mas não atribui alguns tickets à categoria tecnicamente correta.
Como medida, os critérios de decisão para os tipos de tickets devem ser aprimorados e casos típicos de fronteira incluídos nas instruções de trabalho.
Avaliação da Qualidade do Lead
Nas vendas, os leads recebidos são avaliados por vários representantes de vendas. Deve-se verificar se os funcionários classificam os mesmos leads de forma uniforme de acordo com a qualidade do lead.
A avaliação é realizada em três classes:
| Condição | Significado |
|---|---|
| Quente | Necessidade específica, alta probabilidade de compra, orçamento ou proximidade de decisão reconhecível |
| Morno | Interesse presente, mas necessidade, orçamento ou tempo ainda não claramente esclarecidos |
| Frio | Sem necessidade específica, baixa adequação ou atualmente sem intenção de compra reconhecível |
Para o MSA Tipo 2 atributivo, três representantes de vendas avaliam os mesmos leads duas vezes cada. Além disso, um gerente de vendas define uma avaliação de referência como padrão para cada lead.
Interpretação:
O MSA Tipo 2 atributivo mostra se a avaliação do lead é consistente e repetível.
Um alto acordo entre os representantes de vendas significa que os funcionários podem repetir consistentemente sua própria avaliação. Um alto acordo com o padrão mostra que a classificação como Quente, Morno ou Frio também é tecnicamente correta.
Em caso de baixo acordo, os critérios para as três classes de leads devem ser descritos com mais detalhes. Especialmente com leads Morno, casos limítrofes podem ocorrer, pois o interesse está presente, mas a necessidade, orçamento ou tempo ainda estão indefinidos.
Inspeção de Separação no Centro de Logística
Na logística, os pedidos dos clientes são verificados após a separação. Os inspetores avaliam se um pedido está o.k. ou n.o.k. Um pedido é n.o.k. se um item tiver danos visíveis.
Vários inspetores avaliam os mesmos pedidos preparados duas vezes cada. Um padrão é estabelecido por uma inspeção de referência preliminar.
Interpretação:
O acordo geral de todos os inspetores com o padrão está abaixo de 95%. Portanto, o semáforo está vermelho.
A tabela detalhada mostra que ocorrem desvios g vs s em particular. Isso significa que pedidos defeituosos às vezes são classificados como bons.
Este tipo de desvio é crítico porque remessas defeituosas podem chegar ao cliente. Antes de usar mais os dados de inspeção, as instruções de inspeção, a lista de verificação e o treinamento devem ser melhorados.
Inspeção de Mercadorias Recebidas de Peças de Fornecedores
Na compra ou recebimento de mercadorias, os componentes de vários fornecedores são avaliados visual e funcionalmente. Os inspetores decidem se uma peça é aceita ou bloqueada.
Para o atributo MSA Tipo 2, são selecionadas peças com padrões de defeito conhecidos e peças sem defeitos. A avaliação padrão é determinada pela garantia de qualidade e pelo departamento técnico.
Interpretação:
Os inspetores mostram boa repetibilidade, mas a concordância com o padrão é muito baixa para um inspetor.
A tabela Cada operador vs Padrão – Desacordo mostra que peças boas foram repetidamente classificadas como ruins.
Esta desvio geralmente não leva diretamente a um risco para o cliente, mas pode causar bloqueios desnecessários, reinspeções e reclamações de fornecedores.
Como medida, amostras limite e padrões de defeito devem ser discutidos e calibrados com os inspetores.
Avaliação das Desvios de Previsão
No planejamento de produção, as previsões são avaliadas retrospectivamente. Os planejadores atribuem cada caso a uma classe de semáforo:
- verde = desvio aceitável
- amarelo = crítico
- vermelho = não aceitável
Como esta avaliação é realizada por pessoas, deve-se verificar se os planejadores classificam os casos de forma consistente. Um padrão pode ser estabelecido através de limites fixos ou por um painel de especialistas.
Interpretação:
O MSA mostra que casos claramente verdes e vermelhos são amplamente avaliados de forma consistente. No entanto, desvios ocorrem com mais frequência em casos limítrofes amarelos.
A lógica do semáforo deve, portanto, ser especificada, por exemplo, através de limites claros e exemplos adicionais para casos limítrofes. Subsequentemente, o MSA deve ser repetido.
O MSA Tipo 2 atributivo é principalmente baseado em proporções de concordância e em estatísticas kappa.
OS intervalos de confiança exibidos no AlphadiTab mostram a incerteza das proporções de concordância estimadas. Para amostras pequenas ou distribuição desequilibrada de categorias, os intervalos tornam-se mais amplos.