L'analisi del sistema di misurazione degli attributi di Tipo 2 viene utilizzata per valutare l'idoneità di un sistema di valutazione quando i risultati sono registrati come categorie anziché come misurazioni continue.
Esempi tipici sono valutazioni come buono/cattivo, i. O./n. i. O., passato/non passato, o Caldo/Tiepido/Freddo.
L'attenzione è sulla ripetibilità e riproducibilità delle valutazioni. Ripetibilità significa che lo stesso ispettore classifica la stessa parte nello stesso modo in una valutazione ripetuta. Riproducibilità significa che ispettori diversi valutano la stessa parte nello stesso modo.
Se è disponibile una valutazione standard o di esperti, viene inoltre verificato se le valutazioni degli ispettori corrispondono a questo riferimento.
Quindi, l'attributo MSA di Tipo 2 risponde a tre domande centrali:
- Un ispettore valuta allo stesso modo in caso di ripetizione?
- I diversi ispettori valutano allo stesso modo?
- Le valutazioni corrispondono allo standard tecnicamente corretto?
Per l'attributo MSA Tipo 2, viene esaminata l'ispezione visiva delle etichette sui barattoli di pomodoro riempiti. Diversi dipendenti valutano se l'etichetta è applicata correttamente.
La valutazione viene effettuata in due stati:
| Stato | Significato |
|---|---|
| g | L'etichetta è correttamente posizionata, leggibile e non danneggiata |
| s | L'etichetta è storta, danneggiata, illeggibile, mancante o applicata in modo errato |
Per l'analisi, vengono selezionati 50 barattoli di pomodoro dalla produzione in corso. Tre ispettori valutano ciascun barattolo due volte. Inoltre, un ispettore di qualità esperto stabilisce una valutazione di riferimento come standard per ciascun barattolo.
I dati vengono quindi valutati in AlphadiTab con l'attributo MSA Tipo 2.
Interpretazione:
L'analisi mostra se l'ispezione delle etichette è coerente e ripetibile. Un alto accordo significa che gli ispettori applicano i criteri per g e s in modo comparabile. Se l'accordo complessivo è inferiore al 95 %, i criteri di ispezione dovrebbero essere affinati, i casi limite definiti e gli ispettori calibrati insieme.
Immagine Sinistra
Il grafico a sinistra mostra l'accordo tra gli esaminatori.
- Ogni barra rappresenta un esaminatore o operatore.
- L'altezza della barra mostra la proporzione di parti in cui l'esaminatore ha dato la stessa valutazione nelle sue ripetizioni.
- I barre di errore mostrano l'intervallo di confidenza al 95%.
Un alto accordo significa che l'esaminatore può ripetere in modo affidabile la propria valutazione. Valori bassi indicano criteri di valutazione incerti, casi limite difficili o necessità di formazione.
Immagine Centrale
Se è stata fornita una valutazione standard o esperta, il grafico centrale mostra l'accordo di ciascun esaminatore con lo standard.
- Ogni barra rappresenta un esaminatore confrontato con lo standard.
- L'altezza della barra mostra la proporzione di parti in cui tutte le valutazioni di questo esaminatore corrispondono allo standard.
- I barre di errore mostrano l'intervallo di confidenza di questo accordo.
Questo grafico è particolarmente importante quando si sa quale valutazione è tecnicamente corretta. Un esaminatore può essere molto ripetibile internamente ma comunque deviare sistematicamente dallo standard.
Immagine Destra
Il grafico a destra mostra il riepilogo complessivo dell'accordo come un semaforo.
- Con standard: Accordo complessivo di tutti gli esaminatori con lo standard.
- Senza standard: Accordo complessivo tra gli esaminatori.
- Verde: Accordo complessivo almeno del 95%.
- Rosso: Accordo complessivo inferiore al 95%.
Il semaforo è un aiuto rapido per le decisioni. Tuttavia, non sostituisce l'analisi dettagliata dei singoli esaminatori e delle statistiche kappa.
AlphadiTab presenta i risultati in diverse tabelle. A seconda delle impostazioni, possono essere visualizzati anche il Kappa di Fleiss e il Kappa di Cohen.
All'interno dell'operatore – Accordo
Questa tabella valuta la ripetibilità all'interno di ciascun ispettore. Mostra quante parti sono state ispezionate, quante parti le ripetizioni corrispondono e qual è la percentuale inclusa l'intervallo di confidenza al 95%.
Ciascun operatore vs Standard – Accordo
Questa tabella viene visualizzata quando è presente una colonna standard o esperto. Mostra per ciascun ispettore quanto spesso le loro valutazioni corrispondono completamente allo standard.
Ciascun operatore vs Standard – Disaccordo
Questa tabella mostra il tipo di deviazioni dallo standard. In una valutazione g/s, significa:
- s vs g: Una parte buona è valutata come cattiva.
- g vs s: Una parte cattiva è valutata come buona.
- Misto: Un ispettore valuta la stessa parte in modo diverso nelle ripetizioni.
Tra operatori – Accordo
Questa tabella mostra la proporzione di parti in cui tutti gli ispettori giungono alla stessa valutazione. Viene calcolata anche quando non è presente uno standard.
Tutti gli operatori vs Standard – Accordo
Questa tabella riassume l'accordo di tutti gli ispettori con lo standard. Se è presente uno standard, costituisce la base per il semaforo.
Kappa di Fleiss e Kappa di Cohen
In AlphadiTab, oltre alle percentuali di accordo, possono essere visualizzate anche le statistiche di Kappa. Le statistiche di Kappa tengono conto del fatto che parte dell'accordo può verificarsi anche per caso.
I valori vicini a 1 indicano un accordo molto buono. I valori vicini a 0 significano che l'accordo è appena migliore del caso. I valori negativi indicano un accordo peggiore di quanto ci si aspetterebbe per caso.
Kappa di Fleiss è principalmente utilizzato quando ci sono più valutatori o più valutazioni per elemento. Kappa di Cohen è utilizzato per confronti tra due valutazioni. In AlphadiTab, Kappa di Cohen viene fornito solo se sono soddisfatte le condizioni necessarie sui dati.
I valori di Kappa dovrebbero essere considerati in aggiunta ai valori percentuali, specialmente quando le categorie sono distribuite in modo non uniforme.
Preparazione
- Selezionare una caratteristica di valutazione dell'attributo, ad esempio, parte buona/cattiva.
- Definire chiaramente le categorie di risposta consentite.
- Selezionare più parti che coprono l'intervallo di valutazione rilevante.
- Se possibile, stabilire uno standard tecnicamente corretto tramite decisione di esperti.
- Selezionare più ispettori che eseguono anche la valutazione nella vita quotidiana.
- Determinare il numero di ripetizioni per ispettore, tipicamente due ripetizioni.
- Mantenere costanti le condizioni di valutazione, le istruzioni di ispezione e gli strumenti.
- Creare il foglio di lavoro per l'attributo di tipo MSA 2. Questo può essere fatto direttamente in AlphadiTab.
- Condurre le valutazioni: l'ordine delle parti dovrebbe essere casuale se possibile; le ripetizioni di un ispettore dovrebbero essere temporalmente separate.
Uso in AlphadiTab
- Nella Fase di Misura, chiamare la funzione Attributo di Tipo MSA 2.
- Nella colonna Operatore, specificare l'ispettore.
- Nella colonna Parte, specificare il numero della parte o del caso.
- Nella colonna Misure, selezionare la valutazione dell'attributo.
- Facoltativamente, nella colonna Esperto, selezionare lo standard noto o la valutazione dell'esperto.
- Impostare il livello di confidenza, tipicamente 0.95.
- Facoltativamente, visualizzare il Kappa di Fleiss e/o il Kappa di Cohen.
- Confermare con Aggiorna.
Interpretazione
- Accordo totale ≥ 95 %: Il sistema di valutazione è generalmente accettabile.
- Accordo all'interno dell'ispettore: Gli ispettori valutano la stessa parte in modo uguale.
- Accordo ispettore vs. esperto: Gli ispettori valutano tecnicamente correttamente rispetto allo standard.
- Accordo tra ispettori: Gli ispettori giungono alle stesse valutazioni tra di loro.
- Controllare inoltre i valori di Kappa: Particolarmente importante con distribuzione sbilanciata delle categorie.
Ispezione visiva salsa di pomodoro - Macchina A, Macchina B e Macchina C
In produzione, i prodotti confezionati vengono ispezionati dopo la sigillatura. Dovrebbe essere verificato se più ispettori valutano in modo coerente le stesse cuciture di sigillatura.
La valutazione viene effettuata in due stati:
| Stato | Significato |
|---|---|
| i. O. | La cucitura di sigillatura è completamente chiusa, uniforme e senza difetti visibili |
| n. i. O. | La cucitura di sigillatura è aperta, danneggiata, sporca, piegata o chiusa in modo incompleto |
Per l'attributo MSA Tipo 2, tre ispettori valutano gli stessi pacchetti due volte ciascuno. Inoltre, un ispettore di qualità esperto stabilisce una valutazione di riferimento come standard per ciascun pacchetto.
Informazioni sul foglio di lavoro
Il foglio di lavoro è stato preparato in AlphadiTab. I valori standard per il numero di parti, numero di ispettori e ripetizioni sono stati adottati e poi è stato creato un foglio di lavoro con "Nuovo". In questo foglio di lavoro, le valutazioni degli ispettori sono documentate.
Successivamente, l'analisi viene effettuata in AlphadiTab. Le colonne per Parte, Operatore, Misurazione e Esperto sono riconosciute automaticamente se il foglio di lavoro è stato precedentemente creato in AlphadiTab.
Interpretazione:
L'attributo MSA Tipo 2 mostra che l'ispezione della cucitura di sigillatura non è sufficientemente affidabile. L'accordo complessivo è solo del 42% e quindi significativamente al di sotto della soglia richiesta del 95%.
Il sistema di valutazione non è adatto in questa forma. Gli ispettori non applicano i criteri per i. O. e n. i. O. in modo sufficientemente coerente o si discostano dallo standard.
Come misure, dovrebbero essere definiti modelli di errore tipici, stabiliti campioni limite e gli ispettori dovrebbero essere formati o calibrati congiuntamente. Successivamente, l'MSA dovrebbe essere ripetuto.
Classificazione dei ticket nell'Helpdesk
Nel service desk IT, i ticket in arrivo sono classificati, ad esempio, come incidenti, richieste di servizio o richieste di accesso. Si dovrebbe verificare se più dipendenti dell'helpdesk classificano gli stessi ticket in modo coerente.
Diversi dipendenti dell'helpdesk valutano due volte ciascuno gli stessi ticket di esempio. Un coordinatore IT esperto stabilisce la classificazione standard per ciascun ticket.
Interpretazione:
La valutazione mostra che i dipendenti possono ripetere in gran parte la propria classificazione. Tuttavia, l'accordo con lo standard è troppo basso per un revisore.
Ciò significa: il revisore valuta in modo relativamente coerente ma non assegna alcuni ticket alla categoria tecnicamente corretta.
Come misura, i criteri decisionali per i tipi di ticket dovrebbero essere affinati e i casi limite tipici inclusi nelle istruzioni di lavoro.
Valutazione della Qualità dei Lead
Nelle vendite, i lead in arrivo sono valutati da diversi rappresentanti di vendita. Si dovrebbe verificare se i dipendenti classificano gli stessi lead in modo uniforme secondo la loro qualità.
La valutazione viene effettuata in tre classi:
| Condizione | Significato |
|---|---|
| Caldo | Bisogno specifico, alta probabilità di acquisto, budget o vicinanza alla decisione riconoscibile |
| Tiepido | Interesse presente, ma bisogno, budget o tempistica non ancora chiaramente definiti |
| Freddo | Nessun bisogno specifico, bassa compatibilità o attualmente nessuna intenzione di acquisto riconoscibile |
Per il MSA Tipo 2 attributivo, tre rappresentanti di vendita valutano ciascuno gli stessi lead due volte. Inoltre, un responsabile delle vendite stabilisce una valutazione di riferimento come standard per ogni lead.
Interpretazione:
Il MSA Tipo 2 attributivo mostra se la valutazione dei lead è coerente e ripetibile.
Un alto accordo tra i rappresentanti di vendita significa che i dipendenti possono ripetere costantemente la propria valutazione. Un alto accordo con lo standard mostra che la classificazione come Caldo, Tiepido o Freddo è anche tecnicamente corretta.
In caso di basso accordo, i criteri per le tre classi di lead dovrebbero essere descritti in modo più dettagliato. Soprattutto con i lead Tiepidi, possono verificarsi casi limite, poiché l'interesse è presente, ma bisogno, budget o tempistica sono ancora poco chiari.
Ispezione del Picking nel Centro Logistico
Nella logistica, gli ordini dei clienti vengono controllati dopo il picking. Gli ispettori valutano se un ordine è o.k. o n.o.k. Un ordine è n.o.k. se un articolo presenta danni visibili.
Diversi ispettori valutano gli stessi ordini preparati due volte ciascuno. Uno standard è stabilito da un'ispezione di riferimento preliminare.
Interpretazione:
L'accordo complessivo di tutti gli ispettori con lo standard è inferiore al 95%. Pertanto, il semaforo è rosso.
La tabella dettagliata mostra che si verificano in particolare deviazioni g vs s. Ciò significa che gli ordini difettosi sono talvolta valutati come buoni.
Questo tipo di deviazione è critico perché le spedizioni difettose possono raggiungere il cliente. Prima di un ulteriore utilizzo dei dati di ispezione, le istruzioni di ispezione, la checklist e la formazione dovrebbero essere migliorate.
Controllo in entrata dei beni dei fornitori
Nell'acquisto o nella ricezione dei beni, i componenti di diversi fornitori sono valutati visivamente e funzionalmente. Gli ispettori decidono se un pezzo viene accettato o bloccato.
Per l'attributo MSA Tipo 2, vengono selezionati pezzi con modelli di difetti noti e pezzi privi di difetti. La valutazione standard è determinata dall'assicurazione qualità e dal reparto tecnico.
Interpretazione:
Gli ispettori mostrano una buona ripetibilità, ma l'accordo con lo standard è troppo basso per un ispettore.
La tabella Ogni operatore vs Standard – Disaccordo mostra che i pezzi buoni sono stati ripetutamente valutati come difettosi.
Questa deviazione di solito non porta direttamente a un rischio per il cliente, ma può causare blocchi inutili, nuove ispezioni e reclami dei fornitori.
Come misura, i campioni limite e i modelli di difetti dovrebbero essere discussi e calibrati con gli ispettori.
Valutazione delle deviazioni delle previsioni
Nella pianificazione della produzione, le previsioni vengono valutate retrospettivamente. I pianificatori assegnano ogni caso a una classe di semaforo:
- verde = deviazione accettabile
- giallo = critico
- rosso = non accettabile
Dato che questa valutazione è effettuata da persone, dovrebbe essere verificato se i pianificatori classificano i casi in modo coerente. Uno standard può essere stabilito attraverso soglie fisse o da un panel di esperti.
Interpretazione:
L'MSA mostra che i casi chiaramente verdi e rossi sono in gran parte valutati in modo coerente. Tuttavia, le deviazioni si verificano più frequentemente nei casi limite gialli.
La logica del semaforo dovrebbe quindi essere specificata, ad esempio, attraverso soglie chiare e ulteriori esempi per i casi limite. Successivamente, l'MSA dovrebbe essere ripetuto.
L'attributivo MSA di Tipo 2 si basa principalmente su proporzioni di accordo e su statistiche kappa.
I limiti di confidenza prodotti in AlphadiTab mostrano l'incertezza delle proporzioni di accordo stimate. Per campioni piccoli o distribuzione sbilanciata delle categorie, gli intervalli diventano più ampi.