Analiza systemu pomiarowego atrybutów typu 2 jest używana do oceny przydatności systemu oceny, gdy wyniki są rejestrowane jako kategorie, a nie jako pomiary ciągłe.
Typowe przykłady to oceny takie jak dobry/zły, i. O./n. i. O., zdany/niezdany lub Gorący/Ciepły/Zimny.
Skupienie jest na powtarzalności i odtwarzalności ocen. Powtarzalność oznacza, że ten sam inspektor klasyfikuje tę samą część w ten sam sposób przy powtórnej ocenie. Odtwarzalność oznacza, że różni inspektorzy oceniają tę samą część w ten sam sposób.
Jeśli dostępna jest ocena standardowa lub ekspercka, dodatkowo sprawdza się, czy oceny inspektorów odpowiadają temu odniesieniu.
W ten sposób atrybut MSA typu 2 odpowiada na trzy kluczowe pytania:
- Czy inspektor ocenia to samo przy powtórzeniu?
- Czy różni inspektorzy oceniają to samo?
- Czy oceny odpowiadają technicznie poprawnemu standardowi?
Dla atrybutu MSA Typ 2 badana jest wizualna inspekcja etykiet na napełnionych słoikach z pomidorami. Kilku pracowników ocenia, czy etykieta jest prawidłowo nałożona.
Ocena jest przeprowadzana w dwóch stanach:
| Stan | Znaczenie |
|---|---|
| g | Etykieta jest prawidłowo umieszczona, czytelna i nieuszkodzona |
| s | Etykieta jest krzywa, uszkodzona, nieczytelna, brakująca lub nieprawidłowo nałożona |
Do analizy wybiera się 50 słoików z pomidorami z bieżącej produkcji. Trzech inspektorów ocenia każdy słoik dwukrotnie. Dodatkowo, doświadczony inspektor jakości ustala ocenę referencyjną jako standard dla każdego słoika.
Dane są następnie oceniane w AlphadiTab z atrybutem MSA Typ 2.
Interpretacja:
Analiza pokazuje, czy inspekcja etykiet jest spójna i powtarzalna. Wysoka zgodność oznacza, że inspektorzy stosują kryteria dla g i s w porównywalny sposób. Jeśli ogólna zgodność jest poniżej 95 %, kryteria inspekcji powinny zostać zaostrzone, przypadki graniczne zdefiniowane, a inspektorzy wspólnie skalibrowani.
Lewy obraz
Lewy wykres pokazuje zgodność wśród egzaminatorów.
- Każdy słupek reprezentuje egzaminatora lub operatora.
- Wysokość słupka pokazuje proporcję części, w których egzaminator dał tę samą ocenę w swoich powtórzeniach.
- Linie błędu pokazują 95% przedział ufności.
Wysoka zgodność oznacza, że egzaminator może niezawodnie powtórzyć swoją własną ocenę. Niskie wartości wskazują na niepewne kryteria oceny, trudne przypadki graniczne lub potrzebę szkolenia.
Środkowy obraz
Jeśli dostarczono standardową lub ekspercką ocenę, środkowy wykres pokazuje zgodność każdego egzaminatora ze standardem.
- Każdy słupek reprezentuje egzaminatora w porównaniu do standardu.
- Wysokość słupka pokazuje proporcję części, w których wszystkie oceny tego egzaminatora odpowiadają standardowi.
- Linie błędu pokazują przedział ufności tej zgodności.
Ten wykres jest szczególnie ważny, gdy wiadomo, która ocena jest technicznie poprawna. Egzaminator może być bardzo powtarzalny wewnętrznie, ale nadal systematycznie odbiegać od standardu.
Prawy obraz
Prawy wykres pokazuje ogólne podsumowanie zgodności jako sygnalizację świetlną.
- Ze standardem: Ogólna zgodność wszystkich egzaminatorów ze standardem.
- Bez standardu: Ogólna zgodność między egzaminatorami.
- Zielony: Ogólna zgodność co najmniej 95%.
- Czerwony: Ogólna zgodność poniżej 95%.
Sygnalizacja świetlna jest szybką pomocą w podejmowaniu decyzji. Jednak nie zastępuje szczegółowej analizy poszczególnych egzaminatorów i statystyk kappa.
AlphadiTab przedstawia wyniki w kilku tabelach. W zależności od ustawień, może być również wyświetlana Kappa Fleissa i Kappa Cohena.
We wnętrzu operatora – Zgodność
Ta tabela ocenia powtarzalność w obrębie każdego inspektora. Pokazuje, ile części zostało sprawdzonych, ile części powtórzenia się zgadzają i jaki jest procent, w tym 95% przedział ufności.
Każdy operator vs Standard – Zgodność
Ta tabela jest wyświetlana, gdy obecna jest kolumna standardowa lub ekspercka. Pokazuje, jak często oceny każdego inspektora całkowicie zgadzają się ze standardem.
Każdy operator vs Standard – Niezgodność
Ta tabela pokazuje rodzaj odchyleń od standardu. W ocenie g/s oznacza to:
- s vs g: Dobra część jest oceniana jako zła.
- g vs s: Zła część jest oceniana jako dobra.
- Mieszane: Inspektor ocenia tę samą część różnie w powtórzeniach.
Między operatorami – Zgodność
Ta tabela pokazuje proporcję części, w których wszyscy inspektorzy dochodzą do tej samej oceny. Jest również obliczana, gdy nie ma standardu.
Wszyscy operatorzy vs Standard – Zgodność
Ta tabela podsumowuje zgodność wszystkich inspektorów ze standardem. Jeśli standard jest obecny, stanowi podstawę dla sygnalizacji świetlnej.
Kappa Fleissa i Kappa Cohena
W AlphadiTab, oprócz procentowych zgodności, można również wyświetlić statystyki Kappa. Statystyki Kappa uwzględniają fakt, że część zgodności może wystąpić przypadkowo.
Wartości bliskie 1 wskazują na bardzo dobrą zgodność. Wartości bliskie 0 oznaczają, że zgodność jest ledwie lepsza niż przypadkowa. Wartości ujemne wskazują na gorszą zgodność niż można by się spodziewać przypadkowo.
Kappa Fleissa jest głównie używana, gdy jest wielu oceniających lub wiele ocen na przedmiot. Kappa Cohena jest używana do porównań między dwoma ocenami. W AlphadiTab Kappa Cohena jest wyświetlana tylko wtedy, gdy spełnione są niezbędne warunki danych.
Wartości Kappa powinny być brane pod uwagę oprócz wartości procentowych, zwłaszcza gdy kategorie są nierównomiernie rozłożone.
Przygotowanie
- Wybierz cechę oceny atrybutu, na przykład, część dobra/zła.
- Wyraźnie zdefiniuj dozwolone kategorie odpowiedzi.
- Wybierz wiele części, które obejmują odpowiedni zakres oceny.
- Jeśli to możliwe, ustal technicznie poprawny standard poprzez decyzję eksperta.
- Wybierz wielu inspektorów, którzy również dokonują oceny w codziennym życiu.
- Określ liczbę powtórzeń na inspektora, zazwyczaj dwa powtórzenia.
- Utrzymuj stałe warunki oceny, instrukcje inspekcji i narzędzia.
- Utwórz arkusz roboczy dla atrybutu typu MSA 2. Można to zrobić bezpośrednio w AlphadiTab.
- Przeprowadź oceny: Kolejność części powinna być losowa, jeśli to możliwe; powtórzenia inspektora powinny być czasowo oddzielone.
Użycie w AlphadiTab
- W fazie Measure, wywołaj funkcję MSA Type 2 Attribute.
- W kolumnie Operator, określ inspektora.
- W kolumnie Część, określ numer części lub przypadku.
- W kolumnie Pomiary, wybierz ocenę atrybutu.
- Opcjonalnie, w kolumnie Ekspert, wybierz znany standard lub ocenę eksperta.
- Ustaw poziom ufności, zazwyczaj 0,95.
- Opcjonalnie, wyświetl Kappa Fleissa i/lub Kappa Cohena.
- Potwierdź za pomocą Aktualizuj.
Interpretacja
- Całkowita zgodność ≥ 95 %: System oceny jest ogólnie akceptowalny.
- Zgodność w obrębie inspektora: Inspektorzy oceniają tę samą część jednakowo.
- Zgodność inspektor vs. ekspert: Inspektorzy oceniają technicznie poprawnie w porównaniu do standardu.
- Zgodność między inspektorami: Inspektorzy dochodzą do tych samych ocen między sobą.
- Dodatkowo sprawdź wartości Kappa: Szczególnie ważne przy niezrównoważonym rozkładzie kategorii.
Inspekcja wizualna sosu pomidorowego - Maszyna A, Maszyna B i Maszyna C
W produkcji, zapakowane produkty są sprawdzane po zamknięciu. Należy zbadać, czy wielu inspektorów ocenia te same szwy zamknięcia w sposób spójny.
Ocena jest przeprowadzana w dwóch stanach:
| Stan | Znaczenie |
|---|---|
| i. O. | Szew zamknięcia jest całkowicie zamknięty, jednolity i bez widocznych wad |
| n. i. O. | Szew zamknięcia jest otwarty, uszkodzony, brudny, pomarszczony lub niekompletnie zamknięty |
Dla atrybutu MSA Typ 2, trzech inspektorów ocenia te same opakowania dwukrotnie. Dodatkowo, doświadczony inspektor jakości ustala ocenę referencyjną jako standard dla każdego opakowania.
Informacje o arkuszu roboczym
Arkusz roboczy został przygotowany w AlphadiTab. Przyjęto standardowe wartości dla liczby części, liczby inspektorów i powtórzeń, a następnie stworzono arkusz roboczy z "Nowy". W tym arkuszu dokumentowane są oceny inspektorów.
Następnie analiza jest przeprowadzana w AlphadiTab. Kolumny dla Część, Operator, Pomiar i Ekspert są automatycznie rozpoznawane, jeśli arkusz roboczy został wcześniej stworzony w AlphadiTab.
Interpretacja:
Atrybut MSA Typ 2 pokazuje, że inspekcja szwów zamknięcia nie jest wystarczająco wiarygodna. Ogólna zgodność wynosi tylko 42% i jest znacznie poniżej wymaganego progu 95%.
System oceny nie jest odpowiedni w tej formie. Inspektorzy nie stosują kryteriów dla i. O. i n. i. O. wystarczająco konsekwentnie lub odbiegają od standardu.
Jako środki, należy zdefiniować typowe wzorce błędów, ustanowić próbki graniczne i wspólnie przeszkolić lub skalibrować inspektorów. Następnie należy powtórzyć MSA.
Klasyfikacja zgłoszeń w Helpdesk
W serwisie IT, przychodzące zgłoszenia są klasyfikowane, na przykład, jako incydenty, prośby o usługę lub prośby o dostęp. Należy sprawdzić, czy wielu pracowników helpdesku klasyfikuje te same zgłoszenia w sposób spójny.
Kilka pracowników helpdesku ocenia te same przykładowe zgłoszenia dwukrotnie. Doświadczony koordynator IT ustala standardową klasyfikację dla każdego zgłoszenia.
Interpretacja:
Ocena pokazuje, że pracownicy mogą w dużej mierze powtarzać swoją własną klasyfikację. Jednak zgodność ze standardem jest zbyt niska dla jednego recenzenta.
To oznacza: Recenzent ocenia stosunkowo spójnie, ale nie przypisuje niektórych zgłoszeń do technicznie poprawnej kategorii.
Jako środek, kryteria decyzyjne dla typów zgłoszeń powinny zostać zaostrzone, a typowe przypadki graniczne uwzględnione w instrukcjach pracy.
Ocena jakości leadów
W sprzedaży, przychodzące leady są oceniane przez kilku przedstawicieli handlowych. Należy sprawdzić, czy pracownicy klasyfikują te same leady jednolicie według ich jakości.
Ocena jest przeprowadzana w trzech klasach:
| Warunek | Znaczenie |
|---|---|
| Gorący | Specyficzna potrzeba, wysoka prawdopodobieństwo zakupu, rozpoznawalna bliskość budżetu lub decyzji |
| Ciepły | Zainteresowanie obecne, ale potrzeba, budżet lub czas nie są jeszcze jasno określone |
| Zimny | Brak specyficznej potrzeby, niska zgodność lub obecnie brak rozpoznawalnej intencji zakupu |
Dla MSA Typ 2 atrybutywnego, trzech przedstawicieli handlowych ocenia te same leady dwukrotnie. Dodatkowo, kierownik sprzedaży ustala ocenę referencyjną jako standard dla każdego leada.
Interpretacja:
MSA Typ 2 atrybutywny pokazuje, czy ocena leadów jest spójna i powtarzalna.
Wysoka zgodność wśród przedstawicieli handlowych oznacza, że pracownicy mogą konsekwentnie powtarzać swoją własną ocenę. Wysoka zgodność ze standardem pokazuje, że klasyfikacja jako Gorący, Ciepły lub Zimny jest również technicznie poprawna.
W przypadku niskiej zgodności, kryteria dla trzech klas leadów powinny być opisane bardziej szczegółowo. Zwłaszcza w przypadku leadów Ciepłych mogą wystąpić przypadki graniczne, ponieważ zainteresowanie jest obecne, ale potrzeba, budżet lub czas są nadal niejasne.
Kontrola kompletacji w centrum logistycznym
W logistyce zamówienia klientów są sprawdzane po kompletacji. Inspektorzy oceniają, czy zamówienie jest o.k. czy n.o.k. Zamówienie jest n.o.k., jeśli przedmiot ma widoczne uszkodzenia.
Kilka inspektorów ocenia te same przygotowane zamówienia dwukrotnie. Standard jest ustalany przez wstępną inspekcję referencyjną.
Interpretacja:
Ogólna zgodność wszystkich inspektorów ze standardem jest poniżej 95%. Dlatego sygnalizacja świetlna jest czerwona.
Szczegółowa tabela pokazuje, że występują odchylenia g vs s. Oznacza to, że wadliwe zamówienia są czasami oceniane jako dobre.
Ten rodzaj odchylenia jest krytyczny, ponieważ wadliwe przesyłki mogą dotrzeć do klienta. Przed dalszym wykorzystaniem danych z inspekcji należy poprawić instrukcje inspekcji, listę kontrolną i szkolenie.
Kontrola przychodzących towarów od dostawców
W zakupach lub przychodzących towarach, komponenty od kilku dostawców są oceniane wizualnie i funkcjonalnie. Inspektorzy decydują, czy część jest akceptowana, czy blokowana.
Dla atrybutu MSA Typ 2 wybierane są części z znanymi wzorcami wad oraz części bez wad. Standardowa ocena jest określana przez zapewnienie jakości i dział techniczny.
Interpretacja:
Inspektorzy wykazują dobrą powtarzalność, ale zgodność ze standardem jest zbyt niska dla jednego inspektora.
Tabela Każdy operator vs Standard – Niezgodność pokazuje, że dobre części były wielokrotnie oceniane jako złe.
Ta odchylenie zazwyczaj nie prowadzi bezpośrednio do ryzyka dla klienta, ale może powodować niepotrzebne blokady, ponowne inspekcje i skargi dostawców.
Jako środek, próbki graniczne i wzorce wad powinny być omówione i skalibrowane z inspektorami.
Ocena odchyleń prognoz
W planowaniu produkcji prognozy są oceniane retrospektywnie. Planiści przypisują każdy przypadek do klasy sygnalizacji świetlnej:
- zielony = akceptowalne odchylenie
- żółty = krytyczny
- czerwony = nieakceptowalny
Ponieważ ocena ta jest przeprowadzana przez ludzi, należy sprawdzić, czy planiści klasyfikują przypadki konsekwentnie. Standard można ustalić poprzez ustalone progi lub panel ekspertów.
Interpretacja:
MSA pokazuje, że wyraźne przypadki zielone i czerwone są w dużej mierze oceniane konsekwentnie. Jednak odchylenia występują częściej w żółtych przypadkach granicznych.
Logika sygnalizacji świetlnej powinna być zatem określona, na przykład poprzez jasne progi i dodatkowe przykłady dla przypadków granicznych. Następnie MSA powinno zostać powtórzone.
Typ atrybutywny MSA 2 opiera się głównie na proporcjach zgodności i statystykach kappa.
Przedziały ufności wyjściowe w AlphadiTab pokazują niepewność oszacowanych proporcji zgodności. Dla małych próbek lub niezrównoważonego rozkładu kategorii przedziały stają się szersze.