Opublikowane przez
Analiza systemu pomiarowego dla cech ciągłych jest tematem dosyć dobrze zidentyfikowanym i utrwalonym w systemach zarządzania jakością. W przypadku systemów atrybutywnych, do których należą przede wszystkim sprawdziany oraz kontrole wzrokowe, odpowiednie narzędzia nie wszędzie są właściwie rozpoznane, a co za tym idzie, ocena tych systemów pomiarowych nie zawsze jest właściwa.
Sytuacji nie ułatwia sam podręcznik MSA, który prezentuje w sumie trzy metody oceny atrybutywnych systemów pomiarowych (ASP), nie wyjaśniając jednocześnie, w jakich sytuacjach mogą i powinny być one stosowane. Na dokładkę podręcznik MSA wspomina również o krzywej funkcjonalności urządzenia pomiarowego GPC (Gage Perormance Curve), nie lokalizując jej w kontekście wspomnianych trzech metod. W rezultacie osoba, na której ciąży podjęcie decyzji o zastosowaniu odpowiedniej metody stoi przed trudnym zadaniem.
Metody oceny ASP, o których mowa, to:
- Metoda detekcji sygnału
- Metoda testu hipotez (kappa)
- Metoda analityczna
Każda z nich ma swoje wady oraz zalety, każda dostarcza też nieco innych informacji. Jednak z punktu widzenia oceny systemów organoleptycznych (w których badanie jest przeprowadzane za pomocą zmysłów, a więc opartych na kontroli wzrokowej, słuchowej, zapachowej lub dotykowej), do dyspozycji pozostaje nam jedynie metoda testu hipotez (kappa). Wynika to z prostego faktu – pozostałe dwie wymagają poznania wartości odniesienia (REF) metodą pomiaru. Innymi słowy, „prawdziwa” wartość charakterystyki badanej sprawdzianem musi być wyznaczona drogą pomiarową. Przykładowo, metodę detekcji sygnału i analityczną można stosować do sprawdzianów pierścieniowych i trzpieniowych, ponieważ badaną charakterystykę można również zmierzyć suwmiarką lub mikrometrem. Jeżeli jednak ocenianą charakterystyką są cechy wizualne, wówczas wyznaczenie wartości pomiarowej jest często trudne lub niemożliwe. W takiej sytuacji zamiast zmierzonej wartości odniesienia (REF) można posłużyć się decyzją eksperta. Metoda kappa jest w tej sytuacji jedyną metodą zgodną z podręcznikiem MSA, którą można zastosować.
Przygotowanie do badania metodą kappa
Podobnie jak w przypadku większości tego typu analiz, najbardziej czasochłonne jest przygotowanie próbek oraz przeprowadzenie samego badania. W przypadku metody kappa może to być szczególnie uciążliwe, ponieważ do badania należy przygotować od 30 do 50 próbek (sztuk wyrobów). Dodatkową trudność może powodować to, że około 20% sztuk przygotowanych do badania powinno być poza specyfikacją. Na przykład w przypadku kontroli cech wizualnych oznacza to, że około 20% sztuk powinno być odrzucanych podczas kontroli wzrokowej.
Poszczególne sztuki należy ponumerować, o ile to jednak możliwe w sposób niewidoczny dla oceniających, aby uniknąć tzw. efektu interakcji operator-część. Efekt ten polega na tym, że operator znając swoją poprzednią decyzję odnośnie danej części będzie dążył do jej powtórzenia w następnym badań. Z tych samych względów wadliwe części powinny być losowo rozproszone pośród części dobrych.
Z powyższych zaleceń wynika również inna istotna uwaga – badane sztuki raczej nie powinny być dobierane w sposób losowy, lecz pod kątem spełnienia tego wymagania (20% wadliwych). Co więcej wybierając poszczególne sztuki odnośnie każdej należy zarejestrować decyzję eksperta. Ekspertem może być osoba o najwyższych kwalifikacjach w ocenie danej charakterystyki. Dodatkowo decyzje eksperta mogą być podejmowane w warunkach lepszych niż zwykłe (produkcyjne) warunki oceny, ponieważ zależy nam, aby decyzje eksperta były jak najbardziej „prawdziwe”, czyli zgodne z oczekiwaniami odnośnie akceptacji lub odrzucania sztuki.
W wyniku przedstawionych powyżej działań powstanie lista kilkudziesięciu części, a przy każdej będzie zarejestrowana decyzja eksperta.
Przebieg badania
W badaniu powinno uczestniczyć trzech operatorów. Każdy z nich powinien ocenić wszystkie części trzy razy w trzech seriach. Zakładając, że operatorzy mają oznaczenia A, B i C, badanie powinno przebiegać następująco:
1) Operator A ocenia wszystkie sztuki po raz pierwszy
2) Operator B ocenia wszystkie sztuki po raz pierwszy
3) Operator C ocenia wszystkie sztuki po raz pierwszy
4) Operator A ocenia wszystkie sztuki po raz drugi
5) Operator B ocenia wszystkie sztuki po raz drugi
6) Operator C ocenia wszystkie sztuki po raz drugi
7) Operator A ocenia wszystkie sztuki po raz trzeci
8) Operator B ocenia wszystkie sztuki po raz trzeci
9) Operator C ocenia wszystkie sztuki po raz trzeci
Daje to więc w sumie 9 serii pomiarowych po 30-50 pomiarów każda. Jak łatwo policzyć, w maksymalnym wariancie zostanie przeprowadzonych w sumie 450 ocen. Podczas oceny operatorzy podejmują decyzję o przyjęciu (wartość 1 lub OK) lub odrzuceniu (wartość 0 lub NOK) danej części.
W trakcie badania należy zwrócić uwagę, aby operatorzy nie znali swoich poprzednich decyzji, jak również decyzji eksperta. W przeciwnym razie wynik badania będzie mocno zaburzony. W praktyce zaleca się więc, aby operator dokonujący oceny nie wiedział, którą część sprawdza, oraz aby zapisy były prowadzone przez niezależną osobę, nie uczestniczącą w badaniu (tylko zapisujący wyniki wie, która sztuka była oceniana i jakie były poprzednie decyzje).
Jak w przypadku innych metod oceny systemów pomiarowych, badanie powinno zostać przeprowadzone w zwykłym środowisku pomiarowym. Na przykład, jeżeli na co dzień operatorzy dokonują oceny na hali przy słabym oświetleniu i w otoczeniu licznych zakłóceń, to oceny systemu pomiarowego nie należy przeprowadzać w sterylnym, dobrze oświetlonym laboratorium, bo uzyskane wyniki nie będą uwzględniały tych zakłóceń.
Z tych samych względów należy dopilnować, aby ocena była dokonywana w normatywnym czasie, czyli aby podjęcie decyzji przez oceniającego trwało nie dłużej niż w normalnych warunkach produkcyjnych.
Interpretacja wyników
Dane wprowadzone do arkusza (plik dostępny do pobrania w sekcji Do pobrania) zostają poddane ocenie w kilku aspektach:
- wyznaczanie współczynnika kappa, określającego poziom zgodności operatorów między sobą oraz z wartością odniesienia (decyzją eksperta) – zaleca się, aby współczynnik ten był wyższy niż 0,7 dla każdej pary porównań
- wyznaczanie współczynników efektywności systemu pomiarowego – zalecana efektywność powyżej 80% zgodności
Z uwagi na złożoność mechanizmów obliczeniowych, które prowadzą do uzyskania tych wyników nie będziemy ich omawiać w tym artykule. Ich interpretacja jest dostępna w podręczniku MSA edycja 4, natomiast same algorytmy obliczeniowe można przeanalizować na podstawie udostępnionego na naszej stronie arkusza programu MS Excel.