Narzędzie służy do planowania badania z wyprzedzeniem. Oblicza wymaganą wielkość próby, aby test statystyczny mógł wykryć istotną różnicę, zmianę wariancji lub zmianę proporcji z wystarczającym prawdopodobieństwem.
W przeciwieństwie do obliczania mocy, nie skupia się na tym, jak silny jest test z istniejącymi danymi. Zamiast tego pyta, ile danych jest potrzebnych, aby osiągnąć pożądaną moc:
- wysoka pożądana moc → potrzebne są większe dane
- niższa pożądana moc → potrzebne są mniejsze dane, ale błąd β jest większy
Ważne: Przy obliczaniu wielkości próby wprowadzane są założenia podsumowane w AlphadiTab. Dlatego nie są potrzebne surowe dane, ale kluczowe wskaźniki, takie jak oczekiwany efekt, odchylenie standardowe, pożądana moc, poziom istotności lub oczekiwane proporcje.
W rozwoju produktu testowana jest nowa formulacja sosu pomidorowego. Celem jest ustalenie, czy lepkość nowej formulacji różni się średnio od poprzedniej formulacji.
W tym celu należy przeprowadzić pomiary lepkości na próbkach starej i nowej formulacji.
Przed badaniem należy zaplanować, ile próbek na formulację jest potrzebnych, aby wiarygodnie wykryć praktycznie istotną różnicę.
Do planowania należy określić, jaka różnica w średniej lepkości powinna zostać wykryta. Decydującym czynnikiem jest, która różnica jest praktycznie istotna. W tym przykładzie należy wykryć różnicę w średnich wynoszącą 0,5 MPa. Ta różnica odpowiada efektowi.
Dodatkowo wymagana jest oczekiwana odchylenie standardowe. Może to być wyprowadzone na przykład z testów wstępnych, wcześniejszych analiz lub wartości empirycznych. W tym przykładzie zakłada się odchylenie standardowe wynoszące 5,5 MPa.
Ustalono docelową moc 80%. Oznacza to, że rzeczywiście istniejąca różnica 0,5 MPa powinna zostać wykryta z prawdopodobieństwem 80%. Odpowiadający błąd β wynosi 20%.
Interpretacja wyników:
Wynik pokazuje, że wymagana jest wielkość próby wynosząca 1901 na grupę, aby wykryć założoną różnicę 0,5 MPa z pożądaną mocą.
Jeśli obliczona wielkość próby jest bardzo duża, oznacza to, że założony efekt jest mały w porównaniu do zmienności. W takim przypadku potrzebne są liczne próbki, aby wiarygodnie wykazać różnicę.
Objaśnienia do grafiki:
- Krzywa pokazuje, jak zmienia się osiągalna moc w zależności od efektu.
- Punkt oznacza obliczony przypadek dla wybranych danych wejściowych.
- Im większy efekt, tym wyższa jest zazwyczaj moc przy tej samej wielkości próby.
- Dla bardzo małych efektów potrzebne są większe wielkości próby, aby osiągnąć pożądaną moc.
Następujące rozważania i kroki są niezbędne do obliczenia wymaganej wielkości próby dla różnych testów statystycznych.
Przygotowanie
- Wybierz odpowiedni test, np. test t, test F, test proporcji lub ANOVA.
- Określ, która różnica, stosunek wariancji lub zmiana proporcji jest praktycznie istotna.
- Ustaw poziom istotności, zwykle α = 0,05.
- Ustaw docelową moc, często 80% lub 90%.
- Przygotuj niezbędne założenia, np. odchylenie standardowe, oczekiwane proporcje lub liczba grup.
- Określ kierunek pytania, dwustronny, większy lub mniejszy, jeśli procedura to umożliwia.
Użycie w AlphadiTab
- W Fazie Analizy wybierz narzędzie Wielkość Próby.
- Wybierz odpowiedni typ testu, np. test t, test F, test proporcji lub ANOVA.
- Wprowadź docelową moc, np. 0,80 lub 0,90.
- Wprowadź poziom istotności, np. 0,05.
- Wprowadź inne podsumowane metryki do pól wejściowych.
- Przeprowadź analizę, wybierając „Utwórz Nowy”.
Interpretacja
- Sprawdź, jaka wielkość próby jest wymagana.
- Sprawdź, czy obliczona wielkość próby jest praktycznie wykonalna.
- Jeśli wymagana jest bardzo duża wielkość próby, sprawdź, czy założony efekt jest bardzo mały lub czy można zmniejszyć wariancję.
Ważne: Wielkość próby jest parametrem planowania. Nie wskazuje, czy efekt faktycznie istnieje. Opisuje, ile danych jest potrzebnych do wykrycia założonego efektu z pożądaną mocą.
Typy testów
- t-Test: Rozmiary próbek do porównywania średnich.
- F-Test: Rozmiary próbek do porównywania wariancji lub rozproszeń.
- Test proporcji: Rozmiary próbek do porównywania stosunków lub zdarzeń binarnych.
- ANOVA: Rozmiary próbek do porównywania średnich z dwóch lub więcej grup.
- Test wariancji: Rozmiary próbek do porównywania wariancji lub rozproszeń dla dwóch lub więcej próbek, opcjonalnie także nieparametryczne.
W testach hipotez z dwiema próbkami można wybrać kierunek dla hipotezy alternatywnej.
Wybierz dwustronny, gdy różnica ma być wykryta bez określania konkretnego kierunku.
- To ustawienie jest przydatne, gdy zarówno wyższe, jak i niższe wartości byłyby istotne.
Przykład:
Czy średni czas dostawy różni się między dwoma procesami?
Wybierz większy, gdy efekt jest istotny tylko w kierunku wyższych wartości.
- To ustawienie jest przydatne, na przykład, gdy testuje się, czy wskaźnik sukcesu wzrasta.
Przykład:
Czy wskaźnik sprzedaży jest wyższy przy nowym podejściu sprzedażowym niż wcześniej?
Wybierz mniejszy, gdy efekt jest istotny tylko w kierunku niższych wartości.
- To ustawienie jest przydatne, na przykład, gdy testuje się, czy czas przetwarzania lub wskaźnik defektów maleje.
Przykład:
Czy średni czas przetwarzania jest niższy po optymalizacji niż wcześniej?
Ilość napełnienia sosu pomidorowego – Maszyna A vs. Maszyna B
W produkcji używa się kilku maszyn napełniających. Należy zaplanować, ile pomiarów na maszynę jest wymaganych, aby niezawodnie wykryć różnicę między Maszyną A a Maszyną B.
T-Test:
Różnice w średnich: Ile pomiarów na maszynę jest potrzebnych, aby wykryć różnicę 5 ml w średniej ilości napełnienia z mocą 80%, zakładając odchylenie standardowe 1,1 ml?
Interpretacja
Dla testu t, obliczenie wielkości próby pokazuje, ile pomiarów na maszynę jest wymaganych, aby wykryć założoną różnicę w średniej ilości napełnienia. W tym przypadku potrzebne są 3 pomiary na maszynę.
Test Levene'a:
Różnice w wariancjach: Ile pomiarów na maszynę jest potrzebnych, aby wykryć podwojenie wariancji ilości napełnienia z mocą 90%?
Interpretacja
Dla testu Levene'a, obliczenie wielkości próby pokazuje, ile pomiarów na grupę jest wymaganych, aby wykryć różnicę w wariancji. W tym przykładzie należy wykryć podwojenie odchylenia standardowego z mocą 90%. Błąd β wynosi zatem 10%. Do tego potrzebne są 31 pomiary na maszynę.
Czas reakcji helpdesku IT vs. lokalizacja ANOVA
W serwisie IT, zgłoszenia są przetwarzane w wielu lokalizacjach. Czas reakcji jest regularnie oceniany, aby zidentyfikować różnice w jakości usług.
W przykładzie zgłoszeń IT są trzy lokalizacje. Przy użyciu obliczeń wielkości próby planuje się, ile zgłoszeń na lokalizację należy ocenić, aby wykryć różnicę 5 minut w czasie reakcji za pomocą ANOVA. Odchylenie standardowe szacuje się na 4 minuty, a docelowa moc wynosi 90%.
Interpretacja wyników
Wynik pokazuje, że potrzeba 18 zgłoszeń na lokalizację, aby wykryć maksymalną różnicę 5 minut między lokalizacjami przy pożądanej mocy.
Test proporcji - Wskaźnik strat według podejścia sprzedażowego
W sprzedaży porównuje się dwa podejścia sprzedażowe. Planowane jest określenie, ile ofert należy ocenić na każde podejście sprzedażowe, aby niezawodnie wykryć istotną zmianę wskaźnika strat.
Test proporcji ma na celu sprawdzenie, czy wskaźnik strat różni się między typami sprzedaży.
Teraz, korzystając z obliczeń wielkości próby, należy określić, ile ofert jest potrzebnych do wykrycia zmiany z 35% na 30% z mocą 80%.
Interpretacja
Obliczenia wielkości próby wskazują, ile ofert na grupę jest potrzebnych, aby test wykrył istotną zmianę wskaźnika strat. W tym przypadku potrzebne są 1377 oferty na każde podejście sprzedażowe.
Czas dostawy po centrum logistycznym
W dziale logistyki zamówienia klientów są kompletowane i wysyłane. Wprowadzono nowe wózki widłowe, aby zwiększyć wydajność.
Planowane jest określenie, ile pomiarów jest potrzebnych do wykrycia poprawy czasu dostawy o 1 dzień przy użyciu jednostronnego testu t. Zmienność czasu dostawy szacuje się na 2,5 dnia.
Używana jest docelowa moc 80%.
Interpretacja
Wynik pokazuje, że potrzebne są 78 pomiary, aby wykryć poprawę czasu dostawy o 1 dzień z mocą 80%.
Porównanie dostawców
W zakupach komponenty są pozyskiwane od wielu dostawców. Należy zaplanować, ile zestawów danych na dostawcę jest wymaganych, aby wykryć 1,5-krotną różnicę w odchyleniu standardowym między dostawcami. Pożądana moc dyskryminacyjna wynosi 80%.
Interpretacja
Dla dwustronnego testu F potrzebne są 66 zestawy danych, aby wykryć 1,5-krotną zmianę w odchyleniu standardowym.
Odchylenie prognozy
W planowaniu produkcji tworzone są prognozy zapotrzebowania na różne okresy planowania. Aby ocenić jakość prognozy, oblicza się odchylenie prognozy.
Planowane jest określenie, ile prognoz na horyzont planowania jest wymaganych do wykrycia różnic między krótkoterminowymi a długoterminowymi horyzontami planowania za pomocą testu t. Należy wykryć różnicę 2%. Odchylenie standardowe jest znane z poprzednich analiz i wynosi 0,9%.
Docelowa moc wynosi 90%.
Interpretacja
Do planowanego badania potrzebne jest 6 prognoz na horyzont planowania, aby wykryć różnicę 2% z mocą 90%.
Docelowa moc 90% oznacza, że założona różnica zostanie wykryta z prawdopodobieństwem 90%. Błąd β wynosi odpowiednio 10%.
Ponieważ obliczona wielkość próby z 6 prognozami na horyzont planowania jest stosunkowo mała, badanie można zazwyczaj dobrze zaplanować. Jeśli wymagana wielkość próby jest znacznie większa przy innych założeniach, można sprawdzić, czy można założyć większy istotny efekt, zmniejszyć wariancję lub czy wystarczająca jest docelowa moc 80% dla danego pytania.
Wielkość próby: Liczba obserwacji, części, ofert, pomiarów lub prób potrzebnych do wykrycia założonego efektu z pożądaną mocą.
Moc: Prawdopodobieństwo, że test wykryje faktycznie istniejący efekt.
Docelowa moc: Z góry określona moc, którą należy osiągnąć z planowaną próbą, np. 80% lub 90%.
Efekt: Praktycznie istotna różnica, np. różnica średnich, stosunek wariancji lub zmiana szans.
α = Poziom istotności: Z góry określone prawdopodobieństwo błędu, z którym błędnie odrzuca się hipotezę zerową.
β = Błąd II rodzaju: Prawdopodobieństwo niewykrycia faktycznie istniejącego efektu.
Moc = 1 - β: Prawdopodobieństwo komplementarne do błędu II rodzaju.
x̄ = Średnia próby: Średnia wartość zebranych danych pomiarowych.
s = Odchylenie standardowe próby: Miara rozproszenia danych wokół średniej.
p̂ = Proporcja próby: Proporcja zdarzeń w próbie; obliczana jako zdarzenia / liczba prób.
Zdarzenie: Przypadek interesujący w analizie proporcji, np. wyciek, zgubienie, na czas lub zdany.
Czynnik: Kategoryczna zmienna wpływająca w ANOVA, np. centrum logistyczne, dostawca lub formuła.
Grupy / Poziomy: Przejawy czynnika, np. Centrum A, Centrum B i Centrum C.
Dwustronny: Testuje się, czy różnica może być wykryta w obu kierunkach.
Większy: Testuje się, czy efekt może być wykryty w kierunku większych wartości.
Mniejszy: Testuje się, czy efekt może być wykryty w kierunku mniejszych wartości.
Do obliczania wielkości próby używane są te same formuły obliczeniowe, co do mocy dyskryminacyjnej. Wymagana wielkość próby jest iteracyjnie dostosowywana, aż do osiągnięcia określonej docelowej mocy dyskryminacyjnej.
Zobacz opis w sekcji Moc dyskryminacyjna.