Das Tool wird eingesetzt, um eine Untersuchung im Vorfeld zu planen. Es berechnet den erforderlichen Stichprobenumfang, damit ein statistischer Test einen relevanten Unterschied, eine Streuungsänderung oder eine Quotenänderung mit ausreichender Wahrscheinlichkeit erkennt.
Im Unterschied zur Trennschärfe-Berechnung steht nicht die Frage im Vordergrund, wie leistungsfähig ein Test mit vorhandenen Daten ist. Stattdessen wird gefragt, wie viele Daten benötigt werden, um eine gewünschte Trennschärfe zu erreichen:
- hohe gewünschte Trennschärfe → mehr Daten werden benötigt
- niedrigere gewünschte Trennschärfe → weniger Daten werden benötigt, aber der β-Fehler ist größer
Wichtig: Bei der Berechnung der Stichprobengröße werden in AlphadiTab zusammengefasste Annahmen eingegeben. Es werden also keine Rohdaten benötigt, sondern Kennzahlen wie erwarteter Effekt, Standardabweichung, gewünschte Trennschärfe, Signifikanzniveau oder erwartete Anteile.
In der Produktentwicklung wird eine neue Rezeptur für Tomatensoße getestet. Ziel ist es zu prüfen, ob sich die Viskosität der neuen Rezeptur im Mittel von der bisherigen Rezeptur unterscheidet.
Hierzu sollen Viskositätsmessungen an Proben der alten Rezeptur und der neuen Rezeptur durchgeführt werden.
Vor der Untersuchung soll geplant werden, wie viele Proben je Rezeptur erforderlich sind, um einen praktisch relevanten Unterschied zuverlässig erkennen zu können.
Für die Planung muss festgelegt werden, welcher Unterschied in der mittleren Viskosität erkannt werden soll. Entscheidend ist, welcher Unterschied praktisch relevant ist. In diesem Beispiel soll ein Unterschied der Mittelwerte von 0,5 MPa erkannt werden. Dieser Unterschied entspricht dem Effekt.
Außerdem wird eine erwartete Standardabweichung benötigt. Diese kann z. B. aus Vorversuchen, früheren Analysen oder Erfahrungswerten abgeleitet werden. In diesem Beispiel wird eine Standardabweichung von 5,5 MPa angenommen.
Als Ziel-Trennschärfe wird 80 % festgelegt. Das bedeutet, dass ein tatsächlich vorhandener Unterschied von 0,5 MPa mit 80 % Wahrscheinlichkeit erkannt werden soll. Der zugehörige β-Fehler beträgt 20 %.
Interpretation der Ergebnisse:
Das Ergebnis zeigt, dass ein Stichprobenumfang von 1901 je Gruppe erforderlich ist, um den angenommenen Unterschied von 0,5 MPa mit der gewünschten Trennschärfe zu erkennen.
Wenn die berechnete Stichprobengröße sehr hoch ist, bedeutet das, dass der angenommene Effekt im Verhältnis zur Streuung klein ist. In diesem Fall werden viele Proben benötigt, um den Unterschied zuverlässig nachweisen zu können.
Erklärungen zur Grafik:
- Die Kurve zeigt, wie sich die erreichbare Trennschärfe in Abhängigkeit vom Effekt verändert.
- Der Punkt markiert den berechneten Fall für die gewählten Eingaben.
- Je größer der Effekt ist, desto höher ist bei gleichem Stichprobenumfang in der Regel die Trennschärfe.
- Bei sehr kleinen Effekten werden höhere Stichprobenumfänge benötigt, um die gewünschte Trennschärfe zu erreichen.
Im Folgenden finden Sie die Überlegungen und Schritte, die notwendig sind, um die erforderliche Stichprobengröße für verschiedene statistische Tests zu berechnen.
Vorarbeit
- Den passenden Test auswählen, z. B. t-Test, F-Test, Test von Anteilen oder ANOVA.
- Festlegen, welcher Unterschied, welches Varianzverhältnis oder welche Quotenänderung praktisch relevant ist.
- Signifikanzniveau festlegen, in der Regel α = 0,05.
- Ziel-Trennschärfe festlegen, häufig 80 % oder 90 %.
- Benötigte Annahmen bereitlegen, z. B. Standardabweichung, erwartete Anteile oder Anzahl der Gruppen.
- Richtung der Fragestellung festlegen, zweiseitig, größer oder kleiner, sofern das Verfahren diese Auswahl unterstützt.
Nutzung in AlphadiTab
- In der Analyze-Phase das Tool Stichprobengröße auswählen.
- Die passende Testart auswählen, z. B. t-Test, F-Test, Test von Anteilen oder ANOVA.
- Die Ziel-Trennschärfe eingeben, z. B. 0,80 oder 0,90.
- Das Signifikanzniveau eingeben, z. B. 0,05.
- Die weiteren zusammengefassten Kennzahlen in die Eingabefelder eintragen.
- Die Analyse durch „Neu erstellen“ durchführen.
Interpretation
- Prüfen, welcher Stichprobenumfang erforderlich ist.
- Prüfen, ob die berechnete Stichprobengröße praktisch umsetzbar ist.
- Bei sehr hoher erforderlicher Stichprobengröße sollte geprüft werden, ob der angenommene Effekt sehr klein ist oder ob die Streuung reduziert werden kann.
Wichtig: Die Stichprobengröße ist eine Planungsgröße. Sie sagt nicht aus, ob ein Effekt tatsächlich vorhanden ist. Sie beschreibt, wie viele Daten benötigt werden, um einen angenommenen Effekt mit der gewünschten Trennschärfe erkennen zu können.
Testart
- t-Test: Stichprobengröße für den Vergleich von Mittelwerten.
- F-Test: Stichprobengröße für den Vergleich von Varianzen bzw. Streuungen.
- Test von Anteilen: Stichprobengröße für den Vergleich von Quoten oder binären Ereignissen.
- ANOVA: Stichprobengröße für den Vergleich von Mittelwerten aus zwei oder mehr Gruppen.
- Test auf Varianzen: Stichprobengröße für den Vergleich von Varianzen bzw. Streuungen für zwei oder mehr Stichproben, optional auch verteilungsfrei.
Bei Hypothesentests mit zwei Stichproben kann die Richtung für die Alternativhypothese ausgewählt werden.
Sie zweiseitig, wenn ein Unterschied erkannt werden soll, ohne eine bestimmte Richtung vorzugeben.
- Diese Einstellung ist sinnvoll, wenn sowohl höhere als auch niedrigere Werte relevant wären.
Beispiel:
Unterscheidet sich die mittlere Lieferzeit zwischen zwei Prozessen?
Wählen Sie größer, wenn ein Effekt nur in Richtung höherer Werte relevant ist.
- Diese Einstellung ist sinnvoll, wenn z. B. geprüft werden soll, ob eine Erfolgsquote steigt.
Beispiel:
Ist die Verkaufsquote mit einem neuen Vertriebsansatz höher als bisher?
Wählen Sie kleiner, wenn ein Effekt nur in Richtung niedrigerer Werte relevant ist.
- Diese Einstellung ist sinnvoll, wenn z. B. geprüft werden soll, ob eine Bearbeitungszeit oder Ausschussquote sinkt.
Beispiel:
Ist die durchschnittliche Bearbeitungszeit nach einer Optimierung geringer als vorher?
Abfüllmenge Tomatensoße – Maschine A vs. Maschine B
In der Produktion werden mehrere Abfüllmaschinen eingesetzt. Es soll geplant werden, wie viele Messwerte je Maschine erforderlich sind, um einen Unterschied zwischen Maschine A und Maschine B zuverlässig zu erkennen.
t-Test:
Unterschiede in den Mittelwerten: Wie viele Messwerte je Maschine werden benötigt, um einen Unterschied von 5 ml in der mittleren Abfüllmenge mit 80 % Trennschärfe bei einer angenommenen Streuung von 1,1 ml zu erkennen?
Interpretation
Für den t-Test zeigt die Stichprobengrößenberechnung, wie viele Messwerte je Maschine erforderlich sind, um den angenommenen Unterschied der mittleren Abfüllmenge zu erkennen. In diesem Fall werden je Maschine 3 Messwerte benötigt.
Levene-Test:
Unterschiede in den Streuungen: Wie viele Messwerte je Maschine werden benötigt, um eine Verdopplung der Streuung der Abfüllmenge mit 90 % Trennschärfe zu erkennen?
Interpretation
Für den Levene-Test zeigt die Stichprobengrößenberechnung, wie viele Messwerte je Gruppe erforderlich sind, um einen Unterschied in der Streuung zu erkennen. In diesem Beispiel soll eine Verdopplung der Standardabweichung mit 90 % Trennschärfe erkannt werden. Der β-Fehler beträgt damit 10 %. Es werden hierfür 31 Messwerte je Maschine benötigt.
Reaktionszeit des IT-Helpdesks vs. Standort-ANOVA
Im IT-Service-Desk werden Tickets an mehreren Standorten bearbeitet. Die Reaktionszeiten werden regelmäßig ausgewertet, um Unterschiede in der Servicequalität zu erkennen.
Im Beispiel der IT-Tickets liegen drei Standorte vor. Mithilfe der Stichprobengrößenberechnung soll geplant werden, wie viele Tickets je Standort ausgewertet werden müssen, um einen Unterschied von 5 min in der Reaktionszeit mit der ANOVA zu erkennen. Die Standardabweichung wird auf 4 min geschätzt und die Ziel-Trennschärfe beträgt 90 %.
Interpretation der Ergebnisse
Das Ergebnis zeigt, dass 18 Tickets je Standort erforderlich sind, um einen maximalen Unterschied von 5 min zwischen den Standorten mit der gewünschten Trennschärfe zu erkennen.
Test von Anteilen - Verlustquote nach Vertriebsansatz
Im Vertrieb werden zwei Vertriebsansätze verglichen. Es soll geplant werden, wie viele Angebote je Vertriebsansatz ausgewertet werden müssen, um eine relevante Veränderung der Verlustquote zuverlässig zu erkennen.
Der Test von Anteilen soll prüfen, ob sich die Verlustquote zwischen den Vertriebsarten unterscheidet.
Nun soll mithilfe der Stichprobengrößenberechnung herausgefunden werden, wie viele Angebote erforderlich sind, um eine Veränderung von 35 % auf 30 % mit 80 % Trennschärfe zu erkennen.
Interpretation
Die Stichprobengrößenberechnung gibt an, wie viele Angebote je Gruppe benötigt werden, damit der Test eine relevante Änderung der Verlustquote erkennen kann. In diesem Fall werden je Vertriebsansatz 1377 Angebote benötigt.
Lieferzeit nach Logistikzentrum
In der Logistikabteilung werden Kundenaufträge kommissioniert und versendet. Zur Effizienzsteigerung wurden neue Stapler eingeführt.
Es soll geplant werden, wie viele Messwerte benötigt werden, um bei einem gerichteten t-Test eine Verbesserung der Lieferzeit um 1 Tag zu erkennen. Die Streuung der Lieferzeit wird auf 2,5 Tage geschätzt.
Als Ziel-Trennschärfe wird 80 % verwendet.
Interpretation
Das Ergebnis zeigt, dass 78 Messwerte erforderlich sind, um eine Verbesserung der Lieferzeit um 1 Tag mit 80 % Trennschärfe zu erkennen.
Lieferantenvergleich
Im Einkauf werden Bauteile von mehreren Lieferanten bezogen. Es soll geplant werden, wie viele Datensätze pro Lieferant erforderlich sind, um einen Unterschied um das 1,5-Fache in der Standardabweichung zwischen Lieferanten zu erkennen. Die Soll-Trennschärfe beträgt 80 %.
Interpretation
Für einen zweiseitigen F-Test werden 66 Datensätze benötigt, um eine Veränderung der Standardabweichung um das 1,5-Fache erkennen zu können.
Prognoseabweichung
In der Produktionsplanung werden Bedarfsprognosen für unterschiedliche Planungszeiträume erstellt. Zur Bewertung der Prognosegüte wird die Prognoseabweichung berechnet.
Es soll geplant werden, wie viele Prognosen je Planungshorizont erforderlich sind, um Unterschiede zwischen kurzfristigem und langfristigem Planungshorizont mit einem t-Test zu erkennen. Hierbei soll ein Unterschied von 2 % erkannt werden. Die Standardabweichung ist aus vorherigen Analysen bekannt und beträgt 0,9 %.
Als Ziel-Trennschärfe wird 90 % verwendet.
Interpretation
Für die geplante Untersuchung werden 6 Prognosen je Planungshorizont benötigt, um einen Unterschied von 2 % mit einer Trennschärfe von 90 % zu erkennen.
Eine Ziel-Trennschärfe von 90 % bedeutet, dass der angenommene Unterschied mit 90 % Wahrscheinlichkeit erkannt wird. Der β-Fehler beträgt entsprechend 10 %.
Da die berechnete Stichprobengröße mit 6 Prognosen je Planungshorizont vergleichsweise gering ist, lässt sich die Untersuchung in der Regel gut planen. Sollte die erforderliche Stichprobengröße bei anderen Annahmen deutlich höher ausfallen, kann geprüft werden, ob ein größerer relevanter Effekt angenommen werden kann, die Streuung reduziert werden kann oder eine Ziel-Trennschärfe von 80 % für die Fragestellung ausreichend ist.
Stichprobengröße n/ Sample Size: Anzahl der benötigten Beobachtungen, Teile, Angebote, Messwerte oder Versuche, um einen angenommenen Effekt mit einer gewünschten Trennschärfe zu erkennen.
Trennschärfe / Power: Wahrscheinlichkeit, mit der ein Test einen tatsächlich vorhandenen Effekt erkennt.
Ziel-Trennschärfe: Vorab festgelegte Trennschärfe, die mit der geplanten Stichprobe erreicht werden soll, z. B. 80 % oder 90 %.
Effekt: Praktisch relevanter Unterschied, z. B. Mittelwertdifferenz, Varianzverhältnis oder Quotenänderung.
α = Signifikanzniveau: Vorgegebene Irrtumswahrscheinlichkeit, mit der die Nullhypothese fälschlicherweise verworfen wird.
β = Fehler 2. Art: Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt nicht zu erkennen.
Power = 1 - β: Gegenwahrscheinlichkeit zum Fehler 2. Art.
x̄ = Mittelwert der Stichprobe: Durchschnittswert der erhobenen Messdaten.
s = Standardabweichung der Stichprobe: Maß für die Streuung der Daten um den Mittelwert.
p̂ = Stichprobenanteil: Anteil der Ereignisse in einer Stichprobe; berechnet als Ereignisse / Anzahl der Versuche.
Ereignis: Der interessierende Fall in einer Anteilsanalyse, z. B. undicht, verloren, pünktlich oder bestanden.
Faktor: Kategoriale Einflussgröße bei der ANOVA, z. B. Logistikzentrum, Lieferant oder Rezeptur.
Gruppen / Stufen: Ausprägungen des Faktors, z. B. Zentrum A, Zentrum B und Zentrum C.
Zweiseitig: Es wird geprüft, ob ein Unterschied in beide Richtungen erkannt werden kann.
Größer: Es wird geprüft, ob ein Effekt in Richtung größerer Werte erkannt werden kann.
Kleiner: Es wird geprüft, ob ein Effekt in Richtung kleinerer Werte erkannt werden kann.
Für die Stichprobengrößenberechnung werden die gleichen Berechnungsformeln wie bei der Trennschärfe verwendet. Der benötigte Stichprobenumfang wird dabei iterativ so lange angepasst, bis die vorgegebene Ziel-Trennschärfe erreicht wird.
Siehe hierzu die Beschreibung unter Trennschärfe.