Nicht signifikant - was nun?

Zusammenfassung

In einem statistischen Testproblem wird eine wissenschaftliche Fragestellung in Form einer Nullhypothese und einer gegensätzlichen Alternative formuliert. Bei der Konstruktion einer geeigneten empirischen Entscheidungsregel konzentriert man sich üblicherweise auf die Kontrolle des Fehlers 1. Art, einer irrtümlichen Ablehnung der Nullhypothese. Dies hat zur Konsequenz, dass unter Umständen eine nicht unerhebliche Gefahr eines Fehlers 2. Art besteht. Im Falle eines nicht signifikanten Testergebnisses ist man also keineswegs sicher, dass die Nullhypothese tatsächlich gültig ist. Im Rahmen der Planung einer Studie kann man versuchen, einen solchen unerwünschten Ausgang eines Signifikanztests zu vermeiden. Gelingt dies nicht, so empfiehlt es sich, das nicht signifikante Testergebnis weitergehend zu bewerten. Dazu bietet es sich an, Konfidenzintervalle der getesteten Effekte zu erstellen. Der p-Wert kann in seiner Eigenschaft als Metrik als Maß der Evidenz gegen die Nullhypothese interpretiert werden. Darüber hinaus schätzt man im Rahmen einer nachträglichen Power-Analyse unter den gegebenen Umständen die Wahrscheinlichkeit eines signifikanten Testergebnisses. So zeigt sich möglicherweise, dass der angewandte Test - unter der Annahme der tatsächlichen Gültigkeit der Alternative - erwartungsgemäß kaum eine Chance gehabt hätte, dies zu erkennen. Anhand einer derartigen Aussage wird natürlich eine nicht signifikante Testentscheidung, die auf die Nullhypothese hindeutet, erheblich relativiert. Andererseits deutet eine große Power auf eine geringe Wahrscheinlichkeit eines Fehlers 2. Art hin.

Abstract

In a statistical significance test a scientific problem is expressed by formulating a null hypothesis and an opposite alternative. Construction of an empirical decision rule usually focuses on control of the α-error, i. e. the probability of erroneously refusing the null hypothesis. Contrary to the α-error, the β-error is not controlled and in general is of unknown size. Thus in case of a non-significant result the validity of the null hypothesis still may be highly questionable. Such an unwanted outcome of an applied test the researcher should try to avoid by choosing an appropriate study design. In case it occurs nevertheless, it is advised to further evaluate the (non-significant) result. This can be done by calculating confidence intervals of the tested effects. Furthermore the p-value can be interpreted as a metric measure of evidence against the null hypothesis. By means of a posterior power analysis the probability of a significant test result is estimated under the given circumstances. Thus possibly the applied test - under the assumption of actual validity of the alternative - turns out to have had hardly a chance of rejecting the null hypothesis. In this case the non-significant result (pointing towards the null hypothesis) is relativised substantially. On the other hand a large power points to a small probability of a β-error.

Schlüsselwörter

Signifikanztest - Fehler 1. Art - Fehler 2. Art - p-Wert - Power

Key words

significance test - α-error - β-error - p-value - power