Czemu istotność statystyczna jest dominująca w naukach empirycznych?

Metodolog - statystyczna analiza data minig

Metodolog.pl – Analiza Statystyczna w nauce

Firma statystyczna METODOLOG

Edwards, Lindman i Savage (1963) dlaczego istotność statystyczna jest nadal dominująca w naukach empirycznych ?

Poniżej jest fragment z Edwards, Lindman, and Savage (1963, pp. 236-7) mówiący o tym czemu wartość istotności (p value) nadal jest dominującą miarą w naukach empirycznych nawet po wielokrotnym okazaniu się jako niespójna i bezsensowna statystyka (to są moje słowa, autorzy wyżej wymienieni są bardziej serdeczni w swoim komentarzu).

Jeśli klasyczne testy istotności dają częstsze odrzucenie prawdziwości hipotezy zerowej bez rzeczywistych dowodów to czemu przetrwały one tak długo i zdominowały pewne nauki empiryczne? Trzy uwagi wydają się rzucać trochę światła na te ważne i trudne pytanie.

  1. W zasadzie, wiele odrzuceń przy poziomie 0,05 są oparte na wartości testu statystycznego daleko poza granicą, a więc dopowiada jednoznacznie dowodzeniu. W praktyce ten argument traci dużo na sile. Stało się zwyczajem odrzucać hipotezę zerową przy najwyższym poziomie istotności pomiędzy magicznymi wartościami 0,05, 0,01, 0,001, gdzie test statystyczny pozwala częściej niż wybór poziomu istotności wykraczający i odrzucający wszystkie hipotezy które test statystyczny sprowadził poza kryterium wartości określonej poprzez wybrany poziom istotności. Więc 0,05 poziom odrzucenia dziś zwykle znaczy, że test statystyczny był istotny na poziomie 0,05 ale nie na 0,01. Mimo to test statystyczny który spada poniżej poziomu 0,01 i może odpowiadać silniejszemu dowodzeniu przeciwko hipotezie zerowej niż jeden test zaledwie istotny na poziomie 0,05.
  2. Ważne odrzucenia na poziomie 0,05 i 0,01 bazujące na testach statystycznych które nie byłyby istotne na wyższych poziomach istotności nie są powszechne. Psycholodzy tendencyjnie prowadzą względnie duże i otrzymują bardzo istotne efekty główne. W miejscu gdzie poziom 0,05 odrzucenia jest najczęściej powszechny jest testowanie interakcji w analizach wariancji. Wielu eksperymentatorów podchodzi do tych testów bardzo poważnie, zamiast przeprowadzenia kilku linii eksperymentalnych.
  3. Próby replikacji rezultatów są raczej rzadkie, więc odrzucenie hipotez zerowych podlega poddawaniu empirycznemu sprawdzeniu. Kiedy takie sprawdzenie jest wykonywane i zawodzi, wyjaśnienie anomalii zawsze koncentruje się na projekcie eksperymentu, niewielkimi zmianami w technice, a nie w znaczeniu procedur statystycznych używanych w oryginalnym badaniu.