Jakie jest stanowisko ASA (Amerykańskie Stowarzyszenie Statystyczne) na temat wartości p (istotności) w odniesieniu do psychologii?

„Żaden pojedynczy index nie powinien zastępować rozumowania naukowego”

– Oficjalne stwierdzenie ASA (Amerykańskiego Towarzystwa Statystycznego)

Oficjalne stanowisko Amerykańskiego Statystycznego Towarzystwa jest takie, że wartość istotności (p-value) jest złą miarą dowodową. My jako psychologowie potrzebujemy skalibrować nasze intuicje co do tego co jest dobrym dowodem. Zobacz pełne oświadczenie tutaj : Link do oficjalnej publikacji .

Amerykańskie Towarzystwo Statystyczne właśnie wydało swoje długo obiecywane oficjalne oświadczenie dotyczace swojego stanowiska wobec wartości istotności statystycznej. Jeśli tego nie pamiętasz (nie przejmuj się, to było lata temu), ASA odpowiedziało na BASP (Basic and Applied Social Psychology) na szeroko publikowanego banu  istotności statystycznej tak:

Grupa więcej niż 24 wybitnych statystyków profesjonalistów rozwija oświadczenie ASA na temat istotności statystycznej i wnioskowania, które podkreśla problemy i konkurujące ze sobą punktu widzenia. ASA zachęca redaktorów tego czasopisma (BASP) i innych mogących dzielić ich obawy, aby rozważyć co jest oferowane w stanowisku ASA, które pojawi się jeszcze w tym roku i nie odrzuca właściwego i odpowiedniego wykorzystania wnioskowania statystycznego.

Ten rozwój jest szczególnie istotny dla psychologów, ponieważ istotność statystyczna jest wszechobecna w naszej literaturze. Myślę, że w swoim życiu widziałem tylko garść artykułów bez istotności (głównie były to teoretyczne publikacje). Czy używamy zatem tego poprawnie? Co jest właściwą statystyką w kontekście badań naukowych, a konkretnie w psychologii? ASA jest tutaj by ukierunkować nasze myślenie o tym.

Zakres oświadczenia.

Oświadczenie zaczyna się od powiedzenia „Kiedy istotność statystyczna zaczyna być użyteczną statystyczną miarą, jest ona powszechnie nadużywana i błędnie interpretowana” Aby pomóc wyjaśnić jak wartość istotności statystycznej powinna być używana ASA „ wierzy, że społeczność naukowa, może skorzystać z oficjalnego i formalnego twierdzenia wyjaśniającego kilka powszechnie uzgodnionych zasad podkreślających prawidłowe użycie i interpretację wartości istotności. – ” Ich deklarowanym celem jest wyrażenie „ w nietechnicznych terminach kilku wybranych interpretacji, które mogły by polepszyć przeprowadzanie wnioskowań w kontekście ilościowej nauki, w związku z powszechną zgodną w statystycznej społeczności.”

Po kolei. Czym jest istotność statystyczna?

ASA podała następującą definicję istotności statystycznej:

„Istotność jest prawdopodobieństwem w określonym modelu statystycznym, który statystyczne podsumowuje dane (dla przykładu, średnia różni się między dwiema porównywanymi grupami) jako równe lub większe niż ekstremalna wartość.

Tak więcej istotność statystyczna jest stwierdzeniem prawdopodobieństwa w zaobserwowanych danych oraz danych bardziej ekstremalnych niż te obserwowane, dając podkreślenie statystycznemu modelowi (np. odrzucając hipotezę zerową).

Sześć zasad używania wartości p.

Podstawowym sensem oświadczenia jest to, że: Istotność statystyczna (p-value) może być używana jako miara niedopasowania pomiędzy danymi w modelu (np. hipotezy zerowej), ale ta miara nie mówi nam o prawdopodobieństwie, ze hipoteza zerowa jest prawdziwa. Miara ta nie mówi nam jakie działania powinniśmy podjąć – zgłosić to do dużego journala, zrozygnować/kontynuować linię badań, implementować interwencję. Nie mówi to nam jak duży lub ważny jest studiowany efekt. Bardziej ważne jest (w mojej opinii) to, że nie daje nam znaczącej miary dowodowej w odniesieniu do modelu lub hipotezy.

O to zasady interpretacji wartości istotnośćci (p-value).

1. Istotność statystyczna może wskazywać jak niekompatybilne są dane w specyfikowanym modelu.
2. Istotność statystyczna nie mierzy prawdopodobieństwa, że badana hipoteza jest prawdziwa albo prawodopodobieństwa, że dane zostały wytworzone przez przypadek.
3. Naukowe konkluzje oraz biznesowe i polityczne decyzje nie powinny bazować tylko na tym czy wartość istotności przechodzi określony próg.
4. Właściwe wnioskowanie wymaga pełnego raportowania i przejrzystości.
5. Wartość istotności statystycznej nie mierzy siły efektu oraz znaczenia wyniku.
6. Sama w sobie wartość istotności statystycznej nie stanowi dobrej miary potwierdzenia odnoszącego się do modelu lub hipotezy.

Więc co to znaczy dla psychologów?

ASA daje wiele jednoznacznych rekomendacji i warto przeczytać ich cały (lecz krótki) raport. Myślę, że najważniejszą zasadą jest zasada 5 i 6. Psycholodzy głównie używają wartości istotności statystycznej (p- value) jako miary dowodzenia uzyskanego przeciwko hipotezie zerowej. Przeprowadzasz badanie, sprawdzasz istotność statystyczną i jeśli jest ona poniżej wartości 0,05 to wtedy masz znaczące dowody przeciwko hipotezie zerowej, a potem czujesz usprawiedliwione wątpienie i konsekwentną pewność w kierunku swojej wyrażającej jakieś istnienie hipotezy.

ASA mówi nam co nie jest dobrą praktyką. Biorąc istotność statystyczną jako silny dowód tylko dlatego, że jest niższa niż wartość 0,05 jest aktualnie mylące: ASA szczególnie mówi „ istotność bliska 0,05 to słaby dowód na rzecz fałszywości hipotezy zerowej”. Wartość istotności statystycznej bliska 0,05 jest tylko osiągnięciem maksymalnego czynnika Bayesa na poziomie -/+ 2, co jest bardzo słabym poziomem dowodzenia i wiarygodności.

Najważniejsze jest to” Musimy skorygować nasze intuicje o tym co stanowi adekwatne dowody. Psychologia jest taka, że dowody na jej istnienie są niedopuszczalnie słabe na początku, kiedy prawidłowo oceniamy dowody z oryginalnych badań. Widzimy, że są przesłanki do wiary aby sądzić, że  afekty istniały od początku. Bazując na tak słabej przesłance jaką jest istotność statystyczna nie ma się co dziwić, że niepowodzenia replikacji są naturalną konsekwencją niskich standardów dowodowych.

Istnieje wiele (bardzo wiele) artykułów w statystycznej literaturze pokazujące, że wartość istotności statystycznej przecenia dowody przeciwko hipotezie zerowej. Teraz także ASA podjęła oficjalne stanowisko.

Poniżej umieszczamy kilka cytatów, które są odpowiednie dla praktykujących psychologów.

1. Naukowcy powinni uznać, że wartość istotności statystycznej bez kontekstu lub innych dowodów dostarcza ograniczonej informacji. Dla przykładu wartość istotności statystycznej bliska 0,05 podjęte przez siebie oferuje tylko słabe dowodzenie przeciwko hipotezie zerowej. Ponad to stosunkowo duża wartość p nie implikuje dowodów na rzecz faworyzowania hipotezy zerowej. Wiele innych hipotez może być równych lub bardziej spójnych z obserwowanymi danymi. Z tego powodu analiza danych powinna nie kończyć się na kalkulacji wartości istotności statystycznej w przypadku kiedy inne metody mogą być odpowiednie i wykonalne.
2. Z uwagi na powszechne nadużycia i nieporozumienia dotyczące wartości p, niektórzy statystycy preferują zastąpienie lub nawet zamianę wartości istotności z innymi podejściami. Zawierają się w tym metody, które podkreślają oszacowanie ponad testowanie takie jak ufność, wiarygodność lub przedziały dla predykcji. Metody Bayesowskie jako alternatywne miary dowodzenia np. wskaźniki prawdopodobieństwa lub czynniki Bayesa.
3. Powszechnie użycie „statystycznej istotności” ogólnie interpretowane jako p<0,05 jako licencji na tworzenie twierdzeń o odkryciu naukowym (lub domniemania prawdy) prowadzi do znacznego wypaczenia procesu naukowego i publikowanej wiedzy.
4. Ilekroć badacz wybiera co przedstawić na podstawie statystycznych wyników, ważne interpretacje tych wyników są mocno przeceniane przez czytelnika. Naukowcy powinni ujawniać liczbę hipotez eksplorowanych podczas badania, wszystkie dane dotyczące zbierania danych i wszystkich policzonych analiz i wartości istotności. Ważne naukowe konkluzje bazujące na wartości istotności (p-value) i związanymi z nimi statystykami nie mogą być wyciągane z bez znajomości co najmniej tego ile i jakich analiz dokonano i jak te analizy (zawierające istotność statystyczną) zostały wyselekcjonowane do raportowania.
5. Statystyczna istotność nie jest ekwiwalentem naukowości. Mniejsze wartości istotności niekoniecznie sugerują obecność mniejszego lub większego efektu, a większe wartości p nie oznaczają braku znaczenia lub nawet braku efektu.