analiza statystyczna wyników badań

Jakie jest stanowisko ASA (Amerykańskie Stowarzyszenie Statystyczne) na temat wartości p (istotności) w odniesieniu do psychologii?

Jakie jest stanowisko ASA (Amerykańskie Stowarzyszenie Statystyczne) na temat wartości p (istotności) w odniesieniu do psychologii?

„Żaden pojedynczy index nie powinien zastępować rozumowania naukowego”

– Oficjalne stwierdzenie ASA (Amerykańskiego Towarzystwa Statystycznego)

Oficjalne stanowisko Amerykańskiego Statystycznego Towarzystwa jest takie, że wartość istotności (p-value) jest złą miarą dowodową. My jako psychologowie potrzebujemy skalibrować nasze intuicje co do tego co jest dobrym dowodem. Zobacz pełne oświadczenie tutaj : Link do oficjalnej publikacji .

Amerykańskie Towarzystwo Statystyczne właśnie wydało swoje długo obiecywane oficjalne oświadczenie dotyczace swojego stanowiska wobec wartości istotności statystycznej. Jeśli tego nie pamiętasz (nie przejmuj się, to było lata temu), ASA odpowiedziało na BASP (Basic and Applied Social Psychology) na szeroko publikowanego banu  istotności statystycznej tak:

Grupa więcej niż 24 wybitnych statystyków profesjonalistów rozwija oświadczenie ASA na temat istotności statystycznej i wnioskowania, które podkreśla problemy i konkurujące ze sobą punktu widzenia. ASA zachęca redaktorów tego czasopisma (BASP) i innych mogących dzielić ich obawy, aby rozważyć co jest oferowane w stanowisku ASA, które pojawi się jeszcze w tym roku i nie odrzuca właściwego i odpowiedniego wykorzystania wnioskowania statystycznego.

Ten rozwój jest szczególnie istotny dla psychologów, ponieważ istotność statystyczna jest wszechobecna w naszej literaturze. Myślę, że w swoim życiu widziałem tylko garść artykułów bez istotności (głównie były to teoretyczne publikacje). Czy używamy zatem tego poprawnie? Co jest właściwą statystyką w kontekście badań naukowych, a konkretnie w psychologii? ASA jest tutaj by ukierunkować nasze myślenie o tym.

Zakres oświadczenia.

Oświadczenie zaczyna się od powiedzenia „Kiedy istotność statystyczna zaczyna być użyteczną statystyczną miarą, jest ona powszechnie nadużywana i błędnie interpretowana” Aby pomóc wyjaśnić jak wartość istotności statystycznej powinna być używana ASA „ wierzy, że społeczność naukowa, może skorzystać z oficjalnego i formalnego twierdzenia wyjaśniającego kilka powszechnie uzgodnionych zasad podkreślających prawidłowe użycie i interpretację wartości istotności. – ” Ich deklarowanym celem jest wyrażenie „ w nietechnicznych terminach kilku wybranych interpretacji, które mogły by polepszyć przeprowadzanie wnioskowań w kontekście ilościowej nauki, w związku z powszechną zgodną w statystycznej społeczności.”

Po kolei. Czym jest istotność statystyczna?

ASA podała następującą definicję istotności statystycznej:

„Istotność jest prawdopodobieństwem w określonym modelu statystycznym, który statystyczne podsumowuje dane (dla przykładu, średnia różni się między dwiema porównywanymi grupami) jako równe lub większe niż ekstremalna wartość.

Tak więcej istotność statystyczna jest stwierdzeniem prawdopodobieństwa w zaobserwowanych danych oraz danych bardziej ekstremalnych niż te obserwowane, dając podkreślenie statystycznemu modelowi (np. odrzucając hipotezę zerową).

Sześć zasad używania wartości p.

Podstawowym sensem oświadczenia jest to, że: Istotność statystyczna (p-value) może być używana jako miara niedopasowania pomiędzy danymi w modelu (np. hipotezy zerowej), ale ta miara nie mówi nam o prawdopodobieństwie, ze hipoteza zerowa jest prawdziwa. Miara ta nie mówi nam jakie działania powinniśmy podjąć – zgłosić to do dużego journala, zrozygnować/kontynuować linię badań, implementować interwencję. Nie mówi to nam jak duży lub ważny jest studiowany efekt. Bardziej ważne jest (w mojej opinii) to, że nie daje nam znaczącej miary dowodowej w odniesieniu do modelu lub hipotezy.

O to zasady interpretacji wartości istotnośćci (p-value).

  1. Istotność statystyczna może wskazywać jak niekompatybilne są dane w specyfikowanym modelu.
  2. Istotność statystyczna nie mierzy prawdopodobieństwa, że badana hipoteza jest prawdziwa albo prawodopodobieństwa, że dane zostały wytworzone przez przypadek.
  3. Naukowe konkluzje oraz biznesowe i polityczne decyzje nie powinny bazować tylko na tym czy wartość istotności przechodzi określony próg.
  4. Właściwe wnioskowanie wymaga pełnego raportowania i przejrzystości.
  5. Wartość istotności statystycznej nie mierzy siły efektu oraz znaczenia wyniku.
  6. Sama w sobie wartość istotności statystycznej nie stanowi dobrej miary potwierdzenia odnoszącego się do modelu lub hipotezy.

Więc co to znaczy dla psychologów?

ASA daje wiele jednoznacznych rekomendacji i warto przeczytać ich cały (lecz krótki) raport. Myślę, że najważniejszą zasadą jest zasada 5 i 6. Psycholodzy głównie używają wartości istotności statystycznej (p- value) jako miary dowodzenia uzyskanego przeciwko hipotezie zerowej. Przeprowadzasz badanie, sprawdzasz istotność statystyczną i jeśli jest ona poniżej wartości 0,05 to wtedy masz znaczące dowody przeciwko hipotezie zerowej, a potem czujesz usprawiedliwione wątpienie i konsekwentną pewność w kierunku swojej wyrażającej jakieś istnienie hipotezy.

ASA mówi nam co nie jest dobrą praktyką. Biorąc istotność statystyczną jako silny dowód tylko dlatego, że jest niższa niż wartość 0,05 jest aktualnie mylące: ASA szczególnie mówi „ istotność bliska 0,05 to słaby dowód na rzecz fałszywości hipotezy zerowej”. Wartość istotności statystycznej bliska 0,05 jest tylko osiągnięciem maksymalnego czynnika Bayesa na poziomie -/+ 2, co jest bardzo słabym poziomem dowodzenia i wiarygodności.

Najważniejsze jest to” Musimy skorygować nasze intuicje o tym co stanowi adekwatne dowody. Psychologia jest taka, że dowody na jej istnienie są niedopuszczalnie słabe na początku, kiedy prawidłowo oceniamy dowody z oryginalnych badań. Widzimy, że są przesłanki do wiary aby sądzić, że  afekty istniały od początku. Bazując na tak słabej przesłance jaką jest istotność statystyczna nie ma się co dziwić, że niepowodzenia replikacji są naturalną konsekwencją niskich standardów dowodowych.

Istnieje wiele (bardzo wiele) artykułów w statystycznej literaturze pokazujące, że wartość istotności statystycznej przecenia dowody przeciwko hipotezie zerowej. Teraz także ASA podjęła oficjalne stanowisko.

Poniżej umieszczamy kilka cytatów, które są odpowiednie dla praktykujących psychologów.

  1. Naukowcy powinni uznać, że wartość istotności statystycznej bez kontekstu lub innych dowodów dostarcza ograniczonej informacji. Dla przykładu wartość istotności statystycznej bliska 0,05 podjęte przez siebie oferuje tylko słabe dowodzenie przeciwko hipotezie zerowej. Ponad to stosunkowo duża wartość p nie implikuje dowodów na rzecz faworyzowania hipotezy zerowej. Wiele innych hipotez może być równych lub bardziej spójnych z obserwowanymi danymi. Z tego powodu analiza danych powinna nie kończyć się na kalkulacji wartości istotności statystycznej w przypadku kiedy inne metody mogą być odpowiednie i wykonalne.
  2. Z uwagi na powszechne nadużycia i nieporozumienia dotyczące wartości p, niektórzy statystycy preferują zastąpienie lub nawet zamianę wartości istotności z innymi podejściami. Zawierają się w tym metody, które podkreślają oszacowanie ponad testowanie takie jak ufność, wiarygodność lub przedziały dla predykcji. Metody Bayesowskie jako alternatywne miary dowodzenia np. wskaźniki prawdopodobieństwa lub czynniki Bayesa.
  3. Powszechnie użycie „statystycznej istotności” ogólnie interpretowane jako p<0,05 jako licencji na tworzenie twierdzeń o odkryciu naukowym (lub domniemania prawdy) prowadzi do znacznego wypaczenia procesu naukowego i publikowanej wiedzy.
  4. Ilekroć badacz wybiera co przedstawić na podstawie statystycznych wyników, ważne interpretacje tych wyników są mocno przeceniane przez czytelnika. Naukowcy powinni ujawniać liczbę hipotez eksplorowanych podczas badania, wszystkie dane dotyczące zbierania danych i wszystkich policzonych analiz i wartości istotności. Ważne naukowe konkluzje bazujące na wartości istotności (p-value) i związanymi z nimi statystykami nie mogą być wyciągane z bez znajomości co najmniej tego ile i jakich analiz dokonano i jak te analizy (zawierające istotność statystyczną) zostały wyselekcjonowane do raportowania.
  5. Statystyczna istotność nie jest ekwiwalentem naukowości. Mniejsze wartości istotności niekoniecznie sugerują obecność mniejszego lub większego efektu, a większe wartości p nie oznaczają braku znaczenia lub nawet braku efektu.

 

analiza statystyczna ankiet

Struktura procesu badawczego (Metodologia Badań)

meto1

Struktura procesu badawczego w psychologii

Psychologia jest nauką o zachowaniach człowieka, które są ukierunkowane na osiągnięcie określonego celu (czynności) oraz o samym człowieku, który jest podmiotem swoich działań (Tomaszewski, 1975 za: Brzeziński, 2015). Taki obszar zainteresowań psychologii wpływa na konieczność użycia specyficznych schematów metodologicznych podczas poszukiwania odpowiedzi na pytania badawcze. Stosowane procedury badawcze muszą uwzględniać fakt, że podmiotem badania jest istota ludzka, a nie element przyrody nieożywionej np. skała, skamielina.

Etapy procesu badawczego w psychologii:

  1. Postawienie problemu badawczego i hipotezy badawczej.

Każde naukowe badanie zaczyna się, gdy badacz werbalizuje problem naukowy w formie pytania. Źródłem pytania badawczego są luki w wiedzy, rozbieżność stanowisk naukowych występująca wokół danego zagadnienia, a także chęć znalezienia lepszego od dotychczasowych sposobów opisywania danego wycinka rzeczywistości. Próbą odpowiedzi na pytanie nurtujące badacza jest hipoteza badawcza.

  1. Określenie obrazu przestrzeni zmiennych niezależnych X1, …, Xn istotnych dla zmiennej zależnej Y- O(Py) oraz obrazu struktury przestrzeni zmiennej zależnej YO(Sy).

W tej fazie mieszczą się problemy istotnościowe, hipotezy istotnościowe i hipotetyczne układy zmiennych niezależnych.

Faza ta rozpoczyna się postawieniem problemu istotnościowego: Jakie zmienne niezależne są istotne dla zmiennej zależnej Y? W celu odpowiedzi na to pytanie wysnuwamy hipotezę istotnościową 1 ( Zmienne niezależne X1, …, Xn są istotne dla zmiennej zależnej Y). Zbiór zmiennych niezależnych, uznanych przez badacza za istotne dla Y, tworzy obraz przestrzeni zmiennych istotnych dla Y.

Hipoteza istotnościowa 2 również jest formą odpowiedzi na pytanie badawcze ( Zmienne z O(Py) uporządkowane są pod względem istotności dla Y w następujący sposób…). Przyjęcie hipotezy, która wprowadza do O(Py) porządek istotnościowy stwarza obraz struktury przestrzeni zmiennej Y (tj. O(Sy)). Zmienne wchodzące w składy obrazu struktury przestrzeni zmiennej Y mogą oddziaływać na Y niezależnie bądź wchodzić ze sobą w interakcje i wspólnie oddziaływać na zmienną zależną Y.

Trzeci problem istotnościowy zawiera się w pytaniu: Jaki jest rodzaj obrazu struktury przestrzennej zmiennej Y? Obraz ten może być interakcyjny bądź izolowany.

  1. Operacjonalizacja zmiennych.

Etap ten polega na nadaniu sensu empirycznego pojęciom abstrakcyjnym, teoretycznym. Operacjonalizacja zmiennych wymaga zastosowania narzędzi pomiarowych. Mogą nimi być istniejące już specjalistyczne aparatury, testy psychologiczne bądź narzędzia konstruowane specjalnie na potrzeby danego badania.

  1. Wybór modelu badawczego:

  1. Dobór próby z populacji.

Dobór próby jest bardzo ważny, gdyż to dzięki udziałowi osób badanych badacz weryfikuje swoje przewidywania. Ważnym jest, aby próba była reprezentatywna, w tym celu pobieramy ją z populacji w sposób losowy. Inne sposoby wyłaniania próby z populacji obarczają wyniki badania mniejszym lub większym błędem.
Więcej na temat doboru próby możecie poczytać tutaj: Dobór próby i problemy z tym związane/.

  1. Wybór modelu statystycznego:

Wybór ten jest uzależniony od wybranego w kroku 4 modelu badawczego.

  1. Akceptacja bądź odrzucenie hipotezy.

W tym kroku badacz decyduje, czy weryfikowaną przez siebie hipotezę uznaje za potwierdzoną bądź nie.
Warto pamiętać o tym, że odrzucenie hipotezy nie jest klęską, gdyż mogło to być efektem błędów metodologicznych. Dlatego w przypadku niepotwierdzenia hipotezy należy krytycznie przeanalizować przebieg postępowania badawczego pod kątem błędów w sztuce.

  1. Ocena, interpretacja oraz generalizacja rezultatu badawczego.

W celu zakończenia procesu badawczego naukowiec musi sobie zadać jeszcze kilka pytań:
1) Jaka była jakość badania pod względem metodologicznym?

Krytyczna ocena tej części procesu badawczego powinna skłonić badacza do powrotu do czynności przeprowadzonych na poprzednich etapach badania, co umożliwia wprowadzenie potrzebnych poprawek. Cofanie się do wcześniejszych etapów badania może obejmować więcej niż jeden pełny cykl badawczy.

2) Jakie jest znaczenie psychologiczne uzyskanego wyniku?

W tym kroku zastanawiamy się, co nasze wyniki wnoszą do psychologii (rozwój teorii) oraz jaki jest ich wymiar aplikacyjny (możliwość wykorzystania w praktyce).

3) Jaki jest zasięg wniosków, które wyłoniły się po zakończeniu badania?

Pytanie to dotyczy generalizowalności wniosków badania. Aby wyniki uzyskane na danej próbie można było generalizować na całą populację, owa próba musi być reprezentatywna. Zakres wniosków jest zależny także od użytych procedur manipulowania zmiennymi.

Powodzenia w badaniach!

Źródło:

Brzeziński, J. (2015). Metodologia badań psychologicznych. Warszawa: Wydawnictwo Naukowe PWN.

Potrzebujesz wsparcia lub usług statystyczno-metodologicznych? Napisz do nas lub zadzwoń. Oferujemy niskie ceny przy badaniach korelacyjnych i prostych eksperymentach!

Władzą jest wiedza o źródłach zmienności Metodolog.pl motto