Gdzie u licha podział się ten efekt? O metodach replikacji i testach statystycznych.

Metodolog - statystyczna analiza data minig

Metodolog.pl – Analiza Statystyczna w nauce

Firma statystyczna METODOLOG

Gdzie u licha podział się ten efekt? Jedna replikacja jest warta co najmniej tysiąc testów t, ale kilka replikacji (powiedzmy około dwudziestu) i dobrze zasilane badania są warte co najmniej milion testów t.

Replikacje wyników badań.

Właściwym sposóbem, aby odkryć fałszywe oraz wadliwe wyniki jest replikacja. Zasadniczo, replikacja jest niczym więcej niż skopiowaniem wcześniejszych badań, żeby zobaczyć, czy wyniki są zbliżone do tych oryginalnych. Pozytywne replikacje dodają wiarygodności odkryciom. Negatywne replikacje, zamiast tego, mogą wskazywać fałszywe lub wadliwe wyniki, ale także mogą odzwierciedlać przyziemne kwestie, takie jak stosowanie słabej próbki. Amerykański psycholog Henry Roediger uchwycił znaczenie replikacji w krótkim i obecnie słynnym zdaniu: jedna replikacja jest warta co najmniej tysiąc testów t.

Ostatnio moi koledzy i ja również weszliśmy na arenę replikacji. Jeśli mam być szczery, to arena nie jest tak sexy i ekscytująca, jak to, w którym początkowe wyniki badań są generowane. Więc co nas motywowało? Cóż, nie zauważyliśmy niespójności w odniesieniu do ustaleń badawczych, które mogą być traktowane jako filar teorii w naszej niszy badawczej. Zdecydowaliśmy, że niespójność ta musiała zostać rozwiązana przed dalszymi posunięciami. Niespójność, o której mówimy znajduje się między variant val66met na genie kodującym BDNF, czynnikiem wzrostu neuronów, a objętością hipokampu. Biologicznie, są powody, dlaczego taki związek może istnieć. Aczkolwiek nie ma tu teorii,  dziś mówimy o metodologii. Poza tym, jest to skomplikowane i może być trochę nudne.

Co więc zrobiliśmy? Przeprowadziliśmy jedno badanie (replikację) a poza tym prowadziliśmy meta-analizę przedmiotu. Przeprowadzenie metaanalizy (czyli analiza, która ocenia siłę i kierunek domniemanego wpływu w naszych badaniach) jest bardzo przydatnym rozwiązaniem w obliczu niejednorodnych ustaleń. Włączyliśmy łącznie 25 badań (na nie mniej niż 3620 osobach) w naszej analizie i stwierdziliśmy efekt, którego szukaliśmy: nosiciele allelu met (każdy ma albo 2 val allele w tym miejscu albo jeden lub dwa allele met) mieli mniejszą objętość hipokampa. Efekt ten był jednak tak mały, że nie byliśmy pod wrażeniem. Zadziwiła nas uderzająca korelacja pomiędzy rokiem, w którym referat o tym został opublikowany i wielkość efektu, który został w nim przedstawiony. (patrz załączony rysunek dla skumulowanej metaanalizy, która pokazuje, że wielkość efektu stale maleje z upływem czasu ).

Naszym pierwszym wnioskiem było to, że efekt ten wydaje się być trudny do replikacji. Wzmocnieniem było to, że okazało się, że badania na małą skalę, które są prawdopodobnie najmniej wiarygodne, szacują, że efekt jest bardzo duży, podczas gdy duże i prawdopodobnie bardziej precyzyjne badania oszacowały, że efekt nie istnieje. W sumie doszliśmy do wniosku, ze złamanym sercem i łzami w oczach, że relacja między val66met, a objętością hipokampa prawdopodobnie nie istnieje.

Przeciwnie, związek pokazuje klątwę zwycięzców, w których wczesne badania pokazują duże efekty (i publikowane w czasopismach z najwyższej półki) mają być zastępowane przez coraz mniejsze efekty w kolejnych (i lepiej zasilanych) próbach replikacji (które publikowane są w niższej rangi dziennikach lub, co gorsza, wcale).

Rzeczywiście – jedna replikacja jest warta co najmniej tysiąc testów t – ale chciałbym dodać, że kilka powtórzeń (powiedzmy około dwudziestu) i dobrze zasilane badania mogą być warte co najmniej milion testów t.

meta analiza analiza wyników wielu badań