Nie ufaj wszystkiemu co czytasz w psychologicznej literaturze.

W rzeczywistości, 2/3 z tego co tam znajdziesz powinno zostać poddane wątpliwości. W największym tego rodzaju projekcie, Brian Nosek, psycholog społeczny i przewodniczący Center fo Open Science w Charlottesville  w Virgini wraz z 269 współautorami zreplikował 98 artykułów z trzech magazynów psychologicznych, by sprawdzić czy każdy z nich dojdzie do tych samych wniosków.

Pod lupę wzięli przeróżne badania, np. takie które testowały czy trzymanie ołówka w buzi (wywołanie pozytywnego afektu) wpływa na trafność podejmowania intuicyjnych decyzji.

Zgodnie z ilościowym oszacowaniem replikatorów, tylko 39 ze 100 replikacji okazało się przejść test pozytywnie (Wykonano 100 pełnych replikacji na 98 badaniach i w przypadku dwóch badań replikacje wykonano dwa razy, przez dwa niezależne zespoły). Ale to czy replikacje można udać za udane nie jest takie proste. W magazynie Science, zespół ogłosił, że wiele różnych badawczych miar zostało użytych by rozwiązać problem.

Podczas gdy 97% oryginalnych badań wykryło istotny efekt, jedynie 36% replikacji również taki wykryło. Zespół naukowców odkrył również, że przeciętny rozmiar efektu wykryty w replikowanych badaniach był o połowę mniejszy od tego zgłaszanego w oryginalnych badaniach.

Nie ma sposobu by stwierdzić, że dowolnie wybrane badanie jest prawdziwe bądź fałszywe, stwierdza Nosek. Albo oryginalne, albo zreplikowane badanie może być wadliwe, albo kluczowe różnice  między nimi dwoma mogą zostać niedoszacowane. Jednakże, to co może stwierdzić z całą pewnością to fakt, że dowiedziono powszechnej publikacji prac, które nie wytrzymują naporu krytyki.

Mimo, że Nosek absolutnie podtrzymuje, iż większość środków powinna być dotowana na nowe badania, sugeruje, by choćby  3% naukowych środków poświęcić na badania replikacyjne. Zrobiło by dużą robotę. Obecny procentowy udział, dodaje, jest bliski zeru.

Porażka replikacji

Praca jaką wykonał zespół Noska, jest częścią Reproducibility Project, zapoczątkowanego w 2011, przeciwko oszustwom raportowym i wadliwej analizie statystycznej które prowadzą do kryzysu tożsamości psychologii jako nauki. John Loannidis, epidemilog z Uniwersytetu Stanforda w Kaliforni, mówi, że rzeczywisty odsetek porażek replikacyjnych, może przekraczać 80%, jeszcze więcej niż sugeruje badania zespołu Noska. A to dlatego, że Reproducibilty Project celuje w wysoko szanowane magazyny, oryginalni badacze, pracowali ściśle z replikatorami, zaś zespoły replikacyjne w większości wybierały te badania, które korzystały  z relatywnie łatwych metod statystycznych – wszystkie te czynniki czyniły replikację prostszą.

Ale dodaje: „Naprawdę możemy z tego skorzystać do polepszenia sytuacji, zamiast lamentować. Zwykły fakt, że ta współpraca odbywa się w tak wielkiej skali, oznacza, że naukowcy chcą polepszyć sytuację.”

Porażka

Artykuł opublikowany w Science tym różni się od pozostałych tego typu, że wziął pod lupę tak dużą i różną pulę eksperymentów, mówi Andrew Gelman, statystyk z Columbia University w Nowym Jorku. W przeszłości, niektórzy naukowcy odrzucali wskazówki na rozpowszechnionym problemie, ponieważ angażowano niewielkie wysiłki replikacyjne, bądź opierano się tylko o statystyczne replikacje.

Tym razem wzruszenie ramion nie przyjdzie im tak łatwo, mówi Gelman. „To jest empiryczny dowód , nie teoretyczny argument. Mniejmy nadzieję, że ten projekt zachwieje pewnością ludzi i naukowców odnośnie ich stwierdzeń”.

Porażka Publikatorska, a stronniczość – wyżyłowane analizy statystyczne

Nie chodzi o to by krytykować poszczególne badania, ale raczej o to by wskazać jak wiele niejasności kryje się w psychologicznych publikacjach. Dla przykładu nudne, ale rzetelne badania mogą nie być nigdy opublikowane, tak samo jak te z bardziej intrygującymi efektami mogą okazać się te, uzyskane poprzez uprawianie statystycznego jednorękiego bandyty (szukanie istotnych wyników i znalezienie ich przez przypadek, bądź wykonywanie różnych statystycznych analiz na chybił trafił, aż do skutku) niż prezentowanie prawdziwych efektów.

Nosek jest zdania, że inne naukowe obszary mogą mieć wiele wspólnego z psychologią. Jedno z badań wykazało że 6 na 53 wysoko ocenionych badań z obszaru biologii dotyczących raka udało się pozytywnie zreplikować i teraz podobny projekt reproducibility project in cancer biology jest obecnie realizowany naukach biologicznych.

Powinniśmy więc rozpocząć szerszą debatę na temat optymalnej naukowej i publikatorskiej praktyki, mówi Betsy Levy Paluck, psycholog i statystyk społeczny z Princeton University w Nowym Jersey. „Wyniki uświadamiają nam, że nie wypracowaliśmy równowagi między innowacją, a replikacją”.

Z faktu, że badanie zostało opublikowane w prestiżowym magazynie spowoduje dalsze granty.

No nic miejmy nadzieję, że dojdziemy do równowagi dotyczącej tego, że „replikacja stanie się promowana jako odpowiedzialny i ciekawy sposób dociekań naukowych.