Trafność planu eksperymentalnego Metodolog.pl

Zalety trafnego planu eksperymentalnego.

Każdy psycholog przed przystąpieniem do badania eksperymentalnego musi najpierw upewnić się, czy wybrany (skonstruowany) przez niego plan eksperymentalny jest adekwatny do treści hipotezy badawczej, czy przeprowadzone zgodnie z nim badanie ujawni zależność zachodzącą między zmienną zależną a (uznaną przez badacza jako istotną dla niej) zmienną niezależną główną. Innymi słowy, czy zarejestrowaną przez badacza różnicę między średnimi wynikami post testów zmiennej zależnej grupy eksperymentalnej i grupy kontrolnej można przypisać — tak jak tego oczekuje badacz — manipulacji eksperymentalnej (zmiennej niezależnej głównej), czy też — a tego badacz chciałby uniknąć! — jakimś innym, niekontrolowanym przez niego oddziaływaniom. Jeżeli w grę mogłaby wchodzić owa druga ewentualność, to należałoby uczynić wszystko, aby do tego nie dopuścić. Zatem przed przystąpieniem do badania badacz powinien upewnić się, czy rzeczywiście średnie wyniki post testów w obu grupach są różne, bo różnicę tę wywołało celowe i systematyczne zróżnicowane traktowanie osób w obu grupach, czy też są różne, bo osoby z obu grup ulegały jakimś (jakim?) wpływom pochodzącym ze źródeł przez badacza niekontrolowanych. Efekty terapii poprowadzonej w dwóch grupach (eksperymentalna: „nowy lek” versus kontrolna: „standardowy lek”) wskazujące na większą skuteczność nowego leku mogą być przypisane właśnie jemu, albo też – i tego badacz chciałby uniknąć — sposobowi selekcji pacjentów do obu grup; jeżeli badacz nie przestrzegał zasady randomizacji (albo, co gorsza, postępował tendencyjnie) ani nie ukrył informacji, który z leków jest nowy, a który standardowy, to w grupie leczonej nowym lekiem mogły się znaleźć osoby lżej chore lub takie, które uległy autosugestii, że ten nowy lek jest cudowny i na pewno im pomoże. Zatem to nie odmiana leku zdecydowała o wystąpieniu efektu eksperymentalnego, ale tendencyjny sposób selekcji osób do obu grup lub brak maskowania przez badacza odmiany leku. Selekcja osób wystąpiła tu jako alternatywne względem zmiennej niezależnej głównej źródło wariancji międzygrupowej zmiennej zależnej.

Zęby uniknąć uzyskania wyników tendencyjnych, badacz powinien zaplanować badanie eksperymentalne. Dobry plan eksperymentalny – w wyłożonym uprzednio sensie – to (i tu odwołamy się do terminu fachowego) plan trafny. Tylko trafny plan umożliwi przeprowadzenie badania eksperymentalnego, którego wyniki pozwolą jednoznacznie się odnieść do sprawdzanej hipotezy badawczej. Problematyka trafności planu eksperymentalnego jest bardzo ważna i znalazła swoje miejsce w opracowaniach metodologów. Tutaj przywołamy naj-
bardziej znaną w literaturze psychologicznej koncepcję Thomasa Cooka i Donalda Campbella (1979; wcześniej: Campbell i Stanley, 1967), którzy wyróżnili aż cztery typy trafności:

(1) trafność wnioskowania statystycznego (statistical

conclusion validity),

(2) trafność wewnętrzną (internat ualidity),

(3) trafność teoretyczną domniemanych przyczyn i efektów (construct validity of putative causes and ęffects),

(4) trafność zewnętrzną (extemal ualidity).

W przedstawionej kolejności omówimy je i wskażemy na najważniejsze czynniki, które mogą ową trafność zakłócać. Dobre omówienie problemu czynników zakłócających cztery typy trafności, wraz ze wskazaniem środków naprawczych i zapobiegawczych.

Trafność wnioskowania statystycznego i czynniki zakłócające. Planując badanie eksperymentalne, psycholog powinien starać się zaplanować także analizy statystyczne, którym poddane zostaną wyniki pretestów i posttestów oraz ich porównania — międzygrupowe (będące źródłem danych niezależnych) oraz wewnątrzgrupowe (będące źródłem danych zależnych). Poza miarami dyspersji psycholog stosuje jeszcze miary korelacji i testy istotności (w kontekście badań eksperymentalnych będą to testy istotności różnic, na przykład między średnimi wyników pretestów i posttestów). Nie jest obojętne, jakim testem statystycznym do oceny istotności statystycznej wielkości różnic posłuży się badacz. Wybór niewłaściwego testu albo posłużenie się testem właściwym, ale w sposób prowadzący do wyniku obciążonego błędem (bias) naruszać będzie trafność badania eksperymentalnego. W szczególności chcielibyśmy zwrócić uwagę  na pierwszy czynnik zakłócający – na naruszanie założeń testów statystycznych. Każdy test istotności statystycznej, na przykład dotyczący oceny różnicy między dwiema średnimi: MEKSP i Mkontr., daje rzetelne (wiarygodne) rezultaty, upoważniające badacza do stwierdzenia, że zaobserwowana różnica między tymi średnimi występuje de facto tylko wówczas, gdy spełnione są określone założenia podane przez autora danego testu. I tak, jeżeli rzeczoną różnicę między średnimi chcielibyśmy oceniać za pomocą bardzo popularnego w środowisku psychologów eksperymentalnych testu t Studenta, to nasz materiał eksperymentalny powinien odpowiadać następującym standardom (Ferguson i Takane, 2003, s. 207):

Dodajmy jeszcze, że zmienna zależna powinna być zmienną ilościową (interwałową lub ilorazową – tym standardom odpowiada także zmienna zależna o wartościach: {0,1}). Podobnie można podać założenia dla testu F w ANOVA. Testy różnią się pod względem odporności na naruszanie założeń. Każdy badacz powinien rozpatrzyć ten problem w kontekście konkretnego zastosowania danego testu i – gdyby zachodziła taka konieczność – podjąć odpowiednie środki zaradcze. Jeżeli uzyskane w badaniu eksperymentalnym wyniki nie spełniają założeń, a badaczowi nie udało się ich „naprawić”, to musi się on liczyć z tym, że podejmie decyzję statystyczną, która będzie obciążona błędem. Może on nie odrzucić hipotezy zerowej, gdy de facto jest ona fałszywa. Pewnym wyjściem z tej trudnej sytuacji jest rezygnacja z takich testów, jak test t czy F (zwanych testami parametrycznymi, ponieważ odnoszą się do parametrów rozkładów wyników zmiennej zależnej w populacji -średnich i wariancji), i sięgnięcie po jakiś test nieparametryczny, który jest wolny od założeń dotyczących parametrów rozkładów wyników zmiennej zależnej w populacji – stąd ich inna nazwa: testy wolne od założeń (free distribution tests). W każdym razie badacz nie może swobodnie dobierać testów statystycznych; musi zwracać uwagę na postać uzyskanych wyników – na ich rozkłady. W dobrych podręcznikach statystyki dla psychologów problem założeń testów oraz odchyleń od tych założeń jest dyskutowany.

Drugi czynnik zakłócający ten typ trafności to niska rzetelność narzędzi pomiarowych. Dość popularną ope-racjonalizacją konstruktów teoretycznych (zmiennych teoretycznych) w badaniach psychologicznych jest odwołanie się do testów psychologicznych. Badacze uwzględniający w pretestach i posttestach ich wyniki nie mogą zapominać, że są one – jak każde narzędzie pomiarowe (na przykład chronometr czy taśma miernicza) -obciążone pewnym błędem pomiaru. W odniesieniu do testów psychologicznych (testów inteligencji, testów zdolności i umiejętności, kwestionariuszy osobowości, skal postaw) powinno się zwracać uwagę na rzetelność testów (ta powinna być jak najwyższa) i na błąd standardowy pomiaru (ten zaś powinien być jak najniższy). Jeżeli badacz zastosuje politykę strusią wobec stosowanych narzędzi pomiarowych, to narazi się na uzyskanie być może całkowicie bezużytecznych wyników.

I jeszcze jeden, trzeci czynnik naruszający trafność planu eksperymentalnego – niejednorodność (heterogeniczność) badanych grup. Napisaliśmy, że badacze odwołujący się do eksperymentu jako poznawczo najmocniejszej metody sprawdzania hipotez starają się tak postępować w fazie doboru próby, aby była ona w maksymalnym stopniu jednorodna (homogeniczna). Zminimalizowanie różnic indywidualnych w próbie sprawi, że wariancja wewnątrzgrupowa również będzie minimalna. To zaś oznacza, że możliwe będzie zmaksymalizowanie wartości statystyki danego testu istotności różnic, na przykład testu t różnic między dwiema średnimi (jako że wraz ze spadkiem zmienności wewnątrzgrupowej zmniejsza się wielkość mianownika stosunku t, a to z kolei oznacza, że zwiększa się wielkość stosunku t). Powiększanie heterogeniczności grup: eksperymentalnej i kontrolnej będzie zwiększało wariancję błędu i zmniejszało szanse na odrzucenie nieprawdziwej hipotezy zerowej (mówiącej o braku różnic między średnimi), gdy de facto występuje różnica, o której traktuje hipoteza robocza. W ostatnich latach zwraca się uwagę psychologów na dokonywanie szczegółowej analizy rozkładów wyników (a także na problem heteroge-niczności wyników w analizowanych grupach). Zbyt dużą wagę przywiązywano dotychczas do mechanicznego testowania hipotez (ułatwiają to niezwykle popularne pakiety statystyczne, na przykład SPSS.