Trafność wewnętrzna badania i czynniki ją zakłócające Metodolog.pl

Trafność wewnętrzna i czynniki ją zakłócające.

Jak już zwróciliśmy na to uwagę w innych wpisach, plan eksperymentalny można uznać za trafny wewnętrznie, jeżeli przeprowadzone według niego badanie pozwoli wyeliminować potencjalne, konkurencyjne względem zmiennej niezależnej głównej, przyczyny zaobserwowanej przez badacza zmienności międzygrupowej zmiennej zależnej. Owe konkurencyjne wyjaśnienia zmienności zmiennej zależnej związane są z czynnikami odnoszącymi się do:

(a) sposobu organizacji badania,

(b) przebiegu samego badania,

(c) niespecyficznych zachowań osób badanych w sytuacji badania eksperymentalnego

(d) wpływu czynników z otoczenia fizycznego i społecznego sytuacji badawczej.

Zatem plan eksperymentalny będzie trafny wewnętrznie, jeżeli w przeprowadzonym według niego badaniu możliwe będzie ujawnienie zależności między zmienną zależną a zmienną niezależną główną (manipulacją eksperymentalną), gdy de facto ona zachodzi.

Aby tak się stało ( aby otrzymać wysoką trafność wewnętrzną), muszą być spełnione następujące wymagania:

(1) Plan powinien być adekwatny do hipotezy (i tak, na przykład plany „0-1” nie są adekwatne do testowania hipotez zakładających zależność krzywoliniową zmiennej zależnej od zmiennej niezależnej głównej).

(2) Badacz powinien kontrolować wszystkie czynniki mogące mieć — poza zmienną niezależną główną – wpływ na zachowanie (także to niespecyficzne) osób badanych w trakcie badania eksperymentalnego.

(3) Badacz powinien efektywnie manipulować zmienną niezależną główną, czyli powinien stworzyć takie warunki badania, które zapewnią maksymalizację wariancji międzygrupowej zmiennej zależnej, wyjaśnionej oddziaływaniem na tę zmienną postępowania eksperymentalnego (efekty jego wpływu na zmienną zależną można będzie oddzielić od szumu pochodzącego z pozostałych źródeł). Jeżeli na przykład dawka kofeiny zawarta w kawie podanej osobom z grupy eksperymentalnej będzie zbyt; mała, to ich czas reakcji nie będzie istotnie mniejszy od czasu reakcji osób z grupy kontrolnej; badacz zaś dojdzie do wniosku, że kofeina nie działa pobudzająco.

Trafność wewnętrzna zakłócana jest między innymi przez następujące czynniki:

(1) Historia. Im dłuższy czas dzieli pretest i posttest, tym bardziej prawdopodobna staje się możliwość, że na osoby uczestniczące w badaniu eksperymentalnym poza manipulacją eksperymentalną zadziałały jakieś zmienne z kontekstu zewnętrznego, w którym zanurzone jest prowadzone badanie. Mogą to i być dokonujące się właśnie ważne przemiany społeczne, których oddziaływanie wzmacnia (lub osłabia) wpływ zmiennej niezależnej głównej na zmienną zależną. Na przykład Sułek (1979, s. 73) podaje opis badań rynkowych, w których oceniana jest skuteczność reklamy określonego towaru. Nieprzewidziane przez badacza pojawienie się na rynku nowego, bardzo atrakcyjnego towaru o tym samym przeznaczeniu, co towar reklamowany, może spowodować spadek zainteresowania pierwszym towarem, a badacz może dojść do błędnego wniosku, że reklama okazała się mało skuteczna. Czynnik historii może mieć duży, aczkolwiek ukryty wpływ na uczniów w badaniach nad skutecznością oddziaływań wychowawczych i edukacyjnych; w tego typu badaniach na ogół pretest przeprowadza się na początku roku szkolnego, a posttest – na końcu roku szkolnego. Od wpływu tego czynnika wolne są na
ogół eksperymenty laboratoryjne, prowadzone w dobrze kontrolowanych warunkach (między innymi zapewniona jest izolacja osób badanych od wpływów zewnętrznych, pozalaboratoryjnych). Niestety, prowadząc badania w warunkach terenowych, w otoczeniu naturalnym (klasa szkolna, szpital, rodzina, fabryka), na ogół nie możemy sobie pozwolić na taki luksus. Musimy tedy radzić sobie inaczej, na przykład przez wybór takiego planu eksperymentalnego, w którym możliwa jest kontrola czynnika historii.

(2) Dojrzewanie. Działanie tego czynnika jest podobne do czynnika historii, z tą jednak różnicą, że źródłem zakłóceń jest sam organizm czy psychika osoby uczestniczącej w badaniu eksperymentalnym. W długim okresie dzielącym pretest i posttest zachodzić mogą naturalne zmiany związane z dojrzewaniem fizjologicznym i psychicznym badanych, a ich oddziaływanie na zmienną zależną może albo wzmacniać, albo osłabiać efekt eksperymentalny. Co więcej, efekt tego czynnika może być niekiedy mylnie utożsamiany z efektem eksperymentalnym. Szczególnie narażone na oddziaływanie tego czynnika są badania prowadzone na dzieciach.

3) Testowanie. Aby poznać wyjściowy poziom zmiennej zależnej w obu grupach: eksperymentalnej i kontrolnej, badacz dokonuje pomiaru zmiennej zależnej (pretestu). Takie pomiary, jak czas reakcji czy reakcja skórnogalwaniczna, nie mają wpływu na to, jak osoba badana przyjmie postępowanie eksperymentalne, ani na wyniki pomiaru końcowego zmiennej zależnej (posttestu). Mówiąc inaczej, pomiary te nie uwrażliwiają osób badanych. Nie wchodzą też w interakcję z manipulacją eksperymentalną. Inaczej jednak przedstawia się sprawa z pomiarem postaw. Może bowiem być tak, że to nie postępowanie eksperymentalne jest głównym (czy jedynym) źródłem wariancji zmiennej zależnej, lecz fakt poddania pretestowi zmiennej zależnej osób z obu grup: eksperymentalnej i kontrolnej oraz interakcja pretestu z manipulacją eksperymentalną. Już S. Ossowski (1967, s. 256) zwracał uwagę na fakt, że: „[…] ludzie poddani badaniom ankietowym lub wywiadom nie są tymi samymi ludźmi, jakimi byliby bez tych badań: postawione pytania wprowadzają ich w nową sytuację i zmuszają myśleć o sprawach, o których, być może, wcale by nie myśleli. Ponieważ badacz na ogół nie chce rezygnować z przeprowadzenia pretestu, musi więc przeprowadzić badanie eksperymentalne w taki sposób, aby nie rezygnując z pretestu, poddać go kontroli. Jest to w pełni możliwe jedynie wówczas, jeżeli badanie zastanie przeprowadzone według opisanego wcześniej planu Solomona.

(4) Selekcja. Stronniczy dobór osób do grup eksperymentalnej i kontrolnej może zwiększać prawdopodobieństwo potwierdzenia hipotezy badawczej. Wystarczy, że badacz dobierze do grupy eksperymentalnej osoby o zdecydowanych poglądach antyaborcyjnych (na przykład członków ruchu na rzecz obrony życia poczętego), a do grupy kontrolnej osoby z ruchu feministycznego, aby uzyskać silny efekt oddziaływania eksperymentalnego polegającego na kształtowaniu postaw antyaborcyjnych. W sytuacji odwrotnej (gdy feministki znajdą się w grupie eksperymentalnej, a obrońcy życia poczętego w grupie kontrolnej) możemy uzyskać silny efekt eksperymentalny polegający na kształtowaniu postaw proaborcyjnych. Antidotum na działanie tego czynnika jest losowy przydział obserwacji  do badania i do grup eksperymentalnych (trafność wewnętrzna)

Trafność wewnętrzna domniemanych przyczyn i efektów oraz czynniki ją zakłócające.

Planując badanie eksperymentalne, psycholog musi przejść przez etap wyłonienia i zdefiniowania zmiennych niezależnych, które będą kontrolowane w badaniu eksperymentalnym, oraz zdefiniowania zmiennej zależnej. Owe definicje podane są w języku zakładanej przez psychologa teorii. I to jest – jak pisze West (1985/2006) – pierwszy poziom analizy. Po zdefiniowaniu zmiennych albo — inaczej mówiąc – odniesieniu ich do danej teorii psychologicznej badacz musi przejść na drugi poziom analizy, na którym dokonuje się operacjonalizacja każdej zmiennej uwzględnionej w planie badania, pojmowanej jako konstrukt teoretyczny. Innymi słowy, badacz dopasowuje do teoretycznej definicji zmiennej zbiór operacji empirycznych, za pomocą których będzie mógł ustalić, jakie wartości dana zmienna przyjmuje dla poszczególnych osób uczestniczących w badaniu. Na przykład zdefiniowanie zmiennej „temperament” na gruncie Regulacyjnej Teorii Temperamentu Jana Strelaua w sposób niejako naturalny odsyła do Kwestionariusza Temperamentu autorstwa Strelaua i Zawadzkiego.

Pierwszy problem pojawia się na styku teoretycznego i operacyjnego ujęcia każdej zmiennej. Bywa i tak, że badacze posługują się testami psychologicznymi, które nie mają sprecyzowanej trafności wewnętrznej / teoretycznej (construct validity).

Drugi problem występuje wówczas, gdy chcemy wyjaśnić to, co się stało w eksperymencie. Dokonując manipulacji zmienną niezależną główną, badacz wskazuje na nią jako domniemają przyczynę obserwowanej zmienności zmiennej zależnej (efekt owej manipulacji). Rodzi się jednak pytanie, czy rzeczywiście ta zmienna niezależna jest wyłącznie odpowiedzialna za wywołaną zmienność zmiennej zależnej. Jeżeli badacz nieprecyzyjnie, czy nawet wadliwie zoperacjonalizował tę zmienną niezależną, to tak naprawdę nie wiadomo, co mierzył, a jeśli przy tym jeszcze nie kontrolował wszystkich zmiennych ubocznych i zmiennych zakłócających, to nie wie także, co (albo co jeszcze) wpływało na zmienną zależną. Przecież badacz i osoba badana mogli sami stać się dodatkowym źródłem wariancji zmiennej zależnej. W badaniach psychologicznych jest to całkiem realne zagrożenie. Badacz, który tego nie dostrzega, zdaje się zapominać, że jest psychologiem. (trafność wewnętrzna)