Trafność zewnętrzna badania i czynniki ją zakłócające

„Trafność zewnętrzna i czynniki ją zakłócające.

Trafność zewnętrzna planu eksperymentalnego związana jest z pytaniem o zakres wniosków, które badacz sformułował na podstawie wyników uzyskanych z zakończonego badania przeprowadzonego według danego planu eksperymentalnego. Trafność zewnętrzna dotyczy zakresu generalizacji (uogólniania) wniosków z przeprowadzonego badania. Prowadząc jakiekolwiek badanie empiryczne, psycholog zakłada, że poczynione przez niego ustalenia odnoszące się do treści testowanych hipotez i analiz statystycznych nie będą miały jedynie waloru wąskiego odniesienia do rzeczywiście poddanych przez niego badaniu empirycznemu (eksperymentalnemu czy korelacyjnemu) osób, ale będą miały walor ogólny. Oznacza to, że badacz będzie musiał rozważyć odniesienie do następujących okoliczności:

(1) osób z całej określonej populacji, z której osoby badane zostały wyłonione, a nie tylko do osób przez niego przebadanych; w badaniu nie idzie przecież tylko o sporządzenie psychologicznego portretu osób z przebadanych grup — eksperymentalnej i kontrolnej;

(2) innych warunków, w których przeprowadzono badanie; inaczej mówiąc, jest to problem typowości warunków badania dla warunków pozaeksperymentalnych, na które będą uogólniane wyniki przeprowadzonego badania eksperymentalnego;

(3) zastosowanej metody operacjonalizacji zmiennych; należy się zastanowić nad tym, czy uzyskiwane przez badacza wartości zmiennych zoperacjonalizowanych nie zniekształcają rzeczywistych wartości zmiennych przysługujących osobom z populacji, które w warunkach życia codziennego – przed wprowadzaniem określonego postępowania, wzorowanego na postępowaniu eksperymentalnym – były poddawane pretestom; ważne jest rozpatrzenie alternatywnych metod operacjonalizacji każdej zmiennej i zwrócenie uwagi na zależności między wynikami uzyskanymi z pomiaru tej samej zmiennej, ale za pomocą różnych narzędzi; w tym kontekście warto zwrócić uwagę na tak zwany aspekt zbieżny trafności (convergent ualidity) o którym mówili w swojej klasycznej pracy Donald Campbell i Donald Fiske.  Autorzy ci postulowali, aby trafność każdej zmiennej była ustalana za pomocą „niezależnych procedur pomiarowych”

(4) czasu, w jakim badacz chce odnieść wnioski z badania do danej populacji i danej sytuacji; ten zabieg wymaga rozważenia problemu porównywalności czasu badania i czasu korzystania z wyników tego badania; nie ma znaczenia, że eksperyment Yerkesa i Dodsona został przeprowadzony sto lat temu; podobnie wyniki badań Pawłowa nie straciły na aktualności – dziś powtórzone, podobne eksperymenty dostarczą takich samych rezultatów, trzeba by zapewne wielu tysięcy lat, aby ewolucja zrobiła z naszym organizmem coś takiego, że wyniki te przestałyby obowiązywać.

Dokonując replikacji badania eksperymentalnego postępując według programu SMAR w zmienionych warunkach sytuacyjnych i uwzględniając nowe populacje, zwiększymy trafność zewnętrzną badania. Stosując klasyczny sposób kontroli zmiennych ubocznych (poprzez ustalenie stałych wartości zmiennych niezależnych ubocznych—swoiste wystandaryzowanie osób badanych), znacząco ograniczamy zakres wniosków, a tym samym i trafność zewnętrzną. Możemy tego uniknąć, rezygnując z przeprowadzenia badania eksperymentalnego według klasycznych planów „zero-jedynkowych” na rzecz planów bardziej złożonych. Takie zalecenie formułuje wprost ojciec nowoczesnego eksperymentowania, opartego na opracowanej przezeń analizie wariancji, Fisher.

Kończąc omawianie tematu trafności zewnętrznej,  nie jest możliwe uzyskanie wysokiej trafności wewnętrznej i równie wysokiej trafności zewnętrznej. W pierwszym wypadku bowiem zmierzamy do wysokiej standaryzacji warunków badania i osób poddanych badaniu. A to oznacza — niekiedy dramatyczne – zawężanie (bywa, że do całkowitego odrealnienia warunków badania) wniosków z badania — a tym samym obniżenie trafności zewnętrznej. Z kolei przybliżanie warunków eksperymentu do warunków życia codziennego (wzrost trafności zewnętrznej) pociąga za sobą niepożądany skutek pod postacią utraty kontroli nad zmiennymi ubocznymi i zakłócającymi, czyli obniżenie trafności wewnętrznej. Niestety, jak to w życiu bywa, badacz skazany jest na przyjęcie jakiegoś kompromisu. Wydaje się, że takim kompromisem może być dobrze zaprojektowany — z zachowaniem zasady randomizacji – eksperyment terenowy.

Analizując problem trafności zewnętrznej planu eksperymentalnego, według którego badacz projektuje przeprowadzenie badania eksperymentalnego, nie może pomijać wskazanych czterech punktów. Musi też przeanalizować potencjalne źródła zakłóceń, na które może się natknąć w trakcie uogólniania wyników. Warto więcej miejsca poświęcić jeszcze trzem kwestiom, scharakteryzowanym dalej „interakcja „badacz -osoba badana” również zniekształca trafność zewnętrzną.

Interakcja selekcji z postępowaniem eksperymentalnym.

Nierespektowanie zasady randomizacji może doprowadzić do tego, że w grupie eksperymentalnej znajdą się osoby bardziej podatne na postępowanie eksperymentalne niż w populacji, o której zakładamy, że z niej pochodzi badana próba. Z kolei w grupie kontrolnej znajdą się osoby znacząco mniej podatne na postępowanie eksperymentalne niż populacja, na którą badacz ma zamiar uogólnić wnioski z badania. Badacz otrzyma wówczas efekt interakcji selekcji osób do obu grup: eksperymentalnej i kontrolnej z manipulacją eksperymentalną. Na przykład nowa metoda nauczania może dać bardzo dobre rezultaty w jednej grupie, a w drugiej nie, ponieważ w pierwszej (eksperymentalnej) były dzieci o wysokim poziomie inteligencji, a w drugiej (kontrolnej) poziom inteligencji dzieci był poniżej przeciętnej w populacji. Nie można będzie uznać tych wyników za reprezentatywne dla całej populacji uczniów.

Interakcja warunków badania z postępowaniem eksperymentalnym. Prowadzenie badań w warunkach cieplarnianych, na przykład w tak zwanych szkołach eksperymentalnych, stale współpracujących z uniwersytetami, może przynieść wyniki obciążone błędem. Takie szkoły bowiem na ogół są lepiej wyposażone, pracują w nich lepiej przygotowani nauczyciele, a i uczniowie różnią się od tych uczęszczających do zwykłych szkół. Podobnie prowadzenie badań w uczelnianych klinikach psychiatrycznych może dać inne rezultaty od tych, które można byłoby uzyskać, prowadząc badania w dużych, prowincjonalnych szpitalach psychiatrycznych.

Interakcja pretestu z postępowaniem eksperymentalnym.

Osoby poddane pretestowi będą inaćzej reagowały na postępowanie eksperymentalne aniżeli osoby w populacji, wobec których zechcemy zastosować – wypróbowany w tym badaniu – program oddziaływania (zmienna niezależna główna). Oznacza to, że pretest może „pomagać” zmiennej niezależnej w „dotarciu” do osób badanych. W szczególności może się okazać, że tak naprawdę to sam pretest (treść pytań kwestionariusza czy skali postaw) jest dodatkowym, niezaplanowanym przez badacza źródłem wariancji zmiennej zależnej, a badacz mylnie sądzi, iż zaobserwowana – poprzez porównanie posttestu z pretestem — zmiana wyników (postaw, wiedzy) jest rezultatem testowanego przezeń programu oddziaływania na osoby badane.  Załóżmy, że wprowadzenie określonego postępowania wzorowanego na postępowaniu eksperymentalnym, na przykład reklamyjakiegoś znaku towarowego, w populacji nie zostanie poprzedzone pretestem, w którym można byłoby sprawdzić, w jakim stopniu osoby badane -przed zapoznaniem się z treścią reklamy są w stanie rozpoznać ów znak towarowy na tle innych znaków. Pretest uwrażliwi te osoby na spostrzeganie reklamy i byłby czynnikiem wzmacniającym oddziaływanie manipulacji eksperymentalnej na zmienną zależną. W takim wypadku moglibyśmy mówić o interakcji „pretest — manipulacja eksperymentalna” jako o istotnym źródle wariancji zmiennej zależnej.”

Cytat pochodzi z książki: Jan Strelau, Dariusz Doliński. Psychologia Akademicka . Tom 1. GWP

Potrzebujesz wsparcia lub usług statystyczno-metodologicznych? Napisz do nas lub zadzwoń. Oferujemy niskie ceny przy badaniach korelacyjnych i prostych eksperymentach!

Władzą jest wiedza o źródłach zmienności Metodolog.pl motto