Jak przeprowadzić meta-analizę?
Koncepcja meta-analizy
Meta-analiza jest zestawem procedur statystycznych używanych do dostarczania transparentnych, obiektywnych, i replikowalnych podsumowań odkryć badawczych. Meta analiza odnosi się do procesu integracji wyników wielu badań naukowych, by dostarczyć potwierdzającej ich syntezy (Normand, 1999). Meta analiza jest w istocie systematycznym przeglądem wielu badań przedstawionych w podsumowującym oszacowaniu statystycznym. Poniżej wypunktujemy kluczowe kroki przeprowadzenia meta-analizy. Wpis ten jest podstawowym wprowadzeniem do procesu meta-analizy.
O meta-analizie.
Gane Glass (1976) wprowadził termin meta-analiza, by odnieść się do terminu jakim jest „statystyczna analiza duża kolekcja wyników z poszczególnych badań dla celów integracji wyników”. Jak wiele procedur statystycznych i analiz, meta-analiza ma swoje mocne i słabe strony, niemniej aktualnie jest standardowym narzędziem dla dostarczania przejrzystych, obiektywnych i replikowalnych podsumowań odkryć badawczych w naukach społecznych, medycynie, edukacji i innych polach.
Na starcie meta-analitycznego dążenia, pytanie badawcze musi być sformułowane z precyzją, bo pytania te będą wpływać na całość meta-analitycznego procesu np. Czy palenie tytoniu powoduje raka płuc? Następnie, podobnie jak w jakichkolwiek pracach empirycznych, muszą być ustalone kryteria włączenia i wyłączenia publikacja do meta-analizy np. tylko badania korelacyjne, tylko na dorosłych, tylko z jakichś lat itd. Dostarcza to jasności jak wyniki badania mogą być zgeneralizowane na zdefiniowaną populację publikacji. Jednym z celów każdej meta-analizy jest zebranie reprezentatywnej próbki głównych badań które spełniają kryteria badania. Systematyczna strategia badania zawiera dwa główne kroki: (1) Zdefiniowanie kryteriów włączenia i wyłączenia (2) wybranie badań do meta-analizy.
- Kryteria włączenia i wyłączenia. Definiowanie kryteriów włączenia i wyłączenia powinny bazować na hipotezie badawczej. Tak więc, jest ważne, by zrobić to możliwie wyraźnie i troskliwie kiedy definiuje się te kryteria.
- Wybranie badania. Wybór badań i ekstrakcja danych jest częst najbardziej konsumującym czas procesem przy przeprowadzaniu meta-analizy. Proces wyboru badań zwykle polega na szczególnej sekwencji od wstępnego przeszukania do kodowania sił efektu z pojedynczego badania. Może być pomocne strukturyzowanie procesu selekcji badań bazując na 4 krokach (identyfikacja badań, skanowanie, wybieralność i włączenie) według szczegółowych standardów raportowania wyników metaanaliz (MARS http://www.apa.org/pubs/
authors/jars.pdf ).
Powyższe kroki powinny być podwójnie kodowane, przez dwóch lub więcej pracowników, by zapewnić większą obiektywność i precyzję w procesie wyboru badań.
Ekstrakcja informacji na poziomie badania i generowanie rzetelnych statystyk.
Charakterystyki badania i niezbędne dane do obliczenia miar siły efektów powinny być uzyskane z każdego badania włączonego do meta-analizy. Większość badań raportuje więcej wyników niż miary do obliczenia sił efektów.
Dane uzyskane z badań powinny być kodowane przez dwóch lub trzech współpracowników, by zapewnić odpowiedni poziom zgodności informacji. Podwójne kodowanie jest używane do ustalenia stopnia z którym kodowanie skrzywia metaanalityczne odkrycia. Podwójne kodowanie powinno być oceniane współczynnikiem korelacji wewnątrzklasowej dla zmiennych ciągłych oraz współczynnikiem Kappa dla zmiennych kategorialnych.
Obliczanie sił efektu.
Siła efektu (ES od ang. Effect Size) jest wartością która odzwierciedla wielkość związku (lub różnicy) pomiędzy dwiema zmiennymi. Zmienność ES jest używana do obliczenia przedziałów ufności wokół ES i odzwierciedla precyzję oszacowania ES. Zmienność ta jest w większości funkcją wielkości próby. Odwrotność wariancji jest typowo używana do kalkulowania wag badań w których większe badania są dokładniejszymi oszacowaniami „prawdziwego ES i są ciężej ważone w podsumowaniu (analizie omnibusowej). Jest wiele typów ES, takich jak standaryzowana różnica średnich (d Cohena, g Hedgesa), współczynnik korelacji, regresji, OR (odds ratio) RR (relateive risk), R-Kwadrat itp.
Agregregowanie zależnych sił efektów lub wielopoziomowa meta-analiza.
Meta-analityczna interwencja dla pojedynczej próbki często niesie wielokrotne ES, takie jak wyniki raportowane dla dwóch lub większej ilości zmiennych zależnych, każda z nich dostarcza oszacowania skuteczności badanego efektu. Statystyk może zarówno wybrać (1) włączenie wielokrotnych ES z tej samej próbki dl meta-analizy lub (2) zagregować je przed analizą, co sprawi, że każda niezależna próba będzie dostarczała pojedyńczego ES. Jest rekomendowane zależnych od siebie ES ze względu, że włączenie wielokrotnego ES z tej samej próby może zwracać stronnicze oszacowania. Jest kilka opcji egregowania ES. Najbardziej powszechną, ale nie rekomendowaną, procedurą jest naiwna średnia (nieważona średnia z próbki). Procedury które uwzględniają korelacje wewnątrzgrupowych ES ją rekomendowane. Te włączają procedury jednoczynnikowe takie jak BORNSTEIN, HEDGES, HIGGINS i ROHSTEIN, GLESER i OLKIN oraz wielowymiarowe/wielopoziomowe HEDGES. W przypadku wielu ES w jednym badaniu najlepiej wykonać wielopoziomową meta-analizę, ponieważ jest to jedyna rozsądna metoda która bierze pod uwagę hierarchiczną naturę wyników (wiele ES (poziom 1 analizy) jest zagnieżdżonych w jednym badaniu (poziom 2 analizy)
Nasza publikacja związana z wielopoziomową meta-analizą opublikowana w bardzo fajnym journalu 🙂
Grochowska, A., Młyniec, A., Hryniewicz, A., Józefowicz, A., Ponikowska-Szmajda, K., Kaczmerek (Ozimek), A., Wisiecka, K., Ślęzak, P., Krejtz, K., (2024) How does personality affect perception of advertising messages? The Big Five model and advertising responses: a meta-analysis, International Journal of Advertising https://doi.org/10.1080/02650487.2024.2321806
Sharon-Lise T Normand. Tutorial in biostatistics meta-analysis: formulating, evaluating, combining, and reporting. Statistics in medicine, 18(3):321{359, 1999.
