Modelowanie równań strukturalnych (z ang. Structural Equation Modeling, w skrócie SEM): Co to jest, co ma wspólnego z muzyką hippie i dlaczego SEM zjada ciastka by pozbyć się błędu pomiaru?

Czy chciałbyś otrzymać statystyczne narzędzie, które jest potężne, łatwe w nauce, pozwala na modelowanie skomplikowanych struktur danych, łączy w sobie analizę wariancji, test t, regresję wielokrotną i jeszcze wiele innych?

 Proszę bardzo! Kursy statystyki w psychologii często dziś oferują zajęcia z modelowania równań strukturalnych, statystyczne narzędzie które pozwala na wyjście poza klasyczne analizy poprzez łączenie ich i dodawaniu kolejnych. Zapoznajmy się z tym ciekawym narzędziem, czym ono w ogóle jest i dowiedzmy się na czym polega zaskakująca zbieżność SEM z kulturą hippie!            Ten artykuł może być szczególnie przydatny dla tych z was, którzy nie mieli okazji uczyć się analizy równań strukturalnych, bądź nie wiele o nim pamiętają. Chciałbym zapewnić bardzo bogatą odpowiedź na wcale nie trywialne pytanie „Czy jest SEM?”.  By zmierzyć się z tym pytaniem, udamy się w podróż przez ewolucje w świecie muzyki i statystyki we wczesnych latach 60. Przyjrzymy się konceptowi zmiennych latentnych oraz pokrewnym tematem dot. sensu i znaczenia usuwania błędu pomiaru, czyli tego co jest wskazywane jako główna zaleta SEM. Na koniec wskażemy założenia modelu włączając w to zmienne latentne i sprawdzimy czy czy SEM może być Bayesowski.

Historia: Korzenie Modelowania Równań Strukturalnych

Zacznijmy od muzyki. Na długo przed tym jak światem owładnęły legendy rock’a puszące się na scenie w szkolnych mundurkach i nim niecnie wykorzystano dziecięce zabawki na rzecz straszliwych metalowych klaunów, w połowie lat 60 łagodny duet fajtpłapów był uznawany za diabelską muzyką zaś delikatnie ochrypły głos uznawany był za dziki. Hard rock, łączący moc elektrycznych gitar z bluesowymi elementami, wyłaniał się co prawda w tamtym czasie, jednakże był wciąż ograniczony raczej do tradycyjnych struktur pop’owych.

Podobnie w statystyce, naukowcy w połowie lat 60 mieli do wyboru ograniczoną liczbę analiz. Co prawda były one przydatne, ale dość specyficzne i ograniczone do swojego wąskiego obszaru użytkowania. Jako pierwszy, na początku 20 w. Spearman stworzył technikę obliczeniową analizy czynnikowej, która pozwalała mu na ocenę założenia występowania głównych czynników inteligencji. Pozwala ona na redukowanie dużej liczby zmiennych do ich mniejszej liczby znajdując wspólne, nieobserwowalne zmienne latentne, o których później. Następnie Pearson (1908) oraz Fisher (1922,1925) rozwinęli regresję wielokrotną wraz z pokrewnymi analizami pozwalającymi na oszacowanie relacji między dwoma konstruktami kontrolując  w między czasie negatywnych wpływ zmiennych zakłócających. Jako trzeci Wright (1918,1921,1934) stworzył technikę analizy ścieżkowej dzięki której można w jednym momencie oszacować przyczynowa relacja między różnymi zmiennymi.

Od tego momentu przełomowe wydarzenia miały wystąpić, zarówno w muzyce jak i w statystyce i analizach danych. Od połowy do późnych lat 60, hippisi zerwali z tradycyjnym popem i niektóre z pierwszych technik związanych z SEM zostały przedstawione, co pozwoliło naukowcom na zerwanie z więzami tradycyjnych metod statystycznych.

W muzyce hippisi postawili kolejny krok i scalili blues, muzykę z rockową i progresywną, czasem z widoczną naleciałością substancji odurzających. To przyniosło zunifikowany, bardziej ogólny a tym samym bardziej liberalny styl znany jako psychodeliczny rock. W statystyce, podobnie choć zapewne z mniejszą ilością przyjmowanych substancji odurzających, kilku geniuszy postawiło kolejny krok i połączyło logikę analizy czynnikowej, regresji wielokrotnej i analizy ścieżkowej z progresywnym myśleniem. To przyniosło zunifikowaną, bardziej ogólną strukturę modelowania struktury kowariancji (Jöreskog, 1969, 1970),  która jest rdzeniem modelu analizy równań strukturalnych. Ta metoda zawdzięcza swoją nazwę temu, że zamiast modelowania wszystkich poszczególnych punktów zbioru danych, uwzględnia wyłącznie wariancję i kowariancję zmiennych. One są łączone w mniejszą liczbę zmiennych, które są powiązane wzajemnie ze sobą, scalając model równań strukturalnych.

By zwizualizować tę technikę, przedstawiono „pełne” równanie strukturalne na grafice nr1. „Pełne” oznacza, że model ma część poświęconą pomiarom i część poświęconą strukturze. Model łączy aspekty, wszystkich trzech wspomnianych podejść statystycznych. W części poświęconej pomiarom, która zamienia zebrane dane w psychologiczne konstrukty reprezentowane jako zmienne latentne, struktury podobne do analizy czynnikowej są modelowane. Część poświęcona strukturze obrazuje jak psychologiczne konstrukty wiążą się ze sobą. Tutaj, struktury podobne do regresji wielokrotnej i analizy ścieżkowej są modelowane.

Grafika nr 1. Zobrazowanie „pełnego” modelu równania strukturalnego (lub też inaczej „pełnego modelu pomiarowego”), składa się z 3 części związanych z pomiarem (jedno z nich w czerwonym prostokącie) oraz części związanej ze strukturą (w zielonym prostokącie). Zmienne latentne n1 – n3 przedstawiają teoretyczne konstrukty, które są oszacowywane przy użyciu macierzy kowariancji na bazie danych składających się ze zmiennych x i y. Przerywane  strzałki wskazują, które z trzech uprzednio omawianych tradycyjnych technik statystycznych (analiza czynnikowa, regresja wielokrotna, modelowanie ścieżkowe) są łączone i reprezentowane.

Boom! Nastaje koniec rockowych lat 60, technika nazywana modelowanie struktury kowariancji wkracza na scenę i okazuję się być prawdziwą gwiazdą,  zdolną integrować przeróżne podejścia statystyczne.

Pośredni rezultat: Czym jest analiza równań strukturalnych SEM?

Jak dotąd powiedzieliśmy, że SEM jest oparty na modelowaniu struktury kowariancji, które jest zdolne do łączenia opisanych zdolności różnych wcześniejszych technik: duża liczba zmiennych może zostać zredukowane do małej liczby czynników bądź zmiennych latentnych. A te z kolei można połączyć skomplikowanymi relacjami między sobą, cały czas kontrolując kowariancję, wszystko w obrębie jednego modelu. To pozwala na testowanie złożonych hipotez i teoretycznych modeli, które angażują rożne konstrukty w obrębie tego samego statystycznego modelu.

To nie wszystko. Poza tymi klasycznymi technikami, analiza równań strukturalnych może dopasować zaskakująco dużą liczbę kolejnych, starszych i nowych rodzajów modeli statystycznych. Dla przykładu analiza równań strukturalnych może być używana do modelowania wariancji, średnich, testów t, czy ANOVA’y; sprawdza się również świetnie w porównywaniu grup (van de Schoot et al., 2012), zmiennych kategorycznych, modelów latentnych (Edelsbrunner et al., 2015), wielopoziomowych modeli (Televantou et al., 2015), oraz modeli IRT (item response theory) (Glockner-Rist & Hoijtink, 2003); dodatkowo mamy do dyspozycji wiele technik SEM wykorzystywanych do danych longitudinalnych przypominających test t z powtarzanym pomiarem (Coman et al., 2013) oraz ANOVA’ę z powtarzanym pomiarem (Barker, Rancourt, & Velalian, 2014) i wiele innych.

Oprócz tych zdolności modelowania, często wskazuje się, że analiza równań strukturalnych oferuje wskaźniki dopasowania modelu , które pomagają wykryć błędne teoretyczne założenia (see e.g., Geiser, 2012; Little, 2013). SEM również rozluźnia różne, surowe statystyczne założenia bardziej tradycyjnych modeli, przykładowo dzięki modelowaniu zróżnicowanych wariancji między grupami, poprzez poprawianie błędów standardowych lub wartości dopasowania modelu w przypadku braku normalności w danych, poprzez uwzględnianie brakujących danych w analizie, oraz dzięki modelowaniu parametrów niejednorodności czy multimodalności przez używanie wielu grup i mieszanych modeli (Agan et al., 2015; Hoyle, 2012; Little, 2013).

Znajomość tych modelowych zdolności jest przydatne ale nie odpowiada na nasze główne pytanie „Czym jest analiza równań strukturalnych?” Jak wspomniano wcześniej, SEM przeważnie opiera się na modelowaniu struktury kowariancji, które oferuje wygodny fundament pod modelowanie zmiennych latentnych. By w końcu konstruować trafną odpowiedź na nurtujące nas pytanie, zanurzmy się w tej głównej charakterystyce SEM.

Zmienne latentne: Pożegnanie błędu pomiaru

Psychologiczne pojęcia nie są bezpośrednio mierzalne. Możemy zadawać ludziom pytania, możemy mierzyć ich puls bicia serca, bądź aktywność mózgową, możemy obserwować ich w interakcjach społecznych, lecz wyniki końcowe nie będę dokładnie odzwierciedlały psychologicznych zmiennych. Prędzej założymy, że nasze dane są powiązane z ludzkimi psychologicznymi zjawiskami w pewien specyficzny sposób, który postaramy się wymodelować. W SEM robimy to poprzez założenie, że różne zmienne korelują ze sobą ponieważ wszystkie wskazują na poziom tego samego psychologicznego konstruktu.

Przykładowo, przy oszacowywaniu kreatywności, badani są często proszeni o wymyślenie jak największej liczby oryginalnych i przydatnych pomysłów w jaki sposób można by wykorzystać przedmiot codziennego użytku taki jak np. puszka, opona samochodowa, cegła (e.g. Benedek et al., 2014). Możemy następnie zliczyć liczbę pomysłów z które ludzie zasugerują. Jak powinnyśmy wykorzystać liczbę odpowiedzi do oceny kreatywności? Odpowiedzią statystyka na to pytanie będzie zmienna latentna, konstrukt, który jest zobrazowanych na grafice nr 3.

Grafika nr 3. Zobrazowanie zmiennej latentnej (η1) w modelowaniu równań strukturalnych i tego jak wskazuje na korelację pomiędzy wskaźnikami (y1y3) i ich relacjami z innymi zmiennymi (z1).

Na grafice nr3 zobrazowana jest macierz kowariancji, pokazując, że liczba oryginalnych pomysłów jest pozytywnie skorelowana pomiędzy wszystkimi trzema itemami (zmienne y1-y3): Im więcej pomysłów ludzie mają odnośnie użycia puszki, tym więcej pomysłów mają jak użyć oponę samochodową czy cegłę. Dlaczego tak jest? Badacze kreatywności zakładają, że, uwaga, niektórzy ludzie są bardziej kreatywni od innych. Z psychologicznego punktu widzenia, to założenie pociąga za sobą stwierdzenie, że ludzka kreatywność jest psychologicznym konstruktem leżącym u podstaw liczby ich pomysłów dot. wszystkich 3 przedmiotów. Przekładając to na język statystyki, kreatywność jest zmienną latentną, która tłumaczy korelacje między trzema itemami ponieważ tłumaczy wariancję pomiędzy nimi. Na grafice, jest to wskazane przy pomocy strzałek biegnących od zmiennej latentnej reprezentującej kreatywność w stronę zmiennej reprezentującej liczbę ludzkich pomysłów w 3 itemach.

Teraz przyjrzyjmy się temu co oznacza pozbyć się błędu pomiaru. W zamieszczonej macierzy korelacji na grafice nr 3, figuruje również zmienna, które reprezentuje wyniki badanych w kwestionariuszu mierzącym otwartość. Ludzka otwartość jest pozytywnie skorelowana z ich kreatywnością. W macierzy korelacji, widzimy, że 3 itemy dotyczące kreatywności wykazują korelacje na poziomie 0.3 ze zmienną z1, tj. otwartością. W analizie równań strukturalnych,  zamiast modelować wszystkie te trzy korelacje, sumujemy do siebie wszystkie wariancje, które reprezentuje kreatywność do postaci zmiennej latentnej, η1. W tej zmiennej latentnej cała wariancja, którą te zmienne dzielą, jest reprezentowana. Cała wariancja, której zmienne nie dzielą jest przypisywana błędowi pomiaru, który nie reprezentuje ludzkiej kreatywności, a raczej tzw. statystyczny artefakt, spowodowany czynnikiem losowym i w związku z tym jest usuwana ze zmiennej latentnej. Może to być zauważone w trzech ścieżkach biegnący od zmiennej η1 do zmiennej y. Te ścieżki są ładunkami czynnika, które pokazują jak silnie każdy item reprezentuje konstrukt, który mają mierzyć, w naszym przypadku kreatywność. Wszystkie 3 ładunki czynnika wynoszą 0.71, więc mniej niż 1, co wskazuje, że tylko częściowo wariancje zmiennej y wchodzą w skład zmiennej latentnej.

Na grafice nr 4 jest zobrazowane to jak wariancja błędu pomiaru jest odcinana od wskaźnika zmiennych i tylko wspólna wariancja, która prawdopodobnie odzwierciedla kreatywność wchodzi w skład zmiennej latentnej. Początkowa korelacja pomiędzy dowolną zmienną „y” a „z” wynosi 0.30. Ta wartość jest reprezentowana przez nasunięcie na wariancję zmiennej „y” w górnej części grafiki nr 4, W zmiennej latentnej tylko część całkowitej wariancji zmiennych „y” jest reprezentowana. Jednakże nasunięcie się wspólne części zmiennych „y” i „z” są wciąż takie same. Co kluczowe, trzy korelacje zmiennych „y” ze zmienną „z” są teraz reprezentowane przez korelację zmiennej latentnej ze zmienna „z”. Jednakże dla ostatnich dwóch zmiennych, proporcja nałożenia się wariancji jest większa. Skutkuje to wzrostem korelacji zmiennej latentnej „z” zmienną „z1” jest oszacowana na 0.42. Wartość ta jest wyższa niż 3 pojedynczych zmiennych „y” ze zmienną „z1”, ponieważ uwzględniono poprawkę na błąd pomiaru, wycinając go z „ciastka” wariancji. Oto jak możesz pozbyć się wariancji błędu korzystając z analizy równań strukturalnych. Może to wyglądać na magię, ale nią nie jest; to twarda wiedza o konstrukcji miar, która została zaprzęgnięta na potrzeby analizowania równań strukturalnych.

Wyliczanie SEM polega na znajdywaniu zestawu parametrów, które pasują do danych najlepiej.

Dla złożonych modelów równań strukturalnych osiąga się to dzięki iteratywnemu algorytmowi, np. wskaźnik największego prawdopodobieństwa. Pobieżny przegląd relacji oszacowania z macierzą kowariancji przedstawia Grafika nr 3. Obliczanie modelów równań strukturalnych można lepiej zrozumiane dzięki użyciu zasady ścieżki Wright’a (Wright, 1934; see also Little, 2013). By zsumować obliczenia, korelacja trzech itemów kreatywności, każdego ze sobą, jest przedstawiona w wyliczeniach ładunków czynnikowych i wszystkie trzy itemy korelacji ze zmienną „z” są przedstawione w obliczeniach korelacji zmiennej latentnej ze zmienną „z”, która to korelacja uwzględnia poprawkę na błąd pomiaru. Zastosowanie i interpretacja zmiennej latentnej jest nie tylko bardziej skomplikowana niż może się na pierwszy rzut oka wydawać, ale jest również tematem dyskusji od wielu dziesięcioleci nie dość, że na polu statystycznym to i na filozoficznym. Pokrótce podsumujmy co do tej pory omówiliśmy, by wejść w szczegóły niektórych z tych spraw.

Nasza dotychczasowa dyskusja oraz przedstawione przykłady pokazują, że w zasadzie każda hipoteza związana z korelacją pomiędzy zmiennymi może być modelowana przez modelowanie struktury kowariancji. To podejście może zostać rozszerzone o wariancję zmiennych oraz średnie, by zawrzeć cały repertuar możliwość SEM. Dzięki temu SEM umożliwia studentom psychologii wyjście poza tradycyjne statystyczne techniki, których się z reguły uczą podczas podstawowego kursu tego przedmiotu: W modelowaniu struktury kowariancji, mogą zaimplementować złożoną teoretyczną hipotezę bez zbędnego zastanawia się, czy to co liczą jest testem t, ANOVA’ą, czy jeszcze czymś innym. Spróbuj SEM a zasmakujesz w większej wolności.

Czy nie ma tu żadnego haczyka? A i owszem. W wielu różnych obszarach nauki związanych z psychologią, SEM zastąpiło bardziej klasyczne, powiązane z regresją techniki, które nie są w stanie uwzględnić sprecyzowanego modelowania zmiennych latentnych. Niestety, ta wielka elastyczność SEM’u i moc zmiennych latentnych doprowadziła do bezmyślnego i redukcjonistycznego zwyczaju modelowania w wielu obszarach. Duże liczby mierzonych zmiennych są często modelowane w strukturach naszpikowanymi zmiennymi latentnymi, najprawdopodobniej w celu pozbycia się błędów pomiarów i zbędnych informacji. Tym bardziej słuszne wydają się obawy, że odbywa się to kosztem niezbędnych do spełnienia statystycznych i teoretycznych wymagań (Goldstein, 1979; Heene, Bollmann, & Bühner, 2014).

Przykładowo, bazując na pomysłach naszego starego dobrego kolegi Charlesa Spearmana, który wynalazł analizę czynnikową, wyniki z różnymi testów inteligencji są często modelowane jako pojedyncza zmienna latentna, która ma reprezentować ogólną inteligencję. Po więcej niż 100 latach badań nad inteligencją nie ma wciąż przekazujących podstaw do uznania tego twierdzenia (van der Maas et al., 2006). Stąd ten zwyczaj modelowania może prowadzić do błędnych teoretycznych wniosków, gdy informacja z pojedynczych testów jest tracona. Podobnie, w badaniach nad edukacją, podczas badania  złożonych psychologicznych konstruktów, na skutek pośpiechu i presji w dużych badań takich jak PISA, wrzuca się je w całości do jednego worka zmiennej latentnej, w zasadzie hamując rozwój nauki (Edelsbrunner & Dablander, 2015).

Podczas gdy doceniamy oszczędność jako jedną z wiodących i przydatnych zasad w nauce, dzielimy zmartwienia z naukowcami przyglądającymi się tej i innym bardzo mocnym teoretycznym i statystycznym założeniom leżącym u podstaw zmiennej latentnej. Dla przykładu, gdy ktoś tworząc model konstruuję kreatywność jako zmienną latentną, prawdopodobnie zakłada, że ta psychologiczna cecha naprawdę istnieje w ludzkich głowach. To założenie jest jednak ciężkie do zbadania (Borsboom, Mellenberg, & van Heerden, 2003). Tak samo powinniśmy być świadomi, że sumowanie informacji z wielu wskaźników zmiennych do jednej zmiennej latentnej, nieodzownie oznacza utratę informacji różnicującej wskaźniki zmiennych. Statystycznie, zwykle zakłada się rozkład normalny dla wszystkich obserwowanych i latentnych zmiennych i liniową relację między zmiennymi latentnymi i obserwowalnymi. Te założenie są jednak rzadko spełniane i dyskusyjnie dość arbitralne.

 W końcu mylny zwyczajem jest odczytywanie nieuzasadnionych teoretycznych wniosków na podstawie tylko dopasowanie SEM’u. Ogólnie, analiza równań strukturalnych nie ma zdolności odkrywania wielkich teorii. W razie, gdyby ktoś nie miał wystarczająco mocnej teorii potwierdzającej użycie wielopoziomowej zmiennej latentnej, proponuje się kilka alternatywnych metod do dominującego zwyczaju użycia analizy równań strukturalnych. W tych metodach, bezpośrednie związki między zmiennymi są brane pod uwagę, bez tworzenia zmiennych latentnych, co może być lepszym rozwiązaniem dla rozbudowy dobrze udokumentowanej teorii (Cramer, Waldorp, van der Maas, & Borsboom, 2010; van der Maas et al., 2006). Jednakże to wcale nie oznacza, że SEM jest bezużyteczny, każdy powinien po prostu wiedzieć o jego wyśrubowanych teoretycznych wymaganiach wstępnych, by nie zaangażować się bezcelowe działanie. Mocne modele wymagają mocnych teoretycznych założeń!

Ci z was którzy są statystycznymi hipsterami, mogą zadawać sobie pytanie: „Czy jest sposób by zrobić to po Bayesowsku?” Bayesowska statystyka oferuje taki sposób oszacowywania parametrów i testowania hipotez, który pokonuje wiele koncepcyjnych problemów związanych z użyciem wartości „p” do testowania hipotez oraz z ilościową statystyką, której studenci psychologii często się uczą. Przydaje się ona w tworzeniu najlepszych struktur dla wielu badań, możesz przeczytać o tym więcej w JEPS Bulletin, Całe szczęście, SEM nie jest rodziną statystycznych modeli związanych albo z ilościową albo Beyesowską statystyką.

Możesz wyliczyć SEM w dowolny wybrany przez Ciebie sposób i jeśli chcesz to zrobić w sposób Bayesowski, paczka blavaan do programu R umożliwia wygodne rozwiązanie. Bayesowski SEM jest rekomendowany z powodu jego dużej elastyczności w zarządzaniu w sytuacjach skomplikowanych danych (Edelsbrunner & Schneider, 2013; Song & Lee, 2012). Ostatnio pojawiła się godna polecenia literatura przychylna użytkownikom korzystającym z Bayesowskiego SEM (Kaplan & Depaoli, 2012; van de Schoot et al., 2014).

Podsumowanie: Czym jest analiza równań strukturalnych?

Krótka podróż przez świat muzyki i statystyki lat 60 i przyniosła nam interesujący wgląd w te sprawy. Dowiedzieliśmy się czym była ekspresja muzycznej wolności, co to modelowanie skomplikowanych teorii opartych głównie na korelacji między zmiennymi, jak modelować konstrukty, których bezpośrednio nie mierzymy, jak usuwać błędy pomiaru z oszacowaniem interesujących nas parametrów, oraz o konsekwencjach wynikających z bezmyślnego używania tych procedur. Poznaliśmy mnóstwo różnych modeli które możemy dopasować w ramy analizy równań strukturalnych.

W muzyce, połączenie blues’a z rockiem oraz kreatywnością stworzyło mnóstwo możliwości. Granice muzyki zostały przełamane i praktycznie każdy pomysł, który wiązał się z rockową muzyką mógł zostać spełniony w ramach psychodelicznego rocka. Podobieństwo do SEM jest uderzające: pozbędziesz się błędu związanego z modelem i pomiarami, dowolnymi pomysł związany z kowariancją, wariancją, średnimi, czy zmiennymi latentnymi może zostać wyrażony w modelowaniu równań strukturalnych. Wiwat muzycy i statystycy!

Wiele definicji analizy równań strukturalnych wspomina o kilku modelach i możliwościach jakie SEM oferuje.

Podsumowując ten artykuł, doceniamy oślepiającą różnorodność i oferowane możliwości modelów związanych z analizą równań strukturalnych, co chcemy podsumować dość zwięzłą aczkolwiek wyczerpującą temat definicją: „ Modelowania równań strukturalnych (SEM) jest wszechstronnym statystycznym sposobem do testowania hipotez o związku pomiędzy obserwowalnymi i latentnymi zmiennymi” (Hoyle, 2012).