Analiza statystyczna to analiza czynnikowa. Logika i sposoby wykorzystania.

meto1

 

Analiza czynnikowa. Logika i sposoby wykorzystania.

 

OGÓLNY CEL 

Analiza czynnikowa Podstawowym zadaniem czynnikowych technik analitycznych, czyli tzw. klasyfikacji zmiennych są: (1) zmniejszenie liczby zmiennych, a także wykrywanie struktury w związkach między zmiennymi. Z tego powodu, analizy czynnikowej używa się w celu redukcji danych albo wykrywania struktury (sam termin analiza czynnikowa wprowadził do języka Thurstone, 1931). Poniżej wymienione są zasady analizy czynnikowej jak również sposoby wykorzystania jej do osiągnięcia obu tych celów.

Konfirmacyjna analiza czynnikowa.

Do sprawdzania koncepcji na temat struktury czynnikowej dla zbioru zmiennych, w jednej lub kilku próbach, służą narzędzia modelowania równań strukturalnych (SEM) (np. pozwalają zestawić ze sobą struktury czynnikowe między próbami).

ANALIZA CZYNNIKOWA JAKO METODA REDUKCJI DANYCH

Użyjmy dozy wyobraźni i załóżmy, że podjęliśmy się przeprowadzenia („wątpliwego poznawczo”) badania, podczas którego sprawdziliśmy wzrost 200 ludzi w metrach i stopach. Lądujemy zatem z dwoma zmiennymi, które mierzą wzrost (odległość). Gdybyśmy w przyszłości chcieli sprawdzić, przykładowo, czy wyższy wzrost osiąga się na diecie mięsnej czy wegetariańskiej, nadal zastosujemy obie miary? Oczywiście, nie. Wzrost to indywidualna cecha danej osoby, niezmienna, niezależnie od metody, którą ją zmierzono.

Zostawmy teraz to hipotetyczne badanie i skupmy się na czymś co faktycznie może się przydarzyć w badaniach. Powiedzmy, że naszym celem jest zbadanie zadowolenia ludzi z ich życia. Tworzymy kwestionariusz zawierający wyposażony w odpowiednie wskaźniki; m. in. dowiadujemy się od jak bardzo podoba im się ich hobby (wskaźnik 1) oraz jak bardzo się w nie angażują (wskaźnik 2). Wedle wszelkiego prawdopodobieństwa odpowiedzi na oba te pytania będą się cechowały wysokim stopniem korelacji. Jeżeli zajdzie wysoka korelacja między obima wskaźnikami, oznacza to, że są one redundantne.

Analiza czynnikowa – Połączenia dwóch zmiennych w jeden czynnik.

Korelacje dwóch zmiennych można zobrazować za pomocą wykresu rozrzutu. W kolejnym kroku, poprowadzić kreskę, najprecyzyjniej oddającą związek liniowy pomiędzy tymi zmiennymi. Definiując tego typu zmienną, która mniej więcej określiłaby linię regresji na naszym wykresie, wówczas „zmieściłoby się” w niej gros „treści” naszych dwóch wskaźników. W takim wypadku, pojedyncze wartości osobników na takim nowym czynniku, reprezentowanym przez linię regresji, moglibyśmy w przyszłości, w innej analizie, wykorzystać zamiast tych dwóch wskaźników. Zatem, poniekąd okroiliśmy dwie zmienne do jednego czynnika. Zwróćmy uwagę, że nowy czynnik jest w praktyce kombinacją liniową tych dwóch zmiennych.

Analiza składowych głównych.

Powyższy przykład zmiany dwóch skorelowanych zmiennych w jeden czynnik jest kwintesencją analizy czynnikowej, czy też, analizy składowych głównych (później rozwiniemy ten temat). Jeżeli teraz rozszerzymy przypadek dwóch zmiennych do większej, nieokreślonej liczby tychże, stopień skomplikowania obliczeń statystycznych  wzrośnie, ale istota rzeczy, zapisywania dwóch lub wielu zmiennych za pomocą pojedynczego czynnika, nie zmieni się.

Wyodrębnienie składowych głównych.

Analiza czynnikowa – Darujemy sobie w tym momencie szczegóły obliczeniowe analizy składowych głównych. Wyodrębnienie składowych głównych, jednakowoż, jest tożsame z rotacją maksymalizującą wariancję (varimax) wyjściowej przestrzeni zmiennych. Dla przykładu, na wykresie rozrzutu da się linię regresji rozpatrywać jako pierwotną oś X, która na skutek obrócenia, aproksymuje linię regresji. Tego rodzaju rotację określamy jako maksymalizującą wariancję, dlatego że kryterium (celem) rotacji jest maksymalizacja wariancji (zmienności) „nowej” zmiennej (czynnika) przy jednoczesnej minimalizacji wariancji wokół tej nowej zmiennej.

Uogólnianie na przypadek wielu zmiennych.

W przypadku większej ilości zmiennych niż dwie, można przyjąć, że nakreślają „przestrzeń”, podobnie jak dwie zmienne robią to w przypadku płaszczyzny. Więc posiadając trzy zmienne, da się stworzyć trójwymiarowy wykres rozrzutu, jak również dopasować do danych płaszczyznę.

Naniesienie punktów na wykresie rozrzutu nie jest możliwe przy większej ilości zmiennych niż trzy, ale logika rotacji osi, aby zmaksymalizować wariancję nowego czynnika, nie zmienia się.

Wiele czynników ortogonalnych.

Jeżeli znajdziemy linię z maksymalną wariancją, wciąż wokół niej pozostanie trochę zmienności. Podczas analizy składowych głównych, jak wydzielimy pierwszy czynnik, czyli nałożymy na dane pierwszą linię, możemy dalej definiować inną linię, maksymalizując pozostałą zmienność etc. Tym sposobem wyodrębniamy następne czynniki. Są one od siebie niezależne, ponieważ każdy z następnych czynników definiuje się tak, aby maksymalizować zmienność, nieobjętą przez poprzedni czynnik. Inaczej mówiąc, kolejne czynniki są nieskorelowane albo wzajemnie ortogonalne.

Ile czynników wyodrębnić?

Nie należy zapominać, że cały czas myślimy o analizie składowych głównych, jako sposobie na redukcję danych, czyli metodę mającą na celu zmniejszenie liczby zmiennych. Warto więc zastanowić się, ile tych czynników wyodrębnić? Miejmy na uwadze, że im więcej wyodrębnimy tym mniej czynniki wyjaśnią zmienności. Moment, w którym przerywamy wyodrębnianie zwykle następuje gdy pozostała „losowa” zmienność jest stosunkowo mała. Ta decyzja często ma charakter arbitralny; kilka wskazówek można zobaczyć tutaj.

Przegląd wyników analizy składowych.

Spójrzmy teraz na pewne wyniki analizy składowych głównych. Przypomnijmy, wydzielamy czynniki tłumaczące coraz mniejszą ilość zmiennych. Krótko mówiąc, zwykle rozpoczyna się od macierzy korelacji, gdzie wariancje wszystkich zmiennych wynoszą 1,0. Z tego powodu, całkowita wariancja tego typu macierzy jest tożsama liczbie zmiennych. Czyli jeżeli mamy np. 10 zmiennych, każdą o wariancji 1, wtedy całkowita zmienność, którą można by wyodrębnić, wyniesie 10 razy 1. Powróćmy do wcześniejszego badania, gdzie mierzyliśmy zadowolenie i załóżmy, że wprowadziliśmy 10 wskaźników mierzących różne aspekty zadowolenia w robocie albo domowym zaciszu. Wariancję wyjaśnianą przez kolejne czynniki mogłaby tak wyglądać.

Wartości własne.

W kolumnie nr 2 (Wartość własna) na znajdującym się wyżej arkuszu wyników, możemy zaobserwować wariancję nowych kolejno wyodrębnionych czynników. W kolumnie nr 3 te wartości widnieją jako procent całkowitej wariancji (w tym przypadku 10). Z tego wynika, że czynnik 1 wyjaśnia 61%, drugi czynnik 18% etc. Suma wartości własnych, tak jak zakładaliśmy, odpowiada liczbie zmiennych. 3 kolumna zawiera wyodrębnioną wariancję skumulowaną. Wariancję wyodrębnione przez czynniki noszą nazwę wartości własnych. Wzięła się ona z użytego podejścia obliczeniowego.

Wartości własne i problem liczby czynników.

Znając miarę ilość wariancji, wróćmy teraz do, wspomnianego już wcześniej, pytania o optymalną liczbę czynników. Jak zostało zauważone, zwykle ta liczba jest narzucona. Jednak jest w użyciu kilka wytycznych, które praktycznie wydają się zapewniać pożądane rezultaty.

Kryterium Kaisera.

W 1960 roku Kaiser zaproponował rozwiązanie polegające na pozostawieniu jedynie takich czynników, których wartość własna przewyższa 1. Jeżeli czynnik nie wyodrębnia co najmniej tyle samo i ile zmienna oryginalna to należy z niego zrezygnować. Jest to jedno z najpopularniejszych kryteriów. Gdybyśmy my je zastosowali, zostałby nam jedynie 2 czynniki (składowe główne).

Test osypiska.

Został stworzony przez Cattela w 1966 i należy do testów graficznych. Przedstawmy wyniki ze znajdującego się wyżej arkusza na nieskomplikowanym wykresie liniowym. Należy, jak proponuje Cattel, odszukać na wykresie miejsce, z prawej strony którego spadek wartości własnych jest delikatny. Tam właśnie prawdopodobnie mieści się już tylko „osypisko czynnikowe” (samo „osypisko” to geologiczna nazwa gruzu, osiadającego w dolnej części skalnego urwiska). Gdyby zastosować test osypiska w kontekście naszego powyższego przykładu, ostałby się najpewniej dwa albo 3 czynniki.

Które kryterium zastosować?

Kryterium Kasiera nieraz jest zbyt luźną filtracją i pozostawia za dużo czynników. Test osypiska, z kolei, może zostawić zbyt małą ich liczbę. Jednak obie sprawdzają się zadowalająco w standardowych warunkach, tj. kiedy występuje stosunkowo niewielka liczba czynników i dużo przypadków. Innym, praktycznym, aspektem jest po prostu łatwość interpretacji. Z tego powodu, zwykle, sprawdza się kilka rozwiązań, regulując (mniej lub więcej) liczbę czynników, by następnie zdecydować się na to, które okaże się najbardziej czytelne. Wrócimy jeszcze do tej kwestii, omawiając rotację czynników.

Analiza czynników głównych.

Przed przeanalizowaniem zróżnicowanych aspektów typowych wyników analizy składowych głównych, przyjrzyjmy się analizie czynników głównych. Przypomnijmy sobie przykład kwestionariusza badającego zadowolenie, po to by zwizualizować sobie odmienny „model poznawczy” dla analizy czynnikowej. Przyjmijmy, że odpowiedzi ankietowanych są uwarunkowane dwoma składowymi. Występuje ukryta część wspólna (czynnik „zadowolenia z hobby”), o którym była już mowa wyżej. Każdy ze wskaźników odpowiada za jakąś część tego wspólnego aspektu zadowolenia. Drugą sprawą jest fakt, że wszystkie wskaźniki opisują pewien szczególny aspekt zadowolenia, indywidualny dla każdego jednego wskaźnika.

Zasoby zmienności wspólnej.

Analiza czynnikowa – W przypadku poprawnie zrobionego modelu, czynniki nie wyodrębnią całkowitej wariancji z naszych wskaźników, wyróżnią ten kawałek, który jest konsekwencją czynników wspólnych i jest wspólny dla kilku wskaźników. Mówiąc po „analizo-czynnikowemu”, powstaje proporcja zwana zasobem zmienności wspólnej i jest to proporcja wariancji danego wskaźnika, która wynika z czynników wspólnych. Z tego powodu, w następnym kroku, przy zastosowaniu tego modelu, należy oszacować zasoby zmienności wspólnej dla każdej zmiennej, czyli stosunku wariancji, która jest dzielona przez każdy wskaźnik z innymi wskaźnikami. Z tego wynika, że swoista dla każdego wskaźnika proporcja wariancji wynosi całkowitą wariancję określonego wskaźnika odjąć zasób zmienności wspólnej. Zazwyczaj, przydatne do ocenienia zasobu zmienności wspólnej jest skorzystanie z kwadratów korelacji wielokrotnej pewnego wskaźnika w porównaniu z resztą wskaźników. Jest grupka autorów postulująca pewne iteracyjne ulepszenia już po oszacowaniu zasobu zmienności wspólnej z użyciem regresji wielokrotnej. Metoda Harmana i Jonesa, 1966 testuje różnorakie modyfikacje ładunków czynnikowych by zminimalizować resztowe sumy kwadratów.

Czynniki główne a składowe.

Najważniejszą różnicą pomiędzy tymi modelami analitycznymi jest fakt, że w analizie składowych głównych przyjmujemy, że analizować należy całkowitą zmienność, natomiast w czasie analizy czynników głównych korzystamy jedynie ze wspólnej zmienności danego wskaźnika z innymi wskaźnikami. Analiza składowych głównych jest często wybierana w celu zmniejszenia ilości danych, z kolei analiza czynników głównych służy często aby wykryć strukturę (zobacz Analiza czynnikowa jako metoda klasyfikacji).

ANALIZA CZYNNIKOWA JAKO METODA KLASYFIKACJI

Spójrzmy jak można zinterpretować klasyczne wyniki analizy czynnikowej. Od tego momentu analiza czynnikowa będzie się odnosić do analizy składowych głównych jak również analizy czynników głównych. Wyobraźmy sobie, że w tym momencie analizy wiemy już ile czynników powinniśmy wyodrębnić. Naturalnym jest, że chcielibyśmy teraz zinterpretować czynniki, czyli dowiedzieć się co w zasadzie oznaczają. Aby pokazać jak to zrobić, zajmijmy się sprawą od strony ogona, czyli wystartujemy od sensownej struktury, aby potem stwierdzić jak rzutuje ona na rezultaty analizy czynnikowej. Spójrzmy znowu na nasz przykład o zadowoleniu; widoczna pod spodem macierz korelacji wskaźników traktujących o zadowoleniu w pracy i tych o zadowoleniu w domu.

Między wskaźnikami dotyczącymi pracy wysoce wzajemnie ze sobą korelują, podobnie zachowują się wskaźniki dotyczące domu. Jednak już korelacje między dwoma rodzajami wskaźników (praca x dom) są już raczej niewielkie. Wychodzi zatem na to, że nasza macierz korelacyjna wystąpiły dwa stosunkowo niezależne czynniki; pierwszy powiązany z zadowoleniem z pracy i drugi traktujący o zadowoleniu z domu.

Ładunki czynnikowe.

W tym momencie zróbmy analizę składowych głównych i zobaczmy jak wygląda rozwiązanie dwuczynnikowe. Przede wszystkim zwróćmy uwagę na korelacje między zmiennymi i tymi dwoma czynnikami (albo „nowymi” zmiennymi), które wyodrębniono domyślnie; te korelacje to właśnie ładunki czynnikowe.

Można zaobserwować, że mocniej skorelowany ze zmiennymi jest czynnik pierwszy, a nie drugi. To nie zaskakuje gdyż, jak napomknęliśmy wyżej, każdy kolejny czynnik, wyodrębniany po kolei, wyjaśnia coraz mniej całkowitej wariancji.

Rotacja struktury czynnikowej.

Powyższe ładunki czynnikowe można by rozrysować na wykresie rozrzutu. Na nim każda zmienna odpowiada punktowi. Na wykresie da się rotować osie w wybranym kierunku bez zmiany relatywnego położenia punktów względem siebie; w tym samy czasie realne współrzędne punktów, tj. ładunku czynnikowe, naturalnie zmieniłby się. Posiłkując się naszym przykładem, gdybyśmy wyrysowali wykres, to jasne okazałoby się, że przy rotowaniu osi o mniej więcej 45 stopni, uzyskalibyśmy czytelny układ ładunków definiujących zadowolenie z pracy i wskaźniki zadowolenia z domu.

Strategie rotacji.

Do wyboru jest kilka strategii rotacji. Celem każdej z nich jest to, by otrzymać przejrzysty układ ładunków (czynników), które w jaskrawy sposób wyróżniają się wysokimi ładunkami dla pewnych zmiennych i niskimi dla innych. Tego typy ogólny układ zdarza się także określać jako prosta struktura. Do charakterystycznych strategii rotacji należą: varimax, quartimax oraz equamax.

Już wcześniej była mowa o idei rotacji varimax , a taki opis można zaaplikować i w tym miejscu. Podobnie jak wcześniej, zależy nam by znaleźć tego typu rotację, by maksymalizowała wariancję w odniesieniu do nowej osi; inaczej mówiąc; mamy zamiar uzyskać taki układ ładunków przy każdym czynniku, aby obrazował możliwie duże zróżnicowanie, ułatwiając w ten sposób intepretowanie. Niżej widnieje tabela ładunków czynnikowych po rotacji.

Interpretacja struktury czynnikowej.

Tak wyglądający model jest dużo bardziej przejrzysty. Tak jak zakładaliśmy, pierwszy czynnik cechuje się wysokimi ładunkami przy wskaźnikach z zadowolenia z pracy, a drugi wysokimi ładunkami przy wskaźnikach zadowolenia z domu.Możemy dojść do konkluzji, że na zadowolenia sprawdzone naszym kwestionariuszem składają się dwa aspekty; tym sposobem doszliśmy do klasyfikacji zmiennych.Na powyższym wykresie ładunków czynnikowych, 10 zmiennych zostało zamienione na 3 czynniki: praca, dom i hobby. Zwróćmy uwagę, że ładunki czynnikowe każdego z czynników są odmiennej wielkości dla pozostałych dwóch czynników, ale posiadają ewidentną wysoką wartość dla siebie samych. Np. ładunki czynnikowe dla zmiennej hobby (zielony), ma jednocześnie wysoką i niską wartość „pracy” i „domu”, ale każda z czterech zmiennych ma wysoką wartość ładunków czynnikowych względem czynnika „hobby”.

Czynniki ukośne.

Paru autorów zastanawiało się nad terminem czynników ukośnych (nieortogonalnych), dzięki którym, można by uzyskać przystępniejszą w interpretacji prostą strukturę. Do szczególnie rozwiniętych zaliczamy strategie obliczeniowe rotacji czynników, by były reprezentatywne dla „skupienia” zmiennych, bez ograniczenia założeniem o ortogonalności czynników. Ale ukośne czynniki, powstałe na skutek takich rotacji, rzadko poddają się prostej interpretacji. Powróćmy do omawiania powyższego przykładu, przyjmijmy, że dodalibyśmy do kwestionariusza badań zadowolenia jeszcze kolejne cztery wskaźniki, mając sprawdzić inne „różne” typy zadowolenia. Przyjmijmy, że na odpowiedzi respondentów na te dodatkowe zagadnienia, zadowolenie z domu (Czynnik 1) i zadowolenie z pracy (Czynnik 2) wpłynęły mniej więcej w takim samym stopniu. Rotacja ukośna najpewniej zaskutkuje powstaniem dwóch skorelowanych czynników o mniej jasnym znaczeniu, to znaczy wieloma ładunkami krzyżowymi.

Hierarchiczna analiza czynnikowa.

Aby nie męczyć się z obliczaniem ładunków dla zwykle ciężkich do interpretacji czynników ukośnych, można skorzystać ze strategii wymyślonej przez Thompsona (1951), Schmida i Leimana (1957), którą opracował, podrasował i rozpowszechnił Wherry (1959, 1975, 1984). Korzystając z tej metody, na początku wyróżnia się skupienia wskaźników i rotuje osie w tych skupieniach; później wylicza się korelacje między ukośnymi czynnikami, a macierz korelacji czynników ukośnych jest dalej poddawana analizie czynnikowej tak aby zdobyć zestaw czynników ortogonalnych, dzielących zmienność wskaźników, na tę która wychodzi z wariancji wspólnej (czynniki wtórne) i wariancję swoistą wynikającą ze skupień zbliżonych zmiennych (wskaźników) w analizie (czynniki pierwotne). Wróćmy znów do wyżej wymienionego przykładu, tego typu analiza hierarchiczna mogłaby doprowadzić do takich oto ładunków czynnikowych:

Uważne przyjrzenie się tym ładunkom owocuje poniższymi wnioskami:

  1. Istnieje ogólny (wtórny) czynnik zadowolenia, który wedle dużego prawdopodobieństwa oddziałuje na każdy rodzaj zadowolenia mierzony przy użyciu naszych 10 wskaźników.
  2. Wysuwają się dwa pierwotne swoiste dziedziny zadowolenia, które najfortunniej można określić jako zadowolenie z pracy i życia rodzinnego.

Wherry (1984) szczegółowo zagłębia się w przypadki podobnych analiz hierarchicznych i sposoby wyprowadzania logicznych i pozwalających się interpretować czynników wtórnych.

Konfirmacyjna analiza czynnikowa.

Na przestrzeni ostatnich piętnastu lat wzrosła popularność tzw. metod konfirmacyjnych (zobacz np. Joreskog i Sorbom, 1979). Ogólnie rzecz biorąc, da się z góry sprecyzować układ ładunków czynnikowych, dla danej liczby czynników ortogonalnych albo ukośnych, by potem testować, czy uda się przywrócić obserwowaną macierz korelacji dla danej specyfikacji.

ROZMAITE INNE KWESTIE I STATYSTYKI 

Wartości czynnikowe.

Istnieje możliwość aby dla określonych czynników przewidzieć faktyczne wartości poszczególnych przypadków (obserwacji). Te wartości czynnikowe są wyjątkowo użyteczne kiedy mamy zamiar robić kolejne analizy używając czynników wyróżnionych w analizie czynnikowej.

Korelacje odtworzone i resztowe.

Innym sposobem by sprawdzić czy wyodrębniono właściwą liczbę czynników, jest obliczenie macierzy korelacji, którą uzyskalibyśmy, gdyby wyodrębnione czynniki okazały się rzeczywiście jedynymi. Taka macierz korelacji nosi nazwę odtworzonej. Aby przekonać się jak bardzo odmienne są między sobą macierz odtworzona i obserwowana, należy policzyć różnicę pomiędzy nimi; to co wyjdzie nosi nazwę macierzy korelacji resztowych. Macierz resztowa może pokazać braki „dopasowania”, czyli określone współczynniki korelacji, których nie da się poprawnie odtworzyć przez aktualną liczbę czynników.

Złe uwarunkowanie macierzy.

W sytuacji gdy w macierzy znajdują się same zmienne redundantne, nie da się jej odwrócić. Przykładowo, kiedy pewna zmienna powstała w wyniku sumy dwóch innych zmiennych wyselekcjonowanych do analizy, macierzy tej korelacji nie można odwrócić ani wykonać analizy czynnikowej. W prawdziwym życiu, takie przypadku zdarzają się gdy dążymy do przeprowadzenia analizy czynnikowej na zbiorze zmiennych, które wysoko ze sobą korelują, co się niekiedy zdarza, chociażby przy okazji badań korelacyjnych z użyciem kwestionariusza. Można w takim wypadku sztucznie zmniejszyć wszystkie korelacje w macierzy korelacji, za pomocą dołożenia małej stałej do przekątnej macierzy i jej ponowną standaryzację. Ta procedura zwykle owocuje macierzą, którą można odwrócić, a zatem i poddać analizie czynnikowej; ponadto, takie nie działania nie powinny wpłynąć na modele czynnikowe. Pamiętajmy jednak, że finalne oszacowanie są mniej precyzyjne. Potrzebujesz pomocy statystycznej specjalisty w analizie czynnikowej? Zapraszamy 🙂

Więcej na:

Najczęściej wykonywane analizy statystyczne w pracach magisterskich i doktorskich

Usługi statystyczne pomoc statystyczna

Konfirmacyjna analiza czynnikowa CFA

Analiza czynnikowa

Biometria – Biostatystyka. Analiza statystyczna w medycynie

Statystyczna analiza danych w pedagogice Gdańsk Warszawa Wrocław Kraków Poznań Bydgoszcz lublin Katowice