Mi a különbség a faktoranalízis és a fő alkotóelem-elemzés között?

A fő komponenselemzés magában foglalja a megfigyelt változók lineáris kompozitjainak kinyerését.

A faktoranalízis egy formális modellen alapul, amely a megfigyelt változókat elméleti látens tényezőkből jósolja.

A pszichológiában ez a kettő technikákat gyakran alkalmaznak a több léptékű tesztek megalkotásakor annak meghatározására, hogy mely elemeket melyik mérlegre terhelik. Jellemzően hasonló érdemi következtetéseket vonnak le (vitához lásd Comrey (1988) A személyiség és a klinikai pszichológia skálaképzésének faktor-elemző módszerei). Ez segít megmagyarázni, miért tűnik úgy, hogy egyes statisztikai csomagok összevonják őket. Láttam olyan helyzeteket is, amikor a “főkomponens-elemzés” helytelenül “faktoranalízis” volt.

Egy egyszerű ökölszabály szerint , azt javaslom, hogy:

1. Futtasson faktoranalízist, ha feltételezi vagy tesztelni szeretné a megfigyelt változókat okozó látens tényezők elméleti modelljét.

2. Főkomponens-elemzés futtatása Ha egyszerűen le akarja redukálni a korrelált megfigyelt változókat kisebb, független összetett változók kisebb csoportjára.

Megjegyzések

• Az ott alkalmazott ökölszabály nagyon hasznos. Köszönet érte.
• Ami az alapszabályt illeti (1): Wouldn ‘ t A látens faktorok elméleti modelljét megerősítő faktoranalízissel és nem feltáró fa segítségével tesztelem?
• @roman Igen. A CFA sokkal jobban ellenőrzi a modellt mint az EFA. Például a terheléseket nullára korlátozhatja; egyenlővé teheti a terheléseket; korreláló maradványai vannak ls; adjunk hozzá magasabb rendű tényezőket; stb.
• @Jeromy Anglim Tényleg helyes-e azt mondani, hogy a PCA ” kisebb fontos független összetett változók halmazát készíti. “
• A szabály 2. hüvelykujját könnyű megszerezni, de hogyan alkalmazzam az elsőt? Talán furcsán hangzik, de mikor tudom, hogy ‘ tényezőmodellt akarok-e futtatni a megfigyelt változókkal szemben?

Itteni válaszomból:

A PCA-t továbbra is forgatás (például varimax) követi-e továbbra is PCA?

A fő komponens elemzés (PCA) és a közös tényező elemzés (CFA) különálló módszer. Gyakran hasonló eredményeket produkálnak, és a PCA-t használják alapértelmezett kivonási módszerként az SPSS Factor Analysis rutinokban. Ez kétségtelenül sok zavart eredményez a kettő közötti különbségtételben.

A lényeg az, hogy fogalmilag két különböző modellről van szó. A PCA-ban az összetevők tényleges ortogonális lineáris kombinációk, amelyek maximalizálják a teljes varianciát.Az FA-ban a tényezők lineáris kombinációk, amelyek maximalizálják a variancia – mögöttes “látens konstrukciók” – megosztott részét. Ezért nevezik az FA-t gyakran “közös tényező-elemzésnek”. Az FA különféle optimalizálási rutinokat használ, és az eredmény a PCA-val ellentétben az alkalmazott optimalizálási rutintól és az adott rutinok kiindulópontjaitól függ. Egyszerűen nincs egyetlen egyedi megoldás.

R-ben a factanal () függvény biztosítja a CFA számára a maximális valószínűségű extrakciót. Tehát nem szabad elvárni, hogy egy SPSS-eredményt reprodukáljon, amely PCA-extrakción alapul. Ez egyszerűen nem ugyanaz a modell vagy logika. Nem vagyok biztos abban, hogy ugyanazt az eredményt kapná-e, ha az SPSS maximális valószínűségű kibontását használná, mivel esetleg nem ugyanazt az algoritmust használják.

jobb vagy rosszabb az R-ben, de megismételheti az összekevert “faktoranalízist”, amelyet az SPSS alapértelmezettként nyújt. Itt van az R folyamat. Ezzel a kóddal “képes vagyok reprodukálni az SPSS fő összetevőt”. Faktorelemzés “eredmény ennek az adatkészletnek a felhasználásával. (Kivéve a jelet, amely határozatlan). Ezt az eredményt ezután az R bármelyik elérhető forgatási módszerével el lehet forgatni.

data(attitude) # Compute eigenvalues and eigenvectors of the correlation matrix. pfa.eigen <- eigen(cor(attitude)) # Print and note that eigenvalues are those produced by SPSS. # Also note that SPSS will extract 2 components as eigenvalues > 1 = 2. pfa.eigen$values # Set a value for the number of factors (for clarity) kFactors <- 2 # Extract and transform two components. pfa.eigen$vectors[, seq_len(kFactors)] %*% diag(sqrt(pfa.eigen$values[seq_len(kFactors)]), kFactors, kFactors) 

megjegyzések

• Ne feledje, hogy ugyanazokat az eredményeket fogja kapni a principal(attitude, 2, rotate="none") elemekkel a psych csomag és a Kayser ‘ s szabály (ev > 1) nem a tesztelés ajánlott módja. a dimenzióhoz (túlbecsüli a tényezők számát).
• Igen, tudom, hogy pszichés p rincipal ezt bebugyolálja. Célom az volt, hogy bemutassam, mit csinál az SPSS ” faktoranalízis ” a fő összetevők kivonási módszerének alkalmazásakor. Egyetértek azzal, hogy a sajátérték-szabály rossz módszer a tényezők számának kiválasztására. De az SPSS alapértelmezés szerint pontosan ezt teszi, és ezt demonstráltam.
• factanal() az EFA-t biztosítja, nem pedig CFA-t. Tapasztalatom szerint az SPSS ‘ s maximális valószínűségű kivonásnak ugyanazt az eredményt kell adnia, mint a factanal(), mivel nincs ferde forgatás.
• Mit jelent a következők: ‘ Az FA-ban a tényezők lineáris kombinációk, amelyek maximalizálják a variancia megosztott részét – mögöttes ” látens konstrukciók “. ‘?
• Vegye figyelembe azt is, hogy a CFA állhat az megerősítő FA ként (szemben a magyarázó FA -val) közös FA helyett.

Számos javasolt definíció található a web. Itt van egy a on-line szójegyzékből a statisztikai tanulásról :

Fő alkotóelem Elemzés

Új funkciók létrehozása, amelyek az adatkészlet fő elemei. A fő összetevők a maximális variancia véletlenszerű változói, amelyeket az input jellemzők lineáris kombinációiból építenek. Ezzel egyenértékűen ezek a vetületek a fő komponens tengelyekre, amelyek olyan vonalak, amelyek minimalizálják az adatkészlet egyes pontjainak átlagos négyzetbeli távolságát. Az egyediség biztosítása érdekében az összes fő alkotótengelynek merőlegesnek kell lennie. A PCA egy maximális valószínűségű technika lineáris regresszióhoz Gauss-zaj jelenlétében mind a bemeneten, mind a kimeneten. Bizonyos esetekben a PCA megfelel egy Fourier-transzformációnak, például a JPEG képtömörítésnél használt DCT-nek. Lásd: “Saját felületek a felismeréshez” (Turk & Pentland, J Cognitive Neuroscience 3 (1), 1991), püspök, “Valószínűséges fő komponens elemzés” és “A dimenzió automatikus választása a PCA számára” “.dimenziós választás PCA-hoz”.

Faktorelemzés

A PCA általánosítása, amely kifejezetten a maximális valószínűségen alapul. A PCA-hoz hasonlóan feltételezzük, hogy minden adatpont mintavételből származik egy pont egy altérben, majd teljes dimenziójú Gauss-zajjal zavarja. A különbség az, hogy a faktoranalízis lehetővé teszi, hogy a zaj tetszőleges átlós kovariancia mátrixot kapjon, míg a PCA feltételezi, hogy a zaj gömb alakú. Az altér becslésén kívül faktoranalízis becsüli a zaj kovariancia mátrixát. Lásd: “Az EM algoritmus a faktoranalizátorok keverékeihez”. A dimenziósság választása a PCA számára “.

Megjegyzések

• A Faktorelemzés leírása kapja a fő pontot (átlós kovariancia), de történelmileg s nem a PCA általánosításaként lett kifejlesztve.
• Tehát alapvetően a PCA-ban egy svd ‘ s a kovariancia mátrix, FA-ban pedig a korrelációs mátrix? Számomra mindig nehéz megtalálni a tényleges matematikát, miután a módszerek rengeteg terminológiát építettek fel azon a területen, ahol alkalmazzák őket.(témán kívül: egyszer egy egész délutánra szükségem volt, hogy megértsem, mi az útmodellezés, amíg nem találtam egy (1) papírt a 70 ‘ sből, amely megadta a mátrixegyenletet mögötte. )

Igazad van az első szempontoddal kapcsolatban, bár az FA-ben általában mindkettővel dolgozol (egyediség és közösségiség). A PCA és az FA közötti választás hosszú ideje folytatott vita a pszichometrikusok körében. Bár nem követem a pontjait. A főtengelyek forgatása bármilyen módon alkalmazható a látens tényezők felépítésére. Valójában ez legtöbbször a VARIMAX forgása (ortogonális elforgatás, figyelembe véve a korrelálatlan tényezőket) gyakorlati okokból (a legegyszerűbb értelmezés, a legegyszerűbb pontozási szabályok vagy a faktor-pontszámok értelmezése stb.) használják, bár a ferde forgatás (pl. PROMAX) valószínűleg jobban tükrözi a valóságot (a látens konstrukciók gyakran korrelálnak egymással), legalábbis a az FA hagyománya, ahol feltételezzük, hogy egy látens konstrukció áll a változók közötti megfigyelt kölcsönhatások középpontjában. A lényeg az, hogy a PCA, majd a VARIMAX forgatás némileg torzítja az eredeti változók lineáris kombinációinak értelmezését az “adatokban”. elemzés “hagyománya (lásd Michel Tenenhaus munkáját). Pszichometriai szempontból az FA modelleket kell előnyben részesíteni, mivel kifejezetten figyelembe veszik a mérési hibákat s, míg a PCA nem törődik ezzel. Röviden megfogalmazva: a PCA használatával az egyes komponenseket (faktorokat) a változók lineáris kombinációjaként fejezzük ki, míg az FA-ban ezek a változók a tényezők lineáris kombinációiként vannak kifejezve (beleértve a közösségiséget és az egyediséget alkotó komponenseket, ahogy mondtad). / p>

Javaslom, hogy először olvassa el a következő beszélgetéseket erről a témáról:

• Milyen különbségek vannak a tényező-elemzés és a fő között Alkatrészelemzés
• A ferde forgatás PCA utáni használatáról – lásd az ott található hivatkozást

Megjegyzések

• Csak annyit mondok, hogy a válaszom valóban kissé témátlannak tűnhet, mivel ezt a kérdést összevonták egy másiksal, stats.stackexchange.com/questions/3369/… (eredetileg utóbbira válaszolok).
• Ah, Kíváncsi voltam, miért kapcsolódtál ehhez a küldetéshez, ebben a kérdésben … 🙂
• . Chl, ki tudnád fejteni? Ez ‘ érdekes.

A legfelsőbb válasz ebben a szálban arra utal, hogy a PCA inkább dimenziócsökkentő technika, míg az FA inkább látens változó technika. Ez sensu stricto helyes. De sok válasz itt és sok más kezelés a PCA-t és az FA-t két teljesen különböző módszerként mutatja be, amelyek eltérő, ha nem ellentétes célokkal, módszerekkel és eredményekkel járnak. Nem értek egyet; Úgy vélem, hogy ha a PCA-t látens változó technikának tekintik, akkor az meglehetősen közel áll az FA-hoz, és jobb, ha nagyon hasonló módszerként tekintenek rájuk.

Saját beszámolót adtam a PCA és az FA közötti hasonlóságokról és különbségekről a következő szálban: Van-e jó ok a PCA használatára az EFA helyett? Továbbá, a PCA helyettesítheti-e a faktoranalízist? Ott azt állítom, hogy egyszerű matematikai okokból a PCA és az FA eredménye meglehetősen hasonló lehet, csak mivel a változók száma nem túl kicsi (talán több mint egy tucat). A matematikai részletekért és a Monte Carlo-szimulációkért lásd a [hosszú!] Válaszomat a kapcsolt szálban. Érvelésem sokkal tömörebb változatát itt találja: Milyen feltételek mellett hoznak hasonló eredményt a PCA és az FA?

Itt szeretném hogy egy példán mutassa meg. Elemzem a bor adatkészletét az UCI Machine Learning Repository-ból. Ez egy meglehetősen jól ismert adatkészlet, amelynek $ n = 178 $ borai vannak három különböző szőlőből, amelyeket $ p = 13 $ változók írnak le. Így néz ki a korrelációs mátrix:

Futtattam PCA és FA elemzéseket is, és bemutattam Az adatok kétdimenziós vetületei kettősként mindkettőjük számára az alábbi ábrán (PCA bal oldalon, FA jobb oldalon). A vízszintes és függőleges tengelyek az 1. és a 2. komponens / faktor pontszámot mutatják. A $ n = 178 $ pontok mindegyike egy bornak felel meg, és a pontok a csoport szerint színezõdnek (lásd a mondát):

Az 1. és 2. komponens / faktor terhelései az $ p = 13 $ eredeti változók mindegyikére fekete vonalakként jelennek meg. Ezek megegyeznek az eredeti változók és a két komponens / tényező közötti korrelációkkal.Természetesen a korrelációk nem haladhatják meg az $ 1 $ értéket, ezért az összes terhelési vonal a “korrelációs kör” belsejében található, amely a lehető legnagyobb korrelációt mutatja. Az összes terhelést és a kört tetszőlegesen méretezik 3 USD szorzóval, különben túl kicsiek lennének ahhoz, hogy láthassák őket (tehát a kör sugara 3 USD, nem pedig 1 USD).

Vegye figyelembe, hogy ott alig van különbség a PCA és az FA között! Kis eltérések vannak itt-ott, de az általános kép szinte azonos, és az összes terhelés nagyon hasonló és ugyanabba az irányba mutat. Pontosan ezt várták az elmélettől, és nem meglepő; mégis tanulságos megfigyelni.

PS. Ugyanez sokkal szebb PCA biplotért adatkészlet, lásd: ezt a választ @vqv által.

PPS. Míg a PCA-számítások szabványosak, az FA-számításokhoz megjegyzés szükséges lehet. A faktorterheléseket “iterált főtényezők” algoritmussal számolták konvergenciáig (9 iteráció), a kommunalitásokat részleges összefüggésekkel inicializálták. Amint a terhelések konvergáltak, a pontszámokat Bartlett-módszerrel számoltuk ki. Ez standardizált pontszámokat eredményez; ezeket a megfelelő tényező-szórásokkal felnagyítottam (a terhelés hossza szerint adtam meg).

Megjegyzések

• Melyik szoftvert használta a PCA és a faktoranalízis diagramok elkészítéséhez?
• A Matlab-ot használtam. Arra gondoltam, hogy be kell illesztenem a kódot a válaszomba (mint általában szokásom) ), de nem akarta még jobban elrontani ezt a forgalmas szálat. De ha jobban belegondolok, fel kell tennem valamilyen külső weboldalra, és itt kell hagynom egy linket. Ezt megteszem.
• Igaz hogy a PCA és az FA néha és egyáltalán nem ritkán ad hasonló eredményeket (terheléseket), és ezért a PCA a FA sajátos esetének tekinthető, amikor a faktoranalízis tágan definiálva. A FA (sensu stricto) és a PCA elméletileg meglehetősen különböznek egymástól.
• (folytatás) A tényezők transzcendens látens tulajdonságok; a pr. komponensek immanens levezetések. A két betöltési diagram alkalmazásod ellenére fül gyakorlatilag hasonló, elméletileg alapvetően különböznek egymástól. A bal oldali komponenssíkot az arra vetítő változók altereként állítottuk elő. A faktorsíkot a változók terétől eltérő térként állították elő, és így vetítik magukat egy ” idegen ” hely a megfelelő ábrán.
• (folytatás) De a megfelelő kép (FA) valójában nem igazi biplot , ez inkább két különböző szóródási sáv, különböző terek átfedése: a betöltési diagram (ahol a tengelyek valódi tényezők) és az objektum pontszám-diagram (ahol a tengelyek a becsült tényezők mint pontszámok). A valódi faktor tér felülmúlja a ” szülői ” változó teret, de a faktor pontszerű terület az altere. Két heterogén tengelypárt helyezett egymásra, de ugyanazokat a címkéket viselik (” factor1 ” és ” factor2 ” mindkét párban), mely körülmény erősen félrevezető és rábeszél bennünket arra, hogy azt gondoljuk, hogy ez jóhiszemű biplot , akárcsak a bal.

A PCA vs Faktorelemzés szétszórt sávok segítségével, logikai lépésekben. (Köszönöm @amoeba, aki a kérdéshez fűzött kommentárjában arra biztatott, hogy tegyek választ a máshova mutató linkek helyett. Itt van tehát egy szabadidős, késői válasz.)

PCA változó összefoglalásként (szolgáltatás kibontása)

Remélem, hogy már értett a PCA-hoz. Az újjáélesztéshez.

Tegyük fel, hogy vannak összefüggő változók $ V_1 $ és $ V_2 $ . Középre helyezzük őket (kivonjuk az átlagot), és szórást készítünk. Ezután elvégezzük a PCA-t ezeken a központosított adatokon. A PCA a tengelyforgatás egy olyan formája, amely a P1 és P2 tengelyeket kínálja V1 és V2 helyett. A PCA legfontosabb tulajdonsága, hogy a P1 – az első főkomponensnek hívják – úgy orientálódik, hogy maximalizálja a mentén lévő adatpontok varianciáját. Az új tengelyek olyan új változók, amelyek értékei kiszámíthatók, amíg ismerjük a $ a $ forgási együtthatókat (a PCA biztosítja őket) [ Eq.1 ]:

$ P1 = a1_1V_1 + a1_2V_2 $

$ P2 = a2_1V_1 + a2_2V_2 $

Ezek az együtthatók rotációs koszinuszok (= irány koszinuszok, fő irányok), és tartalmazzák az úgynevezett sajátvektorokat, míg A kovariancia mátrix sajátértékei a fő komponens varianciák. A PCA-ban tipikusan elvetjük a gyenge utolsó komponenseket: így néhány első kivont összetevővel összesítjük az adatokat, kevés információveszteséggel.

Covariances V1 V2 V1 1.07652 .73915 V2 .73915 .95534 ----PCA---- Eigenvalues % P1 1.75756 86.500 P2 .27430 13.500 Eigenvectors P1 P2 V1 .73543 -.67761 V2 .67761 .73543 

Ábrázolt adatainkkal a P1 a komponens értékeit (pontszámok) P1 = .73543*V1 + .67761*V2 és a P2 komponenst elvetjük. P1 “varianciája 1.75756, a kovarianciamátrix 1. sajátértéke, és így P1 az összes div 86.5% em> variancia, amely megegyezik a következővel: (1.07652+.95534) = (1.75756+.27430).

PCA, mint változó előrejelzés (” látens ” feature)

Tehát elvetettük a P2-t, és arra számítottunk, hogy P1 önmagában képes ésszerűen képviselni az adatokat. Ez egyenértékű azzal, ha azt mondjuk, hogy $ P1 $ ésszerűen jól tud ” rekonstruálni ” vagy megjósolni $ V_1 $ és $ V_2 $ [ 2. egyenlet ]:

$ V_1 = a1_ {1} P1 + E_1 $

$ V_2 = a1_ {2} P1 + E_2 $

ahol együtthatók $ a $ azok, amiket már ismerünk, és $ E $ a hibák (kiszámíthatatlanság). Ez valójában egy ” regressziós modell “, ahol a megfigyelt változókat a látens változó jósolja (vissza) (ha lehetővé teszi egy komponens meghívását a ” látens ” egy) P1 kivont ezekből a változókból. Nézze meg a 2. ábra ábrát, ez nem más, mint a ábra .1 , csak részletesen:

A P1 tengely csempézetten jelenik meg, az értékeivel (P1 pontszámok) zöld színnel (ezek az értékek az adatpontok vetületei a P1-re). Néhány tetszőleges adatpontot A, B, … címkével láttak el, és a P1-től való távozásuk (hiba) vastag fekete csatlakozók. Az A pontra vonatkozóan a részleteket mutatjuk be: a P1 pontszám (zöld A) koordinátái a V1 és V2 tengelyekre a V1 és V2 P1 által rekonstruált értékei a Eq.2 szerint , $ \ hat {V_1} = a1_ {1} P1 $ és $ \ hat {V_2} = a1_ {2} P1 $ . A rekonstrukciós hibák $ E_1 = V_1- \ hat {V_1} $ és $ E_2 = V_2- \ hat {V_2} $ szintén megjelennek bézs színben. A (z) ” hiba ” csatlakozó hossza négyzetben van, a Pythagorean szerint a két hiba négyzetére eső értéke.

Most, ami a PCA-ra jellemző: az, hogy ha kiszámoljuk az E1 és E2 értékeket az adatok minden pontjára, és ezeket a koordinátákat ábrázoljuk – azaz önmagában a hibák szóródási sávja, a felhő ” hibadat ” egybe fog esni az eldobott P2 komponens. És megteszi: a felhő ugyanazon a képen van ábrázolva, mint a bézs felhő – és látja, hogy valóban a P2 tengelyt alkotja ( 1. ábra ) P2 komponens pontszámokkal osztva.

Nem csoda, mondhatod. Olyan nyilvánvaló: a PCA-ban , az eldobott junior komponens (ek) pontosan bomlik s az E predikciós hibákban, abban a modellben, amely a P1 látens jellemző (k) vel magyarázza (helyreállítja) az eredeti V változókat. Az E hibák együttesen csak a kihagyott összetevőket alkotják. Itt a faktorelemzés kezd eltérni a PCA-tól.

A közös FA (látens jellemző) gondolata )

Formálisan a kinyomtatott változókat a kivont látens tulajdonság (ok) alapján előrejelző modell megegyezik az FA-ban, mint a PCA-ban; [ Eq.3 ]:

$ V_1 = a_ {1} F + E_1 $

$ V_2 = a_ {2} F + E_2 $

ahol F az adatokból kinyert látens közös tényező, amely a Eq.2 .A modellben az a különbség, hogy az FA-ban a PCA-val ellentétben hibaváltozókra (E1 és E2) van szükség nincs korrelálva egymással .

Eltérés . Itt hirtelen meg akarom szakítani a történetet, és megfogalmazni a $ a $ együtthatókat. A PCA-ban azt mondtuk, hogy ezek a saját vektorok bejegyzései voltak a PCA-ban (saját vagy egyedi érték-bomlás révén). Míg a látens P1 natív varianciája volt. Ha úgy döntünk, hogy a P1-et egységváltozás ra standardizáljuk, kompenzálnunk kell az együtthatók $ a $ megfelelő növelésével, hogy támogassuk a egyenlet. A $ a $ s-t felnövelt betöltések ; numerikusan érdekesek, mivel ezek a látens és a megfigyelhető változók közötti kovariációk (vagy korrelációk), ezért segíthetnek a látens jellemző értelmezésében. Mindkét modellben – Eq.2 és Eq.3 – szabadon dönthet, az egyenlet károsítása nélkül Ha az F (vagy P1) egység méretezettnek tekinthető, akkor a $ a $ betöltődik; míg ha F (P1) -nek natívnak kell lennie skála (variancia), majd a $ a $ -ot ennek megfelelően kell méretezni – PCA-ban, amely megegyezik a sajátvektor-bejegyzésekkel, b ut FA-ban különbözőek lesznek, és általában nem hívják őket ” sajátvektorokként “. A faktoranalízisről szóló legtöbb szövegben F feltételezi, hogy egységnyi variancia van, tehát $ a $ terhelés . A PCA szakirodalomban a P1-ről tipikusan varianciaként beszélnek, ezért $ a $ sajátvektorok.

OK, vissza a szálhoz. E1 és E2 nincs korrelálva a faktoranalízisben; így kör alakú vagy ellipszis alakú hibafelhőt kell alkotniuk, de nem átlósan orientáltak. Míg a PCA-ban felhőjük egyenes vonalat alkotott, amely egybeesik az átlósan haladó P2-vel. Mindkét ötlet bemutatásra kerül a képen:

Ne feledje, hogy a hibák kör alakúak (nem átlósan hosszúkásak) a felhőben. Az FA tényezője (látens) némileg eltérően van orientálva, vagyis nem megfelelő az első fő komponens, amely a ” látens ” a PCA-ban . A képen a faktorvonal furcsán kúpos egy kicsit – kiderül, miért a végén.

Mit jelent ez a különbség a PCA és a FA? A változók korreláltak, ami az adatfelhő átlósan elliptikus alakjában látható. P1 átfutotta a maximális varianciát, így az ellipszis együtt irányul P1 felé. Következésképpen P1 önmagában magyarázta az összefüggést; de nem magyarázta meg kellőképpen a korreláció meglévő összegét ; az adatpontok variációját magyarázta, nem pedig a korrelációt. Valójában túlszámlázta az összefüggést, amelynek eredményeként az átlós, összefüggő hibahőböl megjelentek, amelyek kompenzálják a túlszámlázást. A P1 önmagában nem képes átfogóan megmagyarázni a korreláció / kovaráció erősségét. Az F faktor egyedül is meg tudja csinálni; és az a feltétel, amikor képessé válik rá, pontosan akkor kényszeríthető a hibák korrelálatlanságára. Mivel a hibafelhő kerek, a tényező kinyerése után nem maradt korreláció – sem pozitív, sem negatív -, ezért ez a tényező simította el az egészet.

Dimenziócsökkentésként A PCA megmagyarázza a varianciát, de pontatlanul magyarázza az összefüggéseket. Az FA megmagyarázza a összefüggéseket, de (a közös tényezők alapján) nem tud annyi adatváltozást figyelembe venni, amennyit a PCA képes. Az FA tényező (k) a változékonyságnak azt a részét jelentik, amely a nettó korrelációs rész, az úgynevezett közösségiség ; és ezért a tényezők valós, még megfigyelhetetlen erőként / jellemzőkként / tulajdonságokként értelmezhetők, amelyek ” rejtőznek a ” vagy a ” ” mögött a bemeneti változók, hogy korreláljanak egymással. Mivel matematikailag jól magyarázzák az összefüggést. A fő összetevők (néhány első) matematikailag nem annyira jól magyarázzák, ezért ” látens tulajdonság ” (vagy hasonló) csak bizonyos szakaszokon és kísérletileg .

A terhelések szorzata magyarázza (helyreállítja) a korrelációt vagy a korrelációt a kovariancia formája – ha az elemzés a kovariancia mátrixon alapult (mint a kiviteli példánál), nem pedig a korrelációs mátrixon.Az adatokkal elvégzett faktoranalízis eredménye a_1=.87352, a_2=.84528 volt, így a termék a_1*a_2 = .73837 majdnem megegyezik a kovariancia .73915. Másrészt a PCA-terhelések a1_1=.97497, a1_2=.89832 voltak, ezért a1_1*a1_2 = .87584 jelentősen túlbecsüli a .73915 -et.

Miután elmagyaráztuk a PCA és az FA fő elméleti különbségtételét, térjünk vissza adatainkhoz, hogy példázzuk az ötletet.

FA: hozzávetőleges megoldás (faktorértékek)

Az alábbiakban bemutatjuk az elemzés eredményeit, amelyeket ideiglenesen ” aloptimális faktor-elemzésnek nevezünk “, 3. ábra .

A technical detail (you may skip): PAF method used for factor extraction. Factor scores computed by Regression method. Variance of the factor scores on the plot was scaled to the true factor variance (sum of squared loadings). 

Lásd a (z) ábra indulásait .2 PCA. A hibák bézs színű felhője nem kerek, átlósan ellipszis alakú, mégis nyilvánvalóan sokkal kövérebb, mint a PCA-ban fellépő vékony átlós vonal. Vegye figyelembe azt is, hogy a hibacsatlakozók (néhány pontnál láthatók) már nem párhuzamosak ( PCA, definíció szerint párhuzamosak voltak a P2-vel). Sőt, ha például megnézzük a ” F ” és a ” E ” amelyek szimmetrikusan tükröződnek az “s F tengelyre váratlanul rájön, hogy a hozzájuk tartozó faktor-pontszámok meglehetősen eltérő értékek lesznek. Más szóval, a faktor-pontszámok nem csak lineárisan transzformált főkomponens-pontszámok: az F tényező a maga módján eltérő És tengelyeik nem egyeznek teljesen, ha ugyanazon a ábrán együtt mutatják őket. 4. ábra :

Ettől eltekintve kissé eltérően orientáltak, az F (pontszámokkal járólagosan) rövidebb, vagyis kisebb a szórása, mint a P1-nek. Amint azt korábban megjegyeztük, a faktor csak a V1 V2 korrelációjáért felelős változékonyságot jelenti, vagyis a teljes variancia azon részét, amely elegendő ahhoz, hogy a változókat az ős kovarianciából 0 a tényleges kovarianciába vigye .73915.

FA: optimális megoldás (valódi tényező)

Optimális tényező-megoldás az, ha a hibák kerekek vagy nem átlós elliptikus felhő : Az E1 és az E2 teljesen korrelálatlan . A faktoranalízis valójában ilyen optimális megoldást eredményez . Nem olyan egyszerű szórványon mutattam, mint a fentiek. Miért tettem? – mert végül is ez lett volna a legérdekesebb.

Ennek az az oka, hogy lehetetlen lenne egy scatterplot-on megfelelően adekvát módon megjeleníteni, még 3D-s plotot is elfogadva. Elméletileg elég érdekes pont. Annak érdekében, hogy az E1 és E2 teljesen korrelálatlan legyen, úgy tűnik, hogy mindhárom változónak, F, E1, E2 nem hazudnia kell a V1, V2 által meghatározott térben (síkban); és a hármat nem kell korrelálni egymással . Úgy gondolom, hogy 5D-ben (és talán némi trükkel – 4D-ben) meg lehet rajzolni egy ilyen szórványt, de sajnos a 3D-s világban élünk. Az F tényezőt nem kell korrelálni mind az E1, mind az E2-vel (miközben mindkettő szintén nincs korrelálva), mert állítólag F csak (tiszta) és teljes összefüggés forrása a megfigyelt adatokban. A A faktoranalízis a p bemeneti változók teljes varianciáját osztja két korrelálatlan (nem átfedő) ) részek: közösségiség rész (m -dimenziós, ahol m közös tényezők uralkodnak) és egyediség rész (p -dimenziós, ahol a hibákat egyedi tényezőknek is nevezik, kölcsönösen korrelálatlanok).

Tehát megbocsássuk, ha nem mutatjuk be a adataink egy szórványterületről itt. Megfelelően vizualizálható ” tárgytérben “, mint adatpontok megjelenítése nélkül.

Fent, a ” szakaszban a közös FA (látens szolgáltatás) ötlete ” Megmutattam a faktort (F tengely) ékként annak figyelmeztetésére, hogy az igazi tényező tengely nem fekszik a V1 V2 síkon. Ez azt jelenti, hogy – ellentétben a P1 fő komponenssel – az F tényező tengelyként nem a V1 vagy a V2 tengely forgása a térükben, és F mint változó nem a V1 és V2 változók lineáris kombinációja .Ezért F-et úgy modellezzük (kivonjuk a V1 v2 változókból), mintha egy külső, független változó lenne, nem pedig ezek levezetése. Az olyan egyenletek, mint Eq.1 , ahonnan a PCA kezdődik, nem alkalmazhatók a true (optimális) tényező kiszámításához. faktoranalízisben, míg formailag izomorf egyenletek Eq.2 és Eq. 3 mindkét elemzésre érvényes. Vagyis a PCA-ban a változók komponenseket generálnak, és a komponensek előre jelzik a változókat; az FA tényezők generálnak / megjósolnak változókat, és nem vissza – a közös tényező modell fogalmilag feltételezi, hogy így , annak ellenére, hogy technikailag tényezőket vonnak ki a megfigyelt változókból.

Nem csak a true faktor nem a manifeszt változók függvénye, a true faktor “az s értékek nincsenek egyedileg definiálva . Más szavakkal, egyszerűen ismeretlenek. Mindez annak a ténynek köszönhető, hogy mi” a túlzott 5D-s analitikai térben, és nem az otthoni 2D-s térben találhatók. Kizárólag jó közelítések (számos módszer létezik ) a valódi faktorértékekhez, az úgynevezett faktori pontszámok ott nekünk. A faktor-pontszámok valóban a V1 V2 síkban helyezkednek el, hasonlóan a fő komponens pontszámokhoz, ezeket V1, V2 lineáris függvényeként is kiszámítják, és ők azok voltak, amelyeket a ” FA: hozzávetőleges megoldás (faktorértékek) “. A fő komponens pontszámok valódi komponens értékek; A faktor pontszámok csak ésszerű közelítést jelentenek a meghatározatlan valódi tényező értékekhez.

FA: az eljárás összesítése

Összegyűjteni egy kis vérrögben az előző két szakasz mondanivalóját, és hozzáadni az utolsó vonásokat . Valójában az FA ( ha jól csinálja, és lásd még az adatfeltevéseket ) megtalálja az igazi tényező megoldást (” true ” itt az adatmintára optimálisnak gondolom). Különféle kivonási módszerek léteznek (ezek eltérnek bizonyos másodlagos korlátoktól). A (z) tényleges megoldás csak a $ a $ betöltésig áll. . Így a terhelések optimális, valódi tényezők. A A faktorráta – ha szüksége van rájuk – különféle módon kiszámíthatóak ezekből a terhelésekből és visszatérnek közelítések a tényező értékéhez.

Így ” faktor megoldás “, amelyet a FA: hozzávetőleges megoldás (faktorértékek) ” valójában az optimális terheléseken, vagyis a valódi tényezőkön alapult. De a pontszámok nem voltak optimálisak a sors szerint. A pontszámokat a megfigyelt változók lineáris függvényeként számolják, hasonlóan az összetevői pontszámokhoz, így mindkettőt össze lehet hasonlítani egy szórt sávon, és didaktikai céllal tettem, hogy a PCA-ötlettől az FA-ötlet felé történő fokozatos átadásként mutassam.

Óvatosnak kell lennünk, amikor ugyanazokra a biplot faktortöltésekre tényező pontszámokkal ábrázoljuk a ” tényezők , vegye figyelembe, hogy a terhelések valódi tényezőkre vonatkoznak, míg a pontszámok a helyettesítő tényezőkre vonatkoznak (lásd a megjegyzéseimet erre a válaszra ebben a szálban).

A tényezők (terhelések) elforgatása segít értelmezni a látens jellemzőket. A terhelések forgatása PCA-ban is elvégezhető , ha a PCA-t úgy használjuk, mintha faktoranalízist használnánk (vagyis lásd a PCA-t változó predikcióként). A PCA hajlamos konvergálni az eredményekkel az FA-val, amikor a változók száma növekszik (lásd a két módszer közötti gyakorlati és fogalmi hasonlóságokat és különbségeket a rendkívül gazdag szálban ). e válasz végén tekintse meg a PCA és az FA közötti különbségek listáját. Az iris adatkészleten a PCA és az FA lépésről lépésre történő kiszámítása itt található. Jelentős számú jó link található más résztvevők válaszaihoz a témán kívül ezen a szálon; sajnálom, hogy csak keveset használtam fel az aktuális válaszban.

Lásd még a különbségek felsorolását a PCA és az FA között itt .

Megjegyzések

• +1. ‘ nagyon jó, hogy te írtad fel, erről a szálról határozottan hiányzott a válasz. Felolvasás előtt olvastam (amit ritkán teszek), és minden bizonnyal élveztem a későbbi olvasást. Lehet, hogy később még többet kommentálok, de egy aprócska nitpick: egyelőre többször írtad, hogy az FA-ban a hibafelhő ” kör alakú legyen ” .De valójában ellipszis lehet (mivel a V1 és V2 egyediségének különböző eltérései lehetnek), csak nulla korrelációval kell rendelkeznie. Gondolom, nem akarta összetéveszteni az olvasókat ezzel a részlettel.
• @amoeba Naiv kétségem van afelől, hogy matematikai képtelenség az optimális F, E1, E2 újravezetése a V1 által meghatározott térben (síkban), V2. Gondolhatok erre egy ellenpéldára: Mondja, hogy $ V_1 = a_ {1} F + E_1 $ és $ V_2 = a_ {2} F + E_2 $, ahol $ (E_1, E_2) = \ mathcal {N} (0 , \ Bbb {I}) $ – Most ezeket a relációkat használja V1 és V2 minták előállításához. Ha a V1 és a V2 generálódik, ha az optimális FA-t szeretnénk elvégezni, vissza kell kapnunk az (E1, E2) közel pontos becsléseit, és ez elliptikus felhőt képez. Sőt, mostantól F, E1, E2 ugyanazon a síkon ábrázolható, mint a V1 és a V2.
• @kasa, a megjegyzésem üdvözölte a válaszomat vagy az amőba ‘ s megjegyzést? Ha észrevétele azon fő állításom ellen szól, hogy az FA-ban a három látens változó nem az eredeti térben fekszik, és megmutathatja, miért ne adna ki egy választ, amely megmutatja? De kérjük, vegye figyelembe, hogy az optimális FA esetén a hibák pontosan nincsenek korrelálva, nem pedig úgy, hogy úgy lehetne elképzelni őket, mintha a normális, korrelálatlan populációból származnának.
• @ttnphns : Elnézést a zavarért, kételkedtem a fő követelésében. Pár nap múlva megpróbálom válaszként megmutatni. Köszönöm!

A faktoranalízis és a főkomponens-elemzés közötti különbségek a következők:

• A faktoranalízisben van egy strukturált modell és néhány feltételezés. Ebben a tekintetben ez egy statisztikai technika, amely nem vonatkozik a főkomponens-elemzésre, amely tisztán matematikai transzformáció.

• A főkomponens-elemzés célja a variancia, míg a faktoranalízis a kovariancia magyarázata. változók.

A kettő közötti összetévesztés egyik legnagyobb oka azzal a ténnyel jár, hogy a faktoranalízis egyik faktorextrakciós módszerét “fő összetevők módszerének” nevezik. Azonban egy dolog a PCA-t használni, a másik pedig a fő összetevők módszerét használni az FA-ban. A nevek lehetnek hasonlóak, de vannak jelentős különbségek. Az előbbi egy független analitikai módszer, míg ez utóbbi csupán a faktorok kinyerésének eszköze.

Számomra (és remélem, hogy ez hasznos is) a faktorelemzés sokkal hasznosabb, mint a PCA.

Nemrégiben örömmel töltöttem el egy skála elemzését faktoranalízissel. Ezt a skálát (bár az iparban széles körben használják) a PCA felhasználásával fejlesztették ki, és tudomásom szerint soha nem elemezték tényezőt.

Amikor elvégeztem a faktoranalízist (fő tengely), rájöttem, hogy három elem közösségi értéke kisebb volt, mint 30%, ami azt jelenti, hogy az elemek több mint 70% -át “nem elemezték. PCA csak átalakítja az adatokat egy új kombinációvá, és nem törődik a közösségiséggel. Az a következtetésem volt, hogy a skála pszichometriai szempontból nem volt túl jó, és ezt egy másik mintával igazoltam.

Ha a tényezők felhasználásával akarsz előrejelezni, akkor lényegében használd a PCA-t. , míg ha meg akarja érteni a látens tényezőket, használja a Faktorelemzést.

A @StatisticsDocConsulting válaszának kibővítése: az EFA és a PCA közötti terhelések közötti különbség kevés változó mellett nem triviális. Itt egy szimulációs függvény ennek bemutatására az R-ben:

simtestit=function(Sample.Size=1000,n.Variables=3,n.Factors=1,Iterations=100) {require(psych);X=list();x=matrix(NA,nrow=Sample.Size,ncol=n.Variables) for(i in 1:Iterations){for(i in 1:n.Variables){x[,i]=rnorm(Sample.Size)} X$PCA=append(X$PCA,mean(abs(principal(x,n.Factors)$loadings[,1]))) X$EFA=append(X$EFA,mean(abs(factanal(x,n.Factors)$loadings[,1])))};X} 

Alapértelmezés szerint ez a függvény 100 Iterations -t hajt végre, amelyek mindegyikében három változóból állít elő véletlenszerű, normálisan elosztott mintákat (Sample.Size $ = 1000 $), és egy faktort kivon PCA és ML-EFA felhasználásával. Kettő listát ad ki Iterations -hosszú vektorok, amelyek a szimulált változók átlagos nagyságrendjeiből állnak, “a PCA nem rotált első komponensére és az EFA-ból származó általános tényezőre eső terhelések”. Lehetővé teszi, hogy a principal() és a factanal() keretein belül a helyzetnek megfelelő minta méretével, változóinak és tényezőinek számával játsszon. funkciók és a számítógép.

Ezzel a kóddal 3–100 változó mintáit szimuláltam, mindegyik 500 iterációval az adatok előállításához:

Y=data.frame(n.Variables=3:100,Mean.PCA.Loading=rep(NA,98),Mean.EFA.Loading=rep(NA,98)) for(i in 3:100) {X=simtestit(n.Variables=i,Iterations=500);Y[i-2,2]=mean(X$PCA);Y[i-2,3]=mean(X$EFA)} 

… az átlagos terhelések (változók és iterációk közötti) érzékenységének diagramjára a változók számához:

Ez megmutatja, hogy mennyire eltérően értelmeznie kell a terhelések erősségét a PCA-ban és az EFA-ban. Mindkettő némileg függ a változók számától, de a terhelések sokkal erőteljesebben vannak felfelé torzítva a PCA-ban. Az átlagos terhelések közötti különbség, ezeknek a módszereknek a csökkenésével csökken a változók száma, de még akkor is, ha 100 változó, a PCA-terhelések átlagosan 0,067 $ -kal magasabbak, mint a véletlenszerű normál adatok EFA-terhelései.Azonban vegye figyelembe, hogy a valós terheléseknél az átlagos terhelés általában nagyobb lesz, mert általában ezeket a módszereket korreláltabb változókon alkalmazzák. Nem tudom, hogy ez hogyan befolyásolhatja az átlagos terhelések különbségét.

Idézet egy igazán szép tankönyvből ( Brown, 2006, 22. o., Kiemelés hozzáadva).
PCA = főkomponens-elemzés
EFA = feltáró faktor-elemzés
CFA = megerősítő faktor-elemzés

Bár az EFA-hoz kapcsolódik, a fő komponens-elemzést (PCA) gyakran tévesen kategorizálják a közös tényező-elemzés becslési módszereként. Az előző bekezdésben tárgyalt becslőkkel (ML, PF) ellentétben a PCA más mennyiségi módszerek, amelyek nem a közös tényező-modellen alapulnak. A PCA nem különbözteti meg a közös és az egyedi varianciát. Inkább a PCA célja, hogy a megfigyelt mértékek varianciáját vegye figyelembe, nem pedig elmagyarázza a közöttük lévő összefüggéseket. Így a PCA-t megfelelőbben használják adatcsökkentési technika a nagyobb mértékű intézkedéscsomag csökkentésére, a használandó összetett változók kisebb, kezelhetőbb számára a későbbi elemzések során. Néhány módszertanos azonban azzal érvelt, hogy a PCA ésszerű vagy talán jobb alternatíva az EFA-val szemben, tekintettel arra a tényre, hogy a PCA számos kívánatos statisztikai tulajdonsággal rendelkezik (pl. Számítási szempontból egyszerűbb, nem hajlamos a helytelen megoldásokra, gyakran hasonló eredményeket hoz, mint az EFA. , a PCA azon képessége, hogy kiszámolja a résztvevő pontszámát egy fő összetevőn, míg az EFA határozatlan jellege bonyolítja az ilyen számításokat). Bár a vita folytatódik erről a kérdésről, Fabrigar et al. (1999) több okot is felhoz, szemben a PCA faktorelemzésben elfoglalt helyével. Ezek a szerzők hangsúlyozzák azokat a helyzeteket, amikor az EFA és a PCA eltérő eredményeket hoznak; például amikor a kommunalitások alacsonyak, vagy ha egy adott tényezőnek csak néhány mutatója van (vö. Widaman, 1993). Ettől függetlenül, ha az elemzés legfőbb indoka és empirikus célkitűzései összhangban vannak a közös tényező modellel, akkor fogalmi és matematikai szempontból következetlen a PCA végrehajtása; vagyis az EFA megfelelőbb, ha a kitűzött cél egy kisebb számú látens dimenzióval rendelkező indikátorkészlet összefüggéseinek reprodukálása, felismerve a megfigyelt mérési mérési hibák fennállását. Floyd és Widaman (1995) azzal a megállapítással élnek, hogy az EFA-alapú becslések nagyobb valószínűséggel általánosítanak CFA-ra, mint a PCA-ból nyertek, mivel a PCA-val ellentétben az EFA és a CFA a közös faktor modellen alapul. Ez figyelemre méltó szempont annak fényében, hogy az EFA-t gyakran használják a CFA előfutáraként a méretarány-fejlesztésben és a konstrukció validálásában. A PCA és az EFA közötti számítási különbségek részletes bemutatása megtalálható a többváltozós és faktoranalitikus tankönyvekben (pl. Tabachnick & Fidell, 2001).

Brown, TA (2006). Megerősítő faktoranalízis az alkalmazott kutatáshoz. New York: Guilford Press.

Gondolkodni lehet egy PCA-t, mint olyan FA-t, amelyben a kommunalitásokat minden változó esetén 1-vel feltételezzük. A gyakorlatban ez azt jelenti, hogy azoknak az elemeknek, amelyeknek az alacsony közösségiség miatt viszonylag alacsony faktorterhelésük lenne az FA-ban, nagyobb lesz a PCA-terhelés. Ez nem kívánatos tulajdonság, ha az elemzés elsődleges célja a cikk hosszának csökkentése és az elemek egy elemének megtisztítása azoktól, amelyek alacsony vagy egyértelmű terheléssel rendelkeznek, vagy olyan fogalmak azonosítása, amelyek nem szerepelnek jól az elemkészletben.

Egy Tipping és Bischop című cikkben a Probabalistic PCA (PPCA) és a Factor elemzés szoros kapcsolatát tárgyaljuk. A PPCA közelebb áll az FA-hoz, mint a klasszikus PCA. A közös modell

$$ \ mathbf {y} = \ mu + \ mathbf {Wx} + \ epsilon $$

ahol $ \ mathbf {W} \ in \ mathbb {R} ^ {p, d} $, $ \ mathbf {x} \ sim \ mathcal {N} (\ mathbf {0}, \ mathbf {I}) $ és $ \ epsilon \ sim \ mathcal {N} ( \ mathbf {0}, \ mathbf {\ Psi}) $.

• A faktorelemzés feltételezi, hogy a $ \ mathbf {\ Psi} $ átlós.
• A PPCA feltételezi, hogy $ \ mathbf {\ Psi} = \ sigma ^ 2 \ mathbf {I} $

Michael E. Tipping, Christopher M. Bishop (1999). Valószínűségi fő elemző elemzés , a Royal Statistics Society folyóirata, 61. évfolyam, 3. szám, 611–622. Oldal

Megjegyzések

• + 1. Igen. Úgy gondolom, hogy a PPCA megértése szükséges a PCA és az FA kapcsolatának megértéséhez. De javíthatja válaszát a PCA / PPCA kapcsolat megvitatásával.

Ezek közül a válaszok egyike sem tökéletes. Az FA-nak vagy a PCA-nak van néhány változata. Világosan ki kell mutatnunk, mely változatokat hasonlítják össze. Összehasonlítanám a maximális valószínűségi faktor elemzést és a Hotelling PCA-ját.Az előbbiek feltételezik, hogy a látens változó normális eloszlást követ, de a PCA-nak nincs ilyen feltételezése. Ez olyan különbségekhez vezetett, mint a megoldás, az alkatrészek beágyazása, a megoldás egyedisége, az optimalizálási algoritmusok.

Megjegyzések

• Kíváncsi lennék, hogy tudnál-e erről bővebben bővíteni – azt mondtad, hogy az utolsó mondatban vannak különbségek, de nem sok információt adtál arról, hogy melyek lehetnek ezek a különbségek, vagy milyen módon lehetnek fontosak ezek a különbségek?
• Két legtávolabbi módszer kiválasztása és annak állítása, hogy valóban különböznek egymástól – mint ahogy Ön is – nem tökéletes logika . Valószínűleg meg kell találni és jelenteni kell, hogy ez a kettő hasonló. Alternatív megoldásként választhatja a legtöbb hasonló módszert (például a sima PCA vs PAF ), és jelentheti, hogy milyen módon különböznek egymástól.
• Hotelling ‘ s PCA látens gaussokat feltételez.

Sok remek válasz van erre a bejegyzésre, de nemrégiben találkoztam egy másik különbséggel.

A fürtözés egy olyan alkalmazás, ahol a PCA és az FA különböző eredményeket hoznak. Ha sok adat található az adatokban, megkísérelheti megkeresni a legfelső PC-irányokat és kivetíteni az adatokat ezekre a PC-kre, majd folytassa a fürtözést. Gyakran ez megzavarja az adatokban rejlő klasztereket – Ez jól bevált eredmény. A kutatók azt javasolják, hogy folytassák az altér-klaszterezési módszereket, amelyek alacsony dimenziós látens tényezőket keresnek a modellben.

Csak ennek a különbségnek a szemléltetése érdekében vegye figyelembe az R. divarabok adatkészletének Crabs adatsorát 200 sorral és 8 oszloppal, amelyek két morfológiai mérést írnak le 50 rákon, mindegyik két színben a fajok formái és mindkét neme – Lényegében 4 (2×2) különböző rákosztály létezik.

library(MASS) data(crabs) lbl <- rep(1:4,each=50) pc <- princomp(crabs[,4:8]) plot(pc) # produce the scree plot X <- as.matrix(crabs[,4:8]) %*% pc$loadings library(mclust) res_12 <- Mclust(X[,1:2],G=4) plot(res_12) res_23 <- Mclust(X[,2:3],G=4) plot(res_23) 

Fürtözés PC1 és PC2 használatával:

Fürtözés PC2 és PC3 használatával:

#using PC1 and PC2: 1 2 3 4 1 12 46 24 5 2 36 0 2 0 3 2 1 24 0 4 0 3 0 45 #using PC2 and PC3: 1 2 3 4 1 36 0 0 0 2 13 48 0 0 3 0 1 0 48 4 1 1 50 2 

Amint a fenti ábrákból láthatjuk, a PC2 és a PC3 több megkülönböztető információt hordoz, mint PC1.

Ha a látens tényezők felhasználásával próbálunk klaszterezni egy tényező-analizátor keverékével, akkor sokkal jobb eredményt látunk az első két PC-hez képest.

mfa_model <- mfa(y, g = 4, q = 2) |............................................................| 100% table(mfa_model$clust,c(rep(1,50),rep(2,50),rep(3,50),rep(4,50))) 1 2 3 4 1 0 0 0 45 2 16 50 0 0 3 34 0 0 0 4 0 0 50 5 

Megjegyzések

• Azt kell mondanom, hogy kétlem, hogy ez a válasz valóban megválaszolja a kérdést. A válasz a PCA vagy FA utáni klaszteranalízisről szól, nem pedig magukról a PCA-ról és FA-ról. De még ebben a tekintetben is homályos vagy befejezetlen a válasz. Hogyan magyarázható a megjelenített különbség?
• @ttnphns Egyetértek azzal, hogy a válasz a klaszterelemzésről szóljon. Az OP azonban egy valós forgatókönyvet is kért PCA / FA-val, ahol az egyiket a másik felett kell használni. Jellemzően a PCA vagy az FA soha nem a végcél – Például A társadalomtudományokban a végső cél az alanyok különböző klaszterekbe / csoportokba sorolása lenne. Válaszom ilyen forgatókönyvekkel foglalkozik. Abban az esetben, ha úgy gondolja, hogy a válaszom javítható, nyugodtan mutasson rá.
• Úgy gondolom, hogy válasza valóban relevánssá válhat, ha elmagyarázza a megállapítását. Ön azt állítja, hogy a PCA és az FA közötti különbségek a két módszer szempontjából lényegesek (csak a klaszterezés alatt válnak nyilvánvalóvá). Azt hiszem, meg kell mutatnia, vagy legalábbis spekulálnia kell arra, hogy a különbségek elméletileg hogyan és miért származnak a módszerek div div