Mitkä ovat erot tekijäanalyysin ja pääkomponenttianalyysin välillä?

Pääkomponenttianalyysi sisältää havaittujen muuttujien lineaaristen yhdistelmien purkamisen.

Tekijäanalyysi perustuu muodolliseen malliin, joka ennustaa havaitut muuttujat teoreettisten piilevien tekijöiden perusteella.

Psykologiassa nämä kaksi tekniikoita käytetään usein monen mittakaavan testien rakentamisessa sen määrittämiseksi, mitkä kohteet kuormittavat mittakaavia. Ne antavat tyypillisesti samanlaisia aineellisia johtopäätöksiä (keskustelua varten katso Comrey (1988) Factor-Analytic Methods of Scale Development in Personality and Clinical Psychology). Tämä auttaa selittämään, miksi jotkut tilastopaketit näyttävät niputtavan ne yhteen. Olen myös nähnyt tilanteita, joissa ”pääkomponenttianalyysi” on merkitty virheellisesti ”tekijäanalyysi”.

Yksinkertaisen nyrkkisäännön suhteen , ehdotan, että:

1. Suorita tekijäanalyysi, jos oletat tai haluat testata havaittujen muuttujien aiheuttavien piilevien tekijöiden teoreettista mallia.

2. Suorita pääkomponenttianalyysi Jos haluat yksinkertaisesti pienentää korreloivat havaitut muuttujat pienemmäksi joukoksi tärkeitä itsenäisiä yhdistelmämuuttujia.

Kommentit

• Siellä oleva nyrkkisääntö on erittäin hyödyllinen. Kiitos siitä.
• Nyrkkisääntö (1): Wouldn ’ t Testaan piilevien tekijöiden teoreettisen mallin vahvistavan tekijäanalyysin sijasta etsivän fa: n avulla?
• @roman Kyllä. CFA antaa sinulle paljon paremman hallinnan mallista kuin EFA. Voit esimerkiksi rajoittaa kuormitukset nollaan, tasata kuormituksia, korreloida jäännöksiä ls; lisää korkeamman kertaluvun tekijät; jne.
• @Jeromy Anglim Onko oikein sanoa, että PCA tekee ” pienemmän joukon tärkeitä itsenäisiä yhdistelmämuuttujia. ”
• 2. säännön peukalo on helppo saada, mutta miten voin käyttää ensimmäistä? Kuulostaa ehkä oudolta, mutta milloin tiedän, että haluan ’ suorittaa tekijämallin havaittuja muuttujia vastaan?

Vastauksestani:

Onko PCA: ta seurannut kierto (kuten varimax) edelleen PCA?

Pääkomponenttianalyysi (PCA) ja Common Factor Analysis (CFA) ovat erillisiä menetelmiä. Usein ne tuottavat samanlaisia tuloksia ja PCA: ta käytetään oletusuuttomenetelmänä SPSS-tekijäanalyysirutiinissa. Tämä johtaa epäilemättä paljon hämmennystä näiden kahden välisestä erosta.

Tärkeintä on, että nämä ovat käsitteellisesti kahta erilaista mallia. PCA: ssa komponentit ovat todellisia ortogonaalisia lineaarisia yhdistelmiä, jotka maksimoivat kokonaisvarianssin.FA: ssa tekijät ovat lineaarisia yhdistelmiä, jotka maksimoivat varianssin jaetun osan – taustalla olevien ”piilevien rakenteiden”. Siksi FA: ta kutsutaan usein ”yhteisen tekijän analyysiksi”. FA käyttää erilaisia optimointirutiineja, ja tulos, toisin kuin PCA, riippuu käytetystä optimointirutiinista ja näiden rutiinien lähtökohdista. Yksinkertaista ratkaisua ei ole olemassa.

R: ssä factanal () -toiminto tarjoaa CFA: lle maksimaalisen todennäköisyyden uuttamiseen. Joten sinun ei pitäisi odottaa sen toistavan PCA-uutteeseen perustuvaa SPSS-tulosta. Se ei yksinkertaisesti ole sama malli tai logiikka. En ole varma, saisitko saman tuloksen, jos käyttäisit SPSS: n Suurimman todennäköisyyden purkamista, koska he eivät välttämättä käytä samaa algoritmia.

parempi tai huonompi R: ssä, voit kuitenkin toistaa sekoitetun ”tekijäanalyysin”, jonka SPSS tarjoaa oletusarvona. Tässä on prosessi R: ssä. Tällä koodilla pystyn toistamaan SPSS: n pääkomponentin. Tekijäanalyysi ”-tulos käyttämällä tätä tietojoukkoa (lukuun ottamatta merkkiä, joka on määrittelemätön). Tulosta voidaan sitten kiertää myös millä tahansa R: n käytettävissä olevalla kiertomenetelmällä.

data(attitude) # Compute eigenvalues and eigenvectors of the correlation matrix. pfa.eigen <- eigen(cor(attitude)) # Print and note that eigenvalues are those produced by SPSS. # Also note that SPSS will extract 2 components as eigenvalues > 1 = 2. pfa.eigen$values # Set a value for the number of factors (for clarity) kFactors <- 2 # Extract and transform two components. pfa.eigen$vectors[, seq_len(kFactors)] %*% diag(sqrt(pfa.eigen$values[seq_len(kFactors)]), kFactors, kFactors) 

kommentit

• Huomaa, että saat samat tulokset principal(attitude, 2, rotate="none") -kohdasta psych -paketti ja että Kayserin ’ -sääntö (ev > 1) ei ole suositeltavin tapa testata ulottuvuuden kannalta (se yliarvioi tekijöiden määrän).
• Kyllä, tiedän psykologisen sivun rincipal kääri tämän. Tarkoitukseni oli näyttää, mitä SPSS ” tekijäanalyysi ” teki käyttäessään pääkomponenttien uuttomenetelmää. Olen samaa mieltä siitä, että ominaisarvosääntö on huono tapa valita tekijöiden määrä. Mutta juuri tämän SPSS tekee oletuksena, ja tätä esitin.
• factanal() tarjoaa EFA: lle ei CFA: ta. Kokemukseni mukaan SPSS ’ s Suurimman todennäköisyyden poiminnan pitäisi antaa sama tulos kuin factanal(), koska vino kiertyminen ei ole.
• Mitä seuraava tarkoittaa: ’ FA: ssa tekijät ovat lineaarisia yhdistelmiä, jotka maksimoivat varianssin jaetun osan – taustalla oleva ” piilevät rakenteet ”. ’?
• Huomaa myös, että CFA voi olla vahvistava FA (toisin kuin selittävä FA ). yhteisen FA : n sijaan.

Kohdassa on lukuisia ehdotettuja määritelmiä verkko. Tässä on yksi tilastollisen oppimisen online-sanastosta :

Pääkomponentti Analyysi

Uusien ominaisuuksien rakentaminen, jotka ovat tietojoukon pääkomponentteja. Pääkomponentit ovat maksimaalisen varianssin satunnaismuuttujia, jotka on rakennettu tulo-ominaisuuksien lineaarisista yhdistelmistä. Vastaavasti ne ovat projektioita pääkomponenttiakseleille, jotka ovat viivoja, jotka minimoivat keskimääräisen neliöetäisyyden tietojoukon jokaiseen pisteeseen. Ainutlaatuisuuden varmistamiseksi kaikkien pääkomponenttien akselien on oltava kohtisuorassa. PCA on maksimaalisen todennäköisyyden tekniikka lineaariselle regressiolle Gaussin kohinan läsnä ollessa sekä tuloissa että lähdöissä. Joissakin tapauksissa PCA vastaa Fourier-muunnosta, kuten JPEG-kuvan pakkauksessa käytetty DCT. Katso ”Eigenfaces for tunnustaminen” (Turk & Pentland, J Cognitive Neuroscience 3 (1), 1991), piispa, ”Todennäköinen pääkomponenttianalyysi” ja ”PCA: n automaattinen ulottuvuuden valinta ”.Chimence of dimensionality for PCA”.

Tekijäanalyysi

PCA: n yleistys, joka perustuu nimenomaisesti suurimpaan todennäköisyyteen. PCA: n tapaan kunkin datapisteen oletetaan syntyvän otannasta piste alitilassa ja häiritsee sitä sitten täysimittaisella Gaussin melulla. Ero on se, että tekijäanalyysi antaa melulle mielivaltaisen diagonaalisen kovarianssimatriisin, kun taas PCA olettaa, että melu on pallomainen. Alitilan arvioinnin lisäksi tekijäanalyysi arvioi kohinan kovarianssimatriisin. Katso ”EM-algoritmi tekijäanalysaattoreiden seoksille”. PCA: n ulottuvuusvalinta.

Kommentit

• Factor Analysis -kuvaus saa pääkohdan (diagonaalinen kovarianssi), mutta historiallisesti Sitä ei ole kehitetty PCA: n yleistymisenä.
• Joten periaatteessa PCA: ssa yksi svd ’ s on kovarianssimatriisi ja FA: ssa korrelaatiomatriisi? Minulle on aina vaikeaa löytää varsinaista matematiikkaa, kun menetelmät ovat rakentaneet paljon terminologiaa kentältä, jolla niitä käytetään.(Aiheen ulkopuolella: kerran kesti koko iltapäivä ymmärrystä polun mallinnuksesta, kunnes löysin yhden (1) paperin 70 ’ -lehdestä, joissa oli matriisiyhtälö sen takana. )

Olet oikeassa ensimmäisessä kohdassa, vaikka FA: ssa työskentelet yleensä molempien kanssa (ainutlaatuisuus) ja yhteisöllisyys). Valinta PCA: n ja FA: n välillä on pitkäaikainen keskustelu psykometristen keskuudessa. En kuitenkaan noudata täysin teidän näkemyksiänne. Pääakselien kiertämistä voidaan käyttää riippumatta siitä, mitä menetelmää käytetään piilevien tekijöiden muodostamiseen. Itse asiassa useimmiten tämä on VARIMAX-kierto (ortogonaalinen kierto, korreloimattomat tekijät huomioon ottaen) käytetystä käytännön syistä (helpoin tulkinta, helpoin pisteytyssäännöt tai tekijäpisteiden tulkinta jne.), vaikka vino kierto (esim. PROMAX) saattaa todennäköisesti kuvastaa paremmin todellisuutta (piilevät rakenteet korreloivat usein toistensa kanssa), ainakin FA: n perinne, jossa oletetaan, että piilevä rakenne on todellakin muuttujien välisten havaittujen korrelaatioiden ydin. Asia on, että PCA ja VARIMAX-kierto vääristävät jonkin verran ”alkuperäisten muuttujien lineaaristen yhdistelmien tulkintaa” analyysi ”-perinne (katso Michel Tenenhausin työ). Psykometrisen näkökulman perusteella FA-mallit ovat suositeltavia, koska ne selittävät nimenomaisesti mittausvirheen s, kun taas PCA ei välitä siitä. Lyhyesti sanottuna, käyttämällä PCA: ta, jokainen komponentti (tekijä) ilmaistaan muuttujien lineaarisena yhdistelmänä, kun taas FA: ssa nämä ovat muuttujia, jotka ilmaistaan tekijöiden lineaarisina yhdistelminä (mukaan lukien yhteisöllisyyden ja ainutlaatuisuuden komponentit, kuten sanoitte). / p>

Suosittelen, että luet ensin seuraavat aiheesta käytävät keskustelut:

• Mitä eroja tekijäanalyysin ja päämiehen välillä on Komponenttianalyysi
• Kallistuksen käyttö PCA: n jälkeen – katso viite siinä

Kommentit

• Sanon vain, että vastaukseni saattaa näyttää hieman aiheen ulkopuolelta, koska tämä kysymys on yhdistetty toiseen, stats.stackexchange.com/questions/3369/… (vastaan alun perin jälkimmäiseen).
• Ah, Mietin, miksi linkitit tähän Questoniin, tässä kysymyksessä … 🙂
• . Chl, voisitko selittää sen? Se ’ on mielenkiintoista.

Ylin vastaus tässä säikeessä ehdotetaan, että PCA on enemmän ulottuvuuden vähentämistekniikkaa, kun taas FA on enemmän piilevää muuttuvaa tekniikkaa. Tämä on sensu stricto oikea. Mutta monet vastaukset täällä ja monet hoidot muualla esittävät PCA: n ja FA: n kahtena täysin erilaisena menetelmänä, joilla on erilaiset ellei vastakkaiset tavoitteet, menetelmät ja tulokset. Olen eri mieltä; Uskon, että kun PCA: n pidetään piilevänä muuttuvana tekniikkana, se on melko lähellä FA: ta, ja ne olisi parempi nähdä hyvin samanlaisina menetelminä.

Annoin oman tietoni PCA: n ja FA: n yhtäläisyydestä ja eroista seuraavassa säikeessä: Onko mitään syytä käyttää PCA: ta EFA: n sijasta? Voidaanko PCA: lla korvata tekijäanalyysiä? Siinä väitän, että yksinkertaisista matemaattisista syistä PCA: n ja FA: n tuloksen voidaan odottaa olevan melko samanlainen, kun otetaan huomioon vain, että muuttujien määrä ei ole kovin pieni (ehkä yli tusina). Katso [pitkä!] Vastauksestani linkitetystä säikeestä matemaattisia yksityiskohtia ja Monte Carlon simulaatioita. Paljon tiiviimpi argumenttiversio löytyy täältä: Missä olosuhteissa PCA ja FA tuottavat samanlaisia tuloksia?

Täältä haluaisin näyttää sen esimerkissä. Analysoin viinidataa UCI Machine Learning Repository -palvelusta. Se on melko tunnettu tietojoukko, jossa on $ n = 178 $ viinejä kolmesta eri viinirypäleestä, joita kuvaavat $ p = 13 $ -muuttujat. Korrelaatiomatriisi näyttää tältä:

Suoritin sekä PCA- että FA-analyysiä ja näytin Kahden kuvan 2D-projektiot kumpikin molemmille alla olevassa kuvassa (PCA vasemmalla, FA oikealla). Vaaka- ja pystyakselit näyttävät ensimmäisen ja toisen komponentin / tekijän pisteet. Kukin $ n = 178 $ -pisteistä vastaa yhtä viiniä, ja pisteet väritetään ryhmän mukaan (katso selite):

Ensimmäisen ja toisen komponentin / tekijän lataukset kullekin alkuperäiseen $ p = 13 $ -muuttujaan näkyvät mustina viivoina. Ne ovat yhtä suuria kuin alkuperäisten muuttujien ja näiden kahden komponentin / tekijän väliset korrelaatiot.Korrelaatiot eivät tietenkään voi ylittää $ 1 $, joten kaikki latausviivat ovat ”korrelaatiopiirin” sisällä, mikä osoittaa maksimaalisen mahdollisen korrelaation. Kaikki kuormitukset ja ympyrä skaalataan mielivaltaisesti kertoimella $ 3 $, muuten ne ovat liian pieniä nähdäkseen (joten ympyrän säde on $ 3 $ eikä $ 1 $).

Huomaa, että siellä on tuskin mitään eroa PCA: n ja FA: n välillä! Siellä ja siellä on pieniä poikkeamia, mutta yleiskuva on melkein identtinen, ja kaikki kuormitukset ovat hyvin samanlaisia ja osoittavat samoihin suuntiin. Tätä teoriasta odotettiin juuri eikä ole yllätys; silti on opettava tarkkailla.

PS. Paljon kauniimmalle saman PCA-bipotille tietoaineisto, katso tämä vastaus käyttäjältä @vqv .

PPS. Vaikka PCA-laskelmat ovat vakiona, FA-laskelmat saattavat edellyttää kommenttia. Faktorikuormitukset laskettiin ”iteroidut pääkertoimet” -algoritmilla konvergenssiin asti (9 iteraatiota), yhteisöllisyydet alustettiin osittaisten korrelaatioiden kanssa. Kun kuormitukset ovat lähentyneet toisiaan, pisteet lasketaan Bartlettin menetelmällä. Tämä antaa standardoidut pisteet; skaalasin ne vastaavilla tekijäeroilla (ilmoitettu kuormituksen pituuksina).

Kommentit

• Mitä ohjelmistoa käytit PCA- ja tekijäanalyysikuvioiden luomiseen?
• Käytin Matlabia. Halusin liittää koodin vastaukseeni (kuten tavallista on tapani) ), mutta ei halunnut sotkea tätä kiireistä säiettä vieläkin enemmän. Mutta kun ajattelen sitä, minun pitäisi lähettää se jollekin ulkoiselle verkkosivustolle ja jättää linkki tähän. Teen sen.
• On totta että PCA ja FA toisinaan eivätkä lainkaan anna harvoin samanlaisia tuloksia (latauksia), joten PCA voidaan nähdä erityisenä FA-tapauksena, kun tekijäanalyysi on edelleen FA (sensu stricto) ja PCA ovat teoreettisesti melko erilaiset.
• (jatkuu) Tekijät ovat transsendentteja piileviä piirteitä; pr. komponentit ovat immanentteja johdannaisia. Huolimatta kahdesta lataussuunnitelmasovelluksestasi käytännöllisesti katsoen samanlaiset, teoreettisesti ne ovat pohjimmiltaan erilaisia. Komponenttitaso vasemmalla tuotettiin alitilana muuttujille, jotka heijastavat itseään siihen. Kertoimintaso tuotettiin eri tilana kuin muuttujien avaruudesta, joten he heijastavat itseään ” alien ” välilyönti oikealla juonella.
• (jatkuu) Mutta oikea kuva (FA) ei todellakaan ole oikea biplot , se on pikemminkin kahden erillisen sirontakuvion, erilaisten tilojen päällekkäisyys: latauskäyrä (missä akselit ovat todellisia tekijöitä) ja kohteen pisteytyspiirturi (missä akselit ovat arvioituja tekijöitä pisteinä). Todellinen tekijätila ylittää ” vanhempien ” -muuttujatilan, mutta tekijä pisteyttää välilyönnin. Asetit kaksi heterogeenista akseliparia, mutta niillä on samat tunnisteet (” factor1 ” ja ” factor2 ” molemmissa pareittain) mikä olosuhteet ovat voimakkaasti harhaanjohtavia ja suostuttelevat meidät ajattelemaan, että se on rehellinen kaksitasoinen , kuten vasen.

Perustava, mutta eräänlainen huolellinen selitys PCA vs. tekijäanalyysi sirontapisteiden avulla, loogisissa vaiheissa. (Kiitän @amoebaa, joka kommentissaan kysymykseen on kannustanut minua lähettämään vastauksen muualle linkittämisen sijasta. Joten tässä on vapaa, myöhäinen vastaus.)

PCA muuttuvana yhteenvetona (ominaisuuden purkaminen)

Toivottavasti jo ymmärrät PCA: n. Elvyttää nyt.

Oletetaan, että meillä on korreloivia muuttujia $ V_1 $ ja $ V_2 $ . Keskitämme ne (vähennämme keskiarvon) ja teemme sirontakaavion. Sitten suoritamme PCA: n näille keskitetyille tiedoille. PCA on muoto akselien pyörimisestä , joka tarjoaa akselit P1 ja P2 V1: n ja V2: n sijaan. PCA: n avainominaisuus on, että P1 – ensimmäinen pääkomponentti – suuntautuu niin, että sen pisteiden varianssi maksimoituu. Uudet akselit ovat uusia muuttujia, joiden arvot ovat laskettavissa niin kauan kuin tiedämme kiertokertoimet $ a $ (PCA antaa ne) [ Yhtälö.1 ]:

$ P1 = a1_1V_1 + a1_2V_2 $

$ P2 = a2_1V_1 + a2_2V_2 $

Nämä kertoimet ovat kiertokosinuksia (= suuntakosinit, pääsuunnat) ja sisältävät ns. ominaisvektoreita, kun taas Kovarianssimatriisin ominaisarvot ovat pääkomponentin varianssit. PCA: ssa hylkäämme tyypillisesti heikot viimeiset komponentit: tiivistämme tiedot siten muutamalla ensin puretulla komponentilla, vähän informaatiohäviötä.

Covariances V1 V2 V1 1.07652 .73915 V2 .73915 .95534 ----PCA---- Eigenvalues % P1 1.75756 86.500 P2 .27430 13.500 Eigenvectors P1 P2 V1 .73543 -.67761 V2 .67761 .73543 

Suunnitelluilla tiedoillamme P1 komponenttiarvot (tulokset) P1 = .73543*V1 + .67761*V2 ja komponentti P2 hylätään. P1: n varianssi on 1.75756, kovarianssimatriisin 1. ominaisarvo, joten P1 selittää 86.5% yhteensä varianssi, joka on yhtä suuri kuin (1.07652+.95534) = (1.75756+.27430).

PCA muuttuvana ennusteena (” piilevä ” ominaisuus)

Joten hylkäsimme P2: n ja odotamme, että P1 yksin voi edustaa tietoja kohtuullisesti. Tämä vastaa sitä, että $ P1 $ voi kohtuullisen hyvin ” rekonstruoida ” tai ennustaa $ V_1 $ ja $ V_2 $ [ Eq.2 ]:

$ V_1 = a1_ {1} P1 + E_1 $

$ V_2 = a1_ {2} P1 + E_2 $

missä kertoimet $ a $ ovat mitä jo tiedämme ja $ E $ ovat virheitä (arvaamattomuus). Tämä on itse asiassa ” regressiomalli ”, jossa piilevä muuttuja ennustaa (takaisin) havaitut muuttujat (jos komponentin kutsuminen sallitaan ” piilevä ” yksi) P1 uutettu näistä samoista muuttujista. Katso juoni Kuva 2 , se ei ole muuta kuin kuva .1 , vain yksityiskohtainen:

P1-akseli näytetään ruutuna ja sen arvot (P1-pisteet) vihreällä (nämä arvot ovat datapisteiden projektioita P1: lle). Jotkut mielivaltaiset datapisteet merkittiin A, B, …, ja niiden poikkeama (virhe) P1: stä ovat rohkeita mustia liittimiä. Pisteen A yksityiskohdat on esitetty: P1-pistemäärän (vihreä A) koordinaatit V1- ja V2-akseleille ovat V1: n ja V2: n P1-rekonstruoidut arvot Eq.2: n mukaisesti , $ \ hat {V_1} = a1_ {1} P1 $ ja $ \ hat {V_2} = a1_ {2} P1 $ . Jälleenrakennusvirheet $ E_1 = V_1- \ hat {V_1} $ ja $ E_2 = V_2- \ hat {V_2} $ näkyvät myös beigeinä. Liittimen ” virhe ” pituusneliö on Pythagorean mukaan kahden virheen summa neliö.

Nyt, PCA: n ominaisuus on se, että jos laskemme E1 ja E2 jokaiselle datan pisteelle ja piirrämme nämä koordinaatit – eli Pelkästään virheiden hajontapiiri pilvi ” -virhetiedot ” osuu yhteen hylätty komponentti P2. Ja se tapahtuu: pilvi piirretään samalle kuvalle kuin beige pilvi – ja näet, että se muodostaa itse asiassa akselin P2 ( Kuva 1 ) ruutuna P2-komponenttituloksilla.

Ei ihme, voit sanoa. On niin ilmeistä: PCA: ssa , hylätyt juniorikomponentit hajoavat tarkalleen . (s) ennustusvirheissä E, mallissa, joka selittää (palauttaa) alkuperäiset muuttujat V piilevällä ominaisuudella (P). Virheet E yhdessä muodostavat vain jätetyt komponentit. Tässä tekijäanalyysi alkaa poiketa PCA: sta.

Ajatus yhteisestä FA: sta (piilevä ominaisuus )

Muodollisesti malli, joka ennustaa manifestimuuttujat purettujen piilevien ominaisuuksien perusteella, on sama FA: ssa kuin PCA: ssa; [ Eq.3 ]:

$ V_1 = a_ {1} F + E_1 $

$ V_2 = a_ {2} F + E_2 $

missä F on piilevä yhteinen kerroin , joka on erotettu tiedoista ja korvaa P1: n Eq.2 .Mallin ero on, että FA: ssa, toisin kuin PCA, tarvitaan -virhemuuttujia (E1 ja E2) ei korvata toisiaan .

Digersion . Tässä haluan yhtäkkiä keskeyttää tarinan ja tehdä käsityksen kerroimista $ a $ . PCA: ssa sanoimme, että nämä olivat PCA: sta löydettyjen ominaisvektorien merkintöjä (ominais- tai yksikköarvohajoamisen kautta). Piilevällä P1: llä oli natiivi varianssi. Jos päätämme standardoida P1 yksikkövarianssiin , meidän on kompensoitava suurentamalla asianmukaisesti kertoimia $ a $ , jotta voimme tukea Yhtälö. Laajennettuja $ a $ s: itä kutsutaan nimellä lataukset ; ne ovat numeerisesti kiinnostavia, koska ne ovat koventiaatioita (tai korrelaatioita) piilevän ja havaittavan muuttujan välillä ja voivat siten auttaa tulkitsemaan piilevää ominaisuutta. Molemmissa malleissa – Eq.2 ja Eq.3 – voit päättää vapaasti vahingoittamatta yhtälöä , millä tavoin termit skaalataan. Jos F: n (tai P1) katsotaan olevan mittakaavan skaalattu, $ a $ latautuu; kun taas F: llä (P1) on oltava natiivi asteikko (varianssi), sitten $ a $ tulisi skaalata vastaavasti – PCA: ssa, joka vastaa ominaisvektorimerkintöjä, b ut FA: ssa ne ovat erilaisia ja yleensä ei kutsutaan ” ominaisvektoreita ”. Useimmissa tekijäanalyysia koskevissa teksteissä F oletetaan yksikkövarianssiksi, joten $ a $ ovat kuormia . PCA-kirjallisuudessa P1: llä on tyypillisesti todellinen varianssi, joten $ a $ ovat ominaisvektoreita.

OK, takaisin säikeeseen. E1 ja E2 eivät korreloi tekijäanalyysissä; siten niiden tulisi muodostaa virheiden pilvi joko pyöreinä tai elliptisinä, mutta ei vinosti suuntautuneina. PCA: ssa niiden pilvi muodosti suoran viivan, joka osui vinosti kulkevan P2: n kanssa. Molemmat ideat on esitetty kuvassa:

Huomaa, että virheet ovat pyöreitä (ei vinosti pitkänomaisia) pilviä FA: ssa. Kerroin (piilevä) FA: ssa on suunnattu jonkin verran eri tavalla, eli se ei ole oikea ensimmäinen pääkomponentti, joka on ” piilevä ” PCA: ssa . Kuvassa tekijäviiva on oudolta kartiomainen – käy selväksi miksi lopulta.

Mikä on tämän PCA: n ja PCA: n välisen eron merkitys FA? Muuttujat korreloivat, mikä näkyy datapilven vinosti elliptisessä muodossa. P1 ohitti maksimaalisen varianssin, joten ellipsi ohjataan yhdessä P1: een. Näin ollen P1 selitti itse korrelaation; mutta se ei selittänyt nykyistä korrelaation määrää riittävästi; sen tarkoituksena oli selittää datapisteiden vaihtelu , ei korrelaatiota. Itse asiassa se laski liikaa korrelaation, jonka seurauksena lävistäjä, korreloiva virheiden pilvi ilmestyi, mikä kompensoi ylitilin. P1 yksin ei voi selittää korrelaation / kovariaation voimakkuutta kattavasti. Tekijä F voi tehdä sen yksin; ja ehto, kun se pystyy tekemään sen, on juuri se, missä virheet voidaan pakottaa olemaan korreloimattomia. Koska virhepilvi on pyöreä, korrelaatiota – positiivista tai negatiivista – ei ole jäänyt tekijän purkamisen jälkeen, joten se on tekijä, joka pyyhkäisi kaiken.

Ulottuvuuden pienennyksenä PCA selittää varianssin , mutta selittää korrelaatiot epätarkasti. FA selittää korrelaatiot , mutta ei voi ottaa huomioon (yleisten tekijöiden perusteella) niin paljon tietojen vaihtelua kuin PCA. FA: n tekijät lisäävät sen muuttujan osan, joka on nettokorrelaatio-osa, nimeltään yhteisöllisyys ; ja siksi tekijät voidaan tulkita todellisiksi, vielä havaitsemattomiksi voimiksi / ominaisuuksiksi / piirteiksi, jotka piilottavat ” ” tai ” ” -tulomuuttujien takana, jotta ne saadaan vastaamaan toisiaan. Koska ne selittävät korrelaation matemaattisesti. Pääkomponentit (harvat ensimmäiset) eivät selitä sitä matemaattisesti, joten voidaan kutsua ” piileväksi piirteeksi ” (tai vastaava) vain jossain osissa ja alustavasti .

kuormitusten kertominen selittää (palauttaa) korrelaation tai korrelaation kovarianssin muoto – jos analyysi perustuisi kovarianssimatriisiin (kuten esimerkissä) eikä korrelaatiomatriisiin.Tekijäanalyysi, jonka tein tiedoilla, tuotti a_1=.87352, a_2=.84528, joten tuote a_1*a_2 = .73837 on melkein yhtä suuri kuin kovarianssi .73915. Toisaalta PCA-lataukset olivat a1_1=.97497, a1_2=.89832, joten a1_1*a1_2 = .87584 yliarvioi .73915 huomattavasti.

Kun olet selittänyt PCA: n ja FA: n pääteoreettisen eron, palataan ”takaisin tietoihimme” esimerkkinä ajatuksesta.

FA: likimääräinen ratkaisu (tekijäpisteet)

Alla on hajontakaavio, joka näyttää analyysin tulokset, joita kutsumme väliaikaisesti ” suboptimaalisiksi tekijäanalyyseiksi ”, Kuva 3 .

A technical detail (you may skip): PAF method used for factor extraction. Factor scores computed by Regression method. Variance of the factor scores on the plot was scaled to the true factor variance (sum of squared loadings). 

Katso poikkeamat kohdasta kuva .2 PCA: ta. Beige virheiden pilvi ei ole pyöreä, se on vinosti elliptinen, mutta silti se on ilmeisesti paljon paksumpi kuin PCA: ssa esiintynyt ohut diagonaalinen viiva. Huomaa myös, että virheliittimet (esitetty joillekin kohdille) eivät ole enää yhdensuuntaiset ( PCA, ne olivat määritelmän mukaan rinnakkaisia P2: n kanssa. Lisäksi, jos tarkastellaan esimerkiksi kohtia ” F ” ja ” E ”, jotka peilivät symmetrisesti tekijän ”s F -akselilla löydät yllättäen niiden vastaavat tekijäpisteet olevan melko erilaisia arvoja. Toisin sanoen tekijäpisteet eivät ole vain lineaarisesti muunnettuja pääkomponenttipisteitä: tekijä F löytyy omalla tavallaan erilainen Ja niiden akselit eivät täsmää täysin, jos ne näytetään yhdessä samassa juovassa Kuva 4 :

Sen lisäksi, että ne ovat hieman eri suuntaisia, F (pisteytettynä) on lyhyempi, ts. pienempi varianssi kuin P1. Kuten aiemmin todettiin, tekijä ottaa huomioon vain muuttujan, joka on vastuussa V1 V2: n korrelaatiosta, eli kokonaisvarianssin osasta, joka riittää tuomaan muuttujat alkukovarianiteetista 0 tosiasialliseen kovarianssiin .73915.

FA: optimaalinen ratkaisu (todellinen kerroin)

Optimaalinen tekijäratkaisu on, kun virheet ovat pyöreitä tai ei-diagonaalisia elliptisiä pilviä : E1 ja E2 ovat täysin korreloimattomat . Kerroinanalyysi palauttaa tällaisen optimaalisen ratkaisun. En osoittanut sitä yksinkertaisella hajontakaavalla, kuten yllä olevat. Miksi minä? – sillä se olisi loppujen lopuksi ollut mielenkiintoisin asia.

Syynä on se, että hajontakaaviossa olisi mahdotonta näyttää riittävän riittävästi, jopa 3D-juoni. Se on teoriassa varsin mielenkiintoinen asia. E1: n ja E2: n muuttamiseksi täysin korreloimattomiksi näyttää siltä, että kaikkien näiden kolmen muuttujan, F, E1, E2 , ei tarvitse olla valheita V1: n, V2: n määrittelemässä tilassa (tasossa); ja näiden kolmen on oltava korreloimattomia keskenään . Uskon, että on mahdollista piirtää tällainen sirontapiiri 5D: ssä (ja ehkä joillakin temppuilla – 4D: llä), mutta elämme valitettavasti 3D-maailmassa. Kerroin F on korreloimaton sekä E1: een että E2: een (kun taas molemmat ovat myös korreloimattomia), koska F: n oletetaan olevan vain (puhdas) ja täydellinen havaittujen tietojen korrelaation lähde. Tekijäanalyysi jakaa p -tulomuuttujien kokonaisvarianssin kahteen korreloimattomaan (ei päällekkäin) ) osat: yhteisöllisyys osa (m -ulotteinen, jossa m yleiset tekijät hallitsevat) ja ainutlaatuisuus osa (p -ulotteinen, jossa virheitä kutsutaan myös yksilöllisiksi tekijöiksi, keskenään korreloimattomia).

Joten anteeksi, jos ei näytetä todellista tekijää tietomme hajontakaaviosta täällä. Se voidaan visualisoida melko riittävästi vektorien avulla ” aihealueella ” kuten täällä näyttämättä datapisteitä.

Yllä, osiossa ” Yhteisen FA: n (piilevä ominaisuus) idea ” Näytin tekijän (akseli F) kiilana varoittaakseni, että todellinen tekijäakseli ei ole tasossa V1 V2. Tämä tarkoittaa, että toisin kuin pääkomponentti P1, tekijä F akselina ei ole akselin V1 tai V2 kiertyminen niiden avaruudessa, ja F muuttujana ei ole muuttujien V1 ja V2 lineaarinen yhdistelmä .Siksi F mallinnetaan (erotetaan muuttujista V1 v2) ikään kuin ulkoinen, riippumaton muuttuja, ei niiden johdannainen. Yhtälöitä, kuten Eq.1 josta PCA alkaa, ei voida käyttää laskemaan true (optimaalinen) -kerrointa tekijäanalyysissä, kun taas muodollisesti isomorfiset yhtälöt Eq.2 ja Eq. 3 ovat voimassa molemmissa analyyseissä. Toisin sanoen PCA-muuttujissa generoidaan komponentteja ja komponentit ennustavat muuttujat takaisin; FA: ssa tekijät tuottavat / ennustavat muuttujia eivätkä takaisin – yhteisen tekijän malli olettaa käsitteellisesti niin , vaikka teknisesti tekijät otettaisiin havaituista muuttujista.

Paitsi että true tekijä ei ole manifestimuuttujien funktio, true tekijä ”s arvoja ei ole määritelty yksilöllisesti . Toisin sanoen ne ovat yksinkertaisesti tuntemattomia. Kaikki johtuu siitä, että me” uudelleen liiallisessa 5D-analyyttisessä tilassa eikä tietojen koti-2D-tilassa. Vain hyvät likiarvot (olemassa useita -menetelmiä ) todellisiin tekijäarvoihin, nimeltään tekijäpisteet , ovat siellä meille. Faktoripisteet ovat tasossa V1 V2, kuten pääkomponenttipisteet ovat, ne lasketaan myös V1: n, V2: n lineaarisina funktioina, ja oliko ne piirretty osioon ” FA: likimääräinen ratkaisu (tekijäpisteet) ”. Pääkomponenttipisteet ovat todellisia komponenttiarvoja; tekijäpisteet ovat vain kohtuullista likiarvoa määrittelemättömiin todellisiin tekijäarvoihin.

FA: menettelyn pyöristäminen

Kerätä yhteen pieneen hyytymään kahden edellisen osan sanat ja lisätä viimeiset lyönnit . Itse asiassa FA voi ( jos teet sen oikein ja katso myös dataoletukset ) löytää todellisen tekijäratkaisun (” true ” tarkoitan tässä optimaalista datanäytteelle). Erilaisia uuttomenetelmiä on kuitenkin olemassa (ne eroavat toisistaan asettamissaan toissijaisissa rajoituksissa). Todellinen tekijäratkaisu riippuu vain latauksista $ a $ . Siten kuormitukset ovat optimaalisia, todellisia tekijöitä. Kerroinpisteet – jos tarvitset niitä – voidaan laskea näistä latauksista eri tavoin ja palauttaa likiarvot tekijäarvoihin.

Siten ” tekijäratkaisu ”, jonka näytän osiossa ” FA: likimääräinen ratkaisu (tekijäpisteet) ” perustui tosiasiallisesti optimaalisiin kuormituksiin eli todellisiin tekijöihin. Pisteet eivät kuitenkaan olleet optimaalisia kohtalon perusteella. Pisteet lasketaan olevan havaittujen muuttujien lineaarinen funktio, kuten komponenttipisteet ovat, joten niitä molempia voitaisiin verrata hajontakaavioon, ja tein sen didaktisessa pyrkimyksessä näyttää kuin asteittainen siirtyminen PCA-ideasta kohti FA-ideaa. / p>

On oltava varovainen, kun piirretään samat biplot tekijäkuormitukset tekijäpisteillä tekijöiden ” tekijöihin ”, ole tietoinen siitä, että lataukset liittyvät todellisiin tekijöihin, kun taas pisteet liittyvät korvikkeisiin (katso kommenttini tähän vastaukseen tässä säikeessä).

Tekijöiden (latausten) kierto auttaa tulkitsemaan piileviä ominaisuuksia. Kuormitusten kääntäminen voidaan tehdä myös PCA: ssa , jos käytät PCA: ta kuin tekijäanalyysia (ts. Katso PCA muuttuvana ennusteena). PCA: lla on taipumusta lähentyä tuloksia FA: hon muuttujien määrän kasvaessa (katso erittäin rikas ketju käytännön ja käsitteellisistä yhtäläisyyksistä ja eroista näiden kahden menetelmän välillä). Katso luetteloni PCA: n ja FA: n eroista tämän vastauksen lopussa . Vaiheittaiset PCA: n ja FA: n laskelmat iris -tietojoukosta löytyvät täältä . Tämän aiheen ulkopuolella on huomattava määrä hyviä linkkejä muiden osallistujien vastauksiin aiheesta. Olen pahoillani, että käytin vain vähän niistä nykyisessä vastauksessa.

Katso myös luettelo eroista PCA: n ja FA: n välillä täällä .

Kommentit

• +1. ’ on hienoa, että kirjoitit sen, sinulta puuttui ehdottomasti tämä säie. Äänestin äänestäni ennen lukemista (mitä teen harvoin), ja nautin varmasti myöhemmästä lukemisesta. Voisin kommentoida lisää myöhemmin, mutta yksi pieni nitpick toistaiseksi: kirjoitit useita kertoja, että FA: ssa virhepilven tulisi olla ” pyöreä ” .Mutta itse asiassa se voi hyvinkin olla elliptinen (koska V1: n ja V2: n ainutlaatuisuudella voi olla erilaisia variansseja), sillä on vain oltava nolla korrelaatiota. Luulen, ettet halunnut sekoittaa lukijoita tämän yksityiskohdan kanssa.
• @amoeba Minulla on naiivi epäilys matemaattisesta mahdottomuudesta esittää optimaalisia F, E1, E2 V1: n määrittelemässä tilassa (tasossa), V2. Voin ajatella tätä vastaesimerkkiä: Sano $ V_1 = a_ {1} F + E_1 $ ja $ V_2 = a_ {2} F + E_2 $, missä $ (E_1, E_2) = \ mathcal {N} (0 , \ Bbb {I}) $ – Käytä nyt näitä suhteita V1- ja V2-näytteiden luomiseen. Kun V1 ja V2 on luotu, jos suoritamme optimaalisen FA: n, meidän pitäisi saada takaisin lähes tarkat arviot (E1, E2), ja se muodostaa elliptisen pilven. Lisäksi nyt F, E1, E2 voidaan esittää samassa tasossa kuin V1 ja V2.
• @kasa, olisiko kommenttisi tervehdyttänyt vastaustani tai ameeba ’ kommentoi? Jos kommenttisi on pääasiallisen väitteeni vastainen, että FA: ssa kolme piilevää muuttujaa eivät sijaitse alkuperäisessä tilassa ja voit näyttää sen, miksi et antaisi vastausta, joka näyttää sen? Huomaa kuitenkin, että optimaalisessa FA: ssa virheet ovat täsmälleen korreloimattomia, ei siitä, että ne voidaan kuvitella tuleviksi normaalista korreloimattomasta populaatiosta.
• @ttnphns : Anteeksi sekaannuksesta, epäilin päävaatimustasi. Yritän näyttää sen vastauksena muutamassa päivässä. Kiitos!

Ero tekijäanalyysin ja pääkomponenttianalyysin välillä ovat:

• Tekijäanalyysissä on strukturoitu malli ja joitain oletuksia. Tässä suhteessa se on tilastollinen tekniikka, jota ei sovelleta pääkomponenttianalyysiin, joka on puhtaasti matemaattinen muunnos.

• Pääkomponenttianalyysin tarkoituksena on selittää varianssi, kun taas tekijäanalyysi selittää kovarianssin muuttujat.

Yksi suurimmista syistä näiden kahden sekaannukseen liittyy siihen, että yhtä tekijäuuttomenetelmää tekijäanalyysissä kutsutaan ”pääkomponenttien menetelmäksi”. Yksi asia on kuitenkin käyttää PCA: ta ja toinen asia käyttää pääkomponenttien menetelmää FA: ssa. Nimet voivat olla samankaltaisia, mutta niiden välillä on merkittäviä eroja. Ensimmäinen on riippumaton analyyttinen menetelmä, kun taas jälkimmäinen on vain työkalu tekijänpoimintaan.

Minulle (ja toivon, että tämä on hyödyllistä) tekijäanalyysi on paljon hyödyllisempi kuin PCA.

Viime aikoina minulla oli ilo analysoida asteikkoa tekijäanalyysin avulla. Tämä asteikko (vaikka sitä käytetään laajalti teollisuudessa) on kehitetty käyttämällä PCA: ta ja tietoni mukaan koskaan ole analysoitu tekijä.

Kun suoritin tekijäanalyysin (pääakseli), huomasin, että kolmen kohteen yhteisöllisyys oli alle 30%, mikä tarkoittaa, että yli 70% kappaleiden ”varianssista ei analysoitu. PCA vain muuttaa tiedot uudeksi yhdistelmäksi ja ei välitä yhteisöllisyydestä. Johtopäätökseni oli, että asteikko ei ollut psykometriseltä kannalta kovin hyvä, ja olen vahvistanut tämän toisella otoksella.

Jos haluat ennustaa tekijöiden avulla, käytä PCA: ta , mutta jos haluat ymmärtää piileviä tekijöitä, käytä tekijäanalyysiä.

Laajentaminen @StatisticsDocConsultingin vastauksessa: EFA: n ja PCA: n välinen kuormitusero ei ole triviaali pienellä määrällä muuttujia. Tässä ”simulointitoiminto osoittaa tämä R: ssä:

simtestit=function(Sample.Size=1000,n.Variables=3,n.Factors=1,Iterations=100) {require(psych);X=list();x=matrix(NA,nrow=Sample.Size,ncol=n.Variables) for(i in 1:Iterations){for(i in 1:n.Variables){x[,i]=rnorm(Sample.Size)} X$PCA=append(X$PCA,mean(abs(principal(x,n.Factors)$loadings[,1]))) X$EFA=append(X$EFA,mean(abs(factanal(x,n.Factors)$loadings[,1])))};X} 

Oletusarvoisesti tämä toiminto suorittaa 100 Iterations, kussakin se tuottaa satunnaisia, normaalisti jakautuneita näytteitä (Sample.Size $ = 1000 $) kolmesta muuttujasta ja poimi yhden tekijän PCA: lla ja ML-EFA: lla. Iterations -pitkät vektorit, jotka koostuvat simuloitujen muuttujien keskimääräisistä suuruuksista ”kuormitukset PCA: n pyörimättömälle ensimmäiselle komponentille ja vastaavasti EFA: n yleiselle tekijälle. Sen avulla voit leikkiä otoksen koon, muuttujien ja tekijöiden lukumäärän kanssa tilanteen mukaan principal() ja factanal() toiminnot ja tietokoneesi.

Tämän koodin avulla olen simuloinut 3–100 muuttujan näytteitä, joista jokaisessa on 500 iteraatiota, tuottamaan tietoja:

Y=data.frame(n.Variables=3:100,Mean.PCA.Loading=rep(NA,98),Mean.EFA.Loading=rep(NA,98)) for(i in 3:100) {X=simtestit(n.Variables=i,Iterations=500);Y[i-2,2]=mean(X$PCA);Y[i-2,3]=mean(X$EFA)} 

… kuvaajan keskimääräisten kuormitusten (muuttujien ja iteraatioiden) herkkyydestä muuttujien lukumäärälle:

Tämä osoittaa kuinka eri tavalla yksi on tulkittava PCA: n ja EFA: n kuormitusten vahvuus. Molemmat riippuvat jonkin verran muuttujien lukumäärästä, mutta PCA: ssa kuormitukset ovat esijännitettyjä paljon voimakkaammin. Näiden menetelmien keskimääräisten kuormitusten ero pienenee muuttujien määrän kasvaessa, mutta 100 muuttujaa, PCA-lataukset keskimäärin .067 $ korkeammat kuin EFA-lataukset satunnaisissa normaaleissa tiedoissa.Huomaa kuitenkin, että keskimääräiset kuormitukset ovat yleensä suurempia todellisissa sovelluksissa, koska näitä menetelmiä käytetään yleensä korreloivampiin muuttujiin. En ole varma, miten tämä voi vaikuttaa keskimääräisten kuormitusten eroihin.

Lainaus todella mukavasta oppikirjasta ( Brown, 2006, s. 22, kursivointi lisätty).
PCA = pääkomponenttianalyysi
EFA = tutkiva tekijäanalyysi
CFA = vahvistava tekijäanalyysi

Vaikka se liittyy EFA: han, pääkomponenttianalyysi (PCA) luokitellaan usein väärin yleisen tekijäanalyysin arviointimenetelmäksi. Toisin kuin edellisessä kappaleessa käsitellyt estimaattorit (ML, PF), PCA perustuu eri määrällisiin menetelmät, jotka eivät perustu yhteiseen tekijämalliin. PCA ei erota yleistä ja ainutlaatuista varianssia. Pikemminkin PCA pyrkii ottamaan huomioon havaittujen toimenpiteiden varianssin eikä selittämään niiden välisiä korrelaatioita. Siksi PCA: ta käytetään sopivammin datan vähentämistekniikka, jolla pienennetään suurempi mittasarja pienempään, hallittavampaan määrään käytettäviä yhdistelmämuuttujia myöhemmissä analyyseissä. Jotkut metodologit ovat kuitenkin väittäneet, että PCA on kohtuullinen tai ehkä parempi vaihtoehto EFA: lle, koska PCA: lla on useita toivottavia tilastollisia ominaisuuksia (esim. Laskennallisesti yksinkertaisempi, ei altis väärille ratkaisuille, tuottaa usein samanlaisia tuloksia kuin EFA , PCA: n kyky laskea osallistujan pisteet pääkomponentista, kun taas EFA: n määrittelemätön luonne vaikeuttaa tällaisia laskelmia). Vaikka keskustelu tästä asiasta jatkuu, Fabrigar et ai. (1999) esittävät useita syitä väitteelle PCA: n sijasta tekijäanalyysissä. Nämä kirjoittajat korostavat tilanteita, joissa EFA ja PCA tuottavat erilaisia tuloksia; esimerkiksi kun yhteisöllisyys on vähäistä tai kun tietystä tekijästä on vain muutama indikaattori (vrt. Widaman, 1993). Riippumatta siitä, jos analyysin pääperiaatteet ja empiiriset tavoitteet ovat sopusoinnussa yhteisen tekijämallin kanssa, PCA: n suorittaminen on käsitteellisesti ja matemaattisesti epäjohdonmukaista; toisin sanoen EFA on sopivampi, jos ilmoitettu tavoite on toistaa indikaattorijoukon väliset korrelaatiot pienemmällä latenttien dimensioiden määrällä, tunnistamalla havaittujen mittausten mittausvirheiden olemassaolo. Floyd ja Widaman (1995) huomauttavat, että EFA: han perustuvat arviot yleistyvät todennäköisemmin CFA: han kuin PCA: lta saadut, koska toisin kuin PCA, EFA ja CFA perustuvat yhteiseen tekijämalliin. Tämä on huomionarvoinen näkökohta, kun otetaan huomioon, että EFA: ta käytetään usein CFA: n edeltäjänä mittakaavan kehittämisessä ja rakenteen validoinnissa. Yksityiskohtainen esitys PCA: n ja EFA: n laskennallisista eroista löytyy monivaiheisista ja tekijäanalyyttisistä oppikirjoista (esim. Tabachnick & Fidell, 2001).

Brown, TA (2006). Vahvistava tekijäanalyysi soveltavaan tutkimukseen. New York: Guilford Press.

Voi ajatella PCA: n olevan kuin FA, jossa yhteisöllisyyden oletetaan olevan yhtä suuri kaikille muuttujille. Käytännössä tämä tarkoittaa, että kohteilla, joilla olisi suhteellisen alhainen tekijäkuormitus FA: ssa matalan yhteisöllisyyden vuoksi, PCA: n kuormitukset ovat suuremmat. Tämä ei ole toivottava ominaisuus, jos analyysin ensisijaisena tarkoituksena on leikata kohteen pituus ja puhdistaa paristo tuotteista, joilla on alhainen tai yksiselitteinen kuormitus, tai tunnistaa käsitteet, joita ei ole hyvin esitetty tuotepoolissa.

Tipping and Bischop -lehdessä käsitellään probabalistisen PCA: n (PPCA) ja tekijäanalyysin tiukkaa suhdetta. PPCA on lähempänä FA: ta kuin klassinen PCA. Yleinen malli on

$$ \ mathbf {y} = \ mu + \ mathbf {Wx} + \ epsilon $$

jossa $ \ mathbf {W} \ sisään \ mathbb {R} ^ {p, d} $, $ \ mathbf {x} \ sim \ mathcal {N} (\ mathbf {0}, \ mathbf {I}) $ ja $ \ epsilon \ sim \ mathcal {N} ( \ mathbf {0}, \ mathbf {\ Psi}) $.

• Kerroinanalyysissä oletetaan, että $ \ mathbf {\ Psi} $ on lävistäjä.
• PPCA olettaa $ \ mathbf {\ Psi} = \ sigma ^ 2 \ mathbf {I} $

Michael E. Tipping, Christopher M. Bishop (1999). Todennäköinen pääkomponenttianalyysi , Journal of the Royal Statistics Society, osa 61, numero 3, sivut 611–622

kommentit

• + 1. Joo. Uskon, että PPCA: n ymmärtäminen on välttämätöntä PCA: n ja FA: n välisen suhteen ymmärtämiseksi. Mutta voit parantaa vastaustasi keskustelemalla PCA / PPCA-suhteesta.

Mikään näistä vastauksista ei ole täydellinen. Joko FA: lla tai PCA: lla on joitain muunnelmia. Meidän on selvästi osoitettava, mitä vaihtoehtoja verrataan. Vertaisin suurimman todennäköisyyden tekijäanalyysiä ja Hotellingin PCA: ta.Ensimmäiset olettavat, että piilevä muuttuja seuraa normaalijakaumaa, mutta PCA: lla ei ole tällaista oletusta. Tämä on johtanut eroihin, kuten ratkaisu, komponenttien pesiminen, ratkaisun ainutlaatuisuus, optimointialgoritmit.

kommentit

• ihmettelen, voisitko laajentaa asiaa hieman – olet sanonut, että viimeisessä lauseessa on eroja, mutta et ole antanut paljon tietoa siitä, mitkä nämä erot voivat olla, tai millä tavalla nämä erot voivat olla tärkeitä?
• Kahden kaikkein etäisimmän menetelmän valitseminen ja väittäminen, että ne ovat todellakin erilaisia – kuten sinäkin – ei ole täydellinen logiikka . Luultavasti pitäisi löytää ja raportoida kuinka nämä kaksi ovat samanlaisia. Vaihtoehtoisesti voidaan valita useimmat samanlaiset menetelmät (kuten tavallinen PCA vs PAF ) ja ilmoittaa, millä tavoin ne ovat erilaiset.
• Hotelling ’ s PCA olettaa piilevän gaussin.

Tähän viestiin on monia hyviä vastauksia, mutta viime aikoina törmäsin toiseen eroon.

Klusterointi on yksi sovellus, jossa PCA ja FA tuottavat erilaisia tuloksia. Kun tiedoissa on monia ominaisuuksia, voidaan yrittää löytää PC: n suosituimmat ohjeet ja heijastaa tiedot näille tietokoneille, ja sitten jatkaa klusterointia. Usein tämä häiritsee tietojen luontaisia klustereita – tämä on hyvin todistettu tulos. Tutkijat suosittelevat jatkamaan avaruuden alapuolisia klusterointimenetelmiä, jotka etsivät mallista matalaulotteisia piileviä tekijöitä.

Ainoastaan tämän eron havainnollistamiseksi ota huomioon R. divis -tietojoukon Crabs -tietojoukko, jossa on 200 riviä ja 8 saraketta. muodot ja molemmat sukupuolet, lajista – Pohjimmiltaan on 4 (2×2) erilaista rapuja.

library(MASS) data(crabs) lbl <- rep(1:4,each=50) pc <- princomp(crabs[,4:8]) plot(pc) # produce the scree plot X <- as.matrix(crabs[,4:8]) %*% pc$loadings library(mclust) res_12 <- Mclust(X[,1:2],G=4) plot(res_12) res_23 <- Mclust(X[,2:3],G=4) plot(res_23) 

Ryhmittely PC1: n ja PC2: n avulla:

Ryhmittely PC2: n ja PC3: n avulla:

#using PC1 and PC2: 1 2 3 4 1 12 46 24 5 2 36 0 2 0 3 2 1 24 0 4 0 3 0 45 #using PC2 and PC3: 1 2 3 4 1 36 0 0 0 2 13 48 0 0 3 0 1 0 48 4 1 1 50 2 

Kuten voimme nähdä yllä olevista juoneista, PC2 ja PC3 sisältävät enemmän erottelevaa tietoa kuin PC1.

Jos yritetään klusteroida piileviä tekijöitä käyttäen tekijäanalysaattoreiden seosta, näemme paljon paremman tuloksen verrattuna kahden ensimmäisen PC: n käyttöön.

mfa_model <- mfa(y, g = 4, q = 2) |............................................................| 100% table(mfa_model$clust,c(rep(1,50),rep(2,50),rep(3,50),rep(4,50))) 1 2 3 4 1 0 0 0 45 2 16 50 0 0 3 34 0 0 0 4 0 0 50 5 

Kommentit

• Minun on sanottava, että epäilen, että tämä vastaus todella vastaa kysymykseen. Vastaus koskee klusterianalyysiä PCA: n tai FA: n jälkeen, ei itse PCA: sta ja FA: sta. Mutta jopa tältä osin vastaus on hämärä tai keskeneräinen. Kuinka näytettävä ero on selitettävä?
• @ttnphns Olen samaa mieltä siitä, että vastaus koskee klusterianalyysiä. OP oli kuitenkin pyytänyt myös tosielämän skenaariota PCA / FA: n kanssa, jossa toista on käytettävä toisen kanssa. Tyypillisesti PCA tai FA ei ole koskaan lopullinen tavoite – Esimerkiksi Yhteiskuntatieteissä lopullinen tavoite olisi jakaa aiheet eri klustereihin / ryhmiin. Vastaukseni koskee tällaisia tilanteita. Siinä tapauksessa, että luulet vastaukseni parantuvan, ilmoita siitä vapaasti.
• Luulen, että vastauksestasi voi tulla todella merkityksellinen, jos selität havaintosi. Väität, että erot PCA: n ja FA: n välillä ovat sisäisiä eroja näiden kahden menetelmän suhteen (vain ne käyvät ilmi klustereiden alla). Mielestäni sinun pitäisi näyttää tai ainakin spekuloida, miten tai miksi erot syntyvät teoreettisesti menetelmien ’ mallien eroista.