Käytän Fisherin menetelmää yhdistämään p -arvot, ja olen huomannut outoa käyttäytymistä suurille p-arvoille ja suurille $ n: lle. $
Minun tapauksessani minulla on paljon ei-tilastollisesti merkitseviä tuloksia (esim. 1 – .5), ja Käytän Fisherin menetelmää niiden yhdistämiseen. Huomasin kuitenkin, että Fisherin menetelmä näyttää vaikuttavan epävakaasti näillä suurilla p-arvoilla. Siksi p-arvojen muuttaminen 0,367: stä 0,368: een johti dramaattisiin muutoksiin yhdistetyssä p-arvossa. Miksi tämä on?
p_value=fisherIntegration(rep(.367,10000000) #p_value=1.965095e-14 p_value=fisherIntegration(rep(.368,10000000) #pvalue=0.8499356 Sitä vastoin pienillä p-arvoilla ja pienillä $ n: llä tämä toimi hyvin. Esimerkiksi:
p_value=fisherIntegration(rep(.05,10)) #pvalue=7.341634e-06 Tässä on toiminto, jota käytän Fisherin integrointiin:
fisherIntegration <- function (vector){ my_length=length(vector) deg_free=my_length*2 y=-2*sum(log(vector)) p.val <- 1-pchisq(y, df = deg_free); p.val=as.numeric(p.val); return(p.val) }
MUOKKAA Tämä viesti on liittyy jonkin verran, mutta ei käsittele miksi .367 on maaginen numero tässä yhteydessä: Miksi Fisher ' -menetelmä tuottaa $ p \ gg 0,5 $, kun yhdistetään useita p-arvoja, jotka kaikki ovat yhtä suuria kuin $ 0,5 $?
Kommentit
- Oletko huomannut, että 0,367 $ \ e e ^ {- 1} \ lt 0,368 $? (Se olisi ainoa kohta harjoituksessa, jonka tarkoituksena on yhdistää $ 10 ^ 7 $ p-arvot tällä tavalla: sillä ei ole tilastollista käyttöä.)
- I en huomannut sitä '. Vedon siitä, että tällä on jotain tekemistä outon käyttäytymisen kanssa, mutta en ole varma miksi.
- Toisesta suunnasta, mitä ' on chi-neliöjakauman keskiarvo?
- Luulen, että saatat löytää tämän Q & mielenkiintoisen erityisesti Christoph Hanck ' s vastaus stats.stackexchange.com/questions/243003/…
Vastaa
Kuten selitettiin osoitteessa https://stats.stackexchange.com/a/314739/919 , Fisherin menetelmä yhdistää p-arvot $ p_1, p_2, \ ldots, p_n $ oletukseen, että ne syntyvät itsenäisesti nollahypoteesien alla jatkuvan testitilaston kanssa. Tämä tarkoittaa, että kukin on jaettu itsenäisesti tasaisesti $ 0 $: n ja $ 1: n välillä. $ Yksinkertainen laskelma varmistaa, että $ -2 \ log (p_i) $: lla on $ \ chi ^ 2 (2) $ -jakauma, josta
$$ P = \ sum_ {i = 1} ^ n -2 \ log (p_i) $$
on $ \ chi ^ 2 (2n) $ -jakauma. Suurille $ n $: lle (kuten Central Limit Theorem takaa) tämä jakauma on suunnilleen normaali. Sen keskiarvo on $ 2n $ ja varianssi $ 4n, $, kuten voimme helposti laskea.
Oletetaan, että nyt $ P $ on ”paljon” erilainen kuin tämä keskiarvo. ”Paljon” tarkoittaa, kuten tavallista, verrattuna keskihajontaan. Toisin sanoen oletetaan, että $ P $ eroaa $ 2n $: sta enemmän kuin muutamalla $ \ sqrt {4n} = 2 \ sqrt {n} -kerralla. $ Normaalijakaumien perustiedoista tämä tarkoittaa, että $ P $ on joko epätavallisen pieni tai epätavallisen suuri. Näin ollen, koska $ P $ vaihtelee välillä $ 2n-2K \ sqrt {n} $ – $ 2n + 2K \ sqrt {n} $ hintaan $ K \ n. 3, $ Fisher -menetelmä antaa kumulatiivisen todennäköisyyden (toisin sanoen yhdistettynä p-arvo) vaihtelee lähes $ 0 $: sta lähes $ 1. $
Toisin sanoen, kaikki ”mielenkiintoiset” todennäköisyydet $ P $: lle tapahtuvat väli $ (2n-2K \ sqrt {n}, 2n + 2K \ sqrt {n}) $ pienelle $ K $: lle. Kun $ n $ kasvaa, tämä väli kapenee suhteessa sen keskipisteeseen ($ 2n $).
Yksi johtopäätös, jonka voimme tehdä tästä tuloksesta, on se, että kun $ \ sqrt {n} $ on riittävän suuri hallitsemaan $ 2K $ – ts. $ n $ on paljon suurempi kuin $ (2 \ kertaa3) ^ 2 \ noin 40 $ tai niin, niin Fisherin menetelmä voi olla saavuttamassa käyttökelpoisuuden rajat.
Tässä tilanteessa kysymys, $ n = 10 ^ 7. $ Mielenkiintoinen väli keskimääräinen lokin p-arvolle $ -P / (2n), $ on siis karkeasti
$$ – (2n-2K \ sqrt {n}, 2n + 2K \ sqrt {n}) / (2n) \ noin (-0.999051, -1.00095) $$
kun $ K = 3. $
Vastaava g eometriset keskimääräiset p-arvot ovat
$$ e ^ {- 0.999051} = 0.368229 \ text {ja} e ^ {- 1.00095} = 0.367531. $$
Kysymyksessä käytetty alempi arvo 0,367 $ on tämän välin ulkopuolella, mikä antaa olennaisesti nollan (alemman) hännän todennäköisyyden, kun taas ylempi arvo 0,368 $ on tämän aikavälin sisällä, mikä antaa todennäköisyyden, joka on edelleen huomattavasti alle 1 dollari. äärimmäinen esimerkki edellisestä johtopäätöksestämme, joka voidaan toistaa näin:
Kun p-arvojen keskimääräinen luonnollinen logaritmi eroaa suuresti dollarista -1 , $ Fisherin menetelmä tuottaa yhdistetyn p-arvon erittäin lähellä $ 0 $ tai lähellä $ 1 $. ”Paljon” on verrannollinen arvoon $ 1 / \ sqrt {2n}. $
Kommentit
- Voisitko tämän vastauksen perusteella väittää, että stouffer-integraatio on sopivampi tapauksissa, joissa n on suuri?
- Uskon, että koska niin valtava määrä tietoja hylätään yhdistämällä suuri määrä p-arvoja ja koska tulos, jolla on suuri $ n $, on herkkä itsenäisyyden oletukselle (joka harvoin todella pätee) , ei menetelmä niiden yhdistämiseksi yhdeksi päätökseksi sopii useimmissa olosuhteissa. Stouffer ' -menetelmä eroaa tuskin Fisher ' -metodista.
- En ' ole samaa mieltä siitä, että ainakaan Stouffer-integraatio ei näytä tätä outoa " kynnys ". Sikäli kuin voin kertoa, Zscore-vektorin johdonmukaisuus yli 0 (esim. 1000 zscores yhtä suuri kuin .5) tuottaa aina lopullisen Zscore-arvon alkuperäisen yläpuolelle, mikä on loogista. Fisher ' -menetelmä tässä on mielessäni ' -vika '
- Eroista riippumatta kumpaa menetelmää ei ole tarkoitettu eikä se ole hyödyllinen miljoonien p-arvojen yhdistämiseksi. Hyödyllisten sovellusten alueilla he eivät yleensä eroa suuresti. ' ei ole " vika " Fisherissä ' n lähestymistapa: se ' on täysin tarkka olettamustensa ja tavoitteensa vuoksi. Stouffer ' s on hieman tapauskohtainen, epäsuorasti vedoten lisäoletuksiin. Rakentavampi: kun sinulla on paljon (itsenäisiä) p-arvoja, saat niistä paljon enemmän tietoa tutkimalla, kuinka niiden jakauma poikkeaa yhtenäisyydestä kuin sinä yhdestä ainoasta yhdistetystä tilastosta.
- Ok. En ole ' oikeastaan samaa mieltä kanssasi Fisher ' -menetelmästä. Samanlainen kuin tässä esimerkissä, keskustelimme " fisherIntegration (rep (.367,1000)) =. 4999 " mutta " fisherIntegration (rep (.367,10000000)) = 1,965095e-14 " on intuitiivisesti typerää. Mikä tahansa menetelmä voidaan perustella sen oletusten / tavoitteiden perusteella, mutta tässä tapauksessa tällainen kynnysriippuvainen käyttäytyminen ei sovi siihen, mitä useimmat käyttäjät pitävät kohtuullisena. Olen tietysti samaa mieltä kanssasi siitä, että yksi yhteenvetotilasto on huonompi kuin jakauman tarkempi tutkiminen.