Problémy s Fisherovou ' s metodou kombinování p-hodnot

Jak je vysvětleno na https://stats.stackexchange.com/a/314739/919 , Fisherova metoda kombinuje p-hodnoty $ p_1, p_2, \ ldots, p_n $ za předpokladu, že vznikají nezávisle na základě nulových hypotéz se statistikou průběžného testu. To znamená, že každá je nezávisle distribuováno rovnoměrně mezi $ 0 $ a $ 1. $ Jednoduchý výpočet stanoví, že $ -2 \ log (p_i) $ má distribuci $ \ chi ^ 2 (2) $, odkud

$$ P = \ sum_ {i = 1} ^ n -2 \ log (p_i) $$

má distribuci $ \ chi ^ 2 (2n) $. U velkých $ n $ (garantovaných Central Limit Theorem) je tato distribuce přibližně normální. Má průměrnou hodnotu $ 2n $ a rozptyl $ 4n, $, jak můžeme snadno vypočítat.

Předpokládejme, že $ P $ je nyní „mnohem“ odlišný od tohoto průměru. „Mnoho“ znamená, jak je obvyklé, ve srovnání se směrodatnou odchylkou. Jinými slovy, předpokládejme, že $ P $ se liší od $ 2n $ o více než několik násobků $ \ sqrt {4n} = 2 \ sqrt {n}. $ Ze základních informací o normálních distribucích to znamená, že $ P $ je buď neobvykle malý nebo neobvykle velký. V důsledku toho, jak se $ P $ pohybuje od $ 2n-2K \ sqrt {n} $ do $ 2n + 2K \ sqrt {n} $ za $ K \ přibližně 3, metoda $ Fishera přiřadí kumulativní pravděpodobnost (tj. p-hodnota) v rozmezí od téměř $ 0 $ do téměř $ 1. $

Jinými slovy, veškerá „zajímavá“ pravděpodobnost pro $ P $ nastává v interval $ (2n-2K \ sqrt {n}, 2n + 2K \ sqrt {n}) $ pro malé $ K $. Jak $ n $ roste, tento interval se zužuje vzhledem k jeho středu (na $ 2n $).

Z tohoto výsledku můžeme vyvodit jeden závěr, že když je $ \ sqrt {n} $ dostatečně velký na to, aby dominoval $ 2K $ – tedy když $ n $ je mnohem větší než $ (2 \ times3) ^ 2 \ přibližně 40 $ nebo tak, takže Fisherova metoda může dosáhnout hranic své užitečnosti.

Za okolností otázka, $ n = 10 ^ 7. $ Zajímavý interval pro průměrný log p-hodnotu, $ -P / (2n), $ je tedy zhruba

$$ – (2n-2K \ sqrt {n}, 2n + 2K \ sqrt {n}) / (2n) \ přibližně (-0,999051, -1 00095) $$

když $ K = 3. $

Odpovídající g eometrické střední hodnoty p jsou

$$ e ^ {- 0,999051} = 0,368229 \ text {a} e ^ {- 1,00095} = 0,367531. $$

Dolní hodnota $ 0,367 $ použitá v otázce je mimo tento interval, což dává v podstatě nulovou (spodní) pravděpodobnost ocasu, zatímco horní hodnota $ 0,368 $ leží v tomto intervalu, což dává pravděpodobnost, která je stále znatelně menší než $ $. $ To je extrémní příklad našeho předchozího závěru, který lze formulovat takto:

Když se průměrný přirozený logaritmus hodnot p velmi liší od $ -1 , $ Fisherova metoda vyprodukuje kombinovanou hodnotu p extrémně blízko $ 0 $ nebo blízko $ 1 $. „Mnoho“ je úměrné $ 1 / \ sqrt {2n}. $

Komentáře

• Na základě této odpovědi byste tvrdili, že stoufferova integrace je vhodnější v případě velkých n?
• Domnívám se, že protože takové obrovské množství informací je zahozeno při kombinování velkého počtu p-hodnot, a protože výsledek s velkým $ n $ je citlivý na předpoklad nezávislosti (který málokdy skutečně platí) Metoda jejich kombinace ne do jediného rozhodnutí je ve většině případů vhodná. Stouffer ' s metoda se téměř neliší od metody Fisher ' s.
• Nemám ' Nesouhlasí v tom, že alespoň Stoufferova integrace nevykazuje toto podivné " prahové " chování. Pokud vím, předávání vektoru zscores konzistentně nad 0 (např. 1000 zscores rovných 0,5) vždy vytvoří finální zscore nad originálem, což je logické. Fisherova ' s metoda je podle mého názoru ' chyba '
• Ať už jsou rozdíly jakékoli, ani jedna metoda nebyla určena, ani není užitečná pro kombinování milionů hodnot p. V oblastech užitečného použití se příliš neliší. Ve službě Fisher ' není žádná " chyba " ve Fisherovi ' s přístup: je ' s ohledem na jeho předpoklady a cíl naprosto přesný. Stouffer ' s je malý ad hoc, který implicitně spoléhá na další předpoklady. Abych byl konstruktivnější: když máte spoustu (nezávislých) p-hodnot, získáte z nich mnohem více informací studiem toho, jak se jejich distribuce odchyluje od uniformity, než od jakékoli kombinované statistiky.
• OK. Opravdu s vámi nesouhlasím ohledně metody Fishera ' s. Podobně jako v konkrétním příkladu jsme diskutovali " fisherIntegration (rep (.367,1000)) =. 4999 " ale " fisherIntegration (rep (.367,10000000)) = 1,965095e-14 " je intuitivně hloupý. Jakákoli metoda může být ospravedlněna vzhledem k jejím předpokladům / cílům, ale v tomto případě by tento druh chování závislého na prahové hodnotě neseděl tomu, co by většina uživatelů považovala za rozumné. Samozřejmě s vámi souhlasím, že jediná souhrnná statistika bude horší než pečlivější zkoumání distribuce.