Probleme cu metoda Fisher ' s pentru combinarea valorilor p

Așa cum se explică la https://stats.stackexchange.com/a/314739/919 , Metoda Fisher combină valorile p $ p_1, p_2, \ ldots, p_n $ sub ipoteza că apar independent în ipoteze nule cu statistici de testare continue. Aceasta înseamnă că fiecare este distribuit independent în mod uniform între $ 0 $ și $ 1. $ Un calcul simplu stabilește că $ -2 \ log (p_i) $ are o distribuție $ \ chi ^ 2 (2) $, de unde

$$ P = \ sum_ {i = 1} ^ n -2 \ log (p_i) $$

are o distribuție $ \ chi ^ 2 (2n) $. Pentru $ n $ mari (așa cum este garantat de teorema limitei centrale) această distribuție este aproximativ normală. Are o medie de $ 2n $ și o varianță de $ 4n, $ după cum putem calcula cu ușurință.

Să presupunem, acum, că $ P $ este „mult” diferit de această medie. „Mult” înseamnă, ca de obicei, în comparație cu abaterea standard. Cu alte cuvinte, să presupunem că $ P $ diferă de $ 2n $ cu mai mult de câțiva multipli de $ \ sqrt {4n} = 2 \ sqrt {n}. $ Din informațiile de bază despre distribuțiile normale, acest lucru implică faptul că $ P $ este fie neobișnuit de mic sau neobișnuit de mare. În consecință, întrucât $ P $ variază de la $ 2n-2K \ sqrt {n} $ la $ 2n + 2K \ sqrt {n} $ pentru $ K \ approx 3, metoda $ Fisher atribuie o probabilitate cumulativă (adică combinată valoare p) variind de la aproape $ 0 $ la aproape $ 1. $

Cu alte cuvinte, toată probabilitatea „interesantă” pentru $ P $ are loc în intervalul $ (2n-2K \ sqrt {n}, 2n + 2K \ sqrt {n}) $ pentru $ K $ mici. Pe măsură ce $ n $ crește, acest interval se restrânge în raport cu centrul său (la $ 2n $).

O concluzie pe care am putea să o tragem din acest rezultat este că atunci când $ \ sqrt {n} $ este suficient de mare pentru a domina $ 2K $ – adică când $ n $ este mult mai mare decât $ (2 \ times3) ^ 2 \ approx 40 $ sau cam asa ceva, atunci metoda Fisher poate ajunge la limitele utilității sale.

În circumstanțele de întrebarea, $ n = 10 ^ 7. $ Intervalul interesant pentru valoarea p urnal medie , $ -P / (2n), $ este, prin urmare, aproximativ

$$ – (2n-2K \ sqrt {n}, 2n + 2K \ sqrt {n}) / (2n) \ approx (-0.999051, -1.00095) $$

când $ K = 3. $

g corespunzător valorile p medii eometrice sunt

$$ e ^ {- 0.999051} = 0.368229 \ text {și} e ^ {- 1.00095} = 0.367531. $$

Valoarea inferioară de 0,367 $ utilizată în întrebare se află în afara acestui interval, oferind în esență probabilitatea cozii zero (mai mică), în timp ce valoarea superioară de 0,368 $ se află în acest interval, oferind o probabilitate care este încă semnificativ mai mică de 1 $. un exemplu extrem al concluziei noastre anterioare, care ar putea fi retratat astfel:

Când logaritmul mediu natural al valorilor p diferă mult de $ -1 , Metoda $ Fisher va produce o valoare p combinată extrem de aproape de $ 0 sau aproape de $ 1 $. „Mult” este proporțional cu $ 1 / \ sqrt {2n}. $

Comentarii

• Pe baza acestui răspuns, ați argumenta că integrarea stuferului este mai potrivită în cazurile de n mare?
• Cred că întrucât o cantitate atât de mare de informații este aruncată în combinarea unui număr mare de valori p și pentru că rezultatul cu $ n $ mare este sensibil la asumarea independenței (care rareori deține cu adevărat) , nu metoda de a le combina într-o singură decizie este potrivită în majoritatea circumstanțelor. Stouffer ' metoda cu greu diferă de metoda Fisher ' oricum.
• Nu ' nu sunt de acord, deoarece cel puțin integrarea Stouffer nu afișează acest comportament ciudat " prag ". Din câte îmi dau seama, trecerea unui vector de scoruri z în mod constant peste 0 (de exemplu, 1000 scoruri egale cu .5) va produce întotdeauna un scor final final peste original, ceea ce este logic. Metoda Fisher ' aici este în mintea mea un ' bug '
• Oricare ar fi diferențele, nici o metodă nu a fost destinată, nici nu este utilă pentru combinarea a milioane de valori p. În domeniile lor de aplicare utilă, acestea tind să nu difere prea mult. Nu există ' s " bug " în Fisher ' s: este ' perfectă, având în vedere ipotezele și obiectivul său. Stouffer ' s este puțin ad hoc, bazându-se implicit pe ipoteze suplimentare. Pentru a fi mai constructivi: atunci când aveți o mulțime de valori p (independente), veți obține mult mai multe informații din ele, studiind modul în care distribuția lor se îndepărtează de uniformitate decât veți obține de la orice statistică combinată.
• Bine. Nu ' chiar sunt de acord cu dvs. în ceea ce privește metoda Fisher '. Similar cu exemplul concret am discutat " fisherIntegration (rep (.367,1000)) =. 4999 " dar " fisherIntegration (rep (.367,10000000)) = 1.965095e-14 " este o prostie intuitivă. Orice metodă poate fi justificată având în vedere ipotezele / obiectivele sale, dar în acest caz acest tip de comportament dependent de prag nu s-ar potrivi cu ceea ce majoritatea utilizatorilor ar găsi rezonabil. Desigur, sunt de acord cu dvs. că o singură statistică sumară va fi mai rea decât examinarea mai atentă a distribuției.