Jutilise le test combiné de Fisher pour fusionner plusieurs tests indépendants différents. Jai du mal à comprendre les résultats dans certains cas.
Exemple: Disons que jexécute deux tests différents, tous deux avec lhypothèse que mu est plus petit que 0. Disons que n est identique et les deux échantillons ont la même variance calculée. Cependant, supposons quun test donne une moyenne de 1,5 $ et lautre de -1,5 $. Jobtiendrai deux p-vals complémentaires (par exemple, 0,995 $ & 0,005 $). Fait intéressant, la combinaison des deux entraîne une valeur $ p $ significative dans le test de Fisher: $ p = 0,0175 $.
Cest bizarre car jaurais pu choisir le test exactement opposé $ (\ mu > 0) $ et les résultats échantillonnés – et obtenez toujours $ p = 0,0175 $. Cest presque comme si le test de Fisher ne prenait pas en compte la direction de lhypothèse.
Quelquun peut-il expliquer cela?
Merci
Commentaires
- Si jinterprète correctement cette question, la discussion dans Rice, Un test de valeur P combiné par consensus et la famille -wide Significance of Component Tests (Biometrics 1990) explique ce problème: voir p. 304. Le document propose une solution.
- En fait, en utilisant Fisher ' le p combiné pour 0,995 et 0,005 est de 0,03. Non pas que cela change linterprétation (sourire), mais je me demande doù vient le 0,0175.
- @AussieAndy Oui, je daccord – Je fais environ 0,03136
Réponse
Le test de combinaison de Fisher est destiné à combiner des informations provenant de des tests effectués sur des ensembles de données indépendants afin dobtenir de lénergie lorsque les tests individuels peuvent ne pas avoir une puissance suffisante. si les hypothèses nulles de $ k $ sont toutes correctes, la valeur de $ p $ sera uniformément distribués sur $ [0,1] $ indépendamment les uns des autres. Cela signifie que $ – 2 ∑ \ log (p_i) $ sera $ \ chi ^ 2 $ avec $ 2k $ degrés de liberté. Le rejet de cette hypothèse nulle combinée conduit à la conclusion quau moins une des hypothèses nulles est fausse. Cest ce que vous faites lorsque vous appliquez cette procédure.
Commentaires
- Cela ne semble pas résoudre le vrai problème soulevé par la question: parce que les deux valeurs p sont symétriquement opposées, et donc (du moins selon une certaine intuition) devraient " annuler, " comment se fait-il que la méthode de Fisher ' s produit un " significatif " résultat – et quelle conclusion soutient-il ??
- Cela devrait être $ 2k $ df.
- +1 pour Rejeter cette hypothèse nulle combinée conduit à la conclusion que au moins une des hypothèses nulles est fausse.
- Je pense que lOP & au moment @whuber dans son commentaire sont mal compris le sens du rejet des hypothèses nulles combinées. eric_kernfield insiste sur ce point en répétant ce que jai dit dans ma réponse.
- @Michael, je doute que jaie mal compris quelque chose daussi élémentaire que ce que signifie rejeter les hypothèses combinées. Ce qui manque à votre réponse, cest une explication du paradoxe apparent soulevé par le PO et dans mon commentaire. Un endroit où nous pourrions chercher une explication est de noter que dans un cas, les données étaient compatibles avec la valeur nulle et dans lautre cas, elles étaient sensiblement incohérentes. Lensemble de données combiné présente ainsi toujours une certaine incohérence avec la valeur nulle, ce qui peut expliquer pourquoi la valeur p de Fisher est faible – mais pas si faible. Cela mérite réflexion et étude plutôt que de critiquer.
Réponse
Il existe plusieurs façons de combiner $ p $ -values et certains dentre eux ont cette propriété et dautres pas. Cest en partie parce que le problème nest pas bien précisé. Il y a eu une étude de simulation approfondie de plusieurs des méthodes les plus connues. Lessentiel est que si vous voulez la propriété dannulation, vous pouvez lavoir mais vous nêtes pas obligé de le faire.