Sto usando il test combinato di Fisher per fondere diversi test indipendenti differenti. In alcuni casi ho problemi a comprendere i risultati.
Esempio: supponiamo di eseguire due test diversi, entrambi con lipotesi che mu sia minore di 0. Diciamo che n è identico e i due campioni hanno la stessa varianza calcolata. Tuttavia, supponiamo che un test abbia prodotto una media di $ 1,5 $ e laltro di $ -1,5 $. Otterrò due p-val complementari (ad es. $ 0,995 $ & $ 0,005 $). È interessante notare che la combinazione dei due produce un valore $ p $ significativo nel test di Fisher: $ p = 0,0175 $.
Questo è strano perché avrei potuto scegliere il test esattamente opposto $ (\ mu > 0) $ e risultati campionati – e ottieni comunque $ p = 0,0175 $. È quasi come se il test di Fisher non tenesse conto della direzione dellipotesi.
Qualcuno può spiegarlo?
Grazie
Commenti
- Se interpreto correttamente questa domanda, la discussione in Rice, A Consensus Combined P-Value Test and the Family -wide Significance of Component Tests (Biometrics 1990) spiega questo problema: vedere p. 304. Il documento offre una soluzione.
- In realtà utilizzando Fisher ' s test di probabilità combinato la p combinata per 0,995 e 0,005 è 0,03. Non che cambi linterpretazione (smile) ma mi chiedo da dove provenga lo 0,0175.
- @AussieAndy Sì, io daccordo – lo faccio circa 0,03136
Risposta
Il test di combinazione di Fisher ha lo scopo di combinare informazioni da distinti test eseguiti su set di dati indipendenti al fine di ottenere potenza quando i singoli test potrebbero non avere potenza sufficiente dea è che se le ipotesi nulle $ k $ sono tutte corrette, il valore $ p $ sarà uniforme distribuiti su $ [0,1] $ indipendentemente luno dallaltro. Ciò significa che $ – 2 ∑ \ log (p_i) $ sarà $ \ chi ^ 2 $ con $ 2k $ gradi di libertà. Rifiutare questa ipotesi nulla combinata porta alla conclusione che almeno una delle ipotesi nulla è falsa. Questo è ciò che stai facendo quando applichi questa procedura.
Commenti
- Questo non sembra affrontare il vero problema sollevato dalla domanda: perché i due valori p sono simmetricamente opposti e quindi (almeno secondo qualche intuizione) dovrebbero " annullare, " comè che il metodo ' di Fisher produce un " significativo " risultato – e quale conclusione supporta ??
- Dovrebbe essere $ 2k $ df.
- +1 per Il rifiuto di questa ipotesi nulla combinata porta alla conclusione che almeno una delle ipotesi nulle è falsa.
- Penso che lOP & allepoca @whuber nel suo commento stanno fraintendendo il significato del rifiuto delle ipotesi nulle combinate. eric_kernfield sta sottolineando questo ripetendo ciò che ho detto nella mia risposta.
- @Michael, dubito di aver capito male qualcosa di elementare come ciò che significa rifiutare le ipotesi combinate. Quello che manca dalla tua risposta è una spiegazione dellapparente paradosso sollevato dallOP e nel mio commento. Un punto in cui potremmo cercare una spiegazione è notare che in un caso i dati erano coerenti con il valore nullo e nellaltro caso erano notevolmente incoerenti. Il set di dati combinato mostra quindi ancora qualche incongruenza con il valore nullo, motivo per cui il valore p di Fisher è basso, ma non così basso. Questo merita riflessione e studio piuttosto che lanciare aspersioni.
Risposta
Ci sono diversi modi per combinare $ p $ -valori e alcuni di essi hanno questa proprietà e altri no. Ciò è in parte dovuto al fatto che il problema non è ben specificato. È stato un ampio studio di simulazione di molti dei metodi più noti. La conclusione è che se vuoi la proprietà di cancellazione puoi averla ma non devi.