Jeg bruker Fishers kombinerte test for å smelte flere forskjellige uavhengige tester. Jeg har problemer med å forstå resultatene i noen tilfeller.
Eksempel: La oss si at jeg kjører to forskjellige tester, begge med hypotesen om at mu er mindre enn 0. La oss si at n er identisk og de to prøvene har samme beregnede varians. Men la oss anta at den ene testen ga et gjennomsnitt som er $ 1,5 $ og den andre er $ -1,5 $. Jeg får to komplementære p-vals (f.eks. $ 0,995 $ & $ 0,005 $). Interessant, å kombinere de to gir en betydelig $ p $ -verdi i Fisher-testen: $ p = 0,0175 $.
Dette er rart fordi jeg kunne ha valgt den motsatte testen $ (\ mu > 0) $ og samplede resultater – og fremdeles få $ p = 0,0175 $. Det er nesten som om Fisher-testen ikke tar hensyn til hypotesens retning.
Kan noen forklare dette?
Takk
Kommentarer
- Hvis jeg tolker dette spørsmålet riktig, diskusjonen i Rice, En konsensus kombinert P-verditest og familien -omfattende betydning av komponenttester (Biometrics 1990) forklarer dette problemet: se s. 304. Papiret tilbyr en løsning.
- Egentlig bruker Fisher ' s kombinerte sannsynlighetstest den kombinerte p for 0,995 og 0,005 er 0,03. Ikke at det endrer tolkningen (smil), men jeg lurer på hvor 0,0175 kom fra.
- @AussieAndy Ja, jeg enig – Jeg klarer det om 0.03136
Svar
Fisher-kombinasjonstesten er ment å kombinere informasjon fra separate tester utført på uavhengige datasett for å skaffe strøm når de enkelte testene kanskje ikke har tilstrekkelig kraft dea er at hvis $ k $ nullhypoteser er korrekte, vil $ p $ -verdien være jevnt distribuert på $ [0,1] $ uavhengig av hverandre. Dette betyr at $ – 2 ∑ \ log (p_i) $ vil være $ \ chi ^ 2 $ med $ 2 000 $ frihetsgrader. Å avvise denne kombinerte nullhypotesen fører til den konklusjon at minst en av nullhypotesene er falske. Det er det du gjør når du bruker denne prosedyren.
Kommentarer
- Dette ser ikke ut til å løse det virkelige problemet som ble reist av spørsmålet: fordi de to p-verdiene er symmetrisk motsatte, og derfor (i det minste ifølge noen intuisjoner) burde " avbryte, " hvordan er det at Fisher ' s metode produserer en " signifikant " resultat – og hvilken konklusjon støtter den ??
- Det skal være $ 2k $ df.
- +1 for Avvisning av denne kombinerte nullhypotesen fører til konklusjonen at minst én av nullhypotesene er falske.
- Jeg tror OP & på det tidspunktet @whuber i sin kommentar misforstår betydningen av avvisningen av de kombinerte nullhypotesene. eric_kernfield understreker dette ved å gjenta det jeg sa i svaret mitt.
- @ Michael, jeg tviler på at jeg misforstått noe så elementært som hva det vil si å avvise de kombinerte hypotesene. Det som mangler i svaret ditt er en forklaring på det tilsynelatende paradokset som ble reist av OP og i min kommentar. Et sted vi kan søke en forklaring er å merke seg at i det ene tilfellet var dataene i samsvar med null, og i det andre tilfellet var de merkbart inkonsekvente. Det kombinerte datasettet viser dermed fremdeles litt inkonsekvens med null, noe som kan være grunnen til at Fisher p-verdien er lav – men ikke så lav. Dette fortjener tanke og studier i stedet for å kaste tanker.
Svar
Det er flere måter å kombinere $ p $ på -verdier og noen av dem har denne egenskapen, og noen har ikke. Dette er delvis fordi problemet ikke er spesifisert. Det har vært en omfattende simuleringsstudie av mange av de mest kjente metodene. Poenget er at hvis du vil ha kanselleringsegenskapen, kan du få den, men du trenger ikke.