Jag använder Fishers kombinerade test för att smälta samman flera olika oberoende tester. Jag har problem med att förstå resultaten i vissa fall.
Exempel: Låt oss säga att jag kör två olika tester, båda med hypotesen att mu är mindre än 0. Låt oss säga att n är identisk och de två proverna har samma beräknade varians. Låt oss dock anta att ett test gav ett genomsnitt som är $ 1,5 $ och det andra är $ -1,5 $. Jag får två kompletterande p-vals (t.ex. $ 0,995 $ & $ 0,005 $). Intressant är att kombinera de två ger ett betydande $ p $ -värde i Fisher-testet: $ p = 0,0175 $.
Detta är konstigt eftersom jag kunde ha valt exakt motsatt test $ (\ mu > 0) $ och samplade resultat – och ändå få $ p = 0,0175 $. Det är nästan som om Fisher-testet inte tar hänsyn till hypotesens riktning.
Kan någon förklara detta?
Tack
Kommentarer
- Om jag tolkar denna fråga korrekt, diskussionen i ris, Ett samförståndskombinerat P-värde-test och familjen -omfattande betydelse av komponenttest (Biometrics 1990) förklarar detta problem: se s. 304. Papperet erbjuder en lösning.
- Använd faktiskt Fisher ' s kombinerade sannolikhetstest den kombinerade p för 0,995 och 0,005 är 0,03. Inte för att det ändrar tolkningen (leende) men jag undrar var 0,0175 kom ifrån.
- @AussieAndy Ja, jag håller med – jag klarar mig 0.03136
Svar
Fisher-kombinationstestet är avsett att kombinera information från separata tester gjorda på oberoende datamängder för att få effekt när de enskilda testerna kanske inte har tillräcklig effekt dea är att om $ k $ nullhypoteserna är korrekta kommer $ p $ -värdet att vara enhetligt distribueras på $ [0,1] $ oberoende av varandra. Det betyder att $ – 2 ∑ \ log (p_i) $ kommer att vara $ \ chi ^ 2 $ med $ 2 000 $ frihetsgrader. Att avvisa denna kombinerade nollhypotes leder till slutsatsen att åtminstone en av nollhypoteserna är falska. Det är vad du gör när du tillämpar den här proceduren.
Kommentarer
- Detta verkar inte ta itu med den verkliga frågan: de två p-värdena är symmetriskt motsatta, och därför (åtminstone enligt viss intuition) borde " avbryta, " hur är det att Fisher ' s metod ger en " signifikant " resultat – och vilken slutsats stöder den ??
- Det borde vara $ 2k $ df.
- +1 för Att avvisa denna kombinerade nollhypotes leder till slutsatsen att åtminstone en av nollhypoteserna är falsk.
- Jag tror att OP & vid den tiden @ whuber i hans kommentar missförstår betydelsen av avvisandet av de kombinerade nollhypoteserna. eric_kernfield betonar detta genom att upprepa vad jag sa i mitt svar.
- @ Michael, jag tvivlar på att jag missuppfattade något så elementärt som vad det innebär att avvisa de kombinerade hypoteserna. Vad som saknas i ditt svar är en förklaring av den uppenbara paradoxen som OP har tagit upp och i min kommentar. Ett ställe vi kan söka en förklaring är att notera att i ett fall var uppgifterna överensstämmande med noll och i det andra fallet var de märkbart inkonsekventa. Den kombinerade datamängden uppvisar därmed fortfarande en viss inkonsekvens med null, vilket kan vara anledningen till att Fisher p-värdet är lågt – men inte så lågt. Detta förtjänar tanke och studier snarare än att kasta tankar.
Svar
Det finns flera sätt att kombinera $ p $ -värden och några av dem har den här egenskapen och andra inte. Detta beror delvis på att problemet inte är specificerat. Det har varit en omfattande simuleringsstudie av många av de mest kända metoderna. Slutsatsen är att om du vill ha egenskapen för avbokning kan du få den men du behöver inte.