Ik gebruik Fishers gecombineerde test om verschillende onafhankelijke tests samen te voegen. Ik heb een probleem met het begrijpen van de resultaten in sommige gevallen.
Voorbeeld: stel dat ik twee verschillende tests uitvoer, beide met de hypothese dat mu kleiner is dan 0. Stel dat n identiek is en de twee steekproeven hebben dezelfde berekende variantie. Laten we echter aannemen dat de ene test een gemiddelde opleverde van $ 1,5 $ en de andere $ -1,5 $. Ik krijg twee aanvullende p-waarden (bijv. $ 0,995 $ & $ 0,005 $). Interessant is dat het combineren van de twee een significante $ p $ -waarde oplevert in de Fisher-test: $ p = 0,0175 $.
Dit is raar omdat ik precies de tegenovergestelde test $ (\ mu > 0) $ en steekproefresultaten – en krijg nog steeds $ p = 0,0175 $. Het is bijna alsof de Fisher-test geen rekening houdt met de richting van de hypothese.
Kan iemand dit uitleggen?
Bedankt
Opmerkingen
- Als ik deze vraag correct interpreteer, de discussie in Rice, A Consensus Combined P-Value Test and the Family -wide Significance of Component Tests (Biometrics 1990) legt dit probleem uit: zie p. 304. De paper biedt een oplossing.
- Feitelijk met behulp van Fisher ' s gecombineerde waarschijnlijkheidstest de gecombineerde p voor 0.995 en 0.005 is 0.03. Niet dat het de interpretatie verandert (glimlach), maar ik vraag me af waar de 0.0175 vandaan kwam.
- @AussieAndy Ja, ik ga akkoord – ik maak het ongeveer 0,03136
Answer
De Fisher-combinatietest is bedoeld om informatie uit afzonderlijke tests uitgevoerd op onafhankelijke datasets om vermogen te verkrijgen wanneer de individuele tests mogelijk niet voldoende vermogen hebben de waarheid is dat als de $ k $ nulhypothesen allemaal correct zijn, de $ p $ -waarde uniform zal zijn gedistribueerd op $ [0,1] $ onafhankelijk van elkaar. Dit betekent dat $ – 2 ∑ \ log (p_i) $ $ \ chi ^ 2 $ zal zijn met $ 2k $ vrijheidsgraden. Het verwerpen van deze gecombineerde nulhypothese leidt tot de conclusie dat ten minste één van de nulhypothesen onjuist is. Dat is wat u doet wanneer u deze procedure toepast.
Opmerkingen
- Dit lijkt niet het echte probleem op te lossen dat door de vraag wordt opgeworpen: omdat de twee p-waarden zijn symmetrisch tegengesteld en zouden daarom (althans volgens sommige intuïtie) " moeten annuleren, " hoe komt het dat de methode van Fisher ' een " significant " produceert resultaat – en welke conclusie ondersteunt het ??
- Dat zou $ 2k $ df moeten zijn.
- +1 voor Het verwerpen van deze gecombineerde nulhypothese leidt tot de conclusie dat ten minste één van de nulhypothesen is onjuist.
- Ik denk dat het OP & op dat moment @whuber in zijn commentaar is een verkeerd begrip van de betekenis van de afwijzing van de gecombineerde nulhypothesen. eric_kernfield benadrukt dit door te herhalen wat ik in mijn antwoord zei.
- @Michael, ik betwijfel of ik zoiets elementairs verkeerd heb begrepen als wat het betekent om de gecombineerde hypothesen te verwerpen. Wat ontbreekt in uw antwoord is een verklaring van de schijnbare paradox die door het OP en in mijn commentaar is opgeworpen. Een plaats waar we een verklaring zouden kunnen zoeken, is op te merken dat in het ene geval de gegevens consistent waren met de nulwaarde en in het andere geval merkbaar inconsistent. De gecombineerde dataset vertoont daardoor nog steeds enige inconsistentie met de nul, wat mogelijk de reden is waarom de Fisher-p-waarde laag is – maar niet zo laag. Dit verdient aandacht en studie in plaats van laster te werpen.
Antwoord
Er zijn verschillende manieren om $ p $ te combineren -waarden en sommige hebben deze eigenschap en andere niet. Dit komt deels doordat het probleem niet goed gespecificeerd is. Er is een uitgebreide simulatiestudie van veel van de meest bekende methoden. Het komt erop neer dat als u de eigenschap van annulering wilt, u deze kunt hebben, maar dat hoeft niet.