Mám generátor náhodných čísel třetích stran s obdobím přibližně větším než $ 63 * (2 ^ {63} – 1) $, který generuje čísla v rozsahu $ [0,2 ^ {32} -1] $, tj. $ 2 ^ {32} $ různá čísla. „Provedl jsem několik drobných úprav a přeji si ověřit, že jeho distribuce zůstává stejná. Používám Pearsonův chí-kvadrát test vhodnosti distribuce, doufejme, že správně, aniž bych o tom věděl mnoho:
-
Rozdělte $ 1000 * 2 ^ {32} $ pozorování mezi $ 2 ^ {32} $ různé samostatné buňky (odhaduji, že počet pozorování $ n $ by měl být $ 5 * 2 ^ {32} \ lt n \ lt 63 * (2 ^ {63} – 1) $, nebo $ 5 * \ text {range} \ lt n \ lt \ text {periodicity} $, pomocí pravidla pět nebo více, aby získal slušnou důvěru). Očekávaná teoretická frekvence $ E_i = 1 000 * 2 ^ {32} / 2 ^ {32} = 1 000 $.
-
snížení stupňů volnosti je 1.
-
$ x ^ 2 = \ sum_ {i = 0} ^ {2 ^ {32} -1} (O_i – E_i) ^ 2 / E_i $.
-
stupně volnosti = $ 2 ^ {32} – 1 $.
-
vyhledejte hodnotu p chi -squared ($ x ^ 2 $) distribuce vzhledem k $ 2 ^ {32} – 1 $ stupňů volnosti.
Pokud vím, pro tolik stupňů volnosti neexistuje žádná chi-kvadrátová distribuce. Co mám dělat?
-
vyberte
spolehlivosthodnotu významnosti $ c $ tak, aby $ p > c $ znamená, že distribuce je pravděpodobně jednotná. Mám velkou velikost vzorku, ale protože si nejsem jistý jeho vztahem k hodnotě p (zvýšené vzorkování snižuje chyby, ale hodnota významnosti představuje poměr v typech chyb), myslím, že se budu držet standardní hodnoty 0,05.
Upravit: aktuální otázky kurzívou výše a vyjmenovány níže:
- Jak získat p -hodnota?
- Jak vybrat hodnotu významnosti?
Upravit:
Položil jsem doplňující otázku na chi-kvadrát goodness-of-fit: velikost a síla efektu .
Komentáře
- Pro jakékoli kladné stupně volnosti existuje distribuce chí-kvadrát. Myslíte " Nemohu ' najít tabulky pro opravdu velké df " nebo " některé funkce, kterou chci zavolat, nebude brát argumenty, které " nebo něco jiného?
to, že odmítnutí nuly samo o sobě ' neznamená, že " distribuce je pravděpodobně jednotná "
Odpověď
Čtverec s velkým stupněm volnosti $ \ nu $ je přibližně normální s průměrným $ \ nu $ a odchylka 2 $ \ nu $.
V tomto případě je deset miliard stupňů volnosti spousta; pokud vás nezajímá vysoká přesnost při extrémních hodnotách p (velmi daleko od 0,05), bude normální aproximace chí-kvadrátu v pořádku.
Zde je srovnání s pouhým $ \ nu = 2 ^ {12} $ – můžete vidět, že normální aproximace (tečkovaná modrá křivka) je téměř nerozeznatelná od chí-kvadrátu (plná tmavě červená křivka).
Aproximace je daleko lepší v mnohem větších df.
Komentáře
- Tento ' sa graf $ x ^ 2 $ a ne $ x $, že? A s tak malými hodnotami p, jakou úroveň spolehlivosti si mám vybrat?
- Výkres je jednoduše hustota chi-kvadrát náhodného variátu ($ X $), jehož hustota je funkcí $ x $ .' Provádíte test hypotézy, takže nemáte ' úroveň spolehlivosti. Máte úroveň významnosti, ale ' nevyberete poté, co uvidíte hodnotu p, zvolíte ji dříve, než začnete.
- Ano, to je graf PDF distribuce $ x ^ 2_k $. Vzhledem k názvu statistik testu Pearson ' s ($ x ^ 2 $) jsem si nebyl ' jistý, zda $ x $ odkazuje na osa x (v takovém případě bych měl nejprve vzít druhou odmocninu statistiky) nebo název distribuce (v takovém případě se statistika mapuje přímo na osu). Empirické testování $ \ text {p-value} = 1 – CDF $ ve srovnání s tabulkami to potvrzuje.
- P-hodnota $ x ^ 2_k $ se počítá prostřednictvím CDF pomocí: $ 1 – \ frac {1} {\ Gamma (\ frac {k} {2})} * \ gamma (\ frac {k} {2}, \ frac {x} {2}) $, což zahrnuje výpočet výkonová řada s extrémně velkým počtem.
- Při velkých hodnotách k se distribuce $ x ^ 2_k $ blíží normálnímu rozdělení, takže CDF normálního používá se distribuce: $ 1 – \ frac {1} {2} \ left [1 + \ text {erf $ \ left (\ frac {x – k} {2 * \ sqrt {k}} \ right) $} \ right ] $, jak je popsáno v odpovědi ($ \ sigma $ a $ \ mu $ nahrazeny podle potřeby). To zahrnuje výpočet výkonové řady , i když se jedná o menší počty a erf je standardní součástí mnoha standardních knihoven.