Eu tenho um gerador de números aleatórios de terceiros com um período aproximadamente maior que $ 63 * (2 ^ {63} – 1) $ que gera números no intervalo $ [0,2 ^ {32} -1] $, ou seja, $ 2 ^ {32} $ números diferentes. Fiz algumas pequenas modificações e desejo verificar se sua distribuição permanece uniforme. Estou usando o teste qui-quadrado de Pearson para o ajuste de uma distribuição, espero que esteja correto, sem saber muito sobre isso:
-
Divida $ 1000 * 2 ^ {32} $ observações em $ 2 ^ {32} $ células discretas diferentes (eu acho que o número de observações $ n $ deve ser $ 5 * 2 ^ {32} \ lt n \ lt 63 * (2 ^ {63} – 1) $, ou $ 5 * \ text {range} \ lt n \ lt \ text {periodicity} $, usando a regra dos cinco ou mais, para ganhar uma confiança decente). A frequência teórica esperada $ E_i = 1000 * 2 ^ {32} / 2 ^ {32} = 1000 $.
-
a redução em graus de liberdade é 1.
-
$ x ^ 2 = \ sum_ {i = 0} ^ {2 ^ {32} -1} (O_i – E_i) ^ 2 / E_i $.
-
graus de liberdade = $ 2 ^ {32} – 1 $.
-
pesquisar o valor p de um chi distribuição -quadrada ($ x ^ 2 $) dados $ 2 ^ {32} – 1 $ graus de liberdade.
Até onde eu posso dizer, não existe distribuição qui-quadrada para tantos graus de liberdade. O que devo fazer?
-
selecionar um valor de significância
confiança$ c $ tal que $ p > c $ significa que a distribuição é provavelmente uniforme. Tenho uma amostra grande, mas como não tenho certeza de sua relação com o valor p (o aumento da amostragem reduz os erros, mas o valor de significância representa uma razão entre os tipos de erros), acho que vou ficar com o valor padrão 0,05.
Editar: questões reais em itálico acima e enumeradas abaixo:
- Como obter um p -valor?
- Como selecionar um valor de significância?
Editar:
Fiz uma pergunta complementar em qualidade do ajuste do qui-quadrado: tamanho do efeito e potência .
Comentários
- Existe uma distribuição qui-quadrado para quaisquer graus de liberdade positivos. Você quer dizer " Não consigo ' encontrar tabelas para df realmente grandes " ou " alguns função que quero chamar won ' para aceitar argumentos tão grandes " ou algo diferente? Observação que não rejeitar o nulo não ' t por si só implica que " a distribuição é provavelmente uniforme "
- Não consigo ' encontrar tabelas para df realmente grande
- Isn ' há pouca diferença entre os dois? Um valor p reflete o quão bem o nulo se ajusta e, embora não ' implique que outra hipótese não ' se ajusta melhor, seu ponto é destacar as observações que provavelmente não ' se ajustam ao valor nulo (embora não necessariamente; poderia ser um valor atípico). Então, inversamente, por uma questão de praticidade, tenho que assumir que todas as outras observações (não rejeitando o nulo) implicam " que a distribuição é provavelmente (embora não necessariamente; poderia ser um outlier ) uniforme ".
- Eu ' estou apenas apontando que não há um " talvez " meio termo em um teste ou-ou, nem rejeitar ou deixar de rejeitar implica que qualquer hipótese seja verdadeira. E alterar o nível de confiança apenas altera a proporção de falsos positivos e falsos negativos.
- Se o número de graus de liberdade for ' ' muito grande ' ' então $ \ chi ^ 2 $ pode ser aproximado por uma variável aleatória normal.
Resposta
Um qui-quadrado com grandes graus de liberdade $ \ nu $ é aproximadamente normal com média $ \ nu $ e variação $ 2 \ nu $.
Nesse caso, dez bilhões de graus de liberdade são suficientes; a menos que você esteja interessado em alta precisão em valores p extremos (muito longe de 0,05), a aproximação normal do qui-quadrado será adequada.
Aqui está uma comparação em apenas $ \ nu = 2 ^ {12} $ – você pode ver que a aproximação normal (curva azul pontilhada) é quase indistinguível do qui-quadrado (curva vermelha escura sólida).
A aproximação está longe melhor em df muito maior.
Comentários
- Que ' um gráfico de $ x ^ 2 $ e não $ x $, certo? E com valores de p tão pequenos, que nível de confiança devo escolher?
- O desenho é simplesmente a densidade de uma variável aleatória qui-quadrado ($ X $), cuja densidade é uma função de $ x $ .Você ' está fazendo um teste de hipótese, então você não ' não tem um nível de confiança. Você tem um nível de significância, mas não ' para escolher que depois de ver um valor p, você escolhe antes de começar.
- Sim, esse é o gráfico do PDF da distribuição $ x ^ 2_k $. Dado o nome da estatística de teste ' de Pearson ($ x ^ 2 $), eu não ' t certeza se $ x $ referencia o eixo x (nesse caso, devo tirar a raiz quadrada da estatística primeiro) ou o nome da distribuição (nesse caso, a estatística mapeia diretamente para o eixo). O teste empírico de $ \ text {p-value} = 1 – CDF $ comparado às tabelas confirma o último.
- O p-value de $ x ^ 2_k $ é calculado através do CDF usando: $ 1 – \ frac {1} {\ Gamma (\ frac {k} {2})} * \ gamma (\ frac {k} {2}, \ frac {x} {2}) $, que envolve computação uma série de potências com números extremamente grandes.
- Em valores k grandes, as distribuições $ x ^ 2_k $ se aproximam da distribuição normal, portanto, o CDF do normal distribuição é usada: $ 1 – \ frac {1} {2} \ left [1 + \ text {erf $ \ left (\ frac {x – k} {2 * \ sqrt {k}} \ right) $} \ right ] $ conforme descrito pela resposta ($ \ sigma $ e $ \ mu $ substituídos conforme necessário). Isso envolve a computação de uma série de potências também, embora números menores estejam envolvidos e erf seja um componente padrão de muitas bibliotecas padrão.