Ho un generatore di numeri casuali di terze parti con un periodo approssimativamente maggiore di $ 63 * (2 ^ {63} – 1) $ che genera numeri nellintervallo $ [0,2 ^ {32} -1] $, cioè $ 2 ^ {32} $ numeri diversi. Ho apportato alcune lievi modifiche e desidero verificare che la sua distribuzione rimanga uniforme. Sto usando il test chi-quadrato di Pearson per ladattamento di una distribuzione, si spera correttamente, senza sapere molto a riguardo:
-
Dividi $ 1000 * 2 ^ {32} $ osservazioni in $ 2 ^ {32} $ celle discrete diverse (immagino che il numero di osservazioni $ n $ dovrebbe essere $ 5 * 2 ^ {32} \ lt n \ lt 63 * (2 ^ {63} – 1) $, o $ 5 * \ text {range} \ lt n \ lt \ text {periodicity} $, usando la regola del cinque o più, per acquisire una fiducia decente). La frequenza teorica prevista $ E_i = 1000 * 2 ^ {32} / 2 ^ {32} = 1000 $.
-
la riduzione dei gradi di libertà è 1.
-
$ x ^ 2 = \ sum_ {i = 0} ^ {2 ^ {32} -1} (O_i – E_i) ^ 2 / E_i $.
-
gradi di libertà = $ 2 ^ {32} – 1 $.
-
cerca il valore p di un chi -distribuzione quadrata ($ x ^ 2 $) data $ 2 ^ {32} – 1 $ gradi di libertà.
Per quanto ne so, non esiste distribuzione chi-quadrato per tanti gradi di libertà. Cosa devo fare?
-
seleziona un valore di significatività
confidenza$ c $ tale che $ p > c $ significa che la distribuzione è probabilmente uniforme. Ho un campione di grandi dimensioni ma poiché non sono sicuro della sua relazione con il valore p (un maggiore campionamento riduce gli errori, ma il valore di significatività rappresenta un rapporto tra i tipi di errori) penso che mi limiterò al valore standard 0,05.
Modifica: domande reali in corsivo sopra ed enumerate di seguito:
- Come ottenere una p -valore?
- Come selezionare un valore di significatività?
Modifica:
Ho “posto una domanda di follow-up a bontà di adattamento del chi quadrato: dimensione e potenza delleffetto .
Commenti
- Esiste una distribuzione chi quadrato per ogni grado di libertà positivo. Vuoi dire " Non riesco ' a trovare tabelle per df molto grandi " o " alcuni funzione che desidero chiamare won ' per accettare argomenti di grandi dimensioni " o qualcosaltro? Nota che il mancato rifiuto del valore null ' t implica che " la distribuzione è probabilmente uniforme "
- Non riesco ' a trovare tabelle per file df molto grandi
- Isn ' Cè poca differenza tra i due? Un valore p riflette quanto bene il valore nullo si adatta e sebbene ' t implichi unaltra ipotesi che ' non si adatti meglio, il suo punto è quello di evidenziare le osservazioni che probabilmente non ' si adattano al valore nullo (anche se non necessariamente; potrebbe essere un valore anomalo). Quindi, al contrario, per motivi di praticità devo presumere che tutte le altre osservazioni (non rifiutando il valore nullo) implicano " la distribuzione è probabilmente (anche se non necessariamente; potrebbe essere un valore anomalo ) uniform ".
- I ' sto solo facendo notare che non cè un " forse " una via di mezzo in un test o-or, né rifiutare o non rifiutare implica che qualsiasi ipotesi sia vera. E la modifica del livello di confidenza cambia solo il rapporto tra falsi positivi e falsi negativi.
- Se il numero di gradi di libertà è ' ' molto grande ' ' quindi $ \ chi ^ 2 $ può essere approssimato da una normale variabile casuale.
Risposta
Un chi quadrato con grandi gradi di libertà $ \ nu $ è approssimativamente normale con media $ \ nu $ e varianza $ 2 \ nu $.
In questo caso, dieci miliardi di gradi di libertà sono sufficienti; a meno che tu non sia interessato a unelevata precisione a valori p estremi (molto lontani da 0,05), la normale approssimazione del chi-quadrato andrà bene.
Qui “un confronto a un semplice $ \ nu = 2 ^ {12} $ – puoi vedere che lapprossimazione normale (curva blu tratteggiata) è quasi indistinguibile dal chi-quadrato (curva rosso scuro continua).
Lapprossimazione è lontana meglio con df molto più grandi.
Commenti
- Questo ' è un grafico di $ x ^ 2 $ e non $ x $, giusto? E con valori p così piccoli, quale livello di confidenza dovrei scegliere?
- Il disegno è semplicemente la densità di una variabile casuale chi quadrato ($ X $), la cui densità è una funzione di $ x $ .' stai eseguendo un test di ipotesi, quindi ' non hai un livello di confidenza. Hai un livello di significatività ma non ' scegliere che dopo vedi un valore p, scegli quello prima di iniziare.
- Sì, questo è il grafico del PDF della distribuzione $ x ^ 2_k $. Dato il nome della statistica test di Pearson ' ($ x ^ 2 $), non ero ' sicuro che $ x $ facesse riferimento al asse x (nel qual caso dovrei prendere prima la radice quadrata della statistica) o il nome della distribuzione (nel qual caso la statistica mappa direttamente sullasse). Il test empirico di $ \ text {p-value} = 1 – CDF $ rispetto alle tabelle conferma questultimo.
- Il valore p di $ x ^ 2_k $ viene calcolato tramite CDF utilizzando: $ 1 – \ frac {1} {\ Gamma (\ frac {k} {2})} * \ gamma (\ frac {k} {2}, \ frac {x} {2}) $, che implica il calcolo di una serie di potenze con numeri estremamente grandi.
- A valori k elevati, le distribuzioni $ x ^ 2_k $ si avvicinano alla distribuzione normale, quindi il CDF del normale viene utilizzata la distribuzione: $ 1 – \ frac {1} {2} \ left [1 + \ text {erf $ \ left (\ frac {x – k} {2 * \ sqrt {k}} \ right) $} \ right ] $ come descritto dalla risposta ($ \ sigma $ e $ \ mu $ sostituiti come richiesto). Ciò comporta anche lelaborazione di una serie di potenze , sebbene siano coinvolti numeri più piccoli e ERF è un componente standard di molte librerie standard.