Ik heb een generator voor willekeurige getallen van derden met een punt die ongeveer groter is dan $ 63 * (2 ^ {63} – 1) $ die getallen genereert in het bereik $ [0,2 ^ {32} -1] $, dwz $ 2 ^ {32} $ verschillende getallen. Ik heb een paar kleine wijzigingen aangebracht en wil controleren of de distributie uniform blijft. Ik gebruik Pearson s chikwadraat-test voor het passen van een distributie, hopelijk correct, zonder er veel van af te weten:

  1. Verdeel $ 1000 * 2 ^ {32} $ waarnemingen over $ 2 ^ {32} $ verschillende discrete cellen (ik denk dat het aantal waarnemingen $ n $ $ 5 * 2 ^ {32} \ lt n \ lt 63 * (2 ^ {63} – 1) $, of, $ 5 * \ text {bereik} \ lt n \ lt \ text {periodiciteit} $, gebruikmakend van de vijf-of-meer-regel, om een behoorlijk vertrouwen te krijgen). De verwachte theoretische frequentie $ E_i = 1000 * 2 ^ {32} / 2 ^ {32} = 1000 $.

  2. de reductie in vrijheidsgraden is 1.

  3. $ x ^ 2 = \ sum_ {i = 0} ^ {2 ^ {32} -1} (O_i – E_i) ^ 2 / E_i $.

  4. vrijheidsgraden = $ 2 ^ {32} – 1 $.

  5. zoek de p-waarde van een chi -squared ($ x ^ 2 $) distributie gegeven $ 2 ^ {32} – 1 $ vrijheidsgraden.

    Voor zover ik weet, bestaat er geen chikwadraatverdeling voor zoveel vrijheidsgraden. Wat moet ik doen?

  6. selecteer een vertrouwen significantiewaarde $ c $ zodanig dat $ p > c $ geeft aan dat de distributie waarschijnlijk uniform is. Ik heb een grote steekproefomvang, maar aangezien ik niet zeker ben van de relatie tot de p-waarde (verhoogde steekproeven verminderen fouten, maar de significantiewaarde vertegenwoordigt een verhouding in de soorten fouten), denk ik dat ik me gewoon aan de standaardwaarde 0,05 zal houden.

Bewerken: actuele vragen hierboven cursief gedrukt en hieronder opgesomd:

  1. Hoe krijg ik een p -waarde?
  2. Hoe selecteer je een significantiewaarde?

Bewerken:

Ik heb een vervolgvraag gesteld op chi-squared goodness-of-fit: effectgrootte en kracht .

Reacties

  • Er bestaat een chikwadraatverdeling voor alle positieve vrijheidsgraden. Bedoel je " Ik kan ' geen tabellen vinden voor echt grote df " of " sommige functie die ik wil aanroepen won ' t accepteer argumenten die groot zijn " of iets anders? dat het niet afwijzen van de null-waarde niet ' t op zichzelf impliceert dat " de distributie waarschijnlijk uniform is "
  • Ik kan ' geen tabellen vinden voor echt grote df
  • Isn ' Is er weinig verschil tussen de twee? Een p-waarde geeft aan hoe goed de nul past, en hoewel het niet ' impliceert dat een andere hypothese ' niet beter past, is het punt is om waarnemingen te markeren die waarschijnlijk niet ' niet in de nul passen (hoewel niet noodzakelijk; kan een uitbijter zijn). Omgekeerd moet ik, omwille van de praktische aspecten, aannemen dat alle andere waarnemingen (als we de nul niet verwerpen) impliceren dat " de verdeling waarschijnlijk is (hoewel niet noodzakelijk; zou een uitbijter kunnen zijn) ) uniform ".
  • Ik ' m alleen maar erop wijzend dat er geen " misschien " middenweg in een of-of-test, noch impliceert het verwerpen of niet verwerpen dat een hypothese waar is. En als u het betrouwbaarheidsniveau wijzigt, verandert alleen de verhouding tussen fout-positieven en fout-negatieven.
  • Als het aantal vrijheidsgraden ' erg groot ' ' dan $ \ chi ^ 2 $ kan worden benaderd door een normale willekeurige variabele.

Antwoord

Een chikwadraat met grote vrijheidsgraden $ \ nu $ is ongeveer normaal met een gemiddelde $ \ nu $ en variantie $ 2 \ nu $.

In dit geval is tien miljard vrijheidsgraden voldoende; tenzij je geïnteresseerd bent in hoge nauwkeurigheid bij extreme p-waarden (ver van 0,05), is de normale benadering van de chikwadraat prima.

Hier is een vergelijking van slechts $ \ nu = 2 ^ {12} $ – je kunt zien dat de normale benadering (gestippelde blauwe curve) bijna niet te onderscheiden is van de chikwadraat (effen donkerrode curve).

voer de beschrijving van de afbeelding hier in

De benadering is ver beter in veel grotere df.

Reacties

  • Dat ' een grafiek is van $ x ^ 2 $ en niet $ x $, toch? En met zulke kleine p-waarden, welk betrouwbaarheidsniveau moet ik kiezen?
  • De tekening is gewoon de dichtheid van een willekeurige chikwadraatvariaat ($ X $), welke dichtheid een functie is van $ x $ .U ' doet een hypothesetest, dus u hebt geen ' geen betrouwbaarheidsniveau. Je hebt wel een significantieniveau, maar je kiest niet ' dat je na een p-waarde ziet, die je kiest voordat je begint.
  • Ja, dat is de grafiek van de PDF van de $ x ^ 2_k $ distributie. Gezien de naam van Pearson ' s teststatistiek ($ x ^ 2 $), was ik ' t zeker dat $ x $ verwijst naar de x-as (in dat geval moet ik eerst de vierkantswortel van de statistiek nemen) of de distributienaam (in dat geval wordt de statistiek rechtstreeks naar de as toegewezen). Empirisch testen van $ \ text {p-value} = 1 – CDF $ vergeleken met tabellen bevestigt het laatste.
  • De p-waarde van $ x ^ 2_k $ wordt berekend via de CDF met: $ 1 – \ frac {1} {\ Gamma (\ frac {k} {2})} * \ gamma (\ frac {k} {2}, \ frac {x} {2}) $, waarbij een machtreeks met extreem grote getallen.
  • Bij grote k-waarden benadert de $ x ^ 2_k $ verdelingen de normale verdeling, dus de CDF van de normale distributie wordt gebruikt: $ 1 – \ frac {1} {2} \ left [1 + \ text {erf $ \ left (\ frac {x – k} {2 * \ sqrt {k}} \ right) $} \ right ] $ zoals beschreven door het antwoord ($ \ sigma $ en $ \ mu $ vervangen zoals vereist). Dit omvat het berekenen van een machtreeks , hoewel het kleinere getallen betreft en erf is een standaardcomponent van veel standaardbibliotheken.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *