După cum știm cu toții, există 2 metode pentru a evalua modelul de regresie logistică și testează foarte mult lucruri diferite

  1. Puterea predictivă:

    Obțineți o statistică care măsoară cât de bine puteți prevedea variabila dependentă pe baza variabilelor independente. Cunoscutele Pseudo R ^ 2 sunt McFadden (1974) și Cox și Snell (1989).

  2. Statistici de bună-potrivire

    Testul ne spune dacă ați putea face și mai bine făcând modelul mai complicat, ceea ce testează de fapt dacă există neliniarități sau interacțiuni pe care le-ați pierdut.

Am implementat ambele teste pe modelul meu, care au adăugat deja pătratic și interacțiune
deja: 

 >summary(spec_q2) Call: glm(formula = result ~ Top + Right + Left + Bottom + I(Top^2) + I(Left^2) + I(Bottom^2) + Top:Right + Top:Bottom + Right:Left, family = binomial()) Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.955431 8.838584 0.108 0.9139 Top 0.311891 0.189793 1.643 0.1003 Right -1.015460 0.502736 -2.020 0.0434 * Left -0.962143 0.431534 -2.230 0.0258 * Bottom 0.198631 0.157242 1.263 0.2065 I(Top^2) -0.003213 0.002114 -1.520 0.1285 I(Left^2) -0.054258 0.008768 -6.188 6.09e-10 *** I(Bottom^2) 0.003725 0.001782 2.091 0.0366 * Top:Right 0.012290 0.007540 1.630 0.1031 Top:Bottom 0.004536 0.002880 1.575 0.1153 Right:Left -0.044283 0.015983 -2.771 0.0056 ** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 (Dispersion parameter for binomial family taken to be 1) Null deviance: 3350.3 on 2799 degrees of freedom Residual deviance: 1984.6 on 2789 degrees of freedom AIC: 2006.6

și puterea prezisă este ca mai jos, MaFadden este 0,4004 și valoarea cuprinsă între 0,2 ~ 0,4 ar trebui luată pentru a prezenta o potrivire foarte bună a modelului (Louviere și colab. (2000), Domenich și McFadden (1975)): 

 > PseudoR2(spec_q2) McFadden Adj.McFadden Cox.Snell Nagelkerke McKelvey.Zavoina Effron Count Adj.Count 0.4076315 0.4004680 0.3859918 0.5531859 0.6144487 0.4616466 0.8489286 0.4712500 AIC Corrected.AIC 2006.6179010 2006.7125925

și statisticile bunătății: 

 > hoslem.test(result,phat,g=8) Hosmer and Lemeshow goodness of fit (GOF) test data: result, phat X-squared = 2800, df = 6, p-value < 2.2e-16

După cum înțeleg, GOF testează de fapt următoarea ipoteză nulă și alternativă: 

 H0: The models does not need interaction and non-linearity H1: The models needs interaction and non-linearity

Deoarece modelele mele au adăugat interacțiune, neliniaritatea deja și valoarea p arată H0 ar trebui respinse, așa că am ajuns la concluzia că modelul meu are nevoie de interacțiune, într-adevăr de neliniaritate. Sper că interpretarea mea este corectă și vă mulțumesc pentru orice sfat în avans, mulțumesc.

Comentarii

Răspuns

Există mai multe probleme de abordat.

  • $ R ^ 2 $ măsoară singure niciodată nu măsoară bunătatea potrivirii; ele măsoară în principal discriminarea predictivă. Calitatea de potrivire vine doar din compararea $ R ^ 2 $ cu $ R ^ 2 $ dintr-un model mai bogat
  • Testul Hosmer-Lemeshow este pentru eroarea de calibrare generală, nu pentru o lipsă specială de potrivire, cum ar fi efecte pătratice. Nu ia în considerare în mod corespunzător supraadaptarea, este arbitrar în alegerea coșurilor și metoda de calcul a cuantilelor și are adesea o putere prea mică.
  • Din aceste motive, testul Hosmer-Lemeshow nu mai este recomandat. Hosmer și colab. Au unul mai bun d.f. test omnibus de potrivire, implementat în funcția R rms pachet residuals.lrm.
  • Pentru cazul dvs., bunătatea potrivirii poate să fie evaluat prin testarea în comun (într-un test „bucată”) a contribuției tuturor pătratului și a termenilor de interacțiune.
  • Dar vă recomand să specificați modelul pentru a face mai probabil să se potrivească în față (în special în ceea ce privește presupuneri de liniaritate relaxante folosind spline de regresie) și folosind bootstrap-ul pentru a estima supraadaptarea și pentru a obține o curbă de calibrare netedă, de înaltă rezoluție, corectată la supraadapare, pentru a verifica acuratețea absolută. Acestea se fac folosind pachetul R rms.

În ultimul punct, prefer filosofia că modelele vor fi flexibile (limitat de eșantion dimensiune, oricum) și că ne concentrăm mai mult pe „potrivire” decât „lipsă de potrivire”.

Comentarii

  • Doar un lucru: majoritatea $ R ^ 2 $ măsuri compară modelul potrivit cu un ” model perfect ” care obține predicția corectă pentru fiecare înregistrare, fără a face un df / reglarea suprasolicitării. +1 de la mine.
  • Da, ‘ este doar că nu sperăm niciodată să fim perfecți, așa că nu aș numi $ 1 – R ^ {2} $ lipsă de potrivire.

Răspuns

Din Wikipedia :

Testul evaluează dacă ratele de evenimente observate corespund sau nu ratelor de evenimente așteptate în subgrupuri ale populației model. Testul Hosmer – Lemeshow identifică în mod specific subgrupurile ca decile ale valorilor de risc ajustate. Modelele pentru care ratele de evenimente așteptate și observate în subgrupuri sunt similare sunt numite bine calibrate.

Înțelesul său: după ce ați construit modelul care a marcat modelul dvs. „sy, doriți pentru a verifica dacă acesta este distribuit pe 10 decile, similar cu ratele efective ale evenimentelor.

Deci ipotezele vor fi

  • $ H_0 $: Ratele evenimentelor reale și previzionate sunt similare în 10 decile
  • $ H_1 $: sunt mot same

Prin urmare, dacă valoarea p este mai mică decât.05, acestea nu sunt bine distribuite și trebuie să vă rafinați modelul.

Sper că acest lucru va răspunde la o parte din interogarea dvs.

Răspundeți

Acest lucru este destul de discutabil în urma răspunsului lui @FrankHarrell, dar un fan al testului H – L ar deduce din acel rezultat că în ciuda includerea dvs. de termeni patratici & unele † interacțiuni de ordinul II, modelul încă a arătat o lipsă semnificativă de potrivire, & că poate ar fi adecvat un model și mai complex. Încercați potrivirea exactă a modelului pe care l-ați specificat, nu al model mai simplu de ordinul întâi.

† Nu este un model complet de ordinul doi — există trei interacțiuni de parcurs.

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *