Mint mindannyian tudjuk, két módszer létezik a logisztikai regressziós modell értékelésére, és nagyon tesztelik őket különböző dolgok

  1. Prediktív erő:

    Szerezzen olyan statisztikát, amely méri, mennyire jósolható meg a függő változó a független változók alapján. A jól ismert Pseudo R ^ 2 McFadden (1974), valamint Cox és Snell (1989).

  2. Az illeszkedés statisztikája

    A teszt megmondja, hogy tehetne-e még jobbat a modell bonyolultabbá tételével, ami valójában azt teszteli, hogy vannak-e olyan nem-linearitások vagy interakciók, amelyeket elmulasztott.

Megvalósítottam mindkét tesztem a modellemen, amely másodfokú és interakciót adott
már: 

 >summary(spec_q2) Call: glm(formula = result ~ Top + Right + Left + Bottom + I(Top^2) + I(Left^2) + I(Bottom^2) + Top:Right + Top:Bottom + Right:Left, family = binomial()) Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.955431 8.838584 0.108 0.9139 Top 0.311891 0.189793 1.643 0.1003 Right -1.015460 0.502736 -2.020 0.0434 * Left -0.962143 0.431534 -2.230 0.0258 * Bottom 0.198631 0.157242 1.263 0.2065 I(Top^2) -0.003213 0.002114 -1.520 0.1285 I(Left^2) -0.054258 0.008768 -6.188 6.09e-10 *** I(Bottom^2) 0.003725 0.001782 2.091 0.0366 * Top:Right 0.012290 0.007540 1.630 0.1031 Top:Bottom 0.004536 0.002880 1.575 0.1153 Right:Left -0.044283 0.015983 -2.771 0.0056 ** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 (Dispersion parameter for binomial family taken to be 1) Null deviance: 3350.3 on 2799 degrees of freedom Residual deviance: 1984.6 on 2789 degrees of freedom AIC: 2006.6

és a megjósolt teljesítmény az alábbiak szerint alakul, a MaFadden 0,4004, és a 0,2 ~ 0,4 közötti értéket úgy kell venni, hogy a modell nagyon jól illeszkedjen (Louviere és mtsai (2000), Domenich és McFadden (1975)): 

 > PseudoR2(spec_q2) McFadden Adj.McFadden Cox.Snell Nagelkerke McKelvey.Zavoina Effron Count Adj.Count 0.4076315 0.4004680 0.3859918 0.5531859 0.6144487 0.4616466 0.8489286 0.4712500 AIC Corrected.AIC 2006.6179010 2006.7125925

és az illeszkedés statisztikája: 

 > hoslem.test(result,phat,g=8) Hosmer and Lemeshow goodness of fit (GOF) test data: result, phat X-squared = 2800, df = 6, p-value < 2.2e-16

Megértésem szerint a GOF a következő null és alternatív hipotézist teszteli: 

 H0: The models does not need interaction and non-linearity H1: The models needs interaction and non-linearity

Mivel modelljeim kölcsönhatásba léptek, a nem-linearitást már el kell utasítani, és a p-érték H0-t mutat, ezért el kell arra a következtetésre jutott, hogy modellemnek interakcióra van szüksége, valóban nem-linearitásra. Remélem, hogy értelmezésem helyes, és köszönöm az előzetes tanácsokat, köszönöm.

Megjegyzések

Válasz

Számos kérdéssel kell foglalkozni.

  • $ R ^ 2 $ önmagában soha nem méri az illeszkedés jóságát; főleg a prediktív diszkriminációt mérik. Az illeszkedés jósága csak akkor származik, ha összehasonlítjuk a $ R ^ 2 $ -ot a gazdagabb modell $ R ^ 2 $ -jával.
  • A Hosmer-Lemeshow teszt az általános kalibrálási hibára vonatkozik, nem az illeszkedés különösebb hiányára, mint pl. másodfokú hatások. Nem veszi kellően figyelembe a túlterhelést, önkényes a tárolók és a kvantilek kiszámításának módjának megválasztásában, és gyakran túl alacsony a teljesítménye.
  • Ezért a Hosmer-Lemeshow teszt már nem ajánlott. Hosmer és munkatársai rendelkeznek jobbal, d.f. az illesztés összesítő tesztje, amelyet az R rms csomag residuals.lrm függvényben hajtanak végre.
  • Az Ön esetére az illeszkedés jósága az összes négyzet és interakció kifejlesztésének együttes tesztelésével („darabos tesztben”) kell értékelni.
  • De azt javaslom, hogy adja meg a modellt, hogy nagyobb valószínűséggel illeszkedjen elé (különösen a a linearitás feltételezéseinek enyhítése regressziós spline segítségével), és a bootstrap segítségével becsülhető a túlterhelés és az abszolút pontosság ellenőrzéséhez egy túlillesztéssel korrigált nagy felbontású sima kalibrációs görbe. Ezeket az R rms csomag használatával hajtják végre.

Utolsó szempontként azt a filozófiát részesítem előnyben, hogy a modellek rugalmasak legyenek (a minta korlátozza) méret), és hogy inkább az “illeszkedésre” koncentrálunk, mint az “illeszkedés hiányára”.

Megjegyzések

  • Csak egy dolog: a legtöbb $ R ^ 2 $ mértéke összehasonlítja az illesztett modellt egy ” tökéletes modellel “, amely minden rekordra megjósolja a jóslást, df készítése nélkül. / túlfeszített beállítás. +1 tőlem.
  • Igen, csak ‘ az, hogy soha nem reméljük, hogy tökéletesek leszünk, ezért nem hívnám a $ 1 – R ^ {2} $ hiányt illeszkedik.

Válasz

A (z) Wikipédiából :

A teszt felméri, hogy a megfigyelt események aránya megegyezik-e a modell populáció alcsoportjaiban a várható eseményekkel. A Hosmer – Lemeshow teszt az alcsoportokat kifejezetten az illesztett kockázati érték deciliseként azonosítja. Azokat a modelleket, amelyeknél az alcsoportok várható és megfigyelt eseményarányai hasonlóak, jól kalibráltnak nevezünk.

Jelentése: miután elkészítette a modellt, hogy pontozza a modelljét “vk, annak keresztellenőrzéséhez, hogy a tényleges eseményarányokhoz hasonlóan van-e elosztva 10 decilis között.

Tehát a hipotézisek

  • $ H_0 $: A tényleges és az előrejelzett események aránya 10-ben hasonló. decilisek
  • $ H_1 $: mot megegyeznek

Ezért ha a p érték kisebb, mint.05, nincsenek megfelelően elosztva, és Önnek finomítania kell a modelljét.

Remélem, hogy ez válaszol néhány kérdésére.

Válasz

Ez meglehetősen vitatott a @FrankHarrell válaszát követően, de a H – L teszt rajongója arra az eredményre következtetne, hogy annak ellenére, hogy másodfokú kifejezések felvétele & néhány † 2. rendű interakció, a modell még mindig megmutatta az alkalmasság jelentős hiányát, & hogy talán egy még összetettebb modell lenne megfelelő. Pontosan az általad megadott modell illeszkedését teszteled, nem a egyszerűbb 1. rendű modell.

† Ez nem egy teljes 2. rendű modell — három van interakciók.

Vélemény, hozzászólás?

Az email címet nem tesszük közzé. A kötelező mezőket * karakterrel jelöltük