Como todos sabemos, existen 2 métodos para evaluar el modelo de regresión logística y están probando muy cosas diferentes
-
Poder predictivo:
Obtenga una estadística que mida qué tan bien puede predecir la variable dependiente basándose en las variables independientes. Los conocidos Pseudo R ^ 2 son McFadden (1974) y Cox y Snell (1989).
-
Estadísticas de bondad de ajuste
La prueba es decir si podría hacerlo aún mejor haciendo que el modelo sea más complicado, que en realidad está probando si hay alguna no linealidad o interacción que se haya perdido.
Implementé ambas pruebas en mi modelo, que agregaron cuadrática e interacción
ya:
>summary(spec_q2) Call: glm(formula = result ~ Top + Right + Left + Bottom + I(Top^2) + I(Left^2) + I(Bottom^2) + Top:Right + Top:Bottom + Right:Left, family = binomial()) Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.955431 8.838584 0.108 0.9139 Top 0.311891 0.189793 1.643 0.1003 Right -1.015460 0.502736 -2.020 0.0434 * Left -0.962143 0.431534 -2.230 0.0258 * Bottom 0.198631 0.157242 1.263 0.2065 I(Top^2) -0.003213 0.002114 -1.520 0.1285 I(Left^2) -0.054258 0.008768 -6.188 6.09e-10 *** I(Bottom^2) 0.003725 0.001782 2.091 0.0366 * Top:Right 0.012290 0.007540 1.630 0.1031 Top:Bottom 0.004536 0.002880 1.575 0.1153 Right:Left -0.044283 0.015983 -2.771 0.0056 ** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 (Dispersion parameter for binomial family taken to be 1) Null deviance: 3350.3 on 2799 degrees of freedom Residual deviance: 1984.6 on 2789 degrees of freedom AIC: 2006.6 y la potencia predicha es la siguiente, el MaFadden es 0.4004, y el valor entre 0.2 ~ 0.4 debe tomarse para presentar un ajuste muy bueno del modelo (Louviere et al (2000), Domenich y McFadden (1975)):
> PseudoR2(spec_q2) McFadden Adj.McFadden Cox.Snell Nagelkerke McKelvey.Zavoina Effron Count Adj.Count 0.4076315 0.4004680 0.3859918 0.5531859 0.6144487 0.4616466 0.8489286 0.4712500 AIC Corrected.AIC 2006.6179010 2006.7125925 y las estadísticas de bondad de ajuste:
> hoslem.test(result,phat,g=8) Hosmer and Lemeshow goodness of fit (GOF) test data: result, phat X-squared = 2800, df = 6, p-value < 2.2e-16 Según tengo entendido, GOF está probando la siguiente hipótesis nula y alternativa:
H0: The models does not need interaction and non-linearity H1: The models needs interaction and non-linearity Dado que mis modelos agregaron interacción, la no linealidad ya y el valor p muestra que H0 debería rechazarse, así que Llegué a la conclusión de que mi modelo necesita interacción, no linealidad de hecho. Espero que mi interpretación sea correcta y gracias por cualquier consejo de antemano, gracias.
Comentarios
- ver también stats.stackexchange.com/questions/169000/ … y stats.stackexchange.com/questions/167483 / …
- Es mejor mirar la tabla subyacente que el valor p para la prueba HL. Y también en los gráficos de los residuos de su modelo. Esto mostrará dónde está el problema.
- Hosmer-Lemeshow se considera obsoleto: stats.stackexchange.com/questions/273966/…
Respuesta
Hay varios problemas que abordar.
- Las medidas $ R ^ 2 $ por sí mismas nunca miden la bondad del ajuste; miden principalmente la discriminación predictiva. La bondad de ajuste solo proviene de comparar $ R ^ 2 $ con $ R ^ 2 $ de un modelo más rico
- La prueba de Hosmer-Lemeshow es para un error de calibración general, no para una falta de ajuste en particular, como efectos cuadráticos. No tiene en cuenta el sobreajuste, es arbitrario en la elección de los contenedores y el método de cálculo de cuantiles y, a menudo, tiene una potencia demasiado baja.
- Por estas razones, ya no se recomienda la prueba de Hosmer-Lemeshow. Hosmer et al tienen uno mejor d.f. prueba de ajuste ómnibus, implementada en la función R
rmspackageresiduals.lrm. - Para su caso, la bondad de ajuste puede evaluarse probando conjuntamente (en una prueba de «fragmentos») la contribución de todos los términos cuadrados y de interacción.
- Pero recomiendo especificar el modelo para que sea más probable que se ajuste al principio (especialmente con respecto a relajar los supuestos de linealidad usando splines de regresión) y usar el bootstrap para estimar el sobreajuste y obtener una curva de calibración suave de alta resolución corregida por sobreajuste para verificar la precisión absoluta. Estos se hacen usando el paquete R
rms.
En el último punto, prefiero la filosofía de que los modelos sean flexibles (según lo limitado por la muestra tamaño, de todos modos) y que nos concentramos más en el «ajuste» que en la «falta de ajuste».
Comentarios
- Solo una cosa: la mayoría de $ R ^ 2 $ las medidas comparan el modelo ajustado con un » modelo perfecto » que obtiene la predicción correcta para cada registro, sin hacer un df / ajuste de sobreajuste. +1 de mí.
- Sí, ‘ es solo que nunca esperamos ser perfectos, así que no llamaría $ 1 – R ^ {2} $ falta de ajuste.
Responder
De Wikipedia :
La prueba evalúa si las tasas de eventos observados coinciden o no con las tasas de eventos esperadas en subgrupos de la población del modelo. La prueba de Hosmer-Lemeshow identifica específicamente subgrupos como los deciles de los valores de riesgo ajustados. Los modelos para los que las tasas de eventos esperados y observados en subgrupos son similares se denominan bien calibrados.
Su significado: después de construir el modelo, calificando su modelo «sy, quiere para verificar si se distribuye en 10 deciles de manera similar a las tasas de eventos reales.
Entonces, las hipótesis serán
- $ H_0 $: las tasas de eventos reales y pronosticadas son similares en 10 deciles
- $ H_1 $: son casi iguales
Por lo tanto, si p -value es menor que.05, no están bien distribuidos y necesita refinar su modelo.
Espero que esto responda a algunas de sus consultas.
Respuesta
Esto es bastante discutible siguiendo la respuesta de @FrankHarrell, pero un fanático de la prueba H – L inferiría de ese resultado que a pesar de su inclusión de términos cuadráticos & algunas † interacciones de segundo orden, el modelo aún mostró una falta significativa de ajuste, & que tal vez sería apropiado un modelo aún más complejo. Está probando el ajuste del modelo que especificó, no del modelo de primer orden más simple.
† No es un modelo completo de segundo orden — hay tres interacciones para continuar.