Wie wir alle wissen, gibt es zwei Methoden zur Bewertung des logistischen Regressionsmodells, die sehr getestet werden verschiedene Dinge
-
Vorhersagekraft:
Erhalten Sie eine Statistik, die misst, wie gut Sie die abhängige Variable basierend auf den unabhängigen Variablen vorhersagen können. Die bekannten Pseudo R ^ 2 sind McFadden (1974) und Cox und Snell (1989).
-
Statistik der Anpassungsgüte
Der Test sagt, ob Sie es noch besser machen könnten, indem Sie das Modell komplizierter machen. Dabei wird tatsächlich getestet, ob es Nichtlinearitäten oder Interaktionen gibt, die Sie übersehen haben.
Ich habe implementiert Beide Tests an meinem Modell, bei denen bereits Quadrat und Interaktion hinzugefügt wurden
:
>summary(spec_q2) Call: glm(formula = result ~ Top + Right + Left + Bottom + I(Top^2) + I(Left^2) + I(Bottom^2) + Top:Right + Top:Bottom + Right:Left, family = binomial()) Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.955431 8.838584 0.108 0.9139 Top 0.311891 0.189793 1.643 0.1003 Right -1.015460 0.502736 -2.020 0.0434 * Left -0.962143 0.431534 -2.230 0.0258 * Bottom 0.198631 0.157242 1.263 0.2065 I(Top^2) -0.003213 0.002114 -1.520 0.1285 I(Left^2) -0.054258 0.008768 -6.188 6.09e-10 *** I(Bottom^2) 0.003725 0.001782 2.091 0.0366 * Top:Right 0.012290 0.007540 1.630 0.1031 Top:Bottom 0.004536 0.002880 1.575 0.1153 Right:Left -0.044283 0.015983 -2.771 0.0056 ** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 (Dispersion parameter for binomial family taken to be 1) Null deviance: 3350.3 on 2799 degrees of freedom Residual deviance: 1984.6 on 2789 degrees of freedom AIC: 2006.6 und die vorhergesagte Leistung ist wie folgt, der MaFadden beträgt 0,4004 und Der Wert zwischen 0,2 und 0,4 sollte verwendet werden, um eine sehr gute Anpassung des Modells darzustellen (Louviere et al. (2000), Domenich und McFadden (1975)):
> PseudoR2(spec_q2) McFadden Adj.McFadden Cox.Snell Nagelkerke McKelvey.Zavoina Effron Count Adj.Count 0.4076315 0.4004680 0.3859918 0.5531859 0.6144487 0.4616466 0.8489286 0.4712500 AIC Corrected.AIC 2006.6179010 2006.7125925 und die Statistik der Anpassungsgüte:
> hoslem.test(result,phat,g=8) Hosmer and Lemeshow goodness of fit (GOF) test data: result, phat X-squared = 2800, df = 6, p-value < 2.2e-16 Nach meinem Verständnis testet GOF tatsächlich die folgende Null- und Alternativhypothese:
H0: The models does not need interaction and non-linearity H1: The models needs interaction and non-linearity Da meine Modelle Interaktion hinzugefügt haben, sollte die Nichtlinearität bereits und der p-Wert H0 zurückgewiesen werden, also ich kam zu dem Schluss, dass mein Modell Interaktion braucht, in der Tat Nichtlinearität. Hoffe, meine Interpretation ist korrekt und danke für jeden Rat im Voraus, danke.
Kommentare
- siehe auch stats.stackexchange.com/questions/169000/ … und stats.stackexchange.com/questions/167483 / …
- Sehen Sie sich die zugrunde liegende Tabelle besser an als den p-Wert für den HL-Test. Und auch bei Plots der Residuen aus Ihrem Modell. Dies zeigt, wo das Problem liegt.
- Hosmer-Lemeshow gilt als veraltet: stats.stackexchange.com/questions/273966/…
Antwort
Es gibt verschiedene Probleme, die behoben werden müssen.
- $ R ^ 2 $ misst an sich niemals die Anpassungsgüte; Sie messen hauptsächlich prädiktive Diskriminierung. Die Anpassungsgüte ergibt sich nur aus dem Vergleich von $ R ^ 2 $ mit dem $ R ^ 2 $ eines reicheren Modells.
- Der Hosmer-Lemeshow-Test bezieht sich auf den Gesamtkalibrierungsfehler und nicht auf einen bestimmten Mangel an Anpassung, wie z quadratische Effekte. Die Überanpassung wird nicht richtig berücksichtigt, ist für die Auswahl der Bins und die Methode zur Berechnung der Quantile willkürlich und weist häufig eine zu geringe Leistung auf.
- Aus diesen Gründen wird der Hosmer-Lemeshow-Test nicht mehr empfohlen. Hosmer et al. Haben eine bessere d.f. Omnibus-Anpassungstest, implementiert im R
rms-Paketresiduals.lrm-Funktion. - Für Ihren Fall kann die Anpassungsgüte durch gemeinsames Testen (in einem „Chunk“ -Test) des Beitrags aller Quadrat- und Interaktionsterme bewertet werden.
- Ich empfehle jedoch, das Modell anzugeben, um die Wahrscheinlichkeit zu erhöhen, dass es im Voraus passt (insbesondere im Hinblick auf Lockerung der Linearitätsannahmen unter Verwendung von Regressionssplines) und Verwendung des Bootstraps zur Schätzung der Überanpassung und zur Erstellung einer überanpassungskorrigierten hochauflösenden glatten Kalibrierungskurve zur Überprüfung der absoluten Genauigkeit. Diese werden mit dem Paket R
rmsdurchgeführt.
Zum letzten Punkt bevorzuge ich die Philosophie, dass Modelle flexibel sind (wie durch das Beispiel begrenzt) Größe jedenfalls) und dass wir uns mehr auf „Passform“ als auf „mangelnde Passform“ konzentrieren.
Kommentare
- Nur eine Sache: die meisten $ R. ^ 2 $ -Maßnahmen vergleichen das angepasste Modell mit einem “ perfekten Modell „, das die Vorhersage für jeden Datensatz richtig macht, ohne einen df zu erstellen / Überanpassung. +1 von mir.
- Ja, es ist ‚ nur, dass wir nie hoffen, perfekt zu sein, also würde ich nicht $ 1 – R ^ {2} $ Mangel nennen of fit.
Antwort
Von Wikipedia :
Der Test bewertet, ob die beobachteten Ereignisraten mit den erwarteten Ereignisraten in Untergruppen der Modellpopulation übereinstimmen oder nicht. Der Hosmer-Lemeshow-Test identifiziert Untergruppen spezifisch als Dezile angepasster Risikowerte. Modelle, für die erwartete und beobachtete Ereignisraten in Untergruppen ähnlich sind, werden als gut kalibriert bezeichnet.
Bedeutung: Nachdem Sie ein Modell erstellt haben, das Ihr Modell bewertet, möchten Sie um zu überprüfen, ob es auf 10 Dezile verteilt ist, ähnlich den tatsächlichen Ereignisraten.
Die Hypothesen lauten also
- $ H_0 $: Die tatsächlichen und vorhergesagten Ereignisraten sind auf 10 ähnlich Dezile
- $ H_1 $: Sie sind mot gleich
Wenn also der p -Wert kleiner als ist.05, sie sind nicht gut verteilt und Sie müssen Ihr Modell verfeinern.
Ich hoffe, dies beantwortet einige Ihrer Fragen.
Antwort
Dies ist nach der Antwort von @FrankHarrell ziemlich umstritten, aber ein Fan des H – L-Tests würde aus diesem Ergebnis schließen, dass trotz Ihre Einbeziehung quadratischer Begriffe & einige † Interaktionen 2. Ordnung, das Modell zeigte immer noch einen signifikanten Mangel an Anpassung, &, dass möglicherweise ein noch komplexeres Modell angemessen wäre. Sie testen die Anpassung genau des von Ihnen angegebenen Modells, nicht des einfacheres Modell 1. Ordnung.
† Es ist kein vollständiges Modell 2. Ordnung — es gibt drei Interaktionen zu gehen.