Creé una matriz de confusión y traté de obtener valores de precisión y media geométrica (g-mean). Resultó que la precisión es de alrededor de 0,83 mientras que la media g es de alrededor de 0,91. ¿Es posible o tengo un error al calcular mis medidas?
Respuesta
Nota: Esta respuesta ha sido editado siguiendo un comentario útil de usεr11852
Para una matriz de confusión 2×2, la precisión se define típicamente como:
$$ \ text {Precisión} = \ frac {TP + TN} {TP + FP + FN + TN} $$
Mientras que la media de g se define como (ver, por ejemplo, Espindola & Ebecken 2005)
$$ g_ {PR} = \ sqrt {\ text {Precision} \ times \ text {Recall}} $$
o
$$ g_ {SS} = \ sqrt {\ text {Sensibilidad} \ times \ text {Especificidad}} $$
Donde $ \ text {Precision} = \ frac {TP} {TP + FP} $ , $ \ text {Recall} = \ text {Sensibilidad} = \ frac {TP} { TP + FN} $ y $ \ text {Especificidad} = \ frac {TN} {TN + FP} $ .
Estos t Dos definiciones dan resultados diferentes, por lo que es importante tener claro cuál se está utilizando. Tenga en cuenta que $ g_ {PR} $ y $ g_ {SS} $ son mis notaciones para esta respuesta y notación no de uso común.
$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP) (TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ times TN}} {\ sqrt {(TP + FN) (TN + FP)}} \ end {align} $$
Observe que TN presenta en las fórmulas la precisión y $ g_ {SS} $ pero no para $ g_ {PR} $ .
La precisión es una mala medida, porque una prueba / modelo puede ser bastante mala pero parece tener buena precisión si hay muchas TN, y por qué no tiene sentido en algunas situaciones, por ejemplo, recuperación de información (donde las TN no son de interés e incluso son difíciles de definir).
A continuación, se muestran algunos ejemplos en los que la precisión es inferior a $ g_ {PR} $ y / o $ g_ {SS} $ :
Entonces, en respuesta a su pregunta, es completamente plausible que la precisión sea menor que g-mean, pero vale la pena asegurarse de qué g-mean se está utilizando.
R. P. Espindola & N. F. F. Ebecken. (2005) Sobre la extensión de las métricas de la medida F y la media G a problemas de varias clases. Transacciones WIT sobre tecnologías de la información y la comunicación. Vol. 35. pp. 25-34.
Comentarios
- Esto es potencialmente engañoso porque g- media se define muy a menudo en términos de recuerdo (sensibilidad) y especificidad, por ejemplo. Kubat & Matwin (1997) ICML. ¿Puede señalar un artículo publicado que defina g-mean en términos de precisión: recuerdo?
- Gracias @ usεr11852 He actualizado la respuesta para reflejar las dos definiciones alternativas.
- Genial . Gracias. (+1) Independientemente de su respuesta, sospechaba que E & E aparecería … Espindola & Ebecken (2005) cita a Kubat, Hulte & Matwin (1998) sobre la media de $ g $ usando Precision-Recall. Kubat y col. (1998) hacen una definición suave de $ g_ {PR} $ y citan a Lewis & Gale (1994) si L & W ( 1994) no mencionan en absoluto la media geométrica. En general, creo que el uso de $ g_ {PR} $ es muy dudoso. En todo caso, la única referencia formal que he visto mencionada al examinar $ g_ {PR} $ es " Recuperación de información " por van Rijsbergen donde el punto es no usarlo y usar el puntaje $ F $ en su lugar.
- Gracias @ usεr11852 por un contexto excelente. ' ha pasado un tiempo desde que trabajé en este campo (2011) y generalmente solo usaría la puntuación F.