¿Cómo interpretar los valores de la medida F?

No puedo pensar en un significado intuitivo de la medida F, porque es solo una métrica combinada. Lo que es más intuitivo que la medida F, por supuesto, es precisión y recordación.

Pero usando dos valores, a menudo no podemos determinar si un algoritmo es superior a otro. Por ejemplo, si un algoritmo tiene mayor precisión pero menor recuerdo que otro, ¿cómo puede saber qué algoritmo es mejor?

Si tiene un objetivo específico en su mente como «La precisión es el rey. Yo no» «Me importa mucho recordar», entonces no hay problema. Mayor precisión es mejor. Pero si no tiene un objetivo tan sólido, querrá una métrica combinada. Esa es la medida F. Al usarlo, comparará algo de precisión y algo de recuerdo.

La curva ROC a menudo se dibuja indicando la medida F. Puede encontrar este artículo interesante ya que contiene una explicación sobre varias medidas, incluidas las curvas ROC: http://binf.gmu.edu/mmasso/ROC101.pdf

La importancia de la puntuación F1 es diferente según el escenario. Supongamos que la variable de destino es una etiqueta binaria.

• Clase equilibrada: en esta situación, la puntuación F1 se puede ignorar efectivamente, la tasa de clasificación errónea es clave.
• Clase desequilibrada, pero ambas clases son importantes: si la distribución de clases está muy sesgada (como 80:20 o 90:10), entonces un clasificador puede obtener una baja tasa de clasificación errónea simplemente eligiendo la clase mayoritaria. En tal situación, elegiría el clasificador que obtenga puntuaciones altas de F1 en ambas clases, así como una baja tasa de clasificación errónea. Un clasificador que obtiene puntuaciones F1 bajas debe pasarse por alto.
• Clase desequilibrada, pero una clase es más importante que la otra. Por ejemplo en la detección de fraudes, es más importante etiquetar correctamente una instancia como fraudulenta, en lugar de etiquetar la no fraudulenta. En este caso, elegiría el clasificador que tenga una buena puntuación F1 solo en la clase importante . Recuerde que la puntuación F1 está disponible por clase.

La medida F tiene un significado intuitivo. Le dice cuán preciso es su clasificador (cuántas instancias clasifica correctamente), así como cuán robusto es (no pierde una cantidad significativa de instancias).

Con alta precisión pero poca recuperación, su clasificador es extremadamente preciso, pero pierde una cantidad significativa de instancias que son difíciles de clasificar. Esto no es muy útil.

Eche un vistazo a este histograma. Ignora su propósito original.

Hacia la derecha, obtienes alta precisión, pero poca recuperación. Si solo selecciono instancias con una puntuación superior a 0.9, mis instancias clasificadas serán extremadamente precisas, sin embargo, habré perdido una cantidad significativa de instancias. Los experimentos indican que el punto óptimo aquí es alrededor de 0,76, donde la medida F es 0,87.

Comentarios

• El último párrafo es engañoso. No existe el concepto de una puntuación » buena o mala » sin el contexto de dónde estamos aplicando esto. En ciertos entornos, tal vez el 60% sea el estado del arte, en otros entornos el 95% podría ser inaceptablemente bajo.

La medida F es la media armónica de su precisión y recuperación. En la mayoría de las situaciones, existe un compromiso entre precisión y recuperación. Si optimiza su clasificador para aumentar uno y desfavorecer al otro, la media armónica disminuye rápidamente. Sin embargo, es mayor cuando la precisión y la recuperación son iguales.

Dadas las medidas F de 0.4 y 0.8 para sus clasificadores, puede esperar que estos sean los valores máximos alcanzados al sopesar la precisión contra la recuperación.

Para referencia visual, eche un vistazo a esta figura de Wikipedia :

La medida F es H , A y B son recuperación y precisión. Puede aumentar uno, pero luego el otro disminuye.

Comentarios

• Encontré el » cruzado Escaleras » visualización para ser un poco más sencilla; para mí, hace que la igualdad de A = B resulte en la mayor H más intuitiva

Con precisión en el eje y y recordar en el eje x, la pendiente de la curva de nivel $ F _ {\ beta} $ en ( 1, 1) es $ -1 / \ beta ^ 2 $.

Dado $$ P = \ frac {TP} {TP + FP} $$ y $$ R = \ frac {TP} { TP + FN} $$, sea $ \ alpha $ la relación entre el costo de los falsos negativos y los falsos positivos. Entonces el costo total del error es proporcional a $$ \ alpha \ frac {1-R} {R} + \ frac {1-P} {P}. $$ Entonces, la pendiente de la curva de nivel en (1, 1) es $ – \ alpha $. Por lo tanto, para buenos modelos, usar $ F _ {\ beta} $ implica que considera que los falsos negativos $ \ beta ^ 2 $ son más costosos que los falsos positivos.

La fórmula para la medida F (F1, con beta = 1) es la misma que la fórmula que da la resistencia equivalente compuesta por dos resistencias colocadas en paralelo en física (olvidándonos del factor 2).

Esto podría darte una posible interpretación, y puedes pensar en resistencias tanto electrónicas como térmicas. Esta analogía definiría la medida F como la resistencia equivalente formada por la sensibilidad y la precisión colocadas en paralelo.

Para la medida F, el máximo posible es 1, y pierde resistencia tan pronto como uno de los dos pierde resistencia también (es decir, obtenga un valor por debajo de 1). Si quieres comprender mejor esta cantidad y su dinámica, piensa en el fenómeno físico. Por ejemplo, parece que la medida F < = max (sensibilidad, precisión).

El significado intuitivo más cercano de la puntuación f1 se percibe como la media del recuerdo y la precisión. Vamos a aclararlo:

En una tarea de clasificación, es posible que esté planeando construir un clasificador con alta precisión Y recordar. Por ejemplo, un clasificador que indica si una persona es honesta o no.

Para mayor precisión, normalmente puedes decir con precisión cuántos personas en un grupo determinado. En este caso, cuando te preocupas por la alta precisión, asumes que puedes clasificar erróneamente a una persona mentirosa como honesta, pero no a menudo. En otras palabras, aquí estás tratando de identificar al mentiroso de honesto como un grupo completo .

Sin embargo, para recordar, estará realmente preocupado si cree que una persona mentirosa es honesta. Para usted, esto será una gran pérdida y un gran error y no querrá hacerlo. otra vez. Además, está bien si clasificas a alguien honesto como mentiroso, pero tu modelo nunca debe (o en su mayoría no lo hace) reclamar a una persona mentirosa como honesta. En otras palabras, aquí te estás enfocando en una clase específica y estás tratando de no hacerlo. comete un error al respecto.

Ahora, tomemos el caso en el que desea que su modelo (1) identifique con precisión honesto de un mentiroso (precisión) (2) identifique a cada persona de ambas clases (recuerde). Lo que significa que seleccionará el modelo que funcionará bien en ambas métricas.

La decisión de selección del modelo intentará evaluar cada modelo en función de la media de las dos métricas. La puntuación F es la mejor que pueda describir esto. Echemos un vistazo a la fórmula:

$$ Recall: \ text {r} = \ frac {tp} {tp + fn} $$

$$ Precisión: \ text {p} = \ frac {tp} {tp + fp} $$

$$ Fscore: \ text {f1} = \ frac {2} {\ frac {1} {r} + \ frac {1} {p }} $$

Como puede ver, el mayor recuerdo Y precisión, mayor será la puntuación F.

Puede escribir la ecuación de medida F http://e.hiphotos.baidu.com/baike/s%3D118/sign=e8083e4396dda144de0968b38ab6d009/f2deb48f8c5494ee14c095492cf5e0fe98257e84.jpg de otra manera, como $$ F_ \ beta = 1 / ((\ beta ^ 2 / (\ beta ^ 2 + 1)) 1 / r + (1 / (\ beta ^ 2 + 1)) 1 / p) $$ entonces, cuando $ β ^ 2 < 1 $, $ p $ debería ser más importante (o, más grande, para obtener un $ F_ \ beta $ más alto).

Sabiendo que la puntuación F1 es una media armónica de precisión y recuperación, a continuación se muestra una un poco breve sobre ellos.

Yo diría que la recuperación se trata más de falsos negativos. Es decir, tener una recuperación más alta significa que hay menos FALSOS NEGATIVOS .

$$ \ text {Recall} = \ frac {tp} {tp + fn} $$

Tanto como significa menos FN o Zero FN, la predicción de su modelo es realmente buena.

Mientras que tener una precisión más alta significa, hay menos FALSOS POSITIVOS $$ \ text {Precision} = \ frac {tp} {tp + fp} $$

Lo mismo aquí , Menos o cero falsos positivos significa que la predicción del modelo es realmente buena.