Jai créé une matrice de confusion et jai essayé dobtenir des valeurs de précision et une moyenne géométrique (g-moyenne). Il sest avéré que la précision est denviron 0,83 tandis que la moyenne g est denviron 0,91. Est-ce possible ou ai-je une erreur lors du calcul de mes mesures?
Réponse
Remarque: Cette réponse a été modifié suite à un commentaire utile de usεr11852
Pour une matrice de confusion 2×2, la précision est généralement définie comme:
$$ \ text {Précision} = \ frac {TP + TN} {TP + FP + FN + TN} $$
Alors que la moyenne g est définie comme (voir, par exemple, Espindola & Ebecken 2005)
$$ g_ {PR} = \ sqrt {\ text {Precision} \ times \ text {Recall}} $$
ou
$$ g_ {SS} = \ sqrt {\ text {Sensibilité} \ times \ text {Spécificité}} $$
Où $ \ text {Precision} = \ frac {TP} {TP + FP} $ , $ \ text {Recall} = \ text {Sensitivity} = \ frac {TP} { TP + FN} $ et $ \ text {Spécificité} = \ frac {TN} {TN + FP} $ .
Ces t Deux définitions donnent des résultats différents, il est donc important de savoir clairement lequel est utilisé. Notez que $ g_ {PR} $ et $ g_ {SS} $ sont mes notes pour cette réponse et notation non couramment utilisée.
$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP) (TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ times TN}} {\ sqrt {(TP + FN) (TN + FP)}} \ end {align} $$
Notez que TN figure dans les formules pour la précision et $ g_ {SS} $ mais pas pour $ g_ {PR} $ .
La précision est une mauvaise mesure, car un test / modèle peut être assez mauvais mais semble avoir une bonne précision sil y a beaucoup de TN, et pourquoi il na pas de sens dans certaines situations, par exemple, la recherche dinformations (où les TN ne sont daucun intérêt et sont même difficiles à définir).
Voici quelques exemples où la précision est inférieure à $ g_ {PR} $ et / ou $ g_ {SS} $ :
Donc, en réponse à votre question, il est tout à fait plausible que la précision soit inférieure à g-mean, mais il vaut la peine de vérifier quelle g-mean est utilisée.
R. P. Espindola & N. F. F. Ebecken. (2005) Sur lextension des mesures F-mesure et G-moyenne aux problèmes multi-classes. Transactions WIT sur les technologies de linformation et de la communication. Vol. 35. pp. 25-34.
Commentaires
- Ceci est potentiellement trompeur car g- La moyenne est très souvent définie en termes de rappel (sensibilité) et de spécificité, par exemple. Kubat & Matwin (1997) ICML. Pouvez-vous nous indiquer un article publié qui définit la moyenne g en termes de précision: rappel?
- Merci @ usεr11852 Jai mis à jour la réponse pour refléter les deux définitions alternatives.
- Cool . Merci. (+1) Quelle que soit votre réponse, je soupçonne que E & E viendrait … Espindola & Ebecken (2005) cite Kubat, Hulte & Matwin (1998) à propos de la moyenne $ g $ en utilisant Precision-Recall. Kubat et coll. (1998) font une définition douce du $ g_ {PR} $ et citent Lewis & Gale (1994) si L & W ( 1994) ne mentionnent pas du tout la moyenne géométrique. En général, je pense que lutilisation de $ g_ {PR} $ est très douteuse. Si quoi que ce soit, la seule référence formelle que jai vue lors de lexamen de $ g_ {PR} $ est " Récupération dinformations " par van Rijsbergen où tout lintérêt nest pas de lutiliser et dutiliser le score $ F $ à la place.
- Merci @ usεr11852 pour lexcellent contexte. Cela ' fait longtemps que je nai pas travaillé dans ce domaine (2011) et je nutiliserais généralement que le score F.