Ho creato una matrice di confusione e ho cercato di ottenere valori di precisione e media geometrica (g-mean). Si è scoperto che la precisione è di circa 0,83 mentre la media g è di circa 0,91. È possibile o ho un errore durante il calcolo delle mie misure?
Risposta
Nota: questa risposta è stata modificato in seguito a un commento utile da usεr11852
Per una matrice di confusione 2×2, la precisione è generalmente definita come:
$$ \ text {Accuracy} = \ frac {TP + TN} {TP + FP + FN + TN} $$
Sebbene la g-mean sia definita come (vedere, ad esempio, Espindola & Ebecken 2005)
$$ g_ {PR} = \ sqrt {\ text {Precisione} \ times \ text {Recall}} $$
o
$$ g_ {SS} = \ sqrt {\ text {Sensitivity} \ times \ text {Specificity}} $$
Dove $ \ text {Precision} = \ frac {TP} {TP + FP} $ , $ \ text {Recall} = \ text {Sensitivity} = \ frac {TP} { TP + FN} $ e $ \ text {Specificity} = \ frac {TN} {TN + FP} $ .
Questi t due definizioni danno risultati diversi, quindi è importante essere chiari quale viene utilizzato. Tieni presente che $ g_ {PR} $ e $ g_ {SS} $ sono le mie notazioni per questa risposta e notazione non comunemente usata.
$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP) (TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ times TN}} {\ sqrt {(TP + FN) (TN + FP)}} \ end {align} $$
Notare che TN è presente nelle formule per laccuratezza e $ g_ {SS} $ ma non per $ g_ {PR} $ .
La precisione è una misura sbagliata, perché un test / modello può essere piuttosto scadente ma sembra avere una buona precisione se ci sono molti TN e perché è privo di significato in alcune situazioni, ad esempio, il recupero delle informazioni (dove i TN non sono di interesse e sono persino difficili da definire).
Di seguito sono riportati alcuni esempi in cui la precisione è inferiore a $ g_ {PR} $ e / o $ g_ {SS} $ :
Quindi, in risposta alla tua domanda, è del tutto plausibile che laccuratezza sia inferiore a g-mean, ma vale la pena accertarsi di quale g-mean viene utilizzato.
R. P. Espindola & N. F. F. Ebecken. (2005) Sullestensione delle metriche di misura F e media G a problemi multi-classe. Transazioni WIT sulle tecnologie dellinformazione e della comunicazione. Vol. 35. pp. 25-34.
Commenti
- Questo è potenzialmente fuorviante perché g- la media è molto spesso definita in termini di Richiamo (Sensibilità) e Specificità, ad es. Kubat & Matwin (1997) ICML. Puoi indicare un documento pubblicato che definisce g-mean in termini di Precision: Recall?
- Grazie @ usεr11852 Ho aggiornato la risposta per riflettere le due definizioni alternative.
- Fantastico . Grazie. (+1) Indipendentemente dalla tua risposta, sospettavo che E & E sarebbe venuto fuori … Espindola & Ebecken (2005) cita Kubat, Hulte & Matwin (1998) a proposito della $ g $ -mean utilizzando Precision-Recall. Kubat et al. (1998) fanno una definizione soft di $ g_ {PR} $ e citano Lewis & Gale (1994) se L & W ( 1994) non menzionano affatto la media geometrica. In generale, penso che luso di $ g_ {PR} $ sia molto dubbio. Se non altro, lunico riferimento formale che ho visto menzionato durante lesame di $ g_ {PR} $ è " Information Retrieval " di van Rijsbergen dove il punto è non usarlo e utilizzare invece il punteggio $ F $.
- Grazie @ usεr11852 per leccellente contesto. ' è passato un po di tempo da quando ho lavorato in questo campo (2011) e generalmente userei solo il punteggio F.