Jag skapade förvirringsmatris och försökte få noggrannhetsvärden och geometriskt medelvärde (g-medelvärde). Det visade sig att noggrannheten är cirka 0,83 medan g-medelvärdet är cirka 0,91. Är det möjligt eller har jag ett misstag när jag beräknar mina mått?
Svar
Obs! Det här svaret har redigerad efter en hjälpsam kommentar från usεr11852
För en 2×2-förvirringsmatris definieras noggrannheten typiskt som:
$$ \ text {Accuracy} = \ frac {TP + TN} {TP + FP + FN + TN} $$
Medan g-medelvärdet definieras som (se t.ex. Espindola & Ebecken 2005)
$$ g_ {PR} = \ sqrt {\ text {Precision} \ times \ text {Recall}} $$
eller
$$ g_ {SS} = \ sqrt {\ text {Sensitivity} \ times \ text {Specificity}} $$
Där $ \ text {Precision} = \ frac {TP} {TP + FP} $ , $ \ text {Recall} = \ text {Sensitivity} = \ frac {TP} { TP + FN} $ och $ \ text {Specificity} = \ frac {TN} {TN + FP} $ .
Dessa t wo definitioner ger olika resultat så det är viktigt att vara tydlig vilken som används. Observera att $ g_ {PR} $ och $ g_ {SS} $ är mina anmärkningar för detta svar och inte vanlig notation.
$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP) (TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ times TN}} {\ sqrt {(TP + FN) (TN + FP)}} \ end {align} $$
Observera att TN har i formlerna för noggrannhet och $ g_ {SS} $ men inte för $ g_ {PR} $ .
Noggrannhet är en dålig åtgärd, eftersom ett test / modell kan vara ganska dåligt men verkar ha god noggrannhet om det finns många TN: er och varför det är meningslöst i vissa situationer, t.ex. informationshämtning (där TN: er inte är intressanta och till och med svåra att definiera).
Här är några exempel där noggrannheten är mindre än $ g_ {PR} $ och / eller $ g_ {SS} $ :
Så, som svar på din fråga är det helt troligt att noggrannheten är lägre än g-medelvärde, men det är värt att se till vilket g-medelvärde som används.
R. P. Espindola & N. F. F. Ebecken. (2005) Om att utvidga F-mått och G-medelvärden till flerklassproblem. WIT-transaktioner om informations- och kommunikationsteknik. Vol. 35. s. 25-34.
Kommentarer
- Detta är potentiellt missvisande eftersom g- medelvärde definieras ofta i termer av återkallelse (känslighet) och specificitet, t.ex. Kubat & Matwin (1997) ICML. Kan du snälla peka på ett publicerat dokument som definierar g-medel i termer av Precision: Recall?
- Tack @ usεr11852 Jag har uppdaterat svaret för att återspegla de två alternativa definitionerna.
- Cool . Tack. (+1) Oavsett ditt svar misstänkte jag att E & E skulle komma upp … Espindola & Ebecken (2005) citerar Kubat, Hulte & Matwin (1998) om $ g $ -medlet med Precision-Recall. Kubat et al. (1998) gör en mjuk definition av $ g_ {PR} $ och citerar Lewis & Gale (1994) om L & W ( 1994) nämner inte det geometriska medelvärdet alls. I allmänhet tycker jag att användningen av $ g_ {PR} $ är väldigt tveksam. Om något är den enda formella referens jag har sett nämnts vid granskningen av $ g_ {PR} $ är " Informationssökning " av van Rijsbergen där hela poängen är inte att använda den och använda $ F $-poängen istället.
- Tack @ usεr11852 för utmärkt sammanhang. Det ' har gått ett tag sedan jag arbetade inom detta område (2011) och jag skulle i allmänhet bara använda F-poäng.