Összeállítottam egy zavaros mátrixot, és megpróbáltam pontossági értékeket és geometriai átlagot (g-átlag) kapni. Kiderült, hogy a pontosság 0,83 körül van, míg a g-átlag 0,91 körül van. Lehetséges vagy hibás vagyok a mértékem kiszámításakor?
Válasz
Megjegyzés: Ez a válasz egy usεr11852
hasznos megjegyzés nyomán szerkesztette. 2×2-es összetévesztési mátrix esetén a pontosságot általában a következőképpen határozzák meg:
$$ \ text {Pontosság} = \ frac {TP + TN} {TP + FP + FN + TN} $$
Míg a g-átlag meghatározása a következő: (lásd pl. Espindola & Ebecken 2005)
$$ g_ {PR} = \ sqrt {\ text {Precision} \ times \ text {Recall}} $$
vagy
$$ g_ {SS} = \ sqrt {\ text {Érzékenység} \ times \ text {Specificity}} $$
Hol $ \ text {Precision} = \ frac {TP} {TP + FP} $ , $ \ text {Recall} = \ text {Sensitivity} = \ frac {TP} { TP + FN} $ és $ \ text {Specificity} = \ frac {TN} {TN + FP} $ .
Ezek a t a definíciók eltérő eredményeket adnak, ezért fontos tisztázni, hogy melyiket használják. Ne feledje, hogy $ g_ {PR} $ és $ g_ {SS} $ az én jelöléseim erre a válaszra, és nem általánosan használt jelölés.
$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP) (TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ szor TN}} {\ sqrt {(TP + FN) (TN + FP)}} end {align} $$
Vegyük észre, hogy a TN szerepel a képletekben a pontosság és a $ g_ {SS} $ , de nem a $ g_ {PR} $ esetében.
A pontosság rossz mérce, mert egy teszt / modell meglehetősen rossz lehet, de úgy tűnik, hogy jó pontossággal rendelkezik, ha sok TN van, és miért értelmetlen bizonyos helyzetekben, például információ-visszakeresésnél (ahol a TN-k nem érdekelnek, és még nehezen is meghatározhatók).
Íme néhány példa, ahol a pontosság kisebb, mint $ g_ {PR} $ és / vagy $ g_ {SS} $ :
Tehát a kérdésére válaszolva teljesen valószínű, hogy a pontosság alacsonyabb, mint a g-átlag, de érdemes megbizonyosodni arról, hogy melyik g-átlagot használják.
R. P. Espindola & N. F. F. Ebecken. (2005) Az F-mérték és a G-átlag mutatóinak kiterjesztéséről a többosztályos problémákra. WIT tranzakciók az információs és kommunikációs technológiákról. Vol. 35. 25–34. Oldal.
Megjegyzések
- Ez potenciálisan félrevezető, mert g- Az átlagot nagyon gyakran a visszahívás (érzékenység) és a specifikusság alapján határozzák meg, pl. Kubat & Matwin (1997) ICML. Tudna mutatni egy publikált cikkre, amely meghatározza a g-átlagot a Precision: Recall szempontjából?
- Köszönet @ usεr11852 Frissítettem a választ, hogy tükrözze a két alternatív definíciót.
- Hűvös . Köszönöm. (+1) A válaszától függetlenül gyanítottam, hogy E & E fel fog jönni … Espindola & Ebecken (2005) idézi Kubatot, Hulte & Matwin (1998) a Precision-Recall segítségével a $ g $ -ról. Kubat és mtsai. (1998) készítsen egy lágy definíciót a $ g_ {PR} $ -ról, és idézze Lewis & Gale-t (1994), hogy L & W ( 1994) egyáltalán nem említik a geometriai középértéket. Általában azt gondolom, hogy a $ g_ {PR} $ használata nagyon kétséges. Ha van valami, akkor az egyetlen hivatalos utalás, amelyet megemlítettem a $ g_ {PR} $ vizsgálatakor, az van, hogy van Rijsbergen " információ-visszakeresés " ahol az egész pont nem az, hogy használjuk, és inkább a $ F $ pontszámot használjuk.
- Köszönjük @ usεr11852 a kiváló kontextust. ' egy ideje, hogy ezen a területen dolgoztam (2011), és általában csak az F pontszámot használnám.