Vytvořil jsem matici zmatku a pokoušel se získat hodnoty přesnosti a geometrický průměr (g-mean). Ukázalo se, že přesnost je kolem 0,83, zatímco g-průměr je kolem 0,91. Je to možné, nebo mám při výpočtu měřítek chybu?
Odpověď
Poznámka: Tato odpověď byla upraveno na základě užitečného komentáře od usεr11852
V případě matice matice 2×2 je přesnost obvykle definována jako:
$$ \ text {Accuracy} = \ frac {TP + TN} {TP + FP + FN + TN} $$
Zatímco g-mean je definován jako (viz např. Espindola & Ebecken 2005)
$$ g_ {PR} = \ sqrt {\ text {Precision} \ times \ text {Recall}} $$
nebo
$$ g_ {SS} = \ sqrt {\ text {Citlivost} \ krát \ text {Specifičnost}} $$
Kde $ \ text {Precision} = \ frac {TP} {TP + FP} $ , $ \ text {Recall} = \ text {Sensitivity} = \ frac {TP} { TP + FN} $ a $ \ text {Specificity} = \ frac {TN} {TN + FP} $ .
Tyto t dvě definice dávají různé výsledky, takže je důležité si ujasnit, který se používá. Všimněte si, že $ g_ {PR} $ a $ g_ {SS} $ jsou mé notace pro tuto odpověď a běžně nepoužívaná notace.
$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP) (TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ krát TN}} {\ sqrt {(TP + FN) (TN + FP)}} \ end {align} $$
Všimněte si, že funkce TN je ve vzorcích pro přesnost a $ g_ {SS} $ , ale ne pro $ g_ {PR} $ .
Přesnost je špatná míra, protože test / model může být docela špatný, ale zdá se, že má dobrou přesnost, pokud existuje spousta TN, a proč je to v některých situacích nesmyslné, např. vyhledávání informací (kde TN nejsou zajímavé a dokonce je obtížné je definovat).
Zde je několik příkladů, kdy je přesnost menší než $ g_ {PR} $ a / nebo $ g_ {SS} $ :
Takže v odpovědi na vaši otázku je zcela pravděpodobné, že přesnost bude nižší než g-mean, ale stojí za to se ujistit, který g-mean se používá.
R. P. Espindola & N. F. F. Ebecken. (2005) O rozšíření metrik F-měření a G-průměru na problémy více tříd. Transakce WIT o informačních a komunikačních technologiích. Sv. 35. s. 25-34.
Komentáře
- To je potenciálně zavádějící, protože g- průměr je velmi často definován v podmínkách Recall (Citlivost) a Specifičnosti, např. Kubat & Matwin (1997) ICML. Můžete prosím poukázat na publikovaný článek, který definuje g-mean ve smyslu Precision: Recall?
- Díky @ usεr11852 Odpověď jsem aktualizoval, aby odrážel dvě alternativní definice.
- Super . Dík. (+1) Bez ohledu na vaši odpověď jsem měl podezření, že E & E přijde … Espindola & Ebecken (2005) uvádí Kubata, Hulte & Matwin (1998) o průměru $ g $ pomocí Precision-Recall. Kubat a kol. (1998) provedou měkkou definici $ g_ {PR} $ a citují Lewis & Gale (1994), zda L & W ( 1994) vůbec nezmiňují geometrický průměr. Obecně si myslím, že použití $ g_ {PR} $ je velmi pochybné. Jediný formální odkaz, který jsem viděl při zkoumání $ g_ {PR} $, je " načítání informací " od van Rijsbergen kde celý bod není použít a místo toho použít skóre $ F $.
- Díky @ usεr11852 za vynikající kontext. ' Je to nějaký čas, co jsem pracoval v této oblasti (2011) a obecně bych použil pouze F skóre.