Vytvořil jsem matici zmatku a pokoušel se získat hodnoty přesnosti a geometrický průměr (g-mean). Ukázalo se, že přesnost je kolem 0,83, zatímco g-průměr je kolem 0,91. Je to možné, nebo mám při výpočtu měřítek chybu?

Odpověď

Poznámka: Tato odpověď byla upraveno na základě užitečného komentáře od usεr11852

V případě matice matice 2×2 je přesnost obvykle definována jako:

$$ \ text {Accuracy} = \ frac {TP + TN} {TP + FP + FN + TN} $$

Zatímco g-mean je definován jako (viz např. Espindola & Ebecken 2005)

$$ g_ {PR} = \ sqrt {\ text {Precision} \ times \ text {Recall}} $$

nebo

$$ g_ {SS} = \ sqrt {\ text {Citlivost} \ krát \ text {Specifičnost}} $$

Kde $ \ text {Precision} = \ frac {TP} {TP + FP} $ , $ \ text {Recall} = \ text {Sensitivity} = \ frac {TP} { TP + FN} $ a $ \ text {Specificity} = \ frac {TN} {TN + FP} $ .

Tyto t dvě definice dávají různé výsledky, takže je důležité si ujasnit, který se používá. Všimněte si, že $ g_ {PR} $ a $ g_ {SS} $ jsou mé notace pro tuto odpověď a běžně nepoužívaná notace.

$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP) (TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ krát TN}} {\ sqrt {(TP + FN) (TN + FP)}} \ end {align} $$

Všimněte si, že funkce TN je ve vzorcích pro přesnost a $ g_ {SS} $ , ale ne pro $ g_ {PR} $ .

Přesnost je špatná míra, protože test / model může být docela špatný, ale zdá se, že má dobrou přesnost, pokud existuje spousta TN, a proč je to v některých situacích nesmyslné, např. vyhledávání informací (kde TN nejsou zajímavé a dokonce je obtížné je definovat).

Zde je několik příkladů, kdy je přesnost menší než $ g_ {PR} $ a / nebo $ g_ {SS} $ :

Takže v odpovědi na vaši otázku je zcela pravděpodobné, že přesnost bude nižší než g-mean, ale stojí za to se ujistit, který g-mean se používá.

R. P. Espindola & N. F. F. Ebecken. (2005) O rozšíření metrik F-měření a G-průměru na problémy více tříd. Transakce WIT o informačních a komunikačních technologiích. Sv. 35. s. 25-34.

Komentáře

  • To je potenciálně zavádějící, protože g- průměr je velmi často definován v podmínkách Recall (Citlivost) a Specifičnosti, např. Kubat & Matwin (1997) ICML. Můžete prosím poukázat na publikovaný článek, který definuje g-mean ve smyslu Precision: Recall?
  • Díky @ usεr11852 Odpověď jsem aktualizoval, aby odrážel dvě alternativní definice.
  • Super . Dík. (+1) Bez ohledu na vaši odpověď jsem měl podezření, že E & E přijde … Espindola & Ebecken (2005) uvádí Kubata, Hulte & Matwin (1998) o průměru $ g $ pomocí Precision-Recall. Kubat a kol. (1998) provedou měkkou definici $ g_ {PR} $ a citují Lewis & Gale (1994), zda L & W ( 1994) vůbec nezmiňují geometrický průměr. Obecně si myslím, že použití $ g_ {PR} $ je velmi pochybné. Jediný formální odkaz, který jsem viděl při zkoumání $ g_ {PR} $, je " načítání informací " od van Rijsbergen kde celý bod není použít a místo toho použít skóre $ F $.
  • Díky @ usεr11852 za vynikající kontext. ' Je to nějaký čas, co jsem pracoval v této oblasti (2011) a obecně bych použil pouze F skóre.

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *