Loin sekaannusmatriisin ja yritin saada tarkkuusarvoja ja geometrisen keskiarvon (g-keskiarvo). Kävi ilmi, että tarkkuus on noin 0,83, kun g-keskiarvo on noin 0,91. Onko mahdollista tai onko virhe laskettaessa mittojani?

Vastaus

Huomaa: Tämä vastaus on muokattu seuraavan hyödyllisen kommentin perusteella: usεr11852

2×2 sekaannusmatriisin tarkkuus määritellään tyypillisesti seuraavasti:

$$ \ text {Tarkkuus} = \ frac {TP + TN} {TP + FP + FN + TN} $$

Vaikka g-keskiarvo on määritelty seuraavasti (katso esim. Espindola & Ebecken 2005)

$$ g_ {PR} = \ sqrt {\ text {Precision} \ kertaa \ text {Recall}} $$

tai

$$ g_ {SS} = \ sqrt {\ text {Herkkyys} \ kertaa \ text {Tarkkuus}} $$

Missä $ \ teksti {Precision} = \ frac {TP} {TP + FP} $ , $ \ text {Recall} = \ text {Sensitivity} = \ frac {TP} { TP + FN} $ ja $ \ text {Specificity} = \ frac {TN} {TN + FP} $ .

Nämä t wo-määritelmät antavat erilaisia tuloksia, joten on tärkeää olla selvää, mitä käytetään. Huomaa, että $ g_ {PR} $ ja $ g_ {SS} $ ovat merkintöjä tähän vastaukseen ja ei yleisesti käytetty merkintätapa.

$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP) (TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ kertaa TN}} {\ sqrt {(TP + FN) (TN + FP)}} \ end {align} $$

Huomaa, että TN esiintyy tarkkuuden ja $ g_ {SS} $ , mutta ei kohteelle $ g_ {PR} $ .

Tarkkuus on huono mitta, koska testi / malli voi olla melko huono, mutta näyttää olevan hyvällä tarkkuudella, jos TN: itä on paljon, ja miksi se on merkityksetöntä joissakin tilanteissa, esim. tiedonhaku (missä TN: t eivät kiinnosta ja on jopa vaikea määritellä).

Tässä on joitain esimerkkejä, joissa tarkkuus on pienempi kuin $ g_ {PR} $ ja / tai $ g_ {SS} $ :

Joten vastauksena kysymykseesi on täysin uskottavaa, että tarkkuus on pienempi kuin g-keskiarvo, mutta kannattaa varmistaa, mitä g-keskiarvoa käytetään.

R. P. Espindola & N. F. F. Ebecken. (2005) F-mitta- ja G-keskiarvojen mittareiden laajentamisesta usean luokan ongelmiin. WIT-transaktiot tieto- ja viestintätekniikoista. Voi. 35. s. 25–34.

Kommentit

  • Tämä on mahdollisesti harhaanjohtava, koska g- keskiarvo määritellään usein esimerkiksi palauttamisen (herkkyyden) ja spesifisyyden suhteen. Kubat & Matwin (1997) ICML. Voitteko viitata julkaistuun artikkeliin, jossa g-keskiarvo määritellään tarkkuuden: palauttamisen suhteen?
  • Kiitos @ usεr11852 Olen päivittänyt vastauksen vastaamaan kahta vaihtoehtoista määritelmää.
  • Viileä . Kiitos. (+1) Vastauksestasi riippumatta epäilin, että E & E tulee esiin … Espindola & Ebecken (2005) mainitsee Kubatin, Hulte & Matwin (1998) noin $ g $ -merkistä käyttämällä Precision-Recall-toimintoa. Kubat et ai. (1998) määrittele $ g_ {PR} $ pehmeästi ja mainitse Lewis & Gale (1994), onko L & W ( 1994) ei mainita lainkaan geometrista keskiarvoa. Uskon, että $ g_ {PR} $: n käyttö on hyvin kyseenalaista. Jos vain, ainoa virallinen viittaus, jonka olen nähnyt mainittavan $ g_ {PR} $ -tutkimuksessa, on " tiedonhaku ", van Rijsbergen missä koko asia on ei käyttää sitä ja käyttää sen sijaan $ F $ -pisteitä.
  • Kiitos @ usεr11852 erinomaisesta kontekstista. ' on ollut jonkin aikaa siitä, kun työskentelin tällä alalla (2011), ja käytän yleensä vain F-pisteitä.

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *