Loin sekaannusmatriisin ja yritin saada tarkkuusarvoja ja geometrisen keskiarvon (g-keskiarvo). Kävi ilmi, että tarkkuus on noin 0,83, kun g-keskiarvo on noin 0,91. Onko mahdollista tai onko virhe laskettaessa mittojani?
Vastaus
Huomaa: Tämä vastaus on muokattu seuraavan hyödyllisen kommentin perusteella: usεr11852
2×2 sekaannusmatriisin tarkkuus määritellään tyypillisesti seuraavasti:
$$ \ text {Tarkkuus} = \ frac {TP + TN} {TP + FP + FN + TN} $$
Vaikka g-keskiarvo on määritelty seuraavasti (katso esim. Espindola & Ebecken 2005)
$$ g_ {PR} = \ sqrt {\ text {Precision} \ kertaa \ text {Recall}} $$
tai
$$ g_ {SS} = \ sqrt {\ text {Herkkyys} \ kertaa \ text {Tarkkuus}} $$
Missä $ \ teksti {Precision} = \ frac {TP} {TP + FP} $ , $ \ text {Recall} = \ text {Sensitivity} = \ frac {TP} { TP + FN} $ ja $ \ text {Specificity} = \ frac {TN} {TN + FP} $ .
Nämä t wo-määritelmät antavat erilaisia tuloksia, joten on tärkeää olla selvää, mitä käytetään. Huomaa, että $ g_ {PR} $ ja $ g_ {SS} $ ovat merkintöjä tähän vastaukseen ja ei yleisesti käytetty merkintätapa.
$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP) (TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ kertaa TN}} {\ sqrt {(TP + FN) (TN + FP)}} \ end {align} $$
Huomaa, että TN esiintyy tarkkuuden ja $ g_ {SS} $ , mutta ei kohteelle $ g_ {PR} $ .
Tarkkuus on huono mitta, koska testi / malli voi olla melko huono, mutta näyttää olevan hyvällä tarkkuudella, jos TN: itä on paljon, ja miksi se on merkityksetöntä joissakin tilanteissa, esim. tiedonhaku (missä TN: t eivät kiinnosta ja on jopa vaikea määritellä).
Tässä on joitain esimerkkejä, joissa tarkkuus on pienempi kuin $ g_ {PR} $ ja / tai $ g_ {SS} $ :
Joten vastauksena kysymykseesi on täysin uskottavaa, että tarkkuus on pienempi kuin g-keskiarvo, mutta kannattaa varmistaa, mitä g-keskiarvoa käytetään.
R. P. Espindola & N. F. F. Ebecken. (2005) F-mitta- ja G-keskiarvojen mittareiden laajentamisesta usean luokan ongelmiin. WIT-transaktiot tieto- ja viestintätekniikoista. Voi. 35. s. 25–34.
Kommentit
- Tämä on mahdollisesti harhaanjohtava, koska g- keskiarvo määritellään usein esimerkiksi palauttamisen (herkkyyden) ja spesifisyyden suhteen. Kubat & Matwin (1997) ICML. Voitteko viitata julkaistuun artikkeliin, jossa g-keskiarvo määritellään tarkkuuden: palauttamisen suhteen?
- Kiitos @ usεr11852 Olen päivittänyt vastauksen vastaamaan kahta vaihtoehtoista määritelmää.
- Viileä . Kiitos. (+1) Vastauksestasi riippumatta epäilin, että E & E tulee esiin … Espindola & Ebecken (2005) mainitsee Kubatin, Hulte & Matwin (1998) noin $ g $ -merkistä käyttämällä Precision-Recall-toimintoa. Kubat et ai. (1998) määrittele $ g_ {PR} $ pehmeästi ja mainitse Lewis & Gale (1994), onko L & W ( 1994) ei mainita lainkaan geometrista keskiarvoa. Uskon, että $ g_ {PR} $: n käyttö on hyvin kyseenalaista. Jos vain, ainoa virallinen viittaus, jonka olen nähnyt mainittavan $ g_ {PR} $ -tutkimuksessa, on " tiedonhaku ", van Rijsbergen missä koko asia on ei käyttää sitä ja käyttää sen sijaan $ F $ -pisteitä.
- Kiitos @ usεr11852 erinomaisesta kontekstista. ' on ollut jonkin aikaa siitä, kun työskentelin tällä alalla (2011), ja käytän yleensä vain F-pisteitä.