Kuinka tulkita F-mitta-arvoja?

En voi ajatella F-mittarin intuitiivista merkitystä, koska se on vain yhdistetty metriikka. Tietysti intuitiivisempaa kuin F-mesure on tarkkuus ja muistutus.

Mutta käyttämällä kahta arvoa, emme usein pysty määrittämään, onko yksi algoritmi parempi kuin toinen. Esimerkiksi, jos yhdellä algoritmilla on korkeampi tarkkuus, mutta pienempi palautettavuus kuin muulla, kuinka voit kertoa mikä algoritmi on parempi?

Jos sinulla on mielessäsi tietty tavoite, kuten ”Tarkkuus on kuningas. En minä” ei välitä paljon palautuksesta ”, silloin ei ole mitään ongelmaa. Suurempi tarkkuus on parempi. Mutta jos sinulla ei ole niin vahvaa tavoitetta, haluat yhdistetyn mittarin. Se on F-mitta. Käyttämällä sitä verrataan tarkkuutta ja palautusta.

ROC-käyrä piirretään usein F-mittana. Tämä artikkeli saattaa olla mielenkiintoinen, koska se sisältää selityksen useille mittareille, mukaan lukien ROC-käyrät: http://binf.gmu.edu/mmasso/ROC101.pdf

F1-pistemäärän merkitys on erilainen skenaarion mukaan. Oletetaan, että kohdemuuttuja on binaaritunniste.

• Tasapainoinen luokka: Tässä tilanteessa F1-pisteet voidaan tehokkaasti ohittaa, väärä luokitteluprosentti on avain.
• Epätasapainoinen luokka, mutta molemmat luokat ovat tärkeitä: Jos luokkajakauma on hyvin vinossa (kuten 80:20 tai 90:10), luokittelija voi saada matalan luokitteluprosentin yksinkertaisesti valitsemalla enemmistöluokan. Tällaisessa tilanteessa valitsisin luokittelijan, joka saa korkeat F1-pisteet molemmissa luokissa sekä alhaisen vääräluokittelun. Luokittelija, joka saa matalat F1-pisteet, tulisi jättää huomiotta.
• Tasapainoinen luokka, mutta yksi luokka, jos tärkeämpää, toinen. Esimerkiksi petosten havaitsemisessa on tärkeämpää merkitä ilmentymä oikein vilpilliseksi sen sijaan, että merkitään vilpillinen. Tässä tapauksessa valitsisin luokittelijan, jolla on hyvä F1-pisteet vain tärkeässä luokassa . Muistathan, että F1-pistemäärä on käytettävissä luokittain.

F-mittarilla on intuitiivinen merkitys. Se kertoo kuinka tarkka luokittelusi on (kuinka monta instanssia se luokittelee oikein) sekä kuinka vankka se on (se ei ohita merkittävää määrää instansseja).

Erittäin tarkalla mutta vähäisellä palautuksella luokittelija on erittäin tarkka, mutta se menettää huomattavan määrän tapauksia, joita on vaikea luokitella. Tämä ei ole kovin hyödyllinen.

Katso tämä histogrammi. Ohita sen alkuperäinen tarkoitus.

Oikealle kohti saat korkea tarkkuus, mutta vähän muistettavaa. Jos valitsen vain instansseja, joiden pisteet ovat yli 0,9, luokitellut instanssini ovat erittäin tarkkoja, mutta olen unohtanut merkittävän määrän instansseja. Kokeet osoittavat, että makea piste on täällä noin 0,76, jossa F-mitta on 0,87.

Kommentit

• Viimeinen kappale on harhaanjohtava. ” hyviä tai huonoja ” -tuloksia ei ole olemassa ilman asiayhteyttä siihen, missä tätä sovellamme. Tietyissä asetuksissa ehkä 60% on tekniikan tasoa, muissa asetuksissa 95% saattaa olla liian matala.

F-mitta on tarkkuuden ja palautuksen harmoninen keskiarvo. Useimmissa tilanteissa sinulla on kompromissi tarkkuuden ja palautuksen välillä. Jos optimoit luokittelijaasi lisäämään yhtä ja kielteistä toista, harmoninen keskiarvo laskee nopeasti. Suurinta on kuitenkin, kun sekä tarkkuus että palautus ovat samat.

Kun luokituksesi F-mitat ovat 0,4 ja 0,8, voit odottaa, että nämä saavuttavat maksimiarvot, kun punnitaan tarkkuus palautusta vastaan.

Katso visuaalista tietoa katsomalla tämä luku Wikipediasta :

F-mitta on H , A ja B ovat muistutus ja tarkkuus. Voit lisätä yhtä, mutta sitten toinen pienenee.

Kommentit

• Löysin ” ristissä Tikkaat ” visualisointi on hieman suoraviivaisempi – minulle se tekee suurimman H: n johtavan A = B: n tasa-arvon intuitiivisemmaksi

Tarkkuudella y-akselilla ja palauttamalla x-akselilla tasokäyrän $ F _ {\ beta} $ kaltevuus paikassa ( 1, 1) on $ -1 / \ beta ^ 2 $.

Annettu $$ P = \ frac {TP} {TP + FP} $$ ja $$ R = \ frac {TP} { TP + FN} $$, olkoon $ \ alpha $ väärien negatiivien ja väärien positiivisten kustannusten suhde. Tällöin virheen kokonaiskustannus on verrannollinen arvoon $$ \ alpha \ frac {1-R} {R} + \ frac {1-P} {P}. $$ Joten tason käyrän kaltevuus kohdassa (1, 1) on $ – \ alfa $. Siksi hyvissä malleissa, joissa käytetään $ F _ {\ beta} $, tarkoitat, että pidät väärät negatiivit $ \ beta ^ 2 $ kertaa kalliimpia kuin väärät positiiviset.

F-mittakaava (F1, jossa beeta = 1) on sama kuin kaava, joka antaa ekvivalenttisen vastuksen, joka koostuu kahdesta fysiikassa rinnakkain asetetusta vastuksesta (unohdetaan tekijä 2).

Tämä voi antaa sinulle mahdollisen tulkinnan, ja voit miettiä sekä elektronisia että lämpövastuksia. Tämä analogia määrittäisi F-mittan vastaavaksi resistanssiksi, jonka muodostavat rinnakkain asetettu herkkyys ja tarkkuus.

F-mitassa suurin mahdollinen arvo on 1, ja menetät vastuksen heti, kun toinen hänen kahdestaan menettää myös vastuksen (eli sanotaan myös, että saat arvon alle 1). Jos haluat ymmärtää paremmin tämän määrän ja sen dynamiikan, ajattele fyysistä ilmiötä. Esimerkiksi näyttää siltä, että F-mitta < = max (herkkyys, tarkkuus).

f1-pistemäärän lähin intuitiivinen merkitys havaitaan palautuksen ja tarkkuuden keskiarvona. Tyhjennä se sinulle:

Luokitustehtävässä saatat suunnitella luokittelun rakentamista tarkalla JA palautus. Esimerkiksi luokittelija, joka kertoo, onko henkilö rehellinen vai ei.

Tarkkuuden vuoksi voit yleensä kertoa tarkasti, kuinka monta rehellistä ihmisiä tietyssä ryhmässä. Tässä tapauksessa, kun välität tarkkuudesta, oletat, että voit luokitella valehtelijan väärin rehelliseksi, mutta ei usein. Toisin sanoen tässä yrität tunnistaa valehtelijan rehellisestä koko ryhmästä. .

Muistutuksen vuoksi olet kuitenkin todella huolissasi, jos luulet valehtelijan olevan rehellinen. Sinulle tämä on suuri menetys ja iso virhe, etkä halua tehdä sitä uudelleen. On myös okei, jos luokitit jonkun rehellisen valehtelijaksi, mutta mallisi ei pitäisi koskaan (tai enimmäkseen olla) väittämättä valehtelijasta rehellistä. Toisin sanoen tässä keskityt tiettyyn luokkaan ja yrität olla tee virhe.

Otetaan nyt tapaus, jossa haluat mallisi (1) tunnistavan tarkasti valehtelijasta rehellisen (tarkkuus) (2) tunnistamaan molemmat luokat (muisteleminen). Tämä tarkoittaa, että valitset mallin, joka toimii hyvin molemmilla mittareilla.

Yrität sitten mallin valintapäätöstä arvioida kutakin mallia kahden mittarin keskiarvon perusteella. F-Pisteet on paras joka voi kuvata tätä. Tarkastellaan seuraavaa kaavaa:

$$ Recall: \ text {r} = \ frac {tp} {tp + fn} $$

$$ Tarkkuus: \ text {p} = \ frac {tp} {tp + fp} $$

$$ Fscore: \ text {f1} = \ frac {2} {\ frac {1} {r} + \ frac {1} {p }} $$

Kuten näette, korkeampi takaisinveto JA tarkkuus, sitä korkeampi F-pisteet.

voit kirjoittaa F-mittaisen yhtälön http://e.hiphotos.baidu.com/baike/s%3D118/sign=e8083e4396dda144de0968b38ab6d009/f2deb48f8c5494ee14c095492cf5e0fe98257e84.jpg toisella tavalla, kuten $$ F_ \ beta = 1 / ((\ beta ^ 2 / (\ beta ^ 2 + 1)) 1 / r + (1 / (\ beta ^ 2 + 1)) 1 / p) $$ niin, kun $ β ^ 2 < 1 $, $ p $: n pitäisi olla tärkeämpi (tai suurempi, saadaksesi suurempi $ F_ \ beta $).

Tietäen, että F1-pisteet ovat tarkkuuden ja muistin harmoninen keskiarvo, alla on vähän lyhyesti niistä.

Sanoisin, että Recall on enemmän vääriä negatiiveja .fi, Jos suurempi palautus tarkoittaa VÄÄRÄNEGATIIVISIA .

$$ \ text {Recall} = \ frac {tp} {tp + fn} $$

Niin paljon Kuten vähemmän FN tai Zero FN tarkoittaa, mallisi ennustus on todella hyvä.

Vaikka tarkkuuden keskiarvo on korkeampi, VÄÄRÄPOSITIIVISIA $$ \ text {Precision} = \ frac {tp} {tp + fp} $$

Sama täällä , Vähemmän tai nolla vääriä positiivisia tarkoittaa, että mallien ennustus on todella hyvä.