Cum se interpretează valorile măsurării F?

Nu mă pot gândi la o semnificație intuitivă a măsurii F, deoarece este „doar o valoare combinată. Ceea ce este mai intuitiv decât F-mesure, desigur, este precizia și rechemarea.

Dar folosind două valori, de multe ori nu putem determina dacă un algoritm este superior altului. De exemplu, dacă un algoritm are o precizie mai mare, dar o reamintire mai mică decât altul, cum puteți spune care algoritm este mai bun?

Dacă aveți un scop specific în minte, cum ar fi „Precizia este regele. Eu nu” Nu îmi pasă mult de rechemare „, atunci nu există nicio problemă. O precizie mai mare este mai bună. Dar dacă nu aveți un obiectiv atât de puternic, veți dori o valoare combinată. Aceasta este măsura F. Folosind-o, veți compara o parte din precizie și o parte din rechemare.

Curba ROC este deseori trasată afirmând măsura F. Puteți găsi acest articol interesant, deoarece conține explicații privind mai multe măsuri, inclusiv curbe ROC: http://binf.gmu.edu/mmasso/ROC101.pdf

Importanța scorului F1 este diferită în funcție de scenariu. Să presupunem că variabila țintă este o etichetă binară.

• Clasă echilibrată: În această situație, scorul F1 poate fi ignorat în mod eficient, rata de clasificare greșită este esențială.
• Clasa dezechilibrată, dar ambele clase sunt importante: dacă distribuția clasei este foarte înclinată (cum ar fi 80:20 sau 90:10), atunci un clasificator poate obține o rată scăzută de clasificare greșită pur și simplu alegând clasa majoritară. Într-o astfel de situație, aș alege clasificatorul care obține scoruri F1 ridicate la ambele clase, precum și o rată scăzută de clasificare greșită. Un clasificator care obține scoruri F1 mici ar trebui să fie trecut cu vederea.
• Clasa dezechilibrată, dar o clasă, dacă este mai importantă decât cealaltă. De ex. în detectarea fraudelor, este mai important să etichetați corect o instanță ca fiind frauduloasă, spre deosebire de etichetarea celei non-frauduloase. În acest caz, aș alege clasificatorul care are un scor F1 bun doar pentru clasa importantă . Amintiți-vă că scorul F1 este disponibil pe clasă.

F-măsură are un sens intuitiv. Vă spune cât de precis este clasificatorul dvs. (câte instanțe clasifică corect), precum și cât de robust este (nu pierde un număr semnificativ de instanțe).

Cu o precizie ridicată, dar o reamintire redusă, clasificatorul dvs. este extrem de precis, dar lipsește un număr semnificativ de instanțe care sunt dificil de clasificat. Acest lucru nu este foarte util.

Aruncați o privire la această histogramă. Ignorați scopul inițial.

Spre dreapta, veți obține precizie ridicată, dar rechemare redusă. Dacă selectez doar instanțe cu un scor peste 0,9, instanțele mele clasificate vor fi extrem de precise, totuși am pierdut un număr semnificativ de instanțe. Experimentele indică faptul că locul dulce aici este în jur de 0,76, unde măsura F este 0,87.

Comentarii

• Ultimul paragraf este înșelător. Nu există conceptul unui scor ” bun sau rău ” fără contextul în care aplicăm acest lucru. În anumite setări, probabil 60% este stadiul tehnicii, în alte setări, 95% ar putea fi inacceptabil de scăzut.

Măsura F este media armonică a precizării și rechemării dvs. În majoritatea situațiilor, aveți un compromis între precizie și rechemare. Dacă vă optimizați clasificatorul pentru a crește unul și a defavoriza celălalt, media armonică scade rapid. Cu toate acestea, este cel mai bun, când atât precizia, cât și rechemarea sunt egale.

Având în vedere măsurătorile F de 0,4 și 0,8 pentru clasificatorii dvs., vă puteți aștepta ca acestea să fie valorile maxime atinse atunci când se cântărește precizia cu rechemarea.

Pentru referințe vizuale, aruncați o privire la această cifră din Wikipedia :

Măsura F este H , A și B sunt rechemarea și precizia. Puteți crește unul, dar celălalt scade.

Comentarii

• Am găsit ” încrucișat Scara ” vizualizarea este ceva mai simplă – pentru mine, egalitatea lui A = B are ca rezultat cel mai mare H mai intuitiv

Cu precizie pe axa y și reamintire pe axa x, panta curbei de nivel $ F _ {\ beta} $ la ( 1, 1) este $ -1 / \ beta ^ 2 $.

Dat $$ P = \ frac {TP} {TP + FP} $$ și $$ R = \ frac {TP} { TP + FN} $$, să fie $ \ alpha $ raportul dintre costul negativelor false și pozitivele false. Atunci costul total al erorii este proporțional cu $$ \ alpha \ frac {1-R} {R} + \ frac {1-P} {P}. $$ Deci panta curbei de nivel la (1, 1) este $ – \ alpha $. Prin urmare, pentru modelele bune care utilizează $ F _ {\ beta} $ implică considerarea negativelor false $ \ beta ^ de 2 ori mai costisitoare decât falsele pozitive.

Formula pentru măsura F (F1, cu beta = 1) este aceeași cu formula care dă rezistența echivalentă compusă din două rezistențe plasate în paralel în fizică (uitând de factorul 2).

Acest lucru vă poate oferi o posibilă interpretare și vă puteți gândi atât la rezistențele electronice, cât și la cele termice. Această analogie ar defini măsura F ca rezistența echivalentă formată din sensibilitate și precizie plasate în paralel.

Pentru măsura F, maximul posibil este 1 și pierdeți rezistența imediat ce unul dintre cei doi pierde și rezistența (adică, obțineți o valoare sub 1). Dacă doriți să înțelegeți mai bine această cantitate și dinamica ei, gândiți-vă la fenomenul fizic. De exemplu, se pare că măsura F < = max (sensibilitate, precizie).

Cea mai apropiată semnificație intuitivă a scorului f1 este percepută ca mijloc al rechemării și preciziei. Să vă clarificăm:

Într-o sarcină de clasificare, este posibil să planificați să construiți un clasificator cu precizie ridicată ȘI reamintesc. De exemplu, un clasificator care spune dacă o persoană este cinstită sau nu.

Pentru precizie, puteți spune de obicei cu exactitate câte persoane oneste oameni dintr-un anumit grup. În acest caz, atunci când vă pasă de precizie ridicată, presupuneți că puteți clasifica greșit o persoană mincinoasă ca fiind cinstită, dar nu de multe ori. Cu alte cuvinte, aici încercați să identificați mincinosul de onest ca un întreg grup .

Cu toate acestea, pentru reamintire, vei fi cu adevărat îngrijorat dacă crezi că o persoană mincinoasă este sinceră. Pentru tine, aceasta va fi o mare pierdere și o mare greșeală și nu vrei să o faci din nou. De asemenea, este în regulă dacă ai clasificat pe cineva cinstit ca mincinos, dar modelul tău nu ar trebui să pretindă niciodată (sau mai ales să nu) o persoană mincinoasă ca fiind cinstită. Cu alte cuvinte, aici te concentrezi pe o anumită clasă și încerci să nu faceți o greșeală în legătură cu acest lucru.

Acum, să luăm cazul în care doriți ca modelul dvs. să (1) identifice cu exactitate un sincer de la un mincinos (precizie) (2) să identifice fiecare persoană din ambele clase (amintesc). Ceea ce înseamnă că veți selecta modelul care va funcționa bine pe ambele valori.

Decizia de selecție a modelului va încerca apoi să evalueze fiecare model pe baza mediei celor două valori. Scorul F este cel mai bun care poate descrie acest lucru. Să aruncăm o privire asupra formulei:

$$ Recall: \ text {r} = \ frac {tp} {tp + fn} $$

$$ Precizie: \ text {p} = \ frac {tp} {tp + fp} $$

$$ Fscore: \ text {f1} = \ frac {2} {\ frac {1} {r} + \ frac {1} {p }} $$

După cum vedeți, reamintirea mai mare AND precizie, cu atât scorul F este mai mare.

puteți scrie ecuația F-măsură http://e.hiphotos.baidu.com/baike/s%3D118/sign=e8083e4396dda144de0968b38ab6d009/f2deb48f8c5494ee14c095492cf5e0fe98257e84.jpg într-un alt mod, cum ar fi $$ F_ \ beta = 1 / ((\ beta ^ 2 / (\ beta ^ 2 + 1)) 1 / r + (1 / (\ beta ^ 2 + 1)) 1 / p) $$ deci, când $ β ^ 2 < 1 $, $ p $ ar trebui să fie mai important (sau, mai mare, pentru a obține un mai mare $ F_ \ beta $).

Știind că scorul F1 este media armonică de precizie și rechemare, mai jos este un scurt despre ele.

Aș spune că Recall este mai mult despre negative negative .ie, A avea un Recall mai mare înseamnă că există mai puține FALSE NEGATIVE .

$$ \ text {Recall} = \ frac {tp} {tp + fn} $$

La fel de mult cu cât înseamnă mai puțin FN sau Zero FN, predicția modelului dvs. este foarte bună.

În timp ce aveți precizie mai mare, există mai puține POSITIVE FALSE $$ \ text {Precision} = \ frac {tp} {tp + fp} $$

La fel aici , Mai puține sau zero pozitive false înseamnă că predicția modelului este foarte bună.