Come interpretare i valori di misura F?

Non riesco a pensare a un significato intuitivo della misura F, perché è solo una metrica combinata. Ciò che è più intuitivo della misura F, ovviamente, è la precisione e il richiamo.

Ma usando due valori, spesso non possiamo determinare se un algoritmo è superiore a un altro. Ad esempio, se un algoritmo ha una precisione maggiore ma un richiamo inferiore rispetto ad altri, come puoi sapere quale algoritmo è migliore?

Se hai in mente un obiettivo specifico come “La precisione è il re. Io non” t mi interessa molto il richiamo “, quindi non ci sono problemi. Una maggiore precisione è migliore. Ma se non hai un obiettivo così forte, vorrai una metrica combinata. Questa è la misura F. Usandolo, confronterai un po di precisione e un po di richiamo.

La curva ROC è spesso disegnata indicando la misura F. Potresti trovare questo articolo interessante in quanto contiene spiegazioni su diverse misure comprese le curve ROC: http://binf.gmu.edu/mmasso/ROC101.pdf

Limportanza del punteggio F1 è diversa in base allo scenario. Supponiamo che la variabile target sia unetichetta binaria.

• Classe bilanciata: in questa situazione, il punteggio F1 può essere effettivamente ignorato, il tasso di errata classificazione è la chiave.
• Classe sbilanciata, ma entrambe le classi sono importanti: se la distribuzione della classe è molto distorta (come 80:20 o 90:10), un classificatore può ottenere un basso tasso di errata classificazione semplicemente scegliendo la classe maggioritaria. In una situazione del genere, sceglierei il classificatore che ottiene punteggi F1 elevati in entrambe le classi, nonché un basso tasso di errata classificazione. Un classificatore che ottiene punteggi F1 bassi dovrebbe essere trascurato.
• Classe sbilanciata, ma una classe è più importante dellaltra. Ad esempio nel rilevamento delle frodi, è più importante etichettare correttamente unistanza come fraudolenta invece di etichettare quella non fraudolenta. In questo caso, sceglierei il classificatore che ha un buon punteggio F1 solo sulla classe importante . Ricorda che il punteggio F1 è disponibile per classe.

La misura F ha un significato intuitivo. Ti dice quanto è preciso il tuo classificatore (quante istanze classifica correttamente), nonché quanto è robusto (non perde un numero significativo di istanze).

Con unelevata precisione ma un basso richiamo, il classificatore è estremamente accurato, ma manca un numero significativo di istanze difficili da classificare. Non è molto utile.

Dai unocchiata a questo istogramma. Ignora il suo scopo originale.

Verso destra, ottieni alta precisione, ma basso richiamo. Se seleziono solo istanze con un punteggio superiore a 0,9, le mie istanze classificate saranno estremamente precise, tuttavia avrò perso un numero significativo di istanze. Gli esperimenti indicano che il punto debole qui è intorno a 0,76, dove la misura F è 0,87.

Commenti

• Lultimo paragrafo è fuorviante. Non esiste il concetto di punteggio ” buono o cattivo ” senza il contesto in cui lo stiamo applicando. In alcune impostazioni forse il 60% è lo stato dellarte, in altre impostazioni il 95% potrebbe essere inaccettabilmente basso.

La misura F è la media armonica della tua precisione e richiamo. Nella maggior parte delle situazioni, hai un compromesso tra precisione e richiamo. Se ottimizzi il tuo classificatore per aumentarne uno e sfavorire laltro, la media armonica diminuisce rapidamente. Tuttavia è massimo, quando sia la precisione che il richiamo sono uguali.

Date le misure F di 0,4 e 0,8 per i classificatori, ci si può aspettare che questi siano i valori massimi raggiunti quando si pesa la precisione contro il richiamo.

Per riferimento visivo, dai unocchiata a questa figura da Wikipedia :

La misura F è H , A e B sono il richiamo e la precisione. Puoi aumentarne uno, ma poi laltro diminuisce.

Commenti

• Ho trovato il ” incrociato La visualizzazione delle ” è un po più semplice: per me, rende luguaglianza di A = B risultante nella massima H più intuitiva

Con precisione sullasse ye richiama sullasse x, la pendenza della curva di livello $ F _ {\ beta} $ a ( 1, 1) è $ -1 / \ beta ^ 2 $.

Dato $$ P = \ frac {TP} {TP + FP} $$ e $$ R = \ frac {TP} { TP + FN} $$, sia $ \ alpha $ il rapporto tra il costo dei falsi negativi e dei falsi positivi. Allora il costo totale dellerrore è proporzionale a $$ \ alpha \ frac {1-R} {R} + \ frac {1-P} {P}. $$ Quindi la pendenza della curva di livello a (1, 1) è $ – \ alpha $. Pertanto, per buoni modelli lutilizzo di $ F _ {\ beta} $ implica che consideri i falsi negativi $ \ beta ^ 2 $ volte più costosi dei falsi positivi.

La formula per la misura F (F1, con beta = 1) è la stessa della formula che dà la resistenza equivalente composta da due resistenze poste in parallelo in fisica (dimenticando il fattore 2).

Questo potrebbe darti una possibile interpretazione e puoi pensare alle resistenze sia elettroniche che termiche. Questa analogia definirebbe la misura F come la resistenza equivalente formata dalla sensibilità e dalla precisione poste in parallelo.

Per la misura F, il massimo possibile è 1, e perdi resistenza non appena uno tra i due perde anche resistenza (vale a dire anche un valore inferiore a 1). Se vuoi capire meglio questa quantità e la sua dinamica, pensa al fenomeno fisico. Ad esempio, sembra che la misura F < = max (sensibilità, precisione).

Il significato intuitivo più vicino del punteggio f1 viene percepito come la media del richiamo e della precisione. Chiariamolo per te:

in unattività di classificazione, potresti progettare di creare un classificatore con alta precisione AND ricorda. Ad esempio, un classificatore che indica se una persona è onesta o meno.

Per precisione, di solito sei in grado di dire con precisione quante persone sono oneste persone là fuori in un dato gruppo. In questo caso, quando ti preoccupi dellalta precisione, presumi di poter classificare erroneamente una persona bugiarda come onesta ma non spesso. In altre parole, qui stai cercando di identificare bugiardo da onesto come un intero gruppo .

Tuttavia, per il richiamo, sarai davvero preoccupato se pensi che una persona bugiarda sia onesta. Per te, questa sarà una grande perdita e un grosso errore e tu non vuoi farlo ancora. Inoltre, va bene se classifichi una persona onesta come bugiarda, ma il tuo modello non dovrebbe mai (o principalmente non) dichiarare onesta una persona bugiarda. In altre parole, qui ti stai concentrando su una classe specifica e stai cercando di non farlo fare un errore al riguardo.

Ora, prendiamo il caso in cui vuoi che il tuo modello (1) identifichi con precisione lonesto da un bugiardo (precisione) (2) identifichi ogni persona di entrambe le classi (richiamo). Ciò significa che selezionerai il modello che avrà un buon rendimento su entrambe le metriche.

La tua decisione sulla selezione del modello proverà quindi a valutare ciascun modello in base alla media delle due metriche. F-Score è il migliore che può descrivere questo. Diamo uno sguardo alla formula:

$$ Ricorda: \ text {r} = \ frac {tp} {tp + fn} $$

$$ Precisione: \ text {p} = \ frac {tp} {tp + fp} $$

$$ Fscore: \ text {f1} = \ frac {2} {\ frac {1} {r} + \ frac {1} {p }} $$

Come vedi, maggiore è il ricordo AND , maggiore è il punteggio F.

puoi scrivere lequazione della misura F http://e.hiphotos.baidu.com/baike/s%3D118/sign=e8083e4396dda144de0968b38ab6d009/f2deb48f8c5494ee14c095492cf5e0fe98257e84.jpg in un altro modo, ad esempio $$ F_ \ beta = 1 / ((\ beta ^ 2 / (\ beta ^ 2 + 1)) 1 / r + (1 / (\ beta ^ 2 + 1)) 1 / p) $$ quindi, quando $ β ^ 2 < 1 $, $ p $ dovrebbe essere più importante (o, maggiore, per ottenere un maggiore $ F_ \ beta $).

Sapendo che il punteggio F1 è la media armonica di precisione e richiamo, di seguito è riportato un un po breve su di loro.

Direi che Recall riguarda più i falsi negativi .ie, Avere un Recall più alto significa che ci sono meno FALSI NEGATIVI .

$$ \ text {Recall} = \ frac {tp} {tp + fn} $$

Tanto poiché meno FN o Zero FN significano, la previsione del modello è davvero buona.

Mentre avere una precisione più alta significa che ci sono meno FALSI POSITIVI $$ \ text {Precision} = \ frac {tp} {tp + fp} $$

Lo stesso qui , Meno o zero falsi positivi significa che la previsione del modello è davvero buona.