Hogyan értelmezzük az F-mérték értékeit?

Nem jut eszembe az F mérték intuitív jelentése, mert ez csak egy kombinált mutató. Természetesen az F-mesure-nél intuitívabb a precizitás és a felidézés.

Két értéket használva azonban gyakran nem tudjuk megállapítani, hogy az egyik algoritmus felülmúlja-e a másikat. Például, ha az egyik algoritmus pontosabb, de alacsonyabb a visszahívhatósága, mint a többi, hogyan lehet megmondani, melyik algoritmus a jobb?

Ha van egy konkrét célja a fejében, mint például: „A precízió a király. Én nem” nem érdekel sokat a visszahívás “, akkor nincs probléma. A nagyobb pontosság jobb. De ha nincs ilyen erős célja, akkor kombinált mutatóra lesz szüksége. Ez az F-mérték. Használatával összehasonlítja a pontosság és a felidézés egy részét.

A ROC görbét gyakran az F-mérték megadásával rajzoljuk meg. Érdekesnek találhatja ezt a cikket, mivel számos intézkedést tartalmaz, beleértve a ROC görbéket is: http://binf.gmu.edu/mmasso/ROC101.pdf

Az F1 pontszám jelentősége a forgatókönyv alapján eltérő. Tegyük fel, hogy a célváltozó bináris címke.

• Kiegyensúlyozott osztály: Ebben a helyzetben az F1 pontszámot hatékonyan figyelmen kívül lehet hagyni, a téves osztályozási arány kulcsfontosságú.
• Kiegyensúlyozatlan osztály, de mindkét osztály fontos: Ha az osztályeloszlás erősen ferde (például 80:20 vagy 90:10), akkor egy osztályozó alacsony téves osztályozási arányt kaphat pusztán a többségi osztály kiválasztásával. Ilyen helyzetben azt az osztályozót választanám, amely mindkét osztályban magas F1 pontszámot, valamint alacsony téves osztályozási arányt kap. Figyelmen kívül kell hagyni azt az osztályozót, amely alacsony F1-pontszámot kap.
• Kiegyensúlyozatlan osztály, de ha az egyik osztály fontosabb, akkor a másik. Például a csalások felderítésében sokkal fontosabb egy példány helyes csalásként való megjelölése, szemben a nem csalárd címkével. Ebben az esetben azt az osztályozót választanám, amelynek jó F1-pontszáma csak a fontos osztályon van. Emlékezzünk arra, hogy az F1-pontszám osztályonként elérhető.

Az F-mértéknek intuitív jelentése van. Megmondja, hogy mennyire pontos az osztályozója (hány példányt osztályoz helyesen), valamint azt, hogy mennyire robusztus (nem hagy ki jelentős számú példányt).

Nagy pontossággal, de kevés visszahívással az osztályozó rendkívül pontos, de jelentős számú példányt hiányol, amelyeket nehéz osztályozni. Ez nem túl hasznos.

Vessen egy pillantást erre a hisztogramra. Hagyja figyelmen kívül az eredeti célját.

A jobboldal felé kapsz nagy pontosságú, de alacsony a visszahívhatóság. Ha csak olyan példányokat választok, amelyek pontszáma meghaladja a 0,9-et, akkor a minősített példányaim rendkívül pontosak lesznek, azonban jelentős számú példányt fogok kihagyni. A kísérletek azt mutatják, hogy az édes folt itt 0,76 körül van, ahol az F-mérték 0,87.

Megjegyzések

• Az utolsó bekezdés félrevezető. Nincs fogalma a ” jó vagy rossz ” pontszámnak a kontextus nélkül, ha ezt alkalmaznánk. Bizonyos beállításokban talán 60% a legkorszerűbb, más beállításban 95% elfogadhatatlanul alacsony lehet.

Az F-mérték az ön pontosságának és felidézésének harmonikus középértéke. A legtöbb helyzetben kompromisszumot köt a precizitás és a visszahívás között. Ha az osztályozót úgy optimalizálja, hogy növelje az egyiket, és a másik kedvezőtlen legyen, a harmonikus átlag gyorsan csökken. A legnagyobb azonban, ha a pontosság és a visszahívás egyaránt megegyezik.

Ha osztályozóinak 0,4 és 0,8 F-mértékét vesszük figyelembe, akkor számíthatunk arra, hogy ezek a maximális értékek akkor érhetők el, amikor a pontosságot visszahívják a visszahívással szemben.

Szemrevételezés céljából nézze meg ezt az ábrát a Wikipédia -ból:

Az F-mérték H , A és A B a visszahívás és a pontosság. Növelheti az egyiket, de a másik csökken.

Megjegyzések

• Megtaláltam a ” keresztbe A létra ” megjelenítés kissé egyszerűbb – számomra ez intuitívabbá teszi a legnagyobb H-t eredményező A = B egyenlőségét

Az y tengely pontosságával és az x tengely felidézésével a $ F _ {\ beta} $ szintgörbe meredeksége a ( 1, 1) értéke $ -1 / \ beta ^ 2 $.

Adott $$ P = \ frac {TP} {TP + FP} $$ és $$ R = \ frac {TP} { TP + FN} $$, a $ \ alpha $ legyen a hamis negatívok és a hamis pozitívok aránya. Ekkor a hiba teljes költsége arányos a $$ \ alpha \ frac {1-R} {R} + \ frac {1-P} {P} értékkel. $$ Tehát a szintgörbe meredeksége (1, 1) -nél $ – \ alfa $. Ezért a $ F _ {\ beta} $ használatával rendelkező jó modellek esetében azt jelenti, hogy a hamis negatívakat $ \ beta ^ 2 $ -nak tartja drágábbnak, mint a hamis pozitívokat.

Az F-mérték képlete (F1, béta = 1-vel) megegyezik azzal a képlettel, amely megadja az egyenértékű ellenállást, amely két, a fizikában párhuzamosan elhelyezett ellenállásból áll (megfeledkezve a 2. faktorról).

Ez lehetséges értelmezést adhat Önnek, és gondolkodhat mind az elektronikus, mind a hőellenállásokon. Ez az analógia az F-mértéket a párhuzamosan elhelyezett érzékenység és pontosság által képzett egyenértékű ellenállásként határozná meg.

Az F-mértéknél a maximálisan lehetséges 1, és elveszíted az ellenállást, amint az egyik kettő közül az ellenállást is elveszíti (vagyis mondjuk 1-nél alacsonyabb értéket kap). Ha jobban meg akarja érteni ezt a mennyiséget és annak dinamikáját, gondoljon a fizikai jelenségre. Például úgy tűnik, hogy az F-mérték < = max (érzékenység, pontosság).

Az f1-pontszám legközelebbi intuitív jelentését a visszahívás és a pontosság átlagaként érzékeljük. Tisztázzuk az Ön számára:

Egy osztályozási feladatban nagy pontosságú osztályozó készítését tervezi ÉS visszahívás. Például egy osztályozó, amely megmondja, hogy egy ember őszinte-e vagy sem.

A pontosság érdekében általában pontosan meg tudja mondani, hogy hány becsületes emberek egy adott csoportban. Ebben az esetben, ha nagy pontossággal törődik, akkor feltételezi, hogy a hazug embert rossznak minősítheti becsületesnek, de nem gyakran. Más szavakkal: itt megpróbálja azonosítani a hazugat az őszintétől, mint egész csoporttól .

Visszahívásképpen azonban nagyon aggódni fog, ha úgy gondolja, hogy egy hazug ember őszinte. Számodra ez nagy veszteség és nagy hiba lesz, és nem akarod megtenni újra. Továbbá rendben van, ha valakit becsületesnek minősítesz hazugnak, de a modelled soha nem (vagy többnyire nem) állíthatja a hazug embert őszintének. Más szavakkal, itt egy adott osztályra koncentrál, és megpróbál nem hibázzon.

Most vegyük azt az esetet, amikor azt szeretné, hogy modellje (1) pontosan azonosítsa a becsületes hazugságot (precíziós) (2) azonosítsa mindkét személyt mindkét osztályból (emlékeztet). Ami azt jelenti, hogy kiválasztja azt a modellt, amely mindkét metrikán jól teljesít.

A modellválasztási döntés során megpróbálja értékelni az egyes modelleket a két mutató átlaga alapján. Az F-Score a legjobb ez leírhatja ezt. Nézzük meg a képletet:

$$ Recall: \ text {r} = \ frac {tp} {tp + fn} $$

$$ Pontosság: \ text {p} = \ frac {tp} {tp + fp} $$

$$ Fscore: \ text {f1} = \ frac {2} {\ frac {1} {r} + \ frac {1} {p }} $$

Amint látja, a magasabb visszahívás ÉS pontosság, annál magasabb az F-pontszám.

megírhatja az F-mértékegyenletet http://e.hiphotos.baidu.com/baike/s%3D118/sign=e8083e4396dda144de0968b38ab6d009/f2deb48f8c5494ee14c095492cf5e0fe98257e84.jpg más módon, például $$ F_ \ beta = 1 / ((\ beta ^ 2 / (\ beta ^ 2 + 1)) 1 / r + (1 / (\ béta ^ 2 + 1)) 1 / p) $$ tehát, ha $ β ^ 2 < 1 $, akkor a $ p $ -nak fontosabbnak (vagy nagyobbnak kell lennie a magasabb $ F_ \ beta $).

Annak tudatában, hogy az F1 pontszám a pontosság és a visszahívás harmonikus átlaga, az alábbiakban kevés rövid róluk.

Azt mondanám, hogy a Visszahívás inkább a hamis negatívumokról szól .ie. A magasabb visszahívás azt jelenti, hogy kevesebb HAMIS NEGATÍV