Fメジャー値を解釈する方法は？

Fメジャーは単なる組み合わせメトリックであるため、直感的な意味を考えることはできません。もちろん、Fメジャーよりも直感的なのは、適合率と再現率です。

ただし、2つの値を使用すると、あるアルゴリズムが別のアルゴリズムより優れているかどうかを判断できないことがよくあります。たとえば、あるアルゴリズムの精度は高いが再現率が低い場合、どのアルゴリズムが優れているかをどのように判断できますか？

「精度が王様です。私はしません」などの特定の目標を頭に入れている場合。リコールは大事にしない」なら問題ありません。精度が高いほど良いです。しかし、そのような強い目標がない場合は、組み合わせたメトリックが必要になります。それがFメジャーです。これを使用することで、精度の一部と再現率の一部を比較できます。

ROC曲線は、多くの場合、Fメジャーを示すように描画されます。この記事には、ROC曲線を含むいくつかの指標に関する説明が含まれているため、興味深いと思われるかもしれません。 http://binf.gmu.edu/mmasso/ROC101.pdf

F1スコアの重要性は、シナリオによって異なります。ターゲット変数がバイナリラベルであると仮定しましょう。

• バランスの取れたクラス：この状況では、F1スコアは事実上無視でき、誤分類率が重要です。
• 不均衡なクラスですが、両方のクラスが重要です。クラス分布が大きく偏っている場合（80:20や90:10など）、分類器は、多数派クラスを選択するだけで誤分類率を低くすることができます。このような状況では、両方のクラスでF1スコアが高く、誤分類率が低い分類器を選択します。 F1スコアが低くなる分類子は見落とす必要があります。
• 不均衡なクラスですが、一方のクラスが他方より重要な場合。例：不正検出では、不正ではないインスタンスにラベルを付けるのではなく、インスタンスに不正として正しくラベルを付けることがより重要です。この場合、重要なクラスでのみ F1スコアが良好な分類器を選択します。 F1スコアはクラスごとに利用できることを思い出してください。

Fメジャーには直感的な意味があります。分類器の精度（正しく分類されるインスタンスの数）と堅牢性（かなりの数のインスタンスを見逃さない）がわかります。

精度は高いが再現率が低いため、分類器は非常に正確ですが、分類が難しいインスタンスをかなりの数見逃しています。これはあまり役に立ちません。

このヒストグラムを見てください。 本来の目的は無視してください。

右に行くと、高精度ですが、再現率は低くなります。スコアが0.9を超えるインスタンスのみを選択した場合、分類されたインスタンスは非常に正確になりますが、かなりの数のインスタンスを見逃してしまいます。実験によると、ここでのスイートスポットは約0.76であり、Fメジャーは0.87です。

コメント

• 最後の段落は誤解を招く恐れがあります。 "良いまたは悪い"スコアの概念は、これを適用する場所のコンテキストなしにはありません。特定の設定では、おそらく60％が最先端であり、他の設定では95％が許容できないほど低い可能性があります。

Fメジャーは、適合率と再現率の調和平均です。ほとんどの場合、適合率と再現率の間にはトレードオフがあります。分類器を最適化して一方を増やし、もう一方を嫌うと、調和平均は急速に減少します。ただし、適合率と再現率の両方が等しい場合に最大になります。

分類器のFメジャーが0.4と0.8の場合、再現率と適合率を比較検討したときに最大値が達成されることが期待できます。

視覚的な参照については、ウィキペディアのこの図を参照してください：

Fメジャーは H 、 A および B は再現率と適合率です。 1つを増やすことはできますが、もう1つは減らすことができます。

コメント

• "が交差していることがわかりましたはしご"の視覚化がもう少し簡単になります-私にとっては、A = Bが等しいため、最大のHがより直感的になります

y軸に精度を、x軸にリコールを使用すると、レベル曲線の傾き$ F _ {\ beta} $ at（ 1、1）は$ -1 / \ beta ^ 2 $です。

$$ P = \ frac {TP} {TP + FP} $$および$$ R = \ frac {TP} {の場合TP + FN} $$、$ \ alpha $を偽陰性と偽陽性のコストの比率とします。その場合、エラーの総コストは$$ \ alpha \ frac {1-R} {R} + \ frac {1-P} {P}に比例します。$$したがって、（1、1）でのレベル曲線の傾きは次のようになります。 $-\ alpha $。したがって、$ F _ {\ beta} $を使用する優れたモデルの場合、誤検知は誤検知の$ \ beta ^ 2 $倍のコストがかかると見なすことを意味します。

Fメジャー（F1、beta = 1）の式は、物理学で並列に配置された2つの抵抗で構成される等価抵抗を与える式と同じです（係数2を忘れます）。

これにより、考えられる解釈が得られる可能性があり、電子抵抗と熱抵抗の両方について考えることができます。このアナロジーは、Fメジャーを、並列に配置された感度と精度によって形成される等価抵抗として定義します。

Fメジャーの場合、可能な最大値は1であり、2つのうちの1つも抵抗を失うとすぐに抵抗を失います（つまり、1未満の値を取得します）。この量とその動的性をよりよく理解したい場合は、物理現象について考えてください。たとえば、Fメジャー< = max（感度、精度）のように見えます。

f1スコアの最も直感的な意味は、再現率と適合率の平均として認識されています。明確にしましょう：

分類タスクでは、高精度の分類器を構築することを計画している場合があります AND 思い出してください。たとえば、人が正直かどうかを判断する分類子です。

正確さを期すために、通常、正直な人の数を正確に判断できます。この場合、高精度を気にするときは、嘘つきの人を正直であると誤分類する可能性があると想定しますが、頻繁ではありません。つまり、ここでは、嘘つきをグループ全体として正直であると識別しようとしています。 。

しかし、思い出すと、嘘つきの人が正直だと思うかどうか本当に心配になります。あなたにとって、これは大きな損失と大きな間違いであり、やりたくないのです。再び。また、正直な人を嘘つきとして分類しても問題ありませんが、モデルは嘘つきの人を正直だと主張してはなりません（またはほとんどそうしないでください）。言い換えると、ここでは特定のクラスに焦点を当てており、そうしないようにしています。間違いを犯してください。

ここで、モデルで（1）嘘つきから正直を正確に特定する（正確）（2）両方のクラスの各人を特定する（思い出してください）場合を考えてみましょう。つまり、両方の指標で適切に機能するモデルを選択します。

モデル選択の決定では、2つの指標の平均に基づいて各モデルを評価しようとします。Fスコアが最適です。これを説明できます。式を見てみましょう。

$$リコール：\ text {r} = \ frac {tp} {tp + fn} $$

$$精度：\ text {p} = \ frac {tp} {tp + fp} $$

$$ Fscore：\ text {f1} = \ frac {2} {\ frac {1} {r} + \ frac {1} {p }} $$

ご覧のとおり、リコールが高い AND の精度が高いほど、Fスコアが高くなります。

Fメジャー方程式を書くことができます http://e.hiphotos.baidu.com/baike/s%3D118/sign=e8083e4396dda144de0968b38ab6d009/f2deb48f8c5494ee14c095492cf5e0fe98257e84.jpg 別の方法、たとえば$$ F_ \ beta = 1 /（（\ beta ^ 2 /（\ beta ^ 2 + 1））1 / r +（1 /（\ beta ^ 2 + 1））1 / p）$$したがって、$β^ 2 < 1 $の場合、$ p $の方が重要です（または、より大きくなると、より高い$ F_ \ beta $）。

F1スコアが適合率と再現率の調和平均であることを知っている場合、以下はそれらについて少し簡単に説明します。

再現率は偽陰性に関するものです。つまり、再現率が高いほど、偽陰性が少ないことを意味します。

$$ \ text {Recall} = \ frac {tp} {tp + fn} $$

同じくらい FNまたはゼロFNが少ないということは、モデルの予測が非常に優れていることを意味します。

精度が高いということは、 FALSE POSITIVES $$ \ text {Precision} = \ frac {tp} {tp + fp} $$