混同行列を作成し、精度値と幾何平均(g-mean)を取得しようとしました。精度は約0.83で、g-meanは約0.91であることがわかりました。可能性はありますか、それとも測定値の計算中に間違いがありますか?
回答
注:この回答はusεr11852
2×2の混同行列の場合、精度は通常次のように定義されます。
$$ \ text {Accuracy} = \ frac {TP + TN} {TP + FP + FN + TN} $$
g-meanは次のように定義されます(たとえば、Espindola & Ebecken 2005を参照)
$$ g_ {PR} = \ sqrt {\ text {Precision} \ times \ text {Recall}} $$
または
$$ g_ {SS} = \ sqrt {\ text {Sensitivity} \ times \ text {Specificity}} $$
Where $$ text {Precision} = \ frac {TP} {TP + FP} $ 、 $ \ text {Recall} = \ text {Sensitivity} = \ frac {TP} { TP + FN} $ 、および $ \ text {Specificity} = \ frac {TN} {TN + FP} $ 。
これらのt 2つの定義は異なる結果をもたらすため、どちらが使用されているかを明確にすることが重要です。 $ g_ {PR} $ と
$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP)(TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ times TN}} {\ sqrt {(TP + FN)(TN + FP)}} \ end {align} $$
精度と
精度は悪い指標です。なぜなら、テスト/モデルは非常に悪い場合がありますが、TNが多数ある場合は精度が高いように見えます。また、情報の取得など、状況によっては意味がない理由もあります(TNは重要ではなく、定義することさえ困難です)。
精度が
したがって、あなたの質問に答えると、精度がg-meanよりも低いことは完全に妥当ですが、どのg-meanが使用されているかを確認する価値があります。
R。 P.エスピンドラ& N. F.F.エベッケン。 (2005)FメジャーおよびG平均メトリックをマルチクラス問題に拡張することについて。情報通信技術に関するWITトランザクション。巻35.pp。25-34。
コメント
- これは、g-平均は、リコール(感度)と特異度の観点から定義されることがよくあります。 Kubat & Matwin(1997)ICML。適合率:再現率の観点からg-meanを定義する公開された論文を指摘していただけますか?
- ありがとう@usεr118522つの代替定義を反映するように回答を更新しました。
- クール。ありがとう。 (+1)あなたの答えに関係なく、E & Eが現れるのではないかと思いました… Espindola & Ebecken(2005)はKubatを引用しています。 Hulte & Matwin(1998)は、適合率再現率を使用した$ g $ -meanについて説明しています。 Kubat etal。 (1998)$ g_ {PR} $のソフトな定義を行い、Lewis & Gale(1994)をL & W( 1994)幾何平均についてはまったく触れていません。一般的に、$ g_ {PR} $の使用は非常に疑わしいと思います。どちらかといえば、$ g_ {PR} $の調査で言及されているのは、vanRijsbergenによる"情報検索"だけです。ここで、ポイント全体は使用せず、代わりに$ F $スコアを使用します。
- 優れたコンテキストを提供してくれた@usεr11852に感謝します。 'この分野で働いてからしばらく経ち(2011年)、通常はFスコアのみを使用します。