混同行列を作成し、精度値と幾何平均(g-mean)を取得しようとしました。精度は約0.83で、g-meanは約0.91であることがわかりました。可能性はありますか、それとも測定値の計算中に間違いがありますか?

回答

注:この回答はusεr11852

2×2の混同行列の場合、精度は通常次のように定義されます。

$$ \ text {Accuracy} = \ frac {TP + TN} {TP + FP + FN + TN} $$

g-meanは次のように定義されます(たとえば、Espindola & Ebecken 2005を参照)

$$ g_ {PR} = \ sqrt {\ text {Precision} \ times \ text {Recall}} $$

または

$$ g_ {SS} = \ sqrt {\ text {Sensitivity} \ times \ text {Specificity}} $$

Where $$ text {Precision} = \ frac {TP} {TP + FP} $ $ \ text {Recall} = \ text {Sensitivity} = \ frac {TP} { TP + FN} $ 、および $ \ text {Specificity} = \ frac {TN} {TN + FP} $

これらのt 2つの定義は異なる結果をもたらすため、どちらが使用されているかを明確にすることが重要です。 $ g_ {PR} $ $ g_ {SS} $ は、この回答の私の表記であり、一般的に使用されない表記法。

$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP)(TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ times TN}} {\ sqrt {(TP + FN)(TN + FP)}} \ end {align} $$

精度と $ g_ {SS} $ ですが、 $ g_ {PR} $ ではありません。

精度は悪い指標です。なぜなら、テスト/モデルは非常に悪い場合がありますが、TNが多数ある場合は精度が高いように見えます。また、情報の取得など、状況によっては意味がない理由もあります(TNは重要ではなく、定義することさえ困難です)。

精度が $ g_ {PR} $ および/または $未満の例をいくつか示します。 g_ {SS} $ :

したがって、あなたの質問に答えると、精度がg-meanよりも低いことは完全に妥当ですが、どのg-meanが使用されているかを確認する価値があります。

R。 P.エスピンドラ& N. F.F.エベッケン。 (2005)FメジャーおよびG平均メトリックをマルチクラス問題に拡張することについて。情報通信技術に関するWITトランザクション。巻35.pp。25-34。

コメント

  • これは、g-平均は、リコール(感度)と特異度の観点から定義されることがよくあります。 Kubat & Matwin(1997)ICML。適合率:再現率の観点からg-meanを定義する公開された論文を指摘していただけますか?
  • ありがとう@usεr118522つの代替定義を反映するように回答を更新しました。
  • クール。ありがとう。 (+1)あなたの答えに関係なく、E & Eが現れるのではないかと思いました… Espindola & Ebecken(2005)はKubatを引用しています。 Hulte & Matwin(1998)は、適合率再現率を使用した$ g $ -meanについて説明しています。 Kubat etal。 (1998)$ g_ {PR} $のソフトな定義を行い、Lewis & Gale(1994)をL & W( 1994)幾何平均についてはまったく触れていません。一般的に、$ g_ {PR} $の使用は非常に疑わしいと思います。どちらかといえば、$ g_ {PR} $の調査で言及されているのは、vanRijsbergenによる"情報検索"だけです。ここで、ポイント全体は使用せず、代わりに$ F $スコアを使用します。
  • 優れたコンテキストを提供してくれた@usεr11852に感謝します。 'この分野で働いてからしばらく経ち(2011年)、通常はFスコアのみを使用します。

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です