혼란 행렬을 만들고 정확도 값과 기하 평균 (g-mean)을 얻으려고했습니다. 정확도는 약 0.83이고 g- 평균은 약 0.91입니다. 측정 값을 계산할 때 가능합니까 아니면 실수가 있습니까?
답변
참고 :이 답변은 usεr11852
의 유용한 주석에 따라 편집 됨
2×2 혼동 행렬의 경우 정확도는 일반적으로 다음과 같이 정의됩니다.
$$ \ text {Accuracy} = \ frac {TP + TN} {TP + FP + FN + TN} $$
g-mean은 다음과 같이 정의되지만 (예 : Espindola & Ebecken 2005 참조)
$$ g_ {PR} = \ sqrt {\ text {Precision} \ times \ text {Recall}} $$
또는
$$ g_ {SS} = \ sqrt {\ text {Sensitivity} \ times \ text {Specificity}} $$
$ \ text {Precision} = \ frac {TP} {TP + FP} $ , $ \ text {Recall} = \ text {Sensitivity} = \ frac {TP} { TP + FN} $ 및 $ \ text {Specificity} = \ frac {TN} {TN + FP} $ .
이 t wo 정의는 다른 결과를 제공하므로 사용중인 것을 명확히하는 것이 중요합니다. $ g_ {PR} $ 및 $ g_ {SS} $ 는이 답변에 대한 제 표기법이며 일반적으로 사용되지 않는 표기법입니다.
$$ \ begin {align} g_ {PR} & = \ frac {TP } {\ sqrt {(TP + FP) (TP + FN)}} \\ g_ {SS} & = \ frac {\ sqrt {TP \ times TN}} {\ sqrt {(TP + FN) (TN + FP)}} \ end {align} $$
정확도 및 $ g_ {SS} $ 이지만 $ g_ {PR} $ 에는 해당되지 않습니다.
정확성은 잘못된 측정입니다. 테스트 / 모델은 상당히 나쁠 수 있지만 TN이 많으면 정확성이 좋은 것처럼 보이며 정보 검색 (TN이 관심이없고 정의하기 어려운 경우)과 같은 일부 상황에서 의미가없는 이유는 무엇입니까?
다음은 정확도가 $ g_ {PR} $ 및 / 또는 $ 미만인 몇 가지 예입니다. g_ {SS} $ :
그러므로 귀하의 질문에 대한 답변으로 정확도가 g- 평균보다 낮은 것은 전적으로 그럴듯하지만 어떤 g- 평균을 사용하고 있는지 확인하는 것이 좋습니다.
R. P. Espindola & N. F. F. Ebecken. (2005) F-measure 및 G-mean 메트릭을 다중 클래스 문제로 확장. 정보 및 통신 기술에 대한 WIT 거래. Vol. 35. pp. 25-34.
댓글
- g- mean은 Recall (Sensitivity) 및 Specificity 측면에서 매우 자주 정의됩니다. Kubat & Matwin (1997) ICML. Precision : Recall 측면에서 g-mean을 정의하는 출판 된 논문을 말씀해 주시겠습니까?
- @ usεr11852에게 감사드립니다. 두 가지 대체 정의를 반영하도록 답변을 업데이트했습니다.
- 멋지네요. . 감사. (+1) 귀하의 답변에 관계없이 E & E가 나올 것이라고 생각했습니다 … Espindola & Ebecken (2005)은 Kubat를 인용합니다. Hulte & Matwin (1998)이 Precision-Recall을 사용하는 $ g $-평균에 대해 설명했습니다. Kubat et al. (1998) L & W 여부에 관계없이 $ g_ {PR} $에 대한 부드러운 정의를하고 Lewis & Gale (1994)을 인용합니다. 1994) 기하학적 평균을 전혀 언급하지 않습니다. 일반적으로 $ g_ {PR} $의 사용은 매우 모호하다고 생각합니다. $ g_ {PR} $ 검토에서 언급 된 유일한 공식 참조는 van Rijsbergen의 " 정보 검색 "입니다. 전체 포인트는 그것을 사용하고 대신 $ F $ 점수를 사용하는 것이 아닙니다 .
- 우수한 맥락을 위해 @ usεr11852에게 감사드립니다. '이 분야에서 일한지 (2011 년) 한참 지났으며 일반적으로 F 점수 만 사용합니다.