f-measure 값의 차이를 해석하는 방법을 알고 싶습니다. f- 측정이 정밀도와 재현율 사이의 균형 잡힌 평균이라는 것을 알고 있지만 F- 측정 차이의 실제적인 의미에 대해 묻고 있습니다.
예를 들어 분류기 C1의 정확도가 0.4 인 경우 그리고 또 다른 분류기 C2의 정확도는 0.8이면 C2가 C1과 비교하여 테스트 예제의 이중을 올바르게 분류했다고 말할 수 있습니다. 그러나 분류기 C1이 특정 클래스에 대해 F- 측정 값이 0.4이고 다른 분류기 C2가 F- 측정 값이 0.8 인 경우 두 분류기의 성능 차이에 대해 무엇을 말할 수 있습니까? C2가 C1보다 X 개의 인스턴스를 더 정확하게 분류했다고 말할 수 있습니까?
댓글
- ' F-measure가 기능이기 때문에 많은 것을 말할 수 있는지 잘 모르겠습니다. 정밀도와 재현율 모두 : en.wikipedia.org/wiki/F1_score . 하지만 수학을 수행하고 하나 (정밀도 또는 재현율)를 상수로 유지하고 다른 것에 대해 말할 수 있습니다.
답변
F 측정 값의 직관적 인 의미는 “단지 결합 된 측정 항목이기 때문에 생각할 수 없습니다. F 측정 값보다 더 직관적 인 것은 물론 정밀도와 재현율입니다.
그러나 두 값을 사용하면 한 알고리즘이 다른 알고리즘보다 우수한지 여부를 확인할 수없는 경우가 많습니다. 예를 들어, 한 알고리즘이 다른 알고리즘보다 정밀도는 높지만 재현율이 낮다면 어떤 알고리즘이 더 나은지 어떻게 알 수 있습니까?
“정밀도가 왕입니다. 나는 아닙니다”와 같은 구체적인 목표가있는 경우 리콜에 신경 쓰지 않는다 “면 문제 없습니다. 정밀도가 높을수록 좋습니다. 그러나 그렇게 강력한 목표가 없다면 결합 된 메트릭이 필요합니다. 이것이 바로 F- 측정입니다. 이를 사용하면 정밀도와 재현율을 비교할 수 있습니다.
ROC 곡선은 종종 F- 측정을 나타내는 그려집니다. ROC 곡선을 포함한 여러 측정 값에 대한 설명이 포함되어 있으므로이 기사가 흥미로울 수 있습니다. http://binf.gmu.edu/mmasso/ROC101.pdf
답변
F1 점수의 중요성은 시나리오에 따라 다릅니다. 대상 변수가 이진 레이블이라고 가정하겠습니다.
- 균형 클래스 :이 상황에서는 F1 점수를 효과적으로 무시할 수 있으며 오 분류 율이 핵심입니다.
- 불균형 클래스이지만 두 클래스가 모두 중요합니다. 클래스 분포가 매우 치우친 경우 (예 : 80:20 또는 90:10) 분류자는 단순히 다수 클래스를 선택하여 낮은 오 분류 비율을 얻을 수 있습니다. 이러한 상황에서 저는 두 클래스 모두에서 높은 F1 점수와 낮은 오 분류 율을 얻는 분류기를 선택합니다. 낮은 F1 점수를받는 분류기는 간과해야합니다.
- 불균형 클래스이지만 다른 클래스보다 더 중요한 경우 한 클래스. 예 : 사기 감지에서는 사기성이 아닌 인스턴스에 레이블을 지정하는 것보다 인스턴스를 사기성으로 올바르게 레이블을 지정하는 것이 더 중요합니다. 이 경우 중요한 클래스에서만 F1 점수가 좋은 분류기를 선택합니다. F1 점수는 클래스별로 제공됩니다.
답변
F- 측정은 직관적 인 의미를 갖습니다. 분류 기가 얼마나 정확한지 (올바르게 분류하는 인스턴스 수)와 견고 함 (많은 인스턴스를 놓치지 않음)을 알려줍니다.
정확도는 높지만 재현율이 낮은 분류기는 매우 정확하지만 분류하기 어려운 많은 인스턴스를 놓칩니다. 별로 유용하지 않습니다.
이 히스토그램을 살펴보세요. 
원래 목적을 무시합니다.
오른쪽으로 이동하면 높은 정밀도, 낮은 재현율. 점수가 0.9 이상인 인스턴스 만 선택하면 분류 된 인스턴스가 매우 정확 해지지 만 상당수의 인스턴스를 놓쳤을 것입니다. 실험에 따르면 여기서 스위트 스팟은 약 0.76이며 F- 측정 값은 0.87입니다.
댓글
- 마지막 단락은 오해의 소지가 있습니다. 적용 위치에 대한 컨텍스트 없이는 " 좋거나 나쁨 " 점수에 대한 개념이 없습니다. 특정 설정에서는 60 %가 최첨단이고 다른 설정에서는 95 %가 허용 할 수 없을 정도로 낮을 수 있습니다.
답변
F 측정 값은 정밀도와 재현율의 조화 평균입니다. 대부분의 상황에서 정밀도와 재현율 사이에는 절충안이 있습니다. 분류기를 최적화하여 하나를 늘리고 다른 하나를 선호하지 않으면 조화 평균이 빠르게 감소합니다. 그러나 정밀도와 재현율이 모두 같을 때 가장 좋습니다.
분류 자에 대한 F- 측정 값이 0.4와 0.8이면 재현율에 대한 정밀도의 가중치를 매길 때 최대 값이 달성 된 곳에서 이러한 측정 값을 얻을 수 있습니다.
시각적으로 참조하려면 Wikipedia 에서이 그림을 살펴보세요.
F 측정 값은 H입니다. div id = “07d495867d”>
, A 및 B 는 재현율과 정밀도입니다. 하나를 늘릴 수 있지만 다른 하나는 감소합니다.
댓글
- " 교차를 찾았습니다. 사다리 " 시각화는 좀 더 간단합니다. 저에게는 A = B의 평등을 만들어 가장 큰 H를 더 직관적으로 만듭니다.
답변
Y 축의 정밀도와 x 축의 재현율로 레벨 곡선 $ F _ {\ beta} $의 기울기는 ( 1, 1)은 $ -1 / \ beta ^ 2 $입니다.
$$ P = \ frac {TP} {TP + FP} $$ 및 $$ R = \ frac {TP} { TP + FN} $$, $ \ alpha $를 거짓 양성에 대한 거짓 음성 비용의 비율이라고합니다. 그러면 총 오류 비용은 $$ \ alpha \ frac {1-R} {R} + \ frac {1-P} {P}. $$에 비례하므로 (1, 1)에서 레벨 곡선의 기울기는 다음과 같습니다. $-\ alpha $. 따라서 $ F _ {\ beta} $를 사용하는 좋은 모델의 경우 위음성이 위양성보다 $ \ beta ^ 2 $ 배 더 비싸다고 간주합니다.
답변
F- 측정 공식 (F1, 베타 = 1)은 물리학에서 병렬로 배치 된 두 개의 저항으로 구성된 등가 저항을 제공하는 공식과 동일합니다 (요소 2는 잊어 버림).
이것은 가능한 해석을 제공 할 수 있으며 전자 또는 열 저항 모두에 대해 생각할 수 있습니다. 이 비유는 F- 측정을 감도와 정밀도가 병렬로 배치 된 등가 저항으로 정의합니다.
F- 측정의 경우 가능한 최대 값은 1이며, 두 사람 중 하나가 저항을 풀 자마자 저항을 풀게됩니다 (즉, 1 미만의 값을 얻음). 이 양과 그 역학을 더 잘 이해하고 싶다면 물리적 현상에 대해 생각해보십시오. 예를 들어 F- 측정 < = max (sensitivity, precision)로 나타납니다.
답변
f1 점수의 가장 직관적 인 의미는 재현율과 정밀도의 평균으로 인식됩니다. 정리해 보겠습니다.
분류 작업에서 높은 정밀도 그리고 회상. 예를 들어, 사람이 정직한 지 아닌지를 알려주는 분류기입니다.
정확성을 위해 일반적으로 얼마나 많은 정직한 사람인지 정확하게 말할 수 있습니다. 이 경우 높은 정밀도를 고려할 때 거짓말 쟁이를 정직하지만 자주는 아닌 것으로 잘못 분류 할 수 있다고 가정합니다. 즉, 여기서는 거짓말 쟁이를 정직과 전체 그룹으로 구분하려고합니다. .
하지만, 거짓말 쟁이가 정직하다고 생각한다면 정말 걱정이 될 것입니다. 당신에게 이것은 큰 손실과 큰 실수가 될 것이고 당신은 그것을 원하지 않을 것입니다. 다시. 또한 정직한 사람을 거짓말 쟁이로 분류해도 괜찮지 만 모델이 거짓말 쟁이를 정직하다고 주장해서는 안됩니다. 즉, 여기서는 특정 클래스에 초점을 맞추고 있습니다. 이에 대해 실수하십시오.
이제 모델이 (1) 거짓말 쟁이로부터 정직한 사람을 정확하게 식별 (정밀도) (2) 두 클래스에서 각 사람을 식별 (회상)하기를 원하는 경우를 생각해 봅시다. 즉, 두 측정 항목 모두에서 실적이 좋은 모델을 선택하게됩니다.
그러면 모델 선택 결정은 두 측정 항목의 평균을 기반으로 각 모델을 평가하려고 할 것입니다. F- 점수가 가장 좋습니다. 이를 설명 할 수 있습니다. 공식을 살펴 보겠습니다.
$$ 회상 : \ text {r} = \ frac {tp} {tp + fn} $$
$$ 정밀도 : \ text {p} = \ frac {tp} {tp + fp} $$
$$ Fscore : \ text {f1} = \ frac {2} {\ frac {1} {r} + \ frac {1} {p }} $$
보시다시피 재현율이 높을수록 그리고 정밀도 일수록 F 점수가 높아집니다.
답변
F 측정 방정식을 작성할 수 있습니다. http://e.hiphotos.baidu.com/baike/s%3D118/sign=e8083e4396dda144de0968b38ab6d009/f2deb48f8c5494ee14c095492cf5e0fe98257e84.jpg 다른 방식으로 $$ F_ \ beta = 1 / ((\ beta ^ 2 / (\ beta ^ 2 + 1)) 1 / r + (1 / (\ beta ^ 2 + 1)) 1 / p) $$ 따라서 $ β ^ 2 < 1 $ 일 때 $ p $가 더 중요해야합니다 (또는 더 높은 $ F_ \ beta $).
답변
F1 점수가 정밀도와 재현율의 조화 적 평균이라는 것을 알면 다음과 같습니다. 이에 대해 간략히 설명합니다.
재현율은 거짓 음성에 관한 것입니다. “07d495867d”>
.
$$ \ text {Recall} = \ frac {tp} {tp + fn} $$
대부분 FN 또는 0 FN이 적다는 것은 모델 예측이 정말 좋습니다.
높은 정밀도는 더 적은 FALSE POSITIVES $$ \ text {Precision} = \ frac {tp} {tp + fp} $$
여기에서 동일 , Less 또는 Zero False Positives는 모델 예측이 정말 좋다는 것을 의미합니다.