https://walkaroundthedevelop.tistory.com/80
Precision과 Recall, 그리고 f1 score
참고 : https://jinmc.github.io/ds_blog/posts/ml_andrew_ng/wk6/ 오늘은 Precision과 Recall, mAP에 대해서 정리해보도록 하겠습니다. 예를 들어서, 100명의 사람과 10명의 암환자가 있다고 생각해 봅시다. 암환자 입장
walkaroundthedevelop.tistory.com
기초 개념은 위의 포스팅에서 썼던 precision과 Recall의 관계에 있습니다.
FPR(False Positive Rate)을 사용합니다. 우리가 사용했던 Precision의 경우 False Positive와 True positive를 사용하지만, True positive를 분자로 하는 대신 False positive 를 분자로 사용하기 때문에, 1 - Precision이라고 보면 되겠네요. 반대로 True Positive Rate의 경우 True positive와 False Negative를 사용하고, Recall과 같다고 보면 될것 같습니다.
ROC(Receiver operating characteristic) Curve 는, classification model의 threshold value 를 변할 때의 TPR값과 FPR값의 변화를 나타내는 그래프입니다.
Precision과 Recall은 반비례 관계지만, FPR과 TPR은 비례 관계임을 알 수 있습니다. AUC의 경우 이 그래프의 아래 적분 값을 의미합니다. (0,0) 부터 (1,1)을 말하네요.
AUC의 의미는, 모든 threshold에서의 performance를 의미합니다. 당연히 FPR은 작을수록 좋고, TPR은 클수록 좋기 때문에, 둘 사이의 균형점을 찾아야겠죠. 또한, AUC의 의미는, Random Positive example이 Random Negative Example보다 얼마나 바깥족에 있는지를 의미한다고 합니다. AUC는 모든 threshold를 다 계산하기 때문에, 극단적으로 TPR이나 FPR을 중요시하는 경우 사용하기 힘들다고도 합니다.
reference : https://developers.google.com/machine-learning/crash-course/classification/roc-and-auc