ㅁ 평가지표

ㅇ 정의:
Precision(정밀도)와 Recall(재현율)의 관계를 시각적으로 나타낸 곡선으로, 분류 모델의 성능을 다양한 임계값(threshold)에서 평가하기 위해 사용됨.

ㅇ 특징:
– X축은 Recall, Y축은 Precision을 표시함.
– 임계값을 변화시키며 Precision과 Recall 값을 계산하여 곡선을 그림.
– 클래스 불균형이 심한 데이터셋에서 모델 성능을 평가할 때 유용.

ㅇ 적합한 경우:
– 양성 클래스가 희귀한 경우(예: 사기 탐지, 질병 진단).
– Precision과 Recall 간의 trade-off를 분석해야 하는 경우.

ㅇ 시험 함정:
– PR Curve는 ROC Curve와 혼동하기 쉬움. ROC Curve는 TPR과 FPR을 사용.
– PR Curve의 AUC는 ROC AUC와 값이 다르며, 특히 불균형 데이터에서 PR AUC가 더 민감.
– Recall이 높다고 해서 Precision이 항상 높은 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: PR Curve는 Precision과 Recall의 관계를 나타낸다.
X: PR Curve의 X축은 FPR이다.
X: PR Curve는 클래스 비율이 균형일 때만 유용하다.

ㅁ 추가 학습 내용

PR Curve 해석 시 임계값 변화에 따라 Precision과 Recall이 어떻게 변하는지 이해해야 한다.
모델이 극단적으로 모든 샘플을 양성으로 예측하면 Recall은 높지만 Precision은 낮아지고, 모든 샘플을 음성으로 예측하면 Precision과 Recall 모두 낮아진다.
PR AUC 값이 높을수록 모델이 양성 클래스 식별에 강점을 가진다.
마이크로 평균(micro-average) PR Curve는 전체 데이터의 TP, FP, FN을 합산하여 계산하며, 클래스 불균형이 있을 때 전체적인 성능을 평가하는 데 적합하다.
매크로 평균(macro-average) PR Curve는 각 클래스별 PR Curve를 계산한 후 평균을 내며, 클래스별 성능 차이를 반영하는 데 유용하다.
시험에서는 PR Curve와 ROC Curve의 차이를 비교하는 문제, Precision과 Recall 계산식을 직접 묻는 문제가 자주 출제된다.