ㅁ 평가지표

ㅇ 정의:
모델의 성능을 평가하기 위해 사용되는 기준으로, 정밀도와 재현율의 관계를 시각적으로 표현한 그래프.

ㅇ 특징:
– 정밀도(Precision)와 재현율(Recall)의 상호작용을 보여줌.
– 모델의 임계값 변화에 따른 성능 변화를 시각화 가능.
– PR Curve 아래 면적(AUC-PR)이 클수록 모델의 성능이 우수함.

ㅇ 적합한 경우:
– 데이터가 불균형한 경우, 특히 클래스 간 비율 차이가 클 때.
– 이진 분류 문제에서 모델의 임계값에 따른 성능 변화를 분석할 때.

ㅇ 시험 함정:
– PR Curve와 ROC Curve를 혼동하여 해석하는 경우.
– AUC-PR이 높다고 항상 모든 상황에서 모델이 우수하다고 단정짓는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
1. PR Curve는 정밀도와 재현율의 관계를 시각화한 것이다. (O)
2. PR Curve는 다중 클래스 분류 문제에서만 사용된다. (X)
3. PR Curve의 AUC 값이 클수록 성능이 나쁘다. (X)
4. PR Curve는 임계값 변화에 따른 모델의 성능을 이해하는 데 유용하다. (O)

ㅁ 추가 학습 내용

PR Curve와 ROC Curve는 분류 모델의 성능을 평가하는 데 사용되는 두 가지 대표적인 그래프입니다. 이들의 주요 차이점과 활용 사례는 다음과 같습니다:

1. **PR Curve (Precision-Recall Curve)**:
– 주요 특징: Precision(정밀도)과 Recall(재현율)을 비교하여 모델의 성능을 평가하는 그래프입니다.
– 활용 사례: 데이터가 불균형한 경우에 특히 유용합니다. 예를 들어, 긍정 클래스(Positive Class)가 전체 데이터에서 매우 적은 비율을 차지하는 상황에서 PR Curve는 모델의 성능을 더 효과적으로 보여줍니다.
– AUC 계산 방법: PR Curve의 AUC(Area Under Curve)는 Precision과 Recall 간의 관계를 나타내는 곡선 아래의 면적을 계산합니다. 이 값이 클수록 모델이 불균형 데이터에서 긍정 클래스를 잘 예측한다고 볼 수 있습니다.
– 실제 적용 사례: 스팸 이메일 분류, 희귀 질병 진단 등 긍정 클래스의 비율이 낮은 문제에서 사용됩니다.

2. **ROC Curve (Receiver Operating Characteristic Curve)**:
– 주요 특징: TPR(True Positive Rate, 민감도)와 FPR(False Positive Rate, 위양성률)을 비교하여 모델의 전체적인 분류 성능을 평가하는 그래프입니다.
– 활용 사례: 데이터가 균형을 이루거나, 전체적인 분류 성능을 평가하고자 할 때 적합합니다. ROC Curve는 클래스 간 비율에 관계없이 모델의 전반적인 분류 성능을 보여줍니다.
– AUC 계산 방법: ROC Curve의 AUC는 TPR과 FPR 간의 관계를 나타내는 곡선 아래의 면적을 계산하며, 이 값이 클수록 모델의 전반적인 분류 성능이 좋다고 볼 수 있습니다.
– 실제 적용 사례: 의료 영상 분석, 일반적인 이진 분류 문제 등에서 사용됩니다.

결론적으로, PR Curve는 데이터가 불균형할 때 긍정 클래스 예측 성능을 평가하는 데 적합하며, ROC Curve는 전체적인 분류 성능을 평가하는 데 유용합니다. 시험 대비를 위해 PR Curve의 AUC 계산 방식과 불균형 데이터에서의 활용 사례를 추가 학습하는 것이 중요합니다. ROC Curve는 TPR과 FPR의 개념을 명확히 이해하고, 균형 데이터에서의 적용 사례를 학습하는 것이 도움이 됩니다.