ㅁ 평가지표

ㅇ 정의:
분류 모델의 성능을 평가하기 위해 ROC 곡선 아래 면적(Area Under the Curve)을 계산한 값으로, 0~1 사이의 값을 가짐. 1에 가까울수록 분류 성능이 우수함.

ㅇ 특징:
– ROC 곡선은 TPR(민감도)과 FPR(1-특이도)의 관계를 나타냄.
– AUC는 클래스 불균형 데이터에서도 비교적 안정적인 성능 지표로 사용됨.
– 임계값(threshold)에 관계없이 모델의 전반적인 분류 성능을 평가 가능.

ㅇ 적합한 경우:
– 이진 분류 모델의 성능을 전반적으로 비교할 때.
– 클래스 비율이 불균형한 데이터셋 평가 시.
– 모델 선택 및 하이퍼파라미터 튜닝 시 성능 비교 지표로 활용.

ㅇ 시험 함정:
– AUC 값이 높더라도 실제 업무 임계값에서의 성능이 낮을 수 있음.
– 다중 클래스 분류에서는 바로 적용되지 않고, One-vs-Rest 방식 등으로 확장해야 함.
– AUC-PR(Precision-Recall)과 혼동하는 경우가 많음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “AUC-ROC는 임계값 변화에 따른 전체 분류 성능을 나타내는 지표이다.”
X: “AUC-ROC는 특정 임계값에서의 정확도를 나타낸다.”

ㅁ 추가 학습 내용

AUC-ROC와 AUC-PR의 차이
– AUC-ROC: ROC 곡선은 TPR(민감도)과 FPR(1-특이도)의 관계를 나타냄. 클래스 불균형이 심하지 않은 경우 성능 비교에 적합.
– AUC-PR: Precision-Recall 곡선의 면적. 클래스 불균형이 심할 때 더 의미 있는 평가 지표가 될 수 있음.

ROC 곡선 해석
– 대각선은 무작위 분류기의 성능을 의미함.
– AUC 값 해석: 0.5는 무작위 수준, 1은 완벽한 분류를 의미함.

TPR과 FPR 공식
– TPR = TP / (TP + FN)
– FPR = FP / (FP + TN)

다중 클래스 문제에서의 AUC 확장 방식
– One-vs-One: 각 클래스 쌍마다 ROC를 계산 후 평균. 클래스 수가 적을 때 유리하나, 클래스 수가 많으면 계산량이 증가.
– One-vs-Rest: 한 클래스와 나머지 클래스를 비교하여 ROC를 계산 후 평균. 계산이 단순하나, 클래스 불균형의 영향을 받을 수 있음.