AI 모델 개발: 평가지표 – Accuracy
ㅁ 평가지표
ㅇ 정의:
분류 모델의 예측 결과가 실제 값과 일치하는 비율을 나타내는 지표로, 전체 데이터 중에서 올바르게 예측한 비율을 계산한다.
ㅇ 특징:
– 계산이 간단하고 직관적이다.
– 클래스 불균형이 심한 데이터셋에서는 높은 Accuracy가 실제 성능을 반영하지 못할 수 있다.
– 모든 클래스가 동일한 중요도를 가질 때 유효하다.
ㅇ 적합한 경우:
– 클래스 분포가 균등한 분류 문제.
– 모델의 전반적인 성능을 빠르게 파악할 때.
ㅇ 시험 함정:
– 클래스 불균형 상황에서 Accuracy만 보고 모델이 우수하다고 판단하는 것은 잘못이다.
– 회귀 문제에는 Accuracy 개념을 적용할 수 없다.
ㅇ 시험 대비 “패턴 보기” 예시:
O: “Accuracy는 전체 예측 중 정답 비율을 의미한다.”
O: “클래스가 균등 분포일 때 Accuracy는 모델 성능을 잘 반영한다.”
X: “Accuracy는 클래스 불균형 상황에서도 항상 신뢰할 수 있는 지표이다.”
X: “Accuracy는 회귀 모델의 성능 평가에 사용된다.”
ㅁ 추가 학습 내용
분류 모델의 성능 평가는 Accuracy 외에도 Precision, Recall, F1-score, ROC-AUC 등을 함께 고려해야 한다.
이진 분류에서 클래스 불균형이 심하면 Accuracy만으로는 성능을 제대로 판단하기 어렵다. 이 경우 혼동행렬(confusion matrix)을 분석하여 각 클래스별 예측 결과를 확인하는 것이 중요하다.
시험에서는 Accuracy 계산 공식(정답 개수 ÷ 전체 샘플 수)을 직접 적용하는 문제나, 클래스 불균형 상황에서 Accuracy의 한계를 설명하는 문제가 자주 출제된다.
또한 Top-k Accuracy, Balanced Accuracy와 같은 변형 지표의 개념과 활용 방법도 알아두는 것이 좋다.