ㅁ 평가지표

ㅇ 정의:
모델의 예측이 실제 정답과 얼마나 일치하는지를 측정하는 지표.

ㅇ 특징:
– 전체 데이터에서 올바르게 예측된 비율을 계산.
– 데이터셋이 불균형한 경우 정확도가 높아도 성능이 좋다고 할 수 없음.

ㅇ 적합한 경우:
– 클래스 간 데이터 비율이 균형 잡혀 있는 경우.
– 간단한 모델 성능 비교 시 사용.

ㅇ 시험 함정:
– 데이터 불균형 문제를 무시하고 Accuracy만으로 모델 성능을 평가하는 경우.
– 다른 평가지표(F1-Score, Precision, Recall 등)와 함께 사용하지 않는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. O: Accuracy는 전체 데이터 중 올바르게 예측된 샘플의 비율을 나타낸다.
2. X: Accuracy는 데이터가 불균형한 경우에도 항상 가장 적합한 평가지표이다.

ㅁ 추가 학습 내용

1. Accuracy: 모델이 올바르게 예측한 데이터의 비율을 나타내며, 전체 샘플 중에서 올바르게 분류된 샘플의 비율을 계산합니다. 데이터가 균형 잡혀 있을 때 유용하지만, 데이터 불균형 상황에서는 한계가 있습니다.

2. Precision: 모델이 양성으로 예측한 데이터 중 실제로 양성인 데이터의 비율을 측정합니다. “정밀도”라고도 하며, 계산식은 TP / (TP + FP)입니다. 데이터 불균형 상황에서 양성 클래스에 대한 예측의 신뢰도를 평가하는 데 중요합니다.

3. Recall: 실제 양성 데이터 중에서 모델이 올바르게 양성으로 예측한 데이터의 비율을 나타냅니다. “재현율” 또는 “민감도”라고도 하며, 계산식은 TP / (TP + FN)입니다. 데이터 불균형 상황에서 놓치지 않고 양성 클래스를 식별하는 능력을 평가하는 데 유용합니다.

4. F1-Score: Precision과 Recall의 조화 평균으로, 두 지표 간의 균형을 측정합니다. 계산식은 2 * (Precision * Recall) / (Precision + Recall)입니다. Precision과 Recall 간의 균형이 중요할 때 사용하며, 데이터 불균형 상황에서 모델 성능을 종합적으로 평가하는 데 효과적입니다.

5. ROC-AUC: Receiver Operating Characteristic (ROC) 곡선 아래의 면적을 나타내며, 모델의 분류 성능을 평가하는 데 사용됩니다. ROC 곡선은 True Positive Rate (Recall)와 False Positive Rate를 비교하여 모델의 분류 능력을 시각적으로 나타냅니다. AUC 값은 0에서 1 사이의 범위로, 1에 가까울수록 모델의 성능이 우수함을 의미합니다. 이진 분류 문제에서 중요한 보조 지표로 활용됩니다.

이러한 평가지표를 함께 학습하면 데이터 불균형 상황에서 모델의 성능을 더 정확히 평가할 수 있습니다. 각각의 지표가 어떤 상황에서 유용한지 이해하고, 필요에 따라 적절히 활용하는 것이 중요합니다.