ㅁ 평가지표

ㅇ 정의:
모델의 예측 성능을 평가하기 위해 사용되는 기준으로, 주로 분류 모델에서 사용됨.

ㅇ 특징:
– 데이터의 분포와 모델의 특성에 따라 적합한 지표를 선택해야 함.
– 정확도, 정밀도, 재현율, F1 스코어, AUC-ROC 등 다양한 지표가 존재.

ㅇ 적합한 경우:
– 모델 성능을 다각도로 평가하고 싶을 때.
– 특정 지표가 모델 성능을 왜곡할 가능성이 있을 때.

ㅇ 시험 함정:
– 모든 지표가 동일한 중요도를 갖는 것은 아님.
– 데이터 불균형 상황에서 정확도만을 기준으로 판단하면 오해의 소지가 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 데이터 불균형 상황에서는 AUC-ROC와 같은 지표를 활용하는 것이 적합하다.
– X: 모든 상황에서 정확도만으로 모델 성능을 평가할 수 있다.

================================

1. AUC-ROC

ㅇ 정의:
AUC-ROC는 이진 분류 모델의 성능을 평가하기 위한 지표로, ROC 곡선 아래의 면적(AUC)을 계산하여 모델의 예측력을 나타냄.

ㅇ 특징:
– AUC 값은 0.5에서 1 사이의 값을 가지며, 1에 가까울수록 모델의 성능이 우수함을 의미.
– 데이터 불균형 상황에서도 비교적 신뢰할 수 있는 지표로 평가됨.
– TPR(참 긍정률)과 FPR(거짓 긍정률)의 관계를 시각적으로 표현.

ㅇ 적합한 경우:
– 이진 분류 문제에서 모델의 전반적인 성능을 평가하고자 할 때.
– 데이터 불균형 상황에서 모델의 성능을 비교하고자 할 때.

ㅇ 시험 함정:
– AUC 값이 높다고 해서 반드시 모델이 모든 상황에서 우수한 것은 아님.
– AUC-ROC 외에도 다른 지표를 함께 고려해야 함.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: AUC-ROC는 데이터 불균형 상황에서도 유용한 평가 지표이다.
– X: AUC-ROC 값이 0.5보다 작으면 모델은 무작위 추측보다 나쁘다.

================================

ㅁ 추가 학습 내용

AUC-ROC와 PRC(Precision-Recall Curve)는 모델 성능을 평가하는 데 사용되는 중요한 지표입니다. 특히 데이터의 특성과 문제 상황에 따라 적합한 지표를 선택하는 것이 중요합니다.

1. **AUC-ROC (Area Under the Receiver Operating Characteristic Curve)**:
– AUC-ROC는 모델의 분류 성능을 평가하는 데 사용되며, 모든 임계값에서의 TPR(참양성 비율, Sensitivity)과 FPR(거짓양성 비율, 1-Specificity)의 관계를 시각화한 곡선입니다.
– AUC 값은 모델이 임의의 양성과 음성 샘플을 구분할 수 있는 능력을 나타냅니다. 값이 1에 가까울수록 모델 성능이 우수함을 의미합니다.
– 데이터가 균형 잡힌 상황에서 적합하며, 양성과 음성 클래스 간의 분류 능력을 종합적으로 평가합니다.

2. **PRC (Precision-Recall Curve)**:
– PRC는 Precision(정밀도)과 Recall(재현율)의 관계를 시각화한 곡선으로, 특히 데이터 불균형 상황에서 유용합니다.
– Precision은 모델이 양성으로 예측한 샘플 중 실제로 양성인 샘플의 비율을 나타내며, Recall은 실제 양성 샘플 중 모델이 올바르게 예측한 비율을 나타냅니다.
– 데이터 불균형 상황에서는 AUC-ROC가 높은 FPR(거짓양성 비율)에 의해 왜곡될 수 있습니다. PRC는 양성 클래스에 더 집중하여 모델 성능을 평가하기 때문에 불균형 데이터에 적합합니다.

3. **PRC 활용 방법**:
– PRC 곡선을 그려 Precision과 Recall의 변화를 시각적으로 확인합니다.
– PRC의 AUC 값(Area Under the Curve)을 계산하여 모델의 성능을 정량적으로 평가합니다. 높은 AUC 값은 모델이 양성 클래스에 대해 높은 Precision과 Recall을 유지함을 의미합니다.
– 특정 임계값에서 Precision과 Recall의 균형을 맞추거나, 문제의 요구사항에 따라 두 지표 중 하나를 우선시할 수 있습니다.

4. **AUC-ROC와 PRC 비교**:
– AUC-ROC는 전반적인 분류 성능을 평가하는 데 적합하며, 데이터가 균형 잡힌 경우 유용합니다.
– PRC는 양성 클래스에 집중하여 성능을 평가하며, 데이터 불균형 상황에서 더 적합합니다.
– 두 지표를 함께 사용하면 모델의 성능을 더 폭넓게 평가할 수 있습니다.

5. **실제 활용 사례**:
– 데이터 불균형 문제가 있는 의료 진단, 사기 탐지 등의 상황에서는 PRC를 활용하여 모델의 성능을 평가합니다.
– 데이터가 균형 잡힌 일반적인 분류 문제에서는 AUC-ROC를 사용하여 모델 성능을 평가합니다.

이와 같은 방법으로 AUC-ROC와 PRC를 적절히 활용하면 모델의 성능을 더욱 철저히 분석할 수 있습니다.