ㅁ 평가지표

ㅇ 정의: 모델의 예측 결과 중에서 실제로 맞춘 비율을 측정하는 지표로, True Positive를 (True Positive + False Positive)로 나눈 값.

ㅇ 특징: 분류 모델의 정확도를 측정할 때, 특히 False Positive를 줄이는 것이 중요한 경우에 유용. Precision이 높을수록 모델이 예측한 Positive 값이 신뢰할 수 있음을 의미.

ㅇ 적합한 경우: 스팸 메일 필터링처럼 False Positive를 줄이는 것이 중요한 경우, 의료 진단에서 질병이 없는 사람을 잘못 진단하지 않아야 하는 경우.

ㅇ 시험 함정: Precision과 Recall을 혼동하여 사용하는 경우, Precision은 False Negative를 고려하지 않는다는 점을 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:

1. Precision은 True Positive와 False Negative를 합한 값으로 나눈다. (X)
2. Precision은 모델이 Positive로 예측한 것 중 실제 Positive인 비율을 나타낸다. (O)
3. Precision은 항상 Recall과 반비례 관계에 있다. (X)

ㅁ 추가 학습 내용

F1-Score는 Precision과 Recall의 조화 평균으로, 두 지표 간의 균형을 평가하는 데 매우 유용합니다. Precision은 모델이 예측한 긍정 사례 중 실제로 긍정인 비율을 나타내며, Recall은 실제 긍정 사례 중 모델이 올바르게 예측한 비율을 나타냅니다. 이 두 지표는 서로 상충 관계에 있을 수 있으며, F1-Score는 이들 간의 균형을 통해 모델의 전반적인 성능을 평가하는 데 도움을 줍니다.

F1-Score는 특히 클래스 불균형 문제가 있는 데이터셋에서 유용합니다. 데이터셋 내 특정 클래스가 다른 클래스보다 훨씬 적은 경우 Accuracy만으로는 모델 성능을 제대로 평가하기 어려울 수 있습니다. 이때 F1-Score를 사용하면 Precision과 Recall을 함께 고려하여 모델이 얼마나 효율적으로 긍정 사례를 예측했는지 확인할 수 있습니다.

Precision과 Recall의 상충 관계를 이해하기 위해 Precision-Recall Curve를 활용할 수 있습니다. 이 곡선은 모델의 다양한 임계값(threshold)에서 Precision과 Recall의 변화를 시각화한 것으로, 특정 임계값에서 Precision과 Recall이 어떻게 영향을 받는지 보여줍니다. 일반적으로 임계값을 높이면 Precision은 증가하지만 Recall은 감소하는 경향이 있고, 임계값을 낮추면 Recall은 증가하지만 Precision은 감소하는 경향이 있습니다. 이를 통해 모델의 임계값을 조정하여 원하는 성능을 달성할 수 있습니다.

학습 시 F1-Score 계산 방법, Precision과 Recall의 정의 및 수식, Precision-Recall Curve의 해석 방법을 구체적으로 익히는 것이 중요합니다. 또한, 실제 데이터셋을 사용하여 F1-Score와 Precision-Recall Curve를 계산하고 분석하는 실습을 통해 개념을 명확히 이해할 수 있습니다.