ㅁ 지표 및 해석

1. 재현율(Recall)

ㅇ 정의:
– 실제 Positive 중에서 모델이 Positive로 정확히 예측한 비율.
– TP / (TP + FN)으로 계산.

ㅇ 특징:
– 민감도(Sensitivity)라고도 불림.
– 실제 Positive를 놓치지 않는 것이 중요한 경우 사용.
– 값이 높을수록 놓치는 사례(FN)가 적음.

ㅇ 적합한 경우:
– 질병 진단(암 검진 등)에서 환자를 놓치면 안 되는 경우.
– 사기 거래 탐지에서 놓치는 경우 피해가 큰 경우.

ㅇ 시험 함정:
– 재현율은 TN과 무관하다는 점.
– Precision과 혼동하기 쉬움.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “재현율은 실제 양성 중에서 올바르게 예측한 비율이다.”
– X: “재현율은 예측 양성 중에서 올바르게 예측한 비율이다.”

================================

2. 혼동 행렬

ㅇ 정의:
– 분류 모델의 성능을 TP, FP, TN, FN 네 가지 값으로 요약한 표.

ㅇ 특징:
– 각 클래스별 예측 결과를 직관적으로 파악 가능.
– 다중 클래스에서도 확장 가능.

ㅇ 적합한 경우:
– 모델의 오분류 원인을 분석할 때.
– 클래스별 불균형 영향 분석.

ㅇ 시험 함정:
– 행과 열의 정의(실제 vs 예측)가 시험마다 다를 수 있음.
– TP, FP, TN, FN 위치를 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “혼동 행렬은 TP, FP, TN, FN 값을 통해 모델 성능을 나타낸다.”
– X: “혼동 행렬은 재현율과 정밀도를 직접 계산하지 않는다.”

================================

3. 정밀도

ㅇ 정의:
– 예측 Positive 중에서 실제 Positive인 비율.
– TP / (TP + FP)로 계산.

ㅇ 특징:
– Positive 예측의 정확성을 나타냄.
– FP를 줄이는 데 초점.

ㅇ 적합한 경우:
– 스팸 메일 필터링에서 정상 메일을 스팸으로 분류하면 안 되는 경우.
– 법률 문서 검색에서 불필요한 문서 반환을 줄이는 경우.

ㅇ 시험 함정:
– Precision은 FN과 무관함.
– Recall과 혼동하기 쉬움.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “정밀도는 예측 양성 중에서 실제 양성의 비율이다.”
– X: “정밀도는 실제 양성 중에서 예측 양성의 비율이다.”

================================

4. F1-Score

ㅇ 정의:
– 정밀도와 재현율의 조화 평균.
– 2 * (Precision * Recall) / (Precision + Recall)

ㅇ 특징:
– Precision과 Recall의 균형을 평가.
– 한쪽이 너무 낮으면 값이 크게 감소.

ㅇ 적합한 경우:
– Precision과 Recall 모두 중요할 때.
– 클래스 불균형 데이터에서 종합 성능 평가.

ㅇ 시험 함정:
– 단순 평균이 아님.
– Precision 또는 Recall이 0이면 F1도 0.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “F1-Score는 Precision과 Recall의 조화 평균이다.”
– X: “F1-Score는 Precision과 Recall의 산술 평균이다.”

================================

5. 클래스 불균형 평가

ㅇ 정의:
– 데이터에서 특정 클래스의 표본 수가 다른 클래스에 비해 현저히 적거나 많은 상황의 성능 평가.

ㅇ 특징:
– Accuracy만으로는 성능을 판단하기 어려움.
– Precision, Recall, F1, AUC 등 다양한 지표 필요.

ㅇ 적합한 경우:
– 희귀 이벤트 탐지(사기, 고장 예측 등).
– 의료 진단에서 질병 비율이 낮은 경우.

ㅇ 시험 함정:
– Accuracy Paradox: 불균형 데이터에서 높은 정확도가 의미 없을 수 있음.
– 데이터 샘플링 기법과 지표 해석을 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “클래스 불균형에서는 정확도보다 재현율과 정밀도가 중요하다.”
– X: “클래스 불균형 데이터에서는 항상 정확도가 낮다.”

================================

6. 포컬 손실(Focal Loss)

ㅇ 정의:
– 클래스 불균형 문제를 완화하기 위해 손실 함수에 난이도 조정 가중치를 부여한 기법.
– Cross-Entropy Loss에 (1 – p_t)^γ 항을 곱함.

ㅇ 특징:
– 잘 맞춘 샘플의 손실 기여도를 줄이고, 어려운 샘플에 집중.
– γ 값으로 조정 강도 설정.

ㅇ 적합한 경우:
– 객체 탐지(Object Detection)에서 배경 클래스가 압도적으로 많은 경우.
– 희귀 이벤트 분류.

ㅇ 시험 함정:
– γ=0이면 Cross-Entropy와 동일.
– α 파라미터는 클래스 가중치 조정용.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “포컬 손실은 어려운 샘플의 학습 비중을 높인다.”
– X: “포컬 손실은 쉬운 샘플의 학습 비중을 높인다.”

ㅁ 추가 학습 내용

재현율(Recall)과 정밀도(Precision)는 서로 트레이드오프 관계에 있으며, 분류 모델의 임계값(threshold)을 조정하면 한쪽이 높아지면 다른 쪽이 낮아지는 경향이 있다. 혼동 행렬을 기반으로 ROC 곡선과 AUC(Area Under Curve)를 계산하는 방법을 숙지해야 하며, PR(Precision-Recall) 곡선의 해석 방법도 중요하다. 클래스 불균형 문제에서는 언더샘플링, 오버샘플링(SMOTE 등) 기법과 클래스 가중치 조정 방법을 이해해야 한다. 포컬 손실(Focal Loss)은 γ와 α 파라미터를 통해 어려운 샘플에 가중치를 두고 쉬운 샘플의 영향력을 줄이는 방식으로 동작하며, 이를 어떻게 튜닝하는지와 RetinaNet에서의 활용 사례를 알아두어야 한다. 또한 F1-Score 외에 Fβ-Score 개념을 알고 있어야 하며, β>1이면 Recall을 강조하고 β<1이면 Precision을 강조한다.