ㅁ ROC/PR/랭킹

ㅇ 정의:
ROC/PR/랭킹 지표는 분류 모델의 성능을 평가하기 위해 사용되는 다양한 지표로, 모델의 예측 결과를 정밀도, 재현율, 정확도 등의 관점에서 분석합니다.

ㅇ 특징:
– 다양한 평가 지표를 통해 모델의 강점과 약점을 파악할 수 있음.
– 데이터의 불균형 문제를 고려한 지표 제공 가능.

ㅇ 적합한 경우:
– 불균형 데이터셋에서 모델의 성능을 평가해야 하는 경우.
– 모델의 예측 결과를 다양한 관점에서 분석하고자 할 때.

ㅇ 시험 함정:
– 각 지표의 계산 방식과 해석 방법을 혼동할 수 있음.
– 특정 지표가 높은 경우에도 데이터 불균형으로 인해 실제 성능이 낮을 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: ROC 곡선은 민감도와 특이도의 관계를 시각화한다.
– X: PR 곡선은 항상 ROC 곡선보다 더 나은 성능을 보여준다.

================================

1. MCC

ㅇ 정의:
MCC(Matthews Correlation Coefficient)는 이진 분류 문제에서 예측의 정확도를 평가하기 위한 지표로, TP, TN, FP, FN 값을 모두 고려하여 계산됩니다.

ㅇ 특징:
– -1에서 1까지의 값을 가지며, 1에 가까울수록 완벽한 예측을 의미함.
– 데이터 불균형 상황에서도 신뢰할 수 있는 지표.

ㅇ 적합한 경우:
– 클래스 간의 데이터 비율이 크게 다른 경우.
– 모델의 전반적인 예측 성능을 종합적으로 평가하고자 할 때.

ㅇ 시험 함정:
– MCC의 계산식이 복잡하여 암기하기 어려울 수 있음.
– MCC 값이 0에 가까운 경우, 모델이 무작위로 예측한 것인지 혼동할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: MCC는 모든 예측 결과를 균형 있게 반영하는 지표이다.
– X: MCC는 데이터 불균형 상황에서는 사용할 수 없다.

ㅁ 추가 학습 내용

MCC는 혼동 행렬의 구성 요소인 TP(참 양성), TN(참 음성), FP(거짓 양성), FN(거짓 음성)을 기반으로 계산됩니다. MCC는 이들 요소를 조합하여 모델의 성능을 균형 있게 평가할 수 있도록 설계된 지표입니다. MCC를 정확히 계산하기 위해서는 다음 공식을 이해하는 것이 중요합니다:

MCC = (TP * TN – FP * FN) / sqrt((TP + FP)(TP + FN)(TN + FP)(TN + FN))

이 공식은 모델의 예측 결과가 얼마나 정확한지를 종합적으로 평가하며, -1에서 1 사이의 값을 가집니다. 1은 완벽한 예측, 0은 무작위 예측, -1은 완전히 잘못된 예측을 나타냅니다.

MCC를 다른 지표와 비교하여 해석하는 연습도 필요합니다. 예를 들어:
– **정확도**는 전체 데이터 중 정확히 예측된 비율을 나타내지만, 데이터가 불균형할 경우 왜곡될 수 있습니다.
– **정밀도**는 양성으로 예측된 것 중 실제로 양성인 비율을 나타냅니다.
– **재현율**은 실제 양성 중 양성으로 예측된 비율을 나타냅니다.

이들 지표는 각각 특정한 관점을 제공하며, MCC는 이들 지표를 종합적으로 평가할 수 있는 장점이 있습니다. 따라서 MCC와 다른 지표를 함께 분석하면 모델의 성능을 더 깊이 이해할 수 있습니다.

MCC의 한계점도 학습해야 합니다. 특히 데이터의 분포가 불균형한 경우 MCC 값이 왜곡될 수 있습니다. 예를 들어, 양성 클래스가 매우 적거나 매우 많은 경우 MCC가 실제 모델의 성능을 정확히 반영하지 못할 수 있습니다. 이러한 사례를 학습하고 MCC의 해석에 신중을 기하는 것이 중요합니다.

시험 대비를 위해 MCC의 계산 과정, 다른 지표와의 비교, 그리고 MCC의 한계점과 왜곡 사례를 종합적으로 이해하고 연습하는 것이 필요합니다.