ㅁ ROC/PR/랭킹

ㅇ 정의:
ROC/PR/랭킹은 분류 및 랭킹 문제에서 모델의 성능을 평가하기 위한 지표들의 집합으로, 주로 이진 분류 및 다중 클래스 문제에서 활용됨.

ㅇ 특징:
– ROC 곡선은 민감도(Sensitivity)와 특이도(Specificity)의 관계를 시각화함.
– PR 곡선은 Precision과 Recall의 관계를 나타냄.
– 랭킹 지표는 주어진 데이터의 순위 예측 성능을 평가함.

ㅇ 적합한 경우:
– ROC는 불균형 데이터에서도 활용 가능하나, PR 곡선은 특히 불균형 데이터에서 더 유용.
– 랭킹 지표는 검색 엔진, 추천 시스템 등 순위 기반 모델 평가에 적합.

ㅇ 시험 함정:
– ROC AUC와 PR AUC의 차이를 혼동할 수 있음.
– PR 곡선은 데이터의 양에 따라 민감하게 변할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– “ROC 곡선은 Precision과 Recall의 관계를 나타낸다.” (X)
– “PR 곡선은 불균형 데이터에서 더 유용하다.” (O)

================================

1. Cohen’s Kappa

ㅇ 정의:
Cohen’s Kappa는 관찰자 간 신뢰도를 측정하기 위한 통계적 지표로, 분류 모델의 성능을 평가할 때도 사용됨.

ㅇ 특징:
– 관찰자 간의 일치도를 측정하며, 우연에 의한 일치를 보정함.
– 값의 범위는 -1에서 1 사이로, 1에 가까울수록 높은 일치도를 의미.
– 0은 우연에 의한 일치, 음수는 체계적인 불일치를 나타냄.

ㅇ 적합한 경우:
– 클래스 간 불균형이 심한 데이터셋에서 모델의 성능을 평가할 때.
– 관찰자 또는 모델 간의 일치도를 비교할 때.

ㅇ 시험 함정:
– Cohen’s Kappa는 클래스 비율에 민감하여 데이터가 매우 불균형한 경우 왜곡될 수 있음.
– 단순 정확도(Accuracy)와 혼동할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Cohen’s Kappa는 관찰자 간 신뢰도를 측정한다.” (O)
– “Cohen’s Kappa는 항상 0과 1 사이의 값을 가진다.” (X)

ㅁ 추가 학습 내용

학습 내용 정리:

1. **Weighted Kappa**:
– Weighted Kappa는 Cohen’s Kappa의 확장된 버전으로, 클래스 간의 차이를 계산할 때 가중치를 반영하는 방식입니다.
– 특히 순서형 데이터(예: 등급, 점수 등)에서 클래스 간의 차이를 고려하여 평가하는 데 유용합니다.
– 가중치는 클래스 간의 거리 또는 중요도를 반영하며, 일반적으로 선형 가중치(linear weights)나 제곱 가중치(quadratic weights)를 사용합니다.
– Weighted Kappa는 관찰된 일치도와 기대되는 일치도를 비교하여 측정하며, 가중치를 통해 순서형 데이터의 특성을 더 정확히 반영합니다.

2. **Cohen’s Kappa와 Matthews Correlation Coefficient(MCC)의 차이점**:
– **Cohen’s Kappa**:
– 두 관찰자 간의 일치도를 평가하는 데 사용됩니다.
– 관찰된 일치도와 기대되는 일치도 간의 차이를 측정하며, 분류 작업에서 분류자 간의 일치도를 나타냅니다.
– 데이터가 균형적일 때 신뢰할 수 있는 결과를 제공하지만, 불균형 데이터에서는 성능이 떨어질 수 있습니다.
– **Matthews Correlation Coefficient(MCC)**:
– 이진 분류 문제에서 사용되며, 혼동 행렬의 모든 요소(True Positive, False Positive, True Negative, False Negative)를 고려하여 계산됩니다.
– MCC는 -1에서 1 사이의 값을 가지며, 1은 완벽한 예측, 0은 무작위 예측, -1은 완전히 잘못된 예측을 나타냅니다.
– 불균형 데이터에서도 신뢰할 수 있는 평가를 제공하여, 클래스 간 분포가 불균형한 경우에 적합합니다.

3. **MCC가 불균형 데이터에서 적합한 이유**:
– MCC는 모든 혼동 행렬 요소를 포함하여 계산하므로, 데이터의 불균형이 결과에 미치는 영향을 최소화합니다.
– Precision, Recall, F1 Score와 달리 MCC는 클래스 간의 비율이 크게 차이가 나는 상황에서도 균형 잡힌 평가를 제공합니다.
– 이로 인해, 불균형 데이터에서 모델의 성능을 평가할 때 MCC가 더 적합한 지표로 사용됩니다.