ㅁ ROC/PR/랭킹

ㅇ 정의:
– ROC/PR/랭킹 지표는 모델의 성능을 평가하기 위해 사용되는 기법으로, 주로 분류 문제나 랭킹 문제에서 활용됨.

ㅇ 특징:
– 주로 이진 분류나 다중 클래스 분류의 성능을 시각화하고 평가하는 데 사용됨.
– 랭킹 기반 지표는 추천 시스템과 같은 응용 분야에서 모델의 성능을 평가하는 데 적합함.

ㅇ 적합한 경우:
– 모델의 예측 결과를 순위화하고 그 품질을 평가할 때.
– 이진 분류 문제에서 임계값에 따른 성능 변화를 분석할 때.

ㅇ 시험 함정:
– ROC와 PR 곡선의 차이를 혼동하거나, 특정 지표가 어떤 상황에서 더 적합한지 이해하지 못할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “PR 곡선은 데이터의 클래스 불균형이 심할 때 더 유용하다.”
– X: “ROC 곡선은 항상 PR 곡선보다 더 좋은 성능을 보여준다.”

================================

1. NDCG

ㅇ 정의:
– NDCG(Normalized Discounted Cumulative Gain)는 랭킹 문제에서 사용되는 평가 지표로, 모델이 반환한 순위의 품질을 측정함.

ㅇ 특징:
– 순위가 높은 결과에 더 많은 가중치를 부여함.
– 정규화 과정을 통해 다른 데이터셋 간 비교가 가능함.

ㅇ 적합한 경우:
– 추천 시스템, 검색 엔진 등에서 모델이 반환한 결과의 순위를 평가할 때.
– 사용자 만족도를 기반으로 한 평가가 필요한 경우.

ㅇ 시험 함정:
– 정규화 과정에서 이상적인 순위를 계산하는 방식을 이해하지 못할 수 있음.
– DCG와 NDCG의 차이를 혼동할 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “NDCG는 검색 결과의 순위 품질을 평가하는 데 적합하다.”
– X: “NDCG는 항상 DCG보다 높은 값을 가진다.”

================================

ㅁ 추가 학습 내용

1. DCG(Discounted Cumulative Gain)의 계산 방식:
– DCG는 랭킹된 문서나 아이템의 관련성을 평가하는 지표로, 랭킹 순서에 따라 가중치를 부여합니다.
– 계산 방식은 각 아이템의 관련 점수를 로그 함수를 사용해 할인하며 누적하는 방식입니다.
– 일반적인 공식은 다음과 같습니다:
DCG = Σ (relevance_score_i / log2(i + 1)), 여기서 i는 랭킹 순위를 의미합니다.
– 높은 순위에 있는 아이템일수록 더 높은 가중치를 받으며, 순위가 낮아질수록 가중치가 감소합니다.

2. DCG를 정규화(Normalization)하는 이유:
– DCG는 데이터셋마다 값의 범위가 달라질 수 있으므로, 서로 다른 데이터셋이나 모델 간 비교를 위해 정규화가 필요합니다.
– 이를 위해 IDCG(Ideal DCG)를 사용하여 DCG를 정규화합니다. IDCG는 이상적인 랭킹에서의 DCG 값으로, 관련성이 가장 높은 아이템들이 상위에 정렬된 상태를 기준으로 계산됩니다.
– NDCG(Normalized DCG)는 DCG를 IDCG로 나눈 값으로, 0부터 1 사이의 범위를 가지며, 1에 가까울수록 이상적인 랭킹에 가까움을 의미합니다.

3. NDCG의 실제 사례:
– 검색 엔진: 검색 결과의 품질을 평가하기 위해 사용됩니다. 사용자가 입력한 쿼리에 대해 반환된 문서들의 관련성을 기반으로 NDCG를 계산하여, 검색 알고리즘의 성능을 측정합니다.
– 추천 시스템: 추천된 아이템의 적합성을 평가하는 데 활용됩니다. 예를 들어, 사용자가 선호하는 상품이 추천 리스트의 상위에 위치할수록 NDCG 값이 높아지며, 이는 추천 시스템의 효율성을 나타냅니다.

4. NDCG와 다른 랭킹 지표와의 차별화:
– NDCG는 랭킹의 순서와 관련성 점수를 모두 고려하는 지표로, 단순히 정확도나 재현율만 측정하는 지표와는 다릅니다.
– 예를 들어, Precision@k는 상위 k개의 아이템 중 관련성이 높은 아이템의 비율을 측정하지만, NDCG는 각 아이템의 순위와 관련성 점수를 모두 반영해 더 세밀한 평가가 가능합니다.
– 또한, NDCG는 순위가 낮아질수록 가중치를 감소시키는 특성이 있어, 사용자가 상위 랭킹에 더 관심을 가지는 실제 상황을 잘 반영합니다.