ㅁ 평가지표

ㅇ 정의:
모델의 예측 확률과 실제 레이블 간의 차이를 로그 함수로 계산한 손실 값을 나타내는 지표로, 확률 기반 모델 평가에 사용됨.

ㅇ 특징:
– 예측 확률이 실제 레이블과 가까울수록 값이 작아짐.
– 확률 기반으로 평가하므로 이진 분류와 다중 클래스 분류에 모두 적용 가능.
– 값이 작을수록 모델의 예측 성능이 좋음을 의미함.

ㅇ 적합한 경우:
– 확률 기반 예측 모델의 성능을 평가할 때.
– 분류 문제에서 모델의 신뢰도를 확인하고자 할 때.

ㅇ 시험 함정:
– Log Loss 값이 작다고 해서 반드시 모델이 실제로 좋은 성능을 보인다고 단정할 수는 없음.
– 클래스 불균형 데이터셋에서 Log Loss 값만으로 모델 성능을 평가하면 오해의 소지가 있을 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Log Loss는 값이 작을수록 모델의 예측 정확도가 낮아진다. (X)
2. Log Loss는 확률 기반 모델 평가에 적합하다. (O)

ㅁ 추가 학습 내용

Log Loss는 분류 모델의 성능을 평가하는 데 사용되는 지표로, 예측 확률과 실제 클래스 간의 차이를 측정합니다. 클래스 불균형 데이터에서는 Log Loss가 특정 클래스에 의해 과도하게 영향을 받을 수 있으므로, 이를 보완하기 위해 가중치를 적용하거나 F1-score, AUC와 같은 보조 지표를 함께 사용하는 것이 적절합니다.

Log Loss 계산 과정에서 로그 함수의 비선형적 특성은 예측 확률이 실제 클래스와 가까울수록 손실값이 작아지고, 예측 확률이 실제 클래스와 멀어질수록 손실값이 급격히 커지는 특성을 보입니다. 이로 인해 모델은 잘못된 예측을 줄이고 정확한 확률 예측을 생성하도록 학습됩니다. 이러한 특성은 모델 평가에 중요한 영향을 미치며, 특히 클래스 확률이 극단적으로 낮거나 높은 경우에 더 큰 페널티를 부여하는 역할을 합니다. 이를 이해하면 Log Loss의 작동 원리와 모델 성능에 미치는 영향을 보다 깊이 있게 파악할 수 있습니다.