ㅁ 평가지표

ㅇ 정의:
분류 모델의 예측 확률과 실제 정답 간의 차이를 로그 함수로 변환하여 계산하는 손실 함수. 확률 예측의 정확성을 평가하며, 낮을수록 모델의 예측이 실제와 가깝다는 의미.

ㅇ 특징:
– 예측 확률을 기반으로 평가하므로 단순 정확도보다 세밀하게 모델의 성능을 파악 가능.
– 잘못된 예측에 대해 높은 패널티를 부여.
– 0~무한대 범위를 가짐. 0에 가까울수록 좋음.

ㅇ 적합한 경우:
– 이진 분류 및 다중 클래스 분류에서 확률 기반 평가가 필요한 경우.
– 클래스 불균형 데이터셋에서 단순 정확도 대신 확률 품질을 평가하고자 할 때.

ㅇ 시험 함정:
– Log Loss는 낮을수록 좋다는 점을 Accuracy와 혼동하는 경우.
– 예측 확률이 0 또는 1에 가까울수록 잘못 예측 시 손실이 급격히 커진다는 점을 간과.
– Cross Entropy와 혼동 가능하나, Log Loss는 Cross Entropy의 특수한 형태(이진 분류)임.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Log Loss 값이 낮을수록 모델의 확률 예측이 실제와 가깝다.”
O: “Log Loss는 확률 예측 품질을 평가하는 지표이다.”
X: “Log Loss 값이 높을수록 모델이 더 정확하다.”
X: “Log Loss는 분류 모델에서만 사용할 수 없고 회귀에도 동일하게 적용된다.”

ㅁ 추가 학습 내용

Log Loss는 Cross Entropy Loss의 변형으로, 이진 분류에서 – (y * log(p) + (1 – y) * log(1 – p))로 계산된다. 여기서 y는 실제 라벨(0 또는 1), p는 예측 확률이다.
다중 클래스 분류에서는 Softmax를 이용해 각 클래스의 확률을 구한 뒤 Cross Entropy 공식을 적용한다.
Log Loss와 Cross Entropy는 밀접한 관계가 있으며, 값이 낮을수록 모델의 예측이 실제 정답과 가깝다는 의미이다.
예측 확률이 극단적으로 틀리면 손실 값이 크게 증가하는 특성이 있다.
Accuracy와 달리 확률 예측의 품질을 반영하므로, 단순히 맞고 틀린 비율만 보는 지표와 차이가 있다.
단, 모델이 확률을 출력하지 않는 경우에는 Log Loss를 사용할 수 없다.