ㅁ 불확실성 추정

ㅇ 정의:
모델이 예측한 확률 값이 실제 결과와 얼마나 일치하는지를 측정하는 과정.

ㅇ 특징:
– 모델의 신뢰도를 평가하기 위한 중요한 지표.
– Calibration이 잘 된 모델은 예측 확률이 실제 관측 빈도와 일치.
– Calibration Error(ECE, MCE 등)로 평가 가능.

ㅇ 적합한 경우:
– 의료 진단, 자율 주행 등 높은 신뢰도가 요구되는 애플리케이션.
– 분류 모델의 결과를 해석하거나 활용해야 하는 경우.

ㅇ 시험 함정:
– Calibration과 정확도를 혼동할 수 있음.
– Calibration Error 지표의 계산 방식에 대한 이해 부족.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Calibration이 잘 된 모델은 예측 확률이 실제 관측 빈도와 일치한다.
– X: Calibration은 모델의 정확도를 높이는 과정이다.

================================

1. Calibration

ㅇ 정의:
모델이 예측한 확률 값이 얼마나 신뢰할 수 있는지를 평가하고 보정하는 과정.

ㅇ 특징:
– Calibration이 잘 된 모델은 예측 확률이 실제 관측 빈도와 일치.
– Platt Scaling, Temperature Scaling 등의 방법으로 보정 가능.
– Calibration Error(ECE, MCE)를 통해 정량적으로 평가.

ㅇ 적합한 경우:
– 의료, 금융과 같이 예측의 신뢰도가 중요한 분야.
– 예측 확률 값을 활용해야 하는 머신러닝 애플리케이션.

ㅇ 시험 함정:
– Calibration 기법의 적용이 항상 모델 성능을 향상시키는 것은 아님.
– Calibration Error 계산 시 구간 분할 방식에 따른 차이.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Calibration Error는 모델의 Calibration 정도를 정량적으로 평가한다.
– X: Calibration은 예측 확률을 0 또는 1로 만드는 과정이다.

================================

1.1 Platt Scaling

ㅇ 정의:
Logistic Regression을 사용하여 모델의 예측 확률을 보정하는 기법.

ㅇ 특징:
– 단순하고 계산량이 적음.
– 데이터셋의 크기가 작을 때 효과적.
– 이진 분류 문제에 주로 사용.

ㅇ 적합한 경우:
– 이진 분류 문제에서 Calibration이 필요한 경우.
– 데이터셋의 크기가 제한적인 상황.

ㅇ 시험 함정:
– 다중 클래스 문제에 직접 적용할 수 없다는 점.
– Logistic Regression의 가정이 항상 성립하지 않을 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Platt Scaling은 Logistic Regression을 활용하여 예측 확률을 보정한다.
– X: Platt Scaling은 다중 클래스 문제에 효과적이다.

================================

1.2 Temperature Scaling

ㅇ 정의:
소프트맥스 함수의 온도 매개변수를 조정하여 예측 확률을 보정하는 기법.

ㅇ 특징:
– 단순한 구현으로 다중 클래스 문제에 적합.
– 학습 데이터와 검증 데이터의 분포가 유사할 때 효과적.
– Calibration 성능은 온도 매개변수의 최적화에 따라 달라짐.

ㅇ 적합한 경우:
– 다중 클래스 분류 문제에서 Calibration이 필요한 경우.
– 모델의 예측 확률을 해석해야 하는 상황.

ㅇ 시험 함정:
– 온도 매개변수가 과적합될 위험.
– Calibration이 잘못되면 예측 확률의 왜곡 가능성.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Temperature Scaling은 소프트맥스 온도 매개변수를 조정하여 Calibration을 수행한다.
– X: Temperature Scaling은 이진 분류 문제에만 적용된다.

ㅁ 추가 학습 내용

1. Calibration 관련 Bayesian 방법론 소개:
Bayesian 방법론은 예측 모델에서 불확실성을 자연스럽게 다룰 수 있는 접근법입니다. 예를 들어, Bayesian Neural Network는 신경망의 가중치를 확률 분포로 간주하여 학습합니다. 이를 통해 모델의 예측값에 대한 불확실성을 정량적으로 표현할 수 있습니다. 이러한 특성 덕분에 Bayesian 방법론은 Calibration의 대안으로 자주 활용됩니다. 예측값만 제공하는 전통적인 방법과 달리, Bayesian 방법론은 예측값과 함께 해당 예측의 신뢰도를 나타내는 불확실성 정보도 제공합니다. 이는 특히 모델의 신뢰도가 중요한 분야에서 유용합니다.

2. Calibration Error 계산 방식:
Calibration Error는 모델의 예측 확률과 실제 결과 간의 차이를 측정하여 모델의 Calibration 정도를 평가합니다. 대표적인 두 가지 계산 방식은 다음과 같습니다.

– Expected Calibration Error (ECE): ECE는 예측 확률을 여러 구간으로 나누고, 각 구간에서 모델이 예측한 평균 확률과 실제 관측된 빈도 간의 차이를 계산한 후, 이를 가중 평균으로 합산한 값입니다.
계산 과정:
1) 예측 확률을 여러 구간으로 나눕니다(예: 0.0~0.1, 0.1~0.2, …).
2) 각 구간에서 모델의 평균 예측값과 실제 결과 빈도(정확도)를 계산합니다.
3) 이 두 값의 차이를 구하고, 각 구간의 데이터 비율로 가중 평균을 계산합니다.
예제: 한 모델이 100개의 샘플에 대해 예측 확률을 제공했다고 가정합니다. 구간별로 평균 예측값이 0.7이고 실제 정확도가 0.6이라면, 해당 구간의 Calibration Error는 0.1이 됩니다.

– Maximum Calibration Error (MCE): MCE는 ECE와 유사하지만, 구간별 Calibration Error 중 가장 큰 값을 반환합니다. 이는 모델의 가장 큰 Calibration 문제를 강조하는 지표입니다.

3. Calibration이 잘 된 모델과 잘못된 모델의 실제 사례:
Calibration이 잘 된 모델은 예측 확률이 실제 사건 발생 확률과 일치합니다. 예를 들어, 의료 진단에서 한 모델이 “80% 확률로 암이 있을 가능성이 있다”고 예측했을 때, 실제로 해당 환자 중 80%가 암 진단을 받는다면 이 모델은 잘 Calibration된 모델로 간주됩니다. 이는 의료 전문가가 모델의 예측을 신뢰하고 적절한 결정을 내리는 데 도움을 줍니다.

반대로, Calibration이 잘못된 모델은 예측 확률과 실제 결과 간의 차이가 큽니다. 예를 들어, 모델이 90% 확률로 암이 없다고 예측했지만 실제로 많은 환자가 암 진단을 받았다면, 이 모델은 과신된 예측을 제공한 것입니다. 이는 잘못된 치료 결정으로 이어질 수 있으며, 환자의 건강에 심각한 영향을 미칠 수 있습니다. 따라서 Calibration은 모델의 신뢰성과 안전성을 보장하는 데 중요한 역할을 합니다.