ㅁ 불확실성 추정

1. Monte Carlo Dropout

ㅇ 정의:
신경망 학습 및 추론 시 Dropout을 적용하여 여러 번 예측을 수행하고, 그 결과의 분산을 통해 모델의 불확실성을 추정하는 방법.

ㅇ 특징:
– 학습과 추론 모두에서 Dropout을 활성화하여 확률적 예측을 생성.
– 추가적인 모델 학습 없이 불확실성을 계산할 수 있음.
– Bayesian Approximation으로 해석 가능.
– 구현이 간단하고 기존 모델에 쉽게 적용 가능.

ㅇ 적합한 경우:
– 의료 영상 분석 등 예측의 신뢰도가 중요한 분야.
– 라벨링 비용이 높아 데이터가 제한적인 경우.
– 모델 배포 후 실시간 불확실성 모니터링이 필요한 경우.

ㅇ 시험 함정:
– Dropout을 학습 시에만 사용하는 일반적 방법과 혼동.
– Monte Carlo Dropout은 추론 시에도 Dropout을 켜야 함.
– 예측 평균값만 보고 불확실성을 간과하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “추론 시 Dropout을 활성화하여 여러 번 예측을 수행한다.”
X: “Monte Carlo Dropout은 학습 시에만 Dropout을 적용한다.”
O: “예측 분산을 통해 불확실성을 추정할 수 있다.”
X: “불확실성 추정을 위해 반드시 새로운 모델을 학습해야 한다.”

ㅁ 추가 학습 내용

Monte Carlo Dropout은 예측값의 분산 또는 표준편차를 이용해 불확실성을 측정하며, 이는 주로 epistemic uncertainty(모델 불확실성)로 해석된다. aleatoric uncertainty(데이터 불확실성)와 구분해야 하며, MC Dropout은 epistemic uncertainty 추정에 적합하다. 구현 시 추론 단계에서 수십에서 수백 번의 반복 예측이 필요하며, 반복 횟수가 적으면 분산 추정이 부정확해질 수 있다. 시험에서는 Bayesian Neural Network와의 관계, Dropout 비율이 불확실성 추정에 미치는 영향, 그리고 MC Dropout이 모델의 overfitting 방지와 불확실성 추정을 동시에 수행할 수 있다는 점이 자주 출제된다.