ㅁ 불확실성 추정

ㅇ 정의:
모델이 예측한 결과에 대해 신뢰할 수 있는 정도를 수치로 표현하는 기법. 예측값뿐 아니라 그 예측이 얼마나 불확실한지를 측정하여 의사결정에 반영.

ㅇ 특징:
– 데이터 분포 외(out-of-distribution) 샘플 탐지 가능
– 예측값의 분산, 확률 분포 등을 활용
– 모델의 안정성과 신뢰성 향상에 기여

ㅇ 적합한 경우:
– 의료, 금융 등 오판 비용이 큰 분야
– 이상 탐지, 리스크 기반 의사결정

ㅇ 시험 함정:
– 정확도와 불확실성은 동일 개념이 아님
– 불확실성이 낮다고 해서 반드시 정답이라는 보장은 없음

ㅇ 시험 대비 “패턴 보기” 예시:
O: “불확실성 추정은 모델 예측의 신뢰도를 수치화한다.”
X: “불확실성 추정은 모델 정확도를 직접 향상시키는 기법이다.”

================================

1. Ensemble 불확실성

ㅇ 정의:
여러 개의 독립적으로 학습된 모델(앙상블)의 예측 결과를 비교하여 불확실성을 추정하는 방법. 예측의 분산이 클수록 불확실성이 높다고 판단.

ㅇ 특징:
– 다양한 초기화, 데이터 샘플링, 모델 구조를 사용하여 앙상블 구성
– 평균 예측값과 표준편차 또는 분산으로 불확실성 계산
– 구현이 직관적이나 계산 비용이 큼

ㅇ 적합한 경우:
– 복잡한 문제에서 단일 모델의 편향을 줄이고자 할 때
– 충분한 계산 자원이 있는 환경

ㅇ 시험 함정:
– 앙상블 크기가 크다고 항상 더 나은 불확실성 추정을 보장하지 않음
– 모든 모델이 동일한 데이터와 초기화로 학습되면 다양성이 낮아 효과 감소

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Ensemble 불확실성은 여러 모델의 예측 분산을 활용한다.”
X: “Ensemble 불확실성은 하나의 모델만으로 계산된다.”

ㅁ 추가 학습 내용

Ensemble 불확실성에서 핵심은 모델 간 다양성이다. 이를 확보하기 위해 Bagging, Bootstrap Sampling, 서로 다른 하이퍼파라미터 설정 등이 사용된다. Monte Carlo Dropout과 비교가 자주 출제되는데, MC Dropout은 하나의 모델 내에서 Dropout을 여러 번 적용해 불확실성을 추정하는 방식이며, Ensemble은 여러 개의 독립적인 모델을 학습하는 방식이라는 차이가 있다. 불확실성은 Epistemic(모델 불확실성)과 Aleatoric(데이터 불확실성)으로 구분되며, Ensemble은 주로 Epistemic 불확실성 추정에 유용하다. 계산 비용을 줄이기 위해 Snapshot Ensemble, Deep Ensemble with Shared Weights 등의 기법이 연구되고 있다.