ㅁ 불확실성 추정

1. Bayesian Learning

ㅇ 정의:
– 데이터와 사전 확률(prior)을 바탕으로 사후 확률(posterior)을 계산하여 모델 파라미터의 불확실성을 추정하는 학습 방법.
ㅇ 특징:
– 확률 분포 기반으로 예측값과 불확실성을 동시에 제공.
– 데이터가 부족한 상황에서도 사전 지식을 반영할 수 있음.
ㅇ 적합한 경우:
– 의료 진단, 금융 리스크 분석 등 예측 신뢰도가 중요한 경우.
ㅇ 시험 함정:
– 빈도주의(Frequentist) 접근과 혼동.
– 사전 분포 선택이 결과에 영향을 미친다는 점을 간과.
ㅇ 시험 대비 “패턴 보기” 예시:
O: “사전 확률과 데이터로부터 사후 확률을 계산하여 불확실성을 추정한다.”
X: “베이지안 학습은 항상 대규모 데이터에서만 효과적이다.”

2. Monte Carlo Dropout

ㅇ 정의:
– 학습과 추론 시 모두 드롭아웃을 적용하여 여러 번 예측을 수행하고, 예측 분포를 통해 불확실성을 추정하는 방법.
ㅇ 특징:
– 기존 신경망 구조를 크게 변경하지 않고 불확실성 추정 가능.
– 반복 추론으로 계산 비용 증가.
ㅇ 적합한 경우:
– 실시간 응용에서 모델 변경 없이 불확실성 추정이 필요한 경우.
ㅇ 시험 함정:
– 드롭아웃을 학습 시에만 적용하는 일반적 사용법과 혼동.
– 예측 분산이 곧 불확실성이라는 점을 간과.
ㅇ 시험 대비 “패턴 보기” 예시:
O: “추론 시에도 드롭아웃을 적용하여 예측 분포를 얻는다.”
X: “몬테카를로 드롭아웃은 학습 시에만 드롭아웃을 적용한다.”

3. Variational Inference

ㅇ 정의:
– 복잡한 사후 분포를 근사 분포로 변환하여 최적화하는 확률 추론 방법.
ㅇ 특징:
– 계산 효율성이 높아 대규모 데이터셋에도 적용 가능.
– 근사 품질은 선택한 분포 패밀리에 의존.
ㅇ 적합한 경우:
– 베이지안 신경망, 잠재 변수 모델(Latent Variable Model) 학습.
ㅇ 시험 함정:
– 정확한 사후 분포를 계산한다고 오해.
– MCMC와의 차이를 혼동.
ㅇ 시험 대비 “패턴 보기” 예시:
O: “사후 분포를 직접 계산하지 않고 근사 분포를 최적화한다.”
X: “변분 추론은 항상 정확한 사후 분포를 제공한다.”

ㅁ 추가 학습 내용

Bayesian Learning에서는 사전 분포(prior)의 선택이 결과에 어떤 영향을 미치는지 이해해야 한다. 또한 사후 예측 분포(posterior predictive distribution)의 개념을 학습하여 관측되지 않은 데이터에 대한 예측 방법을 익힌다.

Monte Carlo Dropout에서는 드롭아웃 확률 설정이 불확실성 추정 품질에 어떤 영향을 주는지 파악해야 한다. 예측 분산 계산 방법과 이를 기반으로 신뢰 구간을 구하는 절차를 숙지한다.

Variational Inference에서는 ELBO(Evidence Lower Bound) 최적화 과정의 의미와 절차를 이해하고, Mean-field approximation 개념을 명확히 한다. 또한 MCMC 방법과 비교하여 장단점을 구분할 수 있도록 한다.

세 방법 모두에서 Aleatoric Uncertainty(데이터 내재 불확실성)와 Epistemic Uncertainty(모델 불확실성)의 차이를 정확히 이해하고 구분할 수 있어야 한다.