ㅁ 불확실성 추정

ㅇ 정의:
– 모델의 예측 결과에 대한 신뢰도나 불확실성을 정량적으로 측정하는 기법.
– 확률 분포를 통해 예측값의 변동성을 파악.

ㅇ 특징:
– 단일 값 예측보다 예측 분포를 제공.
– 의사결정 과정에서 위험 관리에 활용.

ㅇ 적합한 경우:
– 의료 진단, 자율주행 등 오판 비용이 큰 분야.
– 데이터 부족 또는 분포 변화 가능성이 있는 환경.

ㅇ 시험 함정:
– 불확실성 추정과 단순 확률 출력(confidence score)을 혼동.
– 모델 정확도와 불확실성 추정 능력은 별개임.

ㅇ 시험 대비 “패턴 보기” 예시:
– “불확실성 추정은 예측의 신뢰도를 수치화한다” (O)
– “불확실성 추정은 항상 모델의 정확도를 높인다” (X)

================================

1. Bayesian Learning

ㅇ 정의:
– 베이즈 정리를 기반으로 사전확률(prior)과 데이터로부터 얻은 가능도(likelihood)를 결합하여 사후확률(posterior)을 계산하는 학습 방법.

ㅇ 특징:
– 모델 파라미터를 확률변수로 취급.
– 데이터가 적을 때 사전정보를 활용 가능.
– 계산량이 많아 근사 기법 필요.

ㅇ 적합한 경우:
– 데이터 수집 비용이 높고 사전 지식이 중요한 경우.
– 불확실성 정량화가 필요한 과학 연구.

ㅇ 시험 함정:
– 빈도주의 학습과 혼동.
– 사전확률 선택이 결과에 큰 영향을 미침.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Bayesian Learning은 파라미터를 확률변수로 본다” (O)
– “Bayesian Learning은 항상 사전확률 없이 가능하다” (X)

================================

2. Monte Carlo Dropout

ㅇ 정의:
– 학습과 추론 시 모두 dropout을 적용하여 여러 번 예측하고, 그 분포로 불확실성을 추정하는 방법.

ㅇ 특징:
– 기존 신경망 구조에 쉽게 적용 가능.
– 추가 학습 없이 불확실성 추정 가능.
– 추론 시 여러 번 샘플링 필요.

ㅇ 적합한 경우:
– 기존 모델 수정 없이 불확실성 추정을 추가하고 싶은 경우.
– 실시간성보다 불확실성 추정이 중요한 경우.

ㅇ 시험 함정:
– Dropout을 학습 시에만 적용하는 일반 방식과 혼동.
– 샘플 수가 적으면 추정이 부정확.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Monte Carlo Dropout은 추론 시에도 dropout을 적용한다” (O)
– “Monte Carlo Dropout은 학습 시에만 dropout을 적용한다” (X)

================================

3. Variational Inference

ㅇ 정의:
– 복잡한 사후분포를 직접 계산하는 대신, 계산이 쉬운 분포로 근사하여 추론하는 확률적 추론 방법.

ㅇ 특징:
– 사후분포의 근사 최적화를 위해 KL divergence 최소화.
– 계산 효율성이 높음.
– 근사 품질은 선택한 분포 가족에 의존.

ㅇ 적합한 경우:
– 대규모 데이터셋에서 베이즈 추론이 필요한 경우.
– 정확도보다 계산 효율이 중요한 경우.

ㅇ 시험 함정:
– MCMC와 같은 표본 기반 방법과 혼동.
– 근사 분포 선택이 부정확하면 결과 신뢰도 낮음.

ㅇ 시험 대비 “패턴 보기” 예시:
– “Variational Inference는 사후분포를 근사한다” (O)
– “Variational Inference는 항상 정확한 사후분포를 계산한다” (X)

ㅁ 추가 학습 내용

Bayesian Learning에서는 MCMC(Markov Chain Monte Carlo)와 Variational Inference 같은 근사 기법의 차이를 이해하는 것이 중요하다.
Monte Carlo Dropout의 경우, dropout 비율과 샘플링 횟수가 불확실성 추정 품질에 어떤 영향을 미치는지 알아두어야 한다.
Variational Inference에서는 Evidence Lower Bound(ELBO)의 개념과 이를 최적화하는 과정, 그리고 Mean-field approximation과 같은 대표적인 근사 방법을 숙지해야 한다.
또한 MCMC, Variational Inference, Monte Carlo Dropout 모두 예측 불확실성을 aleatoric(데이터 내재적 불확실성)과 epistemic(모델 불확실성)으로 구분하는 개념이 자주 출제되므로 반드시 구분할 수 있어야 한다.