ㅁ 불확실성 추정

ㅇ 정의:
– 모델의 예측에 대한 신뢰도를 수치적으로 표현하는 기법으로, 데이터 부족, 노이즈, 모델 구조적 한계 등으로 인한 예측 불확실성을 정량화.
ㅇ 특징:
– 확률 분포 기반의 결과 제공
– 모델 해석력 향상 및 의사결정 리스크 감소
– 예측값과 함께 신뢰 구간 또는 분산 출력 가능
ㅇ 적합한 경우:
– 의료 진단, 자율주행, 금융 리스크 분석 등 오판 비용이 큰 분야
ㅇ 시험 함정:
– 불확실성 추정 = 정확도 향상 이라는 오해 (정확도보다 신뢰도 측정 목적)
ㅇ 시험 대비 “패턴 보기” 예시:
– O: “모델의 예측 신뢰도를 수치적으로 표현하는 방법이다.”
– X: “불확실성 추정은 항상 모델의 정확도를 높인다.”

================================

1. Bayesian Learning

ㅇ 정의:
– 베이즈 정리를 기반으로 사전 확률(prior)과 데이터로부터 얻은 가능도(likelihood)를 결합하여 사후 확률(posterior)을 계산하고 이를 학습에 활용하는 방법.
ㅇ 특징:
– 불확실성을 확률 분포 형태로 직접 추정 가능
– 데이터가 적을 때도 사전 지식을 활용 가능
– 계산 복잡도가 높음
ㅇ 적합한 경우:
– 데이터 수집이 어려운 분야, 사전 지식이 중요한 분야
ㅇ 시험 함정:
– 사전 확률과 사후 확률의 개념 혼동
ㅇ 시험 대비 “패턴 보기” 예시:
– O: “사전 확률과 가능도를 결합하여 사후 확률을 계산한다.”
– X: “Bayesian Learning은 항상 대규모 데이터에서만 효과적이다.”

================================

2. Monte Carlo Dropout

ㅇ 정의:
– 신경망 학습 시 사용되는 드롭아웃 기법을 추론 단계에서도 적용하여 여러 번 샘플링을 수행하고, 예측 분포를 통해 불확실성을 추정하는 방법.
ㅇ 특징:
– 기존 모델 구조 변경 없이 구현 가능
– 계산량은 증가하지만 병렬 처리로 완화 가능
– 근사적인 베이즈 추론 효과 제공
ㅇ 적합한 경우:
– 대규모 신경망에서 간단히 불확실성 추정을 추가하고자 할 때
ㅇ 시험 함정:
– 드롭아웃을 학습 시에만 사용하는 일반적 용도와 혼동
ㅇ 시험 대비 “패턴 보기” 예시:
– O: “추론 시 드롭아웃을 적용하여 불확실성을 추정한다.”
– X: “Monte Carlo Dropout은 학습 단계에서만 사용된다.”

================================

3. Variational Inference

ㅇ 정의:
– 복잡한 사후 분포를 직접 계산하기 어려울 때, 이를 단순한 분포로 근사하여 최적화하는 확률 추론 방법.
ㅇ 특징:
– 계산 효율성이 높음
– 근사 오차 발생 가능
– 대규모 데이터셋에도 적용 가능
ㅇ 적합한 경우:
– 사후 분포의 정확한 계산이 불가능한 복잡한 모델
ㅇ 시험 함정:
– 정확한 사후 분포를 항상 구한다고 오해
ㅇ 시험 대비 “패턴 보기” 예시:
– O: “사후 분포를 단순한 분포로 근사하여 최적화한다.”
– X: “Variational Inference는 사후 분포를 정확히 계산한다.”

ㅁ 추가 학습 내용

[학습 정리]

1. 불확실성의 구분
– 알레아토릭(Aleatoric): 데이터 자체의 불확실성. 측정 오차, 관측 노이즈 등 데이터 수집 과정에서 발생.
– 에피스테믹(Epistemic): 모델 지식의 불확실성. 데이터 부족, 모델 구조 한계 등으로 인해 발생하며, 데이터가 많아질수록 감소 가능.

2. Bayesian Learning과 MCMC
– Bayesian Learning: 사전분포(prior)와 사후분포(posterior)를 기반으로 모델 파라미터 추정.
– MCMC(Markov Chain Monte Carlo): 복잡한 사후분포를 샘플링하여 근사하는 기법. Gibbs Sampling, Metropolis-Hastings 등이 대표적.

3. Monte Carlo Dropout
– 테스트 시 드롭아웃을 활성화하여 여러 번 예측 수행.
– 예측값들의 평균과 분산 계산 → 불확실성 추정 가능.
– 반복 예측으로 인해 실행 시간이 증가함.

4. Variational Inference와 ELBO
– 복잡한 사후분포를 단순한 분포로 근사하여 최적화.
– ELBO(Evidence Lower Bound): 로그 증거를 하한으로 두어 최대화하는 방식.
– ELBO 수식: log p(x) ≥ E_q[log p(x, z)] – E_q[log q(z)]
– 시험에서 수식 유도 또는 의미 설명 문제 가능.

5. 불확실성 시각화
– 예측 구간(Confidence Interval) 또는 분산을 그래프로 표현.
– 모델의 신뢰도와 예측 범위를 시각적으로 전달.

[시험 대비 체크리스트]
– 알레아토릭과 에피스테믹 불확실성의 정의와 차이점을 정확히 설명할 수 있는가?
– Bayesian Learning의 기본 개념과 MCMC의 목적 및 대표 기법을 알고 있는가?
– Monte Carlo Dropout의 동작 원리와 장단점을 설명할 수 있는가?
– Variational Inference의 개념과 ELBO 수식을 정확히 기억하고 있는가?
– 불확실성 시각화 방법과 이를 해석하는 방법을 알고 있는가?
– 각 기법이 어떤 불확실성(알레아토릭, 에피스테믹)에 주로 대응하는지 구분할 수 있는가?