ㅁ 불확실성 추정

ㅇ 정의:
확률적 모델링을 통해 예측 결과의 신뢰도나 불확실성을 정량적으로 추정하는 기법.

ㅇ 특징:
– 출력값뿐만 아니라 예측의 불확실성까지 제공
– 의사결정 리스크를 줄이는 데 유용
– 모델의 과적합 여부나 데이터 부족 상황 판단 가능

ㅇ 적합한 경우:
– 의료 진단, 금융 리스크 분석 등 오판 비용이 큰 분야
– 데이터가 불완전하거나 노이즈가 많은 경우

ㅇ 시험 함정:
– 단순 확률 예측과 불확실성 추정을 혼동
– 불확실성 추정은 분산이나 신뢰구간 계산을 포함함

ㅇ 시험 대비 “패턴 보기” 예시:
O: “불확실성 추정은 예측값의 신뢰도를 수치로 제공한다.”
X: “불확실성 추정은 예측값의 정확도를 높이는 기법이다.”

================================

1. Bayesian Learning

ㅇ 정의:
사전확률(prior)과 데이터로부터 얻은 가능도(likelihood)를 결합하여 사후확률(posterior)을 구하고 이를 기반으로 학습하는 방법.

ㅇ 특징:
– 베이즈 정리를 기반으로 함
– 불확실성을 자연스럽게 모델에 반영
– 계산 복잡도가 높을 수 있음

ㅇ 적합한 경우:
– 데이터가 적거나 사전 지식이 중요한 경우
– 예측 신뢰도를 함께 제공해야 하는 경우

ㅇ 시험 함정:
– 사전확률과 사후확률의 개념 혼동
– 빈도주의 통계와의 차이점 간과

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Bayesian Learning은 사전확률과 가능도를 결합하여 사후확률을 계산한다.”
X: “Bayesian Learning은 항상 대용량 데이터에서만 효과적이다.”

================================

2. Monte Carlo Dropout

ㅇ 정의:
신경망 학습 및 추론 시 Dropout을 적용하고, 여러 번 예측을 반복하여 불확실성을 추정하는 방법.

ㅇ 특징:
– 구현이 간단하고 기존 모델에 쉽게 적용 가능
– 반복 추론을 통해 예측 분포를 얻음
– 계산 비용이 증가할 수 있음

ㅇ 적합한 경우:
– 딥러닝 모델에서 불확실성 추정이 필요한 경우
– 모델 구조 변경 없이 적용하고 싶은 경우

ㅇ 시험 함정:
– Dropout이 학습 시에만 적용된다고 생각하는 오해
– Monte Carlo Dropout은 추론 시에도 Dropout을 활성화함

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Monte Carlo Dropout은 추론 시에도 Dropout을 적용하여 불확실성을 추정한다.”
X: “Monte Carlo Dropout은 학습 시 Dropout을 제거하여 불확실성을 줄인다.”

================================

3. Variational Inference

ㅇ 정의:
복잡한 사후분포를 근사하기 위해 최적화 기법을 사용하는 확률 추론 방법.

ㅇ 특징:
– 계산 효율성이 높음
– 근사 분포를 선택하는 유연성
– 근사 오차 발생 가능

ㅇ 적합한 경우:
– 사후분포 계산이 불가능하거나 매우 복잡한 경우
– 대규모 데이터셋에서 빠른 추론이 필요한 경우

ㅇ 시험 함정:
– MCMC와의 차이 혼동 (MCMC는 샘플링 기반, VI는 최적화 기반)
– 근사 분포 선택이 결과에 미치는 영향 간과

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Variational Inference는 사후분포를 근사하는 최적화 기반 방법이다.”
X: “Variational Inference는 항상 정확한 사후분포를 계산한다.”

ㅁ 추가 학습 내용

정리

1. Bayesian Learning
– 사전확률(prior)의 설정이 결과에 미치는 영향이 크므로 중요성을 이해해야 함
– 비정보적 사전(non-informative prior)은 데이터 이전에 특정 가정을 최소화하는 사전 확률로, 사전 정보가 거의 없을 때 사용

2. Monte Carlo Dropout
– 반복 추론 시 표본 수(sample size)가 불확실성 추정의 안정성에 직접적인 영향을 줌
– 표본 수가 많을수록 안정성은 높아지지만, 계산 비용이 증가하는 트레이드오프 존재

3. Variational Inference
– Evidence Lower Bound(ELBO)는 실제 로그 가능도(log likelihood)의 하한을 의미
– ELBO를 최대화하는 것은 모델이 데이터 분포에 잘 맞도록 하는 과정
– Mean-field Approximation은 변수 간 독립성을 가정하여 계산을 단순화하지만, 복잡한 의존 구조를 제대로 반영하지 못하는 한계가 있음

4. 불확실성 추정의 두 가지 유형
– Epistemic Uncertainty: 모델의 한계나 학습 데이터 부족에서 기인하는 불확실성 (추가 데이터로 줄일 수 있음)
– Aleatoric Uncertainty: 데이터 자체의 내재적 변동성에서 기인하는 불확실성 (줄일 수 없음)

시험 대비 체크리스트

[ ] Bayesian Learning에서 사전확률 설정의 중요성을 설명할 수 있는가
[ ] 비정보적 사전의 정의와 사용 목적을 알고 있는가
[ ] Monte Carlo Dropout에서 표본 수 변화가 불확실성 추정과 계산 비용에 미치는 영향을 설명할 수 있는가
[ ] ELBO의 수식적 의미와 최대화 과정의 목적을 이해하고 있는가
[ ] Mean-field Approximation의 가정과 한계를 설명할 수 있는가
[ ] Epistemic과 Aleatoric 불확실성을 구분하고 각각의 특징과 예시를 제시할 수 있는가