ㅁ 불확실성 추정

ㅇ 정의:
모델의 예측 결과에 대한 신뢰도를 정량적으로 평가하는 과정.

ㅇ 특징:
– 데이터 샘플의 다양성과 모델의 예측 안정성을 확인할 수 있음.
– 의료, 금융 등 높은 신뢰도가 요구되는 분야에서 중요.

ㅇ 적합한 경우:
– 모델이 새로운 데이터에 대해 예측을 수행할 때 신뢰도를 평가해야 하는 경우.
– 데이터 불균형이나 소량의 데이터로 학습된 모델의 성능을 평가할 때.

ㅇ 시험 함정:
– 불확실성 추정을 ‘예측 정확도’와 혼동하는 경우.
– 모든 모델이 불확실성 추정을 지원한다고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 불확실성 추정은 모델의 예측 신뢰도를 정량적으로 평가하는 과정이다.
– X: 불확실성 추정은 예측 정확도를 높이는 데 주로 사용된다.

================================

1. Bayesian Neural Network

ㅇ 정의:
신경망의 가중치에 확률적 분포를 적용하여 예측의 불확실성을 정량화하는 기법.

ㅇ 특징:
– 예측값과 함께 신뢰 구간을 제공.
– 과적합 방지에 효과적.
– 계산 복잡도가 높아 학습 시간이 길어질 수 있음.

ㅇ 적합한 경우:
– 의료 진단과 같이 잘못된 예측이 치명적인 결과를 초래할 수 있는 경우.
– 데이터가 제한적이거나 노이즈가 많은 경우.

ㅇ 시험 함정:
– Bayesian Neural Network를 일반적인 신경망과 동일하게 간주하는 경우.
– 신뢰 구간이 좁을수록 항상 모델이 정확하다고 여기는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Bayesian Neural Network는 예측값과 함께 신뢰도를 제공한다.
– X: Bayesian Neural Network는 항상 계산 속도가 빠르다.

ㅁ 추가 학습 내용

Bayesian Neural Network(BNN)는 신경망의 가중치와 바이어스를 확률 변수로 간주하여 학습 과정에서 불확실성을 모델링하는 방법론입니다. 이를 위해 학습 과정에서 확률적 추론 기법이 사용되며, Variational Inference와 Markov Chain Monte Carlo(MCMC)는 대표적인 기법입니다. 아래는 두 기법에 대한 설명과 불확실성 추정의 다른 방법론과의 비교입니다.

1. **Variational Inference**
– Variational Inference는 복잡한 확률 분포를 근사하는 간단한 분포를 사용하여 Bayesian 추론을 수행하는 방법입니다.
– 목표는 근사 분포(q)를 찾는 것으로, 이 분포가 실제 posterior 분포(p)에 최대한 가까워지도록 Kullback-Leibler(KL) 발산을 최소화하는 방식으로 최적화됩니다.
– Variational Inference는 계산 효율성이 높은 방법으로, 고차원 공간에서도 빠르게 근사 분포를 학습할 수 있습니다.
– 하지만 근사 분포의 선택에 따라 실제 posterior를 충분히 표현하지 못할 수 있다는 한계가 있습니다.

2. **Markov Chain Monte Carlo(MCMC)**
– MCMC는 posterior 분포를 직접 샘플링하는 방법으로, 정확한 Bayesian 추론을 수행할 수 있습니다.
– 대표적인 MCMC 알고리즘으로는 Metropolis-Hastings, Gibbs Sampling 등이 있으며, 이들은 Markov Chain을 기반으로 샘플을 생성하고 해당 샘플이 posterior 분포를 따르도록 설계됩니다.
– MCMC는 Variational Inference보다 더 정확한 추론이 가능하지만, 계산 비용이 매우 높고 고차원 공간에서는 수렴 속도가 느리다는 단점이 있습니다.

3. **불확실성 추정의 다른 방법론: Dropout 기반 Monte Carlo 추정**
– Dropout 기반 Monte Carlo 추정은 신경망에서 Dropout을 테스트 단계에서도 활성화하여 모델의 불확실성을 추정하는 방법입니다.
– 이 방법은 Bayesian Neural Network의 근사적 구현으로 볼 수 있으며, Variational Inference와 유사한 아이디어를 활용합니다.
– 여러 번의 예측을 수행한 뒤, 예측 결과의 분산을 통해 불확실성을 계산합니다.
– 계산 비용이 적고 구현이 간단하지만, Dropout의 확률적인 특성으로 인해 실제 Bayesian 추론의 정확성을 완전히 재현하지는 못합니다.

4. **비교**
– Variational Inference는 계산 효율성이 뛰어나며, 고차원 데이터에서도 실용적입니다. 하지만 근사 분포를 선택하는 과정에서 제한이 있을 수 있습니다.
– MCMC는 정확성 면에서 가장 뛰어나지만, 계산 비용이 매우 높고 수렴 속도가 느려 실시간 응용에는 적합하지 않습니다.
– Dropout 기반 Monte Carlo 추정은 계산 효율성과 구현의 간단함을 제공하지만, Bayesian 추론의 정확성을 완전히 달성하지 못합니다.

시험 대비를 위해서는 각 기법의 장단점, 사용 사례, 그리고 불확실성 추정의 응용을 명확히 이해하는 것이 중요합니다.