ㅁ 불확실성 추정

ㅇ 정의:
모델의 예측 결과에 대한 신뢰도를 정량적으로 측정하는 기법으로, 예측값과 함께 불확실성 정도를 제공하여 의사결정의 안정성을 높임.

ㅇ 특징:
– 확률적 모델링을 통해 예측값의 분포를 추정
– 데이터 불확실성(aleatoric)과 모델 불확실성(epistemic) 구분 가능
– 의료, 자율주행, 금융 등 고위험 분야에서 중요

ㅇ 적합한 경우:
– 예측 결과의 신뢰도를 기반으로 후속 조치를 결정해야 하는 경우
– 레이블 노이즈가 존재하거나 데이터가 불완전한 경우

ㅇ 시험 함정:
– 불확실성 추정이 항상 예측 정확도를 향상시키는 것은 아님
– 결정론적 모델에서도 불확실성 추정이 가능하다는 점 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: 불확실성 추정은 예측값과 함께 신뢰도를 제공한다.
X: 불확실성 추정은 예측 정확도를 반드시 높인다.

================================

1. Bayesian Neural Network

ㅇ 정의:
신경망의 가중치를 확률 변수로 설정하고 베이즈 추론을 통해 가중치의 사후 분포를 추정하는 모델.

ㅇ 특징:
– 가중치 불확실성 반영 가능
– MCMC 또는 Variational Inference 활용
– 계산량이 크고 학습이 느림

ㅇ 적합한 경우:
– 데이터셋 크기가 작고 불확실성 추정이 중요한 경우
– 모델의 해석 가능성이 중요한 경우

ㅇ 시험 함정:
– 모든 Bayesian Neural Network가 MCMC를 사용하는 것은 아님
– 단순 Dropout과 동일하다고 오해하기 쉬움

ㅇ 시험 대비 “패턴 보기” 예시:
O: Bayesian Neural Network는 가중치를 확률 변수로 본다.
X: Bayesian Neural Network는 항상 Dropout을 사용한다.

================================

2. Dropout 기반 추정

ㅇ 정의:
학습과 추론 시 모두 Dropout을 적용하여 여러 번의 추론 결과 분포로 불확실성을 추정하는 방법(MC Dropout).

ㅇ 특징:
– 구현이 간단하고 기존 모델에 쉽게 적용 가능
– Bayesian Approximation으로 해석 가능
– 반복 추론 필요

ㅇ 적합한 경우:
– 기존 학습된 모델에 불확실성 추정을 추가하고 싶은 경우
– 대규모 데이터셋에서 빠르게 적용하고 싶은 경우

ㅇ 시험 함정:
– Dropout 기반 추정이 항상 Bayesian Neural Network보다 정확한 것은 아님
– 추론 시 Dropout을 끄면 불확실성 추정이 불가능

ㅇ 시험 대비 “패턴 보기” 예시:
O: MC Dropout은 추론 시에도 Dropout을 적용한다.
X: Dropout 기반 추정은 학습 시에만 Dropout을 적용한다.

================================

3. Ensemble 불확실성

ㅇ 정의:
여러 개의 독립적으로 학습된 모델을 앙상블하여 예측 분포의 분산으로 불확실성을 추정하는 방법.

ㅇ 특징:
– 모델 다양성이 중요
– 구현이 직관적이고 병렬화 가능
– 학습 비용이 큼

ㅇ 적합한 경우:
– 계산 자원이 충분하고 높은 신뢰도의 예측이 필요한 경우
– 데이터가 복잡하고 단일 모델이 과적합하는 경우

ㅇ 시험 함정:
– 앙상블 크기가 크다고 무조건 성능이 향상되는 것은 아님
– 데이터셋이 동일하면 모델 다양성이 확보되지 않을 수 있음

ㅇ 시험 대비 “패턴 보기” 예시:
O: Ensemble 불확실성은 예측 분산으로 불확실성을 측정한다.
X: Ensemble 불확실성은 항상 계산 비용이 적다.

================================

4. Calibration

ㅇ 정의:
모델이 출력하는 확률값이 실제 사건의 발생 확률과 일치하도록 조정하는 과정.

ㅇ 특징:
– Reliability Diagram, Expected Calibration Error(ECE)로 평가
– Platt Scaling, Temperature Scaling 등의 방법 사용
– 분류 모델에서 주로 활용

ㅇ 적합한 경우:
– 확률 예측을 의사결정에 직접 사용하는 경우
– 모델이 과신(overconfident)하는 경향이 있는 경우

ㅇ 시험 함정:
– Calibration이 모델의 분류 정확도를 반드시 높이는 것은 아님
– Calibration은 예측 확률 조정이지 클래스 레이블 변경이 아님

ㅇ 시험 대비 “패턴 보기” 예시:
O: Calibration은 예측 확률과 실제 빈도를 맞추는 과정이다.
X: Calibration은 클래스 레이블을 변경하는 과정이다.

ㅁ 추가 학습 내용

불확실성 추정의 두 가지 주요 유형
– Aleatoric 불확실성: 데이터 자체에 존재하는 내재적 불확실성으로, 측정 오차나 환경의 변동성처럼 더 많은 데이터를 수집해도 줄어들지 않음. 예: 센서 노이즈, 날씨 변화에 따른 측정 값 변동.
– Epistemic 불확실성: 모델의 지식 부족에서 기인하는 불확실성으로, 충분한 데이터와 학습을 통해 감소시킬 수 있음. 예: 학습 데이터에 없는 새로운 상황, 드문 이벤트.

Bayesian Neural Network에서 Variational Inference와 MCMC 비교
– Variational Inference(VI): 사후 분포를 근사하기 위해 최적화 문제로 변환하여 빠르게 계산 가능. 계산 효율성이 높고 대규모 데이터에 적합하지만 근사 오차가 발생할 수 있음.
– MCMC: 샘플링 기반으로 사후 분포를 직접 추정. 정확도가 높고 근사 오차가 적지만 계산 비용이 크고 수렴 시간이 길어 대규모 문제에는 부적합.

MC Dropout의 수학적 근거와 Bayesian Approximation
– 학습과 추론 시 모두 Dropout을 적용하여 여러 번 추론을 수행하고, 그 분포를 통해 불확실성을 추정.
– Dropout이 Bayesian Neural Network의 변분 근사 형태로 해석될 수 있으며, 이를 통해 모델 파라미터의 불확실성을 근사적으로 추정.

Ensemble 방법에서 Bootstrap Sampling을 통한 데이터 다양성 확보
– 원본 데이터에서 중복을 허용하여 무작위로 샘플링한 여러 개의 학습 세트를 생성.
– 각 세트로 개별 모델을 학습하여 예측을 결합함으로써 모델 간 다양성을 확보하고 일반화 성능과 안정성을 향상.

Calibration 측정 지표
– ECE(Expected Calibration Error): 예측 확률과 실제 정답 비율의 차이를 구간별로 평균한 값. 값이 작을수록 잘 보정된 모델.
– MCE(Maximum Calibration Error): 구간별 예측 확률과 실제 정답 비율의 최대 차이.
– Brier Score: 예측 확률과 실제 레이블 간의 평균 제곱 오차. 값이 작을수록 예측이 정확하고 보정이 잘 되어 있음.

Calibration과 Regularization 차이
– Calibration: 모델의 예측 확률이 실제 발생 확률과 일치하도록 조정하는 과정.
– Regularization: 모델의 복잡도를 제어하여 과적합을 방지하는 기법. 목적과 적용 방식이 다름.

불확실성 추정과 Thresholding의 연계 사례
– 예측 확률이 특정 임계값 이상일 때만 의사결정을 수행하거나, 불확실성이 높은 경우 인간 전문가에게 의뢰하는 전략.
– 예: 의료 진단 시스템에서 확신도가 낮으면 추가 검사 권고, 자율주행 차량에서 불확실성이 높을 때 속도 감소.

시험 출제 경향
– 불확실성 추정 기법별 장단점, 적용 사례, 계산 복잡도, 확률적 해석 가능 여부 등을 비교하는 문제가 자주 출제됨.