ㅁ 불확실성 추정

ㅇ 정의:
모델이 예측한 결과의 신뢰도를 정량적으로 평가하는 방법.

ㅇ 특징:
– 데이터의 불균형이나 노이즈가 많을 때 유용.
– 모델의 성능을 보완하고, 예측의 신뢰성을 높이는 데 기여.
– 주로 베이지안 모델링, 앙상블 학습 등에서 활용됨.

ㅇ 적합한 경우:
– 의료 진단, 자율 주행 등 높은 신뢰도가 요구되는 분야.
– 예측 결과를 기반으로 중요한 결정을 내려야 하는 상황.

ㅇ 시험 함정:
– 불확실성 추정이 항상 모델 성능을 높이는 것은 아님.
– 불확실성과 모델의 정확도를 혼동하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 불확실성 추정은 항상 모델의 정확도를 높인다. (X)
2. 불확실성 추정은 신뢰도 평가를 위한 방법이다. (O)

================================

1. Ensemble 불확실성

ㅇ 정의:
여러 개의 모델을 결합하여 예측의 불확실성을 평가하는 방법.

ㅇ 특징:
– 서로 다른 초기화, 데이터 샘플링 등을 통해 다양한 모델 생성.
– 예측 결과의 분산을 통해 불확실성을 측정.
– 계산 비용이 높을 수 있음.

ㅇ 적합한 경우:
– 단일 모델의 불확실성 평가가 어려운 경우.
– 데이터가 복잡하고 노이즈가 많을 때.

ㅇ 시험 함정:
– 앙상블 모델이 항상 단일 모델보다 정확도가 높다고 생각하는 경우.
– 예측 결과의 평균이 아닌 분산이 불확실성을 나타낸다는 점을 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
1. 앙상블 불확실성은 항상 단일 모델보다 계산 비용이 낮다. (X)
2. 앙상블 불확실성은 모델 예측의 분산을 활용한다. (O)

ㅁ 추가 학습 내용

1. 불확실성 추정의 주요 기법
– 베이지안 추론: 데이터와 사전 확률을 결합하여 불확실성을 추정하는 통계적 방법. 사후 확률을 계산해 모델의 신뢰도를 평가할 수 있음.
– 드롭아웃 기반 MC 샘플링: 드롭아웃을 테스트 단계에서도 활성화하여 여러 번의 샘플링을 통해 모델의 불확실성을 추정. 간단히 구현 가능하며 계산 효율적.

2. 모델 불확실성을 평가하는 다양한 방법
– 온도 스케일링: 모델의 출력 확률을 조정하여 신뢰도를 향상시키는 기법. 특히 딥러닝 모델의 과도한 자신감을 완화하는 데 효과적.
– 플로우 기반 모델링: 확률 밀도 함수를 학습하여 데이터 분포를 직접 모델링. 모델이 데이터 분포를 얼마나 잘 캡처하는지 평가 가능.
– Ensemble 방법 외에도 이러한 기법들을 활용하여 모델의 불확실성을 정량적으로 평가할 수 있음.

3. 불확실성 추정의 활용 사례
– 금융 리스크 평가: 투자 포트폴리오의 리스크를 정량적으로 분석하고 의사 결정을 지원. 불확실성을 고려하여 보다 안전한 투자 전략 수립 가능.
– 기상 예측: 기상 데이터의 불확실성을 추정하여 예측 결과의 신뢰도를 제공. 예를 들어, 강수 확률이나 태풍 경로의 신뢰 구간을 제시.
– 의료 진단: 모델의 예측 결과에 대한 신뢰도를 평가하여 오진 가능성을 줄이고, 의사의 판단을 보조.
– 자율 주행: 센서 데이터의 불확실성을 추정하여 안전한 주행 경로를 계획.

위의 내용을 통해 불확실성 추정의 주요 기법과 평가 방법, 그리고 실제 응용 사례를 학습할 수 있음.