ㅁ 불확실성 추정

1. Bayesian Learning

ㅇ 정의:
– 데이터와 사전 지식(prior)을 결합하여 사후 확률(posterior)을 계산하고, 이를 기반으로 모델 파라미터나 예측의 불확실성을 추정하는 학습 방법.
– 베이즈 정리(P(B|A) = P(A|B)P(B)/P(A))를 기반으로 함.

ㅇ 특징:
– 모델 파라미터를 고정값이 아닌 확률분포로 취급함.
– 데이터가 적을 때 사전 지식이 강하게 반영됨.
– 예측 결과에 불확실성 정보를 함께 제공할 수 있음.
– 계산 복잡도가 높아 MCMC, Variational Inference 등의 근사 기법 활용.

ㅇ 적합한 경우:
– 데이터 수집 비용이 높아 표본 수가 적은 경우.
– 의사결정 과정에서 예측의 신뢰도를 함께 고려해야 하는 경우.
– 의료, 금융, 자율주행 등 안전이 중요한 분야.

ㅇ 시험 함정:
– 빈도주의(Frequentist) 접근과 혼동.
– 사전분포(prior)가 결과에 미치는 영향 간과.
– MAP 추정과 MLE 추정을 동일시하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “베이지안 학습은 파라미터를 확률변수로 취급한다.”
– O: “사전분포는 데이터가 적을 때 결과에 큰 영향을 미친다.”
– X: “베이지안 학습은 불확실성을 고려하지 않는다.”
– X: “베이지안 학습에서는 사전 지식이 필요 없다.”

ㅁ 추가 학습 내용

베이지안 학습의 핵심 개념은 사전분포(prior), 사후분포(posterior), 우도(likelihood), 증거(evidence)이며, 이들의 관계는 다음과 같이 표현된다.
사후분포 = (우도 × 사전분포) / 증거
P(θ|D) = [P(D|θ) × P(θ)] / P(D)
여기서 θ는 모수, D는 데이터이다.

사전분포(Prior)는 데이터 관측 전 모수에 대한 믿음을 나타내며, 사후분포(Posterior)는 데이터 관측 후 갱신된 모수에 대한 믿음을 의미한다. 우도(Likelihood)는 주어진 모수에서 데이터가 관측될 확률이고, 증거(Evidence)는 모든 가능한 모수에 대해 데이터가 관측될 확률의 총합(또는 적분)이다.

사전분포 선택에 따라 결과가 달라질 수 있다.
– 비정보적 사전분포(Non-informative prior): 가능한 한 사전 지식을 반영하지 않도록 설정, 데이터의 영향이 지배적
– 정보적 사전분포(Informative prior): 기존의 강한 사전 지식을 반영, 데이터가 적을 때도 사전 지식이 결과에 큰 영향

베이지안 업데이트 과정은 데이터가 순차적으로 들어올 때 이전 단계의 사후분포를 새로운 사전분포로 사용하여 반복적으로 갱신하는 방식이다.

근사 추론 기법 비교:
– MCMC(Markov Chain Monte Carlo): 정확도 높음, 표본 기반 추론, 계산량이 많고 수렴 속도가 느릴 수 있음
– Variational Inference: 최적화 기반 근사, 계산 속도 빠름, 대규모 데이터에 유리, 그러나 근사로 인한 편향 발생 가능

베이지안 학습과 빈도주의 통계의 차이:
– 베이지안: 모수를 확률변수로 취급, 사전분포를 활용하여 불확실성을 반영, 데이터와 사전 지식을 결합
– 빈도주의: 모수를 고정된 값으로 간주, 데이터 반복 실험에서의 빈도 개념에 기반, 사전분포 사용하지 않음
예시: 신약 효과 검증 시 베이지안은 기존 연구 결과를 사전분포로 반영 가능, 빈도주의는 오직 현재 실험 데이터만 사용