ㅁ 불확실성 추정

ㅇ 정의: 모델이 데이터에 대해 가지는 불확실성을 수치적으로 표현하고 예측 결과의 신뢰도를 평가하는 방법.

ㅇ 특징: 확률 분포를 기반으로 결과를 해석하며, 데이터의 노이즈나 불완전성을 고려함. 다양한 상황에서 신뢰 구간을 제공할 수 있음.

ㅇ 적합한 경우: 데이터가 불완전하거나 노이즈가 많을 때, 의사결정에서 결과의 신뢰도를 고려해야 할 때.

ㅇ 시험 함정: 불확실성 추정이 항상 정확한 것은 아니며, 데이터의 품질에 따라 결과가 크게 달라질 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 불확실성 추정은 신뢰 구간을 제공한다.
– X: 불확실성 추정은 항상 정확한 결과를 보장한다.

================================

1. Bayesian Learning

ㅇ 정의: 사전 확률(prior)과 데이터로부터 얻은 정보를 결합하여 사후 확률(posterior)을 계산하는 학습 방법.

ㅇ 특징: 새로운 데이터가 추가될 때마다 확률을 갱신할 수 있음. 데이터가 적을 때도 유용하며, 사전 지식의 반영이 가능함.

ㅇ 적합한 경우: 데이터가 제한적일 때, 사전 지식을 활용해야 할 때, 불확실성을 정량적으로 평가해야 할 때.

ㅇ 시험 함정: 사전 확률의 선택이 결과에 큰 영향을 미칠 수 있음. 사전 확률을 잘못 설정하면 왜곡된 결과를 초래할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Bayesian Learning은 사전 확률을 기반으로 사후 확률을 계산한다.
– X: Bayesian Learning은 데이터가 많을 때만 유용하다.

ㅁ 추가 학습 내용

Bayesian Learning에서 사전 확률(prior)은 데이터 분석에 앞서 우리가 가지고 있는 사전 지식을 모델에 반영하는 중요한 요소입니다. 사전 확률의 설정 방법과 이에 따른 결과를 이해하는 것은 Bayesian 학습을 효과적으로 활용하기 위해 필수적입니다. 아래에 구체적인 사례와 잘못된 설정으로 인한 문제점을 정리합니다.

1. **베타 분포를 사전 확률로 설정하는 경우**
베타 분포는 [0, 1] 범위에서 정의되며, 이진 확률 변수(예: 성공 확률 등)를 모델링할 때 자주 사용됩니다. 예를 들어, 동전을 던졌을 때 앞면이 나올 확률을 추정하는 경우, 베타 분포를 사전 확률로 설정하면 성공과 실패 횟수에 기반한 직관적인 초기 추정치를 반영할 수 있습니다.
– **설정 방법**: 베타 분포의 두 매개변수(alpha, beta)는 성공과 실패에 대한 사전 지식을 나타냅니다. 예를 들어, 동전이 공정하다고 믿는다면 alpha=1, beta=1로 설정해 균등한 사전 확률을 부여할 수 있습니다. 만약 성공 횟수가 더 많을 것으로 예상된다면 alpha를 beta보다 높게 설정합니다.
– **장점**: 베타 분포는 이항 분포의 공액 사전 확률(conjugate prior)이므로 계산이 간단해지고, 사후 확률을 직관적으로 업데이트할 수 있습니다.
– **문제점**: alpha와 beta 값을 극단적으로 설정하면 데이터가 충분하지 않을 경우 과도한 편향이 발생할 수 있습니다. 예를 들어, alpha=1000, beta=1로 설정하면 동전이 앞면일 확률이 거의 1에 가까운 값으로 고정되어 데이터에 기반한 학습이 어려워질 수 있습니다.

2. **정규 분포를 사전 확률로 사용하는 경우**
정규 분포는 연속 변수의 평균과 분산에 대한 사전 지식을 나타낼 때 유용합니다. 예를 들어, 학생들의 시험 점수를 모델링할 때 평균 점수와 분산에 대한 초기 추정치를 반영할 수 있습니다.
– **설정 방법**: 정규 분포의 평균과 분산을 설정하여 데이터의 중심값과 변동성에 대한 사전 정보를 반영합니다. 예를 들어, 평균을 70, 분산을 10으로 설정하면 점수가 70 근처에 집중될 것이라는 사전 믿음을 나타냅니다.
– **장점**: 정규 분포는 많은 자연현상에서 나타나는 분포이므로 직관적이고 널리 사용됩니다. 또한 계산이 간단하며, 사후 확률 계산 시 유용합니다.
– **문제점**: 평균과 분산을 부정확하게 설정하면 모델이 잘못된 방향으로 학습될 수 있습니다. 예를 들어, 평균을 지나치게 높게 설정하면 실제 데이터가 평균보다 낮은 경우에도 모델이 높은 값을 선호하도록 학습될 수 있습니다.

3. **과적합 방지를 위한 사전 확률 선택 기준**
사전 확률은 과적합을 방지하는 데 중요한 역할을 합니다. 과적합을 방지하기 위해서는 다음과 같은 기준을 고려해야 합니다.
– **유연성**: 지나치게 강한 사전 확률은 모델이 데이터에 적응하지 못하고 과도한 편향을 초래할 수 있습니다. 따라서 데이터에 대한 사전 지식이 부족한 경우, 넓고 유연한 사전 확률을 선택해야 합니다.
– **데이터 중심적 접근**: 사전 확률은 데이터의 특성과 일치해야 합니다. 예를 들어, 데이터가 이항 분포를 따를 것으로 예상된다면 베타 분포를 선택하는 것이 적합합니다.
– **검증**: 사전 확률 설정 후, 검증 데이터셋을 사용해 모델이 과적합되었는지 확인해야 합니다. 사전 확률이 과도하게 강하면 모델이 데이터의 변동성을 충분히 반영하지 못할 수 있습니다.

4. **잘못된 사전 확률 설정으로 인한 문제점**
– **편향된 결과**: 사전 확률이 지나치게 강하거나 부정확하게 설정되면, 데이터가 충분하지 않은 경우에도 모델이 사전 확률에 의해 편향된 결과를 도출할 수 있습니다.
– **학습 불가능**: 극단적인 사전 확률 설정은 데이터에 기반한 학습을 방해할 수 있습니다. 예를 들어, 사전 확률이 특정 값에 고정되어 있으면, 실제 데이터가 이를 반증하더라도 모델이 업데이트되지 않을 수 있습니다.
– **과적합 또는 과소적합**: 너무 강한 사전 확률은 모델이 데이터에 적응하지 못하게 만들어 과소적합을 초래하며, 너무 약한 사전 확률은 모델이 데이터의 노이즈까지 학습하게 되어 과적합을 초래할 수 있습니다.

따라서 Bayesian Learning에서 사전 확률을 설정할 때는 데이터의 특성과 사전 지식을 신중히 고려하고, 설정된 사전 확률이 실제 데이터와 잘 조화되는지 검증하는 과정이 필요합니다.