ㅁ Ensemble

ㅇ 정의:
여러 개의 개별 모델을 조합하여 하나의 강력한 예측 모델을 만드는 기법. 각 모델의 장점을 취하고 단점을 보완하여 성능을 향상시키는 것을 목표로 함.

ㅇ 특징:
– 단일 모델 대비 과적합(Overfitting) 위험 감소
– 예측 안정성 향상
– 다양한 모델 조합 가능(동일 알고리즘, 다른 알고리즘 모두 가능)
– 계산 비용 증가 가능성 있음

ㅇ 적합한 경우:
– 데이터 양이 충분하고 복잡성이 높은 문제
– 단일 모델의 성능이 한계에 도달했을 때
– 예측 안정성과 일반화를 동시에 확보하고 싶은 경우

ㅇ 시험 함정:
– Ensemble이 항상 성능을 향상시키는 것은 아님(데이터 품질이 낮거나 모델 다양성이 부족하면 효과 미미)
– 모델 개수가 많다고 무조건 좋은 것은 아님
– Bagging과 Boosting의 차이를 혼동하기 쉬움

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Ensemble 학습은 여러 모델의 예측을 결합하여 성능을 향상시킨다.”
X: “Ensemble 학습은 항상 단일 모델보다 정확도가 높다.”

================================

1. Bagging

ㅇ 정의:
Bootstrap Aggregating의 약자로, 데이터 샘플을 부트스트랩(중복 허용 랜덤 샘플링)하여 여러 모델을 학습시키고, 결과를 평균(회귀) 또는 다수결(분류)로 결합하는 방법.

ㅇ 특징:
– 병렬 학습 가능
– 분산(Variance) 감소 효과가 큼
– 개별 모델은 서로 독립적으로 학습
– 대표 알고리즘: Random Forest

ㅇ 적합한 경우:
– 모델의 분산이 큰 경우
– 데이터에 노이즈가 많아 안정된 예측이 필요한 경우

ㅇ 시험 함정:
– Bagging은 편향(Bias)보다 분산 감소에 더 효과적임
– Boosting과 달리 이전 모델의 오차를 보정하는 방식이 아님

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Bagging은 병렬적으로 여러 모델을 학습하여 분산을 줄인다.”
X: “Bagging은 이전 모델의 오차를 학습에 반영한다.”

================================

2. Boosting

ㅇ 정의:
약한 학습기(Weak Learner)를 순차적으로 학습시키면서, 이전 모델이 잘못 예측한 데이터에 더 높은 가중치를 부여하여 성능을 향상시키는 방법.

ㅇ 특징:
– 순차적 학습(Sequential)
– 편향(Bias) 및 분산 모두 감소 가능
– 잘못 예측한 샘플에 집중
– 대표 알고리즘: AdaBoost, Gradient Boosting, XGBoost, LightGBM

ㅇ 적합한 경우:
– 모델의 편향을 줄이고 싶은 경우
– 데이터에서 복잡한 패턴을 학습해야 하는 경우

ㅇ 시험 함정:
– Boosting은 노이즈 데이터에 민감하여 과적합 위험이 있음
– Bagging과 혼동하기 쉬움(특히 병렬 vs 순차 차이)

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Boosting은 이전 모델이 틀린 데이터에 가중치를 높여 학습한다.”
X: “Boosting은 모든 데이터에 동일한 가중치를 유지한다.”

================================

3. Stacking

ㅇ 정의:
여러 개의 다른 종류의 모델을 학습시키고, 그 예측 결과를 메타 모델(Meta Learner)에 입력하여 최종 예측을 수행하는 방법.

ㅇ 특징:
– 서로 다른 알고리즘 조합 가능
– 메타 모델이 각 모델의 예측 성능을 학습하여 최적 조합을 찾음
– 일반적으로 2단계(1차 모델 + 메타 모델) 구조

ㅇ 적합한 경우:
– 서로 다른 알고리즘의 강점을 결합하고 싶은 경우
– 데이터 패턴이 복잡하고 단일 알고리즘으로 한계가 있는 경우

ㅇ 시험 함정:
– Stacking은 단순 평균이나 다수결이 아님(메타 모델 학습 필요)
– 메타 모델 학습 시 훈련 데이터 누수(Leakage) 방지 주의 필요

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Stacking은 여러 모델의 예측을 메타 모델이 결합하여 최종 예측을 만든다.”
X: “Stacking은 단순히 예측값을 평균 내어 결과를 낸다.”

================================

4. Voting

ㅇ 정의:
여러 모델의 예측 결과를 단순 다수결(Hard Voting) 또는 예측 확률 평균(Soft Voting) 방식으로 결합하는 방법.

ㅇ 특징:
– 구현이 간단
– 학습 과정 없이 예측 결합만 수행
– Hard Voting: 클래스 라벨 다수결
– Soft Voting: 클래스 확률 평균

ㅇ 적합한 경우:
– 학습된 다양한 모델이 있을 때 간단히 성능 향상을 도모하고 싶은 경우
– 계산 자원이 제한적인 경우

ㅇ 시험 함정:
– Soft Voting은 모델이 확률 예측을 지원해야 함
– Voting은 메타 모델을 학습시키지 않음(→ Stacking과 혼동 주의)

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Voting은 여러 모델의 예측을 다수결이나 평균 확률로 결합한다.”
X: “Voting은 메타 모델을 학습하여 예측을 결합한다.”

================================

제가 원하시면 위 내용을 기반으로 ‘Bagging, Boosting, Stacking, Voting’의 비교표도 만들어 드릴 수 있습니다.
비교표가 있으면 시험에서 차이점을 묻는 문제를 빠르게 대비할 수 있습니다.
원하시나요?