ㅁ Ensemble

ㅇ 정의:
여러 개의 모델을 결합하여 하나의 예측 결과를 도출하는 방법으로, 개별 모델의 약점을 보완하고 강점을 극대화하는 기법.

ㅇ 특징:
– 개별 모델의 다양성이 중요하며, 서로 다른 알고리즘이나 데이터 샘플을 사용하는 경우 효과적.
– 과적합을 방지하고 일반화 성능을 향상시킬 수 있음.
– 계산 비용이 증가할 수 있으므로 적절한 균형 필요.

ㅇ 적합한 경우:
– 단일 모델의 성능이 불충분하거나 불안정한 경우.
– 데이터가 복잡하고 비선형적인 패턴을 포함하는 경우.

ㅇ 시험 함정:
– 모든 경우에 Ensemble이 유효하다고 생각하는 것은 오답으로 이어질 수 있음.
– 개별 모델 간의 상관성이 높으면 Ensemble의 효과가 감소할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Ensemble 기법은 다양한 모델을 결합하여 예측 성능을 향상시킨다.
– X: Ensemble 기법은 항상 단일 모델보다 성능이 우수하다.

================================

1. Voting

ㅇ 정의:
개별 모델의 예측 결과를 투표 방식으로 결합하여 최종 예측을 결정하는 Ensemble 방법.

ㅇ 특징:
– 다수결 원칙에 따라 예측 결과를 도출하며, 분류 문제에서 주로 사용됨.
– 각 모델의 가중치를 동일하게 부여하거나, 성능에 따라 가중치를 조정할 수 있음.
– 단순하고 계산 비용이 낮지만, 모델 간의 다양성이 부족하면 효과가 제한적일 수 있음.

ㅇ 적합한 경우:
– 모델 간의 성능 차이가 크지 않은 경우.
– 빠르고 간단한 Ensemble 방법이 필요한 경우.

ㅇ 시험 함정:
– Voting 방식이 모든 유형의 데이터에 적합하다고 생각하는 것은 오답으로 이어질 수 있음.
– 가중치를 고려하지 않는 단순 Voting이 항상 최적의 결과를 제공한다고 믿는 것은 잘못된 접근.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Voting Ensemble은 각 모델의 예측 결과를 결합하여 최종 결정을 내린다.
– X: Voting Ensemble은 모든 상황에서 성능이 단일 모델보다 우수하다.

ㅁ 추가 학습 내용

1. Voting 방식의 단점:
– Voting 방식은 모델 간의 다양성이 부족할 경우 효과가 제한적일 수 있습니다. 즉, 개별 모델들이 비슷한 성능과 예측 결과를 내는 경우 Voting을 통해 얻는 성능 향상이 미미할 수 있습니다. 다양성이 높은 모델들을 사용하는 것이 Voting 방식의 효과를 극대화하는 데 중요합니다.

2. Weighted Voting 기법:
– Weighted Voting은 기본 Voting 방식의 변형 기법으로, 각 모델의 예측 결과에 가중치를 부여하여 최종 결정을 내리는 방식입니다.
– 가중치는 일반적으로 각 모델의 성능(예: 정확도, F1 점수 등)을 기준으로 설정됩니다. 성능이 높은 모델일수록 더 높은 가중치를 부여하여 예측 결과에 더 큰 영향을 미치게 합니다.
– Weighted Voting을 효과적으로 사용하기 위해서는 각 모델의 개별 성능 평가와 가중치 설정 방법에 대한 이해가 필요합니다.

3. Voting 방식과 회귀 문제:
– Voting 방식은 분류 문제에서 주로 사용되지만, 회귀 문제에서도 적용될 수 있습니다. 회귀 문제에서는 개별 모델의 예측 값들의 평균을 계산하거나 Weighted Voting을 통해 최종 예측 값을 도출하는 방식으로 사용됩니다.
– 시험에서 Voting 방식이 회귀 문제에 적용될 수 있는지에 대한 함정형 질문이 나올 가능성이 있으므로, Voting 방식이 회귀 문제에도 적용 가능하다는 점을 명확히 이해하고 대비해야 합니다.