ㅁ HPO 기법

ㅇ 정의: 하이퍼파라미터 최적화(Hyperparameter Optimization, HPO) 기법은 머신러닝 모델의 성능을 최적화하기 위해 사용되는 기법으로, 모델의 하이퍼파라미터를 체계적으로 탐색하여 최적의 값을 찾는 과정이다.

ㅇ 특징:
– 하이퍼파라미터는 모델 학습에 중요한 영향을 미치며, 수동으로 최적화하기 어렵다.
– 다양한 자동화 기법이 존재하며, 탐색 공간과 계산 비용 간의 균형을 고려한다.

ㅇ 적합한 경우:
– 하이퍼파라미터의 조합이 복잡하고 모델 성능에 큰 영향을 미치는 경우.
– 수동으로 최적화할 시간이 부족하거나, 탐색 공간이 매우 큰 경우.

ㅇ 시험 함정:
– HPO 기법이 모든 경우에 최적의 결과를 보장한다고 오해할 수 있다.
– 계산 비용이 높은 기법이 항상 더 나은 결과를 제공한다고 착각할 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: HPO는 하이퍼파라미터 최적화를 자동화하는 기법이다.
– X: HPO는 항상 최적의 모델 성능을 보장한다.

================================

1. Bayesian Optimization

ㅇ 정의: Bayesian Optimization은 확률적 모델을 기반으로 하이퍼파라미터 탐색을 수행하는 기법으로, 탐색 공간 내에서 성능이 가장 좋을 가능성이 높은 영역을 선택적으로 탐색한다.

ㅇ 특징:
– 가우시안 프로세스(Gaussian Process)를 활용하여 탐색 공간을 모델링한다.
– 탐색 효율성을 높이기 위해 탐색과 활용 간의 균형을 조정한다.

ㅇ 적합한 경우:
– 모델 학습에 시간이 많이 소요되는 경우.
– 탐색 공간이 연속적이고 비교적 작지만 복잡한 경우.

ㅇ 시험 함정:
– Bayesian Optimization이 항상 전역 최적화를 보장한다고 오해할 수 있다.
– 가우시안 프로세스만을 사용한다고 생각할 수 있다.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Bayesian Optimization은 탐색 효율성을 높이기 위해 가우시안 프로세스를 사용한다.
– X: Bayesian Optimization은 모든 하이퍼파라미터 조합을 탐색한다.

ㅁ 추가 학습 내용

Bayesian Optimization의 주요 하위 기술인 획득 함수(Acquisition Function)는 탐색(exploration)과 활용(exploitation) 간의 균형을 조정하는 역할을 합니다. 이를 통해 최적화 과정에서 효율적으로 최적의 해를 찾을 수 있습니다. 대표적인 획득 함수에는 Expected Improvement(EI), Upper Confidence Bound(UCB), Probability of Improvement(PI)가 있으며, 각각의 정의와 특징, 적용 사례는 다음과 같습니다:

1. **Expected Improvement (EI)**
– **정의**: EI는 현재까지의 최적값을 기준으로, 새로운 점에서의 개선 가능성을 기대값으로 계산하는 함수입니다. 즉, 새로운 점에서의 목표 함수값이 현재 최적값보다 얼마나 개선될 수 있는지를 예측합니다.
– **특징**: EI는 탐색과 활용 간의 균형을 잘 유지하며, 개선 가능성이 높은 점을 선택하는 데 유용합니다. 특히, 목표 함수의 불확실성이 높은 영역에서는 탐색을 더 많이 수행하고, 이미 최적값에 가까운 영역에서는 활용을 더 많이 수행합니다.
– **적용 사례**: EI는 하이퍼파라미터 튜닝, 재료 과학에서의 최적화 문제, 머신 러닝 모델의 성능 향상 등 다양한 분야에서 사용됩니다.

2. **Upper Confidence Bound (UCB)**
– **정의**: UCB는 목표 함수의 예측값과 불확실성을 결합하여 점수를 계산합니다. 일반적으로 예측값에 불확실성의 상한값을 더하여 새로운 점을 선택합니다.
– **특징**: UCB는 불확실성이 높은 영역을 적극적으로 탐색합니다. 이로 인해 초기 단계에서는 탐색을 많이 수행하고, 점차 불확실성이 줄어들면서 활용을 더 많이 수행하게 됩니다. 파라미터를 조정하여 탐색과 활용 간의 균형을 설정할 수 있습니다.
– **적용 사례**: UCB는 다중 밴딧 문제, 강화 학습, 최적화 문제에서 자주 사용됩니다. 특히, 불확실성 관리가 중요한 상황에서 효과적입니다.

3. **Probability of Improvement (PI)**
– **정의**: PI는 새로운 점에서 목표 함수값이 현재 최적값보다 개선될 확률을 계산하는 함수입니다. 확률이 높은 점을 선택하여 탐색을 진행합니다.
– **특징**: PI는 계산이 비교적 간단하며, 개선 가능성이 높은 점을 선택하는 데 초점을 맞춥니다. 하지만 불확실성이 높은 영역을 충분히 탐색하지 못할 수 있어 탐색과 활용 간의 균형이 부족할 수 있습니다.
– **적용 사례**: PI는 간단한 최적화 문제에서 사용되며, 계산 비용이 낮은 상황에서 유용합니다.

이러한 획득 함수들은 Bayesian Optimization의 핵심 요소로, 문제의 특성과 목표에 따라 적절히 선택하여 사용할 수 있습니다.