ㅁ HPO 기법

ㅇ 정의:
하이퍼파라미터 최적화(Hyperparameter Optimization) 기법 중 하나로, 이전 탐색 결과를 바탕으로 확률 모델을 구축하고, 이를 통해 다음 탐색 지점을 효율적으로 선택하는 방법.

ㅇ 특징:
– Gaussian Process, TPE(Tree-structured Parzen Estimator) 등 확률 모델 사용
– 탐색 공간을 효율적으로 줄이며, 적은 시도로도 최적값에 근접 가능
– 탐색 과정에서 불확실성이 큰 영역을 우선적으로 탐색하거나, 기대 개선(Expected Improvement)이 높은 지점을 선택

ㅇ 적합한 경우:
– 하이퍼파라미터 탐색 비용이 큰 경우 (딥러닝 모델 학습 등)
– 탐색 공간이 연속적이거나 복잡한 경우
– 랜덤 서치나 그리드 서치 대비 더 적은 시도로 높은 성능을 원하는 경우

ㅇ 시험 함정:
– 단순히 확률 모델을 사용하는 모든 최적화 기법이 Bayesian Optimization은 아님
– 탐색 초기에 랜덤 샘플링을 포함하는 경우가 많음 (이를 빼먹고 설명하면 오답)
– Gaussian Process만 사용하는 것으로 오해할 수 있으나, TPE 등 다른 모델도 가능

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “이전 탐색 결과를 바탕으로 다음 탐색 지점을 선택하는 확률 기반 HPO 기법”
– O: “탐색 비용이 큰 경우 효율적인 하이퍼파라미터 최적화 가능”
– X: “탐색 공간 전체를 균등하게 시도하는 방식”
– X: “항상 Gaussian Process만 사용한다”

================================

ㅁ 추가 학습 내용

Bayesian Optimization은 함수의 형태를 명시적으로 알 수 없고 평가 비용이 큰 블랙박스 함수 최적화에 적합하다. 핵심 개념 중 하나는 탐색과 활용 간의 균형(trade-off)이며, 이를 위해 획득 함수(Acquisition Function)를 사용한다. 대표적인 획득 함수로는 Expected Improvement, Upper Confidence Bound, Probability of Improvement가 있다. 초기 탐색 단계에서 랜덤 샘플링을 사용하는 이유는 탐색 공간 전반에 대한 사전 정보를 확보하기 위함이다. 모델링에는 Gaussian Process 외에도 TPE(Tree-structured Parzen Estimator), Random Forest 기반 모델 등을 사용할 수 있다. 시험에서는 Bayesian Optimization과 Grid Search, Random Search의 비교, AutoML에서의 활용 사례, 연속형과 이산형 하이퍼파라미터 처리 차이 등이 자주 출제된다.