ㅁ 최적화 하이퍼파라미터 튜닝

ㅇ 정의:
하이퍼파라미터 탐색 시 실제 모델 학습 없이, 대리 모델(Surrogate Model)을 사용해 성능을 예측하고 최적값을 찾는 기법.

ㅇ 특징:
– 실제 모델 대신 경량화된 예측 모델을 사용하여 탐색 속도 향상
– 보통 Gaussian Process, Random Forest, TPE(Tree-structured Parzen Estimator) 등이 활용됨
– Bayesian Optimization에서 핵심 구성 요소로 사용됨
– 연속형, 이산형 하이퍼파라미터 모두 처리 가능

ㅇ 적합한 경우:
– 모델 학습 비용이 매우 높아 모든 조합을 실험하기 어려운 경우
– 탐색 공간이 넓고 비선형적 관계가 있는 경우
– 제한된 자원에서 최적화 효율을 극대화해야 하는 경우

ㅇ 시험 함정:
– Surrogate Model은 실제 모델과 동일한 것이 아님 → 혼동 주의
– 단순 Grid Search, Random Search와 구분 필요
– 항상 최적값을 보장하지 않음 (탐색 과정에서 근사치 활용)

ㅇ 시험 대비 “패턴 보기” 예시:
O: “하이퍼파라미터 최적화를 위해 Gaussian Process를 활용한 대리 모델을 사용한다.”
X: “Surrogate Model은 실제 학습 모델과 동일한 구조를 사용해야 한다.”

ㅁ 추가 학습 내용

Surrogate Model 기반 최적화는 Bayesian Optimization의 핵심 요소이며, 탐색 효율성을 높이기 위해 Acquisition Function(예: Expected Improvement, Upper Confidence Bound)을 함께 사용한다.
Surrogate Model로는 Gaussian Process, Random Forest, Gradient Boosted Trees, 신경망 기반 모델 등이 있으며, 각 모델의 장단점을 구분할 수 있어야 한다.
Gaussian Process는 소규모 데이터에서 강점을 가지며, Random Forest는 범주형 변수 처리에 용이하다.
시험에서는 ‘Surrogate Model은 탐색 공간 전체를 완벽하게 모델링한다’와 같은 절대적 표현이 함정으로 출제될 수 있으므로 주의해야 한다.