ㅁ 최적화 하이퍼파라미터 튜닝

ㅇ 정의:
– 머신러닝/베이지안 최적화에서 다음 실험할 하이퍼파라미터 조합을 선택하기 위해 사용하는 함수.
– 탐색(exploration)과 활용(exploitation) 간 균형을 조절하여 최적값을 효율적으로 찾도록 함.

ㅇ 특징:
– 주로 확률적 모델(예: Gaussian Process)의 예측 분포를 기반으로 계산.
– 대표적으로 Expected Improvement(EI), Probability of Improvement(PI), Upper Confidence Bound(UCB) 등이 있음.
– 계산량이 적고, 기존 관측 데이터를 통해 효율적으로 후보를 제안.

ㅇ 적합한 경우:
– 평가 비용이 높은 모델 학습(예: 대규모 딥러닝)에서 시도 횟수를 줄이고자 할 때.
– 불확실성이 큰 영역과 이미 좋은 성능을 보이는 영역을 균형 있게 탐색해야 할 때.

ㅇ 시험 함정:
– Acquisition Function 자체가 모델을 학습하는 것이 아니라, 다음 시도할 파라미터를 제안하는 역할임을 혼동.
– 탐색과 활용의 균형을 무조건 50:50으로 맞추는 것이 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Acquisition Function은 베이지안 최적화에서 다음 탐색 지점을 결정하는 역할을 한다.”
– X: “Acquisition Function은 모델의 파라미터를 직접 최적화한다.”

ㅁ 추가 학습 내용

Acquisition Function은 베이지안 최적화에서 다음 탐색 지점을 결정하기 위해 사용하는 함수로, 주어진 확률 모델(예: 가우시안 프로세스)의 예측 평균과 불확실성을 활용하여 탐색과 활용의 균형을 조절한다. 주요 방식은 다음과 같다.

1. Expected Improvement (EI)
– 수학적 정의: EI(x) = E[max(0, f(x) – f(x_best))]
– 현재 최적값 f(x_best) 대비 기대 성능 향상량의 기댓값을 계산하여 이를 최대화하는 지점을 선택
– 장점: 향상 가능성과 향상 크기를 모두 고려
– 단점: 계산이 다소 복잡하며, 모델의 불확실성 추정이 부정확하면 성능 저하 가능

2. Probability of Improvement (PI)
– 수학적 정의: PI(x) = P(f(x) ≥ f(x_best) + ξ)
– 현재 최적값을 넘길 확률을 기반으로 탐색
– 장점: 계산이 단순하고 직관적
– 단점: 향상의 크기는 고려하지 않아 작은 개선에도 과도한 선택 가능

3. Upper Confidence Bound (UCB)
– 수학적 정의: UCB(x) = μ(x) + κ * σ(x)
(μ: 예측 평균, σ: 표준편차, κ: 탐색-활용 균형 조절 파라미터)
– 평균 예측값과 불확실성을 조합하여 탐색을 유도
– 장점: 탐색과 활용의 균형을 파라미터로 조절 가능
– 단점: κ 값 설정에 따라 성능이 크게 달라질 수 있음

각 방식 비교
– EI: 개선의 크기와 가능성을 모두 고려, 성능 최적화를 중시할 때 유리
– PI: 빠른 계산과 단순성, 초기 탐색이나 계산 자원이 제한된 경우 유리
– UCB: 불확실성이 큰 영역을 적극 탐색, 전역 탐색에 유리

베이지안 최적화와 Random Search, Grid Search 비교
– Grid Search: 모든 조합을 탐색, 계산량이 매우 많음, 차원이 높을수록 비효율적
– Random Search: 무작위 샘플링으로 탐색, 고차원 문제에서 Grid Search보다 효율적이나 탐색 효율이 낮을 수 있음
– 베이지안 최적화: 이전 탐색 결과를 기반으로 모델을 업데이트하며 효율적으로 최적값을 탐색, 적은 평가 횟수로도 좋은 성능 가능, 계산 자원이 제한된 상황에서 특히 유리