ㅁ 최적화 하이퍼파라미터 튜닝

ㅇ 정의:
하이퍼파라미터 튜닝 과정에서 최적의 하이퍼파라미터 값을 탐색하기 위해 사용하는 기법으로, 주로 Bayesian Optimization에서 활용됨.

ㅇ 특징:
– 탐색(Exploration)과 활용(Exploitation) 간의 균형을 조절함.
– 목표 함수 값을 최대화하거나 최소화하는 데 사용됨.
– 일반적으로 확률적 모델과 함께 작동함.

ㅇ 적합한 경우:
– 목표 함수의 계산 비용이 높을 때.
– 데이터가 제한적이거나 샘플링이 어려운 경우.

ㅇ 시험 함정:
– Acquisition Function의 역할과 Bayesian Optimization과의 관계를 혼동할 수 있음.
– 탐색과 활용의 균형을 잘못 이해하여 시험 문제에서 틀릴 가능성이 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Acquisition Function은 Bayesian Optimization에서 탐색과 활용을 조율하는 데 사용된다.
– X: Acquisition Function은 하이퍼파라미터 값을 직접 최적화한다.

================================

1. Acquisition Function

ㅇ 정의:
Bayesian Optimization에서 사용되는 함수로, 다음 샘플링 포인트를 선택하기 위해 설계된 함수.

ㅇ 특징:
– 주어진 확률 모델 기반으로 작동함.
– 탐색과 활용의 균형을 맞추기 위한 다양한 전략이 존재함.
– 대표적인 예로 Expected Improvement(EI), Upper Confidence Bound(UCB), Probability of Improvement(PI) 등이 있음.

ㅇ 적합한 경우:
– 데이터 샘플링 비용이 높을 때.
– 최적화 목표 함수의 형태를 명확히 알 수 없을 때.

ㅇ 시험 함정:
– EI, UCB, PI와 같은 구체적인 기법을 혼동할 수 있음.
– Acquisition Function의 목적을 단순히 “탐색”으로만 오해할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Acquisition Function은 Bayesian Optimization의 핵심 요소로, 다음 샘플링 지점을 선택하는 데 사용된다.
– X: Acquisition Function은 항상 탐색보다 활용을 우선시한다.

ㅁ 추가 학습 내용

Acquisition Function의 대표적인 유형과 차이점, 그리고 Bayesian Optimization에서의 역할에 대해 정리합니다.

1. Expected Improvement (EI):
– 정의: EI는 현재까지 관측된 최적의 결과보다 더 나은 성능을 얻을 가능성을 기반으로 작동합니다. 개선이 예상되는 정도를 계산하여 새로운 샘플링 지점을 선택합니다.
– 특징: 탐색과 활용 사이의 균형을 유지하며, 특히 목표 함수의 불확실성이 높은 영역에서 효과적입니다.

2. Upper Confidence Bound (UCB):
– 정의: UCB는 신뢰 구간을 활용하여 탐색과 활용을 조정합니다. 특정 지점에서의 예측값과 불확실성을 결합하여 샘플링 지점을 결정합니다.
– 특징: 탐색을 강화하기 위해 불확실성이 큰 영역을 우선적으로 샘플링할 수 있습니다. 신뢰 구간의 폭을 조정하는 파라미터를 통해 탐색과 활용의 비율을 조절합니다.

3. Probability of Improvement (PI):
– 정의: PI는 목표 함수 값이 개선될 확률을 최대화하는 방향으로 작동합니다. 특정 지점에서의 개선 가능성을 계산하여 샘플링 지점을 선택합니다.
– 특징: 확률 기반 접근법으로, 개선 가능성이 높은 지점을 선택하는 데 초점을 둡니다. 그러나 불확실성이 큰 영역을 탐색하는 데는 상대적으로 덜 효과적일 수 있습니다.

4. Bayesian Optimization의 전체적인 흐름:
– Bayesian Optimization은 목표 함수의 불확실성을 모델링하기 위해 주로 Gaussian Process를 사용합니다.
– 초기 샘플링을 통해 데이터를 수집한 후, 목표 함수의 분포를 추정합니다.
– Acquisition Function을 활용하여 다음 샘플링 지점을 선택합니다.
– 새로운 데이터를 수집하고 모델을 업데이트하며, 이를 반복하여 최적의 결과를 찾아갑니다.

5. Acquisition Function의 역할:
– Acquisition Function은 Bayesian Optimization에서 다음 샘플링 지점을 결정하는 핵심 요소입니다.
– 목표는 탐색(미지의 영역 조사)과 활용(현재까지의 정보를 바탕으로 최적화)을 균형 있게 수행하는 것입니다.
– 각 유형의 Acquisition Function은 탐색과 활용의 비율을 다르게 조정하여 최적화 과정에 영향을 미칩니다.

이러한 내용을 학습 노트에 추가하면 각 개념의 정의와 특징을 명확히 이해할 수 있으며, Bayesian Optimization의 흐름과 Acquisition Function의 역할을 체계적으로 파악할 수 있습니다.