ㅁ HPO 기법

ㅇ 정의:
하이퍼파라미터 최적화를 위한 방법으로, 파라미터 공간에서 무작위로 샘플링하여 최적의 조합을 찾는 기법.

ㅇ 특징:
– 탐색 공간이 크더라도 효율적으로 탐색 가능.
– 특정 패턴 없이 무작위로 선택하므로 초기값에 크게 의존하지 않음.
– 계산 비용이 비교적 낮음.

ㅇ 적합한 경우:
– 탐색 공간의 구조를 알 수 없거나, 복잡한 경우.
– 모델의 성능과 하이퍼파라미터 간의 상관관계가 명확하지 않은 경우.

ㅇ 시험 함정:
– Random Search가 Grid Search보다 항상 효율적이라는 진술은 틀릴 수 있음.
– 탐색 공간이 너무 크면 Random Search도 비효율적일 수 있음.
– 하이퍼파라미터가 연속적인 경우, Random Search가 최적값에 도달하지 못할 가능성 존재.

ㅇ 시험 대비 “패턴 보기” 예시:
1. Random Search는 하이퍼파라미터 간의 상호작용을 고려하지 않는다. (O)
2. Random Search는 탐색 공간의 구조를 사전에 알아야 한다. (X)
3. Random Search는 항상 Grid Search보다 빠르다. (X)

ㅁ 추가 학습 내용

Random Search의 단점과 이를 극복하기 위한 다른 HPO(Hyperparameter Optimization) 기법에 대한 비교를 아래와 같은 방식으로 정리할 수 있습니다:

1. **Random Search의 단점**:
– 무작위로 하이퍼파라미터를 샘플링하므로 효율성이 낮을 수 있음.
– 고차원의 하이퍼파라미터 공간에서 최적값을 찾는 데 시간이 오래 걸릴 수 있음.
– 샘플링 횟수가 적을 경우 최적의 하이퍼파라미터를 찾지 못할 가능성이 높음.

2. **Bayesian Optimization과의 비교**:
– Bayesian Optimization은 확률 모델(예: Gaussian Process)을 사용하여 하이퍼파라미터 공간을 탐색하며, 이전 샘플링 결과를 활용해 효율적으로 최적값을 찾음.
– Random Search는 이전 샘플링 결과를 고려하지 않으므로 탐색 효율이 떨어질 수 있지만, Bayesian Optimization은 탐색 과정에서 정보를 축적하여 더 적은 샘플링으로도 높은 성능을 달성할 가능성이 있음.
– Bayesian Optimization은 계산 비용이 더 높을 수 있으나, 샘플링 횟수가 제한된 상황에서는 더 유리함.

3. **Hyperband와의 비교**:
– Hyperband는 Random Search와 Early Stopping을 결합하여 하이퍼파라미터 평가를 효율적으로 수행함.
– 이 기법은 자원을 효율적으로 분배하여 성능이 낮은 설정을 빠르게 제거하고, 성능이 좋은 설정에 더 많은 자원을 할당함.
– Random Search는 모든 샘플링에 동일한 자원을 할당하므로 자원 낭비가 발생할 수 있지만, Hyperband는 자원 분배를 최적화하여 더 나은 성능을 제공할 수 있음.

4. **Random Search에서 샘플링 횟수가 성능에 미치는 영향**:
– 샘플링 횟수가 많을수록 하이퍼파라미터 공간에서 최적값을 발견할 확률이 높아짐.
– 그러나 샘플링 횟수를 늘리면 계산 비용이 증가하므로, 적절한 샘플링 횟수를 설정하는 것이 중요함.
– 하이퍼파라미터 공간이 클수록 더 많은 샘플링이 필요하며, 공간이 작을 경우 상대적으로 적은 샘플링으로도 높은 성능을 달성할 수 있음.

결론적으로, Random Search는 간단하고 직관적인 방법이지만, 효율성을 극대화하기 위해 Bayesian Optimization이나 Hyperband와 같은 기법을 활용하는 것이 더 나은 선택이 될 수 있다. 샘플링 횟수는 성능에 중요한 영향을 미치므로, 문제의 특성과 계산 자원을 고려하여 적절히 설정하는 것이 필요하다.