ㅁ HPO 기법

ㅇ 정의:
하이퍼파라미터 최적화를 자동화하기 위한 기법으로, 모델 성능을 개선하기 위해 다양한 하이퍼파라미터 조합을 탐색하는 과정.

ㅇ 특징:
– 자원 효율성을 극대화하며, 불필요한 계산 낭비를 줄임.
– 탐색 공간이 큰 경우에도 빠른 최적화 가능.
– 병렬 처리에 적합.

ㅇ 적합한 경우:
– 하이퍼파라미터 탐색 공간이 크고, 계산 비용이 높은 경우.
– 다양한 모델을 비교해야 할 때.

ㅇ 시험 함정:
– HPO 기법의 종류를 혼동하거나, 특정 기법의 특징을 잘못 이해하는 경우.
– 자원 효율성과 정확도 간의 균형을 묻는 문제에서 오답 선택.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Hyperband는 자원 효율성을 극대화하며, 탐색 공간이 큰 경우에도 적합하다.
X: Hyperband는 탐색 공간이 작을수록 더 효과적이다.

================================

1. Hyperband

ㅇ 정의:
하이퍼파라미터 최적화를 위해 자원의 효율적 분배를 기반으로 한 기법으로, Successive Halving 알고리즘을 확장한 형태.

ㅇ 특징:
– Successive Halving의 반복적인 실행을 통해 최적의 자원 분배를 설계.
– 탐색 공간 내에서 비효율적인 조합을 조기에 제거.
– 학습 자원을 단계적으로 증대시키며 탐색.

ㅇ 적합한 경우:
– 하이퍼파라미터 조합이 많아 계산 비용을 최소화해야 할 때.
– 제한된 자원 내에서 최적의 결과를 도출해야 할 경우.

ㅇ 시험 함정:
– Hyperband와 Grid Search, Random Search를 비교하는 문제에서 특징을 혼동.
– Successive Halving의 원리를 이해하지 못해 오답 선택.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Hyperband는 Successive Halving을 기반으로 한 자원 효율적 기법이다.
X: Hyperband는 모든 하이퍼파라미터 조합을 동일 자원으로 평가한다.

ㅁ 추가 학습 내용

Hyperband와 Successive Halving의 차이점:
Successive Halving은 자원 할당을 점진적으로 줄이며 성능이 낮은 설정을 제거하는 방식으로 작동한다. 초기 단계에서 여러 설정을 테스트하고, 성능이 좋은 설정만 다음 단계로 진행시키며 자원을 집중적으로 할당한다. 반면 Hyperband는 Successive Halving을 반복적으로 실행하여 탐색 효율성을 극대화한다. Hyperband는 탐색 공간을 더 넓게 다루기 위해 다양한 자원 분배 전략을 사용하며, 이를 통해 더 많은 설정을 테스트하고 최적의 설정을 찾을 가능성을 높인다.

Hyperband와 HPO 기법 비교:
– Grid Search: 모든 가능한 설정을 체계적으로 탐색하지만, 자원 소모가 크고 탐색 공간이 커질수록 비효율적이다. Hyperband는 자원을 효율적으로 분배하며 탐색 공간을 더 넓게 다룰 수 있어 Grid Search보다 효율적이다.
– Random Search: 설정을 무작위로 탐색하며 탐색 공간의 크기에 비례해 성능이 향상될 수 있다. Hyperband는 Successive Halving을 통해 성능이 낮은 설정을 빠르게 제거하므로 Random Search보다 자원 활용이 뛰어나다.
– Bayesian Optimization: 이전 탐색 결과를 기반으로 다음 설정을 예측하며, 탐색 공간을 지능적으로 줄이는 방식이다. Hyperband는 Bayesian Optimization보다 간단한 구조를 가지며, 자원 효율성을 강조하지만, Bayesian Optimization은 더 정교한 탐색이 가능하다.

Hyperband의 자원 효율성과 탐색 공간 처리 능력 사례:
예를 들어, Hyperband는 머신러닝 모델의 하이퍼파라미터 튜닝에서 효과적으로 사용할 수 있다. 특정 모델의 학습률과 정규화 매개변수를 조합하여 최적의 성능을 찾는 경우, Hyperband는 Successive Halving을 반복적으로 실행하며 다양한 조합을 테스트한다. 초기 단계에서 수십 개의 조합을 테스트하고, 성능이 낮은 조합을 제거하며 자원을 효율적으로 사용한다. 이를 통해 최적의 설정을 더 빠르게 찾을 수 있다. 시험에서는 Hyperband가 제한된 자원으로도 더 많은 설정을 탐색할 수 있다는 점과, 탐색 공간의 크기가 커질수록 효율성이 두드러진다는 점을 강조하는 사례가 나올 가능성이 있다.