ㅁ HPO 기법

1. Random Search

ㅇ 정의:
– 하이퍼파라미터 최적화를 위해 사전에 정의된 범위 내에서 무작위로 하이퍼파라미터 조합을 선택하여 성능을 평가하는 방법.

ㅇ 특징:
– 모든 하이퍼파라미터 공간을 균등하게 탐색하지 않고, 무작위 시도로 다양한 영역을 빠르게 커버 가능.
– 특정 하이퍼파라미터가 모델 성능에 미치는 영향이 클 경우, 전수 탐색(Grid Search)보다 빠르게 최적값에 근접할 수 있음.
– 병렬화가 용이하여 계산 자원 활용 효율이 높음.

ㅇ 적합한 경우:
– 하이퍼파라미터가 많고 일부만이 성능에 큰 영향을 주는 경우.
– 시간과 자원이 제한적일 때 빠르게 좋은 성능을 내고자 할 때.

ㅇ 시험 함정:
– 무작위 탐색이 항상 최적값을 보장한다고 착각하기 쉬움(X)
– Grid Search보다 항상 우수하다고 단정하면 오답(X)
– 하이퍼파라미터 중요도에 따라 효율이 달라질 수 있음을 간과하면 오답(O)

ㅇ 시험 대비 “패턴 보기” 예시:
– “Random Search는 모든 조합을 시도하므로 반드시 최적값을 찾는다.” → X
– “Random Search는 일부 중요한 하이퍼파라미터가 성능에 큰 영향을 줄 때 효율적이다.” → O
– “Random Search는 탐색 공간이 크고 자원이 제한된 경우 적합하다.” → O

ㅁ 추가 학습 내용

Random Search는 탐색 횟수를 늘릴수록 최적값에 접근할 확률이 높아지지만, 확률적 특성으로 인해 동일한 횟수에서도 성능 편차가 발생할 수 있다. 연속형 하이퍼파라미터 탐색 시에는 균등분포뿐만 아니라 정규분포, 로그분포 등 다양한 분포를 적용하여 탐색 효율을 높일 수 있다. 실무에서는 Random Search를 초기 탐색 단계에서 사용하고, 이후 Bayesian Optimization과 같은 정교한 기법으로 세밀하게 조정하는 하이브리드 접근이 자주 활용되며, 이는 시험에서 중요한 출제 포인트가 된다.