ㅁ HPO 기법

ㅇ 정의:
하이퍼파라미터 최적화(Hyperparameter Optimization)를 위해 가능한 모든 파라미터 조합을 체계적으로 탐색하는 방법.

ㅇ 특징:
– 모든 조합을 시도하므로 최적값을 놓칠 가능성이 낮음.
– 탐색 공간이 커질수록 연산량과 시간이 기하급수적으로 증가.
– 병렬처리가 가능하여 클러스터 환경에서 효율적으로 수행 가능.

ㅇ 적합한 경우:
– 하이퍼파라미터 개수가 적고 각 파라미터의 후보 값 범위가 작을 때.
– 연산 자원이 충분하고 최적값을 반드시 찾아야 하는 경우.

ㅇ 시험 함정:
– “Grid Search는 항상 효율적이다” → X (탐색 공간이 큰 경우 비효율적)
– “Grid Search는 무작위성을 포함한다” → X (체계적 전수조사 방식)
– “Grid Search는 병렬처리가 불가능하다” → X (가능함)

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Grid Search는 모든 하이퍼파라미터 조합을 시도하는 전수조사 방식이다.”
– X: “Grid Search는 일부 조합만 무작위로 선택하여 시도한다.”
– O: “파라미터 수가 적을 때 효율적이며, 병렬처리가 가능하다.”
– X: “탐색 공간이 커질수록 연산량이 선형적으로 증가한다.”

ㅁ 추가 학습 내용

Grid Search는 모든 가능한 하이퍼파라미터 조합을 전수 탐색하는 방식으로, 각 파라미터 후보 수를 k, 파라미터 개수를 n이라 할 때 시간 복잡도는 O(k^n)이다. 데이터셋 크기와 모델 복잡도가 커질수록 연산 부담이 매우 커진다.
Random Search는 전체 조합을 모두 시도하지 않고 무작위로 일부를 선택해 탐색하므로, 고차원 공간에서 효율적일 수 있다.
Bayesian Optimization은 이전 탐색 결과를 바탕으로 확률 모델을 만들고, 다음 탐색 지점을 선택하여 효율적으로 최적값을 찾는다.
Hyperband는 자원(연산 시간)을 동적으로 분배하며, 성능이 낮은 조합은 조기 중단하여 효율성을 높인다.

Grid Search와 다른 HPO 기법 모두 교차 검증을 결합해 모델 성능을 안정적으로 평가할 수 있다. 파라미터 범위가 넓거나 비선형적인 경우 로그 스케일 등으로 변환하여 탐색하는 파라미터 스케일링이 필요할 수 있다. 또한 과적합 방지를 위해 조기 종료(Early Stopping)를 적용하여 불필요한 연산을 줄이고 일반화 성능을 높일 수 있다.