ㅁ HPO 기법

ㅇ 정의:
하이퍼파라미터 최적화(Hyperparameter Optimization)를 위해 다양한 탐색 알고리즘과 전략을 적용하는 기법으로, 모델 성능을 극대화하기 위해 자동 또는 반자동으로 최적의 하이퍼파라미터 조합을 찾는 방법.

ㅇ 특징:
– 모델 구조 변경 없이 성능 향상 가능
– 탐색 공간과 탐색 전략에 따라 결과 품질과 소요 시간이 크게 달라짐
– 그리드 서치, 랜덤 서치, 베이지안 최적화 등 다양한 방식 존재

ㅇ 적합한 경우:
– 하이퍼파라미터 영향이 큰 딥러닝, 머신러닝 모델
– 수동 튜닝이 어려운 복잡한 모델

ㅇ 시험 함정:
– HPO와 모델 학습 자동화를 혼동하는 경우 많음
– 탐색 전략의 차이를 묻는 문제에서 용어 혼동 주의

ㅇ 시험 대비 “패턴 보기” 예시:
O: “하이퍼파라미터 최적화 기법은 모델 구조를 변경하지 않고 성능을 향상시킬 수 있다.”
X: “HPO 기법은 항상 그리드 서치만을 사용한다.”

================================

1. Optuna

ㅇ 정의:
Python 기반의 오픈소스 하이퍼파라미터 최적화 프레임워크로, 효율적인 탐색을 위해 TPE(Tree-structured Parzen Estimator)와 같은 고급 알고리즘을 지원하며, 사용 편의성과 확장성이 높음.

ㅇ 특징:
– Define-by-Run 방식으로 동적 탐색 공간 정의 가능
– 병렬 분산 최적화 지원
– Pruning 기능으로 불필요한 trial 조기 종료
– 다양한 머신러닝 프레임워크와 쉽게 통합 가능

ㅇ 적합한 경우:
– 탐색 공간이 크고 복잡한 프로젝트
– 실험 효율성을 높이고 싶은 경우
– 조기 종료를 통해 자원 절약이 필요한 경우

ㅇ 시험 함정:
– Optuna는 그리드 서치만 지원한다고 착각하는 경우
– Define-by-Run과 Static Define의 차이를 묻는 문제에서 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Optuna는 Define-by-Run 방식을 지원하여 런타임 시 탐색 공간을 유연하게 정의할 수 있다.”
X: “Optuna는 병렬 처리를 지원하지 않는다.”

ㅁ 추가 학습 내용

Optuna의 핵심 알고리즘인 TPE(Tree-structured Parzen Estimator)는 확률 모델 기반 탐색 방식으로, 기존의 Grid Search나 Random Search보다 효율적으로 최적 하이퍼파라미터를 찾는다. TPE는 좋은 성능을 낸 하이퍼파라미터와 그렇지 않은 하이퍼파라미터의 분포를 각각 모델링하고, 새로운 시도를 할 때 좋은 성능을 낼 확률이 높은 영역을 우선적으로 탐색한다.
Grid Search는 모든 조합을 탐색하여 완전하지만 계산량이 많고, Random Search는 일부 무작위 조합을 시도하여 빠르지만 효율성이 떨어질 수 있다. TPE는 탐색 효율성과 성능 모두에서 균형을 잡을 수 있다.

Pruning 기능은 학습 도중 성능이 낮을 것으로 예상되는 trial을 조기 종료하여 자원을 절약한다. Median Pruner는 현재 trial의 중간 성능이 이전 trial들의 중앙값보다 낮으면 종료하고, Successive Halving은 여러 trial을 동시에 시작하여 성능이 낮은 절반을 반복적으로 제거한다. 이러한 기능은 모델 학습 속도를 크게 향상시킨다.

Optuna의 분산 처리는 RDB storage를 사용하여 multi-process 및 multi-node 환경에서 병렬 최적화를 지원한다. 이를 통해 여러 서버나 프로세스에서 동시에 trial을 실행하고 결과를 공유할 수 있다.

주요 파라미터로는 n_trials(실행할 trial 횟수), timeout(최대 실행 시간), direction(목표 함수 최적화 방향: minimize 또는 maximize)이 있으며, 실험 설정 시 필수적으로 이해해야 한다.

Define-by-Run 방식은 코드 실행 흐름에 따라 동적으로 탐색 공간을 정의하는 방식으로, 복잡한 조건부 하이퍼파라미터 탐색을 유연하게 구현할 수 있다. Optuna는 Keras/TensorFlow, PyTorch, XGBoost 등 다양한 프레임워크와 쉽게 연동되며, 각 프레임워크의 학습 루프나 콜백에 Optuna의 최적화 로직을 삽입하여 사용할 수 있다.