ㅁ HPO 기법

ㅇ 정의:
– HPO(Hyperparameter Optimization) 기법은 머신러닝·딥러닝 모델의 성능을 최적화하기 위해 하이퍼파라미터 값을 자동 또는 체계적으로 탐색하는 방법.

ㅇ 특징:
– 모델 학습 전 또는 학습 과정 중에 적용 가능
– 탐색 전략에 따라 연산량, 시간, 탐색 효율성이 크게 달라짐
– Grid Search, Random Search, Bayesian Optimization, Hyperband, Optuna 등 다양한 방식 존재

ㅇ 적합한 경우:
– 모델 성능이 하이퍼파라미터 민감도에 크게 영향을 받을 때
– 수작업 튜닝이 비효율적이거나 불가능한 경우
– 대규모 실험 환경(병렬 처리, 클라우드)에서 효율적으로 탐색할 때

ㅇ 시험 함정:
– HPO와 모델 파라미터 학습(Weight/Bias 최적화)을 혼동
– Bayesian Optimization이 항상 Random Search보다 빠르다고 단정할 수 없음
– Hyperband는 Early Stopping 기법과 혼합된 형태라는 점을 간과

ㅇ 시험 대비 “패턴 보기” 예시:
O : “하이퍼파라미터 최적화 기법 중 하나로, 탐색 공간을 사전에 정의하고 전수 검색을 수행한다.”
X : “HPO는 학습 중 파라미터를 경사하강법으로 업데이트하는 과정이다.”

================================

1. Grid Search

ㅇ 정의:
– 모든 가능한 하이퍼파라미터 조합을 전수 탐색하여 최적의 값을 찾는 기법.

ㅇ 특징:
– 간단하고 구현이 용이
– 탐색 공간이 작을 때 효과적
– 조합 수가 많아질수록 계산량이 기하급수적으로 증가

ㅇ 적합한 경우:
– 하이퍼파라미터 범위가 작고 중요도가 높은 경우
– 연산 자원이 충분하고, 정확한 비교가 필요한 경우

ㅇ 시험 함정:
– Grid Search는 항상 최적값을 찾지만, 연산 비용이 높다는 점을 놓치기 쉬움
– Random Search보다 효율적일 거라는 고정관념

ㅇ 시험 대비 “패턴 보기” 예시:
O : “Grid Search는 모든 파라미터 조합을 시도하므로 최적값을 보장한다.”
X : “Grid Search는 일부 파라미터만 무작위로 선택하여 탐색한다.”

================================

2. Random Search

ㅇ 정의:
– 하이퍼파라미터 공간에서 무작위로 조합을 선택하여 탐색하는 기법.

ㅇ 특징:
– 계산량이 Grid Search보다 적음
– 중요한 하이퍼파라미터에 대해 빠르게 좋은 값을 찾을 가능성이 높음
– 반복 횟수에 따라 성능이 달라짐

ㅇ 적합한 경우:
– 탐색 공간이 넓고, 일부 파라미터만 성능에 큰 영향을 미치는 경우
– 제한된 시간과 자원에서 효율적 탐색 필요 시

ㅇ 시험 함정:
– 무작위 탐색이므로 항상 최적값을 보장하지 않음
– Grid Search보다 항상 성능이 낮다고 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O : “Random Search는 파라미터 공간에서 무작위로 조합을 선택하여 탐색한다.”
X : “Random Search는 모든 파라미터 조합을 반드시 시도한다.”

================================

3. Bayesian Optimization

ㅇ 정의:
– 이전 탐색 결과를 바탕으로 확률 모델(대개 Gaussian Process)을 구축하고, 다음 탐색 위치를 선택하는 기법.

ㅇ 특징:
– 탐색 효율이 높아 적은 시도로 좋은 결과 가능
– 초기 탐색 데이터가 중요
– 수학적 모델링과 최적화 알고리즘 결합

ㅇ 적합한 경우:
– 함수 평가 비용이 높고, 탐색 공간이 연속적이며 매끄러운 경우
– 제한된 시도 횟수에서 높은 성능을 원하는 경우

ㅇ 시험 함정:
– 항상 Random Search보다 우월하다고 단정
– 탐색 공간이 불연속적이거나 복잡한 경우 성능 저하 가능성 무시

ㅇ 시험 대비 “패턴 보기” 예시:
O : “Bayesian Optimization은 과거 탐색 결과를 반영하여 다음 탐색 후보를 선택한다.”
X : “Bayesian Optimization은 모든 조합을 전수 탐색한다.”

================================

4. Hyperband

ㅇ 정의:
– Successive Halving과 Early Stopping을 결합하여 자원을 효율적으로 분배하는 하이퍼파라미터 최적화 기법.

ㅇ 특징:
– 초기 많은 조합을 빠르게 평가 후, 성능 낮은 조합은 조기 종료
– 계산 자원 낭비 최소화
– 병렬 처리에 적합

ㅇ 적합한 경우:
– 하이퍼파라미터 조합이 많고, 일부는 초기에 성능이 나쁜 것이 확실한 경우
– 클라우드 환경, 분산 학습 환경

ㅇ 시험 함정:
– Early Stopping을 단독으로 쓰는 것과 Hyperband를 혼동
– Hyperband가 항상 Bayesian Optimization보다 효율적이라는 착각

ㅇ 시험 대비 “패턴 보기” 예시:
O : “Hyperband는 성능이 낮은 실험을 조기에 중단하여 자원을 절약한다.”
X : “Hyperband는 모든 실험을 끝까지 수행해야 한다.”

================================

5. Optuna

ㅇ 정의:
– Python 기반의 자동화된 하이퍼파라미터 최적화 프레임워크로, TPE(Tree-structured Parzen Estimator)와 Pruning 등을 지원.

ㅇ 특징:
– 사용자 친화적 API 제공
– 다양한 탐색 알고리즘 지원 (TPE, CMA-ES 등)
– 실험 중 성능이 낮은 Trial을 조기 중단하는 Pruning 기능

ㅇ 적합한 경우:
– 다양한 최적화 알고리즘 테스트 필요
– 대규모 실험, 분산 환경에서 HPO 자동화 필요

ㅇ 시험 함정:
– Optuna를 특정 알고리즘이 아니라 ‘프레임워크’라는 점을 간과
– Optuna는 Bayesian Optimization만 지원한다고 오해

ㅇ 시험 대비 “패턴 보기” 예시:
O : “Optuna는 Pruning 기능을 통해 성능이 낮은 실험을 조기에 중단할 수 있다.”
X : “Optuna는 Grid Search만 지원한다.”

================================

제가 원하시면, 위 내용을 **시험 대비 요약표** 형태로도 만들어 드릴 수 있습니다.
다음 단계로 요약표를 만들어 드릴까요?