ㅁ 첨단 방법

1. Population Based Training

ㅇ 정의:
– 하이퍼파라미터 탐색과 모델 학습을 동시에 진행하며, 주기적으로 성능이 낮은 개체를 성능이 좋은 개체의 파라미터와 하이퍼파라미터로 교체/변이시키는 방법.

ㅇ 특징:
– 탐색과 학습 병행, 진화 알고리즘 기반.
– 학습 도중 하이퍼파라미터를 동적으로 변경.
– 병렬 처리에 적합.

ㅇ 적합한 경우:
– 대규모 분산 환경에서의 모델 최적화.
– 학습 중 하이퍼파라미터 변화가 성능에 큰 영향을 미치는 경우.

ㅇ 시험 함정:
– 고정된 하이퍼파라미터로만 학습하는 방식과 혼동.
– 단순한 Grid Search나 Random Search로 오인.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “PBT는 학습 도중 하이퍼파라미터를 변경할 수 있다.”
– X: “PBT는 학습 시작 전에 하이퍼파라미터를 고정한다.”

2. Meta-Learning for HPO

ㅇ 정의:
– 이전 학습 경험을 활용해 새로운 하이퍼파라미터 최적화를 더 빠르고 효율적으로 수행하는 방법.

ㅇ 특징:
– 과거 데이터셋/모델의 최적화 기록 재활용.
– 적은 탐색으로도 높은 성능 달성 가능.
– 전이학습 개념과 유사.

ㅇ 적합한 경우:
– 유사한 데이터셋이나 모델 구조를 반복적으로 최적화해야 하는 경우.
– 탐색 비용이 매우 높은 환경.

ㅇ 시험 함정:
– 메타러닝을 단순히 AutoML과 동일시.
– 과거 데이터가 전혀 없는 상황에서도 효과적이라고 오해.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “메타러닝 기반 HPO는 이전 실험의 결과를 활용한다.”
– X: “메타러닝 기반 HPO는 항상 랜덤 초기화로 시작한다.”

3. NAS Variants

ㅇ 정의:
– Neural Architecture Search의 다양한 변형 기법으로, 효율성과 성능을 개선하기 위해 설계된 방법.

ㅇ 특징:
– 강화학습 기반, 진화 알고리즘 기반, 차별화된 탐색 공간 설계 등 다양한 접근.
– 검색 비용 절감을 위한 Proxy Task, Weight Sharing 등 사용.

ㅇ 적합한 경우:
– 새로운 신경망 구조를 자동으로 설계해야 하는 경우.
– 수작업 설계가 어려운 복잡한 모델 구조.

ㅇ 시험 함정:
– NAS 변형을 단일 알고리즘으로 간주.
– 모든 NAS가 동일한 탐색 전략을 사용한다고 착각.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “NAS 변형 기법은 탐색 효율성을 높이기 위해 Weight Sharing을 사용할 수 있다.”
– X: “모든 NAS 변형은 강화학습을 기반으로 한다.”

ㅁ 추가 학습 내용

Population Based Training에서는 탐색 주기와 변이 전략이 성능에 큰 영향을 미치므로 ‘주기적 평가와 변이’ 키워드를 기억해야 한다.
Meta-Learning for HPO는 Bayesian Optimization과 자주 결합되며, 메타 특성을 활용해 새로운 작업의 유사도를 측정하는 방식이 출제될 수 있다.
NAS Variants에서는 Differentiable NAS(DARTS), One-shot NAS, Progressive NAS 등 구체적인 변형명을 알고 각 특징을 비교할 수 있어야 한다.
최신 경향으로는 정확도와 연산량을 동시에 최적화하는 Multi-objective NAS, 학습 없이 구조를 평가하는 Zero-shot NAS가 시험에 등장할 수 있다.