ㅁ 하이퍼파라미터 탐색

1. Population Based Training (PBT)

ㅇ 정의:
진화 알고리즘과 온라인 학습을 결합하여, 모델 학습 중에 하이퍼파라미터와 가중치를 동시에 최적화하는 방법.

ㅇ 특징:
– 개별 모델(population)을 병렬로 학습시키면서 주기적으로 성능이 낮은 모델을 성능이 좋은 모델로 교체 및 하이퍼파라미터 변이 적용.
– 탐색과 활용(exploration & exploitation)을 동시에 수행.
– GPU 클러스터 환경에서 효율적으로 동작.

ㅇ 적합한 경우:
– 학습 시간이 길고 하이퍼파라미터가 학습 진행 중에 영향을 크게 미치는 경우.
– RL, 대규모 딥러닝 모델 튜닝.

ㅇ 시험 함정:
– PBT는 학습 전 모든 하이퍼파라미터를 고정하는 방식이 아님(O). → 일부는 학습 중 변경.
– PBT는 단일 모델 반복 학습만 활용(O/X) → X, 다수 모델 병렬 학습.

ㅇ 시험 대비 “패턴 보기” 예시:
– “PBT는 학습 중 하이퍼파라미터 변경이 불가능하다” → X
– “PBT는 개체군 기반으로 성능 좋은 개체를 복제하고 변이를 적용한다” → O

2. Meta-Learning for HPO

ㅇ 정의:
과거 유사 작업(Task)에서의 하이퍼파라미터 성능 정보를 학습하여 새로운 작업의 하이퍼파라미터를 빠르게 추천하는 기법.

ㅇ 특징:
– 이전 실험 결과를 메타데이터로 활용.
– 새로운 데이터셋/모델에 대해 초기 탐색 시간을 단축.
– Few-shot 학습 개념과 유사.

ㅇ 적합한 경우:
– 유사한 문제를 반복적으로 해결하는 환경.
– AutoML 시스템에서 초기 후보 설정.

ㅇ 시험 함정:
– 메타러닝은 항상 최적 해를 보장(O/X) → X, 초기값 개선에 도움.
– 메타러닝은 과거 데이터가 없을 때도 동일 성능(O/X) → X.

ㅇ 시험 대비 “패턴 보기” 예시:
– “메타러닝 기반 HPO는 과거 유사 작업 정보를 활용한다” → O
– “메타러닝 기반 HPO는 탐색 없이 최적값을 바로 찾는다” → X

3. Neural Architecture Search (NAS) Variants

ㅇ 정의:
딥러닝 모델의 구조(아키텍처)를 자동으로 탐색하는 기법의 다양한 변형.

ㅇ 특징:
– 강화학습, 진화 알고리즘, 그래디언트 기반 탐색 등 다양한 방법 존재.
– 검색 공간(Search Space) 설계가 성능에 큰 영향.
– 비용 절감을 위해 Proxy task, Weight sharing 사용.

ㅇ 적합한 경우:
– 특정 데이터셋/문제에 맞는 맞춤형 모델 구조가 필요한 경우.
– 모델 경량화, 성능 최적화 목표.

ㅇ 시험 함정:
– NAS는 항상 GPU가 필수(O/X) → X, CPU 기반 소규모 탐색 가능.
– NAS 변형 중 일부는 학습과 탐색을 동시에 수행(O) → O.

ㅇ 시험 대비 “패턴 보기” 예시:
– “NAS는 모델 구조를 자동으로 설계한다” → O
– “모든 NAS는 강화학습 기반이다” → X

ㅁ 추가 학습 내용

PBT에서는 탐색 주기(exploitation interval)와 변이 강도(mutation magnitude)의 설정이 성능에 큰 영향을 미친다.
Meta-Learning for HPO에서는 warm-start 개념과 meta-feature 추출 방법을 이해해야 한다. meta-feature는 데이터셋 통계, 모델 구조 정보 등을 포함한다.
NAS Variants에서는 Differentiable NAS(DARTS), One-shot NAS, Multi-objective NAS(정확도와 연산량 최소화) 등 세부 유형과 각각의 장단점을 숙지해야 한다.
세 방법 모두 분산 환경에서의 리소스 관리 전략과 조기 종료(early stopping) 기법과의 결합 가능성이 시험에서 자주 언급된다.