ㅁ NAS 메타러닝 주요 기법

ㅇ 정의:

– One-Shot NAS는 모든 후보 신경망 구조를 개별적으로 학습시키는 대신, 하나의 거대 네트워크(Supernet)를 학습시킨 후 그 하위 서브네트워크의 성능을 추정하여 최적 구조를 찾는 NAS 기법.

ㅇ 특징:

– Supernet을 한 번만 학습하면 다양한 아키텍처의 가중치를 공유(weight sharing)하여 평가 가능
– 검색 속도가 빠르고 자원 소모가 적음
– 성능 추정의 정확도가 Supernet 학습 품질에 크게 의존
– 대표 기법으로 ENAS, DARTS 등이 있음

ㅇ 적합한 경우:

– 대규모 아키텍처 탐색이 필요하지만 GPU/TPU 자원이 제한적인 경우
– 빠른 프로토타이핑이 필요한 연구 환경
– 모델 개발 초기 성능 비교 및 후보군 축소 단계

ㅇ 시험 함정:

– One-Shot NAS는 반드시 weight sharing을 사용한다(O)
– 모든 경우에서 개별 학습보다 정확도가 높다(X) → 오히려 정확도 손실이 발생할 수 있음
– Supernet은 한 번만 학습한다(O)
– 검색 과정에서 하위 네트워크는 추가 학습이 전혀 불필요하다(X) → 일부 기법에서는 fine-tuning 필요

ㅇ 시험 대비 “패턴 보기” 예시:

– “One-Shot NAS는 Supernet을 학습한 후 weight sharing을 통해 여러 아키텍처를 빠르게 평가한다” (O)
– “One-Shot NAS는 각 후보 아키텍처를 개별적으로 처음부터 끝까지 학습하는 방식이다” (X)
– “One-Shot NAS의 성능은 Supernet 학습 품질에 의존한다” (O)
– “One-Shot NAS는 NAS에서 가장 정확도가 높은 방법이다” (X)

ㅁ 추가 학습 내용

One-Shot NAS의 주요 변형 기법에는 ENAS(Efficient Neural Architecture Search), DARTS(Differentiable Architecture Search), ProxylessNAS가 있으며, 이들은 Supernet 학습 방식과 아키텍처 선택 방법에서 차이를 가진다.
시험에서는 weight sharing의 장점과 단점, 그리고 성능 저하의 원인(예: weight co-adaptation)이 자주 출제된다.
Supernet 학습 시 overfitting을 방지하기 위해 dropout, path dropout과 같은 기법이 사용된다.
One-Shot NAS는 NASNet, AmoebaNet과 같은 전통적인 강화학습 기반 NAS에 비해 자원 효율성이 높지만, 찾은 최적 아키텍처의 절대 성능이 보장되지 않는다는 점이 중요하다.