ㅁ NAS 메타러닝 주요 기법

ㅇ 정의:

– Progressive NAS는 신경망 구조 탐색 시 작은 네트워크에서 시작하여 점진적으로 더 큰 네트워크로 확장해 가며 탐색 공간을 줄여 효율성을 높이는 방법.

ㅇ 특징:

– 초기에는 연산량이 적은 작은 모델을 탐색하여 빠르게 후보를 거르고, 이후 점차 깊이와 폭을 늘려 탐색.
– 탐색 단계별로 성능 예측 정확도가 높아져 불필요한 후보 평가를 줄임.
– GPU/TPU 자원 사용량을 효율화.

ㅇ 적합한 경우:

– 대규모 검색 공간에서 연산 자원이 제한된 상황.
– 초기 구조의 성능이 최종 구조의 성능과 상관관계가 높은 경우.
– 모바일/임베디드 환경용 경량 모델 탐색.

ㅇ 시험 함정:

– Progressive NAS는 항상 최적 구조를 보장하지 않음 → 점진적 확장 과정에서 초기 선택이 잘못되면 최적 구조를 놓칠 수 있음.
– ‘진화 알고리즘’과 혼동하기 쉬움. Progressive는 구조 크기 확장 기반, 진화는 세대별 변이·선택 기반.

ㅇ 시험 대비 “패턴 보기” 예시:

– O: Progressive NAS는 작은 네트워크에서 시작해 점차 큰 네트워크로 확장하며 탐색 공간을 줄인다.
– X: Progressive NAS는 처음부터 전체 탐색 공간을 동시에 탐색한다.

ㅁ 추가 학습 내용

Progressive NAS의 핵심은 상위 단계로 갈수록 탐색 후보 수를 기하급수적으로 줄이는 단계별 필터링 방식이다. 초기 단계에서는 파라미터 수, FLOPs, 레이어 깊이 등 간단한 지표를 이용한 성능 예측기를 사용한다. Efficient Neural Architecture Search(ENAS)와 비교했을 때, ENAS는 공유 파라미터 기반 탐색을 사용하는 반면 Progressive NAS는 점진적 구조 확장을 기반으로 한다. NASNet에서 사용된 셀 구조 개념과 결합하면 탐색 효율성이 높아진다. 시험에서는 Progressive NAS를 멀티-파이델리티 탐색의 한 예로 분류하는 경우가 있다. 단점으로는 초기 단계의 평가 오류가 누적되어 최종 성능 저하를 초래할 수 있다는 점을 구분해야 한다.