ㅁ NAS 메타러닝 주요 기법

ㅇ 정의:
신경망 구조 탐색(NAS)에서 메타러닝을 활용하여 효율적으로 최적의 아키텍처를 찾는 기법들의 집합을 의미하며, Search Strategy는 탐색 공간 내에서 후보 모델을 선택·평가하는 전략을 지칭함.

ㅇ 특징:
– 탐색 공간(Search Space), 성능 예측기(Performance Estimator)와 함께 NAS의 3대 구성요소 중 하나
– 무작위 탐색, 진화 알고리즘, 강화학습, 베이지안 최적화, 그리디 탐색 등 다양한 방식 존재
– 메타러닝 기반인 경우 과거 탐색 경험을 활용하여 탐색 효율성을 높임

ㅇ 적합한 경우:
– 모델 학습 및 평가 비용이 높은 경우
– 탐색 공간이 매우 크고 전수 탐색이 불가능한 경우
– 과거 유사 문제의 탐색 경험을 재활용할 수 있는 경우

ㅇ 시험 함정:
– Search Strategy를 NAS 전체 과정과 혼동하는 경우
– Search Space와 Search Strategy의 개념 구분을 묻는 문제에서 잘못 선택
– 메타러닝 기반 Search Strategy와 단순 탐색 방법을 구분하지 못하는 경우

ㅇ 시험 대비 “패턴 보기” 예시:
O: “메타러닝 기반 Search Strategy는 과거 탐색 경험을 활용하여 탐색 효율성을 높인다.”
X: “Search Strategy는 NAS의 탐색 공간을 정의하는 단계이다.”

ㅁ 추가 학습 내용

추가 학습 정리

1. Search Strategy의 구체적 알고리즘별 장단점
– 강화학습 기반: 탐색 품질이 높으나 시간 비용이 크다.
– 진화 알고리즘: 병렬화에 유리하고 다양한 해를 탐색할 수 있으나, 수렴 속도가 느릴 수 있다.

2. One-shot NAS와 Weight Sharing 기법의 Search Strategy 효율화 영향
– One-shot NAS: 하나의 거대 네트워크에서 모든 후보 아키텍처를 학습하여 탐색 시간을 단축.
– Weight Sharing: 후보 모델 간 가중치를 공유해 학습 비용을 줄이고 탐색 속도를 향상.

3. 메타러닝 기반 Search Strategy에서의 Transfer Learning, Few-shot Learning 적용 방식
– Transfer Learning: 이전 학습 경험을 활용해 새로운 탐색 문제에 빠르게 적응.
– Few-shot Learning: 적은 데이터로도 효과적인 탐색 전략 학습 가능.

4. 실제 AutoML 플랫폼의 Search Strategy 사례
– Google AutoML: 강화학습 기반 NAS 적용, 클라우드 환경에서 대규모 탐색 수행.
– AutoKeras: 베이지안 최적화와 신경망 구조 탐색 결합, 사용자 친화적 자동 모델 생성.

5. 탐색 효율성과 탐색 품질 간의 트레이드오프 분석
– 효율성을 높이면 탐색 속도와 자원 사용은 줄어들지만 탐색 품질이 떨어질 수 있음.
– 품질을 높이면 더 나은 모델을 찾을 가능성이 커지나 시간과 자원 소모가 증가.