ㅁ NAS 메타러닝 주요 기법

ㅇ 정의:
– Search Space는 신경망 구조 탐색에서 가능한 모든 네트워크 아키텍처 후보들의 집합을 의미하며, NAS의 탐색 범위를 결정하는 핵심 요소임.

ㅇ 특징:
– 탐색 공간의 크기와 구조에 따라 탐색 효율과 최종 모델 성능이 크게 달라짐.
– 너무 넓으면 탐색 시간이 급격히 증가하고, 너무 좁으면 최적 구조를 놓칠 가능성이 큼.
– 계층 구조, 연산 종류, 연결 방식 등을 정의함.

ㅇ 적합한 경우:
– 다양한 모델 구조를 실험적으로 비교하여 최적의 아키텍처를 찾고자 할 때.
– 특정 도메인(예: 이미지 분류, NLP)에 맞춘 맞춤형 네트워크 설계가 필요한 경우.

ㅇ 시험 함정:
– Search Space를 데이터셋과 무관하게 지나치게 크게 설정하면 오히려 성능이 저하될 수 있음.
– Search Space와 Search Strategy를 혼동하는 경우가 많음.

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) Search Space는 NAS에서 가능한 모든 모델 구조의 집합을 의미한다.
– (X) Search Space는 탐색 알고리즘의 성능을 평가하는 지표이다.

ㅁ 추가 학습 내용

Search Space 설계 시 고려 요소에는 연산 집합(예: Convolution, Pooling, Skip Connection), 네트워크 깊이, 모듈 반복 패턴, 연결 토폴로지가 있다. Search Space는 일반적으로 Macro Search Space와 Micro Search Space로 구분된다. Macro Search Space는 네트워크 전체 구조를 탐색하는 방식이고, Micro Search Space는 셀 단위 구조를 탐색하며, 연산 조합과 셀 구조를 반복적으로 사용해 효율성을 높인다. 탐색 시간을 단축하기 위해 연산 프루닝, 파라미터 공유와 같은 Search Space 축소 기법이 활용되며, 이는 시험에 자주 출제되는 핵심 전략이다.