ㅁ NAS 메타러닝 주요 기법

ㅇ 정의:
신경망 구조 탐색(NAS)에서 다양한 아키텍처를 메타러닝 관점에서 효율적으로 비교·학습하기 위해 아키텍처를 벡터나 그래프 형태로 수치화하여 표현하는 방법.

ㅇ 특징:
– 아키텍처의 계층, 연결, 연산 유형 등을 고정된 길이 또는 가변 길이의 인코딩으로 변환.
– 인코딩된 표현을 기반으로 성능 예측 모델이나 탐색 전략에 활용 가능.
– 원시 구조를 직접 비교하는 것보다 계산 효율이 높고, 유사 구조 간 일반화 가능.

ㅇ 적합한 경우:
– 대규모 아키텍처 공간에서 빠르게 후보 모델의 성능을 예측해야 하는 경우.
– 이전 탐색 경험을 새로운 데이터셋이나 태스크에 전이하려는 경우.
– NAS에서 강화학습, 진화 알고리즘, 베이지안 최적화 등과 결합할 때.

ㅇ 시험 함정:
– 아키텍처 인코딩은 NAS 전용 기법이 아니라 일반적인 그래프 임베딩 기법과도 관련 있음.
– 인코딩 방식이 고정적이라고 오해하기 쉬우나, 태스크 특성에 따라 가변적 설계 가능.
– 단순한 하이퍼파라미터 인코딩과 혼동하는 경우 출제.

ㅇ 시험 대비 “패턴 보기” 예시:
O: “아키텍처 인코딩은 신경망 구조를 수치화하여 메타러닝에 활용한다.”
X: “아키텍처 인코딩은 항상 동일한 길이의 벡터로만 표현된다.”

ㅁ 추가 학습 내용

아키텍처 인코딩 방식의 종류에는 one-hot 인코딩, path-based 인코딩, 그래프 신경망(GNN) 기반 인코딩이 있다.
인코딩 품질은 NAS 성능 예측 모델의 정확도에 직접적인 영향을 미친다.
NAS-Bench-101, NAS-Bench-201과 같은 공개 NAS 벤치마크에서는 각각 고유한 인코딩 형식을 사용한다.
메타러닝에서는 인코딩된 아키텍처 정보를 성능 예측, 전이학습, 탐색 공간 축소 등에 활용한다.
인코딩 시 고려해야 할 요소로는 노드 유형, 엣지 연결성, 연산 속성, 깊이와 폭 등이 있다.
시험에서는 인코딩과 표현 학습(Representation Learning)의 차이를 구분하는 문제가 자주 출제된다.