ㅁ NAS 메타러닝 주요 기법

ㅇ 정의:
Neural Architecture Search(NAS)에서 서로 다른 아키텍처 후보들이 네트워크 가중치를 공유하여 학습 시간을 단축하는 기법. 주로 하나의 슈퍼넷(supernet)을 학습하고, 각 후보 모델이 해당 가중치를 재사용함.

ㅇ 특징:
– 모든 후보 네트워크를 개별적으로 학습하는 대신, 공통 가중치를 공유하여 연산량과 시간을 절감.
– 슈퍼넷 구조 내에서 다양한 서브넷을 샘플링하여 평가.
– 학습 효율성은 높지만, 공유된 가중치가 특정 아키텍처에 최적화되지 않아 성능 편향(bias) 가능성 존재.

ㅇ 적합한 경우:
– 탐색 공간이 크고 개별 모델 학습 비용이 매우 높은 경우.
– 하드웨어 리소스가 제한적이면서도 다양한 아키텍처 비교가 필요한 경우.

ㅇ 시험 함정:
– “Weight Sharing은 모든 아키텍처의 성능을 정확하게 반영한다” → X (성능 편향 존재)
– “Weight Sharing은 NAS에서만 사용되는 개념이다” → X (다른 멀티태스크 학습에서도 활용 가능)
– “Weight Sharing은 슈퍼넷 기반 구조에서 주로 사용된다” → O

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “슈퍼넷의 가중치를 재활용하여 NAS 탐색 속도를 높이는 기법이다.”
– X: “각 아키텍처를 독립적으로 학습하여 NAS 속도를 높인다.”
– O: “가중치 공유로 인해 개별 아키텍처 성능 평가 시 편향이 발생할 수 있다.”
– X: “가중치 공유는 편향 없이 모든 아키텍처 성능을 정확히 평가한다.”

ㅁ 추가 학습 내용

Weight Sharing 기법은 One-Shot NAS, ENAS(Efficient Neural Architecture Search) 등에서 대표적으로 사용되며, 학습 과정에서 파라미터 업데이트가 여러 아키텍처에 동시에 영향을 준다. 이 방식은 탐색 효율성을 높이지만 성능 추정의 정확성을 떨어뜨릴 수 있다. 시험에서는 이러한 장단점이 자주 출제된다. 또한 Weight Sharing, Parameter Sharing, Transfer Learning의 차이를 구분하는 문제가 출제될 수 있다. Transfer Learning은 사전 학습된 모델의 가중치를 새로운 작업에 재사용하는 것이고, Weight Sharing은 동일한 탐색 과정 내에서 여러 후보 모델이 가중치를 공유하는 것이다. Weight Sharing이 적용된 NAS에서는 탐색 단계와 최종 재학습 단계가 분리되어 진행되는 경우가 많다는 점도 중요하다.