ㅁ NAS 메타러닝 주요 기법

ㅇ 정의:
– NAS 메타러닝 주요 기법은 신경망 아키텍처 탐색(NAS)을 메타러닝 기법과 결합하여 효율적으로 최적의 모델 구조를 찾는 방법론을 의미함.

ㅇ 특징:
– 탐색 공간의 효율적 축소와 학습 시간 단축을 목표로 함.
– 다양한 메타러닝 기법과 결합하여 활용 가능.

ㅇ 적합한 경우:
– 대규모 데이터셋에서 최적의 모델 구조를 빠르게 탐색해야 할 때.
– 기존 NAS 방법이 비효율적일 때.

ㅇ 시험 함정:
– NAS와 메타러닝의 결합 방식에 대한 개념 혼동.
– 메타러닝의 정의와 범위를 NAS에만 국한시키는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: NAS 메타러닝 주요 기법은 탐색 공간 축소와 학습 시간 단축을 목표로 한다.
– X: NAS 메타러닝 주요 기법은 항상 모든 데이터셋에 적합하다.

================================

1. One-Shot NAS

ㅇ 정의:
– 하나의 초네트워크(Supernet)를 학습하여 모든 후보 아키텍처의 성능을 추정하는 NAS 방법론.

ㅇ 특징:
– 초네트워크의 공유 매개변수를 활용하여 학습 비용을 줄임.
– 후보 아키텍처 간의 간섭 문제 발생 가능.

ㅇ 적합한 경우:
– 탐색 공간이 크고 학습 자원이 제한적인 경우.
– 빠른 탐색이 요구되는 경우.

ㅇ 시험 함정:
– One-Shot NAS가 항상 최적의 성능을 보장한다고 오해.
– 초네트워크와 일반적인 신경망의 차이점을 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: One-Shot NAS는 초네트워크를 학습하여 후보 아키텍처의 성능을 추정한다.
– X: One-Shot NAS는 모든 아키텍처를 독립적으로 학습한다.

ㅁ 추가 학습 내용

One-Shot NAS의 한계점과 이를 극복하기 위한 방법론을 학습하기 위해 다음과 같은 내용을 정리할 수 있습니다.

1. **One-Shot NAS의 한계점**:
– 초네트워크(Supernet)를 사용하여 모든 아키텍처를 동시에 평가하지만, 이 접근법은 초네트워크의 학습이 개별 아키텍처의 성능을 정확히 반영하지 못할 가능성이 있음.
– 초네트워크의 학습 과정에서 발생하는 자원 경쟁(resource contention) 및 간섭(interference) 문제로 인해, 일부 아키텍처가 과소평가되거나 과대평가될 수 있음.
– 탐색 공간(search space)이 클 경우, 초네트워크의 학습이 비효율적일 수 있으며, 이는 최적의 아키텍처를 찾는 데 걸리는 시간을 증가시킴.
– 초네트워크의 성능이 실제로 독립적으로 학습된 아키텍처의 성능과 일치하지 않을 수 있어, 최적화된 아키텍처의 일반화 성능에 영향을 미칠 가능성이 있음.

2. **Differentiable NAS(DARTS)와의 비교**:
– DARTS는 연속적인(differentiable) 최적화 기법을 통해 아키텍처 탐색을 수행하며, 초네트워크의 간섭 문제를 완화하려는 목적을 가짐.
– DARTS는 탐색 공간을 연속적으로 모델링하여, 각 경로의 가중치를 미분 가능한 형식으로 표현하고 이를 통해 최적화 과정을 효율적으로 수행함.
– One-Shot NAS는 주로 샘플링 기반 접근법을 사용하지만, DARTS는 그래프의 가중치 업데이트를 통해 탐색 과정을 진행하므로 탐색 시간이 상대적으로 짧고 효율적임.
– 그러나 DARTS 역시 탐색 과정에서 아키텍처가 과적합(overfitting)되거나, 최적화 과정에서 특정 경로가 지나치게 강조될 수 있는 문제를 가질 수 있음.

3. **초네트워크 학습 시 발생하는 간섭 문제 해결 방안**:
– **독립적 학습 전략**: 초네트워크 내에서 개별 아키텍처를 독립적으로 학습시키는 방법을 도입하여 간섭 문제를 줄임.
– **자원 분리(Resource Allocation)**: 초네트워크의 자원을 아키텍처 간에 공정하게 분배하여, 특정 아키텍처가 과소평가되는 문제를 방지.
– **학습 스케줄링(Scheduling)**: 초네트워크 학습 과정에서 특정 아키텍처를 우선적으로 학습하거나, 학습 순서를 조정하여 간섭을 최소화.
– **FAIRNAS와 같은 방법론**: 각 아키텍처가 동일한 학습 기회를 갖도록 보장하는 공정한 학습 전략을 도입함으로써 간섭 문제를 완화.

4. **실제 사례**:
– FAIRNAS: 초네트워크의 학습 과정에서 각 아키텍처가 동일한 횟수로 업데이트되도록 보장하는 방법으로, 간섭 문제를 해결하고 탐색 과정의 공정성을 높임.
– ProxylessNAS: 초네트워크의 학습과 탐색을 동시에 수행하며, 효율적인 자원 활용을 통해 초네트워크의 간섭 문제를 줄이는 사례.
– SPOS(Single Path One-Shot): 단일 경로를 선택하여 초네트워크를 학습시키는 방식으로, 자원 경쟁 문제를 완화하고 탐색 효율성을 높임.

시험 대비를 위해 위 내용을 중심으로 One-Shot NAS와 DARTS의 차이점, 초네트워크 학습의 주요 문제점, 이를 해결하기 위한 방법론 및 실제 사례를 구체적으로 이해하고 정리해 두는 것이 중요합니다.