ㅁ 첨단 방법

ㅇ 정의:
– 첨단 방법은 기존의 단순한 하이퍼파라미터 탐색 기법을 넘어, 탐색 효율성과 성능을 동시에 높이기 위해 설계된 고급 탐색 기법을 의미함. NAS Variants는 신경망 구조 탐색(Neural Architecture Search)의 다양한 변형 기법을 포함함.

ㅇ 특징:
– NAS Variants는 모델의 구조 자체를 자동으로 설계하며, 강화학습(RL), 진화 알고리즘(EA), 그래디언트 기반 탐색 등 다양한 접근 방식을 사용.
– 탐색 공간(search space), 탐색 전략(search strategy), 성능 추정(performance estimation) 기법의 조합으로 구성됨.
– GPU/TPU 등 고성능 연산 자원 필요.
– 탐색 효율성을 위해 weight sharing, proxy task 등을 활용.

ㅇ 적합한 경우:
– 사람이 직접 설계하기 어려운 복잡한 모델 구조를 찾아야 하는 경우.
– 이미지 분류, 객체 탐지, 자연어 처리 등에서 최적 구조를 신속하게 찾고자 할 때.
– AutoML 파이프라인의 일부로 모델 구조까지 자동화하고자 할 때.

ㅇ 시험 함정:
– NAS는 단순히 하이퍼파라미터 탐색이 아니라 모델 구조 탐색임을 혼동하는 경우.
– NAS Variants 간 차이를 묻는 문제에서 탐색 방법, 자원 소모, 효율화 기법 등을 구분하지 못하는 경우.
– ‘NAS = 무조건 높은 성능’이라는 오해 (자원/시간 제약에 따라 오히려 성능이 낮을 수 있음).

ㅇ 시험 대비 “패턴 보기” 예시:
– (O) NAS Variants는 강화학습, 진화 알고리즘, 그래디언트 기반 탐색 등을 포함한다.
– (X) NAS Variants는 모든 경우에서 수작업 설계보다 빠르고 정확하다.
– (O) NAS 탐색 효율화를 위해 weight sharing 기법을 사용할 수 있다.
– (X) NAS는 하이퍼파라미터 튜닝 기법 중 하나로, 모델 구조는 고정된다.

ㅁ 추가 학습 내용

NAS(Neural Architecture Search) 주요 변형 유형과 특징 정리

1. RL 기반 NAS
– 정책 네트워크를 학습하여 다음에 탐색할 아키텍처를 선택
– 강화학습을 통해 보상 신호에 따라 점진적으로 성능이 좋은 구조를 찾아감

2. EA 기반 NAS
– 진화 알고리즘을 사용하여 개체(아키텍처) 집단을 유지하고 변이, 교차 연산을 통해 세대를 거듭하며 탐색
– 우수한 개체를 선택하고 새로운 후보를 생성하는 과정을 반복

3. Gradient-based NAS (예: DARTS)
– 아키텍처를 연속적인 파라미터로 표현하고, 이를 경사하강법으로 최적화
– 미분 가능한 탐색 공간을 활용하여 효율적으로 구조를 학습

효율화 기법
– Proxy Task: 축소된 데이터셋이나 적은 학습 에폭 수를 사용하여 아키텍처의 성능을 빠르게 추정
– Weight Sharing: 하나의 거대 네트워크(Supernet)에 모든 후보 구조를 포함시키고, 가중치를 공유하여 평가 비용 절감

시험 출제 가능 포인트
– NAS와 단순 AutoML 하이퍼파라미터 검색의 차이점
– NAS 효율화 기법(Proxy Task, Weight Sharing) 비교
– NAS의 장단점과 실제 적용 사례