ㅁ 하이퍼파라미터 탐색

ㅇ 정의:
인공신경망의 구조(레이어 수, 연결 방식, 활성화 함수 등)를 자동으로 탐색하여 최적의 모델 아키텍처를 찾는 방법론.

ㅇ 특징:
– 모델 구조와 하이퍼파라미터를 동시에 최적화 가능
– 탐색 공간이 매우 크고 연산 비용이 높음
– 강화학습, 진화 알고리즘, 그래디언트 기반 등 다양한 탐색 전략 사용

ㅇ 적합한 경우:
– 수작업 설계가 어려운 복잡한 모델 구조 탐색 시
– 대규모 연산 자원과 시간이 확보된 경우

ㅇ 시험 함정:
– NAS는 단순히 하이퍼파라미터 튜닝과 동일하다고 오해하면 틀림 (NAS는 구조 자체를 탐색)
– 모든 NAS가 강화학습 기반이라고 생각하면 오답 (진화, 그래디언트 기반도 있음)

ㅇ 시험 대비 “패턴 보기” 예시:
O: NAS는 모델 구조를 자동으로 탐색하는 방법이다.
X: NAS는 학습률과 배치 크기만을 조정하는 기법이다.

================================

1. Neural Architecture Search (NAS) Variants

ㅇ 정의:
NAS를 구현하는 다양한 접근 방식으로, 탐색 전략과 평가 방법에 따라 구분되는 변형 기법들.

ㅇ 특징:
– 강화학습 기반: 컨트롤러 모델이 아키텍처를 제안하고 성능 보상으로 학습
– 진화 알고리즘 기반: 아키텍처를 유전자처럼 변이·교배하여 탐색
– 그래디언트 기반(DARTS 등): 연속적 탐색 공간에서 미분을 통해 최적화
– 각 방식은 탐색 효율성과 자원 소모 측면에서 차이가 큼

ㅇ 적합한 경우:
– 강화학습 기반: 탐색 품질이 중요하고 시간 제약이 덜한 경우
– 진화 알고리즘 기반: 병렬 탐색이 가능하고 다양한 후보를 빠르게 생성할 때
– 그래디언트 기반: 자원 제약이 있고 빠른 탐색이 필요한 경우

ㅇ 시험 함정:
– NAS Variants를 단일한 방법으로 인식하는 경우 오답
– 그래디언트 기반 NAS가 항상 최적 해를 보장한다고 생각하면 틀림

ㅇ 시험 대비 “패턴 보기” 예시:
O: 진화 알고리즘 기반 NAS는 후보 아키텍처를 유전자처럼 변이시킨다.
X: 모든 NAS는 강화학습을 기반으로 한다.

ㅁ 추가 학습 내용

NAS(Neural Architecture Search) 학습 시 정리 내용

1. NAS 주요 변형 알고리즘과 특징
– DARTS: 연속적(relaxation) 탐색 전략 사용, 미분 가능 구조 탐색, 빠른 탐색 속도, 그러나 overfitting 가능성 있음
– ENAS: weight sharing 기반, 탐색 효율 극대화, 자원 절약, 하지만 공유 가중치로 인한 성능 추정 부정확 가능
– AmoebaNet: 진화 알고리즘 기반, 탐색에 시간이 많이 걸리지만 다양한 구조 발견 가능

2. NAS의 3대 구성 요소
– 탐색 공간(Search Space): 가능한 신경망 구조의 집합, 연산 종류와 연결 방식 정의
– 탐색 전략(Search Strategy): 탐색 공간을 어떻게 탐색할지 결정하는 방법 (예: 강화학습, 진화 알고리즘, 그래디언트 기반)
– 성능 추정(Performance Estimation): 후보 구조의 성능을 어떻게 빠르고 정확하게 평가할지 결정 (예: 전체 학습, 부분 학습, 공유 가중치)

3. 변형 기법에서의 차이점
– 탐색 공간: 연산 종류 추가/제한, 셀 구조 정의 방식 변경
– 탐색 전략: 강화학습, 진화 알고리즘, 미분 기반 등 선택
– 성능 추정: weight sharing, proxy task, early stopping 등으로 비용 절감

4. 비용 절감 및 최적화 기법
– Weight Sharing: 여러 구조가 동일한 가중치를 공유하여 학습 비용 절감
– One-shot 모델: 하나의 대형 네트워크에서 서브 네트워크를 추출하여 탐색
– Proxy Task: 원래 문제보다 간단한 작업으로 성능 예측, 탐색 시간 단축