ㅁ 자동 설계 검색 및 평가

ㅇ 정의:
신경망 구조를 사람이 직접 설계하지 않고, 알고리즘이 자동으로 탐색(Search) 및 평가(Evaluation)하여 최적의 모델 구조를 찾는 기술.

ㅇ 특징:
– 인공지능 모델 성능을 향상시키기 위해 구조 설계 과정을 자동화.
– 탐색(Search)과 평가(Evaluation) 단계로 구성.
– 연산량이 많고 자원 소모가 크지만, 최근에는 효율적인 탐색 기법이 개발됨.

ㅇ 적합한 경우:
– 모델 설계 전문성이 부족한 상황.
– 다양한 구조를 빠르게 시험해야 하는 경우.
– 하드웨어 제약 조건에 맞춘 최적 설계가 필요한 경우.

ㅇ 시험 함정:
– NAS가 항상 최고의 성능을 보장한다고 오해.
– 탐색과 평가의 차이를 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
O: NAS는 모델 구조를 자동으로 탐색하고 평가하는 기술이다.
X: NAS는 모델의 가중치를 자동으로 학습하는 과정이다.

================================

1. NAS 기본 개념

ㅇ 정의:
Neural Architecture Search(NAS)는 신경망 구조를 자동으로 탐색하는 방법론으로, 주어진 데이터셋과 목적 함수에 맞는 최적의 네트워크 아키텍처를 찾는다.

ㅇ 특징:
– 탐색(Search), 평가(Evaluation), 선택(Selection)의 3단계로 구성.
– 탐색 방법: 강화학습, 진화 알고리즘, 그리디 탐색 등.
– 평가 방법: 전체 학습, 부분 학습, 대리 모델 사용 등.

ㅇ 적합한 경우:
– 새로운 도메인에 최적화된 모델이 필요한 경우.
– 수작업 설계 대비 시간 절감이 필요한 경우.

ㅇ 시험 함정:
– NAS가 항상 GPU 없이도 효율적으로 동작한다고 착각.
– 탐색 공간(Search Space) 설계의 중요성을 간과.

ㅇ 시험 대비 “패턴 보기” 예시:
O: NAS는 탐색 공간, 탐색 전략, 평가 방법 세 요소로 구성된다.
X: NAS는 데이터 전처리만 자동화하는 기술이다.

================================

2. Search Space 정의

ㅇ 정의:
NAS에서 탐색할 수 있는 신경망 구조의 후보 집합을 정의한 공간.

ㅇ 특징:
– 탐색 공간이 크면 다양한 구조 가능성이 있으나 탐색 비용 증가.
– 탐색 공간 설계가 NAS 성능에 큰 영향.
– 계층 구조, 연산 종류, 연결 방식 등을 포함.

ㅇ 적합한 경우:
– 특정 연산이나 구조에 제약이 있는 경우 이를 반영하여 효율적 탐색.

ㅇ 시험 함정:
– Search Space가 크면 무조건 좋은 결과를 낸다고 오해.
– Search Space와 Search Strategy를 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Search Space는 NAS가 탐색할 수 있는 구조의 범위를 정의한다.
X: Search Space는 NAS의 학습률을 조정하는 파라미터이다.

================================

3. DARTS 연속 공간 탐색

ㅇ 정의:
Differentiable Architecture Search(DARTS)는 이산적 탐색 공간을 연속적 공간으로 변환하여 경사하강법으로 효율적으로 탐색하는 NAS 기법.

ㅇ 특징:
– 아키텍처 선택을 미분 가능하게 만들어 탐색 속도 향상.
– GPU 메모리 사용량과 연산량을 크게 절감.
– 초기 탐색 단계에서 연산 혼합 가중치를 학습.

ㅇ 적합한 경우:
– 제한된 자원에서 빠른 NAS 수행이 필요한 경우.
– 연속적 최적화 기법을 활용하고자 하는 경우.

ㅇ 시험 함정:
– DARTS가 항상 전역 최적해를 찾는다고 오해.
– 이산적 탐색과 연속적 탐색의 차이를 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
O: DARTS는 탐색 공간을 연속화하여 경사하강법으로 아키텍처를 탐색한다.
X: DARTS는 무작위 탐색(Random Search) 기반의 NAS 기법이다.

ㅁ 추가 학습 내용

NAS 시험 대비 핵심 정리

1. 탐색 전략(Search Strategy) 예시
– 강화학습 기반 탐색
– 진화 알고리즘
– 그리디 탐색
– 베이지안 최적화

2. 평가 방법(Evaluation Method) 예시
– Proxy Dataset 사용
– Early Stopping
– Weight Sharing

3. Search Space 설계 요소
– 연산 집합(Operation Set)
– 셀(Cell) 구조
– 매크로 아키텍처 수준과 마이크로 아키텍처 수준의 구분

4. DARTS 특징
– Softmax를 통한 연산 가중치 계산
– 아키텍처 파라미터(alpha)와 네트워크 가중치(w)의 동시 학습
– 연속적 공간 탐색 방식
– 장점: 경사하강법을 통한 효율적 탐색, 계산 비용 절감
– 단점: 연속 공간 근사로 인한 실제 성능 저하 가능

5. 출제 포인트 예시
– 탐색 전략과 평가 방법의 구체적 예시 구분
– Search Space 설계 요소 구분
– DARTS의 구조와 장단점 이해
– 틀린 진술 식별: 예) “DARTS는 경사하강법을 사용하므로 탐색 시간이 매우 길다” → 틀린 문장 (경사하강법 사용은 오히려 탐색 효율성을 높임)