ㅁ NAS 메타러닝 주요 기법

ㅇ 정의:
신경망 구조를 자동으로 탐색하고 최적화하기 위해 메타러닝 관점에서 적용되는 핵심 구성 요소와 알고리즘 기법들의 집합.

ㅇ 특징:
– 탐색 공간, 탐색 전략, 성능 추정, 아키텍처 인코딩 등 모듈별로 구성됨
– GPU/TPU 등 하드웨어 제약 고려 가능
– 모델 학습과 탐색을 동시에 진행하거나 순차적으로 진행

ㅇ 적합한 경우:
– 모델 구조 설계 경험이 부족한 경우
– 대규모 모델 탐색 시 효율성을 높이고자 할 때

ㅇ 시험 함정:
– NAS의 모든 기법이 동일한 목적을 가진다고 오해
– 하드웨어 제약 고려 여부를 간과

ㅇ 시험 대비 “패턴 보기” 예시:
O: NAS는 Search Space, Search Strategy, Performance Estimation, Architecture Encoding 등의 요소로 구성된다.
X: NAS는 항상 GPU 메모리를 무제한으로 사용하여 탐색한다.

================================

1. Search Space

ㅇ 정의:
탐색 가능한 신경망 구조의 후보 집합을 정의하는 영역.

ㅇ 특징:
– 연산 종류, 연결 방식, 계층 수 등을 포함
– 탐색 공간이 크면 더 많은 가능성을 포함하지만 계산량 증가

ㅇ 적합한 경우:
– 다양한 아키텍처 후보를 고려해야 하는 초기 탐색 단계

ㅇ 시험 함정:
– Search Space가 크면 항상 좋은 결과를 낸다고 착각

ㅇ 시험 대비 “패턴 보기” 예시:
O: Search Space는 NAS에서 탐색할 수 있는 모델 구조의 범위를 정의한다.
X: Search Space는 모델의 학습률을 조정하는 영역이다.

================================

2. Search Strategy

ㅇ 정의:
정의된 Search Space 내에서 최적의 구조를 찾기 위한 탐색 방법.

ㅇ 특징:
– 무작위 탐색, 강화학습, 진화 알고리즘, 그래디언트 기반 등 다양함
– 탐색 효율성과 품질에 큰 영향

ㅇ 적합한 경우:
– 탐색 자원이 제한된 상황에서 효율적 탐색 필요 시

ㅇ 시험 함정:
– 특정 전략이 모든 데이터셋에 최적이라고 단정

ㅇ 시험 대비 “패턴 보기” 예시:
O: Search Strategy는 Search Space 내에서 구조를 선택하는 방법이다.
X: Search Strategy는 모델의 파라미터를 직접 학습하는 과정이다.

================================

3. Performance Estimation

ㅇ 정의:
후보 아키텍처의 성능을 빠르게 예측하는 방법.

ㅇ 특징:
– 전체 학습 대신 부분 학습, 프록시 데이터 사용
– 탐색 속도를 크게 향상

ㅇ 적합한 경우:
– 후보가 많은 경우 빠른 필터링 필요 시

ㅇ 시험 함정:
– 성능 추정이 실제 학습 결과와 항상 일치한다고 생각

ㅇ 시험 대비 “패턴 보기” 예시:
O: Performance Estimation은 NAS에서 탐색 속도를 높이기 위해 사용된다.
X: Performance Estimation은 모델의 정확도를 항상 완벽하게 예측한다.

================================

4. Architecture Encoding

ㅇ 정의:
아키텍처 구조를 수치나 벡터 형태로 표현하는 방법.

ㅇ 특징:
– 탐색 알고리즘이 구조를 이해하고 비교 가능하게 함
– 그래프 기반, 시퀀스 기반 등 다양한 인코딩 방식

ㅇ 적합한 경우:
– 구조 비교 및 유사도 계산이 필요한 경우

ㅇ 시험 함정:
– 인코딩 방식이 성능에 영향을 주지 않는다고 생각

ㅇ 시험 대비 “패턴 보기” 예시:
O: Architecture Encoding은 아키텍처를 탐색 알고리즘이 처리할 수 있도록 변환한다.
X: Architecture Encoding은 모델의 가중치를 초기화하는 과정이다.

================================

5. DARTS

ㅇ 정의:
Differentiable Architecture Search의 약자로, 연속적인 탐색 공간을 사용하여 그래디언트 기반으로 아키텍처를 탐색하는 기법.

ㅇ 특징:
– 검색 효율이 높고 빠름
– 연속 공간에서 최적화 가능

ㅇ 적합한 경우:
– 자원이 제한된 환경에서 빠른 탐색 필요 시

ㅇ 시험 함정:
– DARTS가 모든 NAS 문제에 적용 가능하다고 생각

ㅇ 시험 대비 “패턴 보기” 예시:
O: DARTS는 그래디언트 기반으로 아키텍처를 탐색한다.
X: DARTS는 무작위로 아키텍처를 선택한다.

================================

6. Weight Sharing

ㅇ 정의:
여러 후보 아키텍처가 동일한 가중치를 공유하며 학습하는 방식.

ㅇ 특징:
– 학습 시간과 자원 절약
– 일부 아키텍처 성능 평가의 정확도가 떨어질 수 있음

ㅇ 적합한 경우:
– 대규모 탐색에서 자원 절감 필요 시

ㅇ 시험 함정:
– Weight Sharing이 항상 성능 평가를 정확히 보장한다고 생각

ㅇ 시험 대비 “패턴 보기” 예시:
O: Weight Sharing은 NAS에서 학습 시간을 줄이기 위해 사용된다.
X: Weight Sharing은 모든 후보 아키텍처의 성능을 정확히 반영한다.

================================

7. One-Shot NAS

ㅇ 정의:
하나의 초거대 네트워크(Supernet)를 학습한 뒤, 그 하위 네트워크를 평가하여 최적 구조를 선택하는 NAS 방법.

ㅇ 특징:
– Weight Sharing 기반
– 탐색 속도 빠름

ㅇ 적합한 경우:
– 빠른 프로토타입 생성 필요 시

ㅇ 시험 함정:
– One-Shot NAS가 항상 최적 구조를 보장한다고 생각

ㅇ 시험 대비 “패턴 보기” 예시:
O: One-Shot NAS는 Supernet을 학습하여 하위 네트워크를 평가한다.
X: One-Shot NAS는 모든 후보를 개별 학습한다.

================================

8. Hardware-Aware NAS

ㅇ 정의:
하드웨어 제약(메모리, 지연시간, 전력소모 등)을 고려하여 아키텍처를 탐색하는 NAS 방법.

ㅇ 특징:
– 실제 배포 환경 최적화 가능
– 성능과 자원 사용의 균형 추구

ㅇ 적합한 경우:
– 모바일, 엣지 디바이스 배포 시

ㅇ 시험 함정:
– 하드웨어 제약이 없는 환경에서도 반드시 사용해야 한다고 생각

ㅇ 시험 대비 “패턴 보기” 예시:
O: Hardware-Aware NAS는 지연시간과 전력소모를 고려한다.
X: Hardware-Aware NAS는 오직 정확도만 고려한다.

================================

9. Progressive NAS

ㅇ 정의:
작은 탐색 공간에서 시작해 점진적으로 확장하면서 최적 구조를 찾는 NAS 방법.

ㅇ 특징:
– 초기 계산량 감소
– 점진적 탐색으로 효율성 향상

ㅇ 적합한 경우:
– 초기 자원 소모를 최소화하고 점진적 개선 필요 시

ㅇ 시험 함정:
– Progressive NAS가 항상 전체 탐색보다 성능이 높다고 생각

ㅇ 시험 대비 “패턴 보기” 예시:
O: Progressive NAS는 탐색 공간을 점차 확장한다.
X: Progressive NAS는 처음부터 전체 탐색 공간을 사용한다.

ㅁ 추가 학습 내용

NAS 기법 간 상호작용과 트레이드오프 정리

1. Search Space와 Search Strategy
– Search Space가 커질수록 효율적인 Search Strategy의 중요성이 커짐
– 탐색 범위가 넓으면 무작위 또는 비효율적 탐색은 시간과 자원 낭비로 이어짐

2. Performance Estimation
– 정확도와 탐색 속도 간 균형 필요
– 빠른 추정 기법은 정확도 저하 가능성이 있고, 정밀한 평가 기법은 탐색 시간이 길어짐

3. DARTS(Gradient-based NAS)
– 연속적인 탐색 공간 필요
– 그래디언트를 활용하여 효율적인 탐색 가능
– 단, 이산적 구조 탐색에는 부적합할 수 있음

4. Weight Sharing
– 여러 아키텍처가 가중치를 공유하여 탐색 속도를 높임
– 평가 정확도 저하 가능성 존재(가중치가 특정 아키텍처에 최적화되지 않음)

5. Hardware-Aware NAS
– FLOPs, latency, energy consumption 등 하드웨어 성능 지표를 고려
– 실제 배포 환경과 측정 환경의 차이를 이해해야 함
– 예: 시뮬레이션과 실제 디바이스에서의 지연 시간 차이

6. Progressive NAS
– 점진적으로 탐색 공간을 확장하며 탐색
– 초기 단계에서 탐색 실패 시 전체 성능이 제한될 수 있음

7. 시험 대비 포인트
– 각 기법의 정의, 장단점, 적용 사례 숙지
– 다른 NAS 방법과의 비교 가능하도록 이해
– 기법 간 상호작용과 트레이드오프를 설명할 수 있어야 함