ㅁ NAS 메타러닝 주요 기법

ㅇ 정의:
신경망 구조 탐색(NAS)에서 다양한 모델 구조를 효율적으로 찾기 위해 메타러닝 기법을 적용하는 접근 방식.

ㅇ 특징:
탐색 공간 설계, 탐색 전략, 성능 추정, 구조 인코딩 등 여러 구성 요소로 나뉘며, 효율성과 정확도의 균형이 중요함.

ㅇ 적합한 경우:
제한된 연산 자원에서 최적의 모델 구조를 찾아야 하거나, 다양한 하드웨어 환경에 맞춘 모델 설계가 필요한 경우.

ㅇ 시험 함정:
NAS 전체 프로세스와 각 기법의 역할을 혼동하거나, 특정 기법이 항상 모든 상황에 우수하다고 오해하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
O: NAS는 탐색 공간, 탐색 전략, 성능 추정, 구조 인코딩 등의 구성 요소를 가진다.
X: NAS는 탐색 전략만 있으면 전체 프로세스가 완성된다.

================================

1. Search Space

ㅇ 정의:
NAS에서 탐색할 수 있는 신경망 구조의 후보 집합.

ㅇ 특징:
너무 넓으면 탐색 시간이 길어지고, 너무 좁으면 최적 구조를 놓칠 수 있음.

ㅇ 적합한 경우:
문제 도메인에 맞춰 합리적으로 제한된 구조 집합이 필요할 때.

ㅇ 시험 함정:
Search Space가 크다고 항상 좋은 결과를 주는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Search Space는 NAS의 효율성과 성능에 직접적인 영향을 준다.
X: Search Space는 NAS 성능에 영향을 주지 않는다.

================================

2. Search Strategy

ㅇ 정의:
Search Space 내에서 후보 구조를 탐색하는 알고리즘이나 방법.

ㅇ 특징:
무작위 탐색, 진화 알고리즘, 강화학습, 그래디언트 기반 방법 등 다양함.

ㅇ 적합한 경우:
탐색 효율성과 정확도 사이의 균형이 필요한 경우.

ㅇ 시험 함정:
모든 Search Strategy가 동일한 계산 자원 효율성을 가지는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: 강화학습 기반 Search Strategy는 보상 함수를 통해 구조를 선택한다.
X: Search Strategy는 항상 무작위 탐색만 사용한다.

================================

3. Performance Estimation

ㅇ 정의:
후보 구조의 성능을 빠르게 예측하는 방법.

ㅇ 특징:
프록시 데이터셋, 조기 종료, 파라미터 공유 등을 활용하여 계산 비용 절감.

ㅇ 적합한 경우:
전체 후보 학습이 불가능할 정도로 탐색 비용이 큰 경우.

ㅇ 시험 함정:
정확도보다 속도만 중시하면 잘못된 구조를 선택할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Performance Estimation은 탐색 시간을 줄이는 데 중요한 역할을 한다.
X: Performance Estimation은 NAS에서 불필요한 단계이다.

================================

4. Architecture Encoding

ㅇ 정의:
신경망 구조를 수치나 벡터 형태로 표현하는 방법.

ㅇ 특징:
탐색 알고리즘이 구조를 이해하고 비교할 수 있도록 함.

ㅇ 적합한 경우:
강화학습, 진화 알고리즘 등 구조 표현이 필요한 탐색 전략.

ㅇ 시험 함정:
Encoding 방식이 부적절하면 탐색 효율이 크게 저하됨.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Architecture Encoding은 NAS에서 구조 비교와 선택을 가능하게 한다.
X: Architecture Encoding은 NAS에서 필요하지 않다.

================================

5. DARTS

ㅇ 정의:
Differentiable Architecture Search, 연속적 탐색 공간과 그래디언트 기반 최적화를 활용한 NAS 기법.

ㅇ 특징:
탐색과 학습을 동시에 수행하며, 탐색 속도가 빠름.

ㅇ 적합한 경우:
자원이 제한된 환경에서 빠른 구조 탐색이 필요한 경우.

ㅇ 시험 함정:
DARTS가 항상 최적 구조를 찾는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: DARTS는 그래디언트 기반으로 구조를 탐색한다.
X: DARTS는 무작위 탐색만 사용한다.

================================

6. Weight Sharing

ㅇ 정의:
여러 후보 구조가 동일한 가중치를 공유하여 학습 시간을 줄이는 기법.

ㅇ 특징:
One-Shot NAS에서 주로 사용되며, 메모리와 계산량 절감.

ㅇ 적합한 경우:
대규모 Search Space를 효율적으로 탐색할 때.

ㅇ 시험 함정:
Weight Sharing이 항상 성능 저하 없이 적용되는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Weight Sharing은 NAS의 탐색 속도를 높인다.
X: Weight Sharing은 NAS에서 불필요한 기법이다.

================================

7. One-Shot NAS

ㅇ 정의:
하나의 슈퍼넷(Supernet)을 학습하고, 그 내부의 서브넷을 평가하여 구조를 선택하는 NAS 방식.

ㅇ 특징:
Weight Sharing을 활용하여 탐색 비용 절감.

ㅇ 적합한 경우:
탐색 시간이 제한된 경우.

ㅇ 시험 함정:
One-Shot NAS가 항상 정확한 성능 추정을 제공하지는 않음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: One-Shot NAS는 슈퍼넷을 기반으로 구조를 탐색한다.
X: One-Shot NAS는 후보 구조를 각각 독립적으로 학습한다.

================================

8. Hardware-Aware NAS

ㅇ 정의:
모델 성능뿐 아니라 하드웨어 제약(메모리, 지연시간 등)을 고려하여 구조를 탐색하는 NAS.

ㅇ 특징:
실사용 환경에 최적화된 모델 설계 가능.

ㅇ 적합한 경우:
모바일, 임베디드 환경 등 자원 제약이 심한 경우.

ㅇ 시험 함정:
하드웨어 제약을 고려하지 않으면 실제 배포 시 문제가 발생할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Hardware-Aware NAS는 지연시간과 메모리 사용량을 고려한다.
X: Hardware-Aware NAS는 정확도만 고려한다.

================================

9. Progressive NAS

ㅇ 정의:
탐색 공간을 점진적으로 확장하거나 축소하며 구조를 탐색하는 NAS 기법.

ㅇ 특징:
초기에는 간단한 구조에서 시작해 점점 복잡한 구조로 확장.

ㅇ 적합한 경우:
탐색 효율성과 정확도를 동시에 확보하고자 할 때.

ㅇ 시험 함정:
Progressive NAS가 항상 탐색 시간을 줄이는 것은 아님.

ㅇ 시험 대비 “패턴 보기” 예시:
O: Progressive NAS는 탐색 공간을 점진적으로 변화시킨다.
X: Progressive NAS는 처음부터 전체 탐색 공간을 사용한다.

ㅁ 추가 학습 내용

NAS 기법 비교 및 학습 정리

1. NAS 기법 장단점 비교 예시
– DARTS: 장점 – 탐색 속도가 빠름 / 단점 – 탐색 공간이 제한적일 수 있음
– One-Shot NAS: 장점 – 효율적 / 단점 – 성능 추정 정확도가 낮을 수 있음

2. Search Space 설계 시 고려 요소
– 연산량(FLOPs)
– 파라미터 수
– 하드웨어 제약 조건

3. Performance Estimation 방법
– Learning Curve Extrapolation
– Zero-Cost Proxy

4. Hardware-Aware NAS
– Accuracy-Latency Trade-off 곡선 이해 필수

5. 기타 중요 포인트
– Progressive NAS와 Weight Sharing 기법의 결합 사례
– NAS가 AutoML 파이프라인에서 데이터 전처리, 하이퍼파라미터 최적화와의 연계 방식