ㅁ NAS 메타러닝 주요 기법

ㅇ 정의:
NAS 메타러닝 주요 기법은 Neural Architecture Search(NAS)에서 메타러닝을 활용하여 최적의 네트워크 구조를 효율적으로 탐색하는 방법을 다룬다.

ㅇ 특징:
– 기존 NAS보다 탐색 시간이 단축될 수 있음.
– 데이터와 문제 유형에 따라 적합한 메타러닝 기법이 다르게 적용됨.

ㅇ 적합한 경우:
– 데이터가 제한적이고, 최적화 시간 단축이 중요한 경우.
– 도메인 지식이 부족한 상태에서 자동으로 최적 구조를 찾고자 할 때.

ㅇ 시험 함정:
– NAS와 메타러닝의 정의를 혼동할 가능성.
– 특정 기법의 장단점을 묻는 문제에서 잘못된 특징을 선택할 위험.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: NAS 메타러닝은 기존 NAS 대비 탐색 효율성을 높일 수 있다.
– X: NAS 메타러닝은 항상 최적의 모델을 보장한다.

================================

1. Search Strategy

ㅇ 정의:
Search Strategy는 NAS에서 아키텍처 탐색을 수행하는 방법론으로, 주어진 자원 내에서 최적의 신경망 구조를 찾는 데 사용된다.

ㅇ 특징:
– 탐색 공간 정의 및 효율적인 탐색 알고리즘이 중요.
– 랜덤 탐색, 진화 알고리즘, 강화학습 등 다양한 방법론이 존재.

ㅇ 적합한 경우:
– 탐색 공간이 크고, 복잡한 문제를 해결해야 할 때.
– 탐색 알고리즘의 성능이 결과에 큰 영향을 미치는 경우.

ㅇ 시험 함정:
– 랜덤 탐색과 체계적인 탐색의 차이를 혼동할 가능성.
– 강화학습 기반 탐색 방법의 특징을 잘못 이해할 위험.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Search Strategy는 NAS에서 탐색 효율성을 높이는 데 중요한 역할을 한다.
– X: Search Strategy는 항상 최적의 결과를 보장한다.

ㅁ 추가 학습 내용

1. 강화학습 기반 탐색 기법(RL-based search)과 진화 알고리즘(EA-based search)의 차이점:
– 강화학습(RL-based search):
– 보상 신호를 기반으로 탐색을 진행하는 기법.
– 에이전트가 환경과 상호작용하며 행동의 결과로 받는 보상을 통해 최적의 정책을 학습함.
– 학습 과정에서 보상 신호를 통해 점진적으로 탐색 방향을 조정.
– 주로 순차적 의사결정 문제나 복잡한 정책 학습에 적합.
– 진화 알고리즘(EA-based search):
– 생물학적 진화의 원리를 모방하여 세대별로 개체를 진화시키는 최적화 기법.
– 선택, 교배, 돌연변이 같은 연산을 통해 개체군을 개선하며 최적해를 탐색.
– 보상 신호 대신, 적합도(fitness)를 기반으로 개체를 평가.
– 병렬적으로 여러 개체를 탐색하므로 탐색 공간의 전역 최적화를 선호.

2. 탐색 공간 설계(Search Space Design)의 중요성:
– 탐색 공간은 최적화 문제에서 가능한 모든 해의 집합을 의미하며, 탐색 성능에 직접적인 영향을 미침.
– 잘 설계된 탐색 공간은 탐색 효율성을 높이고, 불필요한 계산을 줄이며, 최적의 해를 더 빠르게 찾을 수 있도록 도움.
– 탐색 공간이 너무 크면 계산 비용이 증가하고, 너무 작으면 최적해를 놓칠 가능성이 있음.

3. 탐색 효율성을 높이는 기법:
– Proxy Task:
– 실제 문제의 복잡도를 낮추기 위해 간소화된 대리 과제를 사용.
– 대리 과제를 통해 빠르게 성능을 평가하고, 탐색 속도를 높임.
– Weight Sharing:
– 탐색 과정에서 모델 간의 가중치를 공유하여 계산 비용을 절감.
– 예를 들어, 신경망 구조 탐색에서 여러 아키텍처 간에 가중치를 공유해 학습 시간을 단축.
– 효율적인 자원 활용과 빠른 탐색을 가능하게 함.