ㅁ 하이퍼파라미터 탐색

ㅇ 정의:
하이퍼파라미터 탐색은 모델의 성능을 최적화하기 위해 학습 알고리즘에서 사용되는 설정값을 체계적으로 조정하는 과정이다.

ㅇ 특징:
– 하이퍼파라미터는 학습률, 배치 크기, 활성화 함수 등 모델 학습에 영향을 미치는 주요 요소이다.
– 탐색 방법에는 Grid Search, Random Search, Bayesian Optimization 등이 있다.
– 적절한 탐색 방법은 데이터셋 크기와 계산 자원에 따라 달라진다.

ㅇ 적합한 경우:
– 데이터셋이 크고 복잡하여 최적의 모델 설정이 명확하지 않은 경우.
– 계산 자원이 충분히 확보된 환경에서 다양한 설정을 시험해볼 필요가 있을 때.

ㅇ 시험 함정:
– 하이퍼파라미터를 임의로 설정하거나 탐색 과정을 생략하는 경우.
– 특정 탐색 방법의 장단점을 정확히 이해하지 못한 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: 하이퍼파라미터 탐색은 모델 성능을 개선하기 위한 필수 과정이다.
– X: 하이퍼파라미터 탐색은 계산 자원이 부족한 환경에서도 효과적이다.

================================

1. Neural Architecture Search (NAS)

ㅇ 정의:
NAS는 딥러닝 모델의 아키텍처를 자동으로 설계하기 위한 방법으로, 하이퍼파라미터 탐색의 확장된 형태이다.

ㅇ 특징:
– 모델 구조를 자동으로 탐색하여 설계 시간을 단축한다.
– Reinforcement Learning, Evolutionary Algorithms, Gradient-based Optimization 방법을 사용한다.
– 계산 비용이 높아 GPU 및 클라우드 자원이 필요할 수 있다.

ㅇ 적합한 경우:
– 최적의 모델 구조를 찾는 데 시간이 오래 걸리는 경우.
– 기존의 수작업 설계 방식이 비효율적인 경우.

ㅇ 시험 함정:
– NAS가 모든 경우에 최적의 모델을 제공한다고 생각하는 오류.
– NAS의 계산 비용을 과소평가하는 경우.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: NAS는 Reinforcement Learning을 활용하여 모델 아키텍처를 자동 탐색할 수 있다.
– X: NAS는 계산 비용이 낮아 모든 환경에서 쉽게 적용 가능하다.

================================

1.1 NAS Variants

ㅇ 정의:
NAS Variants는 NAS의 다양한 변형된 방법으로, 특정 요구사항에 맞게 최적화된 NAS 접근 방식을 의미한다.

ㅇ 특징:
– Efficient NAS: 계산 자원을 절약하며 탐색을 수행.
– Progressive NAS: 점진적으로 아키텍처를 확장하며 탐색.
– One-shot NAS: 단일 모델을 기반으로 모든 아키텍처를 평가.

ㅇ 적합한 경우:
– 자원이 제한적인 환경에서 효율적인 탐색이 필요한 경우.
– 특정 모델 구조를 빠르게 탐색하고자 할 때.

ㅇ 시험 함정:
– NAS Variants의 세부 특징을 혼동하거나 구체적인 사례를 이해하지 못하는 경우.
– 특정 Variant가 모든 상황에 적합하다고 생각하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: Efficient NAS는 계산 자원이 제한적인 환경에서 유용하다.
– X: Progressive NAS는 모든 상황에서 가장 효율적이다.

================================

ㅁ 추가 학습 내용

NAS와 NAS Variants에 대한 학습 내용을 보완하기 위해 다음과 같은 내용을 정리할 수 있습니다:

1. NAS의 주요 활용 사례:
– 이미지 분류: NAS는 이미지 분류 작업에서 최적의 신경망 구조를 찾는 데 자주 사용됩니다. 예를 들어, NASNet은 이미지넷 대회에서 높은 성능을 기록하며 이미지 분류 작업에서 NAS의 가능성을 보여준 대표적인 사례입니다.
– 자연어 처리: NAS는 자연어 처리 분야에서도 활용됩니다. 예를 들어, ENAS(Efficient Neural Architecture Search)는 언어 모델링 작업에서 NAS를 효과적으로 적용한 사례입니다. 이를 통해 문장 생성 및 텍스트 예측 성능을 향상시킬 수 있습니다.

2. NAS Variants의 실제 적용 연구 사례:
– ENAS(Efficient NAS): ENAS는 Weight Sharing 기법을 사용하여 NAS의 계산 비용을 크게 줄인 사례입니다. 이 방법은 동일한 공유된 가중치를 사용하여 여러 아키텍처를 평가하므로 효율성을 높였습니다. ENAS는 특히 언어 모델링 및 이미지 분류 작업에서 성공적으로 적용되었습니다.
– DARTS(Differentiable Architecture Search): DARTS는 연속적인 최적화 방법을 사용하여 NAS를 수행하는 방식으로, CIFAR-10 데이터셋에서 이미지 분류 문제를 해결하는 데 사용되었습니다. 이 접근 방식은 기존 NAS보다 훨씬 빠른 검색 속도를 제공합니다.
– PNAS(Progressive NAS): PNAS는 점진적으로 더 복잡한 아키텍처를 탐색하는 방식으로, 계산 자원을 절약하면서도 효율적인 아키텍처를 찾는 데 성공한 사례입니다. PNAS는 이미지 분류와 같은 작업에서 우수한 결과를 보여줍니다.

3. NAS의 계산 비용을 줄이는 최신 접근 방식:
– Weight Sharing: ENAS에서 소개된 Weight Sharing 기법은 NAS의 계산 비용을 줄이는 데 핵심적인 역할을 합니다. 이 방법은 각 아키텍처를 별도로 학습시키는 대신, 공유된 가중치를 사용하여 여러 아키텍처를 효율적으로 평가합니다.
– Differentiable NAS: DARTS와 같은 접근 방식은 연속적인 최적화 기법을 사용하여 아키텍처 탐색을 수행합니다. 이 방법은 NAS의 계산 비용을 크게 줄이는 데 기여합니다.
– Multi-Fidelity Optimization: 이 방법은 저비용의 근사 모델을 사용하여 아키텍처를 평가하고, 고비용의 정확한 모델 평가를 최소화함으로써 계산 비용을 줄입니다.

이러한 내용을 학습 노트에 추가하면 NAS와 관련된 주요 개념 및 실제 응용 사례를 보다 명확히 이해할 수 있으며, 시험 대비에 효과적으로 활용할 수 있습니다.