ㅁ NAS 메타러닝 주요 기법 ㅇ 정의: 신경망 구조 탐색(NAS)에서 연속적(relaxed) 아키텍처 파라미터를 사용하여 그래디언트 기반으로 최적 구조를 찾는 방법. DARTS(Differentiable Architecture Search)는 이산적인 구조 선택을 연속 공간으로 완화하여 효율적인 탐색을 가능하게 함. ㅇ 특징: – 기존 강화학습이나 진화 알고리즘 기반 NAS보다 탐색 속도가 매우 빠름 – 아키텍처 파라미터와 네트워크 가중치를 동시에 학습 – 연속
ㅁ NAS 메타러닝 주요 기법 ㅇ 정의: 신경망 구조 탐색(NAS)에서 다양한 아키텍처를 메타러닝 관점에서 효율적으로 비교·학습하기 위해 아키텍처를 벡터나 그래프 형태로 수치화하여 표현하는 방법. ㅇ 특징: – 아키텍처의 계층, 연결, 연산 유형 등을 고정된 길이 또는 가변 길이의 인코딩으로 변환. – 인코딩된 표현을 기반으로 성능 예측 모델이나 탐색 전략에 활용 가능. – 원시 구조를 직접
ㅁ NAS 메타러닝 주요 기법 ㅇ 정의: 신경망 아키텍처 탐색(NAS) 과정에서 후보 모델의 성능을 실제 학습 없이 빠르게 예측하여 탐색 시간을 단축하는 기법. ㅇ 특징: – 전체 후보를 모두 학습시키는 대신, 과거 학습 데이터나 부분 학습 결과를 기반으로 성능을 추정. – 메타러닝 기법을 적용하여 다양한 아키텍처의 성능 패턴을 학습. – 데이터 효율성과 계산 효율성을 동시에
ㅁ NAS 메타러닝 주요 기법 ㅇ 정의: 신경망 구조 탐색(NAS)에서 메타러닝을 활용하여 효율적으로 최적의 아키텍처를 찾는 기법들의 집합을 의미하며, Search Strategy는 탐색 공간 내에서 후보 모델을 선택·평가하는 전략을 지칭함. ㅇ 특징: – 탐색 공간(Search Space), 성능 예측기(Performance Estimator)와 함께 NAS의 3대 구성요소 중 하나 – 무작위 탐색, 진화 알고리즘, 강화학습, 베이지안 최적화, 그리디 탐색 등
ㅁ NAS 메타러닝 주요 기법 ㅇ 정의: – Search Space는 신경망 구조 탐색에서 가능한 모든 네트워크 아키텍처 후보들의 집합을 의미하며, NAS의 탐색 범위를 결정하는 핵심 요소임. ㅇ 특징: – 탐색 공간의 크기와 구조에 따라 탐색 효율과 최종 모델 성능이 크게 달라짐. – 너무 넓으면 탐색 시간이 급격히 증가하고, 너무 좁으면 최적 구조를 놓칠 가능성이 큼.
ㅁ 파이프라인 및 자동화 ㅇ 정의: 머신러닝 실험 관리 및 메타데이터 저장을 위한 MLOps 도구로, 모델 학습 과정에서 생성되는 파라미터, 메트릭, 로그, 아티팩트 등을 중앙에서 관리하고 시각화할 수 있는 플랫폼. ㅇ 특징: – 클라우드 기반 및 온프레미스 설치 지원 – 다양한 ML 프레임워크(TensorFlow, PyTorch, Scikit-learn 등)와 연동 가능 – 실험 버전 관리, 팀 협업 기능,
ㅁ 파이프라인 및 자동화 1. Seldon Core ㅇ 정의: 쿠버네티스(Kubernetes) 환경에서 머신러닝 모델을 대규모로 배포, 관리, 모니터링할 수 있도록 지원하는 오픈소스 MLOps 프레임워크. ㅇ 특징: – 다중 언어 모델 배포 지원(Python, Java, R 등) – REST/gRPC API 자동 생성 – A/B 테스트, Canary 배포, 롤백 등 전략적 배포 기능 제공 – Prometheus, Grafana 연동을 통한
ㅁ 파이프라인 및 자동화 ㅇ 정의: 머신러닝 모델을 배포 가능하도록 코드, 종속 라이브러리, 환경 설정 등을 하나의 패키지로 묶는 과정. ㅇ 특징: – Docker, Conda, Wheel 등 다양한 패키징 방식 사용 가능 – 재현성(Reproducibility) 확보에 중요 – 환경 차이에 따른 실행 오류를 최소화 ㅇ 적합한 경우: – 모델을 다른 서버나 클라우드 환경에 배포해야 하는 경우
ㅁ 파이프라인 및 자동화 ㅇ 정의: 머신러닝 실험 과정에서 사용된 데이터셋, 하이퍼파라미터, 모델 구조, 성능 지표 등을 체계적으로 기록하고 관리하는 프로세스 또는 도구. ㅇ 특징: – 실험 재현성을 높이고, 팀 내 협업을 용이하게 함. – 다양한 실험 결과를 비교 분석할 수 있음. – MLflow, Weights & Biases(W&B), Neptune.ai 등의 도구가 대표적. – 메타데이터와 아티팩트를 함께
ㅁ 스케줄링/조기종료 ㅇ 정의: 딥러닝 학습 과정에서 각 미니배치 단위로 입력을 정규화하여 학습 속도를 높이고 안정성을 확보하는 기법. ㅇ 특징: – 내부 공변량 변화(Internal Covariate Shift)를 줄여 학습을 안정화. – 학습률을 상대적으로 크게 설정 가능. – 과적합 방지에 일부 기여. – 학습 시와 추론 시 동작 방식이 다름(추론 시에는 이동평균/분산 사용). ㅇ 적합한 경우: –