ㅁ 최적화 하이퍼파라미터 튜닝 ㅇ 정의: 하이퍼파라미터 탐색 시 실제 모델 학습 없이, 대리 모델(Surrogate Model)을 사용해 성능을 예측하고 최적값을 찾는 기법. ㅇ 특징: – 실제 모델 대신 경량화된 예측 모델을 사용하여 탐색 속도 향상 – 보통 Gaussian Process, Random Forest, TPE(Tree-structured Parzen Estimator) 등이 활용됨 – Bayesian Optimization에서 핵심 구성 요소로 사용됨 – 연속형,
ㅁ 최적화 하이퍼파라미터 튜닝 ㅇ 정의: – 머신러닝/베이지안 최적화에서 다음 실험할 하이퍼파라미터 조합을 선택하기 위해 사용하는 함수. – 탐색(exploration)과 활용(exploitation) 간 균형을 조절하여 최적값을 효율적으로 찾도록 함. ㅇ 특징: – 주로 확률적 모델(예: Gaussian Process)의 예측 분포를 기반으로 계산. – 대표적으로 Expected Improvement(EI), Probability of Improvement(PI), Upper Confidence Bound(UCB) 등이 있음. – 계산량이 적고, 기존
ㅁ RLOps 알고리즘/최적화 ㅇ 정의: 강화학습에서 Q-러닝 계열 알고리즘의 학습 안정성을 높이기 위해, 학습 중인 네트워크와 별도로 일정 주기마다만 갱신되는 고정된 네트워크를 두는 기법. ㅇ 특징: – 메인 네트워크의 가중치 변동에 따른 Q값 진동을 완화. – 일정 스텝마다 메인 네트워크의 가중치를 복사하여 타깃 네트워크를 업데이트. – DQN(Deep Q-Network)에서 대표적으로 사용. ㅇ 적합한 경우: – 환경의
ㅁ RLOps 알고리즘/최적화 ㅇ 정의: 강화학습에서 에이전트가 환경과 상호작용하며 수집한 경험(상태, 행동, 보상, 다음 상태)을 저장하는 메모리 버퍼로, 학습 시 무작위로 샘플링하여 데이터 상관성을 줄이고 학습 안정성을 높이는 기법. ㅇ 특징: – 과거 경험을 재사용하여 데이터 효율성을 향상. – 샘플링 시 시계열 상관성을 줄여 학습의 분산과 안정성 개선. – 메모리 크기가 제한되어 오래된 경험은 삭제(FIFO
ㅁ RLOps 알고리즘/최적화 ㅇ 정의: 강화학습에서 정책 업데이트 시, 기존 정책과 새로운 정책 간의 변화 폭을 제한하여 학습의 안정성을 높이는 기법. 주로 Proximal Policy Optimization(PPO)에서 사용되며, 확률비율(probability ratio)을 일정 범위 내로 클리핑하여 급격한 정책 변화로 인한 성능 저하를 방지한다. ㅇ 특징: – 정책의 변화량을 제한하여 학습의 폭주(divergence)를 방지. – 안정적인 수렴을 유도하나, 과도한 제한은 학습
ㅁ RLOps 알고리즘/최적화 ㅇ 정의: Proximal Policy Optimization(PPO)는 정책 경사 기반 강화학습 알고리즘으로, 기존의 Trust Region Policy Optimization(TRPO)의 복잡한 제약 조건을 단순화하여 안정적이고 효율적인 정책 업데이트를 가능하게 하는 방법. ㅇ 특징: – 정책 업데이트 시 클리핑(clipping) 기법을 사용하여 정책 변화 폭을 제한함. – 샘플 효율성과 안정성을 동시에 확보. – 구현이 비교적 간단하고 다양한 환경에서 좋은
ㅁ NAS 메타러닝 주요 기법 ㅇ 정의: – Progressive NAS는 신경망 구조 탐색 시 작은 네트워크에서 시작하여 점진적으로 더 큰 네트워크로 확장해 가며 탐색 공간을 줄여 효율성을 높이는 방법. ㅇ 특징: – 초기에는 연산량이 적은 작은 모델을 탐색하여 빠르게 후보를 거르고, 이후 점차 깊이와 폭을 늘려 탐색. – 탐색 단계별로 성능 예측 정확도가 높아져 불필요한
ㅁ NAS 메타러닝 주요 기법 ㅇ 정의: – NAS(Neural Architecture Search) 과정에서 모델의 정확도뿐 아니라 하드웨어 제약(메모리, 연산량, 지연시간 등)을 동시에 고려하여 최적의 신경망 구조를 탐색하는 기법. ㅇ 특징: – 하드웨어별 성능 차이를 반영하여 GPU, CPU, 모바일 디바이스 등 환경에 맞춘 모델 설계 가능. – FLOPs, latency, 메모리 사용량 등 다중 목적 최적화 수행. –
ㅁ NAS 메타러닝 주요 기법 ㅇ 정의: – One-Shot NAS는 모든 후보 신경망 구조를 개별적으로 학습시키는 대신, 하나의 거대 네트워크(Supernet)를 학습시킨 후 그 하위 서브네트워크의 성능을 추정하여 최적 구조를 찾는 NAS 기법. ㅇ 특징: – Supernet을 한 번만 학습하면 다양한 아키텍처의 가중치를 공유(weight sharing)하여 평가 가능 – 검색 속도가 빠르고 자원 소모가 적음 – 성능
ㅁ NAS 메타러닝 주요 기법 ㅇ 정의: Neural Architecture Search(NAS)에서 서로 다른 아키텍처 후보들이 네트워크 가중치를 공유하여 학습 시간을 단축하는 기법. 주로 하나의 슈퍼넷(supernet)을 학습하고, 각 후보 모델이 해당 가중치를 재사용함. ㅇ 특징: – 모든 후보 네트워크를 개별적으로 학습하는 대신, 공통 가중치를 공유하여 연산량과 시간을 절감. – 슈퍼넷 구조 내에서 다양한 서브넷을 샘플링하여 평가. –