ㅁ 성능 모니터링 1. Continuous Profiling ㅇ 정의: 애플리케이션이 운영되는 동안 CPU, 메모리, I/O, 네트워크 사용량 등 성능 지표를 지속적으로 수집하고 분석하여 병목 지점을 실시간 혹은 주기적으로 식별하는 기법. ㅇ 특징: – 실시간 또는 준실시간으로 성능 데이터를 수집 – 코드 변경 없이 운영 환경에서 동작 가능 – 장기적인 성능 추세 분석 가능 – 오버헤드 최소화를

ㅁ 성능 모니터링 ㅇ 정의: ㅇ 특징: ㅇ 적합한 경우: ㅇ 시험 함정: ㅇ 시험 대비 “패턴 보기” 예시: ================================ 1. Canary Release ㅇ 정의: 신규 기능이나 업데이트를 전체 사용자에게 배포하기 전에 소수의 사용자 그룹(일부 서버나 지역)에 먼저 배포하여 성능과 안정성을 검증하는 점진적 배포 방식. ㅇ 특징: – 위험 최소화: 문제 발생 시 롤백 범위가

ㅁ 하이퍼파라미터 탐색 ㅇ 정의: 인공신경망의 구조(레이어 수, 연결 방식, 활성화 함수 등)를 자동으로 탐색하여 최적의 모델 아키텍처를 찾는 방법론. ㅇ 특징: – 모델 구조와 하이퍼파라미터를 동시에 최적화 가능 – 탐색 공간이 매우 크고 연산 비용이 높음 – 강화학습, 진화 알고리즘, 그래디언트 기반 등 다양한 탐색 전략 사용 ㅇ 적합한 경우: – 수작업 설계가 어려운

ㅁ 하이퍼파라미터 탐색 ㅇ 정의: 모델의 하이퍼파라미터를 효율적으로 찾기 위해 다른 학습 경험을 활용하는 방법으로, 이전 학습 작업에서 얻은 메타 지식을 기반으로 새로운 작업의 최적 하이퍼파라미터를 빠르게 예측하거나 탐색하는 기법. ㅇ 특징: – 과거 유사 데이터셋, 모델 구조, 성능 결과를 메타 데이터로 저장 및 분석. – 새로운 작업에서 초기 탐색 공간을 줄여 탐색 속도 향상.

ㅁ 하이퍼파라미터 탐색 ㅇ 정의: 모델 학습 과정에서 하이퍼파라미터를 고정하지 않고, 여러 개의 모델 집단(population)을 병렬로 학습시키면서 주기적으로 성능이 좋은 모델의 파라미터와 하이퍼파라미터를 다른 모델에 복제하고 변이(mutation)를 적용하여 점진적으로 최적값을 탐색하는 방법. ㅇ 특징: – 초기 하이퍼파라미터를 무작위로 설정한 여러 개의 모델을 동시에 학습. – 일정 주기마다 성능을 평가해 상위 성능 모델의 파라미터와 하이퍼파라미터를 하위

ㅁ 최적화 및 스케줄링 ㅇ 정의: 확률적 경사하강법(SGD) 학습 과정에서 서로 다른 시점의 가중치를 평균내어 일반화 성능을 향상시키는 기법. ㅇ 특징: – 학습 후반부 여러 에폭에서의 모델 파라미터를 주기적으로 저장하고 평균화. – Sharp minima(급격한 최소점) 대신 flat minima(평평한 최소점)에 도달하도록 유도. – 추가 학습 없이 기존 학습 과정에 병행 가능. ㅇ 적합한 경우: – 과적합

ㅁ 최적화 및 스케줄링 ㅇ 정의: – Warm Restarts는 학습률 스케줄링 기법 중 하나로, 학습 도중 학습률을 주기적으로 초기화하여 마치 새로운 학습을 시작하는 것처럼 만드는 방법이다. 주로 Cosine Annealing과 결합하여 사용되며, 각 주기마다 학습률을 높였다가 점진적으로 낮춘다. ㅇ 특징: – 초기 학습률로 재시작하되, 이전 학습 가중치를 그대로 유지한다. – 지역 최소값(Local Minima)에서 탈출하여 더 나은

ㅁ 최적화 및 스케줄링 1. RAdam ㅇ 정의: Rectified Adam의 약자로, Adam 옵티마이저의 학습 초기에 발생하는 분산 추정 편향 문제를 보정하기 위해 제안된 최적화 알고리즘. ㅇ 특징: – Adam의 장점(적응적 학습률, 모멘텀)을 유지하면서 학습 초기에 학습률이 과도하게 커져 불안정해지는 문제를 완화. – 학습 초기에 분산 추정값이 충분히 안정화될 때까지 학습률을 점진적으로 증가시키는 ‘rectification term’ 적용.

ㅁ 최적화 및 스케줄링 ㅇ 정의: – Lookahead Optimizer는 모델 파라미터 업데이트 시, 현재 단계의 변화뿐 아니라 미래의 변화 방향을 예측하여 더 안정적이고 빠른 수렴을 유도하는 최적화 기법이다. – 기존 옵티마이저(Adam, SGD 등)에 래핑하여 사용하며, 내부 옵티마이저의 업데이트 결과를 일정 스텝 동안 관찰 후 평균화하여 적용한다. ㅇ 특징: – 내부 옵티마이저의 단기 변동성을 줄여 안정적인

ㅁ 그래프 신경망 최적화 1. Positional Encoding on Graphs ㅇ 정의: 그래프의 노드에 절대적 또는 상대적 위치 정보를 부여하여 GNN이 구조적 위치를 학습할 수 있도록 하는 기법. 주로 그래프 라플라시안 고유벡터, 랜덤 워크 기반 임베딩 등을 활용. ㅇ 특징: – 노드 간 구조적 구분이 어려운 GNN의 한계를 보완. – Transformer 구조와 결합 시 성능 향상.