[월:] 2025년 08월

ㅁ 대체 모델 및 접근법 1. Spiking Neural Networks ㅇ 정의: – 생물학적 뉴런의 발화(spike) 메커니즘을 모사하여 시간에 따른 이산 이벤트로 정보를 처리하는 신경망. ㅇ 특징: – 뉴런이 특정 임계값에 도달할 때만 신호를 발화하여 에너지 효율성이 높음. – 시간 정보(temporal dynamics)를 자연스럽게 표현 가능. – 하드웨어 구현 시 뉴로모픽 칩과 결합하여 초저전력 연산 가능. ㅇ

ㅁ 인프라 및 자동화 1. Kubernetes Operators for ML ㅇ 정의: – 머신러닝 워크로드를 Kubernetes 환경에서 자동 배포, 확장, 관리하기 위해 Custom Resource Definition(CRD)과 Controller를 활용하는 운영 패턴. ㅇ 특징: – ML 파이프라인 구성 요소(데이터 처리, 학습, 배포)를 쿠버네티스 네이티브 방식으로 관리. – 선언형(Declarative) 설정으로 재현성과 일관성 보장. – Auto-healing, 롤링 업데이트, 자원 최적화 가능.

ㅁ 성능 모니터링 1. Shadow Deployment ㅇ 정의: 운영 환경에서 새로운 버전을 실제 사용자 요청과 동일하게 처리하되, 결과는 사용자에게 노출하지 않고 내부적으로만 검증하는 배포 방식. ㅇ 특징: 실사용 트래픽 기반 검증 가능, 사용자 영향 없음, 운영 환경 부하 증가 가능성. ㅇ 적합한 경우: 대규모 트래픽 환경에서 신버전 안정성 검증, 위험 회피가 중요한 금융·의료 서비스. ㅇ

ㅁ 하이퍼파라미터 탐색 1. Population Based Training (PBT) ㅇ 정의: 진화 알고리즘과 온라인 학습을 결합하여, 모델 학습 중에 하이퍼파라미터와 가중치를 동시에 최적화하는 방법. ㅇ 특징: – 개별 모델(population)을 병렬로 학습시키면서 주기적으로 성능이 낮은 모델을 성능이 좋은 모델로 교체 및 하이퍼파라미터 변이 적용. – 탐색과 활용(exploration & exploitation)을 동시에 수행. – GPU 클러스터 환경에서 효율적으로 동작.

ㅁ 최적화 및 스케줄링 1. Lookahead Optimizer ㅇ 정의: – 기본 옵티마이저가 여러 스텝 동안 파라미터를 업데이트한 후, 이를 기반으로 ‘전진(lookahead)’하여 파라미터를 보정하는 메타 옵티마이저. ㅇ 특징: – 내부에 다른 옵티마이저(Adam, SGD 등)를 포함하여 안정성과 수렴 속도를 동시에 확보. – 학습 곡선의 진동을 줄이고 일반화 성능을 향상. ㅇ 적합한 경우: – 학습이 불안정하거나, 로컬 미니마에

ㅁ 그래프 신경망 최적화 ㅇ 정의: 그래프 구조 데이터를 효율적으로 학습하기 위해 모델 구조, 학습 전략, 노드/엣지 표현 방식을 개선하는 기법들의 집합. ㅇ 특징: – 그래프 데이터의 불규칙성과 희소성을 고려한 연산 최적화 필요. – 메모리 사용량과 연산 복잡도 절감이 주요 목표. – 샘플링, 집계, 위치 인코딩 등 다양한 접근 방식 존재. ㅇ 적합한 경우: –

ㅁ 설명 가능 AI(XAI) ㅇ 정의: 인공지능 모델의 예측 결과를 사람이 이해할 수 있도록 설명하는 기술 및 방법론. ㅇ 특징: 복잡한 블랙박스 모델의 의사결정 과정을 투명하게 하여 신뢰성, 책임성을 높임. ㅇ 적합한 경우: 금융, 의료, 법률 등 설명 책임이 중요한 분야. ㅇ 시험 함정: XAI는 항상 모델 성능을 높이는 것이 목적이 아님. 설명력과 성능 간

ㅁ 정규화 및 규제 1. Layer Normalization ㅇ 정의: – 각 샘플의 특성(feature) 차원에 대해 평균과 분산을 계산하여 정규화하는 기법. – 배치 크기에 의존하지 않고 동작. ㅇ 특징: – RNN, Transformer와 같이 시퀀스 길이나 배치 크기가 변하는 모델에서 안정적. – 배치 정규화(Batch Norm) 대비 작은 배치에서도 효과적. ㅇ 적합한 경우: – 배치 크기가 매우 작거나

ㅁ 학습 안정화 ㅇ 정의: – 학습 과정에서 손실 값 폭주, 기울기 폭발/소실, 과적합 등을 방지하여 모델의 수렴 속도와 성능을 안정적으로 유지하는 기법들의 총칭. ㅇ 특징: – 학습률, 기울기, 손실 함수의 변동성을 제어. – 초기 학습 안정성과 장기적인 일반화 성능을 모두 고려. ㅇ 적합한 경우: – 대규모 데이터셋, 심층 신경망, 불안정한 학습 환경. ㅇ 시험

ㅁ 생성 모델 1. Classifier-Free Guidance ㅇ 정의: 조건부 생성 모델에서 별도의 분류기 없이, 조건부와 무조건부 생성 결과를 조합하여 원하는 조건을 강화하는 기법. ㅇ 특징: – 추가 분류기 학습 불필요. – 조건 강도를 가중치로 조절 가능. – 텍스트-이미지 생성에서 자주 사용. ㅇ 적합한 경우: – 조건 데이터가 충분하지 않거나 분류기 학습이 부담스러운 경우. – 조건