ㅁ 인프라 및 자동화 1. Kubernetes Operators ㅇ 정의: – Kubernetes API를 확장하여 특정 애플리케이션이나 서비스의 배포, 관리, 운영을 자동화하는 컨트롤러 패턴. – Custom Resource Definition(CRD)을 활용하여 도메인 특화 리소스를 정의하고, 해당 리소스의 상태를 관리. ㅇ 특징: – 선언적 구성(Declarative Configuration) 기반 자동화. – 애플리케이션 수명주기(Lifecycle) 관리 가능. – 복잡한 운영 로직을 코드로 구현하여 반복

ㅁ 고급 전략 1. Shadow Deployment ㅇ 정의: – 새로운 버전의 애플리케이션을 실제 사용자 요청과 동일한 트래픽에 노출시키되, 응답은 실제 서비스에 반영하지 않고 내부적으로만 처리하여 성능과 안정성을 검증하는 배포 전략. ㅇ 특징: – 실서비스와 동일한 환경에서 테스트 가능 – 사용자 경험에 영향 없음 – 운영 환경과 테스트 환경 간 차이를 최소화 ㅇ 적합한 경우: –

ㅁ 첨단 방법 1. Population Based Training ㅇ 정의: – 하이퍼파라미터 탐색과 모델 학습을 동시에 진행하며, 주기적으로 성능이 낮은 개체를 성능이 좋은 개체의 파라미터와 하이퍼파라미터로 교체/변이시키는 방법. ㅇ 특징: – 탐색과 학습 병행, 진화 알고리즘 기반. – 학습 도중 하이퍼파라미터를 동적으로 변경. – 병렬 처리에 적합. ㅇ 적합한 경우: – 대규모 분산 환경에서의 모델 최적화.

ㅁ 최신 1. Lookahead Optimizer ㅇ 정의: – 기존 옵티마이저(SGD, Adam 등)의 파라미터 업데이트를 보조하여 학습 안정성과 일반화를 향상시키는 메타 옵티마이저 기법. – 빠르게 움직이는 ‘fast weights’와 느리게 움직이는 ‘slow weights’를 병행 업데이트. ㅇ 특징: – fast weights는 기존 옵티마이저로 여러 스텝 업데이트. – slow weights는 fast weights를 일정 주기마다 보간하여 업데이트. – 학습 진동

ㅁ 최신 모델 1. GraphSAGE ㅇ 정의: – Graph Sample and Aggregate의 약자로, 이웃 노드의 정보를 샘플링하고 집계하여 노드 임베딩을 생성하는 그래프 신경망 모델. ㅇ 특징: – 대규모 그래프 처리에 효율적. – 이웃 샘플링으로 메모리 사용량 절감. – Aggregator로 mean, LSTM, max-pooling 등을 사용 가능. ㅇ 적합한 경우: – 노드 수가 매우 많아 전체 이웃

ㅁ 심층 기법 1. Counterfactual Explanations ㅇ 정의: – 모델 예측 결과를 바꾸기 위해 입력 변수 값을 최소한으로 변경한 가상의 사례를 제시하여, 왜 해당 예측이 나왔는지 설명하는 기법. ㅇ 특징: – 사용자가 원하는 결과를 얻기 위해 어떤 입력을 바꿔야 하는지 직관적으로 제시. – 개별 예측 단위에서 설명이 가능하며, 모델의 내부 구조를 몰라도 적용 가능. ㅇ

ㅁ 고급 방법 1. Layer Normalization ㅇ 정의: – 입력 데이터의 각 샘플별로 feature 차원에 대해 평균과 분산을 계산하여 정규화하는 기법. ㅇ 특징: – 배치 크기에 의존하지 않음. – RNN, Transformer 등 시퀀스 모델에 효과적. – Batch Normalization 대비 작은 배치에서도 안정적. ㅇ 적합한 경우: – 배치 크기가 매우 작거나 1인 경우. – 시퀀스 처리

ㅁ 기법 1. Gradient Clipping ㅇ 정의: – 신경망 학습 시 기울기 폭주(Gradient Explosion)를 방지하기 위해 기울기의 크기를 특정 임계값으로 제한하는 기법. ㅇ 특징: – 역전파 시 계산된 기울기의 L2 노름이 임계값을 초과하면 비율에 맞춰 스케일링. – RNN, LSTM 등 장기 의존성 문제가 있는 네트워크에서 자주 사용. ㅇ 적합한 경우: – 깊은 네트워크나 순환 신경망에서

ㅁ 고급 기법 1. Classifier-Free Guidance ㅇ 정의: – 생성 모델에서 별도의 분류기 없이 조건부 생성 품질을 높이는 기법으로, 조건부 확률과 무조건 확률을 혼합하여 샘플의 방향성을 조정함. ㅇ 특징: – 조건부와 무조건부 모델 출력을 선형 보간 또는 가중 조합하여 생성물의 조건 충실도를 조절. – 추가 분류기 학습이 필요 없어 효율적. – Guidance scale 하이퍼파라미터로 조건

ㅁ 효과적 처리 ㅇ 정의: 미니배치 내 시퀀스 길이가 다를 때 불필요한 패딩 연산을 줄이고 연산 효율을 높이는 기법들을 총칭함. ㅇ 특징: – 시퀀스 데이터 처리 시 GPU 연산 낭비를 방지함 – 모델 학습 속도와 메모리 사용 효율을 향상시킴 ㅇ 적합한 경우: – 자연어 처리, 음성 인식 등 길이가 다양한 시퀀스 데이터 처리 시 ㅇ