ㅁ 학습 구조 1. MetaSGD ㅇ 정의: 메타러닝에서 학습률까지 학습하는 확장된 SGD(Stochastic Gradient Descent) 기반 알고리즘으로, 각 파라미터별로 학습률을 메타 파라미터로 두고 데이터셋에 따라 최적화하는 방법. ㅇ 특징: – 각 파라미터마다 개별 학습률을 학습하여 더 빠른 수렴 가능. – 초기 파라미터와 학습률을 동시에 업데이트. – MAML(Model-Agnostic Meta-Learning)보다 적은 스텝으로 빠른 적응 가능. – 파라미터 수가
ㅁ 학습 구조 ㅇ 정의: 메타러닝에서 사용되는 모델 최적화 기법 중 하나로, 여러 작업(Task)에서 학습한 후 모델 파라미터를 일반화된 초기값으로 조정하여 새로운 작업에 빠르게 적응할 수 있도록 하는 알고리즘. ㅇ 특징: – MAML과 달리 2계 도함수(Second-order derivatives)를 계산하지 않아 계산량이 적음. – 각 작업에서 여러 스텝의 SGD를 수행한 후, 초기 파라미터를 해당 결과 방향으로 이동시킴.
ㅁ 학습 구조 ㅇ 정의: 메타러닝에서 모델이 새로운 태스크에 빠르게 적응할 수 있도록 초기 파라미터를 학습하는 구조를 의미한다. ㅇ 특징: – 다양한 태스크에 대해 공통적으로 잘 작동하는 초기값을 찾음 – 소량의 데이터(few-shot)로도 빠른 학습 가능 – 모델 업데이트 시 기존 지식 손실 최소화 ㅇ 적합한 경우: – 데이터가 적고 태스크가 자주 바뀌는 환경 – 온라인
ㅁ 학습 구조 ㅇ 정의: 주어진 새로운 작업에 대해 소량의 학습 데이터(Few-shot)만으로도 빠르게 적응할 수 있도록 설계된 메타러닝 구조. 기존에 다양한 작업(Task)에서 학습한 경험을 바탕으로 새로운 작업에 필요한 파라미터나 표현을 빠르게 조정함. ㅇ 특징: – 데이터 효율성이 높음: 적은 데이터로도 높은 성능 달성 가능 – 사전 학습된 메타모델이 존재하며, 새로운 작업에 맞게 빠른 Fine-tuning 수행
ㅁ 자동화 기법 ㅇ 정의: 특정 이벤트(데이터 도착, 상태 변화, 외부 신호 등)가 발생했을 때 이를 감지하여 자동으로 작업(Task)을 실행하는 방식. ㅇ 특징: – 사전에 정의된 이벤트 조건에 따라 즉시 작업이 실행됨 – 폴링(polling) 방식 대비 리소스 절약 가능 – 이벤트 소스와 처리 로직 간 결합도가 높아질 수 있음 – 실시간 처리와 반응성이 중요한 환경에서
ㅁ 자동화 기법 ㅇ 정의: 클라우드 환경 또는 분산 시스템에서 워크로드 변화에 따라 컴퓨팅 자원(서버 인스턴스, 컨테이너 등)의 수를 자동으로 증감시키는 기술. ㅇ 특징: – 사전에 정의한 정책(CPU 사용률, 메모리 사용률, 요청 수 등)에 따라 자동으로 동작. – 수평 확장(scale-out)과 수평 축소(scale-in) 모두 지원. – 클라우드 서비스(AWS Auto Scaling, Azure VM Scale Sets 등)에서 기본
ㅁ 자동화 기법 ㅇ 정의: 시스템이 외부 개입 없이 스스로 환경 변화나 성능 저하를 감지하고, 최적의 상태로 조정하는 기능을 의미함. ㅇ 특징: – 실시간 모니터링과 피드백 루프를 통해 파라미터를 자동 조정 – 머신러닝 기반 예측 모델을 활용하여 사전 대응 가능 – 인적 개입 최소화로 운영 효율성 향상 ㅇ 적합한 경우: – 데이터 처리량이 변동이 심한
ㅁ 자동화 기법 ㅇ 정의: – 시스템이나 서비스에서 장애나 오류가 발생했을 때, 사람이 개입하지 않아도 자동으로 문제를 감지하고 복구하는 기능 또는 기법. – 주로 모니터링, 진단, 복구 절차가 통합된 자동화 운영 환경에서 구현됨. ㅇ 특징: – 실시간 상태 모니터링 및 이상 징후 감지. – 사전 정의된 복구 시나리오 또는 AI 기반 의사결정으로 문제 해결. –
ㅁ 분산 전략 ㅇ 정의: – Homomorphic Encryption(동형암호)은 암호화된 상태에서 데이터 연산이 가능하도록 하는 암호 기술로, 복호화 없이도 연산 결과를 얻을 수 있음. ㅇ 특징: – 데이터 프라이버시를 유지하면서도 연산 가능. – 연산 과정에서 원본 데이터가 노출되지 않음. – 완전동형암호(FHE), 부분동형암호(PHE) 등으로 구분. – 연산 속도가 일반 연산 대비 매우 느리고, 계산 자원이 많이 소모됨.
ㅁ 분산 전략 ㅇ 정의: 여러 참여자가 하나의 모델을 나누어 학습하는 방식으로, 각 참여자는 모델의 일부 계층만 학습하고 나머지는 다른 참여자가 학습하여 전체 모델을 완성하는 분산 학습 기법. ㅇ 특징: – 데이터는 로컬에 두고 중간 계층의 출력(activation)만 공유. – 모델 구조가 물리적으로 분리되어 있어 데이터 프라이버시 강화. – 통신량은 중간 출력과 역전파 그라디언트만 전송. –