ㅁ 학습 구조

ㅇ 정의:
메타러닝에서 모델이 새로운 태스크에 빠르게 적응할 수 있도록 초기 파라미터를 학습하는 구조를 의미한다.

ㅇ 특징:
– 다양한 태스크에 대해 공통적으로 잘 작동하는 초기값을 찾음
– 소량의 데이터(few-shot)로도 빠른 학습 가능
– 모델 업데이트 시 기존 지식 손실 최소화

ㅇ 적합한 경우:
– 데이터가 적고 태스크가 자주 바뀌는 환경
– 온라인 학습, 개인화 추천, 로봇 제어 등

ㅇ 시험 함정:
– 단순 전이학습과 혼동하기 쉬움
– 초기값 학습과 파라미터 미세조정 구분 필요

ㅇ 시험 대비 “패턴 보기” 예시:
O: “다양한 태스크에서 빠른 적응을 위해 초기 파라미터를 학습하는 방법이다.”
X: “하나의 태스크에 최적화된 파라미터를 찾는 방법이다.”

================================

1. MAML

ㅇ 정의:
Model-Agnostic Meta-Learning의 약자로, 모델 구조에 구애받지 않고 다양한 태스크에서 빠르게 적응할 수 있는 초기 파라미터를 학습하는 메타러닝 알고리즘이다.

ㅇ 특징:
– 모델 불가지론적 접근 (신경망, 선형모델 등 다양하게 적용 가능)
– 2단계 학습: 메타 학습 단계(초기값 학습)와 태스크별 적응 단계(파라미터 미세조정)
– 미분 가능해야 함

ㅇ 적합한 경우:
– 다양한 도메인과 태스크에 적용해야 하는 경우
– few-shot 학습, 다중 로봇 환경, 개인화 서비스

ㅇ 시험 함정:
– fine-tuning과 혼동
– 메타 학습 단계에서 모든 태스크의 그라디언트를 고려하는 점 누락

ㅇ 시험 대비 “패턴 보기” 예시:
O: “모델 구조와 무관하게 다양한 태스크에서 빠른 학습을 가능하게 하는 메타러닝 기법이다.”
X: “특정 모델 구조에서만 동작하는 메타러닝 기법이다.”

ㅁ 추가 학습 내용

MAML의 수학적 개념에서 Inner loop는 각 태스크별로 모델 파라미터를 빠르게 적응시키는 단계이며, 학습률 α를 사용한다. Outer loop는 여러 태스크의 Inner loop 결과를 종합하여 초기 파라미터를 업데이트하는 단계로, 학습률 β를 사용한다. First-order MAML(FOMAML)은 MAML에서 2차 미분 항을 계산하지 않고 근사하여 연산량을 줄인 방법이며, Reptile은 Inner loop에서 여러 스텝 업데이트 후 초기 파라미터와의 차이를 이용해 단순히 평균화하는 방식으로 메타 업데이트를 수행한다. 메타테스트 단계에서는 학습되지 않은 새로운 태스크에 대해 Inner loop 적응 후 성능(예: 정확도, 손실)을 측정하여 일반화 능력을 평가한다. 실제 구현에서는 2차 미분이나 그래디언트 저장으로 인한 연산량과 메모리 사용량이 크므로, 근사 기법이나 그래디언트 체크포인팅 등을 통해 최적화한다. ‘모델 불가지론적’이라는 특징은 MAML이 특정 모델 구조나 학습 알고리즘에 종속되지 않고, 미분 가능하기만 하면 적용 가능함을 의미한다. 미분 가능성 제약은 그래디언트를 계산할 수 없는 비미분 가능 모델(예: 일부 트리 기반 모델, 규칙 기반 시스템)에는 MAML을 적용할 수 없음을 뜻한다.