ㅁ 최신 기법

1. Few-shot Learning

ㅇ 정의:
소량의 학습 데이터(수 개~수십 개의 샘플)만으로도 새로운 태스크를 수행할 수 있도록 사전 학습된 모델을 활용하는 학습 방식. 대규모 데이터로 사전 학습(pre-training) 후, 적은 예시로 미세 조정(fine-tuning)하거나 프롬프트 기반으로 수행.

ㅇ 특징:
– 데이터 수집 비용 절감
– 사전 학습 모델의 일반화 능력 활용
– 프롬프트 엔지니어링과 결합 시 성능 향상 가능
– Zero-shot, One-shot과 대비되는 개념

ㅇ 적합한 경우:
– 희귀 언어, 전문 도메인 등 데이터 확보가 어려운 경우
– 빠른 프로토타이핑이 필요한 경우

ㅇ 시험 함정:
– Few-shot은 반드시 fine-tuning을 포함한다고 오해 → 프롬프트 기반 접근도 포함됨
– 데이터 수가 ‘정확히 3~5개’만 해당된다고 착각 → 수 개~수십 개 범위 모두 가능
– Zero-shot과 혼동

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “사전 학습된 거대 언어 모델에 10개의 예시만 제공하여 새로운 태스크를 수행” → Few-shot
– X: “대규모 데이터셋으로 처음부터 학습” → Few-shot 아님
– O: “프롬프트에 5개의 예시를 포함하여 답변 생성” → Few-shot
– X: “예시 없이 질문만 던져 답변 생성” → Zero-shot

ㅁ 추가 학습 내용

Few-shot Learning은 메타러닝과 자주 연계되며, 대표적인 접근법으로 Matching Networks, Prototypical Networks, MAML(Model-Agnostic Meta-Learning)이 있다.
Few-shot, One-shot, Zero-shot의 차이를 구분할 때는 학습에 사용되는 데이터 수와 적용 예시를 명확히 기억해야 한다.
프롬프트 기반 Few-shot은 fine-tuning 없이 가능한 경우가 많으며, 특히 GPT 계열 모델에서 Chain-of-Thought(CoT)와 결합하면 성능이 향상되는 사례가 있다.
시험에서는 적은 데이터로도 높은 성능을 내는 이유를 묻는 경우가 많으며, 이때 사전 학습(pre-training)과 전이 학습(transfer learning) 개념을 함께 이해하고 연결 지어 학습하는 것이 중요하다.