ㅁ 프롬프트 설계

1. Few-shot

ㅇ 정의:
모델에 소량(보통 2~5개)의 예시 입력과 출력 쌍을 함께 제공하여, 모델이 해당 패턴을 학습하고 유사한 형태로 응답하도록 유도하는 프롬프트 기법.

ㅇ 특징:
– 예시를 통해 맥락과 형식을 전달하므로 Zero-shot 대비 정확도가 향상됨.
– 예시 품질과 다양성에 따라 성능 편차가 크며, 예시 수가 많아지면 토큰 소모가 증가함.
– 훈련 데이터에 없는 새로운 태스크에도 적용 가능.

ㅇ 적합한 경우:
– 모델이 특정 형식, 문체, 출력 구조를 따라야 할 때.
– 레이블링 기준이나 분류 규칙이 명확하지 않아 예시로 규칙을 전달하는 경우.
– 데이터셋이 크지 않거나 실시간 태스크에 빠른 적용이 필요한 경우.

ㅇ 시험 함정:
– Few-shot은 ‘소량’의 예시를 의미하므로, 예시 없이 맥락만 주는 Zero-shot과 혼동하기 쉬움.
– 예시가 많아지면 Few-shot이 아니라 Many-shot으로 분류될 수 있음.
– 예시가 모델의 답변 편향을 유발할 수 있음.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “모델에 3개의 입력-출력 예시를 제공하여 새로운 입력에 대한 출력을 유도하는 기법은 Few-shot이다.”
– X: “Few-shot은 예시 없이 모델이 스스로 답변하도록 하는 방식이다.”

ㅁ 추가 학습 내용

Few-shot 프롬프트에서는 예시 선택이 성능에 큰 영향을 미치므로, 대표성 있는 예시를 선택하는 것이 중요하다. 이는 ‘in-context learning’ 개념과 관련이 있으며, Few-shot은 이를 구현하는 한 방법이다. 시험에서는 Few-shot, One-shot, Zero-shot의 비교가 자주 출제되므로 예시 개수와 활용 목적의 차이를 명확히 구분해야 한다. 또한 예시 순서가 모델 응답에 영향을 미치는 ‘order effect’와, 예시와 실제 입력 간 유사도가 높을수록 성능이 향상되는 경향도 이해해야 한다.