ㅁ 세부 이슈

1. Instruction-tuning

ㅇ 정의:
사전 학습된 대규모 언어 모델(LLM)에 대해 사용자의 지시문(Instruction)에 더 잘 반응하도록 추가 학습시키는 기법. 주로 지도학습(Supervised Fine-tuning, SFT) 형태로 지시문-응답 쌍 데이터를 활용.

ㅇ 특징:
– 모델이 일반 텍스트 생성이 아닌, 주어진 명령에 맞춰 응답하도록 특화됨.
– 기존 Pre-training 대비 데이터셋 규모는 작지만, 품질 높은 지시문 데이터가 중요.
– Zero-shot/ Few-shot 성능 향상에 기여.
– ChatGPT 등 대화형 AI 모델에서 핵심 단계로 사용.

ㅇ 적합한 경우:
– 특정 도메인 지시문에 맞춘 응답 품질 향상이 필요할 때.
– 모델이 사용자의 질문 의도를 더 정확히 이해하고 응답해야 할 때.
– Prompt 엔지니어링만으로는 원하는 성능이 나오지 않을 때.

ㅇ 시험 함정:
– Instruction-tuning과 Reinforcement Learning from Human Feedback(RLHF)을 혼동하는 경우.
– Pre-training과 Fine-tuning의 차이를 명확히 구분하지 못하는 경우.
– 단순 데이터 추가 학습과 지시문 기반 학습을 동일시하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
(O) Instruction-tuning은 LLM이 지시문을 이해하고 따르도록 지도학습하는 과정이다.
(X) Instruction-tuning은 RLHF의 다른 이름이다.
(X) Instruction-tuning은 대규모 비지도 학습으로만 수행된다.

ㅁ 추가 학습 내용

Instruction-tuning은 주로 SFT(Supervised Fine-tuning) 단계에서 수행되며, 이후 RLHF로 보완되는 경우가 많다.
데이터 구성은 Instruction, Input, Output 형식을 따르며, 품질 관리를 위해 다양한 지시문 포함, 주제의 균형 유지, 부적절한 응답 제거가 중요하다.
효과 평가 시 HELM, MMLU, BIG-bench 등 표준 벤치마크를 활용하며, 단순 퍼플렉서티(perplexity) 지표만으로는 충분하지 않다.
Instruction-tuning은 모델의 일반화 성능에 영향을 줄 수 있으며, 특정 도메인 지시문을 과도하게 학습하면 다른 도메인 성능이 저하되는 부작용이 발생할 수 있다.