ㅁ 최신 기법

1. Prompt Tuning

ㅇ 정의:
사전 학습된 대규모 언어 모델(LLM)의 파라미터를 고정하고, 입력 프롬프트에 최적화된 벡터를 학습하여 원하는 태스크 성능을 높이는 기법.

ㅇ 특징:
– 모델 전체를 재학습하지 않고 일부 프롬프트 임베딩만 학습
– 메모리와 연산량 절감
– 태스크별 맞춤 프롬프트 생성 가능

ㅇ 적합한 경우:
– 리소스가 제한된 환경에서 특정 태스크에 최적화할 때
– 다수의 서로 다른 태스크를 빠르게 적용해야 할 때

ㅇ 시험 함정:
– 프롬프트 튜닝은 모델 파라미터 전체를 업데이트하는 미세조정(fine-tuning)과 혼동하기 쉬움
– 단순한 프롬프트 엔지니어링과 구분 필요

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Prompt Tuning은 LLM의 본체 파라미터를 고정한 채, 입력 임베딩을 학습한다.”
X: “Prompt Tuning은 모델 전체 파라미터를 모두 학습하는 방법이다.”

================================

2. Instruction Tuning

ㅇ 정의:
LLM이 다양한 지시문(instruction)에 따라 잘 응답하도록, 다수의 지시문-응답 쌍 데이터로 미세조정하는 기법.

ㅇ 특징:
– 모델이 자연어 지시를 이해하고 따르는 능력 향상
– Zero-shot 성능 개선
– 다중 태스크 학습 효과

ㅇ 적합한 경우:
– 범용 대화형 AI 개발
– 다양한 사용자 요청에 대응해야 하는 서비스

ㅇ 시험 함정:
– Instruction Tuning은 프롬프트 튜닝과 달리 모델 파라미터 전체를 조정하는 경우가 많음
– 단일 태스크 데이터로 학습하는 fine-tuning과 혼동 주의

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Instruction Tuning은 다양한 지시문-응답 데이터로 모델을 학습시켜 지시 수행 능력을 높인다.”
X: “Instruction Tuning은 프롬프트 벡터만 조정하는 경량 학습 방법이다.”

================================

3. Retrieval-Augmented Generation (RAG)

ㅇ 정의:
생성형 언어 모델에 외부 지식 검색 모듈을 결합하여, 검색된 문서를 바탕으로 응답을 생성하는 기법.

ㅇ 특징:
– 최신 정보나 학습 데이터에 없는 지식을 활용 가능
– 검색과 생성의 결합
– 지식 기반 QA에 강점

ㅇ 적합한 경우:
– 최신 뉴스, 법률, 기술 문서 기반 답변
– 기업 내부 문서 기반 챗봇

ㅇ 시험 함정:
– RAG는 모델 자체가 모든 지식을 내장하는 것이 아님
– 검색 단계 없이 단순 생성하는 것과 혼동 금지

ㅇ 시험 대비 “패턴 보기” 예시:
O: “RAG는 검색된 관련 문서를 입력에 포함시켜 생성 모델이 답변하도록 한다.”
X: “RAG는 외부 검색 없이 모델 내부 지식만으로 답변한다.”

================================

4. Few-shot Learning

ㅇ 정의:
사전 학습된 모델이 새로운 태스크를 수행할 때, 소수의 예시만으로도 일반화하는 학습 방식.

ㅇ 특징:
– 태스크별 대량 데이터 불필요
– 프롬프트에 예시 포함하여 성능 향상
– Zero-shot과 Many-shot의 중간 형태

ㅇ 적합한 경우:
– 데이터 수집이 어려운 특수 도메인
– 신속한 프로토타입 제작

ㅇ 시험 함정:
– Few-shot은 미세조정 없이 예시를 프롬프트에 포함하는 경우가 많음
– Few-shot과 Low-resource fine-tuning 혼동 주의

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Few-shot Learning은 프롬프트에 몇 개의 예시를 포함시켜 모델이 새로운 태스크를 수행하게 한다.”
X: “Few-shot Learning은 반드시 모델 파라미터를 재학습해야 한다.”

ㅁ 추가 학습 내용

학습 정리

1. Prompt Tuning vs Instruction Tuning 비교
– Prompt Tuning: 사전 학습된 모델의 파라미터는 고정, 입력 프롬프트에 해당하는 소수의 파라미터만 학습. 데이터 요구량 적음. 적용 속도 빠름. 특정 태스크에 최적화.
– Instruction Tuning: 모델 전체 또는 일부 파라미터를 조정. 다양한 태스크에 대응 가능. 데이터 요구량 많음. 적용 속도 느림. 자연어 지시문 기반 성능 향상.

비교 항목
파라미터 조정 범위: Prompt Tuning(일부, 프롬프트 관련) / Instruction Tuning(전체 또는 대규모)
데이터 요구량: Prompt Tuning(적음) / Instruction Tuning(많음)
적용 속도: Prompt Tuning(빠름) / Instruction Tuning(느림)
적용 범위: Prompt Tuning(특정 태스크) / Instruction Tuning(다중 태스크)

2. RAG(Retrieval-Augmented Generation) 핵심
– 검색 모듈:
• 벡터 검색(Vector Search): 임베딩 기반, 의미적 유사도 검색에 강점
• BM25: 전통적 키워드 기반, 단어 빈도와 역문서 빈도 활용
– 검색 결과 주입 방식:
• Concatenation: 검색된 문서를 입력 프롬프트에 그대로 이어 붙임
• Context Window 제한: 모델 입력 길이 제한으로 인해 일부만 포함 가능

3. Few-shot Learning과 In-context Learning
– Few-shot Learning: 프롬프트에 몇 개의 예시를 포함해 모델이 패턴을 학습하도록 함
– In-context Learning: 입력 컨텍스트 내 예시를 통해 모델이 즉시 태스크 수행
– 두 용어는 거의 동일하게 사용됨

4. Chain-of-Thought(CoT)
– 단계적 사고 과정을 프롬프트에 포함시켜 모델이 중간 추론 과정을 거치도록 유도
– Few-shot 또는 In-context Learning과 결합 시 성능 향상 사례 다수

5. Zero-shot, One-shot, Fine-tuning과의 차이
– Zero-shot: 예시 없이 지시문만으로 태스크 수행
– One-shot: 예시 1개 포함
– Few-shot: 예시 여러 개 포함
– Fine-tuning: 모델 파라미터를 재학습하여 특정 태스크에 맞춤화

시험 대비 체크리스트

[ ] Prompt Tuning과 Instruction Tuning의 정의와 차이점(파라미터 범위, 데이터 요구량, 속도, 적용 범위)
[ ] RAG 구조와 검색 모듈의 종류(벡터 검색 vs BM25) 특징
[ ] 검색 결과를 생성 모델에 주입하는 방법(Concatenation, Context Window 제한)
[ ] Few-shot Learning과 In-context Learning의 유사점 및 차이
[ ] Chain-of-Thought(CoT) 개념과 Few-shot/In-context Learning과의 결합 효과
[ ] Zero-shot, One-shot, Few-shot, Fine-tuning의 정의와 차이점