ㅁ 대규모 언어모델 세부

1. Instruction-tuning

ㅇ 정의:
– 사전 학습된 대규모 언어모델(LLM)에 대해 특정 작업 지시문에 더 잘 반응하도록 추가로 미세조정하는 기법.
– 주로 대화형 AI, 질의응답, 요약 등 다양한 태스크에 대해 사용자가 원하는 방식으로 답변하도록 학습.

ㅇ 특징:
– 대규모의 지시문-응답 쌍 데이터셋을 사용.
– zero-shot, few-shot 성능 향상.
– 모델이 일반적인 지시문 패턴을 이해하고 따르게 함.

ㅇ 적합한 경우:
– 범용 대화형 AI 개발.
– 다양한 태스크에 일관된 답변 스타일 적용.

ㅇ 시험 함정:
– Instruction-tuning은 사전학습(pretraining)과 동일하다고 혼동하기 쉬움 (X).
– 특정 태스크 전용 fine-tuning과는 달리, 다양한 지시문 대응을 목표로 함 (O).

ㅇ 시험 대비 “패턴 보기” 예시:
– “Instruction-tuning은 LLM이 지시문에 따라 응답하도록 미세조정하는 과정이다.” (O)
– “Instruction-tuning은 모델의 언어 이해 능력을 처음부터 학습시키는 것이다.” (X)

================================

2. Alignment

ㅇ 정의:
– 모델의 출력이 인간의 의도, 가치, 윤리적 기준에 맞도록 조정하는 과정.
– 모델이 유해하거나 편향된 답변을 하지 않도록 설계.

ㅇ 특징:
– 안전성(safety)과 유용성(usefulness) 균형.
– 사회적, 문화적 맥락을 반영.
– RLHF, 안전 필터링, 프롬프트 엔지니어링 등 다양한 방법 포함.

ㅇ 적합한 경우:
– 상용 서비스 배포 전 필수.
– 규제 준수 및 브랜드 신뢰성 확보 필요 시.

ㅇ 시험 함정:
– Alignment는 단순한 정확도 향상 기법이 아님 (X).
– 출력의 윤리적/사회적 적합성을 보장하는 과정임 (O).

ㅇ 시험 대비 “패턴 보기” 예시:
– “Alignment는 모델의 출력이 인간 가치에 부합하도록 조정하는 과정이다.” (O)
– “Alignment는 모델의 연산 속도를 높이는 최적화 과정이다.” (X)

================================

3. RLHF

ㅇ 정의:
– Reinforcement Learning from Human Feedback의 약자.
– 인간 피드백을 보상 신호로 사용하여 모델을 강화학습으로 조정.

ㅇ 특징:
– 프롬프트에 대한 여러 응답 후보 생성 → 인간이 선호도 평가 → 보상 모델 학습 → 정책 모델 강화학습.
– Alignment 구현에 자주 사용.

ㅇ 적합한 경우:
– 모델의 응답 품질과 인간 선호도 일치 필요 시.
– 안전하고 신뢰성 있는 대화형 AI 개발.

ㅇ 시험 함정:
– RLHF는 지도학습(supervised learning)만 사용하는 과정이 아님 (X).
– 보상 모델과 강화학습 단계를 포함함 (O).

ㅇ 시험 대비 “패턴 보기” 예시:
– “RLHF는 인간 피드백을 활용해 모델을 강화학습하는 방법이다.” (O)
– “RLHF는 데이터 라벨링 없이 전적으로 자율학습으로 진행된다.” (X)

================================

4. RAG

ㅇ 정의:
– Retrieval-Augmented Generation의 약자.
– 외부 지식 베이스에서 관련 문서를 검색하여 생성 모델의 입력에 포함시키는 기법.

ㅇ 특징:
– 최신 정보 반영 가능.
– 모델 파라미터에 저장되지 않은 지식을 동적으로 활용.
– 검색 품질에 따라 최종 답변 품질이 좌우됨.

ㅇ 적합한 경우:
– 최신성, 사실성이 중요한 QA 시스템.
– 도메인 특화 지식 활용.

ㅇ 시험 함정:
– RAG는 모델의 파라미터를 업데이트하는 방식이 아님 (X).
– 검색과 생성이 결합된 구조임 (O).

ㅇ 시험 대비 “패턴 보기” 예시:
– “RAG는 검색된 문서를 활용해 더 정확한 답변을 생성하는 방법이다.” (O)
– “RAG는 모델 내부 지식을 업데이트하는 파라미터 튜닝 기법이다.” (X)

ㅁ 추가 학습 내용

추가 학습 정리

Instruction-tuning
– Supervised Fine-tuning(SFT)와의 차이점 이해 필요. SFT는 주어진 입력과 정답 쌍으로 모델을 미세 조정하는 반면, Instruction-tuning은 다양한 지시문을 이해하고 따르도록 학습시키는 데 초점.
– 데이터셋 구성 시 지시문의 다양성과 품질 관리가 중요하며, 다양한 도메인과 표현 방식의 지시문을 포함해야 함.

Alignment
– Constitutional AI: 사전에 정의된 원칙에 따라 모델의 응답을 조정하는 방법.
– Red Teaming: 모델의 취약점, 안전성 문제를 발견하기 위해 의도적으로 공격적·악의적 입력을 제공하는 테스트 기법.
– 문화적 편향 제거: 다양한 문화권의 가치와 관점을 반영하여 편향된 응답을 최소화하는 방법론.

RLHF
– PPO(Proximal Policy Optimization) 알고리즘 사용 이유: 정책 업데이트 시 안정성을 높이고 성능 저하를 방지하며 효율적인 학습을 가능하게 함.
– 보상 모델 설계 시 편향 문제: 학습 데이터나 평가자의 주관이 반영되어 모델 출력에 왜곡이 발생할 수 있음.

RAG
– Dense Retrieval(BERT 기반) vs Sparse Retrieval(BM25): Dense는 의미 기반 검색에 강점, Sparse는 키워드 기반 검색에 강점.
– 검색 지연(latency) 최적화 기법: 인덱스 최적화, 효율적인 검색 알고리즘 사용, 하드웨어 가속 적용.
– 캐시 활용 전략: 자주 검색되는 쿼리 결과를 캐싱하여 응답 속도 향상.

시험 대비 포인트
– 각 기법의 목적, 절차, 장단점 비교가 자주 출제되므로 상호 보완적 사용 사례를 함께 이해해야 함.