ㅁ 최신 이슈

1. Instruction-tuning

ㅇ 정의:
– 대규모 언어 모델(LLM)에 특정 지시문(Instruction)에 맞게 응답하도록 추가 학습시키는 기법.
– 모델이 프롬프트를 이해하고 특정 작업 지시를 따를 수 있도록 지도학습 데이터로 미세 조정.

ㅇ 특징:
– 기존 사전학습 모델에 비해 사용자 지시에 대한 응답 정확도가 높음.
– 다양한 작업을 하나의 모델에서 수행 가능.
– 데이터셋 품질과 다양성이 성능에 큰 영향을 미침.

ㅇ 적합한 경우:
– 챗봇, 질의응답 시스템, 문서 요약 등 다목적 응답 생성.
– 다중 도메인에서 유연한 대화가 필요한 경우.

ㅇ 시험 함정:
– Instruction-tuning과 Fine-tuning을 혼동하는 문제.
– 사전학습(pretraining)과 미세조정(fine-tuning)의 차이를 묻는 함정.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Instruction-tuning은 LLM이 주어진 지시문에 맞춰 응답하도록 학습하는 과정이다.”
– X: “Instruction-tuning은 모델의 파라미터를 처음부터 학습하는 과정이다.”

================================

2. RLHF

ㅇ 정의:
– Reinforcement Learning from Human Feedback의 약자.
– 사람의 피드백을 보상 신호로 사용하여 LLM의 출력을 강화학습으로 최적화하는 기법.

ㅇ 특징:
– 보상 모델(reward model)을 학습하여 사람 선호도를 반영.
– 비지도 사전학습 → 지도 미세조정 → RLHF 순서로 적용되는 경우가 많음.
– 모델의 안전성과 유용성을 높이는 데 기여.

ㅇ 적합한 경우:
– 모델이 생성하는 답변의 품질과 안전성을 동시에 개선해야 할 때.
– 윤리적 기준이나 정책에 맞춘 응답이 필요한 경우.

ㅇ 시험 함정:
– RLHF를 지도학습의 한 형태로 오인.
– 보상 모델과 정책 모델의 역할을 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “RLHF는 사람의 피드백을 보상으로 사용하여 모델 출력을 강화학습으로 조정한다.”
– X: “RLHF는 사전학습 데이터만으로 모델을 학습하는 방법이다.”

================================

3. Alignment

ㅇ 정의:
– AI 모델의 출력이 인간의 의도, 가치, 윤리적 기준에 부합하도록 조정하는 개념.
– 모델이 유해하거나 편향된 출력을 최소화하도록 설계.

ㅇ 특징:
– 기술적 접근(데이터 필터링, RLHF)과 정책적 접근(사용 가이드라인)이 결합됨.
– 안전성, 신뢰성, 공정성 확보가 목표.

ㅇ 적합한 경우:
– 법률, 의료, 교육 등 민감한 분야에서 AI를 사용할 때.
– 사회적 영향이 큰 AI 서비스.

ㅇ 시험 함정:
– Alignment를 단순히 모델 정확도 향상으로 오해.
– 안전성과 성능을 동일시하는 오류.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Alignment는 AI의 행동이 인간의 가치와 의도에 맞도록 조정하는 것을 의미한다.”
– X: “Alignment는 모델의 예측 정확도를 높이는 하이퍼파라미터 튜닝 기법이다.”

================================

4. Hallucination Detection

ㅇ 정의:
– LLM이 사실과 다른 정보를 생성하는 현상(환각)을 탐지하는 기술.
– 생성된 텍스트의 사실성 검증.

ㅇ 특징:
– 외부 지식베이스나 검색 시스템과 결합하여 검증.
– 확률적 출력 특성상 완벽히 제거는 어려움.
– 사후 검증(post-hoc) 또는 사전 방지(prevention) 방식.

ㅇ 적합한 경우:
– 법률 문서, 의학 보고서 등 사실 정확성이 중요한 분야.
– 자동 뉴스 생성, 과학 보고서 작성.

ㅇ 시험 함정:
– Hallucination을 단순한 오타나 문법 오류로 오해.
– Detection과 Prevention의 차이를 혼동.

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Hallucination Detection은 LLM의 허위 생성 내용을 식별하는 과정이다.”
– X: “Hallucination Detection은 모델의 문법 오류를 수정하는 과정이다.”

ㅁ 추가 학습 내용

Instruction-tuning
– Zero-shot, Few-shot 프롬프트와의 차이점 이해
– 데이터셋 구성 시 다양한 지시문 확보 방법 학습

RLHF
– 보상 모델 학습 과정 이해
– PPO(Proximal Policy Optimization) 알고리즘과의 관계 파악
– 인간 피드백 수집 방법 숙지

Alignment
– Constitutional AI 개념 이해
– AI Safety 연구 동향 파악
– 편향(Bias) 완화 기법 학습

Hallucination Detection
– Fact-checking 알고리즘 이해
– Retrieval-Augmented Generation(RAG) 기반 검증 방법 학습
– 신뢰도 스코어링 기법 숙지

통합 관점
– 최신 LLM 연구에서는 Instruction-tuning과 RLHF를 결합하여 Alignment를 강화하고, Hallucination Detection으로 신뢰성을 높이는 통합 접근이 중요
– 이들의 상호작용 사례를 학습하면 시험 대비에 유리