ㅁ 최신 이슈

ㅇ 정의:
대규모 언어모델(LLM) 연구에서 최근 주목받는 기술적/윤리적 과제 및 개선 기법들을 의미하며, 모델의 성능·안전성·사용자 경험 향상을 목표로 함.

ㅇ 특징:
– 빠르게 변화하는 기술 트렌드 반영
– 모델 훈련·추론·평가 등 전 과정에 걸친 개선 포인트 포함
– 윤리적·법적 이슈와 직결되는 경우 많음

ㅇ 적합한 경우:
– 최신 연구 동향 파악이 필요한 경우
– 시험에서 ‘최근 LLM 관련 기술’을 묻는 문제 대비

ㅇ 시험 함정:
– 과거 개념과 혼동하거나, 최신 용어의 정의를 부정확하게 암기하는 경우
– 비슷한 용어 간 차이를 묻는 문제에서 혼동 발생

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Instruction-tuning은 LLM이 사용자 지시를 잘 따르도록 하는 지도학습 기법이다.”
X: “Alignment는 모델의 성능 최적화만을 의미한다.”

================================

1. Instruction-tuning

ㅇ 정의:
LLM이 사용자의 명령이나 질문을 더 잘 이해하고 따르도록, 명령-응답 형식 데이터로 미세조정하는 지도학습 기법.

ㅇ 특징:
– 대화형 데이터셋 사용
– Zero-shot, Few-shot 성능 향상
– 프롬프트 엔지니어링 필요성 감소

ㅇ 적합한 경우:
– 챗봇, 질의응답 시스템 등 사용자 지시 수행이 중요한 서비스

ㅇ 시험 함정:
– Pre-training과 혼동
– RLHF와 동일시하는 오류

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Instruction-tuning은 명령-응답 데이터로 LLM을 미세조정하는 방법이다.”
X: “Instruction-tuning은 모델의 사전학습 단계에서 수행된다.”

================================

2. RLHF

ㅇ 정의:
Reinforcement Learning from Human Feedback. 인간 평가자의 피드백을 보상 신호로 사용하여 모델 출력을 강화학습으로 조정하는 기법.

ㅇ 특징:
– 인간 선호도 반영
– 보상 모델(Reward Model) 학습 후 정책 최적화
– 안전성 및 유용성 개선

ㅇ 적합한 경우:
– 모델 응답 품질을 인간 기준에 맞추고자 할 때

ㅇ 시험 함정:
– 강화학습 없이 단순 지도학습으로 오해
– 보상 모델과 정책 모델의 구분 누락

ㅇ 시험 대비 “패턴 보기” 예시:
O: “RLHF는 인간 피드백을 보상으로 사용하여 정책을 최적화한다.”
X: “RLHF는 전적으로 비지도 학습만을 사용한다.”

================================

3. Alignment

ㅇ 정의:
AI 모델의 목표와 행동을 인간의 의도, 가치, 윤리적 기준에 맞추는 과정.

ㅇ 특징:
– 기술적·윤리적 접근 모두 필요
– Instruction-tuning, RLHF 등이 수단이 될 수 있음
– 안전성, 편향 완화, 법적 준수 포함

ㅇ 적합한 경우:
– 사회적으로 민감한 주제를 다루는 AI 서비스

ㅇ 시험 함정:
– 단순 성능 향상과 동일시하는 오류
– 편향 제거만을 의미한다고 착각

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Alignment는 AI의 행동을 인간 가치에 맞추는 것을 의미한다.”
X: “Alignment는 모델의 처리 속도를 높이는 기술이다.”

================================

4. Hallucination Detection

ㅇ 정의:
LLM이 사실과 다른 정보를 생성하는 현상(환각)을 탐지하고 방지하는 기술.

ㅇ 특징:
– 외부 지식베이스와의 사실 검증
– 신뢰도 점수 부여
– 사후 필터링(post-processing) 가능

ㅇ 적합한 경우:
– 법률, 의료 등 사실 정확성이 중요한 분야

ㅇ 시험 함정:
– Hallucination 자체를 데이터 증강 기법으로 오해
– 검출과 방지를 동일시

ㅇ 시험 대비 “패턴 보기” 예시:
O: “Hallucination Detection은 모델 출력의 사실 여부를 검증하는 기술이다.”
X: “Hallucination Detection은 모델의 창의성을 높이기 위한 방법이다.”

ㅁ 추가 학습 내용

추가 학습 정리

1) Instruction-tuning
– 모델이 주어진 지시문을 더 잘 따르도록 학습하는 과정
– 데이터 품질이 핵심 요소이며, 잘못된 지시 데이터는 성능 저하를 유발
– 정확하고 다양한 지시 데이터셋 확보가 중요

2) RLHF(Reinforcement Learning from Human Feedback)
– 일반적으로 3단계로 구성
① 지도학습 초기화: 기본 지시 수행 능력 확보
② 보상 모델 학습: 사람의 선호를 반영하는 평가 모델 구축
③ 정책 최적화: 보상 모델을 기반으로 강화학습을 통해 모델 개선
– 각 단계의 목적과 차이를 명확히 이해할 것

3) Alignment
– 모델의 출력이 인간의 의도, 가치, 안전 기준에 맞도록 조정하는 개념
– 기술적 접근: 안전성 필터링, 콘텐츠 검열, 위험 탐지 등
– 사회적 접근: 거버넌스, 규제, 윤리 가이드라인 등

4) Hallucination Detection
– 모델이 사실과 다른 내용을 생성하는 현상을 탐지
– 최신 연구에서는 Retrieval-Augmented Generation(RAG)과 결합하여 외부 지식 검색을 통해 환각 감소
– RAG 활용 시 신뢰도 향상 가능

5) 기술 간 관계
– Instruction-tuning과 RLHF 모두 Alignment를 달성하기 위한 방법
– 시험에서는 이러한 상호 관계와 차이점을 연결하는 문제가 자주 출제됨

시험 대비 체크리스트

– Instruction-tuning의 정의와 데이터 품질의 중요성을 설명할 수 있는가?
– 잘못된 지시 데이터가 모델 성능에 미치는 영향을 이해하고 있는가?
– RLHF의 세 단계를 순서대로 설명할 수 있는가?
– 각 RLHF 단계의 목적과 차이를 명확히 구분할 수 있는가?
– Alignment의 정의와 기술적 접근, 사회적 접근의 예시를 제시할 수 있는가?
– Hallucination Detection의 개념과 RAG 결합 방식의 장점을 설명할 수 있는가?
– Instruction-tuning, RLHF, Alignment의 관계를 도식이나 설명으로 표현할 수 있는가?
– 시험에서 연결형 문제로 나올 수 있는 기술 간 연관성을 충분히 연습했는가?