ㅁ 세부 이슈

ㅇ 정의:
RLHF(Reinforcement Learning from Human Feedback)는 대규모 언어 모델(LLM)의 응답 품질을 향상시키기 위해 사람의 선호 데이터를 활용하여 강화학습을 수행하는 기법이다. 주로 사전학습된 모델에 대해 추가로 사람의 피드백을 반영해 미세 조정한다.

ㅇ 특징:
– 지도학습(SFT) 이후 사람의 평가 데이터를 기반으로 보상 모델(Reward Model)을 학습시킴
– 보상 모델의 출력을 강화학습 알고리즘(PPO 등)에 적용하여 정책 모델을 업데이트
– 모델의 유해 발화 감소, 사용자 의도 부합률 향상
– 데이터 수집과 라벨링 비용이 높음

ㅇ 적합한 경우:
– 모델이 문맥에 맞는 자연스러운 답변을 생성해야 하는 경우
– 안전성, 윤리성, 사용자 만족도를 높여야 하는 서비스(챗봇, 고객 상담 등)

ㅇ 시험 함정:
– RLHF가 지도학습과 동일하다고 혼동하는 경우
– 보상 모델이 곧 최종 모델이라고 잘못 이해하는 경우
– RLHF가 데이터 없이 가능한 것처럼 묘사되는 문장에 속기 쉬움

ㅇ 시험 대비 “패턴 보기” 예시:
– O: RLHF는 사람의 피드백을 반영하여 LLM의 응답 품질을 개선하는 강화학습 기법이다.
– X: RLHF는 사전학습 없이도 고성능 LLM을 만들 수 있는 기법이다.
– X: RLHF의 보상 모델이 곧 최종 사용자 제공 모델이다.

ㅁ 추가 학습 내용

RLHF 과정은 일반적으로 SFT(지도학습 사전훈련) → 보상 모델 학습 → 강화학습 단계 순으로 진행된다. SFT 단계에서는 사람이 작성한 고품질 데이터로 모델을 미세조정하고, 보상 모델 학습 단계에서는 사람이 선호하는 출력 순위를 학습하여 보상 함수를 만든다. 강화학습 단계에서는 PPO(Proximal Policy Optimization)와 같은 정책 최적화 알고리즘을 사용해 보상 모델의 점수를 극대화하도록 정책을 조정한다.

사람 피드백 데이터 수집 시에는 평가자의 주관이나 문화적 배경 등으로 인한 편향이 발생할 수 있다. 이를 완화하기 위해 다수의 평가자를 활용하고, 평가 기준을 명확히 정의하며, 데이터 품질을 지속적으로 검증하는 절차가 필요하다.

최근에는 RLHF의 대안으로 DPO(Direct Preference Optimization)와 RLAIF(Reinforcement Learning from AI Feedback) 기법이 연구되고 있다. DPO는 강화학습 단계를 거치지 않고 직접 선호 데이터를 기반으로 정책을 최적화하며, RLAIF는 사람 대신 AI가 생성한 피드백을 활용해 학습 효율을 높인다. 이러한 기법들과 RLHF의 차이점과 장단점을 비교하여 이해하는 것이 중요하다.