ㅁ 세부 이슈

ㅇ 정의:
대규모 언어 모델(LLM)이 사용자의 의도, 윤리적 기준, 안전 가이드라인에 맞게 동작하도록 조정하는 과정. 모델이 단순히 정확한 답변을 생성하는 것을 넘어, 사회적·윤리적 책임을 반영하는 방향으로 학습시키는 것을 의미함.

ㅇ 특징:
– RLHF(인간 피드백을 통한 강화학습), 헌법적 AI(Constitutional AI) 등 다양한 기법 활용
– 유해 발언, 편향, 잘못된 정보 생성 방지 목적
– 기술적 성능뿐 아니라 사회적 수용성까지 고려
– 모델의 응답 스타일, 어조, 내용 필터링 조정

ㅇ 적합한 경우:
– 고객 서비스 챗봇, 교육용 AI, 의료 상담 등 민감 영역 적용 시
– 법률, 금융, 의료 등 규제 준수 필요성이 높은 산업
– 사용자와의 장기적 신뢰 구축이 중요한 서비스

ㅇ 시험 함정:
– Alignment는 단순한 정확도 향상이 아님
– 성능 최적화(Fine-tuning)와 혼동하기 쉬움
– 안전성 확보와 편향 제거 모두 포함해야 함

ㅇ 시험 대비 “패턴 보기” 예시:
– O: “Alignment는 모델이 안전하고 사용자의 의도에 맞게 동작하도록 조정하는 과정이다.”
– O: “RLHF는 Alignment 구현 기법 중 하나다.”
– X: “Alignment는 모델의 파라미터 수를 줄여 경량화하는 과정이다.”
– X: “Alignment는 정확도 향상만을 목적으로 한다.”

ㅁ 추가 학습 내용

추가 학습 정리

1. RLHF의 구체적 절차
– 사전 학습(Pre-training): 대규모 데이터로 기본 언어 모델 학습
– 감독 학습(SFT, Supervised Fine-Tuning): 사람이 작성한 고품질 예시를 사용해 모델을 원하는 방향으로 미세 조정
– 보상 모델 학습(Reward Model Training): 사람이 여러 응답을 비교하여 선호도를 표시하고, 이를 기반으로 보상 함수를 학습
– 정책 최적화(Policy Optimization): 보상 모델을 활용해 강화학습 기법(PPO 등)으로 정책을 개선

2. 헌법적 AI(Constitutional AI) 접근법
– 규칙 기반 자기 비평(Self-Critique): 미리 정의된 규칙과 원칙에 따라 모델이 자신의 응답을 비판적으로 검토
– 자기 개선(Self-Refinement): 자기 비평 결과를 반영하여 스스로 응답을 수정 및 개선

3. Alignment 관련 주요 윤리 원칙
– 비차별성: 인종, 성별, 종교 등 개인 특성에 따른 차별 금지
– 프라이버시 보호: 개인 정보와 민감한 데이터 보호
– 투명성: 모델의 동작 원리와 한계, 데이터 사용 방식에 대한 명확한 공개

4. Alignment 실패 사례
– 편향된 데이터셋으로 인한 차별적 발언
– 안전 가이드라인 무시로 인해 유해하거나 부적절한 응답 생성

5. 평가 지표(HHH)
– Harmlessness: 해롭지 않음
– Helpfulness: 유용함
– Honesty: 정직함

6. 시험 출제 포인트
– Alignment, Fine-tuning, Safety Layer, Content Filtering의 차이 이해 필요
• Alignment: 모델의 목표와 인간 가치의 일치
• Fine-tuning: 특정 데이터나 목적에 맞춰 모델을 추가 학습
• Safety Layer: 모델 응답 전후로 안전성을 보장하는 추가 필터나 제어 장치
• Content Filtering: 유해하거나 부적절한 콘텐츠를 차단하는 기술