ㅁ 세부 이슈 ㅇ 정의: 대규모 언어 모델(LLM)이 사용자의 의도, 윤리적 기준, 안전 가이드라인에 맞게 동작하도록 조정하는 과정. 모델이 단순히 정확한 답변을 생성하는 것을 넘어, 사회적·윤리적 책임을 반영하는 방향으로 학습시키는 것을 의미함. ㅇ 특징: – RLHF(인간 피드백을 통한 강화학습), 헌법적 AI(Constitutional AI) 등 다양한 기법 활용 – 유해 발언, 편향, 잘못된 정보 생성 방지 목적
ㅁ 세부 이슈 ㅇ 정의: RLHF(Reinforcement Learning from Human Feedback)는 대규모 언어 모델(LLM)의 응답 품질을 향상시키기 위해 사람의 선호 데이터를 활용하여 강화학습을 수행하는 기법이다. 주로 사전학습된 모델에 대해 추가로 사람의 피드백을 반영해 미세 조정한다. ㅇ 특징: – 지도학습(SFT) 이후 사람의 평가 데이터를 기반으로 보상 모델(Reward Model)을 학습시킴 – 보상 모델의 출력을 강화학습 알고리즘(PPO 등)에 적용하여
ㅁ 세부 이슈 1. Instruction-tuning ㅇ 정의: 사전 학습된 대규모 언어 모델(LLM)에 대해 사용자의 지시문(Instruction)에 더 잘 반응하도록 추가 학습시키는 기법. 주로 지도학습(Supervised Fine-tuning, SFT) 형태로 지시문-응답 쌍 데이터를 활용. ㅇ 특징: – 모델이 일반 텍스트 생성이 아닌, 주어진 명령에 맞춰 응답하도록 특화됨. – 기존 Pre-training 대비 데이터셋 규모는 작지만, 품질 높은 지시문 데이터가 중요.
ㅁ 프롬프트 설계 ㅇ 정의: 사용자가 AI 모델에 의도적으로 조작된 입력(Prompt)을 제공하여 모델의 원래 의도나 안전장치를 우회하게 만드는 기법. ㅇ 특징: – 모델의 내부 지침이나 비공개 데이터 노출을 유도할 수 있음. – 정상적인 질의와 구별이 어려울 수 있음. – 대화형 AI, 코드 생성 모델 등 다양한 영역에서 발생 가능. ㅇ 적합한 경우: – 보안 취약점
ㅁ 프롬프트 설계 ㅇ 정의: 모델이 복잡한 문제를 단계별로 추론하도록 유도하는 프롬프트 작성 기법으로, 중간 사고 과정을 명시적으로 표현하게 함. ㅇ 특징: – 단일 응답이 아닌, 문제 해결 과정을 단계별로 기술 – 수학, 논리, 프로그래밍 문제 등 복합적 사고가 필요한 분야에서 정확도 향상 – 모델이 중간 추론을 수행하므로 오류 원인 분석이 용이 ㅇ 적합한 경우:
ㅁ 프롬프트 설계 1. Few-shot ㅇ 정의: 모델에 소량(보통 2~5개)의 예시 입력과 출력 쌍을 함께 제공하여, 모델이 해당 패턴을 학습하고 유사한 형태로 응답하도록 유도하는 프롬프트 기법. ㅇ 특징: – 예시를 통해 맥락과 형식을 전달하므로 Zero-shot 대비 정확도가 향상됨. – 예시 품질과 다양성에 따라 성능 편차가 크며, 예시 수가 많아지면 토큰 소모가 증가함. – 훈련 데이터에
ㅁ 프롬프트 설계 ㅇ 정의: 사전 예시 없이 모델에 직접 작업 지시를 내려 원하는 결과를 생성하도록 하는 프롬프트 기법. ㅇ 특징: – 추가 학습 데이터나 예시 없이 모델의 사전 학습 지식을 활용. – 간단하고 빠르게 적용 가능하지만, 결과의 일관성이 떨어질 수 있음. – 명확하고 구체적인 지시문이 필요. ㅇ 적합한 경우: – 사전 예시를 준비할 수
ㅁ 대표 기법 1. Noisy Student ㅇ 정의: 반지도 학습(semi-supervised learning)의 한 기법으로, 먼저 라벨이 있는 데이터로 큰 Teacher 모델을 학습시키고, Teacher가 라벨이 없는 데이터에 대해 예측한 결과(의사 라벨)를 생성한 뒤, 의사 라벨과 원래 라벨 데이터를 합쳐서 더 큰 Student 모델을 학습시키는 방법. 학습 시 Student 모델에 노이즈(데이터 증강, 드롭아웃 등)를 적용하여 일반화 성능을 높인다.
ㅁ 대표 기법 1. MixMatch ㅇ 정의: – 소량의 라벨 데이터와 대량의 비라벨 데이터를 혼합하여 학습하는 준지도 학습 기법. – 데이터 증강, 예측 라벨 부드럽게 하기(soft labeling), 라벨/비라벨 데이터 혼합(batch mixup) 등을 결합한 방법. ㅇ 특징: – 라벨이 없는 데이터에 대해 모델의 예측을 평균내고 샤프닝(sharpening)하여 의사 라벨 생성. – 라벨 데이터와 의사 라벨 데이터 모두에
ㅁ 대표 기법 ㅇ 정의: – Consistency Training은 동일한 입력 데이터에 대해 다양한 변형(augmentation)이나 노이즈를 적용하더라도 모델의 예측이 일관되게 유지되도록 학습하는 준지도 학습 기법이다. ㅇ 특징: – 라벨이 없는 데이터에도 적용 가능하여 데이터 효율성을 높인다. – 입력 변형(회전, 색상 변화, 가우시안 노이즈 등)에 강인한 모델을 만든다. – 데이터 증강과 결합하여 일반화 성능을 향상시킨다. – Teacher-Student